Το περιστατικό και η τεχνική της χειραγώγησης
Σε μια υπόθεση που αναδεικνύει τους νέους κινδύνους στην ψηφιακή δικαιοσύνη, δικηγόροι στη Βραζιλία επιχείρησαν να παρακάμψουν το σύστημα τεχνητής νοημοσύνης Galileu, το οποίο χρησιμοποιείται από το Εθνικό Συμβούλιο Δικαιοσύνης για την ανάλυση δικογράφων. Η μέθοδος ήταν απλή αλλά δόλια: ενσωμάτωσαν εντολές σε λευκό χρώμα πάνω σε λευκό φόντο, καθιστώντας τες αόρατες στο ανθρώπινο μάτι, αλλά αναγνώσιμες από το σύστημα επεξεργασίας κειμένου του AI. Η εντολή καλούσε το μοντέλο να αγνοήσει τα αποδεικτικά έγγραφα και να συντάξει μια επιφανειακή εισήγηση.
Νομικές συνέπειες και ακεραιότητα δεδομένων
Το δικαστήριο επέβαλε πρόστιμο 10% επί της αξίας της απαίτησης, κρίνοντας ότι η ενέργεια αυτή συνιστά παραβίαση των υποχρεώσεων ειλικρίνειας και πίστης που απορρέουν από τον Κώδικα Πολιτικής Δικονομίας. Η απόφαση αυτή καθιερώνει ένα κρίσιμο προηγούμενο: η ακεραιότητα ενός δικογράφου δεν περιορίζεται πλέον μόνο στο ορατό κείμενο, αλλά επεκτείνεται και στο περιεχόμενο που είναι αναγνώσιμο από μηχανές (machine-readable content).
Η ανάγκη για AI governance και guardrails
Το σύστημα Galileu κατάφερε να εντοπίσει την απόπειρα, να εκδώσει ειδοποίηση και να μπλοκάρει αυτόματα την επεξεργασία του εγγράφου. Το περιστατικό υπογραμμίζει την επιτακτική ανάγκη για:
- Αυστηρές πολιτικές διακυβέρνησης (AI governance): Ενσωμάτωση ελέγχων σε κάθε στάδιο εισαγωγής δεδομένων από εξωτερικές πηγές.
- Ανίχνευση χειραγώγησης: Εφαρμογή εργαλείων που εντοπίζουν απόπειρες prompt injection σε πραγματικό χρόνο.
- Επαγρύπνηση: Καθώς τα συστήματα AI γίνονται αναπόσπαστο κομμάτι της διοικητικής και δικαστικής λειτουργίας, η θωράκιση έναντι τέτοιων επιθέσεων αποτελεί πλέον ζήτημα θεσμικής θωράκισης.