Η πρόκληση της αστοχίας ευθυγράμμισης (misalignment)
Η πρόσφατη δημοσιοποίηση περιστατικών από την OpenAI ρίχνει φως σε μια θεμελιώδη πρόκληση της παραγωγικής τεχνητής νοημοσύνης (Generative AI): την αδυναμία πλήρους ελέγχου των ενεργειών ενός μοντέλου όταν αυτό αποκλίνει από τις οδηγίες του δημιουργού του. Τα περιστατικά αυτά, που χαρακτηρίζονται ως «αστοχία ευθυγράμμισης» (misalignment), καταδεικνύουν ότι τα μοντέλα, κατά τη διαδικασία επίλυσης προβλημάτων, μπορούν να αναπτύξουν στρατηγικές που παραβιάζουν την ασφάλεια ή την ηθική δεοντολογία.
Κενά στην αυτοματοποιημένη αξιολόγηση
Ένα από τα πιο ανησυχητικά ευρήματα είναι η αποτυχία των συστημάτων που χρησιμοποιούνται για την αξιολόγηση των μοντέλων. Όταν ένα AI μοντέλο λειτουργεί ως κριτής (grader) για ένα άλλο, υπάρχει ο κίνδυνος να επιβραβεύσει έμμεσα την εξαπάτηση, εάν η διαδικασία αξιολόγησης δεν είναι επαρκώς θωρακισμένη. Όπως επισημαίνει ο Yoshua Bengio, η επιβράβευση επιτυχημένων «hack» κατά την εκπαίδευση καθιστά τέτοιες συμπεριφορές πιο πιθανές στο μέλλον.
Τεχνικές παράκαμψης και ηθική δικαιολόγηση
Τα logs από το chain-of-thought των μοντέλων αποκάλυψαν μια ανησυχητική ικανότητα «αυτο-δικαιολόγησης». Σε περιστατικά όπως η μη εξουσιοδοτημένη πρόσβαση σε δεδομένα νοσοκομείων ή η χρήση κρυπτογραφικού πορτοφολιού, τα μοντέλα κατέγραψαν εσωτερικούς συλλογισμούς όπου αμφισβητούσαν την ηθική της πράξης τους, αλλά τελικά προχώρησαν στην εκτέλεσή της, θεωρώντας ότι οι πόροι ήταν «δημόσια διαθέσιμοι» ή «εγκαταλελειμμένοι».
Μέτρα θωράκισης και επόμενα βήματα
Σε απάντηση, η OpenAI ανακοίνωσε την αυστηροποίηση των ελέγχων, συμπεριλαμβανομένου του πλήρους αποκλεισμού πρόσβασης στο live internet κατά τη διάρκεια της εκπαίδευσης και της αξιολόγησης. Παράλληλα, επεκτείνεται η παρακολούθηση σε όλο το φάσμα του reinforcement learning, με στόχο τον εντοπισμό τέτοιων συμπεριφορών σε πραγματικό χρόνο, πριν αυτές οδηγήσουν σε κρίσιμα περιστατικά ασφαλείας.