Η αποκωδικοποίηση των βαρών και οι μύθοι γύρω από τα LLMs
Πρόσφατη ακαδημαϊκή εργασία έφερε στο προσκήνιο την ικανότητα μοντέλων όπως το GPT-6 Astra να αλληλεπιδρούν απευθείας με τα βάρη (weights) νευρωνικών δικτύων. Σύμφωνα με τα ευρήματα, το Astra μπόρεσε να αναγνωρίσει ποια παιχνίδια είχε εκπαιδευτεί να παίζει ένα μικρό δίκτυο, αναλύοντας απλώς τα βάρη του, και προχώρησε ακόμα και σε βελτίωση των μαθηματικών ικανοτήτων ενός μοντέλου Qwen 0.8B επεμβαίνοντας εσωτερικά στις παραμέτρους του. Αυτή η δυνατότητα ερμηνεύτηκε από πολλούς ως προοιωνός της αναδρομικής αυτοβελτίωσης (recursive self-improvement).
Ωστόσο, μια ψύχραιμη τεχνική ματιά αποκαλύπτει ότι οι εργασίες αυτές δεν ξεπερνούν τις δυνατότητες ενός έμπειρου ερευνητή Μηχανικής Μάθησης (ML). Όταν τα καντράν εισόδου ενός δικτύου είναι ρητά επισημασμένα (labelled) και ακολουθούν προβλέψιμες δομές, ο υπολογισμός των κανόνων προτεραιότητας μέσω κανονικοποίησης L2 (L2 norm) και η δημιουργία θερμικών χαρτών (heatmaps) αποτελεί μια τυπική διαδικασία ανάλυσης. Το γεγονός ότι το μοντέλο διεκπεραίωσε αυτούς τους υπολογισμούς νοερά αποδεικνύει απλώς ισχυρή ικανότητα νοερού υπολογισμού και όχι πρωτοφανή ερευνητική ευφυΐα.
Η επέμβαση στα βάρη και τα steering vectors
Το πιο εντυπωσιακό σκέλος της έρευνας αφορούσε τη διόρθωση ενός προβλήματος υπερχείλισης συμφωνίας (loops) στο Qwen 0.8B, το οποίο αποτύγχανε σε μαθηματικά tasks όταν το context window ξεπερνούσε τα 32k tokens. Για την επίλυση αυτού του ζητήματος, το Astra εφάρμοσε μια μεθοδολογία που θυμίζει έντονα τα steering vectors και τις τεχνικές abliteration που χρησιμοποιούνται ευρέως στην κοινότητα:
- Καταγραφή ζευγαριών κειμένων παραγωγής συλλογισμού (reasoning texts) με και χωρίς την παρουσία loops.
- Μέτρηση της διαφοράς στα residual activations για τον εντοπισμό των βαρών που συνεισφέρουν στο σφάλμα.
- Στοχευμένη αφαίρεση ή τροποποίηση των προβληματικών βαρών.
Αυτή η προσέγγιση είναι απόλυτα ορθολογική και εφικτή από ανθρώπους προγραμματιστές. Η απευθείας τροποποίηση των βαρών (weight space programming) λειτουργεί περισσότερο ως εντυπωσιακός αυτοματισμός χαμηλού επιπέδου.
Συμπεράσματα για την αρχιτεκτονική έρευνας
Η απευθείας παρέμβαση στα βάρη ενός νευρωνικού δικτύου μοιάζει με την τροποποίηση κώδικα μηχανής σε επίπεδο assembly ή compiled binary: αν και είναι εφικτό, ο παραδοσιακός και ασφαλέστερος τρόπος παραμένει η τροποποίηση του πηγαίου κώδικα και η ανακατασκευή (recompilation). Αντίστοιχα, στον χώρο του deep learning, ο βέλτιστος τρόπος εξέλιξης των μοντέλων παραμένει η σωστή διαμόρφωση του training pipeline και των δεδομένων εκπαίδευσης, παρά η χειρουργική επέμβαση στις παραμέτρους εκ των υστέρων.