Η ανάδυση του Weight-Space Programming
Η παραδοσιακή εκπαίδευση νευρωνικών δικτύων βασίζεται σε συμβολικούς βελτιστοποιητές (optimizers) όπως ο Adam ή ο Muon, οι οποίοι καθοδηγούνται από την κλίση (gradient) της συνάρτησης απώλειας. Το Weight-Space Programming εισάγει ένα νέο παράδειγμα: τα LLM χρησιμοποιούν τη συλλογιστική τους για να «διαβάσουν» και να «γράψουν» απευθείας στα βάρη ενός δικτύου, αντιμετωπίζοντας τις παραμέτρους ως κώδικα που μπορεί να βελτιστοποιηθεί βάσει φυσικής γλώσσας.
Αναγνώριση και ερμηνεία βαρών
Τα πειράματα με το μοντέλο Astra δείχνουν ότι τα LLM μπορούν να εξάγουν σημασιολογικές πληροφορίες από μια λίστα αριθμών (weights). Σε δοκιμές με μικρά δίκτυα που εκπαιδεύτηκαν σε παιχνίδια (π.χ. Breakout, Pong), το Astra αναγνώρισε το παιχνίδι με ακρίβεια 99% χωρίς να έχει πρόσβαση σε περιβάλλον εκτέλεσης. Αντίστοιχα, σε μοντέλα γλώσσας, το Astra εντόπισε τα «copying heads» (induction heads) εξετάζοντας μόνο τα βάρη των ενδιάμεσων επιπέδων (transformer blocks), αποδεικνύοντας ότι η δομή της γνώσης είναι κωδικοποιημένη με τρόπο που τα LLM μπορούν να αποκωδικοποιήσουν.
Διόρθωση και βελτιστοποίηση χωρίς gradients
Το πιο εντυπωσιακό εύρημα αφορά τη βελτίωση υπαρχόντων μοντέλων. Στην περίπτωση του Qwen3.5-0.8B, το Astra εντόπισε προβληματικά βάρη που προκαλούσαν βρόχους συλλογιστικής (reasoning loops). Με την τροποποίηση μόλις του 0,016% των βαρών, η απόδοση στο benchmark MATH-500 εκτοξεύτηκε από το 7,9% στο 48,1%. Αυτό επιτεύχθηκε χωρίς καμία διαδικασία εκπαίδευσης (training loop), αλλά μέσω της άμεσης παρέμβασης στη δομή του δικτύου.
Αρχιτεκτονικές προεκτάσεις
Η ικανότητα αυτή υποδηλώνει ότι στο μέλλον, η βελτιστοποίηση των νευρωνικών δικτύων δεν θα περιορίζεται σε αλγορίθμους τύπου backpropagation. Αντίθετα, θα μπορούμε να «προγραμματίζουμε» τα βάρη των μοντέλων μας χρησιμοποιώντας LLM που κατανοούν τη γεωμετρία και τη λειτουργία των νευρώνων, ανοίγοντας τον δρόμο για πιο διαφανή και άμεσα επεμβάσιμα συστήματα τεχνητής νοημοσύνης.