Η υπέρβαση του backpropagation μέσω αναζήτησης
Η βαθιά μάθηση έχει δομηθεί γύρω από το backpropagation, έναν αλγόριθμο που απαιτεί διαφορισιμότητα (differentiability). Ωστόσο, καθώς η διαθέσιμη υπολογιστική ισχύς αυξάνεται, ανακύπτει το ερώτημα αν οι μέθοδοι που βασίζονται στην αναζήτηση (search-based methods) μπορούν να προσφέρουν μια πιο ευέλικτη εναλλακτική. Το Dust εισάγει μια προσέγγιση μηδενικής τάξης που αντικαθιστά την αναλυτική δομή του backprop με brute-force υπολογισμούς σε επίπεδο ενεργοποιήσεων.
Αρχιτεκτονική του «εικονικού πληθυσμού»
Το κεντρικό πρόβλημα των παραδοσιακών Evolution Strategies (ES) είναι το κόστος υλοποίησης κάθε μέλους του πληθυσμού. Το Dust επιλύει αυτό το σημείο συμφόρησης (bottleneck) εφαρμόζοντας διαταραχές ανεξάρτητα σε κάθε token. Με αυτόν τον τρόπο, κάθε token λειτουργεί ως μέλος ενός εικονικού πληθυσμού, επιτρέποντας την παράλληλη αξιολόγηση χιλιάδων μελών σε ένα μόνο forward pass. Η μέθοδος υπολογίζει την ανταμοιβή (reward) κάθε διαταραχής βάσει της μείωσης της απώλειας (loss reduction), δημιουργώντας μια εκτίμηση κλίσης που προσεγγίζει την ακρίβεια του backprop.
Κλιμάκωση και μελλοντικές προοπτικές
Τα αποτελέσματα δείχνουν ότι το Dust δεν είναι απλώς μια θεωρητική άσκηση, αλλά μια μέθοδος που κλείνει την ψαλίδα με το backprop σε μεγάλα token budgets (10M-20M tokens). Η διαπίστωση ότι τα μεγαλύτερα μοντέλα είναι πιο αποδοτικά στη χρήση του πληθυσμού ανοίγει τον δρόμο για την εκπαίδευση αρχιτεκτονικών που το backpropagation δυσκολεύεται να διαχειριστεί, όπως μοντέλα με εξωτερικά προγράμματα στον βρόχο (in-the-loop) ή Transformers με επαναληπτικά βήματα.