Η αρχιτεκτονική ως σύστημα αποθήκευσης
Η ικανότητα των μεγάλων γλωσσικών μοντέλων (LLMs) να ανακαλούν τεράστιο όγκο πληροφοριών δεν είναι τυχαία, αλλά αποτέλεσμα συγκεκριμένων αρχιτεκτονικών επιλογών. Αντιμετωπίζοντας τα επίπεδα ενός transformer ως συστήματα συσχετιστικής μνήμης (associative memory), μπορούμε να ποσοτικοποιήσουμε την απόδοσή τους μέσω του λόγου σήματος προς παρεμβολή (interference-to-signal ratio).
Από τα γραμμικά επίπεδα στα MLPs
Τα απλά γραμμικά επίπεδα χρησιμοποιούν εξωτερικά γινόμενα (outer products) για την αποθήκευση ζευγών κλειδιού-τιμής (key-value pairs). Ωστόσο, η χωρητικότητά τους είναι περιορισμένη: μόλις ο αριθμός των αποθηκευμένων μνημών υπερβεί τη διάσταση των κλειδιών, η παρεμβολή καθιστά την ανάκτηση αδύνατη.
Η μετάβαση στα MLPs εισάγει μη γραμμικότητες (όπως ReLU ή SwiGLU), οι οποίες λειτουργούν ως φίλτρα. Καταστέλλοντας τις τιμές με χαμηλή ομοιότητα, τα MLPs μειώνουν δραστικά την παρεμβολή, επιτρέποντας στο δίκτυο να αποθηκεύει πληροφορίες σε υπέρθεση (superposition) με πολύ μεγαλύτερη πυκνότητα.
Η κυριαρχία του self-attention
Το self-attention αποτελεί την κορύφωση αυτής της εξέλιξης. Αντί να βασίζεται σε στατικές παραμέτρους, υπολογίζει κλειδιά και τιμές δυναμικά από το context. Η χρήση της συνάρτησης softmax επιτρέπει την εκθετική αύξηση της χωρητικότητας, καθώς η "οξύτητα" (sharpness) της κατανομής μπορεί να προσαρμοστεί ανάλογα με το μήκος του context. Αυτό καθιστά το self-attention ένα εξαιρετικά ισχυρό εργαλείο ικανό να διαχειρίζεται εκατομμύρια μνήμες, ξεπερνώντας κατά πολύ τους περιορισμούς των παραμετρικών επιπέδων.