Από το tensor lifting στη γεωμετρική αναπαράσταση
Η κυρίαρχη αρχιτεκτονική των Transformers βασίζεται στο self-attention, το οποίο οι ερευνητές αναλύουν ως μια μορφή tensor lifting. Σε αυτό το πλαίσιο, τα κρυφά διανύσματα (hidden vectors) προβάλλονται σε έναν χώρο υψηλής διάστασης όπου οι αλληλεπιδράσεις μεταξύ των tokens γίνονται μέσω gradient descent. Το πρόβλημα αυτής της προσέγγισης είναι η έλλειψη ερμηνευσιμότητας, καθώς μετά από πολλά layers, η μαθηματική περιγραφή του μοντέλου καθίσταται αδιαφανής.
Η αρχιτεκτονική των Grassmann flows
Η προτεινόμενη λύση εισάγει το Causal Grassmann layer, το οποίο μεταφέρει τον υπολογισμό από έναν μη δομημένο tensor space σε μια πεπερασμένης διάστασης πολλαπλότητα (manifold). Η διαδικασία περιλαμβάνει τρία στάδια:
- Γραμμική μείωση των καταστάσεων των tokens.
- Κωδικοποίηση τοπικών ζευγών tokens ως δισδιάστατους υποχώρους μέσω συντεταγμένων Plucker.
- Ενσωμάτωση αυτών των γεωμετρικών χαρακτηριστικών στις κρυφές καταστάσεις μέσω gated mixing.
Υπολογιστική αποδοτικότητα και κλιμάκωση
Το κύριο πλεονέκτημα αυτής της προσέγγισης είναι η διαχείριση της πολυπλοκότητας. Ενώ το κλασικό attention απαιτεί υπολογισμούς της τάξης O(L^2) για μήκος ακολουθίας L, το Grassmann-based μοντέλο επιτυγχάνει γραμμική κλιμάκωση. Αυτό καθιστά τη μέθοδο ιδιαίτερα ελκυστική για εφαρμογές όπου η διαχείριση μεγάλων context windows αποτελεί σημείο συμφόρησης (bottleneck). Παρά το γεγονός ότι τα μοντέλα που δοκιμάστηκαν είναι μικρά (13-18 εκατομμύρια παράμετροι), η απόδοσή τους σε benchmarks όπως το SNLI αποδεικνύει ότι η γεωμετρική δομή μπορεί να υποκαταστήσει επάξια τους μηχανισμούς προσοχής, προσφέροντας παράλληλα μια πιο δομημένη οδό για την κατανόηση της νευρωνικής συλλογιστικής.