Αρχιτεκτονική προσέγγιση: Από το RNN στη μνήμη RAM
Το Qwenputer επαναπροσδιορίζει τη χρήση των Gated DeltaNet (GDN) layers, τα οποία αποτελούν μέρος της αρχιτεκτονικής του Qwen 3.5. Ρυθμίζοντας το gate και το write strength (beta) στη μονάδα, ο δημιουργός μετέτρεψε το state matrix του RNN σε μια πλήρως λειτουργική και διευθυνσιοδοτήσιμη μνήμη RAM. Σε αντίθεση με το παραδοσιακό KV cache, το οποίο αυξάνεται γραμμικά με το μήκος του context, η μνήμη GDN διατηρεί σταθερό μέγεθος, προσφέροντας μια αποδοτική λύση για την αποθήκευση καταχωρητών και δεδομένων επεξεργαστή.
Μεταγλώττιση κυκλώματος στα βάρη του μοντέλου
Η καινοτομία του Qwenputer έγκειται στο γεγονός ότι δεν απαιτείται fine-tuning. Αντίθετα, ο επεξεργαστής RISC-V (RV32IM) «μεταγλωττίζεται» απευθείας στα βάρη του μοντέλου. Κάθε εντολή του επεξεργαστή αντιστοιχίζεται σε μια σειρά από tokens που παράγει το μοντέλο κατά το inference. Τα attention heads αναλαμβάνουν την ανάκτηση δεδομένων, ενώ τα feed-forward units εκτελούν τις αριθμητικές πράξεις, καθιστώντας το μοντέλο έναν αυτόνομο υπολογιστή.
Εφαρμογές και περιορισμοί
Πέρα από την αριθμητική ακρίβεια, το σύστημα υποστηρίζει ένα πειραματικό σύστημα αρχείων, επιτρέποντας στο μοντέλο να αποθηκεύει και να ανακτά πληροφορίες με τρόπο που παραμένει συνεπής μεταξύ διαφορετικών συνομιλιών. Παρά τα εντυπωσιακά αποτελέσματα, η προσέγγιση παρουσιάζει προκλήσεις: το μέγεθος του checkpoint είναι διπλάσιο λόγω του padding, ενώ η ταχύτητα εκτέλεσης είναι περιορισμένη, καθώς κάθε εντολή απαιτεί την παραγωγή πολλαπλών tokens. Ωστόσο, η δυνατότητα ενσωμάτωσης εργαλείων ελέγχου (oversight tools) απευθείας στα βάρη ανοίγει νέους δρόμους για την ερμηνευσιμότητα (interpretability) και την ασφάλεια των μοντέλων.