Αρχιτεκτονική και μοντελοποίηση κόσμου
Το tinyworldformer εισάγει μια καινοτόμο προσέγγιση στη δημιουργία κόσμων (world models) σε περιορισμένο hardware. Αντί για στοίβαξη πολλαπλών επιπέδων, χρησιμοποιείται ένα looped transformer block που εφαρμόζεται επαναληπτικά. Αυτή η τεχνική επιτρέπει στο μοντέλο να εξισορροπεί την ακρίβεια με την υπολογιστική ισχύ, ρυθμίζοντας τον αριθμό των loops ανά frame. Η κατάσταση του παιχνιδιού αναπαρίσταται μέσω tokens, όπου κάθε patch του frame κωδικοποιείται σε embeddings, επιτρέποντας στο μοντέλο να προβλέπει το επόμενο frame και την ανταμοιβή (reward) με βάση την ενέργεια του πράκτορα.
Βελτιστοποίηση για τον RP2350
Η υλοποίηση στο Raspberry Pi Pico 2 W βασίζεται σε αυστηρό κβαντισμό (quantization) int8 για τα βάρη του transformer, ενώ οι κανονικοποιήσεις (norms) και τα embeddings παραμένουν σε float32 για να αξιοποιηθεί το FPU του μικροελεγκτή. Η χρήση της εντολής SMLAD επιτρέπει την εκτέλεση δύο multiply-adds ανά κύκλο ρολογιού, καθιστώντας τα dot products εξαιρετικά αποδοτικά. Το firmware είναι γραμμένο σε no_std Rust, εξασφαλίζοντας σταθερή χρήση μνήμης μέσω static arrays, γεγονός κρίσιμο για την αξιοπιστία σε embedded περιβάλλοντα.
On-device μάθηση και διαλειτουργικότητα
Το σύστημα δεν περιορίζεται στην εκτέλεση προεκπαιδευμένων μοντέλων, αλλά υποστηρίζει on-device μάθηση μέσω του αλγορίθμου Stream AC(λ). Ο πράκτορας μαθαίνει από μεμονωμένες μεταβάσεις χωρίς την ανάγκη για replay buffers, καθιστώντας εφικτή τη συνεχή βελτίωση της στρατηγικής του μέσα στο περιβάλλον που το ίδιο το μοντέλο κόσμου παράγει. Η διαλειτουργικότητα (interoperability) με το οικοσύστημα του Python/PyTorch επιτυγχάνεται μέσω εργαλείων εξαγωγής που μετατρέπουν τα εκπαιδευμένα μοντέλα σε κώδικα Rust, διασφαλίζοντας bit-for-bit αναπαραγωγή των αποτελεσμάτων.