Αρχιτεκτονική προσέγγιση και σχεδιασμός
Το openTPU δεν αποτελεί απλώς ένα πείραμα, αλλά μια ολοκληρωμένη πλατφόρμα επιτάχυνσης (AI accelerator). Η αρχιτεκτονική του βασίζεται σε έναν sequencer που εκτελεί μία εντολή ανά κύκλο ρολογιού, κατευθύνοντας εξειδικευμένες μονάδες: έναν systolic matrix unit για πολλαπλασιασμούς πινάκων, μια μονάδα διανυσματικών υπολογισμών (vector unit) για πράξεις fp32 και έναν quantizer.
Η απουσία κρυφής μνήμης (cache) και πολύπλοκου scheduling καθιστά το σύστημα ντετερμινιστικό. Κάθε μετακίνηση δεδομένων αποτελεί ρητή εντολή, γεγονός που επιτρέπει στους μηχανικούς να εντοπίζουν ακριβώς τα σημεία συμφόρησης (bottlenecks) μέσω του εργαλείου Lens, το οποίο καταγράφει τη δραστηριότητα σε επίπεδο RTL.
Διαλειτουργικότητα και επικύρωση (Validation)
Ένα από τα ισχυρότερα σημεία του project είναι η αυστηρή διαδικασία επικύρωσης. Χρησιμοποιώντας το εργαλείο validate.py, το σύστημα συγκρίνει τα logits και τα tokens που παράγονται από το hardware με εκείνα ενός μοντέλου αναφοράς (golden) σε περιβάλλον CPU. Η σύγκριση γίνεται με βάση τη μέτρηση KL divergence, διασφαλίζοντας ότι η απόκλιση λόγω quantization παραμένει εντός αποδεκτών ορίων.
Απόδοση σε πραγματικές συνθήκες
Το hardware έχει δοκιμαστεί σε κάρτες Inspur YPCB-00338 (Xilinx Kintex-7), επιτυγχάνοντας εντυπωσιακά αποτελέσματα σε μοντέλα όπως τα Qwen3.5 και LFM2.5. Η χρήση 4-bit weights έχει οδηγήσει σε αύξηση της ταχύτητας αποκωδικοποίησης (decode speed) κατά 40-45%, ενώ η διαχείριση των Mixture-of-Experts (MoE) μοντέλων γίνεται μέσω έξυπνου offloading από τον host, επιτρέποντας την εκτέλεση μοντέλων που υπερβαίνουν τη χωρητικότητα της τοπικής DRAM της κάρτας.