Η πρόκληση της μνήμης σε μοντέλα τρισεκατομμυρίων παραμέτρων

Τα μοντέλα τεχνητής νοημοσύνης τεραστίου μεγέθους απαιτούν terabytes μνήμης αποκλειστικά για την αποθήκευση των βαρών τους. Ενώ οι παραδοσιακές αρχιτεκτονικές GPU αντιμετωπίζουν σοβαρά σημεία συμφόρησης (bottlenecks) λόγω του εύρους ζώνης της εξωτερικής μνήμης (HBM), η προσέγγιση της Cerebras βασίζεται σε wafers κλίμακας γκοφρέτας (wafer-scale). Κάθε wafer WSE-3T διαθέτει 44 GB εξαιρετικά γρήγορης μνήμης SRAM επί του τσιπ, επιτρέποντας την αποθήκευση ολόκληρων τμημάτων του μοντέλου τοπικά.

Κατανομή επιπέδων και διαχείριση της KV Cache

Για να κατανεμηθεί ένα μοντέλο 3 τρισεκατομμυρίων παραμέτρων, όπως το Kimi K3, η διαδικασία ξεκινά με τον υπολογισμό του μεγέθους κάθε επιπέδου. Με κβαντισμό (quantization) 4-bit, το συνολικό μέγεθος κατανέμεται σε 93 συνολικά επίπεδα (69 linear-attention και 24 dense layers).

Η διαχείριση της μνήμης διαφέρει ανάλογα με τον τύπο του επιπέδου:

  • Dense layers: Απαιτούν επιπλέον χώρο για την KV cache, η οποία αποθηκεύει τα keys και values για κάθε token σε κάθε ενεργό αίτημα. Γι' αυτόν τον λόγο τοποθετείται ακριβώς ένα dense layer ανά wafer.
  • Linear-attention layers: Δεν απαιτούν αυξανόμενο χώρο για KV cache καθώς διατηρούν μια σταθερού μεγέθους κατάσταση ανεξάρτητα από το context window. Αυτό επιτρέπει τη φιλοξενία δύο τέτοιων επιπέδων ανά wafer.

Συνολικά, απαιτούνται 59 wafers για την πλήρη ανάπτυξη του μοντέλου, τα οποία συνδέονται μεταξύ τους σε μια αλυσίδα pipeline.

Εκτέλεση σε pipeline και επεξεργασία αιτημάτων

Η εκτέλεση του μοντέλου δεν βασίζεται σε επαναλαμβανόμενες μετακινήσεις βαρών. Αντίθετα, κάθε wafer λειτουργεί ως ένα στάδιο σε μια γραμμή συναρμολόγησης. Τα βάρη παραμένουν μόνιμα αποθηκευμένα στη τοπική SRAM και μόνο τα ενδιάμεσα αποτελέσματα (activations) μεταβιβάζονται από το ένα wafer στο επόμενο μέσω RDMA over Ethernet, με καθυστέρηση περίπου 2 microseconds ανά hop.

Για την αποφυγή της αδράνειας (idle time), το σύστημα διατηρεί το pipeline γεμάτο με διαφορετικά αιτήματα ταυτόχρονα. Αξιοποιώντας τη λογική των micro-batches, πολλαπλά αιτήματα ρέουν συνεχώς μέσα από τα διαδοχικά στάδια, επιτυγχάνοντας εξαιρετικά υψηλή απόδοση σε tokens ανά δευτερόλεπτο ανά μονάδα ισχύος.