Αρχιτεκτονική ανάλυση του ERNIE 5.5 Flash Base: Ένα αποδοτικό sparse MoE μοντέλο

Αρχιτεκτονικές καινοτομίες για αποδοτικότητα

Το ERNIE 5.5 Flash Base επαναπροσδιορίζει την ισορροπία μεταξύ ικανότητας και υπολογιστικού κόστους. Η χρήση του Multi-Router Latent MoE αντικαθιστά τους παραδοσιακούς routers με πολλαπλούς ανεξάρτητους sigmoid routers, επιτρέποντας πιο ακριβή επιλογή experts και μειώνοντας τον θόρυβο κατά την εκπαίδευση. Επιπλέον, η αρχιτεκτονική Manifold-Constrained Hyper-Connections (mHC) βελτιώνει τη ροή πληροφοριών μεταξύ των επιπέδων χωρίς σημαντική επιβάρυνση στο compute.

Διαχείριση context και KV cache

Ένα από τα σημαντικότερα σημεία συμφόρησης (bottleneck) στα μεγάλα γλωσσικά μοντέλα είναι η διαχείριση της μνήμης του KV cache. Το ERNIE 5.5 Flash χρησιμοποιεί μια υβριδική στρατηγική: τα περισσότερα επίπεδα εφαρμόζουν Heavily Compressed Attention (HCA), συμπιέζοντας το ιστορικό των tokens, ενώ επιλεγμένα επίπεδα Multi-head Latent Attention (MLA) διατηρούν πλήρη πρόσβαση στο context. Αυτή η προσέγγιση επιτρέπει στο μοντέλο να διαχειρίζεται παράθυρα έως 1M tokens με κλάσμα του κόστους των dense μοντέλων.

Υποδομή εκπαίδευσης και βελτιστοποίηση

Η Baidu επένδυσε στη συν-σχεδίαση μοντέλου και υποδομής. Ο κατανεμημένος Muon optimizer επιτρέπει την ορθογωνιοποίηση των ενημερώσεων παραμέτρων σε χιλιάδες GPUs, ενώ το FlashMask-4 kernel, βασισμένο στο CuTe-DSL, βελτιστοποιεί τη χρήση της μνήμης tensor για μεγάλα head dimensions. Η αντικατάσταση του MTP module με το ECHO επιτρέπει στο μοντέλο να προβλέπει μελλοντικά tokens χρησιμοποιώντας το τελικό επίπεδο του backbone, ενισχύοντας τις ικανότητες συλλογιστικής (reasoning) και κώδικα.