Chitu: Υψηλών επιδόσεων inference framework για μεγάλα γλωσσικά μοντέλα με υποστήριξη ετερογενών υπολογιστικών πόρων

Τι είναι και τι πρόβλημα λύνει

Το Chitu () αποτελεί ένα πλαίσιο συμπερασμού (inference framework) που στοχεύει να γεφυρώσει το χάσμα μεταξύ πειραματικών υλοποιήσεων και παραγωγικών περιβαλλόντων. Επιλύει το πρόβλημα της περιορισμένης διαλειτουργικότητας (interoperability) μεταξύ διαφορετικών αρχιτεκτονικών hardware, επιτρέποντας την ανάπτυξη μοντέλων σε περιβάλλοντα που περιλαμβάνουν από NVIDIA GPUs έως εξειδικευμένους επιταχυντές (π.χ. Ascend, Haiguang).

Βασικά χαρακτηριστικά

• Ετερογενής υπολογιστική ισχύς: Υποστήριξη για υβριδική εκτέλεση CPU+GPU, επιτρέποντας το inference μοντέλων τεράστιας κλίμακας σε περιορισμένο hardware.
• Production-ready αρχιτεκτονική: Εστίαση στη σταθερότητα και τη διαθεσιμότητα, με δυνατότητα διαχωρισμού των PD (Parallel/Distributed) instances για σύνθετα tasks.
• Βελτιστοποιημένοι τελεστές: Ενσωμάτωση αποδοτικών kernels για online μετατροπές μεταξύ FP4, FP8 και BF16, μειώνοντας το memory footprint.

Σε ποιους απευθύνεται

Απευθύνεται σε AI engineers και MLOps που αναζητούν μια ευέλικτη λύση για το deployment μεγάλων γλωσσικών μοντέλων σε ποικίλα hardware οικοσυστήματα.