Qualcomm Cloud AI 100 Ultra: Νέος accelerator 150W με 128GB DRAM για generative AI

Αρχιτεκτονική και χαρακτηριστικά υλικού

Ο Qualcomm Cloud AI 100 Ultra έρχεται να καλύψει τις αυξανόμενες απαιτήσεις των σύγχρονων data centers για αποδοτική εκτέλεση inference σε μεγάλα γλωσσικά μοντέλα (LLMs). Με κατανάλωση ισχύος (TDP) στα 150W, η κάρτα προσφέρει έως 870 TOPS σε ακέραιες πράξεις (INT8) και 288 TFLOPS σε FP16, επιτυγχάνοντας υψηλή απόδοση ανά watt.

Στο επίκεντρο της αρχιτεκτονικής βρίσκονται 64 πυρήνες AI ανά κάρτα, πλαισιωμένοι από 576 MB on-die SRAM, γεγονός που ελαχιστοποιεί τα σημεία συμφόρησης (bottlenecks) κατά την ανάκτηση βαρών των μοντέλων. Επιπλέον, η ενσωμάτωση 128GB LPDDR4x DRAM με ECC και εύρος ζώνης (bandwidth) 548 GB/s επιτρέπει τη φιλοξενία και εκτέλεση σύνθετων πολυτροπικών μοντέλων τοπικά.

Οικοσύστημα λογισμικού και Qualcomm AI Inference Suite

Πέρα από το hardware, η Qualcomm επενδύει στη διαλειτουργικότητα (interoperability) μέσω του Qualcomm AI Inference Suite. Το λογισμικό παρέχει έτοιμες προς χρήση λύσεις για επιχειρήσεις, συμπεριλαμβανομένων OpenAI-compatible APIs για chatbots, co-pilots και agents.

Το inference suite υποστηρίζει επίσης ενσωμάτωση με δημοφιλή frameworks και υπηρεσίες cloud, επιτρέποντας την ανάπτυξη εφαρμογών παραγωγικής τεχνητής νοημοσύνης (Generative AI) με δυνατότητες ανάκτησης και επαύξησης (retrieval-augmented generation - RAG), αξιοποιώντας containerized περιβάλλοντα Kubernetes.