Janas: Εκτέλεση LLM μεγαλύτερων από τη RAM μέσω streaming από τον SSD

Αρχιτεκτονική προσέγγιση και διαχείριση μνήμης

Το Janas-LLM διαφοροποιείται από τις παραδοσιακές υλοποιήσεις inference, καθώς δεν απαιτεί την πλήρη φόρτωση των βαρών (weights) του μοντέλου στη RAM. Αντίθετα, υιοθετεί μια στρατηγική όπου οι απαραίτητοι experts ενός Mixture-of-Experts (MoE) μοντέλου μεταφέρονται από τον NVMe SSD κατά την εκτέλεση (streaming). Οι συχνά χρησιμοποιούμενοι experts παραμένουν στην cache της μνήμης, μειώνοντας δραστικά το αποτύπωμα του συστήματος.

Επιδόσεις και συγκριτική ανάλυση

Σε δοκιμές που πραγματοποιήθηκαν σε laptop με Intel Core Ultra 9 και 32GB RAM, το Janas-LLM επέδειξε ανώτερη ταχύτητα σε σχέση με το llama.cpp. Ενώ το llama.cpp αντιμετωπίζει συχνά σημεία συμφόρησης (bottlenecks) λόγω της διαχείρισης των buffers και του repacking των βαρών, το Janas εκμεταλλεύεται το I/O του NVMe SSD για να διατηρήσει υψηλό ρυθμό παραγωγής tokens (tok/s), ακόμη και όταν το μοντέλο είναι σημαντικά μεγαλύτερο από τη διαθέσιμη μνήμη.

Διαλειτουργικότητα και οικοσύστημα

Πέρα από το core engine, το Janas προσφέρει ένα πλήρες οικοσύστημα εργαλείων, συμπεριλαμβανομένου ενός MCP (Model Context Protocol) server και ενός HTTP API συμβατού με το πρότυπο της OpenAI. Η υποστήριξη για code completion σε περιβάλλοντα όπως το VS Code και το VSCodium καθιστά το εργαλείο άμεσα αξιοποιήσιμο σε ροές εργασίας ανάπτυξης λογισμικού, παρά το πειραματικό στάδιο της ανάπτυξής του.

Προκλήσεις και σταθερότητα

Ως πειραματικό project, το Janas θέτει υψηλές απαιτήσεις στο hardware, χρησιμοποιώντας εντολές O_DIRECT για μέγιστη ταχύτητα ανάγνωσης από τον δίσκο. Αυτό σημαίνει ότι σε συστήματα με περιορισμένο headroom, η απόδοση μπορεί να επηρεάσει τη συνολική απόκριση του λειτουργικού συστήματος. Η χρήση GPU παραμένει επίσης ένα πεδίο υπό συνεχή βελτίωση, με την ομάδα ανάπτυξης να δίνει έμφαση στη συλλογή δεδομένων από διαφορετικές αρχιτεκτονικές μέσω του ενσωματωμένου εργαλείου janas-bench.