Από τον εξωτερικό έλεγχο στην εγγενή διαχείριση
Η παραδοσιακή προσέγγιση στη διαχείριση context (context management) βασίζεται σε εξωτερικούς μηχανισμούς (harness control) που καθορίζουν τι εισάγεται στο context window. Τα Context Language Models (CLMs) ανατρέπουν αυτό το παράδειγμα, μεταφέροντας την ευθύνη στο ίδιο το μοντέλο. Αντιμετωπίζοντας το context ως ένα αρχείο που το μοντέλο μπορεί να τροποποιήσει ελεύθερα, επιτυγχάνεται μια πιο ευέλικτη και «έξυπνη» διαχείριση πληροφοριών.
Αρχιτεκτονική και απόδοση
Η αρχιτεκτονική των CLMs επιτρέπει στο μοντέλο να μαθαίνει στρατηγικές διαχείρισης τόσο in-context όσο και παραμετρικά. Τα αποτελέσματα είναι εντυπωσιακά: σε δοκιμές όπως το BrowseComp-Plus, τα CLMs παρουσίασαν 11,4% υψηλότερη ακρίβεια με 21,5% λιγότερα FLOPs. Επιπλέον, η χρήση online reinforcement learning βελτίωσε τις επιδόσεις του Qwen3.5-9B κατά 47,6%, αποδεικνύοντας ότι η εγγενής διαχείριση είναι πιο αποδοτική από τις στατικές μεθόδους.
Βελτιστοποίηση στο serving
Πέρα από το inference, η έρευνα εισάγει το Suffix Cache Reuse, μια τεχνική που βελτιστοποιεί τη διαχείριση της μνήμης κατά το serving. Σε σύγκριση με το SGLang, η μέθοδος αυτή μειώνει το υπολογιστικό κόστος στον server κατά 35%, διατηρώντας παράλληλα το ίδιο επίπεδο απόδοσης. Αυτό καθιστά τα CLMs ιδιαίτερα ελκυστικά για παραγωγικά περιβάλλοντα όπου το latency και το throughput αποτελούν κρίσιμα σημεία συμφόρησης (bottlenecks).