Αρχιτεκτονική προσέγγιση και αποδοτικότητα
Τα Contrastive Language Models (CLMs) επαναπροσδιορίζουν τη λήψη αποφάσεων σε περιβάλλοντα πρακτόρων, αντιμετωπίζοντας το πρόβλημα ως μια διαδικασία αντιστοίχισης σε έναν κοινό χώρο embeddings. Αντί για την παραδοσιακή παραγωγική διαδικασία (generative inference), το CLM χρησιμοποιεί έναν encoder καταστάσεων και έναν encoder ενεργειών. Η βαθμολόγηση κάθε υποψήφιας ενέργειας προκύπτει από το cosine similarity μεταξύ των embeddings, επιτρέποντας την επιλογή της βέλτιστης δράσης με ελάχιστο υπολογιστικό κόστος.
Στρατηγική εκπαίδευσης τριών σταδίων
Η εκπαίδευση του CLM-8B ακολουθεί μια δομημένη διαδικασία για τη μεγιστοποίηση της ακρίβειας:
- Pre-training: Εκμάθηση γενικών σημασιολογικών αναπαραστάσεων σε κλίμακα διαδικτύου (60M ζεύγη Q&A).
- Mid-training: Ενσωμάτωση συνθετικών hard negatives για την ανάπτυξη ικανότητας διάκρισης μεταξύ σημασιολογικά παρόμοιων αλλά λανθασμένων ενεργειών.
- Post-training: Προσαρμογή σε agentic trajectories (1M δείγματα) με χρήση τεχνικών co-training και data replay για την αποφυγή του καταστροφικού λήθης (catastrophic forgetting).
Υπολογιστικά πλεονεκτήματα και scaling
Το κύριο πλεονέκτημα της αρχιτεκτονικής είναι ο διαχωρισμός των embeddings. Σε σενάρια όπου το σύνολο των ενεργειών είναι σταθερό, οι ενέργειες μπορούν να προ-υπολογιστούν και να αποθηκευτούν στην cache. Αυτό μετατρέπει το πρόβλημα από πολλαπλά forward passes σε ένα μόνο, μειώνοντας το latency έως και 13 φορές σε περιβάλλοντα με μεγάλο αριθμό υποψήφιων ενεργειών. Επιπλέον, η χρήση frozen backbones επιτρέπει την ταχεία πειραματική κλιμάκωση, καθώς μόνο το projection head απαιτεί εκπαίδευση, καθιστώντας το μοντέλο ιδανικό για εφαρμογές που απαιτούν υψηλή διαθεσιμότητα και άμεση απόκριση.