Από την παραγωγή κειμένου στη λήψη αποφάσεων
Τα τυπικά LLMs λειτουργούν ως μηχανές πρόβλεψης επόμενου token, απαιτώντας πολλαπλά passes για τη δημιουργία δομημένων απαντήσεων (π.χ. JSON). Αντίθετα, τα μοντέλα λήψης αποφάσεων (decision models) στοχεύουν στην επιλογή μιας απάντησης από ένα κλειστό σύνολο επιλογών σε ένα μόνο pass. Αυτό επιτυγχάνεται μέσω του περιορισμού του λεξιλογίου (vocabulary masking), όπου το μοντέλο αναγκάζεται να εκπέμψει μόνο τα tokens που αντιστοιχούν στις επιτρεπτές απαντήσεις.
Η πρόκληση της βαθμονόμησης (calibration)
Ένα κρίσιμο τεχνικό ζήτημα είναι ότι τα confidence scores που προκύπτουν από το softmax των logits δεν αποτελούν αξιόπιστες μετρήσεις πιθανότητας. Όπως αποδεικνύεται από την ανάλυση των bins, το μοντέλο εμφανίζει συστηματική υπερβολική αυτοπεποίθηση (overconfidence) σε αμφίσημα ερωτήματα. Η έλλειψη βαθμονόμησης σημαίνει ότι το μοντέλο μπορεί να δηλώνει 99% βεβαιότητα, ενώ η πραγματική του ακρίβεια σε αυτό το εύρος είναι σημαντικά χαμηλότερη.
Βελτιστοποίηση μέσω temperature scaling
Για να διορθωθεί αυτή η απόκλιση, εφαρμόζεται η τεχνική του temperature scaling. Τροποποιώντας την παράμετρο temperature (T), «ισιώνουμε» την κατανομή πιθανοτήτων, καθιστώντας τα scores πιο αντιπροσωπευτικά της πραγματικής ακρίβειας. Μέσω curve fitting, προσδιορίζεται η βέλτιστη τιμή T που ελαχιστοποιεί το expected calibration error (ECE), επιτρέποντας στο μοντέλο να παρέχει προβλέψεις με ρεαλιστικά επίπεδα εμπιστοσύνης.
Πρακτική εφαρμογή
Η προσέγγιση αυτή, υλοποιημένη με βιβλιοθήκες όπως η transformers της Hugging Face, επιτρέπει σε μικρά μοντέλα (π.χ. Qwen 1.7B) να επιτυγχάνουν ανταγωνιστικά αποτελέσματα σε benchmarks όπως το CommonsenseQA. Η διαδικασία περιλαμβάνει:
- Καθορισμό των επιτρεπτών token IDs.
- Εξαγωγή logits για τα συγκεκριμένα tokens.
- Εφαρμογή softmax με βαθμονομημένη θερμοκρασία.
- Επιλογή του argmax ως τελική απόφαση.