Αρχιτεκτονική προσέγγιση: Από το text generation στη λήψη αποφάσεων

Η παραδοσιακή χρήση των LLMs για λήψη αποφάσεων (π.χ. ταξινόμηση αιτημάτων) απαιτεί την παραγωγή ολόκληρων JSON αντικειμένων, γεγονός που επιβαρύνει το latency και το κόστος λόγω του μεγάλου αριθμού tokens. Η προτεινόμενη μέθοδος παρακάμπτει αυτή τη διαδικασία, αντιμετωπίζοντας το LLM ως έναν «oracle» πιθανοτήτων.

Αντί για παραγωγή κειμένου, το σύστημα προκαθορίζει τις επιλογές στο prompt και αναγκάζει το μοντέλο να παράγει μόνο το index της επιλογής. Διαβάζοντας απευθείας τα logits για τα συγκεκριμένα token IDs, εξάγεται μια κατανομή πιθανοτήτων για κάθε διαθέσιμη επιλογή, επιτρέποντας την άμεση λήψη απόφασης με υψηλή ακρίβεια.

Τεχνικές λεπτομέρειες υλοποίησης

Η υλοποίηση βασίζεται στο vLLM και απαιτεί προσεκτική διαχείριση των tokenizers:

  • Prefilling: Το prompt ολοκληρώνεται με το πρόθεμα choice_index:, αναγκάζοντας το μοντέλο να προβλέψει άμεσα το επόμενο token που αντιστοιχεί στο index της επιλογής.
  • Logit evaluation: Η χρήση του logprob_token_ids είναι κρίσιμη, καθώς επιτρέπει την ανάκτηση των log probabilities για συγκεκριμένα IDs, αποφεύγοντας τα προβλήματα που προκύπτουν από το top_logprobs (όπου tokens μορφοποίησης μπορεί να καταλαμβάνουν τις πρώτες θέσεις).
  • Multimodal support: Επειδή η διαδικασία βασίζεται στο forward pass του μοντέλου, η προσθήκη εικόνων στο prompt επιτρέπει τη λήψη αποφάσεων σε οπτικά δεδομένα (π.χ. τιμολόγια) χωρίς αλλαγή στην αρχιτεκτονική.

Συμπεράσματα από το benchmarking

Τα αποτελέσματα δείχνουν ότι η μέθοδος είναι στατιστικά ισοδύναμη με το Jev σε κείμενο, ενώ υπερέχει σε σενάρια που απαιτούν ανάλυση εικόνας. Παρά το γεγονός ότι το κόστος ανά εκατομμύριο αποφάσεις είναι υψηλότερο σε σχέση με το Jev, η ευελιξία του να χρησιμοποιείται οποιοδήποτε μοντέλο υποστηρίζεται από το vLLM καθιστά την προσέγγιση εξαιρετικά ισχυρή για production συστήματα.