Η αποτυχία της προσέγγισης «βάλτα όλα στο context»
Κατά το 2024, η κυρίαρχη τάση ήταν η μεγέθυνση των context windows με την ελπίδα ότι η παροχή τεράστιου όγκου δεδομένων θα έλυνε αυτόματα τα προβλήματα των agents. Ωστόσο, η εμπειρία έδειξε ότι η αύξηση του context συνοδεύεται από κρίσιμα σημεία συμφόρησης (bottlenecks). Το μοντέλο συχνά αποσπάται από άσχετες πληροφορίες (context distraction) ή «δηλητηριάζεται» από λανθασμένα δεδομένα (context poisoning), οδηγώντας σε συμπεριφορές που δεν συνάδουν με τις οδηγίες του χρήστη.
Η μετάβαση στο harness engineering
Η λύση που προτείνεται είναι η μετατόπιση της ευθύνης από το ίδιο το LLM σε ένα σύστημα ελέγχου, το λεγόμενο harness. Αντί να βασιζόμαστε στην ικανότητα του μοντέλου να διαχειρίζεται εκατομμύρια tokens, χρησιμοποιούμε ντετερμινιστικό κώδικα για:
- Context Pruning: Αφαίρεση περιττών πληροφοριών από το ιστορικό.
- Tool Loadout: Επιλεκτική έκθεση εργαλείων για την αποφυγή υπερφόρτωσης του μοντέλου.
- Context Quarantine: Χρήση sub-agents με «καθαρό» ιστορικό για συγκεκριμένες εργασίες.
Η πρόκληση του fighting the weights
Καθώς τα μοντέλα εκπαιδεύονται όλο και περισσότερο για να λειτουργούν ως agents, αποκτούν ενσωματωμένες προκαταλήψεις (biases) από τα εργαλεία που χρησιμοποιήθηκαν κατά την εκπαίδευσή τους. Όταν ο προγραμματιστής προσπαθεί να επιβάλει μια διαφορετική ροή εργασίας, το μοντέλο συχνά «αντιστέκεται» (fighting the weights), προσπαθώντας να εφαρμόσει τα μοτίβα που έμαθε κατά το training. Η επιτυχία στην ανάπτυξη agents εξαρτάται πλέον από την ικανότητά μας να αναγνωρίζουμε πότε πρέπει να αφήσουμε το μοντέλο να λειτουργήσει πιθανοτικά και πότε πρέπει να επιβάλουμε αυστηρούς, ντετερμινιστικούς κανόνες μέσω του harness.