Η πρόκληση της βιώσιμης χρήσης LLM
Η προσπάθεια της ομάδας του Wagtail να περιορίσει το σύνολο των inference tasks σε ένα μόνο μοντέλο (GLM 5.3 Flash) για έναν ολόκληρο μήνα προσέφερε πολύτιμα δεδομένα. Παρά την αρχική αποτυχία επίτευξης του 100% της χρήσης, η διαδικασία ανέδειξε ότι η επιλογή μοντέλων που βρίσκονται στο Pareto frontier της απόδοσης είναι εφικτή, αλλά απαιτεί συνεχή παρακολούθηση.
Προκλήσεις υποδομής και κόστους
Ένα από τα σημαντικότερα σημεία συμφόρησης (bottleneck) ήταν η διαθεσιμότητα των υποδομών. Οι δημοφιλείς πάροχοι open-weight μοντέλων συχνά παρουσιάζουν υποβάθμιση απόδοσης λόγω υπερφόρτωσης, αναγκάζοντας τους μηχανικούς σε δυναμική εναλλαγή μεταξύ μοντέλων όπως το DeepSeek V4.1 Flash και το Qwen 3.8 Flash. Επιπλέον, το 'vibe coding' σε πειραματικά στάδια αποδείχθηκε δαπανηρό, υπογραμμίζοντας την ανάγκη για πιο αυστηρά όρια (budgeting) κατά τη φάση του R&D.
Προς μια πιο ορθολογική διαχείριση των agents
Η εμπειρία κατέδειξε ότι η τυφλή χρήση μοντέλων για κάθε task είναι αντιπαραγωγική. Η ομάδα προκρίνει πλέον:
- Τη χρήση multi-agent τεχνικών για τον περιορισμό των στόχων κάθε πράκτορα.
- Την ενσωμάτωση τοπικών μετρήσεων για το ενεργειακό κόστος και το spend.
- Τη συστηματική αξιολόγηση (benchmarking) των μοντέλων σε συγκεκριμένα tasks του Wagtail, ώστε να καθοδηγούνται οι προγραμματιστές προς τις πιο αποδοτικές λύσεις.
Η μετάβαση από τη μέτρηση των tokens στη μέτρηση της επιχειρησιακής αξίας ανά μονάδα ενέργειας αποτελεί το επόμενο βήμα για τη βιώσιμη ανάπτυξη εργαλείων βασισμένων σε παραγωγική τεχνητή νοημοσύνη (Generative AI).