Η πρόκληση της μεταβλητότητας στα frontier models
Η κοινότητα των μηχανικών συχνά αναφέρει ότι τα μοντέλα τεχνητής νοημοσύνης παρουσιάζουν υποβάθμιση (nerfing) λίγο καιρό μετά την κυκλοφορία τους. Είτε πρόκειται για αλλαγές στο routing, είτε για κβαντισμό (quantization), είτε για αλλαγές στο effort, η έλλειψη ενός day-0 baseline καθιστά αδύνατη την τεκμηρίωση αυτών των ισχυρισμών. Το Livenerf επιχειρεί να δώσει τέλος σε αυτή την ασάφεια.
Αρχιτεκτονική προσέγγιση και ντετερμινισμός
Επειδή τα σύγχρονα μοντέλα όπως το Claude Opus 5.5 δεν είναι εγγενώς ντετερμινιστικά, το Livenerf μεταφέρει τον ντετερμινισμό στο περιβάλλον εκτέλεσης. Χρησιμοποιώντας το framework Inspect, το εργαλείο:
- Κλειδώνει το CLI και το harness hash για να αποφύγει αλλαγές στο serving path.
- Χρησιμοποιεί ένα σταθερό σύνολο ερωτήσεων (panel) που έχουν βαθμονομηθεί ώστε να βρίσκονται στο 30-70% της επιτυχίας, μεγιστοποιώντας την πληροφοριακή αξία κάθε δείγματος.
- Εφαρμόζει αυστηρά pre-registered κριτήρια απόφασης, αποτρέποντας την αυθαίρετη ερμηνεία των δεδομένων.
Παρακολούθηση μέσω tokens και στατιστικής ανάλυσης
Ένα από τα πιο ενδιαφέροντα τεχνικά ευρήματα του project είναι η συσχέτιση μεταξύ της πτώσης στην ακρίβεια και της μείωσης των output tokens. Το Livenerf παρακολουθεί στενά τον όγκο των tokens, καθώς μια απότομη μείωση συχνά υποδηλώνει ότι το μοντέλο «σκέφτεται λιγότερο» (lower effort), γεγονός που αποτελεί προάγγελο υποβάθμισης της ποιότητας των απαντήσεων. Η χρήση clustered standard errors επιτρέπει στο εργαλείο να διακρίνει αν μια αλλαγή οφείλεται στο ίδιο το μοντέλο ή σε εξωτερικούς παράγοντες του συστήματος.