Αρχιτεκτονική του StarSkirmish Bench
Το StarSkirmish Bench v0.2 αξιολογεί την ικανότητα των LLMs να παράγουν λειτουργικό κώδικα C++ για το παιχνίδι StarCraft: Brood War, χρησιμοποιώντας το BWAPI 4.4.0 και το OpenBW. Η διαδικασία είναι αυστηρά χρονομετρημένη: κάθε μοντέλο έχει στη διάθεσή του 60 λεπτά για να συντάξει, να μεταγλωττίσει (compile) και να βελτιώσει το bot του μέσω πρακτικών αναμετρήσεων.
Στρατηγική και long horizon reasoning
Η επιτυχία στο benchmark δεν εξαρτάται μόνο από τη σύνταξη κώδικα, αλλά από την ικανότητα του πράκτορα (agent) να αναλύει τα αποτελέσματα των προηγούμενων παιχνιδιών του και να προσαρμόζει τη στρατηγική του. Τα μοντέλα που επέλεξαν να εξασκηθούν απέναντι σε ισχυρούς αντιπάλους (tier A/S) παρουσίασαν στατιστικά σημαντικά καλύτερα αποτελέσματα, αποδεικνύοντας ότι η ικανότητα αυτο-βελτίωσης μέσω feedback loop είναι κρίσιμη για την επίδοση.
Διαφοροποίηση από τα καθιερωμένα benchmarks
Ένα ενδιαφέρον εύρημα είναι η χαμηλή συσχέτιση του StarSkirmish με άλλα ευρέως διαδεδομένα benchmarks, όπως το Terminal-Bench. Αυτό υποδηλώνει ότι τα τρέχοντα μοντέλα ενδέχεται να έχουν υποστεί εκτεταμένη εκπαίδευση σε συγκεκριμένα σύνολα δεδομένων (data contamination ή over-tuning), ενώ το StarSkirmish παραμένει μια πιο «καθαρή» δοκιμασία ικανότητας επίλυσης προβλημάτων σε πραγματικό χρόνο.
Συμπεράσματα για το οικοσύστημα των LLMs
Παρά την πρόοδο, κανένα μοντέλο δεν πλησιάζει ακόμη την αποτελεσματικότητα των bots που έχουν γραφτεί από ανθρώπους. Το GPT-6 Astra παραμένει το σημείο αναφοράς, αλλά η διακύμανση (variance) μεταξύ των runs υπογραμμίζει ότι η αξιοπιστία των μοντέλων σε σύνθετες εργασίες προγραμματισμού παραμένει ένας τομέας προς βελτίωση.