Η πρόκληση της φυσικής αλληλεπίδρασης
Η μετάβαση των μοντέλων από την επεξεργασία κειμένου στον έλεγχο φυσικών συστημάτων αποτελεί το επόμενο μεγάλο ορόσημο. Το DrivingBench επιχειρεί να ποσοτικοποιήσει αυτή τη μετάβαση, θέτοντας τα μοντέλα στη θέση του οδηγού. Αντί για προσομοιώσεις, η πλατφόρμα χρησιμοποιεί ένα πραγματικό όχημα, απαιτώντας από το μοντέλο να λαμβάνει αποφάσεις σε πραγματικό χρόνο και να τις μεταφράζει σε εντολές κίνησης.
Μεθοδολογία αξιολόγησης και μετρικές
Η αρχιτεκτονική του benchmark επικεντρώνεται στην ακρίβεια της τροχιάς. Η πρόοδος υπολογίζεται ως ποσοστό της διαδρομής που καλύπτεται εντός ορίων απόκλισης 4 μέτρων από την κεντρική γραμμή. Η χρήση των tokens και το υπολογιστικό κόστος αποτελούν κρίσιμες παραμέτρους, καθώς η καθυστέρηση (latency) στην απόκριση του μοντέλου μπορεί να αποβεί μοιραία σε συνθήκες οδήγησης.
Διαφάνεια στα ίχνη εκτέλεσης
Ένα από τα ισχυρότερα σημεία του project είναι η δυνατότητα επιθεώρησης των traces. Οι μηχανικοί μπορούν να αναλύσουν κάθε κλήση εντολής που δέχτηκε το όχημα, επιτρέποντας τον εντοπισμό σημείων συμφόρησης (bottlenecks) στη λήψη αποφάσεων του μοντέλου. Η διαθεσιμότητα των δεδομένων αυτών είναι απαραίτητη για την κατανόηση του τρόπου με τον οποίο τα μοντέλα συλλογιστικής (reasoning models) διαχειρίζονται τον φυσικό κόσμο.