Πέρα από την απλή επίλυση προβλημάτων
Τα παραδοσιακά benchmarks φορολογικής τεχνολογίας (όπως το TaxBench ή το TaxCalcBench) επικεντρώνονται κυρίως στην απάντηση συγκεκριμένων ερωτημάτων ή στην ακρίβεια υπολογισμών. Το DAYJOB: Tax εισάγει μια νέα διάσταση: την ευθύνη του «επαγγελματία». Οι agents καλούνται να διαχειριστούν αδόμητα δεδομένα, να εντοπίσουν ελλείψεις σε στοιχεία και να αναγνωρίσουν κρίσιμες προθεσμίες ή νομικές παραμέτρους που ο πελάτης δεν έχει καν θέσει ως ερώτημα.
Αρχιτεκτονική και πολυπλοκότητα δεδομένων
Το benchmark δεν βασίζεται σε απλά κείμενα, αλλά σε 1.789 αρχεία εργασίας που περιλαμβάνουν PDFs, Excel, φωτογραφίες χειρόγραφων αποδείξεων και logs εργασίας. Η πρόκληση για τα μοντέλα είναι η διαλειτουργικότητα (interoperability) μεταξύ διαφορετικών τύπων αρχείων και η ικανότητα να συνθέτουν μια ολοκληρωμένη εικόνα, όπως θα έκανε ένας έμπειρος φοροτεχνικός.
Η πρόκληση της επαγγελματικής κρίσης
Ένα από τα πιο ενδιαφέροντα ευρήματα αφορά την ικανότητα των μοντέλων να αμφισβητούν τις παραδοχές του πελάτη. Σε σενάρια όπου ο πελάτης θεωρεί δεδομένη την οικογενειακή του κατάσταση, τα μοντέλα που απέτυχαν δέχτηκαν την πληροφορία ως αξίωμα, ενώ τα πιο εξελιγμένα μοντέλα αναγνώρισαν την ανάγκη για νομική επαλήθευση, αποδεικνύοντας ότι η παραγωγική τεχνητή νοημοσύνη (Generative AI) χρειάζεται ακόμη σημαντική βελτίωση στη λήψη αποφάσεων υπό συνθήκες αβεβαιότητας.
Συμπεράσματα για τα frontier models
Με το Claude Sonnet 5.5 να ηγείται με ποσοστό επιτυχίας μόλις 10,8%, γίνεται σαφές ότι η αυτοματοποίηση της φορολογικής συμβουλευτικής παραμένει ένα εξαιρετικά δύσκολο πεδίο. Η ικανότητα των μοντέλων να εκτελούν μεμονωμένα βήματα δεν μεταφράζεται αυτόματα σε ικανότητα ολοκλήρωσης μιας επαγγελματικής εργασίας, καθώς το σημείο συμφόρησης (bottleneck) παραμένει η έλλειψη συνεκτικής επαγγελματικής κρίσης.