Εισαγωγή και στόχος
Η ομάδα του Kombai představit το Design Creativity Bench, ένα νέο benchmark που αξιολογεί τη δημιουργικότητα των frontier LLM σε εργασίες σχεδίασης UI.
Μέθοδος και διαστάσεις αξιολόγησης
Το benchmark περιλαμβάνει 80 ανοικτές εργασίες UI, κα προσαρμοσμένη σε δύο διαφορετικά τομείς προϊόντων. Η αξιολόγηση βασίζεται σε τρεις διαστάσεις: – Originality (αριθμητική μέτρηση της μοναδικότητας των σχεδίων), – Creative Range (η ικανότητα προσαρμογής όταν αλλάζει ο τομέας) και – Appropriateness (η ικανοποίηση των λειτουργικών απαιτήσεων).
Αποτελέσματα και σύγκριση
Το καλύτερο μοντέλο, το GPT-6 Astra, đtisce σκορ 65.5 ενώ η αναφορά του ανθρώπινου σχεδιαστή είναι 92.3. Αυτό αποκαλύπτει ένα σημαντικό χάσμα στη δημιουργική απόδοση, με όλα τα μοντέλα να παραμένουν πολύ πίσω από το ανθρώπινο επίπεδο.
Επιπτώσεις και διαθεσιμότητα
Ο πλήρης πίνακας ηγεμονίας, η μεθοδολογία και το πλαίσιο αξιολόγησης είναι διαθέσιμοι σε ανοικτή μορφή, συμπεριλαμβανομένου του paper, του dataset στο HuggingFace και του repository στο GitHub, ώστε η μέτρηση της δημιουργικότητας να γίνει μέρος της αξιολόγησης των frontier μοντέλων.