Από την υπόθεση στο θεώρημα
Η Platonic Representation Hypothesis (PRH) υποστηρίζει ότι τα μοντέλα τεχνητής νοημοσύνης, καθώς κλιμακώνονται, τείνουν να αναπτύσσουν μια κοινή, «πλατωνική» αναπαράσταση του κόσμου. Η παρούσα εργασία προσφέρει μια αυστηρή μαθηματική θεμελίωση, αποδεικνύοντας ότι οι Joint-Embedding Predictive Architectures (JEPAs) συγκλίνουν σε πανομοιότυπες αναπαραστάσεις (με διαφορά μιας περιστροφής) όταν εκπαιδεύονται σε διαφορετικά modalities, υπό την προϋπόθεση ότι χρησιμοποιούνται «καλές όψεις» (good views) του ίδιου αντικειμένου.
Η ανεπάρκεια του next-token prediction
Οι ερευνητές αναλύουν τη φύση της πρόβλεψης επόμενου token, χαρακτηρίζοντάς την ως μια JEPA που λειτουργεί με «κακές όψεις» (bad views) — δηλαδή τμήματα ενός εγγράφου που δεν παρέχουν επαρκή εννοιολογική σύγκλιση. Αυτό εξηγεί γιατί τα τρέχοντα γλωσσικά μοντέλα (LLMs) απαιτούν τεράστια κλίμακα για να επιτύχουν ευθυγράμμιση με οπτικά δεδομένα. Αντίθετα, οι JEPAs εκμεταλλεύονται τη δομική συνάφεια των δεδομένων, επιτρέποντας πολύ ταχύτερη μάθηση.
Πρακτικά αποτελέσματα και απόδοση
Τα πειραματικά δεδομένα είναι εντυπωσιακά: ένα text JEPA με μόλις 109 εκατομμύρια παραμέτρους ξεπερνά σε ευθυγράμμιση γλωσσικά μοντέλα έως και 72 δισεκατομμυρίων παραμέτρων. Επιπλέον, η μέθοδος επιτρέπει τη δημιουργία συστημάτων όπως image captioners μέσω μιας απλής περιστροφής των encoders, χωρίς την ανάγκη για ζεύγη δεδομένων (pair-free), καταρρίπτοντας τα υπάρχοντα benchmarks στο ImageNet-100.