Το προνόμιο του pretraining και η τυχαία δημιουργία δεδομένων

Η επιτυχία των σύγχρονων μοντέλων παραγωγικής τεχνητής νοημοσύνης (Generative AI) στη φάση του pretraining στηρίχθηκε σε έναν ανεκτίμητο θησαυρό ψηφιακών δεδομένων που βρέθηκε διαθέσιμος «τυχαία». Εργαλεία όπως η Wikipedia, το ArXiv, τα αποθετήρια ανοιχτού κώδικα και το Common Crawl προσέφεραν πεταμπάιτς κειμένων και κώδικα, τα οποία είχαν δημιουργηθεί από την ανθρωπότητα για εντελώς διαφορετικούς λόγους και όχι για την εκπαίδευση αλγορίθμων.

Αυτή η τεράστια δεξαμενή πληροφοριών επέτρεψε στα foundational models να κατανοήσουν τη δομή της ανθρώπινης γλώσσας και σκέψης. Ωστόσο, η βιομηχανία έχει πλέον μετατοπίσει το ενδιαφέρον της στο post-training και ειδικότερα στα λεγόμενα agentic συστήματα, τα οποία λειτουργούν με ενισχυτική μάθηση (reinforcement learning). Εδώ, η κατάσταση είναι δραματικά διαφορετική, καθώς δεν υπάρχει κάποιο έτοιμο δημόσιο αποθετήριο.

Από τα έγγραφα στις εκτελέσιμες εργασίες (tasks)

Η θεμελιώδης διαφορά έγκειται στο γεγονός ότι το pretraining καταναλώνει στατικά έγγραφα, ενώ το post-training καταναλώνει δυναμικές εργασίες (tasks). Μια ανθρώπινη δραστηριότητα στον πραγματικό κόσμο είναι εφήμερη και προσαρμοστική, καθιστώντας εξαιρετικά δύσκολη την κωδικοποίησή της σε ένα επαναλαμβανόμενο σενάριο εκπαίδευσης για αλγορίθμους.

Για να μετατραπεί μια δράση σε περιβάλλον ενισχυτικής μάθησης (reinforcement learning), απαιτείται η ακριβής διατήρηση τεσσάρων κρίσιμων στοιχείων:

  1. Του περιβάλλοντος (world) στο οποίο συμβαίνει η δράση.
  2. Της πρόθεσης (intent) πίσω από αυτήν.
  3. Των εργαλείων (tools) που χρησιμοποιούνται για την αλληλεπίδραση.
  4. Ενός κριτή (grader) που αξιολογεί αν επιτεύχθηκε ο στόχος.

Οι δυσκολίες κατασκευής δεδομένων στον κώδικα και την ευρύτερη οικονομία

Ακόμη και στον τομέα της μηχανικής λογισμικού (software engineering) —ο οποίος αποτελεί τον «εύκολο» κλάδο λόγω της εγγενούς του ψηφιακής φύσης και των εργαλείων όπως το Git και τα containers— η δημιουργία αξιόπιστων δεδομένων εκπαίδευσης αποδεικνύεται Γολγοθάς. Δημοφιλή benchmarks, όπως το SWE-bench, αποκαλύπτουν ότι τεράστιo ποσοστό των pull requests και των issues δεν μπορούν να μετατραπούν σε καθαρά, εκτελέσιμα tasks λόγω ελλιπών εξαρτήσεων, σπασμένων δοκιμών ή ασαφών προτροπών.

Αν η αυτοματοποίηση της εργασίας στον κώδικα είναι τόσο εύθραυστη, η αντίστοιχη διαδικασία για άλλους τομείς της οικονομίας (όπως η νομική επιστήμη, η ιατρική ή οι πωλήσεις) απαιτεί κολοσσιαίες επενδύσεις. Χωρίς οργανωμένη προσπάθεια για τη δημιουργία ενός ανοιχτού post-training data commons, η παραγωγή τέτοιων δεδομένων περιορίζεται στα ιδιωτικά εργαστήρια των τεχνολογικών κολοσσών.

Η ανάγκη για ένα ανοιχτό post-training commons

Η συγκέντρωση των περιβαλλόντων εκπαίδευσης και των εργαλείων αξιολόγησης στα χέρια λίγων εταιρειών δίνει σε αυτές δυσανάλογη ισχύ στον καθορισμό των δυνατοτήτων και της κατεύθυνσης που παίρνει η τεχνητή νοημοσύνη. Η ύπαρξη ενός ανοιχτού αποθετηρίου για το post-training θα επιτρέψει σε πανεπιστήμια, ερευνητές και μη κερδοσκοπικούς οργανισμούς να έχουν λόγο στη διαμόρφωση της τεχνολογίας, διασφαλίζοντας τη διαφάνεια και τη δημοκρατική πρόσβαση στην εποχή των intelligent agents.