Η κρίση εμπιστοσύνης στα δεδομένα των LLM
Η έρευνα της Trakkr ανέδειξε ένα κρίσιμο ζήτημα στην αρχιτεκτονική των σύγχρονων AI assistants: την αδυναμία τους να διακρίνουν την εγκυρότητα μιας πηγής. Όταν ένα μοντέλο παραθέτει ένα στατιστικό στοιχείο, η παραπομπή του συχνά οδηγεί σε δευτερογενείς ή τριτογενείς πηγές (όπως εταιρικά blogs ή λίστες με στατιστικά), οι οποίες με τη σειρά τους δεν παραπέμπουν σε καμία πρωτογενή μελέτη. Αυτό δημιουργεί μια αλυσίδα «zombie stats» που διαιωνίζονται στο διαδίκτυο.
Η αποτυχία της ιχνηλασιμότητας
Αναλύοντας 1.285 στατιστικά στοιχεία, διαπιστώθηκε ότι το 40% των διαδρομών προς την πηγή καταλήγει σε αδιέξοδο (πηγές που δεν υπάρχουν, είναι κλειδωμένες πίσω από φόρμες ή απλώς δεν περιέχουν το δεδομένο). Ακόμη και όταν η έρευνα εντοπίζεται, στο 17% των περιπτώσεων το πλαίσιο έχει αλλοιωθεί δραματικά: για παράδειγμα, μια μελέτη περιορισμένης κλίμακας σε 15 άτομα παρουσιάζεται ως παγκόσμιος κανόνας.
Γιατί η ομοφωνία των μοντέλων είναι παγίδα
Ένα από τα πιο ανησυχητικά ευρήματα είναι ότι η ομοφωνία μεταξύ των μοντέλων (ChatGPT, Perplexity, Gemini, Claude, AI Overviews) δεν εγγυάται την ορθότητα. Όταν και τα πέντε μοντέλα δίνουν τον ίδιο αριθμό, συχνά αναπαράγουν το ίδιο «zombie stat» που κυριαρχεί στα αποτελέσματα αναζήτησης. Η εμπιστοσύνη στην έξοδο του μοντέλου πρέπει να περιορίζεται στο επίπεδο του «lead» (στοιχείο προς διερεύνηση) και όχι της τεκμηριωμένης αλήθειας.
Στρατηγικές για μηχανικούς και ερευνητές
Για την αποφυγή της διάδοσης ανακριβών δεδομένων, προτείνεται:
- Αυστηρή ιχνηλάτηση: Μην σταματάτε στην πρώτη παραπομπή. Ακολουθήστε το link μέχρι την πρωτογενή μελέτη.
- Έλεγχος μεθοδολογίας: Εξετάστε το δείγμα, το έτος και το πλαίσιο της έρευνας, καθώς εκεί εντοπίζονται οι συχνότερες αλλοιώσεις.
- Διαφάνεια: Εάν δημοσιεύετε δεδομένα που προέκυψαν από AI, παραθέστε τη μεθοδολογία και την πηγή δίπλα στο νούμερο, ώστε να σπάσει ο κύκλος της ατεκμηρίωτης αναπαραγωγής.