Η αρχιτεκτονική σύγκριση και τα δεδομένα της δοκιμής
Σε μια πρόσφατη δοκιμή που σχεδίασε ο δερματολόγος Dr. Magnus Lynch, εξετάστηκε η ικανότητα κορυφαίων συστημάτων τεχνητής νοημοσύνης (συγκεκριμένα των προηγμένων LLMs και ενός κλασικού CNN) στη διάγνωση του καρκίνου του δέρματος. Χρησιμοποιήθηκαν 200 πιστοποιημένες από βιοψία δερματικές βλάβες από το δημόσιο dataset MILK10k, οι οποίες περιλάμβαναν τόσο επικίνδυνες αλλοιώσεις (μελάνωματα, βασικοκυρκικά και ακανθοκυτταρικά καρκινώματα) όσο και ακίνδυνες καταστάσεις (σπίλους και σμηγματορροϊκές υπερπλασιές).
Τα LLMs έλαβαν ως είσοδο κλινικές και δερματοσκοπικές φωτογραφίες, κληθέντα να δώσουν διάγνωση και εκτίμηση επικινδυνότητας. Αντίθετα, χρησιμοποιήθηκε μια fine-tuned έκδοση του Inception v3 —ενός συνμολουσιακού νευρωνικού δικτύου (CNN) που κυκλοφόρησε η Google το 2015— το οποίο εκπαιδεύτηκε επί είκοσι λεπτά σε μια μοναδική H100 GPU, αποκλείοντας αυστηρά οποιαδήποτε μόλυνση (contamination) των δεδομένων δοκιμής.
Διαγνωστική ακρίβεια: CNN εναντίον LLMs
Τα αποτελέσματα ανέτρεψαν τις προσδοκίες: το CNN πέτυχε ορθή πρώτη διάγνωση στο 62% των περιπτώσεων (125 από τα 200), ενώ τα δύο σύγχρονα LLMs περιορίστηκαν στο 42% (84 και 85 αντίστοιχα). Ακόμη και όταν επετράπη δεύτερη επιλογή, το CNN έφτασε τα 173 σωστά περιστατικά έναντι 134 και 138 των LLMs.
Τα μοντέλα απέτυχαν με ποιοτικά διαφορετικό τρόπο. Τα LLMs εμφάνισαν έντονη προκατάληψη προς συγκεκριμένες παθολογίες, χαρακτηρίζοντας δεκάδες περιστατικά εσφαλμένα ως βασικοκυτταρικά καρκινώματα ή ακτινικές κερατώσεις. Το CNN, παρότι είχε αστοχίες στα μελάνωματα, επέδειξε σαφώς ανώτερη ικανότητα αναγνώρισης στις ασφαλείς κατηγορίες.
Εκτέλεση στην άκρη του δικτύου (Edge computing) με WebGPU
Ένα από τα πιο εντυπωσιακά τεχνικά στοιχεία της υλοποίησης είναι το μέγεθος του μοντέλου CNN. Λόγω της μικρής του κλίμακας, το Inception v3 μπορεί να τρέξει εξ ολοκλήρου στον browser μιας κινητής συσκευής αξιοποιώντας το πρότυπο WebGPU, χωρίς να απαιτείται αποστολή ευαίσθητων ιατρικών δεδομένων στο cloud. Η προσέγγιση αυτή αποδεικνύει ότι οι εξειδικευμένες, χαμηλής πολυπλοκότητας αρχιτεκτονικές παραμένουν ασυναγώνιστες σε performance και efficiency σε σχέση με τα πανάκριβα και ογκώδη frontier LLMs.