Αρχιτεκτονική προσέγγιση: Από τα embeddings στη μεταγραφή
Η καινοτομία της συγκεκριμένης υλοποίησης έγκειται στο γεγονός ότι το EmbeddingGemma 2 δεν σχεδιάστηκε αρχικά για speech-to-text. Αντίθετα, οι δημιουργοί εκμεταλλεύτηκαν την ικανότητα του μοντέλου να τοποθετεί κείμενο, εικόνα και ήχο στον ίδιο διανυσματικό χώρο. Η διαδικασία περιλαμβάνει τη χρήση του υπάρχοντος audio encoder, ο οποίος μετατρέπει τον ήχο σε διανύσματα, και την εκπαίδευση ενός εξειδικευμένου reader που «διαβάζει» αυτά τα διανύσματα και τα αντιστοιχίζει στις πλησιέστερες λέξεις του αγγλικού λεξικού.
Επιδόσεις και hardware acceleration
Η χρήση του Neural Engine στα Apple Silicon chips επιτρέπει στο μοντέλο να ξεπερνά σε ταχύτητα παραδοσιακές λύσεις βασισμένες σε GPU. Με ρυθμό επεξεργασίας που φτάνει τις 288 φορές την πραγματική διάρκεια του ήχου (288x real-time), το εργαλείο καθίσταται εξαιρετικά αποδοτικό για τοπική χρήση. Η εκπαίδευση του reader ήταν εντυπωσιακά σύντομη, απαιτώντας λιγότερο από δύο ώρες σε υπολογιστικό σύμπλεγμα με 8x H100, αποδεικνύοντας τη δύναμη των προεκπαιδευμένων πολυτροπικών μοντέλων.
Περιορισμοί και μελλοντική εξέλιξη
Παρά την ταχύτητα, το μοντέλο παρουσιάζει Word Error Rate (WER) περίπου 5%, υπολειπόμενο ελαφρώς από τα κορυφαία εξειδικευμένα μοντέλα (2-3%). Ωστόσο, η ομάδα ανάπτυξης θεωρεί ότι η περαιτέρω εκπαίδευση του reader θα γεφυρώσει αυτό το χάσμα. Η δυνατότητα χρήσης του εργαλείου ως system-wide dictation tool, μέσω του πλήκτρου Right Option, αναδεικνύει τη χρηστικότητα της τοπικής επεξεργασίας (on-device processing) για εφαρμογές που απαιτούν ιδιωτικότητα και χαμηλό latency.