Αρχιτεκτονική ανάλυσης ήχου και μηχανική μάθηση
Το OnKey διαφοροποιείται από τις παραδοσιακές εφαρμογές karaoke, καθώς δεν βασίζεται σε προκατασκευασμένα αρχεία MIDI ή στίχων, αλλά «μαθαίνει» τη μελωδία του τραγουδιού κατά την πρώτη αναπαραγωγή. Η διαδικασία περιλαμβάνει τον διαχωρισμό των φωνητικών από το μουσικό υπόβαθρο (vocal separation) μέσω του MDX-Net, την παρακολούθηση του τόνου (pitch tracking) με το μοντέλο CREPE και τη μετατροπή της μελωδίας σε οπτικά bars μέσω του μοντέλου GAME. Όλη η επεξεργασία γίνεται τοπικά, αξιοποιώντας την ισχύ των Apple Silicon επεξεργαστών.
Διαλειτουργικότητα και privacy-first σχεδιασμός
Η εφαρμογή λειτουργεί ως layer πάνω από υπάρχουσες πλατφόρμες (Spotify, Apple Music, YouTube), χωρίς να αποθηκεύει ή να διανέμει το περιεχόμενο. Η διαλειτουργικότητα (interoperability) επιτυγχάνεται μέσω της καταγραφής ήχου συστήματος και της ανάλυσης σε πραγματικό χρόνο. Ιδιαίτερη έμφαση έχει δοθεί στην ιδιωτικότητα: δεν υπάρχουν λογαριασμοί, analytics ή crash reporting. Οι μόνες εξωτερικές κλήσεις αφορούν την ανάκτηση μεταδεδομένων (στίχοι από LRCLIB, αναγνώριση τραγουδιού από Shazam) και τον έλεγχο εκδόσεων, με δυνατότητα πλήρους απενεργοποίησης αυτών των λειτουργιών.
Δυνατότητες επέκτασης και build process
Το project είναι γραμμένο σε Rust, χρησιμοποιώντας το framework Tauri για το UI, γεγονός που εξασφαλίζει υψηλή απόδοση και ασφάλεια μνήμης. Οι χρήστες έχουν τη δυνατότητα να πραγματοποιήσουν build από τον πηγαίο κώδικα, αν και η χρήση του Shazam για την αναγνώριση τραγουδιών απαιτεί την Apple signature του δημιουργού. Η αρχιτεκτονική του OnKey αποτελεί ένα εξαιρετικό παράδειγμα του πώς τα σύγχρονα μοντέλα παραγωγικής τεχνητής νοημοσύνης (Generative AI) μπορούν να ενσωματωθούν σε desktop εφαρμογές για την παροχή εξειδικευμένων εργαλείων εκπαίδευσης.