Αρχιτεκτονική και βελτιστοποίηση
Το Whistle διαφοροποιείται από τα παραδοσιακά μοντέλα όπως το Whisper, υιοθετώντας μια αρχιτεκτονική βασισμένη σε Simple Attention blocks. Το μοντέλο χρησιμοποιεί έναν convolutional stem για την προεπεξεργασία του ήχου (16 kHz mono) και οκτώ encoder blocks, ενώ ο decoder ενσωματώνει laddered attention blocks. Η χρήση gated cross-attention επιτρέπει στο μοντέλο να διαβάζει τον encoder μία φορά ανά clip, μειώνοντας δραστικά το υπολογιστικό κόστος κατά το beam search.
Επιδόσεις και αποδοτικότητα
Σε συγκριτικά benchmarks, το Whistle υπερέχει σημαντικά σε χρόνο απόκρισης (time to first token) και ταχύτητα αποκωδικοποίησης (tokens per second) έναντι των Whisper base και Moonshine tiny v2. Η ικανότητά του να εκτελείται τοπικά, χωρίς εξωτερικές εξαρτήσεις και με ελάχιστη κατανάλωση μνήμης, το καθιστά ιδανικό για εφαρμογές σε περιβάλλοντα όπου το latency είναι κρίσιμο, όπως η αυτοματοποίηση οικιακών συσκευών ή η ενσωματωμένη επεξεργασία σε οχήματα.
Ενοποίηση στο οικοσύστημα Needle
Το ισχυρότερο σημείο του Whistle είναι η ενσωμάτωσή του στη μηχανή Needle. Μέσω ενός κοινού binary, οι προγραμματιστές μπορούν να συνδυάσουν την αναγνώριση ομιλίας με την εκτέλεση εργαλείων (tool calling). Η διαδικασία είναι διαφανής: το μοντέλο μετατρέπει τον ήχο σε κείμενο και, σε συνδυασμό με ένα prompt, επιστρέφει απευθείας JSON αντικείμενα με function calls, απλοποιώντας το pipeline της παραγωγικής τεχνητής νοημοσύνης (Generative AI) στην άκρη του δικτύου (edge computing).