Από το bag-of-words στα νευρωνικά δίκτυα
Η ιστορία της ταξινόμησης κειμένου ξεκίνησε με μεθόδους όπως το Naive Bayes και η λογιστική παλινδρόμηση (logistic regression) σε συνδυασμό με το bag-of-words. Παρά την απλότητά τους, αυτές οι τεχνικές προσφέρουν εξαιρετική σχέση κόστους-απόδοσης για προβλήματα χαμηλού ρίσκου, όπως το φιλτράρισμα spam. Το κύριο μειονέκτημα είναι η απώλεια της συντακτικής δομής, καθώς το μοντέλο αντιμετωπίζει το κείμενο ως ένα σύνολο μεμονωμένων λέξεων.
Η μετάβαση σε αρχιτεκτονικές με επίγνωση πλαισίου
Με την έλευση των RNNs και των LSTMs, η βιομηχανία στράφηκε σε μοντέλα που επεξεργάζονται το κείμενο διαδοχικά, διατηρώντας μια εσωτερική κατάσταση (hidden state). Παρόλο που αυτά τα μοντέλα επιλύουν το πρόβλημα της σειράς των λέξεων, η εκπαίδευσή τους είναι δυσχερής και συχνά επιρρεπής σε overfitting. Η έρευνα στο ULMFiT έδειξε ότι η μεταφορά μάθησης (transfer learning) μπορεί να βελτιώσει δραστικά την ακρίβεια, ανοίγοντας τον δρόμο για την εποχή των Transformers.
Η κυριαρχία των Transformers και η θέση του Jev
Οι Transformers, με τον μηχανισμό προσοχής (attention mechanism), άλλαξαν τα δεδομένα. Ενώ τα μοντέλα τύπου GPT εστιάζουν στη δημιουργία κειμένου, τα encoder-style μοντέλα (όπως το BERT και το πρόσφατο ModernBERT) παραμένουν η βέλτιστη επιλογή για ταξινόμηση μέσω fine-tuning. Το Jev εμφανίζεται ως μια νέα κατηγορία μοντέλου που υπόσχεται να προσφέρει την ταχύτητα και το χαμηλό κόστος των κλασικών classifiers, διατηρώντας παράλληλα την ευελιξία των σύγχρονων μοντέλων παραγωγικής τεχνητής νοημοσύνης (Generative AI).