Αρχιτεκτονική προσέγγιση: Από το RAG στη λανθάνουσα μνήμη
Τα παραδοσιακά συστήματα ανάκτησης πληροφοριών (RAG) συχνά επιβαρύνουν το context window του LLM με μεγάλο όγκο δεδομένων, οδηγώντας σε αυξημένο latency και κόστη. Το Memorilla διαφοροποιείται εισάγοντας μια αρχιτεκτονική όπου τα έγγραφα κωδικοποιούνται μία φορά σε επαναχρησιμοποιήσιμα embeddings. Στη συνέχεια, το σύστημα μαθαίνει να ανακτά και να τοποθετεί τα σχετικά δεδομένα απευθείας στον χώρο των input embeddings του μοντέλου, μετατρέποντας την εξωτερική γνώση σε ένα συμπαγές, query-dependent διάνυσμα.
Αποδοτικότητα και απόδοση σε κλίμακα
Τα πειραματικά αποτελέσματα αναδεικνύουν την ανωτερότητα της μεθόδου σε σύγκριση με υπάρχουσες λύσεις όπως το Mem0 και το MemoRAG. Η ικανότητα του Memorilla να επιτυγχάνει 84,33% ακρίβεια στο FactKG, χρησιμοποιώντας μόλις 16 tokens, υπογραμμίζει την αποτελεσματικότητα της συμπίεσης πληροφορίας. Η αρχιτεκτονική αυτή επιτρέπει σε παγωμένα (frozen) μοντέλα να διατηρούν μια μορφή 'λανθάνουσας μνήμης' χωρίς να απαιτείται fine-tuning των παραμέτρων τους.
Εφαρμογές σε agentic συστήματα
Πέρα από την απλή ανάκτηση πληροφοριών, το Memorilla αποδεικνύεται ιδιαίτερα χρήσιμο σε περιβάλλοντα πρακτόρων (agents) όπου το ιστορικό των ενεργειών αυξάνεται συνεχώς. Στο περιβάλλον TextWorld, το σύστημα μείωσε δραστικά την τάση του πράκτορα να επαναλαμβάνει λάθη, βελτιώνοντας το ποσοστό επιτυχίας από 18,6% σε 24,2%. Αυτό υποδηλώνει ότι η μέθοδος προσφέρει μια βιώσιμη οδό για την ανάπτυξη συστημάτων τεχνητής νοημοσύνης που μαθαίνουν διαρκώς από τις αλληλεπιδράσεις τους, διατηρώντας παράλληλα τη συνεκτικότητα του πλαισίου τους.