Αρχιτεκτονική προσέγγιση και αποδοτικότητα
Η Ricursive Intelligence επέλεξε μια στρατηγική «full-stack» βελτιστοποίησης, σχεδιάζοντας το Ripple-65B Preview με στόχο την αποδοτική εκτέλεση σε hardware της NVIDIA. Αντί για την πολυπλοκότητα των Mixture-of-Experts (MoE), το μοντέλο βασίζεται σε μια εκσυγχρονισμένη dense Transformer αρχιτεκτονική. Με αναλογία «thin-and-deep» (5120 d_model, 80 επίπεδα), το μοντέλο διατηρεί υψηλό Model FLOPs Utilization (MFU) της τάξης του 40%, χωρίς την ανάγκη για custom kernels ή κβαντισμό (quantization).
Καινοτομίες στο Reinforcement Learning
Η ομάδα απέφυγε την προσέγγιση brute-force, επενδύοντας σε μια αυστηρά ελεγχόμενη διαδικασία post-training. Μέσω της χρήσης συνθετικών δεδομένων και προηγμένων τεχνικών όπως το truncated importance sampling και το score centering, το μοντέλο κατάφερε να φτάσει σε υψηλά επίπεδα συλλογιστικής (reasoning) με μόλις 1.4 εκατομμύρια rollouts. Αυτή η «απότομη ανάβαση» (steep ascent) στο RL αποδεικνύει ότι η ποιότητα των δεδομένων και η στρατηγική εκπαίδευσης υπερτερούν της ωμής υπολογιστικής ισχύος.
Η σημασία του model laddering
Η βελτιστοποίηση της διαδικασίας προεκπαίδευσης (pretraining) βασίστηκε σε μια σειρά πειραμάτων «model laddering». Ξεκινώντας από τη βάση του Olmo 3, η ομάδα εφάρμοσε διαδοχικές παρεμβάσεις, όπως το sigmoid gated attention και τα value residuals. Αυτή η μεθοδολογία επέτρεψε την κλιμάκωση της απόδοσης στον κώδικα με 16 φορές λιγότερους υπολογιστικούς πόρους σε σύγκριση με τα αρχικά baseline μοντέλα, καθιστώντας το Ripple-65B ένα εξαιρετικά αποδοτικό εργαλείο για απαιτητικά περιβάλλοντα ανάπτυξης.