Αρχιτεκτονική και εκπαίδευση σε κλίμακα
Το Beam αποτελεί ένα ορόσημο για τα open-weight μοντέλα, συνδυάζοντας 23.8 τρισεκατομμύρια tokens υψηλής ποιότητας κατά το pretraining με μια επιθετική στρατηγική reinforcement learning (RL). Η ομάδα της Reflection έδωσε έμφαση στη σταθερότητα του μοντέλου, αναπτύσσοντας μηχανισμούς που επιτρέπουν την ασύγχρονη εκπαίδευση χωρίς να επηρεάζεται η σύγκλιση, παρά την ύπαρξη σημαντικής καθυστέρησης (staleness) στα δεδομένα των rollouts.
Καινοτομίες στο Reinforcement Learning
Η κεντρική ιδέα πίσω από το Beam είναι η μετατροπή του υπολογιστικού κόστους σε ουσιαστική νοημοσύνη. Με τη χρήση 10.5K GPUs, το μοντέλο εκπαιδεύτηκε σε πάνω από 1 εκατομμύριο περιβάλλοντα (sandboxes), επιτρέποντάς του να αναπτύξει ικανότητες agentic συμπεριφοράς που γενικεύονται πέρα από τα δεδομένα εκπαίδευσης. Η χρήση ενός ελεγχόμενου length penalty κατά το RL επέτρεψε στο μοντέλο να βελτιστοποιήσει τη χρήση των tokens, επιτυγχάνοντας υψηλές επιδόσεις με λιγότερο υπολογιστικό φόρτο.
Υποδομή και σταθερότητα συστήματος
Η Reflection κατασκεύασε μια in-house υποδομή για να υποστηρίξει το training run, συμπεριλαμβανομένου ενός topology-aware scheduler και συστημάτων ανίχνευσης silent data corruption (SDC). Η διαχείριση του residual stream μέσω τεχνικών όπως το FP32 residual accumulation και το depth-based scaling εξασφαλίζει ότι το μοντέλο παραμένει αριθμητικά σταθερό, αποφεύγοντας τα activation outliers που συχνά ταλαιπωρούν τα μεγάλα MoE μοντέλα.
Ευθυγράμμιση και ασφάλεια
Η διαδικασία ευθυγράμμισης (alignment) χρησιμοποίησε multi-teacher on-policy distillation (MOPD), συνδυάζοντας έναν RL teacher με έναν εξειδικευμένο safety teacher. Η προσέγγιση αυτή, σε συνδυασμό με το deliberative alignment, επιτρέπει στο Beam να ακολουθεί αυστηρούς κανόνες ασφαλείας χωρίς να θυσιάζει την ικανότητα επίλυσης σύνθετων προβλημάτων ή να καταφεύγει σε υπερβολικές αρνήσεις (over-refusals).