Μοντέλο και αρχιτεκτονική
Το Kolibri είναι decoder‑only causal transformer με hybrid attention: 40 blocks χρησιμοποιούν sliding‑window attention (SWA) über 512 preceding tokens και 10 blocks full‑attention, σε αναλογία 4:1. Η προσοχή εφαρμόζει grouped‑query attention (GQA) με 48 query heads, 4 KV heads και head dimension 128, ενώ positional information ενσωματώνεται μόνο στα SWA blocks μέσω RoPE (θ=10 000).
Το μοντέλο ενσωματώνει MoE layers με 384 routed experts per layer; το router επιλέγει τα 6 experts με τα υψηλότερα sigmoid scores (top‑6) και προσθέτει ένα shared expert. Κάθε token ενεργοποιεί μόνο 3,46 B παραμέτρους, δηλαδή 4,4 % του συνολικού 78,1 B, κάτι που κάνει το υπολογισμό ανά token αποδοτικό ενώ διατηρεί μεγάλη συνολική χωρητικότητα.
Διαδικασία εκπαίδευσης, δεδομένα και scaling
Η pre‑training, mid‑training και long‑context extension couvrirαν 24 T tokens. Το training batch μεγέθους αυξάνεται από 75,5 M tokens (16k context) στην pre‑training, 100,7 M tokens (64k context) στην mid‑training και 201,3 M tokens (256k context) στην long‑context extension.
Το γερμανικό μέρος του δεδομένου συνόλου είναι >20 %; για να φτάσουμε σε αυτή τη μονάδα, συστήματα curation από το Common Crawl και synthetically generated German tokens (>2 T) προστίθενται στα authentic corpora. Η διαδικασία περιλαμβάνει PII redaction, decontamination από illegitimate ή harmful content και filtering που συμμορφώνεται με το GDPR και τον ΕΕ AI Act.
Post‑training (SFT + RL) και αξιολόγηση
Το supervised fine‑tuning (SFT) χρησιμοποιεί curat‑de γερμανικά και αγγλικά datasets, ενώ το reinforcement learning (RL) τρέχει σε 1,2 M εσωτερικά curat‑de tasks που καλύπτουν reasoning, tool use, instruction following, code και retrieval. Η RL recipe περιλαμβάνει reward modeling, PPO‑style updates και load‑balancing με Exact Quantile Balancing (EQB) και Load‑Error Injection (LEI).
Η αξιολόγηση δείχνει ότι, τόσο το base όσο και το post‑training Kolibri, βρίσκονται στην ακτή Pareto της ποιότητας (μέσο σκορ στα αγγλικά και γερμανικά benchmarks) έναντι του decoded text per GPU (throughput). Σε διάφορους τομείς (Agentic, Industry, Math, Code, General Knowledge) το Kolibri υπερτερεί σε τρία ανοικτά μοντέλα που συγκρίνονται στην έκθεση.
Model Factory και sovereign deployment
Η entire pipeline – από data curation, pre‑ και post‑training, evaluation μέχρι deployment – εκτελείται στο Model Factory, ένα version‑controlled workflow που verbindet δεδομένα, πειραματισμός, training, evaluation και deployment. Το Factory περιλαμβάνει το Savanna framework (model training as code) με continuous integration, infrastructure agents και reproducibility checks.
Επειδή τα βάρη κυκλοφορούν bajo άδεια Apache 2.0, οι οργανισμοί μπορούν ναdeploy το Kolibri σε δική τους υποδομή, να ελέγχουν πλήρως το μοντέλο και να συμμορφώνονται με τις απαιτήσεις sovereign usage (π.χ. δημόσια διοίκηση, βιομηχανία, αεροναυτική) υπό την εγida του ΕΕ AI Act και GDPR.