Αρχιτεκτονική καινοτομία στο forecasting
Το Timestral αποτελεί μια σημαντική εξέλιξη στα foundation models για χρονοσειρές (Time-Series Foundation Models - TSFM). Αντίθετα με τα παραδοσιακά μοντέλα που εκπαιδεύονται από το μηδέν για κάθε σύνολο δεδομένων, το Timestral αξιοποιεί μια προσέγγιση pre-training σε μεγάλο όγκο δεδομένων, επιτρέποντας zero-shot προβλέψεις σε άγνωστα πεδία. Η αρχιτεκτονική του βασίζεται σε τέσσερα μεγέθη (5M έως 209M παραμέτρους), προσφέροντας μια βέλτιστη ισορροπία μεταξύ ακρίβειας και υπολογιστικού κόστους.
Τεχνικές προσεγγίσεις: DHF και Covariate-aware attention
Η ομάδα της Mistral εισάγει το Decoupled Horizon Forecasting (DHF), μια μέθοδο που επιλύει το πρόβλημα της απώλειας ιστορικού κατά την πρόβλεψη. Σε αντίθεση με παλαιότερες προσεγγίσεις, το DHF διατηρεί το πλήρες ιστορικό στη ακολουθία, επιτρέποντας στα forecast tokens να αναγιγνώσκουν το παρελθόν χωρίς να το «καταναλώνουν» ως μέρος του target. Επιπλέον, ο μηχανισμός covariate-aware attention επιτρέπει στο μοντέλο να διακρίνει μεταξύ των target variates και των εξωτερικών μεταβλητών (known-future covariates), διασφαλίζοντας ότι η πληροφορία ρέει μόνο προς την κατεύθυνση της πρόβλεψης, αποτρέποντας το data leakage.
Εκπαίδευση και προσαρμοστικότητα
Η στρατηγική εκπαίδευσης βασίστηκε σε δύο στάδια: αρχικό pre-training σε συνθετικά δεδομένα (synthetic-first data) για την εκμάθηση γενικών χρονικών δυναμικών και post-training σε μείγμα πραγματικών και συνθετικών δεδομένων. Η χρήση pinball loss για 21 quantiles επιτρέπει στο μοντέλο να παρέχει πιθανοτικές προβλέψεις, προσφέροντας μια πλήρη εικόνα της αβεβαιότητας. Μέσω του Mistral Forge, οι οργανισμοί μπορούν να προχωρήσουν σε fine-tuning σε ιδιοταγή δεδομένα, διατηρώντας τον έλεγχο του training pipeline και τη δυνατότητα ανάπτυξης σε air-gapped περιβάλλοντα.