Η πρόκληση της υβριδικής φύσης των δεδομένων αγοράς
Στον τομέα των ποσοτικών χρηματοοικονομικών (quantitative finance), η παραγωγή δεδομένων αγοράς αποτελεί ένα σύνθετο πρόβλημα. Σε αντίθεση με το βίντεο ή τον ήχο, όπου τα δεδομένα είναι κατά βάση συνεχή, τα δεδομένα του order book παρουσιάζουν έντονη διακριτότητα (discrete action space) σε συνδυασμό με συνεχή χαρακτηριστικά, όπως ο χρόνος άφιξης εντολών και η τιμή. Η προσπάθεια μοντελοποίησης αυτών των δεδομένων ως αμιγώς συνεχών οδηγεί σε αστάθεια και απώλεια της δομής της αγοράς.
Από το DDPM στο flow matching
Η αρχική προσέγγιση με χρήση Denoising Diffusion Probabilistic Models (DDPM) απέτυχε να διατηρήσει τη σταθερότητα κατά τη διαδικασία denoising, οδηγώντας σε εκρηκτικές τροχιές (exploding trajectories). Η μετάβαση στο flow matching αποδείχθηκε καθοριστική, καθώς η γραμμική παρεμβολή μεταξύ θορύβου και δεδομένων επιτρέπει την ακριβέστερη πρόβλεψη της ταχύτητας (velocity) και την αποφυγή των σφαλμάτων που συσσωρεύονται στα παραδοσιακά μοντέλα διάχυσης.
Διαχείριση ασυνεχειών και atom smoothing
Για την αντιμετώπιση των απότομων αιχμών (spikes) στις κατανομές, η έρευνα εισήγαγε τη διαδικασία του 'atom smoothing'. Αντί για την αυθαίρετη κατηγοριοποίηση κάθε ασυνέχειας, η μέθοδος αυτή εξομαλύνει την κατανομή και στη συνέχεια επαναφέρει τη μάζα πιθανότητας με τρόπο που επιτρέπει στο μοντέλο διάχυσης να εκπαιδευτεί χωρίς να καταρρέει η ακρίβεια στις κρίσιμες τιμές.
Αρχιτεκτονική και συμπεράσματα
Το μοντέλο χρησιμοποιεί έναν causally masked transformer encoder για την παραγωγή latent embeddings, τα οποία τροφοδοτούνται σε ένα event-kind head (για κατηγορικές προβλέψεις) και ένα diffusion head (για συνεχή χαρακτηριστικά). Παρά το γεγονός ότι το μοντέλο δεν είναι ακόμη έτοιμο για παραγωγική χρήση, η έρευνα αποδεικνύει ότι η σωστή ισορροπία μεταξύ διακριτών και συνεχών αναπαραστάσεων είναι το κλειδί για τη δημιουργία ρεαλιστικών rollouts στην αγορά.