Αρχιτεκτονική προσέγγιση και υλοποίηση
Το OpenDLSS δεν αποτελεί απλώς μια προσπάθεια reverse engineering, αλλά μια βαθιά τεχνική ανασύνθεση του νευρωνικού δικτύου DLSS 5. Η υλοποίηση βασίζεται σε ένα U-net με shifted-window transformer blocks και ένα global ViT, χρησιμοποιώντας FP8 (E4M3) activations με FP16 accumulation. Η επιλογή του Vulkan ως API επιτρέπει τον άμεσο έλεγχο του hardware, αξιοποιώντας extensions όπως το VK_KHR_cooperative_matrix για την εκτέλεση των GEMM (General Matrix Multiply) πράξεων.
Βελτιστοποίηση και PTX kernels
Η απόδοση του συστήματος βασίζεται σε μια υβριδική προσέγγιση. Ενώ τα GLSL kernels χρησιμεύουν ως αναφορά, η πραγματική ταχύτητα προέρχεται από τα παραγόμενα PTX kernels. Αυτά περιλαμβάνουν προηγμένες τεχνικές όπως:
- Counter chaining: Μείωση των barriers μεταξύ των launches για συνεχή ροή δεδομένων.
- Split-K GEMMs: Βελτιστοποίηση της παράλληλης επεξεργασίας πινάκων.
- Streamed global attention: Αποδοτική διαχείριση της μνήμης κατά την εκτέλεση του attention mechanism.
Διαλειτουργικότητα και WebGPU
Ένα από τα πιο ενδιαφέροντα στοιχεία του project είναι η ανεξάρτητη υλοποίηση σε WebGPU. Παρά την απουσία tensor cores και FP8 υποστήριξης στο browser περιβάλλον, το μοντέλο διατηρεί την ίδια ακρίβεια (bit-exactness) με την έκδοση Vulkan, αποδεικνύοντας ότι η ορθότητα της αρχιτεκτονικής είναι ανεξάρτητη από το hardware acceleration, αν και με σημαντική διαφορά στο latency (72ms έναντι 2.7ms).
Πλαίσιο επαλήθευσης (Validation Framework)
Η αξιοπιστία του project διασφαλίζεται από ένα αυστηρό σύστημα fixtures. Κάθε στάδιο του δικτύου, από τα block boundaries μέχρι το τελικό output, συγκρίνεται byte-for-byte με τις αναφορές. Αυτό το επίπεδο ελέγχου καθιστά το OpenDLSS ένα εξαιρετικό εργαλείο για τη μελέτη της συμπεριφοράς των generative neural rendering δικτύων σε πραγματικό χρόνο.