Η κρίσιμη σημασία της τοπικότητας στο NVLink fabric
Στα σύγχρονα συστήματα παραγωγικής τεχνητής νοημοσύνης (Generative AI), η επικοινωνία μεταξύ των GPUs αποτελεί το κύριο σημείο συμφόρησης (bottleneck). Ενώ το NVLink προσφέρει εξαιρετικό bandwidth εντός ενός node, η επέκτασή του μέσω του NVL72 σε ολόκληρο το rack επιτρέπει σε 72 GPUs να επικοινωνούν με ενιαίο fabric. Η αποτυχία διατήρησης των workloads εντός αυτού του domain αναγκάζει την κίνηση να περάσει από το InfiniBand, προκαλώντας πτώση της απόδοσης έως και 43%.
Στρατηγική slice-based scheduling και ανθεκτικότητα
Η διαχείριση των αστοχιών υλικού σε κλίμακα rack είναι μια πρόκληση. Με το Mean Time Between Interruptions (MTBI) να μειώνεται δραματικά όσο αυξάνεται ο αριθμός των GPUs, η στρατηγική των 16-node slices αποδεικνύεται ανώτερη από την πλήρη δέσμευση του rack.
- Fault Tolerance: Η διατήρηση 2 spare κόμβων ανά rack επιτρέπει το in-place recovery, όπου ένας ελαττωματικός κόμβος αντικαθίσταται άμεσα από έναν εφεδρικό, διατηρώντας το job ενεργό.
- Usable Capacity: Μοντέλα δείχνουν ότι η προσέγγιση αυτή προσφέρει έως και 27% περισσότερη ωφέλιμη χωρητικότητα σε σύγκριση με τη δέσμευση ολόκληρων racks (18-node slices), καθώς περιορίζει το "blast radius" των αστοχιών.
Αντιμετώπιση του κατακερματισμού (fragmentation)
Σε περιβάλλοντα shared clusters, ο κατακερματισμός των ελεύθερων πόρων εμποδίζει την εκτέλεση μεγάλων jobs. Το SkyPilot εισάγει μηχανισμούς αυτόματης ανασυγκρότησης (auto-defrag), οι οποίοι προβαίνουν σε προληπτική προτεραιοποίηση (preemption) μικρότερων workloads που υποστηρίζουν checkpointing. Με αυτόν τον τρόπο, το scheduler απελευθερώνει ολόκληρα racks, επιτρέποντας την εκτέλεση απαιτητικών μοντέλων χωρίς να παραμένουν οι πόροι ανεκμετάλλευτοι λόγω κακής κατανομής.