Η αρχιτεκτονική πρόκληση των AI agent sandboxes
Η εκτέλεση AI agents απαιτεί περιβάλλοντα που μπορούν να διαχειριστούν απότομες αυξήσεις (bursts) στη χρήση CPU κατά την αρχικοποίηση, ενώ παράλληλα απαιτούν σημαντική μνήμη (RAM) για εργασίες που αφορούν περιήγηση στον ιστό ή χρήση υπολογιστή. Η Agent37 εντόπισε ότι τα παραδοσιακά μοντέλα εικονικών μηχανών (VMs) των hyperscalers είναι οικονομικά ασύμφορα για τέτοια workloads, λόγω των υψηλών περιθωρίων κέρδους και της στατικής δέσμευσης πόρων.
Βελτιστοποίηση μέσω gVisor και bare-metal υποδομών
Η ομάδα επέλεξε να παρακάμψει τις παραδοσιακές λύσεις cloud, μεταβαίνοντας σε παρόχους όπως η Hetzner και η OVH. Η κρίσιμη τεχνική επιλογή ήταν η χρήση του gVisor, ενός sandbox runtime που παρέχει ισχυρή απομόνωση χωρίς το overhead μιας πλήρους εικονικής μηχανής. Αυτό επιτρέπει την πυκνότερη τοποθέτηση (bin-packing) των sandboxes στον ίδιο φυσικό εξυπηρετητή, μεγιστοποιώντας τη χρήση της διαθέσιμης RAM.
Διαχείριση κόστους και trade-offs
Η στρατηγική της Agent37 βασίζεται σε δύο πυλώνες:
- Resource Packing: Εστίαση σε hosts με υψηλή πυκνότητα μνήμης, καθώς η RAM αποτελεί το κύριο κόστος για τα agent harnesses.
- Workload Awareness: Αναγνώριση ότι τα workloads των agents δεν απαιτούν συνεχή χρήση υψηλών πόρων.
Παρά τα πλεονεκτήματα, υπάρχουν περιορισμοί: η χρήση του gVisor σημαίνει ότι ορισμένες λειτουργίες, όπως το Docker-in-Docker ή η εξομοίωση Android, δεν υποστηρίζονται εγγενώς, απαιτώντας τη χρήση πλήρων VMs για πιο εξειδικευμένες περιπτώσεις χρήσης.