Η στρατηγική του performance engineering με AI
Η ομάδα της Anthropic αντιμετώπισε το πρόβλημα της καθυστέρησης (latency) στο Claude, μετατρέποντας το ίδιο το μοντέλο σε ενεργό συνεργάτη στη διαδικασία ανάπτυξης. Αντί για παραδοσιακές μεθόδους, δημιούργησαν ένα Slack channel όπου το Claude είχε πρόσβαση σε telemetry δεδομένα μέσω Datadog MCP server. Η προσέγγιση βασίστηκε στην αρχή ότι «ό,τι μπορεί να μετρηθεί, μπορεί να βελτιωθεί».
Από τα benchmarks στα guardrails
Το κλειδί της επιτυχίας ήταν η μετάβαση από ασαφείς μετρήσεις χρόνου σε ντετερμινιστικά δεδομένα. Χρησιμοποιώντας εργαλεία όπως το Valgrind για την καταμέτρηση εντολών CPU (instruction counts) και παρακολουθώντας React commits ή DOM mutations, το Claude μπόρεσε να εντοπίσει ακριβώς ποια τμήματα του κώδικα προκαλούσαν καθυστερήσεις. Κάθε βελτιστοποίηση συνοδευόταν από ένα νέο benchmark που λειτουργούσε ως «φρένο» (ratchet) στο CI/CD pipeline, αποτρέποντας μελλοντικά regressions.
Η κλιμάκωση μέσω παράλληλων threads
Η ομάδα εφάρμοσε μια οριζόντια κλιμάκωση της διαδικασίας, ανοίγοντας δεκάδες threads στο Slack, όπου το Claude εργαζόταν ασύγχρονα. Αυτή η «δημοκρατικοποίηση» της βελτιστοποίησης επέτρεψε την υλοποίηση πάνω από 3.000 αλλαγών σε δύο εβδομάδες. Η διαδικασία περιλάμβανε:
- Ανάλυση: Εντοπισμός των hot paths (π.χ. rendering, message tree assembly).
- Πρωτοτυποποίηση: Δημιουργία benchmarks στο εργαστήριο (lab) για την απόδειξη της βελτίωσης.
- Υλοποίηση: Αποστολή PRs με χρήση feature flags για ασφαλή rollout.
- Επαλήθευση: Παρακολούθηση των field metrics μετά το deploy.
Η σημασία της ανθρώπινης καθοδήγησης
Παρά την αυτονομία του Claude, η ανθρώπινη παρέμβαση παρέμεινε κρίσιμη για τη λήψη αποφάσεων σχετικά με το user experience (UX) και την ιεράρχηση των στόχων. Οι μηχανικοί έθεταν το πλαίσιο (ambition), αξιολογούσαν τα tradeoffs (taste) και καθόριζαν την κατεύθυνση (direction), διασφαλίζοντας ότι το μοντέλο δεν θα αναλωνόταν σε βελτιστοποιήσεις χωρίς ουσιαστικό αντίκτυπο για τον τελικό χρήστη.