Η πρόκληση του event streaming στην edge
Σε παραδοσιακές αρχιτεκτονικές RPC, η συγχρονισμένη κλιμάκωση παραγωγών και καταναλωτών αποτελεί συχνά σημείο συμφόρησης (bottleneck). Το Cloudflare K2 έρχεται να επιλύσει αυτό το πρόβλημα εισάγοντας ένα ενδιάμεσο επίπεδο αποθήκευσης (durable buffer) που επιτρέπει στους καταναλωτές να επεξεργάζονται δεδομένα με τον δικό τους ρυθμό, διασφαλίζοντας ότι κανένα event δεν χάνεται ακόμη και σε περιόδους υψηλού φόρτου ή downtime.
Αρχιτεκτονική βασισμένη στο R2
Η καινοτομία του K2 έγκειται στην αξιοποίηση του R2 object storage ως θεμέλιο για το log. Επειδή το R2 δεν υποστηρίζει εγγενώς append operations, η ομάδα της Cloudflare υλοποίησε έναν μηχανισμό όπου τα δεδομένα συσσωρεύονται προσωρινά στη μνήμη (in-memory batching) στο edge, πριν εγγραφούν ως ολοκληρωμένα segment files. Αυτή η προσέγγιση επιτρέπει στο K2 να κλιμακώνεται οριζόντια, αποφεύγοντας την ανάγκη για πολύπλοκα distributed systems όπως το Apache Kafka, τα οποία είναι δύσκολο να λειτουργήσουν σε μια αποκεντρωμένη edge υποδομή.
K2 έναντι Queues και Pipelines
Είναι κρίσιμο να διακρίνουμε το K2 από τα υπάρχοντα εργαλεία της Cloudflare:
- Queues: Σχεδιασμένα για μεμονωμένα tasks που απαιτούν retries και διαχείριση αποτυχημένων προσπαθειών (dead-letter queues).
- Basin Pipelines: Εστιασμένα στην ingestion και μεταφορά δεδομένων προς object storage ή Iceberg tables.
- K2 Streams: Προορίζεται για high-throughput data movement, long-term retention και fan-out consumption, όπου η επεξεργασία γίνεται σε batches.
Μελλοντικές προοπτικές
Αν και η τρέχουσα έκδοση παρουσιάζει latency περίπου 1 δευτερολέπτου στο 99ο εκατοστημόριο (P99) λόγω της φύσης του object storage, το roadmap περιλαμβάνει ένα "Express tier" για χαμηλότερο latency, καθώς και υποστήριξη για Apache Kafka clients, γεγονός που θα διευκολύνει τη μετάβαση υπαρχουσών εφαρμογών στην πλατφόρμα της Cloudflare.