Sui gRPC streaming alimente l'indexation de points de contrôle à faible latence et les pipelines de données résilients

Les développeurs sur Sui peuvent désormais exploiter le streaming gRPC de sui pour construire des pipelines d’indexation plus rapides et plus fiables pour les données blockchain en temps réel.\n\nLe modèle de streaming hybride transforme l’accès aux données Sui\n\nLa blockchain Sui a introduit le streaming gRPC comme source de données principale pour son infrastructure d’indexation, permettant une ingestion de points de contrôle en temps réel avec une latence minimale. De plus, cette conception cible les applications qui doivent réagir dès que les données sont finalisées.\n\nLa plateforme combine les capacités de streaming avec les méthodes de sondage traditionnelles pour maintenir la précision des données et la résilience du système. Ce modèle hybride permet un accès immédiat aux points de contrôle finalisés tout en conservant la compatibilité avec les indexeurs personnalisés existants déjà déployés sur Sui.\n\nLe cadre d’indexation personnalisé sous-tend cette architecture axée sur le streaming sans nécessiter de modifications de la logique de traitement des points de contrôle. Cependant, les équipes peuvent toujours s’appuyer sur leurs pipelines existants tout en intégrant le streaming là où il apporte des avantages tangibles.\n\nLe streaming élimine les délais de sondage pour l’ingestion des points de contrôle\n\nLa nouvelle capacité de streaming gRPC change fondamentalement la façon dont les indexeurs reçoivent les données de la blockchain sur Sui. Les nœuds complets envoient désormais directement les données de points de contrôle aux indexeurs dès leur finalisation, plutôt que d’attendre des récupérations planifiées.\n\nCe modèle basé sur l’envoi élimine les cycles de sondage répétés qui introduisaient auparavant des retards entre la création du point de contrôle et son traitement en aval. En conséquence, les outils sensibles à la latence peuvent réagir plus près du temps réel sans ajuster des intervalles de sondage complexes.\n\nSelon la documentation, le système fournit « des points de contrôle en temps réel dès qu’ils sont finalisés » avec « des données plus rapides, des pipelines résilients, moins de travail d’infrastructure sur Sui ». Cela dit, les opérateurs peuvent toujours configurer des dispositifs de sécurité pour se protéger contre les problèmes de connexion et les interruptions de service.\n\nLe mécanisme de streaming fonctionne via une étape de configuration simple où les développeurs ajoutent un argument streaming-url pointant vers un endpoint de nœud complet. L’indexeur reçoit alors les points de contrôle sous forme de flux d’événements au lieu de les récupérer à intervalles prédéfinis.\n\nCe modèle basé sur les événements est particulièrement précieux pour les systèmes de surveillance, les plateformes d’analytique en temps réel et autres applications sensibles à la latence. De plus, il simplifie l’infrastructure en réduisant la nécessité de stratégies de sondage agressives et de réglages opérationnels associés.\n\nLes sauvegardes de sondage obligatoires protègent les données historiques\n\nSui associe le streaming à des sources de secours obligatoires basées sur le sondage pour gérer les limitations inhérentes aux connexions de longue durée. Un lien de streaming ne fournit des données qu’à partir du moment où il est établi, donc les points de contrôle historiques nécessitent encore des mécanismes supplémentaires.\n\nLe indexeur à usage général illustre ce design hybride en production. Il utilise le streaming comme voie principale d’ingestion tout en maintenant des sources de sondage comme mécanismes de sécurité pour les données historiques et les scénarios de récupération.\n\nCette configuration maintient les données indexées à jour tout en permettant des redémarrages propres et une récupération transparente en cas de défaillance. Cependant, si une connexion est interrompue, le système peut reprendre à partir du dernier point de contrôle connu en utilisant le sondage, puis revenir au streaming une fois le lien stabilisé.\n\nEn pratique, ce modèle hybride fonctionne de manière similaire à une stratégie de fallback de streaming de points de contrôle sui. Les développeurs bénéficient des avantages de faible latence des mises à jour poussées sans compromettre la complétude ou la fiabilité.\n\nLa conception du cadre permet une adoption progressive du streaming\n\nLe cadre d’indexation personnalisé sépare le traitement des points de contrôle de l’ingestion des données. Les indexeurs consomment et transforment les points de contrôle via une interface unifiée, sans coupler la logique à des sources spécifiques telles que les flux gRPC ou le sondage HTTP.\n\nCette abstraction permet aux équipes de faire évoluer leurs stratégies d’ingestion au fur et à mesure que les exigences changent, sans réécrire les composants centraux de traitement. De plus, cela simplifie les bases de code en concentrant la logique de gestion des données dans une seule couche.\n\nLa documentation indique qu’avec le streaming gRPC, « il n’est pas nécessaire de faire du sondage, pas de conjectures sur le timing, et aucune delay artificielle introduite par les intervalles de récupération ». Cela dit, les opérateurs peuvent toujours choisir le sondage lorsque les charges de travail ne nécessitent pas une latence ultra-faible.\n\nLes développeurs peuvent activer progressivement le streaming sui gRPC, en fonction des caractéristiques de leur charge de travail. Les applications qui privilégient la fraîcheur des données et la réactivité en temps réel tirent le plus grand avantage d’une adoption immédiate du streaming.\n\nEn revanche, les systèmes axés sur l’analyse par lots, le traitement hors ligne ou les workflows plus simples peuvent continuer à utiliser des configurations uniquement basées sur le sondage. Le cadre supporte ces deux approches sous le même modèle de traitement, simplifiant ainsi les environnements multi-application.\n\nLa configuration maintient la stabilité de la logique pendant que les sources évoluent\n\nLes indexeurs personnalisés existants construits sur le cadre officiel nécessitent peu de modifications pour profiter du streaming. L’ajout de la capacité gRPC implique d’inclure un paramètre streaming-url en plus de la valeur de configuration remote-store-url existante.\n\nLa logique de traitement des points de contrôle reste inchangée tout au long de cette transition. De plus, le cadre gère automatiquement le changement de source en cours d’exécution afin que les indexeurs conservent une vue cohérente de l’état du réseau.\n\nCe design aide à prévenir les modes de défaillance courants où les systèmes perdent des données ou accusent un retard important par rapport à la chaîne. Le cadre coordonne les interactions entre streaming et sondage, en maintenant la continuité lors des redémarrages et des interruptions réseau.\n\nDans l’ensemble, l’architecture hybride de streaming et de sondage de Sui offre des points de contrôle en temps réel, des pipelines résilients, et une voie de migration claire pour les indexeurs cherchant une ingestion à faible latence sans sacrifier la fiabilité.