Sui gRPC потокова передача забезпечує низьку затримку індексування контрольних точок та стійкі конвеєри даних

Розробники на Sui тепер можуть використовувати sui grpc streaming для створення швидших і більш надійних індексувальних конвеєрів для даних блокчейна в реальному часі.\n\nГібридна модель потокової передачі трансформує доступ до даних Sui\n\nБлокчейн Sui впровадив gRPC streaming як основне джерело даних для своєї індексувальної інфраструктури, що дозволяє здійснювати інгестію контрольних точок у реальному часі з мінімальною затримкою. Більше того, цей дизайн орієнтований на застосунки, які повинні реагувати одразу після фіналізації даних.\n\nПлатформа поєднує можливості потокової передачі з традиційними методами опитування для підтримки точності даних і стійкості системи. Ця гібридна модель дозволяє миттєвий доступ до фіналізованих контрольних точок при збереженні зворотної сумісності з існуючими користувацькими індексаторами, вже розгорнутими на Sui.\n\nРамкова система користувацького індексування підтримує цю архітектуру з пріоритетом потокової передачі без необхідності змін у логіці обробки контрольних точок. Однак команди все ще можуть покладатися на свої існуючі конвеєри, додаючи потокову передачу там, де вона приносить реальні переваги.\n\nПотокова передача усуває затримки опитування для інгестії контрольних точок\n\nНова можливість gRPC streaming кардинально змінює спосіб отримання даних блокчейна індексаторами на Sui. Повні вузли тепер безпосередньо передають дані контрольних точок індексаторам одразу після фіналізації, замість очікування запланованих запитів.\n\nЦя модель push-based усуває повторювані цикли опитування, які раніше спричиняли затримки між створенням контрольної точки та її обробкою у downstream. В результаті, інструменти, чутливі до затримок, можуть реагувати ближче до реального часу без налаштування складних інтервалів опитування.\n\nЗгідно з документацією, система забезпечує “реальні часи контрольних точок одразу після їх фіналізації” з “швидшими даними, стійкими конвеєрами, меншими затратами інфраструктури на Sui”. Водночас оператори можуть налаштовувати системи захисту від проблем з підключенням і збоїв сервісу.\n\nМеханізм потокової передачі працює через простий конфігураційний крок, де розробники додають аргумент streaming-url, що вказує на кінцеву точку повного вузла. Потім індексатор отримує контрольні точки у вигляді потоків подій замість їх періодного запиту.\n\nЦя модель, орієнтована на події, особливо цінна для систем моніторингу, платформ аналітики у реальному часі та інших застосунків, чутливих до затримок. Крім того, вона спрощує інфраструктуру, зменшуючи потребу в агресивних стратегиях опитування та відповідних операційних налаштуваннях.\n\nОбов’язкові fallback-джерела опитування для збереження історичних даних\n\nSui поєднує потокову передачу з обов’язковими fallback-джерелами на основі опитування для подолання внутрішніх обмежень довготривалих з’єднань. Посилання на потокову передачу передає дані лише з моменту її встановлення, тому історичні контрольні точки все ще потребують додаткових механізмів.\n\nЗагальний індексатор демонструє цю гібридну архітектуру у виробництві. Він використовує потокову передачу як основний шлях інгестії, зберігаючи джерела опитування як засоби безпеки для історичних даних і сценаріїв відновлення.\n\nЦя конфігурація підтримує актуальність індексованих даних, одночасно забезпечуючи чисті перезапуски та безшовне відновлення після збоїв. Однак, якщо з’єднання обірветься, система може відновитися з останньої відомої контрольної точки за допомогою опитування, а потім повернутися до потокової передачі, коли з’єднання стабілізується.\n\nНа практиці ця гібридна модель функціонує подібно до стратегії fallback для потокової передачі контрольних точок sui. Розробники отримують переваги низької затримки від push-оновлень без шкоди для повноти або надійності.\n\nДизайн рамкової системи дозволяє поступове впровадження потокової передачі\n\nКористувацька рамкова система індексування відокремлює обробку контрольних точок від інгестії даних. Індекси споживають і трансформують контрольні точки через єдиний інтерфейс, не зв’язуючи логіку з конкретними джерелами, такими як gRPC потоки або HTTP опитування.\n\nЦя абстракція дозволяє командам розвивати стратегії інгестії відповідно до змін вимог, без переписування основних компонентів обробки. Крім того, вона спрощує кодову базу, концентруючи логіку обробки даних у одному шарі.\n\nУ документації зазначено, що з gRPC streaming “не потрібно опитування, немає здогадок щодо часу і немає штучних затримок, викликаних інтервалами запитів”. Водночас, оператори все ще можуть обирати опитування там, де навантаження не вимагає ультра-низької затримки.\n\nРозробники можуть поступово активувати sui grpc streaming залежно від характеристик конкретного навантаження. Застосунки, що цінують актуальність даних і швидку реакцію у реальному часі, отримують найбільшу вигоду від негайного впровадження потокової передачі.\n\nНа відміну від цього, системи, орієнтовані на пакетну аналітику, офлайн-обробку або простіші робочі процеси, можуть і далі використовувати конфігурації лише з опитуванням. Рамкова система підтримує обидва підходи у рамках однієї моделі обробки, спрощуючи мульти-застосункові середовища.\n\nКонфігурація зберігає стабільність логіки, водночас джерела даних еволюціонують\n\nІснуючі користувацькі індексатори, побудовані на офіційній рамковій системі, потребують мінімальних змін для використання потокової передачі. Додавання можливості gRPC передбачає включення параметра streaming-url поряд із існуючим remote-store-url.\n\nЛогіка обробки контрольних точок залишається незмінною протягом усього переходу. Більше того, рамкова система автоматично керує перемиканням джерел під час роботи, щоб індексатори зберігали послідовне уявлення про стан мережі.\n\nЦей дизайн допомагає запобігти поширеним збоїм, коли системи втрачають дані або значно відстають від ланцюга. Рамкова система координує взаємодії між потоковою передачею і опитуванням, підтримуючи безперервність роботи під час перезапусків і мережевих збоїв.\n\nЗагалом, гібридна архітектура потокової передачі і опитування Sui пропонує контрольні точки у реальному часі, стійкі конвеєри і чіткий шлях міграції для індексаторів, що прагнуть до низької затримки інгестії без шкоди для надійності.