Análisis de Zhipu sobre GLM-5 «El escándalo de los caracteres ilegibles»: millones de llamadas diarias a Coding Agent, dos bugs de condición de carrera ocultos en la caché KV

Mensaje de Binance, Zhipu publicó un artículo revisando los problemas de caracteres ilegibles, repeticiones y caracteres poco comunes que aparecían en la serie de modelos GLM-5 en escenarios de agentes de codificación. Desde marzo, los usuarios han reportado que las anomalías solo se activan en tareas de alta concurrencia y con contextos largos (promedio superior a 70k tokens). Zhipu afirma que su sistema de inferencia soporta miles de millones de llamadas diarias de agentes de codificación. Tras una investigación, el equipo identificó dos bugs de condición de carrera independientes. El primer bug ocurrió en la arquitectura de separación de pd, donde, tras un timeout en la decodificación, se interrumpe la solicitud y se recupera la caché kv, pero la escritura RDMA en la prellenado no había terminado, y una nueva solicitud sobrescribía los datos antiguos. La solución fue agregar una sincronización explícita antes de la recuperación, reduciendo la tasa de anomalías de unas diez milésimas a menos de tres milésimas. El segundo bug ocurrió en hicache, donde las líneas de carga y cálculo carecían de un punto de sincronización, por lo que el cálculo podía leer datos aún no cargados. Tras la reparación, las anomalías desaparecieron por completo y el parche fue enviado a la comunidad sglang. El equipo también descubrió que el índice de aceptación de muestreo especulativo puede servir como señal de detección de anomalías: durante caracteres ilegibles, casi todos los tokens en borrador son rechazados, mientras que en repeticiones, la tasa de aceptación es más alta.