Ulasan Zhipu tentang GLM-5 "Masalah Karakter Acak": Ratusan juta panggilan Coding Agent setiap hari, dua bug kompetisi tersembunyi di dalam KV Cache

Berita dari Web3, Zhipu menerbitkan artikel untuk meninjau kembali masalah yang muncul pada model seri GLM-5 dalam skenario agen pengkodean, seperti munculnya karakter acak, pengulangan, dan karakter langka. Sejak Maret, umpan balik pengguna menunjukkan bahwa gangguan hanya terjadi dalam tugas dengan tingkat konkurensi tinggi dan konteks panjang (rata-rata lebih dari 70 ribu token). Zhipu menyatakan bahwa sistem inferensinya menangani ratusan juta panggilan agen pengkodean setiap hari. Setelah penyelidikan, tim mengidentifikasi dua bug kompetisi yang terpisah. Bug pertama terjadi pada arsitektur pemisahan pd, di mana setelah permintaan dihentikan karena timeout di sisi decoding, cache kv dikembalikan, tetapi penulisan RDMA di sisi prefill belum selesai, sehingga permintaan baru menimpa data lama. Solusi perbaikannya adalah menambahkan sinkronisasi eksplisit sebelum pengembalian, sehingga tingkat gangguan turun dari lebih dari satu bagian dari sepuluh ribu menjadi kurang dari tiga bagian dari sepuluh ribu. Bug kedua terjadi pada hicache, di mana jalur pipeline pemuatan dan perhitungan kekurangan titik sinkronisasi, sehingga sisi perhitungan mungkin membaca data sebelum selesai dimuat. Setelah perbaikan, gangguan benar-benar hilang, dan patch telah dikirim ke komunitas SGLang. Tim juga menemukan bahwa indikator tingkat keberhasilan sampling spekulatif dapat digunakan sebagai sinyal deteksi gangguan; saat muncul karakter acak, token draf hampir seluruhnya ditolak, sementara saat pengulangan, tingkat keberhasilan cenderung tinggi.