Şimdi bu çıkarım için anlam kazanacak; H200'lerimizde nicelleştirilmiş Q8 Qwen Coder 3 ve Kimi K2 örneklerini zar zor sığdırabiliyoruz. Kimi K2 @ Q8, bağlam için bir kv önbelleği bırakmadı. Bu modeller tek bir 8xB200 örneğine sığabilir mi? Muhtemelen, bu hafta deneyeceğiz.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Şimdi bu çıkarım için anlam kazanacak; H200'lerimizde nicelleştirilmiş Q8 Qwen Coder 3 ve Kimi K2 örneklerini zar zor sığdırabiliyoruz. Kimi K2 @ Q8, bağlam için bir kv önbelleği bırakmadı. Bu modeller tek bir 8xB200 örneğine sığabilir mi? Muhtemelen, bu hafta deneyeceğiz.