Отже, тепер де це матиме сенс для висновків, ми ледь вмістили кількісно Q8 Qwen Coder 3 та Kimi K2 на наших H200. Kimi K2 @ Q8 не залишив місця для кешу kv для контексту. Чи зможуть ці моделі вміститися на одному 8xB200 екземплярі? Мабуть, ми спробуємо цього тижня.

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.