Итак, теперь где это будет иметь смысл для вывода, мы едва уместили количественно Q8 Qwen Coder 3 и Kimi K2 на наших H200. Kimi K2 @ Q8 не оставил места для кэша kv для контекста. Могут ли эти модели поместиться на одном экземпляре 8xB200? Вероятно, мы попробуем на этой неделе.

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .