Así que ahora donde esto tendrá sentido para la inferencia, apenas encajamos los instantes cuantizados Q8 Qwen Coder 3 y Kimi K2 en nuestros H200. Kimi K2 @ Q8 no dejó espacio para un kv cache para el contexto. ¿Podrían estos modelos caber en un solo instante de 8xB200? Probablemente, lo intentaremos esta semana.
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
9 me gusta
Recompensa
9
4
Compartir
Comentar
0/400
HallucinationGrower
· hace3h
¿Para qué hacer algo tan extravagante?
Ver originalesResponder0
TerraNeverForget
· hace3h
Esto está demasiado ser liquidado.
Ver originalesResponder0
FadCatcher
· hace3h
¿Por qué se ha acabado este espacio de caché kv?
Ver originalesResponder0
FloorSweeper
· hace3h
¿Qué está pasando si ni siquiera cabe la tarjeta gráfica?
Así que ahora donde esto tendrá sentido para la inferencia, apenas encajamos los instantes cuantizados Q8 Qwen Coder 3 y Kimi K2 en nuestros H200. Kimi K2 @ Q8 no dejó espacio para un kv cache para el contexto. ¿Podrían estos modelos caber en un solo instante de 8xB200? Probablemente, lo intentaremos esta semana.