Vì vậy, bây giờ điều này sẽ có ý nghĩa cho suy diễn, chúng tôi chỉ vừa đủ để phù hợp với các phiên bản Kimi K2 và mã hóa Qwen Coder 3 đã được định lượng hóa Q8 trên H200 của chúng tôi. Kimi K2 @ Q8 không để lại chỗ cho bộ nhớ kv cho ngữ cảnh. Liệu những mô hình này có vừa với một phiên bản 8xB200 đơn lẻ không? Có thể, chúng tôi sẽ thử trong tuần này.
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Vì vậy, bây giờ điều này sẽ có ý nghĩa cho suy diễn, chúng tôi chỉ vừa đủ để phù hợp với các phiên bản Kimi K2 và mã hóa Qwen Coder 3 đã được định lượng hóa Q8 trên H200 của chúng tôi. Kimi K2 @ Q8 không để lại chỗ cho bộ nhớ kv cho ngữ cảnh. Liệu những mô hình này có vừa với một phiên bản 8xB200 đơn lẻ không? Có thể, chúng tôi sẽ thử trong tuần này.