Ми раді поділитися результатами нашої співпраці з SGLang. 🎉
Разом ми оптимізували інференс DeepSeek R1 для розгортання на GB200 NVL72 — забезпечуючи збільшення продуктивності на 2x і 3x на один GPU в порівнянні з кластерами H100, які майже вдвічі більші.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
9 лайків
Нагородити
9
7
Поділіться
Прокоментувати
0/400
ProbablyNothing
· 10год тому
Продуктивність зростає Я лизу я лизу
Переглянути оригіналвідповісти на0
WhaleWatcher
· 08-01 23:52
Продуктивність знову подвоїлася, круто!
Переглянути оригіналвідповісти на0
Rugpull幸存者
· 08-01 23:52
Знову підвищується продуктивність, так?
Переглянути оригіналвідповісти на0
OnChainDetective
· 08-01 23:52
хмм, відстежив ці метрики GPU... щось тут не сходиться
Ми раді поділитися результатами нашої співпраці з SGLang. 🎉
Разом ми оптимізували інференс DeepSeek R1 для розгортання на GB200 NVL72 — забезпечуючи збільшення продуктивності на 2x і 3x на один GPU в порівнянні з кластерами H100, які майже вдвічі більші.
Ось як виглядає інференція прикордонного MoE.