Недавно NVIDIA завершила интересную сделку на рынке инференса.

Она приобрела бизнес по производству чипов Groq за 200 миллиардов долларов, привлекая ключевую команду во главе с Джонатаном Россом.
Интересно, что Groq продолжает работать как независимая компания, так что это не полное поглощение.

Меня поразило объяснение Хуана Жэньсуна о причинах этого шага.
Оказывается, рынок инференса не является однородным.
Ранее всё вращалось вокруг повышения производительности, точка.
Но теперь ситуация изменилась.
Пользователи готовы платить разные цены в зависимости от скорости отклика.
Если инженер может обрабатывать токены быстрее и быть более продуктивным, он готов инвестировать в это.

Вот тут и вступает Groq.
Её архитектура LPU известна низкими детерминированными задержками, что противоположно тому, что делает NVIDIA с их высокопроизводительными GPU.
Это как если бы они дополняли спектр: с одной стороны — максимальная производительность; с другой — максимальная скорость отклика.
Два сегмента рынка, две разные цены, одна модель.

На конференции GTC в марте они представили Groq 3 LPU с технологией 4 нм от Samsung.
Цифры впечатляют: в 35 раз выше эффективность инференса на мегаватт по сравнению с Blackwell NVL72.
Это тот тип дифференциации, который открывает новые рынки вместо того, чтобы просто конкурировать на существующем.

Ход Groq здесь ясен: пока NVIDIA доминирует в области высокой производительности, они специализируются на том, что ценят пользователи, для которых важна скорость превыше всего.
Две стратегии, одна более полноценная экосистема.