我注意到在目前的NVIDIA策略中有一些有趣的事情。上周，黃仁勳詳細解釋了為什麼NVIDIA投資200億美元收購Groq，坦白說，這是一個非常聰明的戰略決策，展示了推理市場正在如何轉型。

以下是背景：長期以來，大家都專注於一個指標——吞吐量。但Groq理解了一些其他人忽略的事情。軟體工程師現在願意為更快的回應支付更高的價格。這是一個全新的市場細分。如黃仁勳所說，如果能提供超低延遲的代幣，讓開發者更高效，他們就會為此付費。這是一個剛剛開始出現的市場。

而Groq正是在這裡發揮作用。這次收購彌補了NVIDIA推理武器庫中的一個重大空白。當NVIDIA在傳統解決方案中主導高吞吐量市場時，Groq帶來了完全不同的東西：一個以其極低確定性延遲著稱的LPU架構。在三月的GTC上，NVIDIA展示了Groq 3 LPU，採用三星的4納米製程。數據令人印象深刻——在1000億參數模型上，每兆瓦推理次數比Blackwell NVL72高出35倍。

這基本上是市場帕累托曲線的擴展。NVIDIA不再只在高吞吐量或低延遲之間做選擇，而是創造了兩個不同的細分市場。Groq仍作為獨立實體運作，Jonathan Ross和他的團隊已加入NVIDIA。甚至可以根據反應時間來定價——較低的吞吐量，但單價有很大彌補。這是純粹的商業天才，也展示了AI市場的日益複雜。這兩種方法將共存，客戶將根據他們的實際需求做出選擇。