Microsoftは現在、NvidiaのH100の最大の購入者であり、MicrosoftがH100の通年の生産能力を「終える」とさえ噂された。 Microsoft からの解散のシグナルは間違いなく青天の霹靂であり、Intel が最も暗い状況にあったときでさえ、自社の CPU チップを「敢えて」作る顧客はいなかったことを知らなければなりません (CPU チップを外部に販売していない Apple を除く) 。
Nvidia は現在、GPU+NVlink+CUDA による AI コンピューティング能力で市場の 90% を独占していますが、** 帝国に最初の亀裂が現れました。 **
ただし、イメージとしては、データ処理量は膨大であるものの、ほとんどのステップは固定されており、ディープニューラルネットワークを意思決定分野に適用すると、分岐構造やパラメータなど複雑な状況が発生することになります。各層は、大量のデータの肯定的フィードバックと否定的フィードバックに基づいてトレーニングする必要があります。これらの違いは、将来の GPU の AI への適応性に隠れた危険をもたらします。
Wu Enda が 2011 年に Google Brain に入社し、冒頭で述べた Google Cat プロジェクトのリーダーの 1 人であることは言及する価値があります。最終的に Google Brain が GPU を使用できなかった理由は部外者には不明ですが、Wu Enda 氏が Google を辞めて Baidu に入社する前後には、GPU に対する Google の姿勢が不明確だったためではないかという噂がありました。
たとえば、GPU は CPU とは大きく異なりますが、基本的にはどちらもノイマン構造に従い、ストレージと演算が分離されています。この分離によってもたらされる効率のボトルネックは、結局のところ、画像処理のステップは比較的固定されており、より並列処理することで解決できますが、多くの分岐構造を持つニューラル ネットワークでは非常に致命的です。
AI シーンに適応するために、Nvidia の「魔法のように改造された」GPU は、ある程度 CPU に似てきています。CPU の優れたスケジューリング能力が計算能力を犠牲にしているのと同じように、Nvidia は自分自身を抑制する必要があります。コンピューティングコアのスタッキング。しかし、汎用性の負担を抱えてGPUをいかに変更しても、AIシナリオにおいて専用チップに匹敵することは困難です。
** Nvidia を最初に攻撃したのは Google で、Google は AI コンピューティング用に初めて大規模に GPU を購入しました。 **
Nvidia帝国に亀裂が入る
出典: シリコンベース研究所
著者：何魯恒/ボス・ダイ
2012 年、AI 界では 2 つの大きな出来事が起こりました。時系列で言えば、最初の出来事は、Google の長年のチームである Google Brain の「デビュー作」である深層学習ネットワーク「Google Cat」のリリースでした。 74.8%の認識率で猫を認識できるこの精度は、有名な画像認識コンテストImageNetで前年に優勝したアルゴリズムの74%よりも0.8%高くなっています。
しかし、Google の注目を集めた瞬間はわずか数か月しか続きませんでした。 2012 年 12 月に、最新の ImageNet の勝者がリリースされ、深層学習の巨匠ヒントンとその弟子たちは、認識精度を 84% にまで高めた畳み込みニューラル ネットワーク AlexNet をもたらし、次の AI 革命を開始しました。 Google Cat は歴史の塵に埋もれていました。
業界に衝撃を与えたのは ImageNet モデル自体だけではありませんでした。このニューラル ネットワークには、1,400 万枚の画像と合計 262 ペタフロップスの浮動小数点演算が必要ですが、1 週間のトレーニング中に使用したのは 4 台の NVIDIA Geforce GTX 580 だけでした。参考までに、Google Cat は 1,000 万枚の写真、16,000 個の CPU、1,000 台のコンピューターを使用しました。 [1] 。
今年は Google も秘密裏にこのコンペティションに参加していたという噂があり、Google が受けた衝撃は次の行動に直接反映されました。Google はヒントン チームの買収に 4,400 万ドルを費やし、すぐに Nvidia に大量の GPU を発注しました。トレーニング、そして同時に「掃除用品」も Microsoft や Facebook などの巨人です。
** Nvidia が最大の勝者となり、株価はその後 10 年間で最大 121 倍に上昇しました。帝国が誕生します。 **
しかし、帝国の上空には徐々に二つの暗雲が立ち込めていた。当時 Nvidia から製品を購入した Google は、3 年後に AlphaGo で鮮烈なデビューを果たし、2017 年には人間のチャンピオンである柯潔を破りました。熱心な人々は、AlphaGo を駆動するチップがもはや Nvidia の GPU ではなく、Google が自社開発した TPU チップであることを発見しました。
3 年後、同様のシナリオが繰り返されました。かつて黄仁訓氏がベンチマーク顧客とみなしていたテスラも、Nvidia GPUに別れを告げ、まずNPUをコアとして搭載したFSD車両チップを発売し、次にAIトレーニングクラスターの構築に使用されたD1チップを撤去した。 AI時代の最も重要な顧客。
2022年までに世界のITサイクルは下降局面に入る 大手クラウドコンピューティング企業がデータセンター向けのGPU調達予算を削減し、ブロックチェーンマイニングの潮流は徐々に沈静化する さらに米国による中国へのチップ禁輸でブロックチェーンマイニングは不可能になるハイエンドグラフィックスカードでは、Nvidiaの在庫が急増し、株価はピーク時の3分の2に下落した。
2022 年末に ChatGPT が誕生し、大規模な「錬金術」の燃料となる GPU が再び略奪されました。Nvidia は一息つきましたが、第三の暗雲が続きました。2023 年 4 月 18 日、有名なテクノロジー メディアThe Information はニュースを伝えました: * この AI の波の仕掛け人である Microsoft は、独自の AI チップを秘密裏に開発しています* [2] 。
Athenaと呼ばれるこのチップはTSMCが製造し、先進的な5nmプロセスを採用しており、Microsoftの研究開発チームの数は300人近くに上る。明らかに、このチップの目標は、高価な A100/H100 を置き換え、OpenAI にコンピューティング パワー エンジンを提供することであり、最終的には Microsoft の Azure クラウド サービスを通じて Nvidia のケーキを奪うことになります。
Microsoftは現在、NvidiaのH100の最大の購入者であり、MicrosoftがH100の通年の生産能力を「終える」とさえ噂された。 Microsoft からの解散のシグナルは間違いなく青天の霹靂であり、Intel が最も暗い状況にあったときでさえ、自社の CPU チップを「敢えて」作る顧客はいなかったことを知らなければなりません (CPU チップを外部に販売していない Apple を除く) 。
Nvidia は現在、GPU+NVlink+CUDA による AI コンピューティング能力で市場の 90% を独占していますが、** 帝国に最初の亀裂が現れました。 **
01、AI のために生まれたわけではない GPU
GPU は最初から AI のために作られたものではありません。
1999 年 10 月、Nvidia は、TSMC の 220nm プロセスをベースにし、2,300 万個のトランジスタを統合したグラフィックス処理チップである GeForce 256 をリリースしました。 Nvidia は、Graphics Processing Unit の頭文字「GPU」を抽出し、GeForce 256 **を「世界初の GPU」と今日命名しました。
現時点では、特にディープ ニューラル ネットワークの分野では、人工知能は長年にわたって沈黙を保っており、ジェフリー ヒントンやヤン ルカンなどの将来のチューリング賞受賞者は依然として学術ベンチに座っており、自分のキャリアについてまったく考えていません。元々ゲーマー向けに開発されたGPUによって完全に変わります。
GPU は誰のために生まれましたか?画像。より正確に言えば、CPU をグラフィックス表示の単調な作業から解放するために生まれました。画像表示の基本原理は、各フレームの画像を個々のピクセルに分割し、頂点処理、プリミティブ処理、ラスタライズ、フラグメント処理、ピクセル演算などの複数のレンダリング処理を実行し、最終的に画面上に表示します。
なぜこれは大変な仕事だと言えるのですか?簡単な算術問題を実行してください:
画面上に 300,000 ピクセルがあり、60fps のフレーム レートで計算すると、1 秒あたり 1,800 万回のレンダリングを完了する必要があります。そのたびに、上記の 5 つのステップが含まれ、5 つの命令に対応します。つまり、CPU は、参考までに、当時のインテルの最高性能 CPU では 1 秒あたり 6,000 万回の演算しかありませんでした。
これはCPUが弱いのではなく、スレッドスケジューリングが得意なため、制御部や記憶部に多くのスペースが与えられ、計算に使われる演算器はスペースの20％しか占めていません。それどころか、GPU はスペースの 80% 以上がコンピューティング ユニットであり、超並列コンピューティング機能をもたらし、固定ステップで反復的で退屈な画像表示の作業に適しています。
このような特性を持つ GPU がディープラーニングのトレーニングにも適していることに一部の人工知能学者が気づいたのは、数年後のことでした。多くの古典的なディープ ニューラル ネットワーク アーキテクチャは 20 世紀後半には既に提案されてきましたが、それらを訓練するためのコンピューティング ハードウェアが不足しているため、多くの研究は「机上」でしかできず、開発は長い間停滞しています。時間。
1999 年 10 月の銃撃により、人工知能に GPU が導入されました。ディープラーニングのトレーニングプロセスは、ニューラルネットワークの各層の関数とパラメータに従って各入力値に対して階層的な演算を実行し、最終的に出力値を取得することであり、これにはグラフィックスのレンダリングと同様に、多数の行列演算が必要です。それは GPU が最も得意とすることです。
ただし、イメージとしては、データ処理量は膨大であるものの、ほとんどのステップは固定されており、ディープニューラルネットワークを意思決定分野に適用すると、分岐構造やパラメータなど複雑な状況が発生することになります。各層は、大量のデータの肯定的フィードバックと否定的フィードバックに基づいてトレーニングする必要があります。これらの違いは、将来の GPU の AI への適応性に隠れた危険をもたらします。
現在の Amazon AI/ML ゼネラルマネージャーである Kumar Chellapilla は、GPU カニを食べた最初の学者です。 2006 年、彼は Nvidia の GeForce 7800 グラフィックス カードを初めて畳み込みニューラル ネットワーク (CNN) を実装するために使用し、CPU を使用するよりも 4 倍高速であることを発見しました。これは、深層学習に GPU を使用する既知の中で最も古い試みです。 [3] 。
Kumar の研究は、主に GPU に基づくプログラミングの複雑さの高さにより、広く注目を集めていません。しかし、ちょうどその頃、Nvidia は 2007 年に CUDA プラットフォームを発表しました。これにより、開発者が GPU を使用してディープ ニューラル ネットワークをトレーニングする難しさが大幅に軽減され、ディープ ラーニングの信奉者はさらに希望を持てるようになりました。
そして2009年、スタンフォード大学のウー・エンダらが画期的な論文を発表した。 [6] , GPU は、CPU の 70 倍以上の計算能力により、AI のトレーニング時間を数週間から数時間に短縮します。この論文は、人工知能のハードウェア実装の道を示します。 GPU は、AI が紙から現実に至るまでのプロセスを大幅に加速しました。
Wu Enda が 2011 年に Google Brain に入社し、冒頭で述べた Google Cat プロジェクトのリーダーの 1 人であることは言及する価値があります。最終的に Google Brain が GPU を使用できなかった理由は部外者には不明ですが、Wu Enda 氏が Google を辞めて Baidu に入社する前後には、GPU に対する Google の姿勢が不明確だったためではないかという噂がありました。
**数え切れないほどの人々の探求を経て、バトンはついに深層学習の達人ヒントンに渡され、時はすでに 2012 年を指していました。 **
2012 年、ヒントンと 2 人の学生、アレックス クリジェフスキーとイリヤ スツケヴェルツは、ディープ畳み込みニューラル ネットワーク AlexNet を設計し、今年 ImageNet コンペティションに参加する予定でした。しかし問題は、AlexNet を CPU でトレーニングするには数か月かかる可能性があるということであり、そこで彼らは GPU に注目しました。
ディープラーニングの開発史において極めて重要なこの GPU は、有名な「核爆弾グラフィックス カード」GTX 580 です。 Nvidia の最新の Fermi アーキテクチャの主力製品として、GTX 580 には 512 個の CUDA コア (前世代では 108 個) が詰め込まれており、コンピューティング パワーは飛躍的に向上していますが、消費電力と発熱の問題が誇張されているため、Nvidia は「核爆弾工場」と呼ばれています。 」。
Aはヒ素、Bは蜂蜜。 GPU でニューラル ネットワークをトレーニングするときの「滑らかさ」と比較すると、放熱の問題は言うまでもありません。 Hinton チームは Nvidia の CUDA プラットフォームを使用してプログラミングを完了し、2 枚の GTX 580 グラフィックス カードのサポートにより、わずか 1 週間で 1,400 万枚の写真のトレーニングを完了し、AlexNet が見事優勝しました。
**ImageNet コンテストとヒントン自身の影響により、すべての人工知能学者は GPU の重要性を瞬時に認識しました。 **
2 年後、Google は GoogLeNet モデルを採用して ImageNet に参加し、NVIDIA GPU を使用して 93% の精度率で優勝しました。今年、すべての参加チームが使用する GPU の数は 110 に急増しました。競争の外では、GPU はディープラーニングにとって「必須の消費」となっており、Huang Renxun には安定した注文が続いています。
これにより、Nvidia はモバイル市場での大失敗の影を取り除くことができました。2007 年の iPhone のリリース後、スマートフォン チップのケーキは急速に拡大しました。Nvidia はまた、Samsung、Qualcomm、およびその他の企業からパイの一部を獲得しようとしました。 MediaTek. 放熱の問題が失敗しました。結局、GPU によって救われたのは人工知能の分野であり、Nvidia に第 2 の成長曲線をもたらしました。
しかし、結局のところ、GPU はニューラル ネットワークをトレーニングするために生まれたものではなく、人工知能の開発が加速するほど、これらの問題はさらに露呈することになります。
たとえば、GPU は CPU とは大きく異なりますが、基本的にはどちらもノイマン構造に従い、ストレージと演算が分離されています。この分離によってもたらされる効率のボトルネックは、結局のところ、画像処理のステップは比較的固定されており、より並列処理することで解決できますが、多くの分岐構造を持つニューラル ネットワークでは非常に致命的です。
ニューラル ネットワークが層やブランチを追加するたびに、バックトラッキング用のデータを保存するためにメモリ アクセスを増やす必要があり、これに費やす時間は避けられません。特に大規模モデルの時代では、モデルが大きくなるほど、より多くのメモリ アクセス操作を実行する必要があり、メモリ アクセスで消費されるエネルギーはコンピューティングのエネルギーの何倍にもなります。
簡単な例えとしては、GPU は (多くのコンピューティング ユニットを備えた) 筋肉質の男性ですが、命令を受け取るたびに、戻って命令マニュアル (メモリ) を見なければならないということです。 、男性 実際の仕事の時間は非常に限られており、その代わりマニュアルをめくるのに疲れて口から泡が出ます。
メモリの問題は、ディープ ニューラル ネットワーク アプリケーションにおける GPU の多くの「不快感」の 1 つにすぎません。 Nvidia は最初からこれらの問題を認識しており、すぐに GPU を人工知能アプリケーション シナリオにより適したものにするために「魔法のような改造」を開始しました。また、火事を鋭く認識している AI プレーヤーも忍び込んで、これを利用しようとしています。 GPU の欠陥が黄仁訓の帝国の一角をこじ開ける。
**攻防戦が始まります。 **
02、Google と Nvidia の間の暗い戦い
AI コンピューティング能力に対する圧倒的な需要と GPU の先天的欠陥に直面して、Huang Renxun は連携する 2 つのソリューションを提供しました。
**第1セットは「計算力の老妖精は無限の魔力を持っている」という道に沿って激しく計算力を積み上げていく。 **AI のコンピューティング パワーに対する需要が 3.5 か月ごとに 2 倍になる時代において、コンピューティング パワーは人工知能企業の目の前にぶら下がっているニンジンであり、犬のようにそれをひったくりながら、その卓越した剣の腕前で黄仁勲を叱責させているのです。 Nvidia のすべての容量。
**2 番目のセットは、「改善されたイノベーション」を通じて、GPU と人工知能のシナリオ間の不一致を徐々に解決することです。 **これらの問題には、電力消費、メモリの壁、帯域幅のボトルネック、低精度の計算、高速接続、特定のモデルの最適化などが含まれますが、これらに限定されません... 2012 年以来、Nvidia はアーキテクチャの更新速度を突然加速しました。
Nvidia が CUDA をリリースした後、統合アーキテクチャを使用して、グラフィックスとコンピューティングの 2 つの主要なシナリオをサポートしました。第一世代のアーキテクチャは 2007 年にデビューし、テスラと名付けられましたが、これは黄仁訓がマスクに好意を示したかったからではなく、物理学者のニコラ・テスラに敬意を表したためでした（最初の世代はキュリー・アーキテクチャでした）。
それ以来、下の図に示すように、NVIDIA GPU アーキテクチャの各世代には、有名な科学者の名前が付けられてきました。アーキテクチャを反復するたびに、Nvidia は「筋肉や骨を切断」することなく改善しながら、コンピューティング パワーを蓄積し続けています。
AI シーンに適応するために、Nvidia の「魔法のように改造された」GPU は、ある程度 CPU に似てきています。CPU の優れたスケジューリング能力が計算能力を犠牲にしているのと同じように、Nvidia は自分自身を抑制する必要があります。コンピューティングコアのスタッキング。しかし、汎用性の負担を抱えてGPUをいかに変更しても、AIシナリオにおいて専用チップに匹敵することは困難です。
** Nvidia を最初に攻撃したのは Google で、Google は AI コンピューティング用に初めて大規模に GPU を購入しました。 **
2014 年に GoogLeNet でその実力を誇示した後、Google は機械認識コンテストに公には参加しなくなり、AI 専用チップの開発を共謀しました。 2016 年、Google は AlphaGo で先陣を切り、李石師に勝利した後、すぐに自社開発の AI チップ TPU を発売し、「AI のために生まれた」新しいアーキテクチャで Nvidia を驚かせました。
TPUとはTensor Processing Unitの略称で、中国語名は「テンソルプロセッシングユニット」です。 Nvidia の GPU の「魔法の改革」が東の壁を取り壊して西の壁を補うことであるとすれば、TPU はストレージと接続の需要を根本的に削減し、チップのスペースを最大限に計算に移すことになります。 . 具体的には、2 つの偉大とは次のことを意味します。
** 1 つ目は定量的なテクノロジーです。 **現代のコンピューター計算では通常、大量のメモリを消費する高精度データが使用されますが、実際には、ほとんどのニューラル ネットワーク計算では 32 ビットまたは 16 ビット浮動小数点計算に達する精度は必要ありません。この技術は基本的に 32 ビットと 16 ビットを組み合わせて数値を 8 ビットの整数に近似し、適切な精度を維持し、ストレージ要件を削減します。
2 番目はシストリック アレイで、これは行列乗算アレイであり、TPU と GPU の最も重要な違いの 1 つです。簡単に言うと、ニューラル ネットワークの演算には大量の行列演算が必要です。GPU は行列計算を段階的に複数のベクトル計算に分解することしかできません。グループが完了するたびに、メモリにアクセスして結果を保存する必要があります。すべてのベクトル計算が完了するまでこの層を処理し、各層の結果を結合して出力値を取得します。
TPUでは、数千個の演算器が直接接続されて行列乗算アレイを形成しており、演算コアとして行列演算を直接実行でき、最初にデータや関数をロードする以外は記憶装置にアクセスする必要がなく、この周波数により TPU の計算速度が大幅に向上し、エネルギー消費と物理的スペースの占有も大幅に削減されます。
Google の TPU は非常に高速で、設計、検証、量産から自社データセンターへの最終展開までわずか 15 か月しかかかりませんでした。テストの結果、CNN、LSTM、MLP、その他の AI シナリオにおける TPU のパフォーマンスと消費電力は、同時期の Nvidia の GPU を大幅に上回りました。 **すべての圧力が一度に Nvidia に与えられました。 **
大口顧客に裏で刺されるのは不快だが、NVIDIA は黙って打ち負かされるわけにはいかず、綱引きが始まった。
Google が TPU を発表してから 5 か月後、Nvidia も 16nm プロセスの Pascal アーキテクチャを導入しました。新しいアーキテクチャでは、有名な NVLink 高速双方向相互接続テクノロジが導入され、接続帯域幅が大幅に向上する一方で、TPU の量子化テクノロジを模倣し、ニューラル ネットワークの計算効率が向上します。データの精度を低下させることによって。
2017 年、Nvidia は、深層学習専用に設計された最初のアーキテクチャである Volta を発売しました。このアーキテクチャでは、4×4 乗算アレイは TPU 256×256 パルス アレイと同じですが、行列演算に特に使用される TensorCore が初めて導入されました。この比率は少し不安定ですが、これも柔軟性と汎用性の維持に基づいて行われた妥協です。
NVIDIA の幹部は顧客に対して次のように宣言しました。** 「Volta は Pascal のアップグレードではなく、まったく新しいアーキテクチャです。」**
Google も時間との戦いであり、2016 年以降、5 年間で 3 世代にわたり TPU を更新し、2017 年に TPUv2、2018 年に TPUv3、2021 年に TPUv4 をリリースし、データを Nvidia に見せつけました。 [4] : **TPU v4 は Nvidia の A100 より 1.2 ～ 1.7 倍高速でありながら、消費電力は 1.3 ～ 1.9 倍削減されます。 **
GoogleはTPUチップを外部に販売しておらず、同時にNvidiaのGPUを大量に購入し続けているため、両者間のAIチップ競争は「自由競争」ではなく「冷戦」状態にとどまっている。しかし結局のところ、Google は AI コンピューティング能力サービスを外部の世界に提供するために自社のクラウド サービス システムに TPU を導入しており、これにより Nvidia の潜在的な市場が縮小することは間違いありません。
両者が「暗闘」する一方、人工知能分野の進歩も急速に進んでいる。 2017 年、Google は革新的な Transformer モデルを提案し、その後 OpenAI は Transformer に基づいて GPT-1 を開発しました。大型モデルの軍拡競争が勃発し、AI のコンピューティング能力に対する需要が、トランスフォーマーの登場以来 2 度目の加速を迎えました。 2012 年の AlexNet。
新しいトレンドを認識した後、Nvidia は 2022 年に Hopper アーキテクチャを立ち上げ、初めてハードウェア レベルで Transformer アクセラレーション エンジンを導入し、Transformer ベースの大規模言語モデルのトレーニング時間を 9 倍に増やすことができると主張しました。 Hopper アーキテクチャに基づいて、Nvidia は「表面上で最も強力な GPU」である H100 を発売しました。
H100 は、量子化、行列計算 (Tensor Core 4.0)、Transformer アクセラレーション エンジンなどのさまざまな AI 最適化技術を導入する一方で、Nvidia の伝統的な強みが詰まった、Nvidia の究極の「ステッチ モンスター」です。 7296 CUDA コア、80 GB の HBM2 メモリ、最大 900 GB/秒の NVLink 4.0 接続テクノロジーなど。
H100 を手にして、NVIDIA は一時的に安堵のため息をつきましたが、市場には H100 より優れた量産チップはありません。
Google と Nvidia の秘密のシーソーも相互の成果です: Nvidia は Google から多くの革新的なテクノロジーを導入しており、Google の人工知能に関する最先端の研究も Nvidia の GPU の革新から十分に恩恵を受けています。は、大規模な言語モデルが「つま先立ち」で使用できるレベルまで削減されます。 OpenAIなど脚光を浴びている企業もこの2人の肩の上に立っています。
しかし、感情は感情に属し、ビジネスはビジネスに属します。 GPU をめぐる攻防戦により、業界は 1 つのことをより確信しました。**GPU は AI にとって最適なソリューションではなく、カスタマイズされた ASIC は Nvidia の独占を打ち破る可能性があります。 **亀裂は開かれており、Google だけがこの好みに従うわけではありません。
**AGI 時代には特にコンピューティングパワーが最も確実な需要となっており、食事の際には誰もが NVIDIA と同じテーブルに座りたいと考えています。 **
03、広がる亀裂
OpenAI に加えて、この AI ブームには 2 つの独創的な企業が存在します。1 つは、AI 描画会社 Midjourney であり、そのさまざまな絵画スタイルを制御する能力は、数え切れないほどの炭素ベースのアーティストを怖がらせています。 OpenAI出身の創設者であるAuthropic社の対話ロボットClaudeがChatGPTとやり取りを行いました。
**しかし、これら 2 社はどちらもスーパーコンピューティングを構築するために Nvidia GPU を購入したのではなく、Google のコンピューティング サービスを使用していました。 **
AI コンピューティング能力の爆発的な増加に対応するために、Google は 4096 個の TPU を備えたスーパーコンピューター (TPU v4 ポッド) を構築しました。チップは自社開発の光回線スイッチ (OCS) で相互接続されており、独自の LaMDA のトレーニングに使用できるだけでなく、 , MUMやPaLMなどの大規模な言語モデルは、AIスタートアップに安価で高品質なサービスを提供することもできます。
スーパー電卓を自分でDIYするテスラもいます。テスラは車載用FSDチップの発売後、2021年8月に自社のD1チップを3,000個搭載して構築したスーパーコンピューターDojo ExaPODを対外的にデモンストレーションした。その中で、D1 チップは 7nm テクノロジーを使用して TSMC によって製造されており、3,000 個の D1 チップにより、Dojo は直接的に世界で 5 番目に大きな計算能力を持つコンピューターになります。
**ただし、この 2 つの組み合わせは、Microsoft が自社開発した Athena チップがもたらす影響には匹敵しません。 **
Microsoft は Nvidia の最大の顧客の 1 つであり、独自の Azure クラウド サービスでは、少なくとも数万台の A100 および H100 ハイエンド GPU、SwiftKey、および AI を使用するその他の製品を購入しています。
注意深く計算してみると、Microsoftが支払わなければならない「NVIDIA税」は天文学的な数字であり、自社開発チップの登場はほぼ避けられない。アリがクラウドコンピューティング、データベース、ストレージに対するタオバオ天猫の将来の需要を計算し、それが天文学的な数字であることが判明したのと同じように、同社は断固としてアリババクラウドのサポートを開始し、社内で精力的な「脱IOE」キャンペーンを開始した。
** コスト削減は 1 つの側面であり、差別化を生み出す垂直統合はもう 1 つの側面です。 **携帯電話の時代では、サムスン製携帯電話の CPU (AP)、メモリ、画面は自社生産、販売されており、サムスンの Android の世界的覇権に大きく貢献しています。 GoogleとMicrosoftの中核メーカーも、自社のクラウドサービス向けにチップレベルの最適化を実施して違いを生み出している。
したがって、チップを外部に販売しないAppleやSamsungとは異なり、GoogleとMicrosoftのAIチップは外部に販売されないものの、「AIコンピューティングパワークラウドサービス」を通じてNvidiaの潜在顧客の一部を消化することになる。クラウド サービスを選択する中小企業 (特に AI アプリケーション層) が増えています。
**世界のクラウド コンピューティング市場の集中度は非常に高く、上位 5 つのメーカー (Amazon AWS、Microsoft Azure、Google Cloud、Alibaba Cloud、IBM) が 60% 以上を占め、各社が独自の AI チップを製造しています。その中で、Google は最も急速な進歩を遂げており、IBM は最も強力な準備金を持ち、Microsoft は最大の影響力を持ち、Amazon は最も優れた機密性を持ち、Ali は最も困難を抱えています。 **
国内の大手メーカーは独自のチップを開発しており、Oppo Zhekuの結末は、この分野に参入するすべてのプレーヤーに影を落とすでしょう。しかし、海外の大企業は自主研究をしており、人材や技術のサプライチェーンは資金によって構築することができ、例えばテスラがFSDに取り組む際にシリコンバレーの神様ジム・ケラーを採用したり、GoogleがTPUを開発して直接招聘したりしました。チューリング賞受賞者、RISC アーキテクチャ発明者 デイビッド パターソン教授。
AIチップのスタートアップにとって難しいのは、資金力の強い大企業の継続的な投資がなければ、Googleのように自社で生産して販売することができないことであり、技術的なルートが独自であるか、よほどのアドバンテージが強い場合を除き、基本的には存在しないことである。 Nvidia と戦った場合に勝てる可能性があり、後者のコストと環境上の利点により、顧客のすべての疑問がほぼ解消されます。
**NVIDIA に対するスタートアップの影響は限定的であり、Huang Renxun 氏の隠れた懸念は依然として不誠実な大口顧客です。 **
もちろん、大手メーカーは今でもNVIDIAと切っても切れない関係にあります。たとえば、Google の TPU は第 4 世代に更新されましたが、TPU と組み合わせてコンピューティング能力を提供するには、依然として GPU を大量に購入する必要があります。NVIDIA から 10,000 個の GPU を購入することを選択します。
しかし、黄仁訓はすでにマスクで大手メーカーのプラスチック的な友情を経験しています。 2018年、マスク氏は独自の自動車用チップを開発すると公に発表した（当時はNvidiaのDRIVE PXが使用された） 黄仁訓氏は電話会議でその場でアナリストから質問を受け、講演のために壇上から降りることができなかったその間。その後、マスク氏は「釈明」を発表したが、1年後もテスラは振り返ることなくエヌビディアを去った。 [5] 。
大工場はコスト削減に決して容赦しません。 PC 時代にはインテルのチップは B エンドに販売されていましたが、消費者には自主性の強い選択があり、メーカーは「インテル インサイド」を宣伝する必要がありましたが、コンピューティング パワー クラウド時代には、大手企業が基盤となるハードウェア情報をすべてブロックできるようになり、 100TFlops のコンピューティング能力により、消費者はどの部分が TPU から来ているか、どの部分が GPU から来ているかを見分けることができるでしょうか?
したがって、Nvidia は最終的に次の質問に直面する必要があります。**GPU は確かに AI のために生まれたものではありませんが、GPU は AI にとって最適なソリューションになるでしょうか? **
過去 17 年間にわたり、Huang Renxun は GPU を単一のゲームおよび画像処理シーンから分離し、GPU を汎用コンピューティング パワー ツールにしました。新しいシナリオでは、GPU を「魔法のように修正」し続け、「汎用性」とのバランスを見つけようとしています。 」と「特異性」。
過去 20 年間、Nvidia は業界を変える数え切れないほどの新しいテクノロジーを導入してきました。CUDA プラットフォーム、TensorCore、RT Core (レイ トレーシング)、NVLink、cuLitho プラットフォーム (コンピューティング リソグラフィー)、混合精度、Omniverse、Transformer エンジンなどです。テクノロジーのおかげで、NVIDIA は業界全体の市場価値において、二流チップ企業からナンボの手首にまで成長しましたが、これは感動的なことではありません。
しかし、一世代にはその時代のコンピューティング アーキテクチャが必要です。人工知能の開発は急速に進んでおり、技術的な進歩は数時間で測られます。PC/スマートフォンが普及したときと同じように AI を人間の生活に浸透させたいのであれば、計算能力 コストは 99% 削減する必要があるかもしれませんが、GPU が唯一の答えではないかもしれません。
**歴史は、帝国がどれほど繁栄していても、目立たない亀裂には注意しなければならない可能性があることを教えてくれます。 **
参考文献
[1] ディープ畳み込みニューラル ネットワークによる ImageNet 分類、ヒントン
[2] 機械学習のコストが急増する中、MicrosoftがAIチップを準備、その情報
[3] 文書処理用の高性能畳み込みニューラル ネットワーク
[4] Google の Cloud TPU v4 は、業界をリードする効率で exaFLOPS スケールの ML を提供します
[5] テスラのAIへの野望、外川研究所
[6] グラフィックプロセッサを使用した大規模な教師なし深層学習