AI x Crypto: ゼロからピークまで

AI業界の最近の発展は、一部の人々によって第四次産業革命と見なされています。大規模モデルの出現は、各業界の効率を著しく向上させ、アメリカでは約20％の作業効率を向上させたと推定されています。同時に、大規模モデルがもたらす一般化能力は、新しいソフトウェア設計のパラダイムと見なされ、過去の精密なコード設計は、より一般化された大規模モデルフレームワークの埋め込みに変わり、ソフトウェアはより良いパフォーマンスとより広範なモダリティのサポートを持つようになりました。深層学習技術は確かにAI業界に第四次の繁栄をもたらし、この潮流は暗号通貨業界にも影響を及ぼしています。

本報告はAI業界の発展の歴史、技術分類、そして深層学習技術が業界に与える影響について詳しく探討します。深層学習におけるGPU、クラウドコンピューティング、データソース、エッジデバイスなどの産業チェーンの上下流の発展状況とトレンドを深く分析します。本質的に暗号通貨とAI業界の関係を探討し、暗号通貨に関連するAI産業チェーンの構造を整理します。

AI業界の歴史

AI業界は20世紀50年代に始まり、人工知能のビジョンを実現するために、学術界と産業界は異なる時代や異なる学問的背景の下で、多くの人工知能を実現する流派を発展させてきました。

現代の人工知能技術は主に「機械学習」という用語を使用しており、その理念は、データに基づいてタスクを繰り返し反復し、システムのパフォーマンスを改善することにあります。主なステップは、データをアルゴリズムに送信し、そのデータを使用してモデルをトレーニングし、モデルをテストして展開し、モデルを使用して自動化された予測タスクを完了することです。

現在、機械学習には三つの主要な流派があり、それぞれが人間の神経系、思考、行動を模倣している。これらは結合主義、記号主義、行動主義である。

現在、神経ネットワークを代表とする結合主義が優位に立っており(、深層学習とも呼ばれています)。その主な理由は、このアーキテクチャには入力層と出力層があり、複数の隠れ層があるためです。層数や神経元(の数が十分に多ければ、複雑な汎用タスクに適合する十分な機会が得られます。データの入力を通じて、神経元のパラメータを絶えず調整することができ、最終的には多くのデータを経て、その神経元は最適な状態)のパラメータ(に達します。これがいわゆる「大力出奇跡」であり、「深い」という言葉の由来でもあります - 十分な層数と神経元があることです。

例えば、X=2のときY=3、X=3のときY=5である関数を構築したと理解できます。この関数がすべてのXに対応するためには、関数の次数やそのパラメータを追加し続ける必要があります。例えば、この条件を満たす関数をY = 2X -1と構築できますが、もしデータがX=2、Y=11であれば、これらの3つのデータポイントに適した関数を再構築する必要があります。GPUを使用してブルートフォース攻撃を行った結果、Y = X2 -3X +5が適切であることがわかりましたが、データと完全に一致する必要はなく、バランスを守り、大体似たような出力であれば十分です。ここでのX2およびX、X0は異なるニューロンを表し、1、-3、5はそのパラメータです。

この時、大量のデータを神経ネットワークに入力すると、ニューロンを増やしたり、パラメータを反復して新しいデータに適合させることができます。こうすることで、すべてのデータに適合させることができます。

神経ネットワークに基づく深層学習技術は、初期の神経ネットワーク、フィードフォワード神経ネットワーク、RNN、CNN、GANなど、複数の技術の反復と進化があります。最終的には、GPTなどの現代の大規模モデルで使用されるTransformer技術に進化します。Transformer技術は神経ネットワークの一つの進化方向に過ぎず、変換器)Transformer(を追加して、音声、動画、画像などのすべてのモダリティ)のデータを対応する数値にエンコードして表現します。そして、そのデータを神経ネットワークに入力することで、神経ネットワークは任意のタイプのデータをフィッティングできるようになり、つまりマルチモーダルを実現します。

! 新人科学丨AI×暗号:ゼロからピークまで

AIの発展は三つの技術の波を経てきました。最初の波は20世紀60年代で、AI技術が提唱されてから10年後のことです。この波はシンボリズム技術の発展によって引き起こされ、一般的な自然言語処理や人間とコンピュータの対話の問題を解決しました。同時期に、専門家システムが誕生しました。これは某大学が某機関の監督の下で完成させたDENRAL専門家システムであり、このシステムは非常に強力な化学知識を持ち、問題を通じて推論を行い、化学の専門家と同じような答えを生成します。この化学専門家システムは、化学知識ベースと推論システムの結合として見ることができます。

専門システムの後、1990年代にパールはベイズネットワークを提案しました。このネットワークは信念ネットワークとも呼ばれます。同時期に、ブルックスは行動に基づくロボティクスを提唱し、行動主義の誕生を示しました。

1997年、ある会社のディープブルー"Blue"がチェスのチャンピオン、カスパロフを3.5:2.5で破った。この勝利は人工知能の一つのマイルストーンと見なされ、AI技術は第二次発展の高潮を迎えた。

第三回AI技術の波は2006年に発生しました。ディープラーニングの三巨頭がディープラーニングの概念を提唱し、人工ニューラルネットワークを基盤としたデータ表現学習のアルゴリズムです。その後、ディープラーニングのアルゴリズムは徐々に進化し、RNN、GANからTransformerおよびStable Diffusionに至ります。この二つのアルゴリズムがこの第三の技術波を共に形作り、これはコネクショニズムの全盛期でもあります。

多くの象徴的な出来事は、深層学習技術の探求と進化とともに徐々に現れています。これには、

• 2011年、ある会社のシステムがある番組で人間に勝利し、優勝しました。

• 2014年、GoodfellowはGAN(生成的敵対ネットワーク)を提案し、二つの神経ネットワークが互いに競い合うことで学習し、見分けがつかない写真を生成できるようにしました。同時にGoodfellowは「Deep Learning」という書籍も執筆し、これは「花書」と呼ばれ、深層学習分野の重要な入門書の一つです。

• 2015年、Hintonらは『Nature』誌で深層学習アルゴリズムを提案し、この深層学習手法の提案は、直ちに学術界や産業界に大きな反響を引き起こした。

• 2015年、ある機関が設立され、多くの著名人が共同で10億ドルの出資を発表しました。

• 2016年、深層学習技術に基づくシステムが囲碁の世界チャンピオンであるプロ9段棋士と対戦し、4対1の総スコアで勝利した。

• 2017年、ある企業が開発した人型ロボットのソフィアは、歴史上初めて市民権を得たロボットとされ、豊かな表情と人間の言語理解能力を備えています。

※2017年、人工知能の分野で豊富な才能と技術力を持つ企業が、Transformerアルゴリズムを提案する論文「Attention is all you need」を発表し、大規模な言語モデルが登場し始めました。

• 2018年、ある機関がTransformerアルゴリズムに基づいて構築されたGPTを発表しました。これは当時最大の言語モデルの一つです。

• 2018年、あるチームが深層学習に基づくシステムを発表し、タンパク質の構造予測を行うことができ、人工知能分野の大きな進歩の象徴と見なされている。

• 2019年、ある機関がGPT-2を発表し、このモデルは15億のパラメータを持っています。

• 2020年、ある機関が開発したGPT-3は、1750億のパラメータを持ち、以前のバージョンであるGPT-2の100倍の性能を誇ります。このモデルは570GBのテキストを使用してトレーニングされ、複数のNLP(自然言語処理)タスク(において、質問応答、翻訳、記事執筆)などで最先端の性能を達成します。

• 2021年、ある機関がGPT-4を発表しました。このモデルは1.76兆のパラメータを持ち、GPT-3の10倍です。

• 2023年1月にGPT-4モデルに基づくアプリケーションがリリースされ、3月には1億ユーザーに達し、歴史上最も早く1億ユーザーに達したアプリケーションとなりました。

• 2024年、ある機関がGPT-4オムニを発表しました。

! 新参者科学人気丨AI×暗号:ゼロからピークまで

ディープラーニング産業チェーン

現在、大規模なモデルの言語は神経ネットワークに基づく深層学習方法を使用しています。GPTを筆頭とする大規模モデルは人工知能のブームを引き起こし、多くのプレイヤーがこの分野に参入しました。そのため、市場ではデータと計算能力の需要が急増していることが分かります。したがって、報告書のこの部分では、主に深層学習アルゴリズムの産業チェーンを探ります。深層学習アルゴリズムが主導するAI業界の上流と下流はどのように構成されているのか、またその現状と供給・需要の関係、さらには今後の展望について考察します。

まず、Transformer技術に基づくGPTを中心としたLLMs(大規模モデル)のトレーニングを行う際には、全体で3つのステップに分かれていることを明確にする必要があります。

トレーニングの前に、Transformerに基づいているため、コンバーターはテキスト入力を数値に変換する必要があります。このプロセスは「トークン化」と呼ばれ、その後、これらの数値はトークンと呼ばれます。一般的な経験則に従うと、英単語または文字はおおよそ1つのトークンと見なされ、各漢字はおおよそ2つのトークンと見なされます。これがGPTの料金計算に使用される基本単位でもあります。

第一ステップ、事前学習。入力層に十分なデータ対を与えることで、報告の第一部で例示した(X,Y)のように、このモデルの下で各ニューロンの最適なパラメータを探します。この時、大量のデータが必要であり、このプロセスも最も計算リソースを消費するプロセスです。なぜなら、ニューロンがさまざまなパラメータを試すために繰り返し反復する必要があるからです。一批データ対のトレーニングが完了した後、一般的には同じデータセットを使用して二次トレーニングを行い、パラメータを反復します。

第二ステップ、ファインチューニング。ファインチューニングは、少量ですが非常に質の高いデータを与えてトレーニングを行うことです。このような変更により、モデルの出力の品質が向上します。なぜなら、事前トレーニングには大量のデータが必要ですが、多くのデータには誤りや低品質なものが含まれている可能性があるからです。ファインチューニングのステップは、質の高いデータを通じてモデルの品質を向上させることができます。

第3ステップ、強化学習。まず、全く新しいモデルを構築します。これを「報酬モデル」と呼びます。このモデルの目的は非常にシンプルで、出力結果を並べ替えることです。したがって、このモデルの実装は比較的簡単です。ビジネスシーンが比較的垂直だからです。その後、このモデルを使用して、大モデルの出力が高品質であるかどうかを判断します。これにより、報酬モデルを使用して大モデルのパラメータを自動的に反復することができます。(しかし、時には人間がモデルの出力品質を評価する必要もあります。)

要するに、大規模モデルのトレーニングプロセスでは、事前学習にはデータの量に対する非常に高い要求があり、必要とされるGPU計算能力も最も多くなります。一方、ファインチューニングには、パラメータを改善するためにより高品質なデータが必要です。強化学習は、報酬モデルを通じてパラメータを反復的に更新し、より高品質な結果を出力することができます。

トレーニングの過程では、パラメータが多いほどその汎化能力の限界が高くなります。例えば、関数の例で言えば、Y = aX + bとなりますが、実際には2つのニューロンXとX0が存在します。そのため、パラメータがどのように変化しても、フィットできるデータは非常に限られています。なぜなら、その本質は依然として直線だからです。ニューロンが多ければ多いほど、より多くのパラメータを反復でき、より多くのデータにフィットできるようになります。これが大規模モデルが奇跡をもたらす理由であり、一般的に大規模モデルと呼ばれる理由でもあります。本質的には、膨大な数のニューロンとパラメータ、膨大なデータが必要であり、同時に膨大な計算能力も必要です。

したがって、大規模モデルの性能に影響を与える主な要因は、パラメータの数、データの量と質、計算能力の3つです。この3つは共同で大規模モデルの結果の質と一般化能力に影響を与えます。パラメータの数をp、データの量をn(トークン数で計算すると、一般的な経験則を用いて必要な計算量を計算することができ、これにより必要な計算能力の大まかな購入状況と訓練時間を予測できます。

計算能力は通常Flopsを基本単位として表され、これは1回の浮動小数点演算を示します。浮動小数点演算は、非整数の数値の加減乗除の総称であり、例えば2.5+3.557のようなものです。浮動小数点は小数点を持つことができることを示し、FP16は小数をサポートする精度を表し、FP32は一般的により一般的な精度です。実践における経験則によれば、事前トレーニング)Pre-traning(は通常)多くの回数(大きなモデルをトレーニングする必要があり、約6np Flopsが必要です。6は業界の定数と呼ばれています。そして推論)Inferenceとは、私たちがデータを入力し、大きなモデルの出力を待つプロセス(であり、これは2つの部分に分けられます。n個のトークンを入力し、n個のトークンを出力すると、合計で約2np Flopsが必要です。

初期は、CPUチップを使用してトレーニングを行い計算力を提供していましたが、その後、次第にGPUに置き換えられるようになりました。例えば、ある会社のA100やH100チップなどです。CPUは汎用計算として存在しますが、GPUは専用の計算として機能し、エネルギー効率においてCPUを大きく上回ります。GPUは浮動小数点演算を主にTensor Coreと呼ばれるモジュールを通じて実行します。