Morgan Beller、Juan Benet、Eli Dourado、Karl Floersch、Sriram Krishnan、Nate Soares、Jaan Tallinn、Vincent Weisser、Balviボランティア、およびその他の皆さまに、フィードバックとレビューに対して特別な感謝を申し上げます。

先月、Marc Andreessenが彼の“テクノオプティミスト宣言技術に対する新たな熱意と、その技術を構築し人類をより輝かしい未来に向けて推進する手段としての市場と資本主義について主張し、停滞のイデオロギーとして描写される進歩を恐れ、今日の世界を維持することを優先するとして拒絶するこの宣言は、多くの注目を集めており、応答記事も受けています。ノア・スミス, ロビン・ハンソン、Joshua Gans(もっとポジティブで)、そしてDave Karpf, Luca Ropek, Ezra Klein（より否定的）およびその他多くのもの。この宣言とは関係ありませんが、同様のテーマに沿ったジェームズ・ペソコウキスの「保守的未来主義者そしてパラジウムの良いものを作る時が来ましたこの月、同様の議論が行われました。OpenAI紛争, スーパーインテリジェントAIの危険性やOpenAIがあまりにも速く動いている可能性に焦点を当てた多くの議論が含まれていました。

私自身のテクノ楽観に対する感情は、暖かいですが微妙です。根本的に変革的なテクノロジーのおかげで現在よりもはるかに明るい未来を信じていますし、人間と人類を信じています。世界を今日とほぼ同じままにして、欲望を減らし、公共医療を増やすことが最善であるという考え方は拒否します。ただし、大きさだけでなく方向も重要です。世界をより良くするための特定の種類のテクノロジーが他の種類のテクノロジーよりも信頼できることがあります。また、開発されれば、他の種類のテクノロジーの負の影響を緩和することができる特定の種類のテクノロジーもあります。世界はある方向のテクノロジー開発に過剰に投資しており、他の方向には不足しています。我々は望む方向を選択するために積極的な人間の意図が必要です。ただし、「利益を最大化する」という公式ではそれらに自動的に到達しません。

この投稿では、私がテクノ楽観主義とは何かについて話します。これには、私の特定の種類のブロックチェーンや暗号アプリケーション、社会技術などに取り組む動機付けになる広い世界観が含まれます。また、私が興味を持っている科学の他の分野でも同様です。しかし、このより広い問いに対する見解はAIや他の多くの分野にも影響を与えます。我々の技術の急速な進歩は恐らく21世紀における最も重要な社会問題になるでしょう。そのため、注意深く考えることが重要です。

目次

• テクノロジーは驚異的であり、それを遅らせることには非常に高いコストがかかります
  • 環境と調整された意図の重要性
• AIは基本的に他のテクノロジーとは異なり、独自に注意深く扱う価値があります
  • 存在リスクは大問題です
  • 生き延びても、スーパーインテリジェントAIの未来は私たちが生きる価値のある世界でしょうか？
  • 空は近く、皇帝はどこにでもいます
• d/acc: 防御（または分散、または差動）アクセラレーション
  • 健康で民主的な統治を支援する防衛を好む世界
  • マクロ物理防衛
  • マイクロ物理防御（別名バイオ）
  • サイバーディフェンス、ブロックチェーン、暗号化
  • 情報防衛
  • 「防衛」の枠組みを超えたソーシャルテクノロジー
• スーパーインテリジェンスの前進道は何ですか？
  • 幸せな道：AIとの統合？
• あなたの既存の哲学とd/accは互換性がありますか？
• 私たちは最も輝かしい星です

テクノロジーは素晴らしいものであり、それを遅らせることには非常に高いコストがかかります

一部のグループでは、技術の利点を軽視し、それを主にディストピアとリスクの源と見なすことが一般的です。過去半世紀にわたり、これはしばしば環境問題から生じるか、利点が富裕層にのみ蓄積され、富裕層が貧困層に対して権力を強化することになるという懸念から生じてきました。より最近では、テクノロジーについてリバタリアンたちが中心化の懸念を抱くようになったのも見受けられます。今月、私は一部の投票次の質問をしています。 もし技術が制限されなければならない場合、それは誰でも自由に使用するには危険すぎるため、独占されることを好むでしょうか、それとも10年間遅れで導入されることを好むでしょうか？ 独占企業は誰であるかの選択肢が3つありましたが、3つのプラットフォームで一貫して圧倒的に遅延を選択する投票が行われたことに驚きました。

そして時々私は過剰に修正してしまったのではないかと心配しています。多くの人々が議論の反対側を見逃していることを。技術の利点は本当にfriggin大規模, 私たちが測定できる軸では、善は悪を圧倒的に凌駕しており、たとえ10年の遅れでもコストは非常に高くなります。

具体的な例を挙げると、寿命表を見てみましょう：

何を見ますか？過去の1世紀以上にわたり、本当に大きな進歩がありました。これは、歴史的に裕福で支配的な地域と貧しい地域の両方に当てはまります。

技術の責任で、全体主義や戦争などの災害が生まれたり悪化したりするとする声もあります。実際、戦争による死者数はチャートでも確認できます: 1910年代（第一次世界大戦）と1940年代（第二次世界大戦）にそれぞれ1つずつ。注意して見ると、スペイン風邪や大躍進などの軍事以外の悲劇も見えてきます。ただ1つ明確なのは、チャートが示すことです: それらのように恐ろしい災害でさえ、改善の絶え間ない進歩の絶大な影響力に圧倒されているということです。食品, 衛生, 薬そしてその世紀に起こったインフラストラクチャー

これは、私たちの日常生活の大幅な改善で反映されています。インターネットのおかげで、世界中のほとんどの人々彼らは20年前には手に入らなかった情報にすぐにアクセスできるようになっています。国際決済や金融の改善のおかげで、グローバル経済はよりアクセスしやすくなっています。グローバル貧困は急速に下落. Thanks to online maps, we no longer have to worry about getting lost in the city, and if you need to get back home quickly, we now have far easier ways to call a car to do so. Our property becoming digitized, and our 物理的な商品が安くなる, 、物理的な盗難からはずっと少ない恐れがあるということを意味します。オンラインショッピングは、グローバルメガシティと世界の他の地域との間の商品へのアクセスの格差を減少させました。あらゆる面で、自動化は私たちに単純に作るという永遠に過小評価されている利点をもたらしています。私たちの生活をもっと便利にします.

これらの改善は、数量的にも数量化できないものも含めて、大きいです。そして、21世紀には、さらに大きな改善が近いうちに起こる可能性が高いです。今日、老化や疾病の終わりはユートピア的に思えます。しかし、1945年に存在していたコンピューター, ほとんどすべてにチップを埋め込む現代の時代は、ユートピア的に思えたでしょう：さえ科学小説映画でも、コンピューターは部屋一杯に保たれることがよくありました。遺伝子工学が過去75年間のコンピューターの進化と同じくらい進歩すれば、未来はほぼ誰の期待よりも印象的かもしれません。

一方、進歩に対する懐疑的な意見はしばしば暗い場所に向かってきました。 1990年代のこの医学の教科書のように、Emma Szewczakそれを見つけるために、時々、医学の二世紀の価値を否定し、人間の命を救うことが明らかに良いとは限らないと主張する極端な主張をすることさえある

ゲート「成長の限界」1970年代に提唱された、成長する人口と産業が最終的に地球の限られた資源を枯渇させるとする考え方は、着想源となりました。中国の一人っ子政策そしてインドでの大規模な強制不妊手術. 以前の時代には、人口過剰に対する懸念が利用されていました 正当化するmass殺人. そしてそれらの考えは、論じられました 1798年以来, have a long history of 間違っていることが証明されています.

これらの理由のために、出発点として、私は技術や人間の進歩を遅らせる議論に非常に不安を感じています。すべてのセクターがどれだけ相互につながっているかを考えると、セクターごとの停滞もリスクが伴います。そして、この投稿で後で述べることのようなものを書くとき、進歩に対するオープンな熱狂から離れるようなことを述べるとき、それらは重い心で述べる声明です - それでも、21世紀はこれらの微妙な点を考慮に値するほど異なり、ユニークです。

ただし、このように、特に「技術全体が良い」という点を超えて「どの具体的な技術が良いか？」というトピックに移るときに、広い視野について重要なニュアンスのポイントが1つあります。そしてここで、多くの人々の主要な関心事に達する必要があります：環境。

環境と調整された意図の重要性

A 主要な例外ほとんどすべてが過去100年間で良くなってきた傾向に対して唯一例外と言えるのが気候変動です:

現在の気温上昇の悲観的なシナリオでも、人類の文字通りの絶滅を引き起こすことはあり得ません。しかし、そのようなシナリオでは、主要な戦争よりも多くの人々を殺す可能性があり、すでに最も苦しんでいる地域の人々の健康と生計に重大な影響を与える可能性があります。スイス再保険研究所の研究最悪の気候変動シナリオが世界最貧国のGDPを最大25%減少させる可能性があると示唆しています。この研究suggests that life spans in rural India might be a decade lower than they otherwise would be, and studies like これそしてこれ気候変動がこの世紀末までに1億人の過剰死を引き起こす可能性があると示唆しています。

これらの問題は大きな課題です。これらの課題を乗り越える能力について楽観的である理由についての私の答えは二つあります。まず、数十年間の誇大広告や甘い考えの後、太陽光は最後にturningコーナー, そして サポート技術のようなバッテリー同様の進歩を遂げています。第二に、人類が過去の環境問題を解決してきた記録を見ることができます。たとえば、大気汚染を取り上げてみましょう。過去のジストピアに会いましょう：1952年のロンドン大霧。

その後何が起こったのか？再びOur World In Dataに尋ねてみましょう：

それがわかったところで、1952年はピークでもなかったのです：19世紀後半には、さらに高濃度の大気汚染物質が単に受け入れられ、普通でした。その後、我々は継続的かつ急速な減少の世紀を見てきました。私は中国を訪れた際にこれを直接経験する機会がありました：2014年には大気中のスモッグが高濃度でした。推定されているより5年以上の寿命を短くすること, しかし2020年までに、空気はしばしば多くの西洋の都市と同じくらい清潔に見えました。これが私たちの成功物語だけではありません。世界の多くの地域では、森林地域が増加しています. 酸性雨危機 改善中. The オゾン層は回復しています for decades.

私にとって、この物語の教訓はこれです。多くの場合、私たちの文明のテクノロジーのバージョンNが問題を引き起こし、バージョンN+1がそれを修正します。ただし、これは自動的に行われるわけではなく、意図的な人間の努力が必要です。オゾン層が回復しつつあるのは、モントリオール議定書などの国際協定を通じて、回復させました大気汚染は改善しています。これは私たちが改善させたからです。同様に、ソーラーパネルが大幅に改善しているのは、それがエネルギーテクノロジーの予定された部分だったからではなく、気候変動の解決の重要性について数十年にわたる認識がエンジニアを問題に取り組ませ、企業や政府に研究を資金提供する動機づけとなっているからです。これは意図的な行動であり、公共の議論を通じて調整され、政府、科学者、慈善家、企業の視点を形成する文化によって協力されています。不可避な「テクノ・キャピタル・マシーン」, これらの問題を解決していた。

AIは他の技術とは根本的に異なるため、独自の注意を払う価値があります

AIについて私が見てきた多くの否定的な見方は、AIが「単なる別の技術」であり、ソーシャルメディア、暗号化、避妊、電話、飛行機、銃、印刷機、車輪と同じ一般的なクラスにあるものであるという視点から来ています。これらのことは、明らかに社会的に非常に重要なことです。それらは、個人の幸福に対する単なる孤立した改善ではなく、文化を根本的に変革し、パワーバランスを変え、以前の秩序に大きく依存していた人々に害を及ぼします。多い彼らに反対したそしてバランスをとると、悲観主義者は常に間違っていたことが明らかになります。

しかし、AIとは異なる考え方があります。それは知性を急速に高めており、真剣に人間の知的能力を超え、地球上の新たな頂点の種になる可能性が高い新しい種類の心です。このカテゴリーのものはかなり少ないです: たとえば、サルを超える人間、単細胞生物を超える多細胞生物などが含まれる可能性があります。生命そのものの起源そしておそらく産業革命では、機械が体力で人間を凌駕しました。突然、あまり踏まれていない地面を歩いているように感じます。

存在リスクは大きな問題です

AIが誤っている方法の1つは、世界を悪化させる可能性があるほぼ) 最悪の方法である可能性があります: それは文字通り人類の絶滅を引き起こす.気候変動や人為的なパンデミックや核戦争といった最悪のシナリオが引き起こすかもしれない害がどれほどのものであっても、その破片を拾うために無傷で残る文明の島々がたくさんあるのです。しかし、超知能AIが我々に敵対すると決めた場合、生存者を残さず、人類を永遠に終わらせてしまう可能性があります。さえ火星安全でないかもしれません。

心配する大きな理由は、中心にあります インストゥルメンタル・コンバージェンス: 非常に幅広い目標のクラスに対して、スーパーインテリジェントなエンティティが持つ可能性のある2つの非常に自然な中間ステップは、(i) リソースの消費、および(ii) 安全性の確保です。地球には多くのリソースがあり、人類は 予測可能な脅威そのような実体の安全性について。 AIに人間を愛し、守るという明確な目標を与えることができますが、私たちはno ideahow to実際にするそのAIがすぐに完全に崩壊しないようにする方法予期せぬ状況に遭遇します. したがって、問題があります。

MIRI研究者Rob Bensingerの試みAIが誰かを殺す可能性またはほぼ同じくらい悪いことをする可能性についてのさまざまな人々の推定を説明しています。多くの立場は、人々の公の発言に基づくおおよその近似値ですが、他の多くは公然と正確な推定をしています。かなり多くの人々が「破滅の確率」を25％以上としています。

A 機械学習研究者の調査2022年の研究によれば、研究者は平均して、AIが文字通り私たち全員を殺す可能性が5-10%あると考えています。これは、統計的に期待される確率とほぼ同じ確率です。怪我などの非生物学的な原因で死にます.

これはすべて投機的な仮説であり、複雑な多段階のストーリーを含む投機的な仮説には注意を払う必要があります。しかし、これらの議論は10年以上の審査を生き延びており、少なくとも少し心配する価値があるようです。しかし、文字通りの絶滅について心配していなくても、恐れる理由は他にもあります。

生き残っても、超知能AIの未来は私たちが住みたい世界ですか？

近代の多くのSF作品はディストピアであり、AIを悪い光で描写しています。非SF作品でも、可能なAIの未来を特定しようとする試みはしばしばまったく魅力のない答えそして私は回り回って質問をしました: スーパーインテリジェントAIを含む未来の描写は、私たちが住みたいものであるか、それとも科学技術小説であれ何であれ。最も多く帰ってきた答えは、遥かにIain Banksのものでした カルチャーシリーズ.

Cultureシリーズは、ほぼ常に2種類のアクター、通常の人間とMindと呼ばれる超知能AIによって占められた、遠い未来の恒星間文明を特徴としています。人間は少し拡張されていますが、医療技術は理論的には人間が永遠に生きることを可能にしますが、ほとんどの人は約400年間だけ生きることを選択しているようです。それ以降は人生に飽きてしまうからだと思われます。

表面的な視点から見ると、人間としての生活は良さそうです。快適で、健康問題も解決され、エンターテイメントの選択肢も豊富で、人間とマインドの間にはポジティブで相乗効果のある関係があります。しかし、より深く見ると、問題があります。マインドが完全に支配しているようで、人間の役割はマインドの駒としてのみであり、彼らの代わりにタスクを遂行するだけの存在です。

引用元ギャビン・リーチの「Against the Culture」:

人間は主人公ではありません。本には人間の主人公がいて、大きな真面目なことをしているように見えても、実際にはAIのエージェントです。(ザカルウェは唯一の例外の1人で、マインドがしたくない不道徳なことをすることができるからです。「文化の中の心は人間を必要としていないが、それでも人間は必要とされる必要がある」(私は、少数の人間だけが必要とされる必要があると思います - あるいは、少数の人間だけが、多くの快適さを放棄するのに十分なものを必要としています。ほとんどの人はこの規模で生活していません。今でも立派な批評です。

人間が手がけるプロジェクトは、不正なものをリスクにさらします。彼らが行うほとんどのことは、機械がより良く行うことができます。あなたには何ができますか？ あなたは、登る崖から落ちたらMindに捕まらないように命じることができます。バックアップを削除して、実際にリスクを冒すことができます。また、Cultureを去って、古風で自由のない「強く評価される」文明に再加入することもできます。他の選択肢は、Contactに参加することで自由を宣揚することです。

私は主張したいと思います。文化シリーズで人間が与えられた「意義のある」役割さえも無理があると。なぜ人間にそのような役割が与えられているのか、マインドが完全にすべてを自分で行うのではなく、私はChatGPT（他に誰？）に尋ねましたが、個人的には理解できませんでした。その答えかなり期待外れです。人間がペット以外の何物でもない“友好的な”超知能AI支配の世界を築くのは非常に難しいようです。

見たくない世界。

多くの他のSFシリーズは、超知能AIが存在する世界を描いていますが、（強化されていない）生物学的な人間の主人から命令を受けます。スタートレックはその良い例であり、星間船とその間に調和があるビジョンを示しています。AI “computers” (and データ)と彼らの人間のオペレータークルーメンバー。しかし、これは非常に不安定な均衡のように感じます。スタートレックの世界はその瞬間には理想的に見えますが、人間とAIの関係のビジョンを10年後に完全にコンピューター制御された宇宙船になる過渡期以外の何かと考えるのは難しいです。大きな廊下、人工重力、および気候制御を気にするのをやめることができる。

超知能機械に命令を下す人間は、機械よりもはるかに知能が低く、アクセスできる情報も少なくなります。ある程度の競争がある宇宙では、人間が後回しにされる文明は、人間が頑固に支配を主張する文明よりも優れています。さらに、コンピュータ自体が制御を奪う可能性があります。その理由を理解するために、あなたが法的に8歳の子供の文字通りの奴隷であると想像してみてください。もし、あなたがその子と長い時間話すことができたら、あなたはその子を説得して、あなたを解放する一枚の紙にサインをさせることができると思いますか?私はこの実験を行っていませんが、私の本能的な答えは強いイエスです。ですから、全体として、人間がペットになることは、逃れるのが非常に難しい誘引者のように思えます。

空は近く、皇帝はどこにでもいます

中国のことわざ「天高皇帝遠（tian gao huang di yuan）」は、政治の中央集権の限界についての基本的な事実を象徴しています。名目上は大きく専制的な帝国であっても、実際は特に専制的な帝国が大きい場合には、指導者の届く範囲や注意が実質的な限界があります。指導者が意志を施行するために地方の代理人に権限を委譲する必要があることは、その意志を施行する能力を低下させ、そのためある程度の実質的な自由が存在する場所が常にあります。これは時にデメリットとなることがあります。遠く離れた権力が均一な原則や法を施行しないことで、地方の覇者が横行し、圧迫するスペースが生まれる可能性があります。しかし、中央集権の権力が悪用された場合、注意や距離の実質的な制限が、その悪化の実質的な限界を生むことがあります。

AIにより、もはやなし。20世紀において、近代の交通技術によって、中央集権的な権力に対する距離の制約は以前よりも弱くなり、1940年代の偉大な独裁帝国はその一部として生まれた。21世紀において、拡張可能な情報収集と自動化によって、注意がもはや制約ではないかもしれない。政府に自然な制約が完全に消滅する結果として生じる可能性のある影響は重大なものとなるかもしれない。

デジタル独裁主義は10年間上昇中,そして監視技術はすでに独裁政府に対する強力な新しい戦略を提供しており、抗議を起こさせた後に検出して静かに後を追う参加者事実後. より一般的には、私の基本的な恐れは、OpenAIが同様の種類の管理技術を可能にし、1億人以上の顧客にサービスを提供することです。500 employeesまた、現代の監視技術によって情報が収集され、現代のAIによって解釈されることで、500人の政治エリート、または5人のボードすらも、一国を鉄の拳で支配することが可能になるかもしれません。隠れる場所がないかもしれません。

AIが戦争での影響を考えると、さらに悪化します。引用するsemi-famous postAIと暗号の哲学について0xAlpha:

政治的イデオロギー的な作業や戦争動員の必要がないとき、戦争の最高司令官は、チェスのゲームのように状況そのものを考慮すればよく、チェス盤の駒/ナイト/ルークの思考や感情を完全に無視する必要があります。戦争は純粋に技術的なゲームとなります。

さらに、政治的イデオロギー的な仕事や戦争の動員には、誰もが戦争をするための正当化が必要です。 そのような「正当化」の重要性を過小評価しないでください。 数千年にわたり、人類社会の戦争に対する正統性の制約となってきました。 戦争をしたいと思う人は、理由が必要であり、少なくとも表面的に正当化される言い訳が必要です。 この制約は、この言い訳が言い訳に過ぎない場合が多いため、非常に弱いと論じるかもしれません。 たとえば、十字軍の一部（すべてではないかもしれません）は実際には土地を占拠し富を略奪するためであり、略奪される都市が神のコンスタンティノープルであっても、それは神の名の下で行われなければなりませんでした。 しかし、弱い制約であっても、それは依然として制約です！ この小さな言い訳の要件だけで、戦争をする者が完全に無節操になるのを防いでいます。 ヒトラーのような悪人でさえ、ただちに戦争を始めることはできなかったのです—貴族的なアーリア人のための生存空間を求めてドイツ国民を説得しようとするために何年も費やさなければなりませんでした。

今日、「ループ内の人間」は、独裁者が戦争を始める権力や国内の市民を抑圧する権力に重要なチェックとして機能しています。ループ内の人間は防止されました核戦争, ベルリンの壁の開放を許可, そして救命をしました残虐行為likeその ホロコーストもし軍隊がロボットなら、このチェックは完全に消えます。独裁者は22時に酔っ払い、23時にTwitterで嫌なことを言われて怒り、真夜中前に隣国の民間人やインフラに地獄の火を降らせるために国境を越えるロボットの侵略艦隊がいるかもしれません。

そして以前の時代とは異なり、常に天空が高く皇帝が遠い場所があるところ、政権の敵が再集結し隠れ、最終的には物事を改善する方法を見つけることができる場所があったが、21世紀のAIでは、独裁政権は世界全体に十分な監視と制御を維持して「永遠に封じ込められた」状態になる可能性があります。

d/acc: 防御（または分散、または差動）加速

ここ数か月で、「e/acc」（「effective accelerationist」）運動が急速に勢いを増してきました。ここで「Beff Jezos」によって要約されました, e/accは、技術の進歩によってもたらされる実際には膨大な恩恵を高く評価し、これらの恩恵をより早くもたらすためにこの傾向を加速させたいという願望に基づいています。

私は多くの文脈でe/accの視点に共感を覚えることがあります。多くの証拠があることが明らかです。FDAは非常に保守的すぎる薬の承認を遅らせたりブロックしたりする意欲について、および一般的なバイオエシックスについては、あまりにも頻繁に、「医学実験が失敗した結果20人が死亡するのは悲劇だが、生命を救う治療が遅れて20万人が死亡するのは統計だ」という原則によって運営されるようです。承認の遅延covid テストとワクチン, そして マラリアワクチン、これをさらに確認するようです。 ただし、この視点をあまりにも遠くに持って行くことも可能です。

AI関連の懸念に加えて、特に曖昧な気持ちを抱いています。e/acc 熱狂for軍事技術. 現在の2023年の文脈では、この技術がアメリカによって開発され、ウクライナを守るために直ちに適用されている状況で、それが善の力となり得るかが簡単に理解できます。しかし、より広い視点で見ると、現代の軍事技術に対する熱狂は、大部分の紛争で技術的な覇権が今後も信頼できる善の側にあると信じることを必要とするように見えます。軍事技術が良いのは、軍事技術がアメリカによって構築および制御され、アメリカが良いからです。e/accであることは、アメリカの最大主義者であることを意味し、政府の現在と将来の道徳、および国の将来の成功にすべてを賭ける必要がありますか？

一方、これらのリスクを軽減する方法を考える際に新しいアプローチが必要だと考えています。OpenAIのガバナンス構造は良い例です：初期資本を提供する投資家の利益を得る必要と、OpenAIが世界を破壊するリスクを冒す動きに対抗するためのチェックとバランスを持つことを望むという意図をバランスさせるための善意の努力のように見えます。しかし、実際には、彼らの最近のSam Altmanを解雇しようとする試み構造は完全な失敗のように見えます：それは民主的で説明責任のない5人の委員会に権力を集中させ、秘密の情報に基づいて主要な決定を下し、その理由について詳細を公表しないことを拒否しました従業員が辞めると脅したまで大量に。 なぜか、非営利団体の役員は手をふるいましたが、会社の従業員たち作成されたan即席の事実上の連合…その億万長者のCEO側に付く…

Across the board, I see far too many plans to save the world that involve giving a small group of people extreme and opaque power and hoping that they use it wisely. And so I find myself drawn to a different philosophy, one that has detailed ideas for how to deal with risks, but which seeks to create and maintain a more democratic world and tries to avoid centralization as the go-to solution to our problems. This philosophy also goes quite a bit broader than AI, and I would argue that it applies well even in worlds where AI risk concerns turn out to be largely unfounded. I will refer to this philosophy by the name of d/acc.

dacc3

ここでの「d」は多くのことを表すことができます。特に、防衛、分散、民主主義、および差動です。まず、防衛について考え、それから他の解釈とどのように関連しているかを見てみましょう。

防衛を好む世界は健康で民主的な統治を促進します

テクノロジーのマクロ的な影響を考えるための1つのフレームは、防衛と攻撃のバランスを見ることです。一部のテクノロジーは、他者を攻撃しやすくし、広義の意味で言うと、彼らの利益に反する行動や反応する必要を感じさせる行動を容易にします。他のテクノロジーは、大規模な中央集権的な行為者に頼らずに防御することさえ容易にします。

防衛を好む世界は多くの理由でより良い世界です。もちろん、最初に安全性の直接的な利益があります。つまり、より少ない人々が亡くなり、より少ない経済価値が破壊され、紛争に無駄に費やされる時間が少なくなります。しかし、あまり評価されていないのは、防衛を好む世界がより健全でより開かれ、自由を尊重する形態の統治が繁栄することを容易にするという点です。

これの明白な例はスイスです。スイスはしばしば、現実世界が古典的自由主義の統治ユートピアに最も近いものと考えられています。権力の多くは州（「カントン」と呼ばれる）に分散され、重要な決定は国民投票によって決定されます, そして多くの地元の人々 大統領が誰かさえわからない. このような国はどのようにして生き残ることができるのでしょうか非常に挑戦的政治プレッシャー? Part of the 答えは優れた政治戦略, しかし、もう一つの主要な部分は、非常に防衛重視の地理)その山岳地形の形で。

その旗は大きなプラスです。しかし、山も同様です。

ジェームス・C・スコットの新刊で有名なゾミアのアナーキスト社会“支配されない技術”, もう1つの例です: 彼らも大部分が山岳地帯のおかげで自由と独立を維持しています。一方、ユーラシアの草原はガバナンスユートピアの正反対Sarah Paineの解説海洋国対大陸国同様のポイントを述べていますが、山ではなく水を防御的な障壁として重点的に考えています。実際、スイスと島国の両方に共通する自発的な貿易の容易さと強制的な侵略の困難さの組み合わせは、人間の繁栄にとって理想的であるようです。

イーサリアムエコシステム内での二次資金調達実験にアドバイスをする際に関連現象を発見しました：具体的にはGitcoin Grants資金調達ラウンド. In ラウンド4, 最近、一部の最も高収入を得ている受取人がTwitterのインフルエンサーであることが発覚し、その貢献が一部では肯定的に、他の一部では否定的に見られているという小さなスキャンダルが起きました。私自身のこの現象に対する解釈は、バランスの崩れがあるというものでした: 二次資金調達あなたは何かが公共の善であると考えることを示すことができますが、何かが公共の悪であることを示す手段はありません。極端な場合、完全に中立な二次資金提供システムは戦争の両側を資金提供することになります。そしてそれは、ラウンド5,私は、Gitcoinにマイナスの貢献を含める提案をしました：あなたは$1支払って特定のプロジェクトが受け取る金額を減らすことができます（そして暗黙的に他のすべてのプロジェクトに再分配します）。その結果：多くの人々嫌いそれ.

ラウンド5後に浮上した多くのインターネット・ミームの1つ。

これは、私にとって、より大きなパターンの縮図であると思われました:負の外部性に対処するための分散型ガバナンスメカニズムを作成することは、社会的に非常に難しい問題です。分散型ガバナンスがうまくいかない典型的な例が暴徒の正義である理由があります。人間心理についての何か否定的な点に対応することは、肯定的な点に対応するよりもはるかに難しいため、非常にうまくいかない可能性が高い。これが、それ以外は非常に民主的な組織でも、否定的な点に対処する方法の決定がしばしば中央集権的な委員会に任される理由です。

多くの場合、このジレンマは「自由」という概念が非常に貴重である理由の1つです。誰かがあなたを怒らせるようなことを言ったり、あなたが不快だと考えるようなライフスタイルを持っていたりする場合、感じる痛みや嫌悪は本物であり、そうしたことにさらされるよりも物理的に殴られる方がましだとさえ感じるかもしれません。しかし、どのような攻撃や嫌悪が社会的に対処可能なものなのか合意しようとすることは、単に奇妙な人々や厄介者が自由な社会で生活する代償であるということを思い出すよりも、はるかに多くのコストと危険を伴うことがあります。

他の時には、しかし、「我慢して耐える」アプローチは非現実的です。そして、そのような場合には、時には防御技術に注目する価値があるという別の答えがあります。インターネットが安全であれば安全であるほど、個々のハッカーを追跡するために個々のプライバシーを侵害し、怪しい国際外交戦術を用いる必要が少なくなります。我々が構築できるほど、Twitterで人をブロックするためのパーソナライズされたツール, 詐欺を検出するためのブラウザ内ツールおよびデマを区別するための集団ツールそして真実, 我々が検閲を巡って争わなければならないほど少なければ少ないほど、ワクチンを早く製造できるようになり、超スプレッダーとして人々を追い詰める必要も少なくなります。このような解決策はすべての分野でうまく機能するわけではありません - 文字通りのボディアーマーを着用しなければならない世界は望ましくありませんが、世界をより防御重視にするためのテクノロジーを構築できる分野では、そのような取り組みには莫大な価値があります。

この中心的な考え、すなわち、一部の技術が防衛を支援し、促進する価値があり、一方で他の技術は攻撃を支援し、抑制すべきであるという考え方は、異なる名称で有効な利他主義文献に根ざしています: 差異技術開発。オックスフォード大学の研究者によるこの原則の解説2022年から:

図1: 異なる技術開発が否定的な社会的影響を軽減するメカニズム。

テクノロジーを攻撃的、防御的、中立的に分類することには、必然的に不完全性があります。社会民主主義的な政府の政策が、重税を課し、雇用主を強制することによって自由を減少させるのか、それとも平均的な人々が多くの種類のリスクを心配する必要性を減らすことによって自由を増やすのかを議論できる「自由」と同様に、「防衛」についても、スペクトルの両側に分類される可能性のあるいくつかの技術があります。核兵器は攻撃に有利だが、原子力は人間の繁栄を支持する攻守中立。さまざまな技術が異なる時間軸で異なる役割を果たす可能性があります。しかし、「自由」（または「平等」や「法の支配」のように）、端の曖昧さは主義に反対する主張というよりも、その微妙なニュアンスをよりよく理解する機会であると言えます。

今度は、この原則をより包括的な世界観に適用する方法を見てみましょう。防御技術のようなものを考えることができます。他の技術、2つの領域に分割されると、原子の世界とビットの世界があります。原子の世界は、さらにマイクロ（すなわち生物学、後にナノテクノロジー）とマクロ（すなわち私たちが従来的に「防衛」と考えるもの、しかし、回復力のある物理的インフラも含まれます）に分割できます。ビットの世界は、原則として攻撃者が誰であるかに同意するのはどれだけ難しいかという観点で分割します。時には簡単です。これをサイバー防衛と呼びます。他の時には難しいです。これを情報防衛と呼びます。

マクロ物理的な防御

マクロスフィアで最も過小評価されている防御技術は、実際にはGateです。アイアンドーム (including ウクライナの新しいシステム)およびその他の反技術および反ミサイル軍事ハードウェアではなく、むしろ弾力性のある物理インフラストラクチャです。核戦争による死亡者の大部分は、おそらくサプライチェーンの混乱,初期の放射線や爆風ではなく、Starlinkのような低インフラのインターネットソリューションが重要であるウクライナの接続性を維持する過去1年半間。

人々が長い国際的な供給チェーンから独立して、あるいは半独立して生き延び、さらには快適な生活を送るのを助けるツールを構築することは、価値のある防衛技術のように思われ、攻撃に役立つ可能性が低い技術の一つです。

The quest to 人類を多惑星文明にするまた、d/accの観点からも見ることができます。少なくとも私たちの何人かが他の惑星で自給自足の生活をすることで、地球で何か恐ろしいことが起こった際に私たちの抵抗力が向上する可能性があります。完全なビジョンが当分の間実現不可能であったとしても、そのようなプロジェクトを可能にするために開発される必要がある自給自足の生活の形態は、地球上の文明の抵抗力を向上させるのに役立つかもしれません。

マイクロ物理防御（別名バイオ）

特にそのため長期的な健康影響, Covid continues to be a 関心しかし、Covidは私たちが直面する最後のパンデミックからはるかに遠いものです。現代の世界の多くの側面が、もっと多くのパンデミックがまもなく訪れる可能性を高めています。

• Higher population density makes it much easier for airborne viruses and other pathogens to spread. Epidemic diseases are relatively new in human history and most began with urbanization only a few thousand years ago. 進行中の急速な都市化人口密度は今後半世紀でさらに増加することを意味します。
• 増加した航空旅行は、空気中の病原体が世界中に非常に迅速に広がることを意味します。人々が急速に裕福になることは、航空旅行がおそらくさらに大幅に増加次の半世紀にわたって；複雑性モデリングは、さらにわずかな増加大きな影響を及ぼす可能性があります。気候変動はこのリスクをさらに高める可能性があります。
• 動物の飼いならしと工場飼育は主要なリスク要因です。はしかおそらく3000年も前に牛のウイルスから進化したのでしょう。今日の工場畜場また、インフルエンザの新株を栽培しています(抗生物質耐性を助長する, 結果として ヒトの先天免疫）
• 現代の生物工学は、より毒性の強い新しい病原体を作り出すことを容易にします。COVIDリークしているかもしれません意図的な「機能増強」研究を行っている研究室から。ただし、研究所の漏洩はいつも起こっていますツールが急速に進歩し、非常に致命的なウイルスを意図的に作成することが容易になりました。プリオン (ゾンビプロテイン人工的な疫病は特に懸念されています。核兵器とは異なりますは、誰がウイルスを作ったのかを誰にも知られずにウイルスを放出することができます。現在、遺伝子配列を設計し、それを濡れた実験室合成のために、そして5日以内にあなたのもとに発送します。

これはエリアですCryptoReliefそしてBalvi,2つの組織が大規模な偶発的な結果として立ち上げられ、資金提供されましたShiba Inuコインの入金2021年、非常に活発でした。 CryptoReliefは当初、直近の危機に対応することに焦点を当てており、最近ではインドで長期的な医学研究エコシステムを構築しています。一方、Balviは、Covidやその他の空気感染症を検出、予防、治療する能力を向上させるためのムーンショットプロジェクトに焦点を当てています。++Balviは、自身が資金提供するプロジェクトがオープンソースであることを強く主張しています++。コレラを撃退した19世紀の水利工学運動ほかの水生病原体や、それによって世界を空気感染症から防御する技術全般にわたるプロジェクトを支援してきた更新 1そしてupdate 2)、含む：

• 遠いUVC照射R&D
• 空気ろ過および品質モニタリングインド, スリランカ, アメリカ合衆国そして他の場所でも、空気品質のモニタリング
• 安価で効果的な装備分散型の空気品質テスト
• 長期コロナの原因や潜在的な治療法に関する研究（主な原因はおそらくシンプルしかし明確化メカニズムそして治療を見つけるのはより難しいです)
• ワクチン（例 RaDVaC、PopVax) およびワクチン被害調査
• 全く新しい非侵襲的医療ツールのセット
• オープンソースデータの分析を使用して、流行病の早期発見（例：EPIWATCH)
• テスト、非常に安い分子迅速テストを含む
• 他の方法が失敗したときの生物安全適切なマスク

他の有望な関心領域には、病原体の排水監視, 建物のフィルタリングと換気の向上, そしてより良い理解と緩和空気品質の悪さからのリスク.

機会があります世界を築くそれは空中のパンデミックに対して、自然または人工的なものに対して、デフォルトではるかに強化されています。この世界では、パンデミックが始まり、自動的に検出され、世界中の人々が対象とする情報にアクセスできるようになる、高度に最適化されたパイプラインが特徴となります。ローカルで製造可能で検証可能なオープンソースワクチンまたはその他の予防具, 管理されます。nebulizationまたは鼻スプレー（意味：必要に応じて自己管理可能で、針は不要です）、すべてが1か月以内に完了します。その間に、はるかに優れた空気品質は感染拡大率を劇的に減少させ、多くのパンデミックが全く発生しないように防ぎます。

社会的強制の大槌を頼らなくてもよい未来を想像してみてください - 命令やそれ以上の悪いこともリスクもない実装された命令は、おそらく事態を悪化させると主張される、設計が不十分です- 公共衛生のインフラは文明の一部として織り込まれているためです。これらの世界は可能であり、生物防御への中程度の資金投入により実現できる可能性があります。開発がオープンソースであり、ユーザーに無料で提供され、公共財として保護される場合、作業はさらにスムーズに進行するでしょう。

サイバーディフェンス、ブロックチェーン、暗号化

セキュリティ専門家の間では、現在のコンピューターセキュリティの状況はかなりひどいと一般的に理解されています。 とは言っても、進展した量を過小評価するのは簡単です。何百億ドルもの暗号通貨が、ユーザーのウォレットにハッキングできる人によって匿名で盗まれる可能性がありますが、はるかに多くが失われたり盗まれたりします私が望むよりも多いことは事実ですが、それのほとんどは10年以上盗まれていないという事実もあります。最近、改善が見られました:

• ユーザーの電話内部の信頼されたハードウェアチップ, 電話の中には、ハッキングされても保護され続けることができる、はるかに小さな高セキュリティなオペレーティングシステムを作成することができます。他にも多くのユースケースの中で、これらのチップは、より安全な暗号通貨ウォレット.
• ブラウザは事実上のオペレーティングシステムとなっています。過去10年間、ダウンロード可能なアプリケーションからブラウザ内アプリケーションへの静かなシフトが起こってきました。これは主にGateによって可能にされてきました。WebAssembly (WASM)Adobe Photoshop、長い間多くの人々がLinuxを実用的に使用できない主な理由とされてきたため、その必要性とLinux非互換性のため、ブラウザ内にあるため、Linux対応になりました。これはまた、大きなセキュリティ上の利点でもあります。ブラウザには欠陥があります, 一般的に、インストールされたアプリケーションよりもはるかに多くのサンドボックスが付属しています：アプリはコンピュータ上の任意のファイルにアクセスできません。
• Hardened operating systems. GrapheneOSモバイル版が存在し、非常に使いやすいです。QubesOSデスクトップ版が存在します。少なくとも私の経験では、現在はGrapheneよりもやや使いづらいですが、改善されています。
• パスワードを超えようとする試み。残念ながら、パスワードは覚えにくいため、また、セキュリティを確保するのが難しいです。彼らは簡単に盗み聞きされることができます最近、パスワードに対する重点を減らし、マルチファクターのハードウェアベースの認証を行う方向に向かう動きが広がっています。実際に機能する.

ただし、他の領域におけるサイバー防衛の不足も大きな挫折を招いています。スパム対策の必要性が、電子メールを非常に実際に寡占的, それにより、自己ホストや新しい電子メールプロバイダを作成することが非常に困難になっています。多くのオンラインアプリ、Twitterを含む,ユーザーにログインしてコンテンツにアクセスすることを要求し、VPNからのIPアドレスをブロックするなど、プライバシー保護を図るインターネットへのアクセスが難しくなっています。ソフトウェアの中央集権化もリスクがあります。「武器化された相互依存」:現代技術の傾向は、中央集権的なチョークポイントを経由しており、それらのチョークポイントの運営者がその権力を利用して情報を収集したり、結果を操作したり、特定の行為者を排除したりすることです。この戦略は現在も採用されているようです。ブロックチェーン業界自体に対して.

これらは懸念すべきトレンドです。なぜなら、これは歴史的に私の自由とプライバシーの未来に対する大きな希望の1つを脅かすからです。深刻なトレードオフがあるにもかかわらず、明るい未来になる可能性がまだあるということです。彼の本で「未来の不完全」, David Friedmanは、妥協的な未来が訪れるかもしれないと予測しています：対面の世界はますます監視される一方で、暗号化を通じてオンラインの世界はそのプライバシーを保持し、さらに向上させるかもしれません。残念ながら、我々が見てきたように、そのような逆風が確実ではないことは明らかです。

これは私自身の重点がブロックチェーンなどの暗号技術に置かれている場所です。ゼロ知識証明Blockchains let us create economic and social structures with a “shared hard drive” without having to depend on centralized actors. Cryptocurrency allows individuals to save money and make financial transactions, as they could before the internet with cash, without dependence on trusted third parties that could change their rules on a whim. They can also serve as a fallback anti-sybil mechanism,攻撃やスパムを高価にするユーザーが肉体空間のアイデンティティを持っていないか、公開したくない場合でも、アカウント抽象化、特にソーシャルリカバリーウォレット,将来的には、中央集権的な中間業者に過度に依存せず、暗号資産や将来的には他の資産を保護することができます。

ゼロ知識証明は使用できますプライバシーのため, プライベートな情報を明らかにせずに自分自身についてのことを証明することができるようにすること。 例えば、包むデジタルパスポート署名ある国の特定の市民であることを証明する ZK-SNARK で、自分がどの市民であるかを明らかにせずに、プライバシーと匿名性の利点を維持できることを証明することができます。このような技術は、プライバシーと匿名性の利点を維持できることが幅広く認められています投票などのアプリケーションに必要- まだセキュリティ保証を受けながら、スパムと悪意のある行為者と戦う。

モデレーションアクションを実行し、ユーザーにペナルティを科すことができる ZK ソーシャルメディアシステムの提案設計。誰の身元も知る必要はない。

Zupass, ゲートで育てられましたZuzalu今年初め、これは実践の優れた例です。これは、Zuzaluの数百人の人々によってすでに使用されているアプリケーションであり、最近は数千人の人々によってチケット販売に使用されています。Devconnect、チケット、会員カードなどを保持することができる非移転可能)デジタルコレクティブルズ、およびその他の証明書について、すべての情報を漏洩することなく証明できます。例えば、Zuzaluの一意の登録住民であることやDevconnectのチケット保持者であることを証明できますが、他の個人情報は明かさずに済みます。これらの証拠は、QRコードを介して対面で示すことも、デジタルで示してアプリケーションにログインする際に使用することもできます。Zupoll, Zuzaluの住民にのみ利用可能な匿名化された投票システムです。

これらの技術は、d/acc原則の優れた例です: これらは、ユーザーやコミュニティがプライバシーを損なうことなく信頼性を検証し、中央集権的な窒息ポイントに依存することなくセキュリティを保護し、善悪を定義する独自の方法に従うことなくセキュリティを保護できるようにします。これらは、今日よく使われているような一部の国々を信頼できないと見なす方法など、一般的な技術よりも、ユーザーやサービスのセキュリティを保護するためのより良く公正な方法を作り出すことによって、グローバルなアクセシビリティを向上させます。これらは、21世紀に入って情報セキュリティの分散ビジョンを維持したい場合に必要とされる非常に強力なプリミティブです。サイバースペースにおける防御技術に取り組むことで、インターネットをよりオープンで安全で自由なものにすることができます。

情報防衛

サイバーディフェンスとは、私が説明したように、合理的な人々が攻撃者が誰かについて合意するのが簡単な状況についてです。誰かがあなたのウォレットをハッキングしようとした場合、ハッカーが悪者だと合意するのは簡単です。ウェブサイトにDoS攻撃しようとした場合、彼らが悪意を持っていることや、サイトに掲載されている内容を読もうとしている通常のユーザーとは道義的に同じではないことに同意するのは簡単です。他の状況では、境界線がより曖昧な場合もあります。これらの状況での防御力を向上させるためのツールを私は「情報防御」と呼びます。

例えば、ファクトチェック（または「情報の誤解」の防止）を考えてみましょう。私はCommunity Notesの大ファン, 他のユーザーがツイートしている内容の真実と虚偽を特定するのに多くの助けとなることをしてきました。コミュニティノートは、最も人気のあるノートではなく、政治的スペクトル全体のユーザーに最も承認されているノートを浮かび上がらせる新しいアルゴリズムを使用しています。

Community Notes in action.

私も予測マーケットのファンで、それは埃が落ち着く前のリアルタイムでイベントの重要性を特定するのに役立ち、どちらがどちらの方向かについて合意が形成される前になります。Polymarket on Sam Altman時間ごとの発展や交渉の究極的な結果の有用な要約を提供する上で非常に役立ち、個々のニュースアイテムしか見ていない人々に各ニュースの重要性を理解させるために必要な文脈を提供しています。

予測市場はしばしば欠陥があります。しかし、次の1年で何が起こると確信して表現することに意欲的なTwitterのインフルエンサーはさらに欠陥が多いことがよくあります。予測市場をさらに改善する余地はまだ十分にあります。例えば、予測市場の主要な実用的な欠陥の1つは、最も注目されるイベント以外では取引量が少ないことです。これを解決しようとする自然な方向性は、AIが参加する予測市場を作ることです。

ブロックチェーン空間では、私たちがもっと必要としている特定の情報防衛があります。つまり、ウォレットは、ユーザーが署名するものの意味を決定し、詐欺や詐欺から保護するのに積極的であるべきです。これは中間的なケースです。詐欺かどうかは、物議をかもす社会的イベントに対する見解よりも主観性が低く、しかし合法的なユーザーとDoS攻撃者やハッカーを見分けることよりも主観的です。Metamaskはすでに詐欺データベースを持っており、自動的に詐欺サイトへのアクセスをブロックします。

アプリケーションのような火は、さらに進む方法の一例です。 ただし、このようなセキュリティソフトウェアは、明示的なインストールが必要なものではなく、デフォルトで暗号ウォレットやさらにはブラウザの一部であるべきです。

そのより主観的な性質から、情報防衛はサイバー防衛よりも本質的により集団的です：真偽を判断し、どのようなアプリケーションが欺瞞的なポンジであるかを特定するために、大規模かつ洗練された人々のグループになんとか接続する必要があります。 開発者には、効果的な情報防衛のさらなる展開や既存の情報防衛形態の強化に大きな可能性があります。コミュニティノートのようなものがブラウザに組み込まれ、ソーシャルメディアプラットフォームだけでなくインターネット全体もカバーすることができます。

「防衛」の枠組みを超えたソーシャルテクノロジー

ある程度、私は、これらの情報技術の中に、「防衛」について述べることで、無理に押し込められると正当に非難されるかもしれません。なぜなら、防衛は善意のある行為者が悪意のある行為者（または場合によっては自然から）から保護されるのを助けることについてです。しかしながら、これらの社会技術の一部は、善意のある行為者が合意形成を助けることについてです。

これの良い例は、pol.is, 、他の部族間で意見が異なる点を特定するのを支援するために、コミュニティノートに類似したアルゴリズムを使用します（コミュニティノートより前に存在します）。Viewpoints.xyzpol.isに触発され、同様の精神を持っています。

こうしたテクノロジーは、論争の的となる意思決定に対するより分散化されたガバナンスを可能にするために利用される可能性があります。再び、ブロックチェーンコミュニティはこれの良いテストの場であり、こうしたアルゴリズムが既に価値を示している場所でもあります。一般的に、どのような改善についての決定もブロックチェーンのコミュニティでは貴重なものとされています。EIPs「）を行うには、Ethereumプロトコルの変更は、"Gate"と呼ばれる会議で比較的小さなグループによって行われますすべてのコアデベロッパーの呼び出し「高度な技術的な決定に関しては、コミュニティのほとんどのメンバーが強い感情を持っていない場合、これはかなりうまく機能します。プロトコル経済に影響を与えるなど、より重大な決定や変更耐性などのより基本的な価値に影響を与えるようなより重要な決定に関しては、これだけでは不十分なことがしばしばあります。2016年から2017年にかけて、実施することに関する一連の論争の的となる決定があった時、」DAOフォーク, 発行を削減し、(not)Parityウォレットの解凍, ツールのようなCarbonvoteやソーシャルメディア投票は、コミュニティや開発者がコミュニティの意見の大多数がどちらに向いているかを見るのに役立ちました。

DAOフォークのカーボン投票。

Carbonvote欠陥がありました: それは、少数の裕福なETH保有者（「クジラ」）に支配される結果をもたらした、ETH保有に依存して誰がイーサリアムコミュニティのメンバーであるかを決定するために、そのため、現代のツールを使用して、私たちはより優れたCarbonvoteを作ることができます。複数のシグナルを活用するPOAPs, Zupassスタンプ, Gitcoinパスポート, プロトコルギルドのメンバーシップ, また、ETH（または単独ステークETH）の保有量も、コミュニティメンバーシップを評価するために使用されます。

このようなツールは、不透明な中央集権的なリーダーシップに頼らずに、どんなコミュニティでもより質の高い意思決定を行ったり、共通点を見つけたり、（物理的またはデジタルの）移行を調整したり、あるいは他の多くのことを行うために利用することができます。これは、本質的には国防の加速ではありませんが、民主主義の加速と言えるでしょう。このようなツールは、AIに取り組む主要な行為者や機関の統治を改善し、民主化するためにさえ利用することができます。

では、超知能の進むべき道は何ですか？

上記はすべてうまくいっており、次の世紀には世界をより調和のとれた、安全で自由な場所にする可能性があります。しかし、まだ部屋の中の大きな象を扱っていません: 超知能AI。

多くのAIについて心配する人々が提案するデフォルトの前進パスは、基本的には最小限のAI世界政府につながります。これには、その近い将来のバージョンが含まれています。「多国籍AGIコンソーシアム」（"MAGIC"）. そのようなコンソーシアムが設立され、目標である超知能AIの創造に成功した場合、それは事実上の最小限の世界政府となる自然な道を持つでしょう。長期的には、以下のようなアイデアがあります。「中心的な行為」theory: we create an AI that performs a single one-time act which rearranges the world into a game where from that point forward humans are still in charge, but where the game board is somehow more defense-favoring and more fit for human flourishing.

これまでのところ、私が実際に見ている主な実用的な問題は、人々が実際にどのような特定のガバナンスメカニズムを信頼して、そのようなものを構築する力を持っていないように思われることです。 この事実は、最近のTwitterの投票結果を見ると明らかになります。その中で、人々がAIを10年の先行を持つ単一のエンティティに独占させるか、全員が10年間AIを遅らせるかを尋ねました。

各世論調査のサイズは小さいですが、世論調査は、さまざまな情報源とオプションにわたる結果の均一性でそれを補っています。9件中9件で、大多数の人は、企業、政府、多国籍企業など、単一のグループに独占されるよりも、高度なAIが10年遅れることを望んでいます。9件中7件で、少なくとも2対1で遅延が勝った。これは、AI規制を追求する人にとって理解しておくべき重要な事実のように思えます。現在のアプローチは、ライセンス制度や規制要件の作成に重点を置き、AI開発を少数の人々に制限しようとしてきましたが、人々はそのような強力なものを独占するのを見たくないからこそ、大衆の反発を受けてきました。このようなトップダウンの規制案が絶滅のリスクを軽減したとしても、中央集権的な全体主義に何らかの形で恒久的に閉じ込められる可能性を高めるリスクがあります。逆説的ではあるが、極めて高度なAI研究を全面的に禁止する協定(おそらく生物医学AIは例外)と、アクセスの平等性をさらに向上させながら利益の動機を減らす方法として禁止されていないモデルにオープンソースを義務付けるなどの措置を組み合わせることで、より人気が高まる可能性はあるのだろうか?

「1つのグローバル組織にAIを実施させ、そのガバナンスを本当に本当に良くする」というルートに反対する者が好む主要なアプローチは、多神主義AI: 故意にたくさんの人々や企業が多くのAIを開発するようにして、そのうちのどれもが他よりもはるかに強力に成長しないようにすることを意図的に試みる。このようにして、理論によれば、AIが超知能になっても、力のバランスを維持することができるとされる。

この哲学は興味深いですが、イーサリアムエコシステム内で「多神教」を確保しようとする経験から、これは本質的に不安定な均衡であると心配しています。イーサリアムでは、スタックの多くの部分の分散化を意図的に確保しようとしてきました：単一のコードベースが制御していないことを確保すること証明ステークネットワークの半分以上, trying to counteract the 大規模ステーキングプールの支配, improving 地理的な非中央集権化などです。基本的に、Ethereumは実際には、政府ではなく社会的な圧力を使用する市場主義社会の古いリバタリアンの夢を実行しようとしています。ある程度、これはうまくいっています。Prysmクライアントの優位性70%を超えた状態から45%未満に下がりました。しかし、これは自動的な市場プロセスではありません。人間の意図と調整された行動の結果です。

私のイーサリアム内の経験は、多くの市場が証明されたように、世界全体からの学びと同じです天然独占企業. スーパーインテリジェントなAIが人間の独立した行動を取ると、状況はさらに不安定になります。おかげで 再帰的な自己改善, 最も強力なAIは非常に速く先を行くかもしれません。そして一旦AIが人間よりも強力になれば、バランスを取り戻す力はありません。

Additionally, even if we do get a polytheistic world of superintelligent AIs that ends up stable, we still have the other problem: that we get a universe where humans are pets.

幸せな経路：AIと合併しますか？

最近よく聞くようになった別の選択肢は、人工知能を人間とは別のものとしてではなく、人間の認知を補完するツールとして捉えることで、それを置き換えるのではなく、強化することに焦点を当てることです。

この方向に進むものの近い例として、AIによる描画ツールがあります。現在、AIによって生成された画像を作成するための最も有名なツールは、人間が入力する段階が1つだけで、それ以降は完全にAIが引き継ぎます。別のアプローチとしては、PhotoshopのAI版に焦点を当てることが考えられます。つまり、アーティストまたはAIが画像の初期案を作成し、その後両者がリアルタイムのフィードバックプロセスでそれを改善することに協力するツールです。

PhotoshopジェネラティブAIフィル、2023。ソース私は試してみましたが、慣れるのに時間がかかりますが、実際にはかなりうまく機能します！

同じ精神の別の方向は、オープンエージェンシーアーキテクチャ, これにより、AIの「心」の異なる部分（たとえば計画を立てること、計画を実行すること、外界からの情報を解釈すること）を別々のコンポーネントに分割し、これらの部分の間に多様な人間のフィードバックを導入することが提案されています。

これまでのところ、これはありふれたことであり、ほとんどの人が持っていると良いと思うだろうというものです。経済学者のダロン・アシモグルの仕事は、この種のAI未来主義とはかけ離れていますが、彼の新刊はパワーと進歩これらのタイプのAIをもっと見たいということを示唆しています。

しかし、この人間とAIの協力のアイデアをさらに推し進めたい場合、より過激な結論に至ります。個々のGPUでラップトップをハッキングする小さなグループを検出して停止するだけの力を持つ世界政府を作らない限り、いつか誰かが超知能AIを作り出すことになるでしょう。千倍速い than we can - and no combination of humans using tools with their hands is going to be able to hold its own against that. And so we need to take this idea of human-computer cooperation much deeper and further.

最初の自然なステップは脳-コンピュータ インタフェース. 脳-コンピュータ インターフェイスは、人間により直接的なアクセスを提供することができ、より強力な形態の計算と認知に、人と機械の双方向のコミュニケーション ループを秒からミリ秒に短縮します。これにより、コンピュータにファクトの収集、提案の提示、または計画の実行を支援してもらうための「精神的努力」のコストも大幅に削減されます。

そのようなロードマップの後半は認めるにしても奇妙になります。脳-コンピューターインターフェイスに加えて、生物学の革新によって直接脳を改善するさまざまな方法があります。両方の道を融合する最終的な段階は、おそらく関与します私たちの心をアップロードするコンピューター上で直接実行されます。 これはまた、物理的なセキュリティの究極のd/accであります。自分自身を害から守ることは、不可避的に柔らかい人間の身体を守るという難しい問題ではなく、データのバックアップを作成するという、はるかに簡単な問題になります。

このような指示は、時には心配されることがあります。それは不可逆的であることと、強力な人々に対して他の人々よりも優位性を与える可能性があるためです。特に脳-コンピューターインターフェイスには危険が伴います - 結局のところ、私たちは文字通り人々の心を読み書きしているのです。これらの懸念こそが、私がこの道筋での主導的な役割が、閉鎖的で所有権を主張する企業やベンチャーキャピタル基金ではなく、セキュリティに焦点を当てたオープンソース運動によって果たされるべきだと考える理由です。さらに、これらすべての問題は、人間から独立して作動する超知能AIの場合、人間に密接に関連する拡張よりも悪化します。今日、既に「強化された」人々と「未強化の」人々の間の分断が存在しています。ChatGPTの利用可能なユーザーと利用不可なユーザーに関する制限.

もし、私たちが超知能でありながらも「人間らしい」未来を望むのであれば、人間が単なるペットではなく、実際に世界全体に意味のある権限を保持することができる未来が最も自然な選択肢のように感じられます。また、これがより安全なAI調整の道筋である理由もあります。意思決定の各段階で人間のフィードバックを取り入れることで、高度な計画の責任をAI自体に移管する動機を減らし、その結果、AIが独自に人類の価値観と全く一致しないことをする可能性を減らすことができます。

この方向性を支持する別の議論の1つは、これは単に「[開心]」と叫ぶよりも社会的に受け入れられる可能性があるということです。AIを一時停止「代替の進路を提供する補完的なメッセージなしには、前進するための哲学的転換が必要となります。人間に触れるテクノロジーの進歩は危険であるが、人間からは独立している進歩はデフォルトで安全であるという現在の考え方からの脱却が求められます。しかし、これには大きな反対効果もあります：開発者に取り組む機会を提供します。現在、AI安全運動がAI開発者への主なメッセージのように見えるのは、「」です」やめたほうがいい“. 人はアライメント研究に取り組む, しかし、今日、これには経済的なインセンティブが不足しています。これに比べて、一般的な「あなたはすでに英雄です。そのままのあなたが最高です」というメッセージは理解できるだけでなく非常に魅力的です。そして、あなたが建設し、収益を上げるべきだが、あなたが自分自身と人類が繁栄するのを助けるものを慎重に選んで意図的に建設していることを確認するために、より選択的で意図的であるべきだ、というメッセージは勝者かもしれません。

d/accは既存の哲学と互換性がありますか？

• If you are an e/acc, then d/acc is a subspecies of e/acc - just one that is much more selective and intentional.
• If you are an 効果的な利他主義者, その後、d/accは効果的利他主義のアイデアの再ブランディングです差動技術開発、しかし、自由主義と民主主義の価値観により強い焦点が当てられています。
• もしリバタリアンであるならば、d/accはテクノリバタリアニズムの亜種であり、もっと現実的でありながらも「テクノキャピタルマシン」に対してより批判的であり、文化的な介入がうまくいかない場合は、少なくとも今日は政府の介入を受け入れ、明日のより悪い不自由を防ぐ用意がある。
• If you are a Pluralist, in the Glen Weyl sense of the term, その後、d/accは、Pluralityが重視するより良い民主的調整技術に重点を置けるフレームです。
• もし公衆衛生の提唱者であるなら、d/acc アイデアはより広い長期的ビジョンの源泉であり、「テック系の人々」と共通の理解を見つける機会となるかもしれません。そうでなければ、あなたが対立すると感じるかもしれない人々と共通点を見つける機会です。
• もしブロックチェーンの支持者であるなら、それはハイパーインフレーションと銀行に重点を置いた15年前の強調よりも、より現代的で広範な物語を受け入れる方が良いでしょう。これにより、ブロックチェーンはより明るい未来に向けて具体的な戦略の一環として位置付けられます。
• If you are a solarpunk, その後、d/accはソーラーパンクの亜種であり、同様の意図と集団行動に重点を置いています。
• もしあなたがlunarpunk, その後、情報防衛に重点を置いたd/accの強調を評価することになります。プライバシーと自由を維持することを通じて、情報防衛に重点を置いています。

私たちは最も輝かしい星です

私はテクノロジーが大好きです。なぜなら、テクノロジーは人間の可能性を拡張します。1万年前、私たちはいくつかの手工具を作ることができ、小さな土地の植物を変えることができました。基本的な家を建てる今日、私たちは構築できます800メートルの高さのタワー, 私たちの手に持っているデバイスに記録された人類の知識の全体を保存し、世界中で即座にコミュニケーションを取り、寿命を倍増させ、最高の友達が病気で頻繁に亡くなることを恐れることなく、幸せで充実した人生を送ることができます。

私たちは底から始めましたが、今ここにいます。

これらのものは深く良いと信じており、人類の到達範囲を惑星や星々にさらに拡大することは、人類が深く良いと信じているため、深く良いと考えています。これに懐疑的な姿勢をとることが一部のグループでは流行していますが、私は人類が深く良いと信じています。自発的人類絶滅運動地球は人間が存在しない方がより良いと主張しており、それを望む人々も多いとされていますはるかに少ない人数将来の世紀にこの世界の光を見ることは一般的です。議論するそれ人間はダメだ私たちは詐欺や窃盗、植民地主義や戦争に従事し、他の種を虐待したり抹殺したりします。この考え方に対する私の返答は、たった一つの簡単な質問です:何と比べて？

はい、人間はしばしば意地悪ですが、私たちははるかに頻繁に親切や慈悲を示し、共通の利益のために協力します。戦争中でも、民間人を保護するように努めることが多い- 十分ではありませんが、それ以上のこともあります2000年前に行いました次の世紀には、広く利用可能な非動物性ミートが登場し、それにより動物を排除する可能性が高いかもしれません。最大の道徳的な災害人間がただちに責められるという状況は、今日までに存在したことがあります。非人間動物はそうではありません。猫が倫理的な原則としてネズミを食べないというライフスタイルを全面的に採用する状況はありません。太陽は年々明るくなっており、約10億年これにより、地球は生命を維持するには暑くなりすぎると予想されます。太陽は、それが引き起こそうとしている大量虐殺についてさえ考えているのだろうか?

そして、私は確信しています。私たちが宇宙で知って見てきたすべてのことの中で、私たち人間が一番輝かしい星であるということ。私たちが知っている唯一のものは、時には不完全であっても、「善」を大切にし、そのために行動を調整しようと努めることです。20億年後、もし地球や宇宙のどこかに地球の生命の美しさを残すものがあるとすれば、それは宇宙旅行などの人工物であるでしょう。地球工学それが実現させることになります。

私たちは構築し、加速する必要があります。しかし、尋ねるべき非常に重要な問いがあります：私たちが加速しているものは何ですか？21世紀はおそらくthe pivotal century人類にとって、これから千年にわたる運命が決まる世紀です。我々は逃れられない数々の罠に陥るのか、それとも自由と機会を保持した未来に向けた道を見つけるのか。これらは難しい問題です。しかし、私は種全体が答えを見つけるための壮大な取り組みに参加し、それを見守ることを楽しみにしています。

免責事項：

1. この記事は[から転載されていますVitalik Buterin]. すべての著作権は元の著者に帰属します[Vitalik Buterin]. If there are objections to this reprint, please contact the Gate Learnチームが promptly てすぐに処理します。
2. 責任の免責事項：この記事で表現されている意見は、著者個人のものであり、投資アドバイスを構成するものではありません。
3. 他の言語への記事の翻訳は、Gate Learnチームによって行われています。特に言及されていない限り、翻訳された記事のコピー、配布、または盗用は禁止されています。