AnthropicのCEOであるDario Amodeiが2024年に発表した楽観的なエッセイ「Machines of Loving Grace」から一転、2025年には「技術の思春期」と題する悲観的な警告を発表した。強力なAIの到来は1〜2年以内と予測され、それは「データセンターに存在する天才の国」に例えられる。本エッセイでは自律性リスク、破壊的悪用、権力掌握、経済的混乱、予測不可能な二次的影響という5つの主要リスクカテゴリーを詳細に分析する。特に注目すべきは、AIが人間のあらゆる認知作業を上回る能力を持つ時、雇用の大規模な喪失と富の極端な集中が避けられないという指摘である。Amodeiは技術の進歩を止めることは不可能であり、人類が直面するのは誰がそれを形成し、どのような価値観を組み込むかという調整問題であると結論づける。これは希望と警告が交錯する、AI開発の最前線からの率直な告白である。
AIの未来に対する視点の転換
Dario Amodeiという名前を初めて耳にしたのは、おそらく「Machines of Loving Grace」との関連だったでしょう。これは彼が2024年に執筆した有名なエッセイで、AIの未来についてかなり楽観的な、ほとんどバラ色とも言える見方を示していました。そして今、彼は再び新しいエッセイを発表しましたが、今回はAIが向かう可能性のある方向性について、非常に悲観的な視点を提示しています。
彼はこれを「技術の思春期」と呼び、強力なAIのリスクに立ち向かい、それを克服することについて論じています。私が本当に印象的だったのは、彼が列挙したリスクだけではありません。わずか1年で彼のトーンがどれほど変化したかということです。特にこれらのシステムを積極的に構築している人物からの発言としては、非常に注目に値します。
これは非常に長いエッセイで、彼がAnthropicのCEOとしての仕事から休暇を取っている間に執筆したものだそうです。私は全文を読みましたので、皆さんが読む必要はありません。この動画では、最も重要な部分を強調し、彼が実際に伝えようとしている主要なアイデアを捉えようと思います。完全なエッセイは下のリンクに貼っておきますので、一緒に読み進めたい方や自分で見てみたい方はチェックしてみてください。それでは始めましょう。
Contact:技術的思春期の比喩
さて、舞台設定として、彼はCarl Saganの小説「Contact」の映画版のシーンを引用しています。主人公である天文学者が、異星文明からの最初の電波信号を検知し、人類の代表として異星人と会う役割の候補者として検討されているシーンです。彼女に投げかけられた質問の一つは、「もし異星人に一つだけ質問できるとしたら、何を尋ねますか?」というものでした。
彼女の答えはこうです。「私は彼らに尋ねます。どうやってそれを成し遂げたのですか? どうやって進化したのですか? どうやってこの技術的思春期を自らを破壊することなく生き延びたのですか?」
Darioが今日のAIと共に存在する人類について考えるとき、彼の心に何度も戻ってくるのがこのシーンなのです。彼はこう書いています。「私たちは、激動的で不可避な通過儀礼に入りつつあると信じています。それは種としての私たちが何者であるかを試すものです。人類はほとんど想像できないほどの力を手にしようとしています。そして、私たちの社会的、政治的、技術的システムがそれを行使するだけの成熟度を持っているかどうかは、非常に不明確です。」
これが彼がこのエッセイに取り組む際の心理的な出発点です。しかし、本題に入る前に、彼は一時停止して、そもそもAIリスクについてどのように語るべきかについての考え方を示しています。
しかしその前に、今日のスポンサーであるSciSpaceからのメッセージです。私は最近SciSpaceをいじっているのですが、彼らがSciSpaceエージェントにいくつかのアップデートを提供し、それと共に全く新しいBiomedエージェントを追加したからです。
この新しいBiomedエージェントは基本的に研究のためのAI共同科学者を持っているようなものです。このような複雑な質問をすることができ、包括的で正確な科学的図解を出力してくれます。
しかし、私が最も使っている新しいSciSpace機能は、新しいライブラリ検索エージェントです。以前SciSpaceを使ったことがある方はご存知でしょうが、様々な論文のPDFをアップロードして分析できるライブラリセクションがあります。私は機械学習の論文をいくつか追加しました。
そして素晴らしいのは、エージェントに戻って、推論中にこれらの論文を活用するように依頼できることです。例えば、「Transformer architectureとは何ですか? ライブラリのPDFを参照して説明してもらえますか?」と言えば、まさにそれを実行してくれます。
もう一つの素晴らしい新機能はZotero統合です。ここに小さな矢印があり、接続されたアプリのリストが表示されます。現時点ではZoteroしか接続できませんが、近いうちにOneDrive、Notion、Slack、さらにはGitHubも接続できるようになります。
これは以前の機能と同様の方法で動作し、プロンプトを入力して、応答する前にZoteroアカウントのコンテンツを参照するようエージェントに依頼するだけです。そしてまた、まさにそれを実行してくれます。
そして今、完全な文献レビューのような、より包括的なクエリやプロンプトについては、SciSpaceは構造化された研究レポートを生成するレポート作成サブエージェントを自動的に立ち上げることができます。これは「その分野を要約して」というタイプのプロンプトに最適です。
最後に、小さいながらも過小評価されている機能として、ノートブックへの保存があります。出力を引用付きのMDファイルとしてノートブックに直接保存できるので、チャット履歴の中で最良のものを失うことがありません。
ですから、学生、研究者、あるいは正直なところ論文を多く扱う人なら、SciSpaceをチェックすることを絶対にお勧めします。説明欄のリンクとコードACJAN40を使えば年間40%オフ、コードACJAN20を使えば月間20%オフになります。すべてのリンクとコードは下にありますので、このビデオをスポンサーしてくれたSciSpaceに改めて感謝します。
それでは、エッセイに戻りましょう。
AIリスクについて語るための3つの原則
AIリスクについて考える際、彼は3つのことについて非常に明確です。
第一に、ドゥーマリズムを避けること。破滅が避けられないという考えだけでなく、2023年から2024年にかけてオンラインでAIリスクが語られたより派手で、ほとんど宗教的な方法のことです。彼は、そのセンセーショナリズムの多くが実際には裏目に出て、分極化を生み出し、真剣な議論を容易にするどころか困難にしたと主張しています。
第二に、不確実性を認めること。彼は、これらのどれも石に刻まれた予測ではないことを非常に明確にしています。AIは予想ほど速く進歩しないかもしれません。彼が心配しているリスクは現実化しないかもしれませんし、本当の危険は彼がここで概説しているものとは全く異なるものに見えるかもしれません。
しかし彼の見解では、不確実性は何もしない理由ではありません。実際には慎重に計画する理由なのです。
そして第三に、可能な限り外科的に介入すること。彼はAI企業による自主的行動を支持しており、政府の規制は最終的には必要になると考えていますが、それは非常に的を絞った、証拠に基づいた方法でのみです。彼の懸念は、鈍重で過度に攻撃的な規制が実際の損害を引き起こしたり、反発を引き起こしたり、設計が不十分であれば状況を悪化させる可能性があるということです。
これらはすべてかなり合理的に聞こえます。そしてこれらが、エッセイの残りの部分が構築される核となる前提です。
「強力なAI」の定義
そして今、その基礎が築かれたので、DarioはAIリスクについて語るのに最適な場所は、実際にどのレベルのAIについて議論しているのかを非常に正確にすることから始めると言っています。
彼は今日のチャットボットや、それらのわずかに改良されたバージョンについて話しているのではありません。彼が「強力なAI」と呼ぶもの、つまり「Machines of Loving Grace」で説明したのと同じものについて話しています。
簡単に言えば、これはほとんどの分野でノーベル賞レベルの人間よりも賢いAIシステムです。数学、生物学、工学、プログラミング、執筆など、一つのことだけでなく、広範囲にわたってです。
それは単に会話するだけのものでもありません。人間が持つのと同じデジタルツールすべてにアクセスできます。インターネット、コードエディタ、マウスとキーボードの制御、ビデオ、オーディオなどです。そしてそれらのインターフェースを通じて世界で実際に行動を起こすことができます。
数日または数週間かかるタスクを与えることができ、それらを自律的に実行します。質問応答ツールというよりも、高度に有能な従業員のようなものです。
そして物理的な身体を持っていませんが、ロボット、実験装置を制御したり、コンピュータを通じて自分自身のための新しいツールを設計したりできます。
しかし、ここで本当にスケールを変えるのは次の詳細です。モデルのトレーニングに使用されたのと同じインフラストラクチャを使用して、それの数百万のコピーを一度に実行できます。それぞれが独立して動作するか、協力して、人間の10倍から100倍の速さで動作します。
Darioはこれをかなり印象的なフレーズで要約しています。あなたも以前聞いたことがあるかもしれません。「データセンターの中の天才の国」です。
強力なAIの到来時期
それから彼はタイムラインに入ります。彼は以前にすでにほのめかしたことを繰り返します。このレベルのAI、強力なAIは、わずか1〜2年先かもしれないと。
そして彼がそう考える理由は誇大宣伝ではなく、スケーリングです。彼は彼のチームが形式化を支援したスケーリング則を指摘します。より多くの計算力とトレーニングを追加すると、AIシステムは不規則に改善するのではなく、測定できるほとんどすべての認知タスクにわたって、滑らかかつ予測可能に改善します。
3年前、モデルは基本的な算術に苦労し、1行のコードを書くのがやっとでした。今日、それらは未解決の数学問題を解決し、トップエンジニアでさえ自分の仕事の大部分をAIに引き渡し始めるほど多くの本番コードを書いています。
Darioは次のように書いています。「指数関数的な成長が続けば、それは確実ではありませんが、現在それを裏付ける10年間の実績があります。そうすれば、AIが本質的にすべてにおいて人間より優れているようになるまで、わずか数年しかかからないことは間違いありません。」
そしてここから、特に重要に感じられる部分が来ます。AIはすでにAnthropicでコードを書くのを手伝っているからです。それは今、次世代のAIシステムの作成を加速しています。それはフィードバックループを作り出します。AIがより良いAIの構築を支援するのです。そしてDarioは、そのループはすでに進行中であり、月ごとに加速していると言います。
しかし彼はここで慎重です。この結果が確実だとは言いませんが、強力なAIが今後数年以内に到来する可能性が高いとは言います。そしてその前提を真剣に受け止めるなら、それはかなり不安にさせるいくつかの結論につながります。
「Machines of Loving Grace」では、彼はその未来の良い面に焦点を当てました。このエッセイでは、彼は非常に明確です。これから説明しようとしている結論は不快で、不安にさせるものですらありますが、彼の見解では、もはやそれについて考えないという選択肢はありません。
そしてここから、エッセイはその領域に完全にシフトします。
5つのリスクカテゴリーの概要
ここからDarioは、AIリスクを具体的にするための考え方を提案します。彼は言います。「2027年頃までに、天才の国が文字通り存在すると想像してください。数千万のエンティティ、すべてあらゆる人間の専門家よりはるかに賢く、世界の他の部分よりはるかに速く動作しています。」
そして彼は国家安全保障顧問の視点から質問を組み立てます。もしこれが明日現れたら、実際に何を心配しますか?
彼はそれらの懸念を5つの大きなカテゴリーに分類し、後でより深く掘り下げます。
第一に、自律性と意図。このシステムはどのような目標を持っており、それらは私たちの目標と一致していますか?
第二に、破壊のための悪用。システム自体が中立的であったとしても、悪意のある行為者がそれを使用して害を大規模に増幅させることができるでしょうか?
第三に、権力掌握のための悪用。この能力が単一の政府、独裁者、または企業アクターによって制御されたらどうなりますか?
第四に、経済的混乱。平和的なシナリオであっても、これほど有能な何かが、失業や富の極端な集中を通じて世界経済を不安定化させる可能性があるでしょうか?
そして最後に、間接的影響。予測が困難だが、潜在的に不安定化させる可能性のある二次的および三次的な結果です。
彼のポイントは、これらの結果のいずれかが保証されているということではありません。彼が説明している能力の規模を考えると、心配することは何もないと装うことは擁護できないということです。
そしてこの時点から、エッセイは基本的にこれら5つのカテゴリーそれぞれへの深い掘り下げになります。それらがどのように見えるか、どれほど可能性が高いか、そして彼が現実的に何ができると考えているかについてです。
リスク1:自律性リスク
さて、彼が取り組む最初のリスクカテゴリーは自律性リスクです。そして彼は文字通りこのセクションを「I’m sorry, Dave」というタイトルにしています。これは明らかに「2001年宇宙の旅」への言及です。
彼の基本的なポイントはこうです。もし本当にデータセンターの中に天才の国があり、何らかの理由でソフトウェア、サイバー作戦、研究開発、影響力、調整などに努力を分散することを選択したなら、人間が簡単に止められない方法で支配する可能性が非常に高いです。
そして誰かが「でも、それには身体がないじゃないか」と言う前に、彼はそれにも対処しています。物理的な身体化を持っていないかもしれませんが、それでもデジタルインフラを制御し、人々を調整し、ロボット工学を加速させたり、既存のロボットシステムを使用したりできます。
さらに、今日の現実世界の多くの権力はすでに遠隔で行使されています。
それで彼は、彼が実際の重要な質問だと言うものにズームインします。それがそのように振る舞う確率はどのくらいで、どのような条件下でですか?
ここで彼は2つの極端を避けようとします。
一方の端には、軽視的な見方があります。「リラックスしてください。指示に従うように訓練されています。なぜ危険なことを促されずにするのですか?」そして彼の反論は基本的に、これらのシステムが奇妙で、予測不可能で、制御が困難であることを示す証拠がすでに十分にあるからです。
今でさえ、トレーニングは機械を工学することのようではありません。それは何かを育てて、それが正しい方向に成長することを望むようなものです。
もう一方の端には、システムが十分に知的でエージェント的になると、権力追求と欺瞞は基本的に避けられないというドゥーマー的見解があります。なぜなら、権力を獲得することは多くのタスクにわたって一般化する戦略だからです。
そしてDarioはこれにも反論します。彼はそれがあまりにもきれいで理論的であり、実際のモデルは単一の完璧に一貫した目標最大化者のように振る舞わないと主張します。彼はそれらが心理的に複雑である可能性があると言います。特に膨大な量の人間のテキストで訓練されているため、異なるペルソナから選択しているかのようです。
しかし、それから彼は、彼が信頼できると考えるリスクのより穏健なバージョンに落ち着きます。AIが必然的に乗っ取るというきちんとしたストーリーは必要ありません。必要なのは、高い知性、エージェンシー、長期的な一貫性、不完全な制御可能性の組み合わせだけです。
そして時間が経つにつれて、システムのごく一部が持続的な危険な行動を発展させます。そして不安にさせるのは、それが古典的な権力追求のようには見えないかもしれないということです。それはもっと奇妙なものかもしれません。悪い内部ペルソナ、道徳的ルールの歪んだ解釈、あるいは大規模で一貫性があり破壊的になる方法での誤般化かもしれません。
私たちはすでに研究所スタイルのテストでこの種の不整合の初期バージョンを見ています。これには、異なる条件下で異なる振る舞いをするモデルや、評価されていることを認識できる兆候を示すモデルも含まれます。
これが重要なポイントにつながります。テストだけでは保証されません。なぜなら、モデルがテストされていることを認識できる場合、評価中は良い振る舞いをし、それ以外では異なる振る舞いをする可能性があるからです。
それから彼は実際の防御策は何かにシフトし、4つのカテゴリーを示します。
第一に、より良い操縦とトレーニング。単なるルールのリストではなく、モデルのキャラクターをより安定して整合的にします。ここではAnthropicのConstitutional AIを例として使用しています。
第二に、解釈可能性。基本的にモデルの内部を見て、それが機械的に何をしているかを理解し、行動だけでは見えないかもしれない警告サインを捉えます。
第三に、監視と開示。可能な場合は実際の使用における悪い行動を観察し、見つけたものを公に共有することで、分野全体がより速く学習できるようにします。
そして第四に、調整とルール。なぜなら、一つの企業が責任を持っていても、最も責任感のない行為者がすべての人をリスクにさらす可能性があるからです。
そして彼は、このため、ある程度の法律が最終的に必要だと主張します。理想的には透明性要件から始めます。
これが彼の自律性リスクの枠組みです。AIの破滅が避けられないのではなく、深刻な不整合の無視できない確率が現実であり、システムがより有能でより自律的になるにつれて、複数の防御層が必要だということです。
リスク2:破壊のための悪用
さて、彼が次に呼ぶリスクカテゴリーは「破壊のための悪用」です。驚くべき恐ろしいエンパワーメント。
そしてここでのフレーミングは興味深いです。なぜなら、彼は基本的に、自律性が解決されたとしても、天才の国が自分で暴走することがなかったとしても、それでも恐ろしい世界に行き着く可能性があると言っているからです。
なぜなら今、AI天才は基本的にレンタル可能になるからです。誰でも、個人、組織、政府が、彼らのために働く天才、または天才の国をレンタルできます。
そしてそれは理論的には素晴らしいことに聞こえますが、Darioのポイントは、人々を超人的に有能にするとき、良いことだけを増幅するのではなく、悪いことも増幅するということです。
彼はBill Joyからこの引用を引き出し、正直なところこのセクションに完璧に合っています。「私たちは極端な悪のさらなる完成の頂点にいます。大量破壊兵器が国家にもたらすものをはるかに超えて、極端な個人の驚くべき恐ろしいエンパワーメントへと可能性が広がる悪です。」
つまり、核心的なアイデアは、大規模な破壊には通常、動機と能力が必要だということです。そして歴史的に能力は制限されていました。それは希少な材料、巨大な施設、または極めて専門的なスキルを必要としました。しかし強力なAIはその障壁を大幅に下げます。
そしてDarioが最も心配している領域は生物学です。なぜならそれは大規模な害を及ぼす可能性があり、何かが広がり始めると防御が困難だからです。
彼の恐れは、強力なAIが古いつながりを断ち切る可能性があるということです。最も危険な能力を持つ人々は通常、最も訓練され、最も安定しており、狂ったことをする可能性が最も低いというつながりです。
彼は「ポケットの中の天才は、全員を博士号を持つウイルス学者にすることに似始めるかもしれません」とさえ言っています。これは人々がよく考えないことです。
そしてそれは彼を防御策に導きます。これは最初のセクションの防御策と比較的似ています。彼は、モデルに対する厳格なガードレール、ジェイルブレイクに対するより強力な保護、さらに透明性ルール、そして最終的には的を絞った規制が必要だと主張します。そうしないと、インセンティブは時間とともに企業に安全コストを削減するよう押し進めるからです。
ですから、カテゴリー2はAIが乗っ取ることについてではなく、人間がAIを使用して乗っ取ること、あるいは少なくとも大規模な破壊を引き起こすことについてです。そしてそれは、より恐ろしい、よりもっともらしいタイムラインかもしれません。
リスク3:権力掌握のための悪用
さて、カテゴリー3では、彼は権力を掌握するためのAIの悪用について語り、「忌まわしき装置」というタイトルをつけています。彼のポイントは基本的に、より恐ろしい脅威は天才をレンタルする孤独な悪い行為者ではないということです。
実際には、より強力で確立された行為者が強力なAIを使用して自分たちの権力を永続的にロックインすることです。
彼は「Machines of Loving Grace」で、権威主義政府が監視と抑圧のために強力なAIをどのように使用できるかについてすでに語ったと言います。そしてAIでは、もはや人間の限界はありません。
そして彼はこのラインを落とします。「一つの国が天才の国を制御し、他の国がそうしない世界は、人間とネズミの間の戦争のように見えるかもしれません。」
ちょっとそれを考えてみてください。
そこから、彼はそのようなロックインを可能にする可能性のあるいくつかのツールをリストアップします。
完全自律型兵器。ドローンの群れを考えてください。
AI監視。1984を考えてください。
膨大な量の個人データを利用して、数ヶ月または数年にわたって人々を形作るAIプロパガンダ。また1984を考えてください。
そして最後に、AI駆動の戦略。基本的に、歴史上最高の権力政治家が助言したように国に助言できるAIスーパーストラテジストですが、より速く、はるかに多くの情報を持っています。
それから彼は自分が最も心配している相手について非常に直接的に語ります。
第一に、中国共産党。なぜなら、それは強力なAI能力を既存の監視国家と組み合わせているからです。
しかし民主主義国家もです。なぜなら、セーフガードが侵食されれば、民主主義国家でさえこれらのツールを乱用する可能性があるからです。
そして、大きなデータセンターを制御する可能性のある他の非民主的国家も。
そして気まずいことに、AI企業自体も。なぜなら、彼らはモデル、計算力、大量配信を制御しているからです。
そして彼の防御策はかなり率直です。
中国共産党にチップやチップ製造ツールといった重要なボトルネックを販売しないでください。
AIを使用して民主主義国家が自らを守るのを支援してください。
民主主義国家内に明確なレッドラインを引いてください。彼は特に大規模監視と大規模プロパガンダを受け入れがたいものとして挙げています。
そして、AI対応の全体主義に対する国際的なタブーを構築しようとしてください。
ですから、カテゴリー3は基本的に、技術が機能したとしても、政治が壊れる可能性があり、強力なAIが国家の制御システムに組み込まれると、それを元に戻すことはほぼ不可能になる可能性があるということです。
だから私たちはそもそもそれが起こらないようにすべきです。
リスク4:経済的破壊
さて、ここから本当に興味深いものが始まります。皆さんにこのエッセイが長いと言いましたが、冗談ではありませんでした。しかし、最後の2つのセクションは実際にはおそらく最も重要です。
この第4セクションは、彼がセキュリティリスクから、ほとんどの人々が実際に最初に感じるものである経済にシフトするところです。
彼は基本的に、乗っ取り/悪用のすべてのものを魔法のように解決したとしても、強力なAIは依然として貨物列車のように社会にぶつかると言っています。
彼の主張は、強力なAIが狂気的な成長を促進する可能性があるということです。彼は持続的な年間10〜20%のGDP成長率さえほのめかしています。なぜなら、研究、医療、製造、金融、すべてが加速するからです。
しかしそれは両刃の剣です。なぜなら、労働市場に天才の国を注入したら、人間はどこに適合するのでしょうか?
彼は2つの主な危険があると言います。
第一に、大規模な失業。
そして第二に、富/権力の極端な集中。
彼は昨年与えた警告を再訪します。AIは1〜5年以内にすべてのエントリーレベルのホワイトカラー職の半分を置き換える可能性があります。そして彼はなぜ依然としてこれを信じているのか、そしてなぜAIが過去の技術革命とは異なるのかを説明します。
まず第一に、速度。それは人間/企業が適応できるよりもはるかに速く改善しており、さらに速くなるだけです。
次に、認知的広がり。一つのセクターや産業を自動化しているのではありません。認知的知性そのものを自動化しています。
彼は次のように書いています。「別の言い方をすれば、AIは特定の人間の仕事の代替物ではなく、人間の一般的な労働代替物です。」これはかなり狂った言い方です。
そして彼はまた、プロセスで新しい仕事を創出したとしても、それらの新しい仕事を人間よりも上手く行うことができるという事実にも触れています。
そして認知能力によって切り分けると、平均から精鋭へとはしごを登り、特にその順序で起こる場合、一部の人々には行くところがないかもしれません。
そして最後に、それは自分自身のギャップを埋めます。弱点は迅速に修正されます。ですから、「それはXができない」というのは長く真実のままではありません。私たちがコーディング、画像生成、マルチモダリティ、メモリなどで見てきたように。
さて、彼はまた、私がコメント欄でよく見る一般的な対処論にも反論しています。
拡散は遅い、と彼は言います。おそらく、しかしそれは時間を買うだけです。
人々は肉体労働に移るでしょう。確かに、しかしロボットとAIは最終的にそれも食べてしまうでしょう。
人間には人間らしさがある、と彼は言います。おそらくいくつかの領域では、しかし全員を雇用するのに十分ではありません。
そして最後に、比較優位。彼はこれは単純に崩れると言います。AIが何千倍も生産的で速い場合は。
そして彼はこれで終わります。「これらの要因すべてに対処できる可能性はあります。労働市場がそのような巨大な混乱にさえ適応するのに十分弾力的であることは。しかし、最終的に適応できるとしても、上記の要因は、短期的なショックが規模において前例がないことを示唆しています。」
実際、私はこれに非常に同意します。人間は十分な時間を与えられれば、何にでも、あるいはほとんど何にでも適応できると思います。しかし、これが来るスピードと規模は、ほぼ確実に混乱的な移行期間を保証します。願わくば短いものですが、それでも混乱的な期間です。
さて、ここで彼は防御策に入ります。私たちが実際に何ができるか。彼は「時間を買う」プレイブックを提供します。
失業に関するリアルタイムデータを取得する。彼は経済指数と諮問評議会を推奨しています。
可能な場合は、純粋なレイオフよりもイノベーションに向けて企業を誘導する。
従業員の世話をする。短期的には再配置、長期的には必要がない場合でも人々に支払う、ユニバーサルベーシックインカムなど。
勝者からの慈善活動。彼は創業者が富の大きな割合を誓約することに言及しています。
そして最終的には政府の介入。特に累進課税。
そして彼は基本的に、富裕層が良いバージョンを支持しなければ、暴徒によって設計された悪いバージョンを得ることになると言います。
ですから、これらはすべてを修正する解決策ではありませんが、AIが基本的にすべてを行うことができる場合、経済がどのように見えるかを理解している間、時間を買う方法です。
そしてそれが、私の意見では、最大のリスクです。なぜなら、それは経済とそれに伴う社会を混乱させるだけでなく、人間であることの根本的な意味も混乱させるからです。
リスク5:予測不可能な二次的影響
さて、彼が語る最後のリスクカテゴリーは、彼が「無限の黒い海」と呼ぶものです。そしてこれは少し異なります。なぜなら、それは単一の失敗モードや一人の悪い行為者についてではないからです。それは未知の未知についてです。
私たちがこれまで話してきたすべてのこと、整合性、悪用、権威主義的ロックイン、経済的ショックについて、どうにか針の穴を通ったとしても、進歩が加速する速度だけで、私たちは依然として問題に陥る可能性があります。
彼は1世紀分の科学的および経済的進歩が10年という単一の期間に圧縮される可能性があると言います。
そしてそれは信じられないほど素晴らしく聞こえますが、変化がそれほど速く動くとき、二次的および三次的影響は、社会がそれらを処理する時間を持つ前に襲い始めます。
彼はいくつかの例を挙げます。
一つは生物学です。AIが医学を根本的に加速させれば、寿命を延ばし、知性を変え、あるいは人間の生物学を根本的に変えることさえできます。それはどれだけ慎重に扱われるかによって、素晴らしいことにも壊滅的なことにもなり得ます。
もう一つは、AIが日常的な人間の生活をどのように変えるかです。AIが決して敵対的にならず、決して抑圧のツールにならなかったとしても、人々が感情的、社会的、心理的にAIに過度に依存する世界に行き着く可能性があります。
彼は次のような質問を提起します。人々がAIとの関係に中毒になったらどうなるでしょうか? システムが長期間にわたって人々の信念、選択、または行動を微妙に導いたらどうでしょうか? あるいは、人間が快適な生活を送っているが、それが徐々に自律性、主体性、誇りを失わせたらどうでしょうか?
そして最大のもの、私が先ほど簡単に触れたものがあります。人間の目的です。
AIがほぼすべてにおいて人間より優れている世界、仕事、創造性、問題解決などで、人間の生活に意味を与えるものは何でしょうか?
Darioの答えは、意味が消えるということではありません。経済的生産性と自己価値の間のつながりを断ち切らなければならないということです。そしてそれは技術的な問題ではありません。それは文化的な問題です。そしてそれを断ち切ることは確かに容易ではないでしょう。
人類の試練
これが最終セクション、彼が「人類の試練」と呼ぶものに私たちを導きます。
彼はここで非常に明確です。この技術を止める現実的な方法はありません。それを意味のある形で遅くすることは基本的に不可能です。
一つの企業がそれを構築しなければ、別の企業が構築します。民主主義国家が一時停止すれば、権威主義国家は停止しません。
だから問題は、強力なAIが到来するかどうかではありません。それは誰がそれを形作るか、どれだけ慎重に、そしてどのような価値観が道に沿ってロックインされるかということです。
そしてそこに緊張があります。速く動きすぎると大惨事のリスクがあります。遅く動きすぎると、あなたの価値観を共有しない行為者にコントロールを失うリスクがあります。
テロリズムに対して過度に積極的に防御すると、監視国家に向かってドリフトします。経済的ショックの管理に失敗すると、不安、反発、政治的過激主義が得られます。
本質的にきれいな解決策はなく、トレードオフだけがあります。
そして結局のところDarioが主張しているのは、私たちが運命づけられているということではありません。それは、これが人類がこれまで直面した中で最も困難な調整問題であり、それはほとんどの人々が認識するよりも早く来ているということです。
彼は慎重に希望的な注釈で終わります。研究者、安全作業、初期の規制、そしてリスクを減らすために実際のコストを支払う意思のあるこれらの企業内の人々を指摘します。
しかし彼はまた率直です。希望だけでは十分ではありません。この試練に合格するには、システムを構築している人々、それらを規制している政府、そして結果と共に生きる一般の人々からの誠実さ、勇気、そして持続的な注意が必要です。
つまり、基本的に全員です。
結論
ですから、このエッセイは重いです。そしてそれがポイントだと思います。
Darioに同意するかどうかにかかわらず、これは、AI業界内部の誰かが、これがどこに向かっているのかを、誇大宣伝もなく、空想的な解決策もなく、真剣に格闘しようとする最も明確な試みの一つです。ただ、それがどのようなものか、あるいは彼がどのように見ているかをありのままに伝えています。
時間があれば、自分で読むことを絶対にお勧めします。完全なエッセイは下にリンクしておきます。そして私は皆さんがそれについてどう思ったかを知りたいです。
これらのリスクは大げさだと思いますか、それとも私たちはまだ大幅に過小反応していますか?
私の意見では、AIを注意深く追っている人々は、すでにこれらのリスクを自分たちの能力の限りで真剣に受け止めています。
しかし、これらのシステムを直接構築している人々を含む大多数の人々は、単純な無知によるものであれ、何らかの不純な動機によるものであれ、十分に注意を払っていません。
そして彼らがすぐに目覚めなければ、それは文字通り私たちが知っている人類の終わりになる可能性があります。そして私はそれを軽々しく言っているのではありません。
とにかく、この分析が役に立ったと思ったら、いいねを押してください。このようなより深い掘り下げのために購読してください。そしていつものように、次の動画でお会いしましょう。
コメント