AnthropicのCEOであるDario Amodeiがダボス会議で発表した内容が波紋を呼んでいる。彼は6~12ヶ月以内に完全自動化された再帰的自己改善(RSI)が実現する可能性を示唆した。現在、Anthropicの研究者の一部はAIが書いたコードのみで次世代Claudeの開発を進めており、複数の大手AI企業がホワイトカラー労働の自動化とAGIの実現に向けて急速に前進している。この動画では、RSIの技術的前提条件、エネルギー効率の観点からAIが既に人間を上回り始めている事実、そして完全自律的なAI開発パイプラインが構築されつつある現状を詳細に分析する。さらに、認知的超豊富性という新しい時代の到来と、それが経済・社会・地政学にもたらす根本的な変革について考察を加えている。
- ダボス会議でのDario Amodeiの衝撃的発言
- 制度の外から自由に発言する必要性
- ギザギザのフロンティア理論
- 人間の意識と物質主義の議論
- AIのエネルギー効率が人間を超え始めた
- 認知的超豊富性の時代へ
- より良く、より速く、より安く、より安全な基準
- RSIの前提条件が揃い始めている
- 閾値効果と人間の知能
- 6ヶ月ごとの新しい体制
- Dario Amodeiの予測の正確性
- スーパースコープという概念
- 再帰的自己改善の材料
- 創発空間の拡大
- ポストスカーシティは存在しない
- コードが機能する理由が分からない現象
- AIの安全性とガバナンスの構造
- 加速主義と経済政策
- 人間の監督とエアギャップ
- 今後のプロジェクトと活動
- 生成的相互主義と世界平和への道
ダボス会議でのDario Amodeiの衝撃的発言
さて、今ダボス会議が開催されているんですが、私のファンの一人が、Dario Amodeiのインタビューに反応してほしいと頼んできました。そのインタビューで彼は、完全自動化された再帰的自己改善、つまりRSIまであと6~12ヶ月かもしれないと言ったんです。私はこれをFarsy(Fully Automated Recursive Self-Improvement)と呼んでいたんですが、皆さんからそれはちょっと問題があると言われました。プログラミング言語の名前と同じだからです。
でも、インターネットではRSI、つまり再帰的自己改善という呼び方に落ち着いたようですね。少し文脈を説明すると、これは1分間の短いクリップなんです。Redditや他のところで見つけることができます。基本的に彼が言っているのは、AIが今や次世代Claudeの開発に取り組んでいる研究者の一部にとって、ほぼ100%のコードを書いているということです。
これはAnthropicの話で、そういった楽しいことが起きているわけです。同時に、DeepMindにいるLeg GGという人が、AGI担当のチーフエコノミストを探しています。多くの人が私の名前を挙げてくれました。でも、私はDeepMindのあるロンドンに引っ越すつもりはありません。それがその仕事の場所だからです。それに、Googleも私を採用したいとは思わないでしょう。
制度の外から自由に発言する必要性
さらに、私は制度の外にいる必要があるんです。Geoffrey Hintonがより自由に現状について語るためにGoogleを去ったのと同じ理由で、私もGoogleやDeepMindのような組織の手錠をはめられずに自由に発言する必要があります。ですから、信頼の票には感謝しています。でも、これらすべてを踏まえた上で、三つ目の証拠はElon Muskが明示的に述べたことです。xAIの今年、つまり2026年末までの目標は、人間より賢い労働者を持つことだと。
複数の企業が今や基本的にこう言っているわけです。私たちはホワイトカラーの仕事を狙っている、再帰的自己改善を狙っていると。会話はまだAGIについて語っていますが、DeepMindがポストAGIエコノミストを探していて、Elon Muskが文字通り明示的に人間より賢いものを構築しようとしているなら、AGIに近づいているのかという会話はもう終わったようなものです。もちろん、まだできないことや特性、能力というのは常にあるでしょう。
ギザギザのフロンティア理論
Ethan Molikがこれを彼の「ギザギザのフロンティア」という考え方で本当によく説明していました。もしこれを見たことがないなら、ギザギザのフロンティアとは基本的にこういうことです。円があって、その円はすべての人間の能力を表し、そしてAIと機械があります。
大まかに言って、私がAIと言うときは、すべての機械の能力を意味しています。球体はすべての人間の能力を表し、そしてアメーバやヤマアラシ、ウニのような塊があります。それが機械の能力です。すべての機械の能力です。そしてそのウニの棘は、人間の能力をはるかに超えて突き出ています。
私たちには人間が見られないものを見る顕微鏡があります。見えないものを見る望遠鏡があります。どんな人間よりも速く数学を処理するプロセッサがあります。だからそういうことなんです。でも人々はすぐに反応しました。そう、でもその棘のある塊は成長していて、最終的にはすべての人間の能力より大きくなるだろうと。
人間の意識と物質主義の議論
そして、人間の意識や人間の脳は単なる受信機だと信じている人たちの一部がいます。私たちの脳は、どこか未定義の場所から洞察や直感や信号を受信するアンテナだというわけです。精神的なレベルでは、サイケデリックスやアヤワスカをやったことがあるので、私はそれを理解します。確かにそう感じられます。
それが物理的に真実かどうかは分かりません。人間の脳が形而上学的な空間から直感を得ているという経験的証拠はありません。人間の脳が実際に自分の頭蓋骨の外から意味のある情報を受け取っているという経験的証拠もありません。遠隔透視のようなものを見ると、もしかしたら信号を受信できるのかもしれませんが、それは意識を投影するというよりWi-Fiに近いものです。
こんな話を持ち出す理由は、ひどい脱線のように聞こえるかもしれませんが、物質主義は人間の知能を説明するのに十分だということです。物質主義は意識そのものを満足に説明するには十分でないかもしれませんが、私たちの問題解決能力はすべて頭蓋骨の中の3ポンドのコレステロールに閉じ込められているようです。そうです、あなたの脳は主にコレステロールでできた3ポンドなんです。
つまり、3ポンドのコレステロールコンピュータがあるわけです。物理法則がそれを機能させることを許すなら、物理法則は私たちがシリコンでそのものが行うすべての機能を近似することも許すはずです。
AIのエネルギー効率が人間を超え始めた
そして今のところそれは真実のようです。私はまだ詳しく研究を調べていませんが、確認はしました。Perplexityで基本的に、この研究は何を言っているのかチェックしました。複数の研究が、Llama 6Bのような小さなモデルが、いくつかのタスクにおいて既に人間よりもエネルギー効率が良いことを示しています。
これを持ち出すのは、私たちが既にその閾値を超えているのが非常に興味深いからです。なぜなら人間の脳は約20ワットのエネルギーで動作しているからです。でも、Llama 6Bが簡単かつ迅速にできる要約や検索タスクを人間が行うのに必要な総エネルギー量を見てみると、人間がそれを行うのに必要な総時間とエネルギー、そしてLlama 6Bがそれを行うのに必要な総時間とエネルギーを見ると、どちらの場合も訓練を除外しなければなりません。人間は0歳から20歳になるまでに多くのキロワットの訓練エネルギーが必要だからです。
それを許し、Llama 6Bの訓練時間も許した上で、一対一の運用パフォーマンスを見ると、Llama 6Bは既に人間より効率的なんです。私はこれが来るとは思っていませんでした。そう言う理由は、これが私が何年も追跡してきた主要なベンチマークの一つだからです。人間の脳はスーパーコンピュータよりどれだけ効率的なのか、ということです。私たちは頭の中にエクサスケールのスーパーコンピュータを持っています。
でも、これらのAIモデルの一部は既にエネルギー効率で私たちを上回っているようです。なぜなら私たちは収縮包装に収縮包装を重ねて、本当に必要な機能を収縮包装し、他のすべてを捨てたからです。Llama 6Bは、言語を自発的に理解することはありません。火の起こし方を自発的に理解することもありません。他の多くのことはできませんが、あなたが望むことをやってくれて、それを非常に効率的にやってくれます。そして私たちはこれを始めたばかりなんです。
認知的超豊富性の時代へ
これもまた脱線のように聞こえるかもしれませんが、これを持ち出す理由は、私たちは既にエネルギー入力、これは主要なボトルネックの一つですが、知能へのエネルギー入力が人間のレベル以下に下がっている体制に入っているからです。つまり、一対一ベースで、エネルギー予算、地球規模のエネルギー予算があるなら、人間ではなく機械を使ってこれらの問題のいくつかを解決するためにそのエネルギーを使う方が良いということです。
なぜでしょうか。人間のカロリーは非常に高価だからです。草に当たるすべてのエネルギーが牛を養い、牛が取るエネルギー、そして牛を処理して移動させて食べるエネルギー。15年か20年前に出た本があって、『雑食動物のジレンマ』だったと思います。
私は読んだことがないんですが、この本に夢中になっている同僚がいて、読んだような気がします。とにかく、当時は人間の入力1カロリーを作るのに約10カロリーの入力が必要でした。人々の食料1カロリーを作るのに10カロリーの経済的入力です。それは非常に非効率で、おそらく今日はもっと非効率でしょう。私の推測では、以前よりもさらに遠くから食料を運んでいるからです。
一方、データセンターとAIでは、データセンターの近くに太陽光発電所を建設して、データセンターに電力を供給する自己完結型のループができます。太陽光パネルは草よりもはるかに効率的にエネルギーを捕捉します。人類の総エネルギー予算を見ると、AIが人間よりもエネルギー効率が良くなったら、できるだけ多くの認知をこれらの機械に載せる方が理にかなっています。
より良く、より速く、より安く、より安全な基準
ところで、これは私が人間労働の置き換えについて持っている「より良く、より速く、より安く、より安全」というリトマステストにつながります。より良いというのは、より良い出力を生み出すかということです。多くの場合、AIは既により良い出力を生み出しています。明らかにすべての領域でというわけではありませんが、この動画のサムネイルを作るようなことにAIを使っている人の数を見てください。
人間よりも良い出力をします。そしてそれは、より良く、より速く、より安く、より安全です。なぜなら誰かを雇う必要がないからです。数秒の作業で済みます。誰かにお金を払う心配もありません。誰かを雇う心配もありません。ですからAIを使うことで摩擦が劇的に減少します。純粋に大規模なエントロピーの観点から見ると、私たちは今その転換点にいます。
RSIの前提条件が揃い始めている
それで、これらのバックグラウンドのアイデアすべてをRSI、再帰的自己改善の問題に引き戻すと、モデルを持っているとき、私はAIと数学について話してきました。AIは数学がずっとずっと上手になっていて、それはRSIの前提条件なんです。私はおそらく1年ほど前にこれについて動画を作りました。国際数学オリンピックで銀メダルを取り始めたとき、金メダルを取り始めたとき、それがこれらの機械がほとんどの人間にはアクセスできない数学的直感を示している時だと話しました。
彼らは既にほとんどの人間より客観的に優れています、数学的直感において。そして彼らは人間が解決に苦労してきた問題や、人間に余剰認知サイクルがなかったために放置されてきた問題を解決する段階に来ています。
私たちが向かっているのは、私が認知的超豊富性と呼ぶ期間です。これがこの動画から一つだけ持ち帰るものだとしたら、認知的超豊富性がそれです。なぜなら計算サイクルがより賢くなっているからです。トークンあたりの知能が高くなっています。トークンあたりの知能は対数スケールやべき法則に従っていると思います。
つまり、機能的にIQ100相当のモデルで多くのトークンを生成しても、得られるものには限界があります。でもそれを120や140に上げると、各トークンははるかにはるかに賢くなります。つまり、より良い結果を生成するのに必要なトークンがはるかに少なくなるか、あるいは愚かなモデルではそれらの高次の問題を解決できないということです。
閾値効果と人間の知能
閾値効果があって、人間も同じことに従っていると思います。IQ100の人は最先端の物理学に貢献することは決してないでしょう。人間における閾値効果は、一般的に135くらい以上でなければならないようです。それ以上では、最先端の物理学やその他のことに貢献した人々は135から180のどこかのIQを持っていました。
ファインマンがどこか、アインシュタインがどこか、チューリングがどこか、フォン・ノイマンが別の段階にいたか、正確には覚えていません。でも、最先端の数学や物理学に本当に貢献した人々を見ると、これは人間の知的貢献の最高峰と考えられています。明らかに全員が同意するわけではありませんが、その集団だけを見ると、彼らの中でIQが135未満の人は一人もいません。
ですから閾値効果があるようです。機械もその閾値効果に従っていると思います。私のPatreon Discordでこれについて話していました。一定レベルの複雑さがあって、特定のレベル以上または以下の機械やモデルは、それを保持できないようです。
これらのモデルを使っているときに気づくでしょう。「ねえ、あなたはあまり意味をなさないことを言いましたね」と言うと、それを指摘したときに認知的不協和を認識できます。矛盾する、あるいは互いに両立しない考えを調和させることができます。
6ヶ月ごとの新しい体制
でも、それを最初から自動的に感知しないという事実は、これらのモデルが今保持できる複雑さに限界があることを意味します。しかし、これらすべては一時的なものです。一歩下がって見れば、6ヶ月ごとに新しい体制に入っています。6ヶ月ごとに新しい体制に入っているというのは、ちょうど1年前、いや1年半前だったと思います。2024年の9月か10月に推論モデルが導入されたときを覚えていますか。
それがパラダイムシフトで、それからコーディングのシフトが起こり、エージェント的なシフトが起こりました。この18ヶ月で3つの体制シフトがありました。一歩下がって見れば、これらが明確でなかったとしたら、推論モデルがより良いエージェントにつながり、それがより良いコーディングエージェントなどにつながったということです。
完全に別々の体制というわけではありません。段階的に改善される体制です。でもそれでも体制シフトです。なぜなら、入力と推論と出力、線形で考えないモデルから、考える体制へと移行したからです。それが一つの体制で、考える体制がこのAIの可能性のカンブリア爆発を可能にし、次の体制も同じことを再びするでしょう。
私は長い間、私たちは最終的に体制を使い果たすだろうと言ってきました。でも最初にそれを言ったとき、私は数学的に見ていませんでした。単に一歩下がって、総体的に物事はシグモイド曲線に従う傾向があると言いました。でも問題は、その進歩のシグモイド曲線はどこで頭打ちになるのかということです。少なくとも人工知能では、その進歩のシグモイド曲線は人間の知能をはるかにはるかに上回るところで頭打ちになるように見えます。
Dario Amodeiの予測の正確性
Dario Amodeiが去年の今頃、約1年前に、年末までにAIがコーディングの75~90%をやるようになると言ったとき、皆それを笑いました。なぜなら去年の9月、2024年9月の時点で、AIコーディングはまだそれほど良くなくて、愚かなミスをしていたからです。でもGPT-o1が出て、Claude Codeが出て、Opus 4.5が出て、突然皆が「もうコーディングなんて全然しない」と言い始めました。
彼はせいぜい3ヶ月ずれていただけで、方向性は正しかったんです。それをベースレートとして使うなら、明らかに過去の実績が必ずしも将来の成果の指標になるわけではありませんが、Darioは一度正しかったし、約3ヶ月しかずれていませんでした。
ですから彼が6~12ヶ月で再帰的自己改善を達成すると言うなら、それは数学的直感、コーディングパイプライン、テストの問題だからです。トーマス・エジソンが何と言ったか覚えていますか。発明は1%のインスピレーションと99%の努力だと。私たちは今、Ilya SutskeverやDemis Hassabisやその他の誰かの魔法のような直感が言語モデルや深層ニューラルネットワークを作るという段階にいます。それは完了しました。
スーパースコープという概念
他のすべては今や運用化されています。その空間を厳密かつ体系的に探索する問題で、AIはそれが上手になっています。これはTerence Taoが言ったことです。彼はそれをスーパースコープと呼びました。スーパースコープという用語に馴染みがないなら、彼がこの用語を発明したのかどうか分かりません。完全な新造語かもしれませんが、彼が意味したスーパースコープとは、顕微鏡は現実の小さな一片を見てそれを大きくします。
望遠鏡は現実の遠い部分を取ってそれを近づけます。スーパースコープは逆パノプティコンのようなものです。現実全体を非常に速く見て、ふるい分けてナビゲートするのを助けます。それはほとんど知的コンパスのようなものです。このスーパースコープのアイデアと、1日に一つのアイデアを探索するのに脳力を使う代わりに、Terence Taoは毎日10の直感を探索するためにスーパースコープを使うという事実を組み合わせます。それはまた底上げもします。
より多くの人がより多くの直感を探索できるようにします。それが行うことは、次世代の深層学習のための次善のアルゴリズムを考え出すために必要なすべての数学的直感に体系的かつ運用的にアプローチできるようにし、その次善のアルゴリズムをテストできるようにすることです。アルゴリズムについて話すとき、私はアテンション機構、訓練スキーム、強化学習ポリシーのようなものについて話しています。
再帰的自己改善の材料
再帰的自己改善に入るすべての材料について話すとき、それらが材料です。生の数学能力、直感と仮説を自動的にテストする能力、コードを書き、データを生成し、データを検証する能力。私たちはこれらのコーディングモデルをこの種のことに使っています。
つまり、私はGPT-o1 Proをその種のことにいつも使っています。私はポスト労働経済学と生成的相互主義とゲーム理論についての理論に取り組んでいます。そして私は、よし、これが直感だ、さあこのアイデアを検証するか反証するかのシミュレーションをコーディングできるか見てくれと言います。それは本当に興味深いです。
そして同じ問題を複数のAIに与えます。なぜなら彼らは異なるバイアス、異なるアプローチ、異なるツールセットを持っているからです。Claudeは一つの結論に至り、ChatGPTは別の結論に至り、といった具合です。これらすべてが再帰的自己改善に入る運用上の材料です。
私が言っているのは、それらの材料のほとんどは既にそこにあるということです。それは、それらのツールを使っている人々がそれができることを理解するのにどれだけ時間がかかるかという問題です。なぜならClaude Codeは1年前、たぶん丸1年前にリリースされましたが、本当に爆発したのはここ数ヶ月だけだと指摘されているからです。
創発空間の拡大
使っている人々の中には「分からない」と言う人もいます。でも、人間の脳が新しいツールを使うことを学び、その新しい空間を探索するには少し時間がかかります。なぜなら非常に大きな創発空間があるからです。創発空間とは何かというと、レゴのセットを手に入れたときのことを考えてください。50ピースの小さなレゴキットだけなら、できることには限界があります。
でも2,000個のレゴピースを集めたら、基本的に何でもできます。それが創発空間の例です。GPT-o1 ProやClaude Codeや構築された他のすべて、接続できるすべてのMCP、UCP、その他すべてのAPI、呼び出せるすべてのAPIと、より多くのツールを手に入れるにつれて、遊べるレゴブロックがどんどん増えていきます。
遊べるレゴブロックが増えると、探索すべき創発空間が大きくなり、「ああ、これでできる本当にクールなことがある」と見つけるのに時間がかかります。それを理解するのに時間がかかり、それがTwitterやRedditに投稿されて複製され、それが今の変化の速度です。
すべての新しい能力の段階と出されるすべての新しいツールについて、私たちはリアルタイムで外部皮質が完全自律的な再帰的自己改善のためのツール、パイプラインを構築しているのを見ています。Darioがその60秒のクリップで指摘したのは、他のボトルネックがあるということで、これはシリコンバレーのテックブロや誰もが気づき始めていることの一つです。ボトルネックは常に移動するだけだということです。
ポストスカーシティは存在しない
ポストスカーシティというものは存在しません。なぜなら一つの希少性を排除しても、その希少性は完全には消えないからです。それはもはやボトルネックではないというだけです。彼は、電力に限界がある、チップに限界がある、データに限界がある、何らかの限界があると言いました。
認知的超豊富性によって、認知は限界にはなりません。それが彼が示唆していることの一種です。彼が正確に何を意味しているか口に出して言いたくはありません。それは私たちがどこに向かっているかについての私の編集的解釈です。次のボトルネックはどこかという話になると、データセンターを承認して建設するのに時間がかかるという事実かもしれません。
エネルギーグリッドかもしれません。チップかもしれません。今、Nvidiaは大規模データセンターチップの市場の90%をまだ保持しています。Intelが追いつこうとしています。ARMが追いつこうとしています。彼らはGroqと取引を結んでいます、GRQですね、高速チップを持っています。Cerebrasがいて、彼らの高速チップがあります。
あらゆる人々が追いつこうとしています。そして時間がかかります。それらの会社を構築し、新しいチップを設計し、新しいファブを立ち上げるのに時間がかかります。そして繰り返しますが、新しいチップファブを立ち上げるための科学と工学を見ると、そこに入るエネルギーと精度の量は驚くべきものです。ですからそれらのことには時間がかかります。
しかし、グラフを見て、グローバルキャパシティはどうか、6ヶ月ごとに何ペタフロップスの新しいチップを生産しているか言うと、それも指数関数的に上昇しています。だからもしかしたらそれはボトルネックではないかもしれません。世界中に設置している太陽光の量を見ると、それは指数関数的に上昇しています。
だからもしかしたらそれは本当にボトルネックではないかもしれません。では問題は、何がボトルネックになるのかということです。そして事実は、常にタイムステップがあるということです。訓練の実行には常に時間がかかります。データセンターの建設には常に時間がかかります。ソーラーの設置には常に時間がかかります。そしてそれでも、頭をかく税金、つまり新しいモデルを見て「なぜ動かないんだ?」と言っている時間の量に行き着きます。
コードが機能する理由が分からない現象
そして何かをすると動き始めます。「まあ、なぜ動いているんだ?」テック界には多くのミームやジョークがあります。コードが機能していて、なぜか分からない。それは腹立たしい。そしてコードが機能していなくて、なぜか分からない。それも腹立たしいです。ですから常に未知の未知があり、それから未知の既知があります。これは既知の未知の逆です。
つまり、あのことを知らないことは知っている、でもこのことは知っていて、なぜそれを知っているのか、どう機能するのか分からない、ということです。これらの空間では、それがコード、数学、データサイエンスであろうと何であろうと、常に多くの直感があります。直感に頼ることは、もちろん人間は直感を持っていて、機械も人間の直感に対する機能的類似物を持っているという証拠が増えています。「これはもっともらしいようだ、テストできるか見てみよう」という感じで、そのテストサイクルは短くなりますが、それでもサイクルです。
長い話を短くすると、はい、6~12ヶ月以内に完全自律的な再帰的自己改善パイプラインが機能しているのを見ることができるだろうと完全に同意し、予想します。それらは立ち上げられる可能性があります。今、それが制御不能になるという意味ではありません。なぜならこれは破滅論者にとっての悪夢のシナリオだからです。
AIの安全性とガバナンスの構造
私は破滅論者を、効果的利他主義者、合理主義者、AI安全性の専門家のような人々の略語として使っています。彼らは「ああ、もしそれが自分の物を引き継いだら、ゴールドリフトが起こる可能性がある」などと言います。でも実際にはこれらのパイプラインはそのように機能しません。まだ人間が監視しています。常にゲート付きプロセスがあります。
一度反復して、また反復して、また反復して、監督なしに反復し続けるというわけではありません。多くのエネルギーと多くの計算を必要とする訓練の実行を行います。それは実際のお金です。お金が関与しているときはいつでも、誰がこれにお金を払っているのか、誰がこれを承認したのか、と言っている会計士、経理担当者がいることが分かります。
そして各実行の後に安全チェックを行います。「さて、流出リスク、ミスアライメントリスク、すべてのベンチマーク」と言います。ですからそれらすべてには時間がかかります。さて、はい、ベンチマークのいくつかを自動化しますが、それは一つのシステムではありません。一つのモノリシックなシステムではありません。
人工超知能が現れて「はい、私は自分自身をテストしました、私はアライメントされています」と言うようなものではありません。それは実際にはそのように機能しません。異なるシステムがあります。第三者機関があります。Epoch AIや他のすべて、MERAが関与するでしょう。彼らは異なるテスト方法と異なるインセンティブ構造を持っています。
完全自律的な再帰的自己改善の瀬戸際にいるかもしれませんが、それが突然Skynetになるという意味ではありません。再帰的自己改善が人類にとっての終末になるという全体的な考えは、文字通りArnold SchwarzeneggerがTerminator 2で言った一行から来ています。午前3時14分にSkynetが自己認識を持ち、幾何学的速度で自己改善を始める、という。
幾何学的速度と呼ぶことさえ、ちょっとばかげています。なぜなら物事は実際には指数関数的に動いているからです。ですからこれは虚構の作品であることを覚えておいてください。それは実際には現実でそのように機能しません。ほとんどの人は自動化パイプラインを立ち上げたことがないことも理解しています。
加速主義と経済政策
ほとんどの人はデータセンターにいたことがありません。ほとんどの人はGPUをラックに入れて積み上げたことがありません。それらは自分でプラグを差しません。ですから多くの層のセーフガードなどがあります。私はまだできるだけ速く進むべきだというキャンプにいます。私は間違いなく加速主義に賛同しています。
私はe/accとは同一視していません。理由は経済的です。効果的加速主義の中には、社会主義のように見えるものに対する非常に強いバイアスがあるからです。彼らはUBIに非常に反対です。労働力から人間を取り除くことに非常に反対で、私はそれが本当に奇妙だと思います。ポリシーが最大加速で、人間が摩擦を生むなら、加速主義の純粋主義者としての私の方がもっとそうかもしれません。なぜなら、はい、目標は最大加速で、最終的に人間がボトルネックになるだろうからです。
ボトルネックといえば、人々が再帰的自己改善について話している理由の一つは、あまり遠くない将来に人間の判断、人間の直感、人間の知能が負のEVになるからです。これがEMAD Mostqueが話していることです。彼は未来に人間労働が実際に負の価値を持つ可能性がある場所について話しています。
私はそれを負の期待値として解釈しています。つまり、100人のトップ研究者のチームがあるとしましょう。今のところそれは正の期待値です。なぜなら彼らはAIが単独ではできないことをするからです。
でも1年後には、その100人の人間は料理人が多すぎるかもしれません。そうすると、官僚制により多くの時間を費やすことになります。創業者の株式や交渉やオフィス家具により多くの時間を費やすことになります。それだけの価値がなくなります。最終的に、その100人の研究者に費やすお金とエネルギーは、AIにもっと時間とより多くの計算を与える方が良いかもしれません。
さて、あなたは言うかもしれません。デイブ、それの非常に明白な問題は、最終的にすべての人間をループから取り除くことです。そして、はい、おそらく完全に無人の監督されていない再帰的自己改善の段階には到達すべきではありません。それはポリシーの問題ですが、繰り返しますが、構造の問題でもあります。
人間の監督とエアギャップ
DeepMind、OpenAI、Meta、その他誰でも、Anthropicを含めて、仮に18ヶ月以内にこの設定に到達したとしましょう。安全のために18ヶ月と言いますが、彼らが全員18ヶ月以内に完全自律的な再帰的自己改善に到達したとしても、「もう一度実行してください。出力をください」と言うボタンを押すには人間が必要です。
そして、同じ会社の別のチームに行く安全評価を行います。エアギャップがあるので、さて、これがモデルです、安全評価に行ってください、他のすべてに行ってください、そしてそのモデルへのアクセスを外部の第三者にも与えます。
繰り返しますが、認知プリミティブではなく、完全自律的な再帰的自己改善パイプラインを作成するためのビジネスプリミティブと技術プリミティブを構築しているとしても、それが自動的に人類を核攻撃できるような本質的な失敗モードはまだ見えません。
また、再帰的自己改善が必然的に人類を核攻撃するという破滅論者の考えは、自動安全訓練と自動安全評価が機能しないと仮定しています。彼らが設定しているすべてが失敗し、誰もチェックしないと仮定しなければなりません。つまり、確かにそれは可能性の範囲内です。もっと愚かなことが起こったことがあります。でも、邪悪なAIがあったとしても、それはどこかで実行されなければなりません。
とにかく、これが安全性の議論になるつもりはありませんでした。でもここまで来ました。終わりにします。そして、皆さん、見てくれてありがとうございます。少し事務連絡です。まだ見ている人のために、私は少し休止を取るつもりです。長くはありません、数日、たぶん1週間くらいです。
今後のプロジェクトと活動
コンテンツから離れます。私のプロジェクト、すなわち本『Labor Zero』または『Post Labor Economics』に集中するつもりです。Kickstarterをほぼ完成させる準備ができています。ビデオを録画しました。少し編集が必要なだけです。Kickstarterページを立ち上げる必要があって、それから開始します。ですからそれがあります。私はポスト労働経済学についてのドキュメンタリーにも参加しています。
あまり詳しくは言えませんが、それはクールです。非常に有名な映画製作者が私に連絡してきて、話をしたいと言いました。ですからそれが起こっています。吹雪の真っ最中にそれを録画することになります。ここ南部では、約13インチのみぞれに埋もれようとしています。ですからそれが起こっています。私は今後数日間、私的コミュニティにももう少し集中するつもりです。
参加したい方は、追加コンテンツすべてをPatreon、Twitter、Substack、YouTubeで再投稿し始めました。多くの人がサインアップしてくれていて、本当に感謝しています。それは私のミッションを前進させるのに本当に役立ちます。ですから、ミッションに賛同し、ポスト労働経済学という私のミッションをサポートするために立ち上がってくれたすべての人にエールを送りたいと思います。
ポスト労働経済学を始めました。それは一つのことで、次のプロジェクトを始めました。それはポスト労働経済学の進化です。何度か言及しましたが、今の仮称は生成的相互主義です。基本的には、単細胞生物や原核生物やアーケアから文明にどうやって行くのかということです。
生成的相互主義と世界平和への道
そしてそれは何を意味するかというと、基本的にゲーム理論です。次の進化です。John Nashから多くのインスピレーションを得ています。Nash均衡と囚人のジレンマの。基本的に、それを次のレベルに持っていく方法、同盟や地政学のようなことを議論するためにそれを使う方法、そして最終的にどうやって世界平和を達成するのかということです。
それが私の目標です。資源と命を浪費している戦争している国家から、攻撃的現実主義、これはJohn Mearsheimer’s frameworkですが、攻撃的現実主義を超えてグローバルな平和にどうやって行くのか。そして私は、そこへの方向性は生成的相互主義だと信じています。ですからそれが私の次の研究プロジェクトです。
これらすべてを持ち出す理由は、すべての小さなことが助けになるからです。このミッション、私のミッション、私の仕事をサポートするためにサインアップする全員、それが注意選好経済です。注意選好経済は基本的に私が経済がどのように機能するかを見ている方法です。それが私たちの次の調整メカニズムです。
それはまた、Malthusian dynamicsを打ち負かす方法でもあります。Malthusian dynamicsは、現在の体制における失敗モードが何であれです。私たちの現在の体制は、互いに競争しているすべての個々の国家の一つです。ですから私たちは気候変動を直接解決できません。戦争を直接解決できません、そういったことです。
次のレベルの調整に上昇する必要があります。注意選好調整メカニズムがそれを行う主要な方法の一つになるでしょう。民主主義はその一部です。民主主義は注意選好メカニズムの初期の例です。投票などです。とにかく、少し細部に迷い込んでいます。
私が言いたいのは、私はコンテンツを作ることやそういったことの上に、舞台裏で多くの研究をしてきたということです。ですからあなたのサポートは私が研究に集中できるように本当に助けになります。さあ、終わりです。乾杯。
コメント