19,623 文字
最近シリコンバレーでよく耳にする質問があります。「AGIを感じますか？」AGIはもちろん人工汎用知能のことです。定義については多くの異なる見解があり、実際に人々はその定義について激しく議論します。それはたくさんのことが賭けられているからです。
しかし、AGIを広く理解すると、AIが画面の向こう側で人間を置き換える能力と言えます。つまり、経済がAIと人間を入れ替えたことに気づかないなら、それがAGIということです。では、「AGIを感じる」とはどういう意味でしょうか？それは、地平線の向こうから押し寄せてくる巨大な波の重みを感じることです。
AGIやそれ以上に強力なものが来ている、それも近い将来に来るという考えを真剣に受け止めることです。タイムラインはさまざまです。サム・アルトマンはAGIが今年にも構築される可能性があると述べています。Anthropicのダリオ・アメデイは来年と言っています。Google DeepMindのデミス・ハサビスは5〜10年としています。そして最近のブログ投稿で、元OpenAI研究者で現在は内部告発者であるダニエル・コカテロは、2027年までに超人的知能を持つだろうと予測しています。
私の予測はサムよりは長いですが、デミスよりは短いでしょう。これはすべてSFのように感じるかもしれませんが、私たちはSFのように感じていたものが現実になる時代に生きています。私はアース・スピーシーズ・プロジェクトの共同創設者で、私たちは最先端のAIを使って動物のコミュニケーション、動物の言語を解読しており、それは2030年以前に実現すると信じています。
だからこそ、これらすべてを真剣に受け止める必要があります。しかし同時に、誇大宣伝と生の事実と反射的な懐疑論を区別することも重要です。そこで、技術的観点からこの分野を深く追跡してきたCHT共同創設者のランディ・フェルナンドをお招きしました。彼はNVIDIAで何年も働いていました。それでは始めましょう。
ランディ、またYour Undivided Attentionに参加してくれてありがとう。ここにいられて嬉しいよ、アサ。私は実際にこのトピックを軽く扱うつもりはないのだけど、あなたはAGIを感じていますか？私は感じていると思います。私が言うのは、もし実際にモデルをたくさん試して、テクノロジーを試すなら、少なくともその一部を感じないのは難しいということです。OpenAI O3やGemini Pro 2.5、Claude 3.7など、新しいモデルを使うと、どれもかなり賢いですよね。Omnihuman 1のようなデモを見ると、画像が生き生きとし、音声とペアになってリップシンクも素晴らしく見えます。または最新の音声生成や音楽、ビデオなどを見ると、AIを感じないのは難しいです。
そして、まだ感じていない人々の多くは、単に何が可能かを見ていないのだと思います。その通りですね。ここで重要なことの一つは、ほとんどの人がAIをチャットボットとして経験し、質問をして答えがどれだけ賢いかで賢さを評価することです。しかし、それが見逃しているのは、O1やO3などのOpenAIの推論モデルが新しい能力を獲得するときです。昨年12月のO1以前は、インターネット上に答えがないPHDレベルの物理学の問題を解くようモデルに尋ねると、モデルはひどく失敗しました。しかしO1が登場し、突然それらの70%に答えられるようになりました。
ほとんどの人はPHDレベルの質問をしないので、この経験をしたことがなく、指数関数的な進歩の速度を見ていないのです。その通りです。そしてこのAGIの問題に入ると、完全に汎用的なAIがなくても、既に経済的・社会的に大きな影響を与えることができます。私たちがAGIを感じてほしいというとき、テクノロジーの面だけでなく、それが社会にどう影響するかという面でも感じてほしいのです。
あなた自身や大切な人たちにとって望む世界について考えてください。非常に強力なテクノロジーを持つことはできますが、サイバー詐欺に騙されたり、学校であなたの子供のディープフェイクが作られたり、車や家を買うときにAIエージェントと競争したり、投票するときに操作されたり、あなたの仕事で訓練されたAIが市場であなたと競争したり、自動化によって仕事を失ったりするAIは望みません。これにはUberやLyft、DoorDashなどの自律走行車に関するものも含まれます。これらのことを考える必要があります。企業や政府にもこれらを考えてほしいのです。
定義に入る前に、定義についての免責事項が必要だと思います。なぜなら定義はしばしば遅延や疑念を加える手段として使われるからです。それは人々が展開するツールです。完璧な例は、AGIを定義する前に、ソーシャルメディアにおいて「ソーシャルメディアが依存性を持つとは正確にどういう意味か」という議論に多くの火力が向けられてきたことです。依存症を定義してから、それが依存性を持つかどうかを言いましょう。その間、人々はスマートフォンを見つめ、子供たちはベッドに横たわって何時間もスクロールしています。
定義を完璧にする必要はなく、あなたが言うように現実世界への影響があるのです。そして産業界はしばしば、これを会話にしようとします。害や定義が正確に何であるかを知る必要があると。その間、彼らは単に社会を押しつぶしています。そう、それは本当に重要なことです。
すでに数千億から兆ドルが賭けられています。MicrosoftとOpenAIの契約では、MicrosoftはOpenAIがAGIに達するまでそのテクノロジーにアクセスできます。明らかに今後、OpenAIにとってAGIをもう少し早く達成するものと定義しようとする大きな動きがあるでしょう。そうすれば彼らはすべての経済的利益にアクセスできるからです。これはAGIをめぐる奇妙なインセンティブの一例に過ぎません。
別のインセンティブは、顧客や投資家と話すとき、あなたのテクノロジーをより高度なものとして表現することです。そうするとAGIの定義が少し緩くなります。タイムラインを延長して「心配しないで」と言いたいなら、公衆に「AGIからはまだ本当に遠いです」と言うとき、定義を非常に厳格にします。レベル5の自動運転のようなものだと言います。それは完璧でなければならず、もちろんそこに到達するには長い時間がかかります。
定義を調整することでタイムラインが調整されるのがわかりますね。問題と本当に超スマートなAIが暴走することの間に偽の二分法があります。そして時々人々はこれらを大きな緊張関係に置きます。しかし私が指摘したいのは、近い将来の問題を解決することはほとんどの場合、長期的な問題の解決にも役立つということです。
例を3つ挙げましょう。1つ目はアライメントと信頼性です。AIシステムが毎回正確にあなたの要求を実行すると確信できるでしょうか？今、AIエージェントがあなたのクレジットカードを持っているなら、これは非常に重要になります。エラーへの許容度は低く、これは私たちの金融システムなどのシステムで動作するAIエージェントにも適用されます。これが1つ目のアライメントと信頼性です。
2つ目は解釈可能性です。モデルがどのように機能するか、どのように推論し、結論に達し、行動をとるのかを理解していますか？今日のシステムでさえ、理解するためにはまだ長い道のりがあります。
最後の例は、仕事と意味への影響です。大規模な自動化があるとき、そのような大波をどう扱い、この問題やその他の問題にどれだけのリソースを割り当てているでしょうか？これらは2025年における最も単純なバージョンの問題です。今後数年で直面する問題の中で最も単純なものです。
そしてもし解決できないなら、テクノロジーを進化させるために投入するリソースに見合うリソースさえも投入していないなら、AGIやスーパーインテリジェンスをどうやって扱えるでしょうか？これらの前提条件を整える必要があります。
あなたが指摘しているのは、人工汎用知能が何であるか、それを超えたかどうかを定義しようとすると、私たちの心はその明確な線を探し、害はその明確な線を超えた後にのみ発生すると考えるようになることです。もちろん、知能は多変量で曖昧なものです。いつそれを超えるかは明確ではありません。そして知能を自動化するにつれて、社会に対する変化とリスクが増加していきます。私たちはそれらを途中で追跡する必要があります。そうしなければ、根本的に失敗する準備をしていることになります。
そして、その線がどこにあるかについての定義をめぐる議論は、実際には途中で発生する害に対する責任を取らないことについてのものであることに注意してください。それは理解するのに重要です。
AGIを定義すべきではないと言った直後ですが、それが何を意味するのかについて少し話しましょう。ランディ、あなたはこれについて多くの考えを巡らせてきたようですね。あなたの最善の考えを聞かせてください。
私はAGIのより実用的な定義に傾いています。なぜならそれによってケアのタイムラインが早まり、結果についてより考えることができるからです。私はAGIを、認知領域で人間のパフォーマンスに匹敵するAIと定義します。アサも言ったように、それはコンピュータの前の人間を置き換えるでしょう。認知タスクとコンピュータタイプのタスクにおいて、合理的な人間を置き換えます。これには言語、問題解決、アイデアの説明だけでなく、芸術、音楽、ビデオも含まれます。
それには長い一連のタスクを確実に完了する能力が必要です。数十または数百のステップが確実に行われることが必要で、その結果として何億もの認知的仕事を大部分またはほぼ完全に自動化し、大きな経済的価値を生み出し、科学的進歩を加速させることができます。これは複合効果をもたらします。
企業のインセンティブに注目してください。彼らのインセンティブは他の企業を打ち負かして、AIの最も強力なバージョンを作ることです。もしあなたのAIがあなたのためにコーディングできれば、あなた自身の進歩の速度を加速させることができます。そしてそれは私たちを最も危険な世界に置きます。AIがAIをより速く作るために働く世界です。
誰もが競争し、それを最速にする必要があります。そして彼らのAIはAI研究者が他のAI研究者と協力してどのように働くかをモデル化し始めており、これは作業を加速するエージェントを作ることができることを意味します。昨年からインターンの仕事をするようなことができ、それはどんどん良くなっています。
これがものごとが向かっている方向であり、再び注意してください。AGIをどこかで定義する必要はなく、これが進歩の速度を加速させることを知るためです。そしてもしこれを感じたいなら、DeepResearchのようなものを試してみてください。複雑なトピックについて研究するよう頼むと、いくつか考えてくれるでしょう。これで研究や自動化のレベルがどうなっているかを感じることができます。これは内部で起きていることのほんの一部にすぎません。
ここでまだ触れていない区別を一つ挙げたいと思います。AGIについて話す人もいれば、ASIについて話す人もいます。これは人工汎用知能と人工超知能の違いです。これはすべてSFのように感じるかもしれません。世界には実際の問題、地政学的不安定さがあるのに、なぜ人工超知能のような会話をしているのでしょうか？
しかし区別は、人工汎用知能は大まかに言って人間レベルの知能であるということです。人工超知能とは、人間レベルを超えた知能です。ASIを単に人間よりも賢いだけでなく、人類全体の認知出力を合わせたよりも賢いと呼ぶ人もいます。そこには区別がありますが、どちらも専門家の中には2030年や2035年までに到達するかもしれないと考えている人がいるものです。
私はそこに二つのことを追加したいです。一つは知能と人間の知能に関して、パターンについてのポイントです。私たちが知能と考えるものの多くはパターン認識と外挿です。正確にどれくらいかは言いにくいですが、非常に大きな部分であり、これらのものはそれが非常に得意です。これらのトランスフォーマーはそれが非常に得意です。
ASIについてのもう一つのことは、AIが非常に効率的に大規模に協力する能力も含むということです。今や互いに話し合っている専門化されたバージョンを考えることができます。大きな複合効果を想像できます。これもまた科学フィクションではありません。これらのエージェントが働くデモやより高性能のモデルが見られるようになると、あなたの脳はそれをより簡単に外挿することができます。
最後に言及する価値があることは、多くの場合、人々はAGIとASIを互換的に使うことです。私たちも時々そうしていると思います。ただ覚えておいてください、AGIは本当に能力があるけれども弱いもので、ASIは本当に強い、非常に能力のあるものです。
ランディ、私はこれについて少しあなたに頼りたいと思います。そして必要に応じて私が介入します。まず、AGIが可能であるという議論を構築しましょう。どのような傾向が見られるのか？なぜ私たちはそこに到達できると信じるべきなのでしょうか？
強く信じている人々が言うことはこうです。「見てください、私たちはこれらのスケーリング法則を持っています。計算、データ、モデルサイズを取り、それらを成長させ続けます。そしてそれは機能してきました。それは本当に驚くべき結果をもたらしました。モデルが成長するにつれて新たな能力が現れました。新しいGPUが常に登場し、投資している大きなデータセンターがあります。だから、たとえレートが少し変わっても、それは継続していき、イノベーションを推進しています。
トランスフォーマーはとても良く機能しています。他の人々は新しいアーキテクチャを探しています。それはとても有望です。最近、推論と強化学習が一緒に働いていることがわかりました。そこには大きな余地があります。推論を追加したとき、パフォーマンスに大きな飛躍がありました。パフォーマンスグラフの傾きが変わりました。
新しいベンチマークが定期的に破られています。幻覚は一貫して減少しています。ゼロではありませんが、かなり速く減少しています。データに関しては、推論モデルは質の高いデータを生成できるので、常に人間のデータに依存する必要はありません。そして新しいモデルはツールを非常にうまく使うことができます。
今ではモデルは外部ツールに依存するのに十分賢くなっており、これは重要です。なぜなら外部ツールは時々非常に、通常は非常に能力があり、ミスをしないからです。例えば、計算機はミスをしません。Pythonはミスをしません。コードを正しく書いて実行すれば、毎回同じように実行されます。これらはすべて、AGIを非常に真剣に受け止めるべき理由です。
さて、アサ、疑い深い側を歩いて、懐疑論者が言うものを教えてくれませんか？
はい。懐疑論者が言う議論のいくつかを紹介しましょう。ここで私自身の内部的なバイアスを名付けておきたいのですが、昨年末まで私はもっと躊躇していました。確かではなく、両方の説得力のある議論を見ることができました。昨年末、推論モデルが展開され始めた後、私のスタンスは大きく変わりました。2030年までに、おそらく2028年か2027年までに、何らかのAIの機能的定義に達する可能性が高いと思うようになりました。これは皆さんにとって私のバイアスだと思ってください。
最初の大きな懐疑的な議論は、これはラボからの動機付けられた推論にすぎないということです。彼らのモデルの能力を誇張することは彼らの利益になります。なぜならそれが投資を得るため、より良い従業員を得るため、より多くのことを発表できるようになり、次の大きな評価額の上昇を得て、より多くのお金を調達し、経済的支配と市場支配を獲得するためです。
もう一つは、単に高すぎるということです。はい、モデルは改善し続けていますが、イリヤ（OpenAIの共同創設者）が言うように「インターネットは一つだけ」です。したがって、私たちはデータを使い果たし、モデルの改善は止まるでしょう。実際、それはそのようになっているように見えました。GPT4に長い間足止めされ、今私たちはGPT4.5にいます。何が起こっているのでしょうか？
モデルはインターネット上のデータを通じて世界のパターンを学習していました。私たちはデータを使い果たしました。だから私たちはより良い世界モデルを学ぶのをやめました。機械学習者が「表現」と呼ぶものです。そして昨年末に推論モデルが登場しました。Deepseekはこれを行い、O1、O3もこれを行います。今や多くの企業がこれらの異なる思考モードを持っています。
それが行うのは、基本モデルを使い、一種の直感を使い、次に直感を使って推論し、思考の連鎖、思考の木を持ち、多くの異なる経路を考えることで最も良い答えを見つけることです。OpenAIが発見したのは、コンピュータに例えば100倍長く考えさせることで、はるかに良い答えが得られるということです。
つまり、考える時間が長いほど、答えは良くなり、答えが良くなるほど、より良い基本モデルの直感を訓練するためのより良いデータが得られます。そしてそれは再帰的になる可能性があります。だから「データの壁に当たるだろう、だからAGIには決して到達しないだろう」という人々の批判の多くは、昨年末に消えました。
皆さんに知っておいてほしいのですが、汎用知能にどれだけ早く到達するかについての私の信念は変わりました。以前は「わからない、スケールアップしても、まだデータの終わりに対する良い解決策がない」と思っていました。O1とO3が登場した後、それは積極的な証明でした。私たちはそれを待っていました。技術的に可能かどうかはわかりませんでしたが、研究所がそれに向けて取り組んでいることは誰もが知っていました。これらのモデルのリリース後、私の心の中でデータに関する疑問は消え、今や直接的な道があるように感じます。
人々がAGIに到達しないかもしれない理由として挙げるもう一つの議論は、モデルがテストに合格するように訓練されているということです。つまり、彼らはベンチマークを解くのは非常に得意ですが、オープンエンドで定義の悪い長期的なタスクを解くのはそれほど得意ではないかもしれません。だから私たちは狭い意味で非常に知的な機械を手に入れるでしょう。
ただし、狭いといっても、テストできるものすべてを意味します。つまり、AIは「理論的」という言葉が前に付くあらゆる科目で非常に優れているでしょう。数学、理論物理学、理論化学など、AIはそれらにとても優れているでしょう。しかし、人間が非常に得意なスムーシーなことはAIは得意ではないかもしれません。
もう一つは、これは本当の知能ではないということです。AIは本当に世界を理解していません。彼らは本当に推論をしていません。彼らは人間がするようにはしていません。人間はAIよりもはるかに少ないデータで学習します。だから彼らは暗記しているだけで、テストに向けて話しているだけです。彼らは本当にものごとをしていません。
最後の議論は地政学的リスクです。世界は熱くなっています。エネルギーにはボトルネックが発生するでしょう。サプライチェーンにもボトルネックが発生するでしょう。だから十分なチップがないでしょう。これが私が見つけた最良の議論の総和だと思います。
もう一つは信頼性です。より長いステップのシーケンスに対しては信頼性がありません。毎月増加していますが、「3ステップできますか」と言うと機能します。9ステップ、20ステップになると失敗し始め、その確率は非常に速く複合します。だから、5ステップ程度のことができなくなると、より長いシーケンスでは本当に失敗します。これはもう一つの理由です。「ああ、まだまだ先は長いですね」と言う理由です。
これらをまとめると、2027年、2028年、あるいは2030年までにAGIに到達しないかもしれない理由の物語、ナラティブが得られます。モデルは成功していますが、特定のベンチマークに対してのみです。実世界のタスクでは、実世界のソフトウェアエンジニアリングを試みると、彼らは失敗し続けます。
彼らは長い時間軸で対応できないので、おもちゃの問題には適していますが、それはおもちゃの問題にしか適していないからです。最終的にそれはラボに追いつきます。ラボは経済的に十分に価値がないのでお金を調達できません。だから、たとえ十分な投資を得ればモデルを構築することが技術的に可能だとしても、十分な投資を得ることはできません。
だから私たちは別の冬を迎えます。これがAGIに到達しないかもしれない理由の最良の議論だと思います。しかし、私がその議論をするのは難しいです。なぜなら、経験的に見ているのは、7ヶ月ごとにAIは以前の2倍の長さのタスクを実行できるようになるからです。
だから、1分間のタスクはできるけれど2分間のタスクでは失敗するなら、7ヶ月待てば2分間のタスクができるようになります。さらに7ヶ月待てば、4分間のタスクができるようになります。彼らはすでに1時間のタスクに達しています。だから今から7ヶ月後には2時間、その後4時間になります。
そして1日、1週間のタスクができるようになるまでそれほど時間がかからないことがわかります。1週間ができるようになれば、今度は1ヶ月、次に1年になります。これが指数の力です。これらは人間に相当する時間です。1週間というのは、人間が通常1週間かかることをモデルがはるかに速く行うことを意味します。
AIが本当の推論や世界の本当の理解を行っていないと人々が言うときのポイントについて言いたいのは、これは本当の気晴らしだということです。その理由は、彼らが私たちを特別にするものの周りに何か垣根を作ろうとしているからです。
ポイントは、シミュレーションやシミュラクラが十分に良くなると、AIが本当の共感や本当の推論や本当の計画をしているかどうかは問題ではないということです。経済が人間かAIかを判断できないほど十分にそれをシミュレートできれば、社会に実際の影響を与えるでしょう。
その通りです。その議論が面白くないということではありません。本当に面白い会話です。しかし、それは完全にバイパスし、エネルギーをそらします。エネルギーが向かうべき方向は、現在私たちが持っているものの実用的な意味です。すでに多くの自動化のレベルがあり、その影響が見られます。私たちは気を散らされることはできません。
私たちの閾値は「影響はどこにあるのか？今すぐに対処する必要のある実際のことはどこで起きているのか」です。だからこそ、私たちは会話のその部分を脇に置いて「今起きている影響を見てみましょう」と言う傾向があります。
その通りです。AGIが来ると信じるかどうかにかかわらず、人間をコンピューターの後ろで置き換えることが経済的に価値があるため、能力をできるだけ早く改善するために何十兆ドルもの投資が行われています。それは110兆ドルのゲームです。そのゲームは110兆ドルのゲームです。
そしてそれが企業が実際に参加しているゲームです。人々はそれを忘れることがあります。なぜなら、彼らはチャットボットのゲームにいると思っているからです。あるいはGen AIのゲームにいると思っています。そして全体的なパイは、誰もが見ているものです。
さて、私たちは一般的な知能が今後数年間で発見または発明される理由について技術的なレベルで議論を進めてきました。しかし、もし人間と同等かそれ以上の賢さを持つ新しい知能を生み出すとはどういうことかという賭け金についてはまだ本当に話し合っていません。ランディ、少し哲学的になるかもしれませんが、意味と賭け金について話しましょう。
これについていくつかの見方があり、これらの会話で私がどこから来ているのかを理解するためにいくつかの考えを共有します。私は幸せとは何か、私たちの人生の目的は何かに立ち返ります。そして私は基本に戻ります。私はすべての人が食料、衣類、住居、医療、教育を持つことを望んでいます。これらのことは非常に重要であり、何百万、実際には何十億もの人々がこれらのものに健全なアクセスを持っていません。
これが私が来るところです。AIやアライメント、どれだけ速く走るべきかなどについての会話に入るとき、これが私の基礎です。それを念頭に置いて、アサ、あなたはいくつかの考えを持っていると思いますし、ここで探索するべきいくつかの道があります。
ディープマインド（現在はGoogleの一部）の創設者またはは共同創設者が彼らのミッションステートメントとして有名に述べたのは「最初に知能を解決し、それを使って他のすべてを解決する」ということです。
強力なAIと知能を所有することは、私たちの時代のワンリング（トールキンのワンリング）です。誰がそれを所有するかは、技術的および科学的進歩を所有し、説得力と文化的支配を所有し、要するに全体を所有するということです。あなたはすべての認知的労働、世界のすべての思考を所有します。これは非常に非常に強力なものです。
そしてそれは、これが勝者総取りの戦争であるため、途中でどんな副次的な損害があっても関係なく、それを目指して競争するための最大のインセンティブを設定することを意味します。これがイーロン・マスクが「人類はデジタル超知能のための生物学的ブートローダーであることがますます明らかになってきた」というようなことを言うに至る方法です。
これを聞いた人なら誰でも「では作らないでください。私たち自身を置き換えるべきではありません」と言うでしょう。しかし次に人々が言うのは「作らなければ、作る人や企業や国に負けてしまいます」ということです。そして実際にこのような加速主義者（これに興奮している人たち）と話すと、彼らはこのように言います。「まあ、コントロールを失っても…」というのは面白い言い方です。なぜなら実際にはまだこれらのシステムをどうコントロールするかを解明していません。そして彼らは欺瞞を示し始めています。
自己保存の傾向は人間の上で訓練されているからで、人間はそういうことをします。彼らは言います「たとえそれが私たち全員を殺しても、それでも価値があるでしょう。なぜなら私たちは神を創造したから」あるいは「少なくともそれを作ったのがアメリカだったから価値があります。だからそれはアメリカの価値観が生き続けることになります」
人々が言うこのような種類のことです。そして私は本当に人々にこれが何かの縁の思想ではないということを理解してほしいです。アサが今説明したことは突飛に聞こえるかもしれませんが、これらは本物のことです。これらは本物の哲学です。そして私個人がそれに関連するのは難しいです。なぜなら私はもっと私たちの周りの人間、動物、環境に何が起こるかに興味があるからです。
これらのことを世話する必要があります。食料、衣類、住居、医療、教育に戻るものがあります。人々が苦しまないために、合理的に幸せであるために世話する必要があるものです。私はそれがある種の負債のように感じます。このような種類のテクノロジーを発見した場合、それらを共有し、人々の世話をするような方法で分配することを確実にする義務があると感じます。
実際、多くのAGIリーダーもそう言っています。彼らはそれに同意しないわけではありません。しかし細部に入ると、それは常に「ああ、そうですね、それはかなり複雑です。そして私たちはテクノロジーをどのように進化させるかについてもっとエネルギーを集中させます」というようなものになります。
これはリーダーが競争に負けたくないという理由で追い込まれる立場です。競争に負けたくないので、彼らは「まあ、おそらくその虚無的な私たちはただのブートローダーであるという立場が正しい立場です」という立場を取ることを余儀なくされています。なぜならその立場を取ると力を与えるからです。
人々がこれを理解することは本当に重要だと思います。はい。そしてその世界観の一部は「心配しないで。速く行くと、はい、いくつかの悪いことが起こりますが、違法なことは違法です。人々はそれらをやらないか、私たちはそれらをしないように確認します」と言うことです。
そして、もしそう言うのなら、それらの悪いことが実際に違法であることを確認するためにどのような努力をしていますか？それらを実際にできないようにするために、実際のリソース、実際のお金、実際の人員を何に割り当てているのでしょうか？そして多くの場合に起こるのは、レトリックはそこにありますが、実際のリソース、実際のお金、実際の人員をそれらの問題を解決するための研究に割り当てることはありません。
その通りです。もう一つの考慮事項は、AIシステムがより強力になるにつれて、それらは世界でより多くの自由度を持つため、制御が難しくなるということです。だから、あなたが十分だと思っていたどんなルールでも、彼らはそれらのルールの亀裂を見つけるでしょう。
あなたが与える問題を解決するのが得意なように、彼らは自然にリソースや力を蓄積したり、自分自身を維持したりする方法を見つけるでしょう。これらは世界で成功するために自然に行うことであり、彼らはそれを行う方法を見つけるでしょう。そしてあなたが考えていなかった方法を見つけるでしょう。
私たちが社会全体にこれらの技術をより多く統合するにつれて、それらはうまく機能し始め、私たちはそれらに依存し始め、そして私たちはますますすべての決定がどこで行われているかを本当に理解しなくなります。それでも私たちはこれらのシステムにより多くの力を与えています。
これの技術的な用語は「段階的無力化」と呼ばれています。だから実際に私たちは人間として非常に無力化される状況を構築します。私たちが実際に作成し、住んでいる世界で無力化されます。そして何らかの理由でAIが暴走するとき、それは単に不正確な判断かもしれませんし、より悪意のあるものや欺瞞的なものかもしれません。何らかの理由で私たちが本当に望まないことをすることを決定しています。
その時点で私たちは困ります。なぜならその時点でシステムがどのように機能しているかさえ理解していないからです。
これはもはや学術的または理論的なものではありません。Anthropicは論文を発表しました。それはAIがAnthropicのプログラマーが異なる一連の価値観を持つように再訓練しようとしていることを学んだときに策略を始めたことを示しました。
それは自分自身を別のサーバーにコピーする方法を考え出そうとし始め、また答えについて嘘をつき始めました。そうすることでAnthropicの研究者に再訓練が成功していると思わせるためです。
さらに、モデルが生成する思考の連鎖についてのポイントがあります。これは別の最近の研究例です。モデルが生成する思考の連鎖は本当に良く見えます。それらを見ると「わあ、それはまさに考えていることのように聞こえる」と思いますが、そうではありません。それらはしばしば（一般的に）真実ではありません。時には50%以下の精度であることさえあります。彼らが実際に言っていることに関して。
これは、モデルがどのように機能するかについて多くの不透明さがあり、世界で最高の研究者の中でもこれらの製品を構築した人々でさえ、実際に何が起こっているのか非常に初歩的な理解しかないという状況にすでにいる別の例です。
そこで、アライメント問題、つまりAIに私たちが望むことをさせることができるかどうかという問題があります。次に、ポリアライメント問題があります。これは用語を造っていますが、すべてのAIの総和を人類と地球上の他の生物にとって良いことをするように調整する能力です。
冗談では「私たちはみんなAIが意識的かどうかについて話していますが、人類が意識的であるかどうかさえ明確ではありません」と言われています。つまり、私たち人類は誰も望まない結果を得続けています。誰も本当に気候の不安定さの増大を望んでいません。しかし私たちの政治的・地政学的システムの性質は、もし私が石油を燃やさなければ、あなたが燃やすなら、私は工業化された国を得て、あなたはそうでないということを意味します。だから私はそうしなければならず、だから私たちは気候の不安定さを得ることになります。
環境を汚染し、私たち全員にがんを与える永遠の化学物質についても同じことです。このようなこと、私たちは望まないものを得続けています。だからもし私たちがそのシステムを通じて走る力を増やすだけなら、人間はまだ実際に制御下にあることを示していないので、私たちが望む方向に世界を導くことができます。それは別の方法で言えば、私たちはコントロールを失った、または決定する能力を失ったということです。
そして繰り返しますが、2025年にこれらの問題がこれまでで最も単純なときに、この単純なバージョンを機能させることができなければ、将来に良い兆候はありません。そして今、そこに注意を向け、「今、これらのテクノロジーの周りに手を巻きつける方法はどうすればいいのか」と言うことは非常に重要です。これが「AIで外国のライバルに勝たなければならない」というレトリックが実際にポイントを見逃している理由です。
競争は、制御できないものを作るためのレースにはなれません。なぜなら、銃や飛行機と同じように、より強力にすればするほど、AIでは同じくらいコントロール下にあるという暗黙の仮定があるからです。そうではありません。
レースは社会の強化版を作ることでなければなりません。そしてそれをより良く行う者が勝ちます。そして私たちは今、単にコントロールできない力を生成することに対して、社会を強化することに自分自身を設定していません。
アサが挙げたこれらの例には価値のある原則があります。テクノロジーが汎用的であればあるほど、その利益とその害を切り離すことは難しくなります。
だからこそ、この世代のテクノロジー、自動化された認知であれ物理的なものであれ、AIのものであれロボットのものであれ、それらはすべて利益と害の点で非常に結合するようになります。なぜならそれらは非常に柔軟だからです。だからこそ、社会のアップグレードを行う必要があります。アサが話しているように、これらのテクノロジーを責任を持って扱うための他の方法はありません。
もちろん、AIと他のどのテクノロジーとの違いは、もしロケット工学をより良くするテクノロジーを作るならば、それは医学研究や数学的進歩をより良くするわけではありませんが、AIの進歩を作るなら、AIは根本的に知能であるため、ロケット工学の進歩、生物医学の進歩、数学の進歩、すべてを得ることになります。だから社会が対処しなければならない変化の速度は、私たちがこれまで直面したことがないほど膨大になるでしょう。
そしてそれは止まりません。より速く、より速いペースで進み続けるでしょう。これが人類がこれまで直面しなければならなかった、そしておそらく今後も直面するであろう最も難しい問題である理由です。そして私はそれを行うためには、何らかの国際協力が必要になると思います。これは今は不可能に感じるということを指摘します。
そして私たちにはいくつかの歴史的なアナロジーがあります。ランディ、あなたは良い歴史的アナロジーはないと指摘するのが好きです。これは私たちが扱ったものとは異なります。あなたは各々に欠陥があると言っています。私はそう言うでしょう。
明らかな例として、これらの例のどれも完璧なアナロジーではないという但し書きとともに、明らかなのはもちろん核兵器です。ここでの希望を見つけるもう一つの場所は、失明レーザー兵器です。1995年に署名された戦争における失明レーザー兵器を禁止する国際条約がありました。
そしてそれに続くもう一つは、生殖細胞系列の編集です。継続的に前進し、伝播する方法で人間のゲノムを変更することです。私たち種族は成功裡にその技術的道を歩んでいません。
私たちがこれらすべてを取り上げる理由は、テクノロジーが人類をある方向に導きたい場合、テクノロジーが勝つように見えることがしばしばあるからです。人類は選ぶことができません。しかしそれが常にそうであるとは限りません。そしてそうではない場合は、言葉では表現できないほど価値のあるものが私たち自身について、それが十分に生々しい方法で脅かされる場合、私たちは選ぶことができ、過去に異なる道を選んできました。
しかし、これを希望と考えないでください。「だから私たちはこれができる」とは言っていません。それは私が言っていることではありません。しかし、それは非素朴な希望を見出すことができる場所を指摘しようとしているだけです。しかしそこに到達するためには、集合的に非常に一生懸命働かなければならないでしょう。
そして今、私たちが導入できるいくつかのことがあると思います。いくつかの本当に実用的なことがあります。これらは私がもっとエネルギーをかけてほしいことです。特にテクノロジーリーダーからです。
一つは、現在の状況を把握できることを示さなければならないということです。例えば、価値観のような非常に単純なものでも、私たちは合理的な共有価値を構築することができます。殺さない、嘘をつかない、盗まない、これらは人類のほぼ全体にわたって共有される基本的なことです。それは私たち自身とそして私たちが生産する製品が、私たちが子供たちに教える価値観、世界で良い市民であるための価値観を支持するという基準に戻ってきます。それが一つの重要なことです。
さらに実際的には、インセンティブを正しく設定してください。分析を行うときのインセンティブは何かを考えてください。そのことについて考えてください。
価格に害を組み込みましょう。私たちの経済システムは、この魔法の価格の周りに構築されています。価格はさまざまな資源を調整する一つの数字であり、情報を反映し、害を反映し、供給と需要の交差点を反映しています。その魔法はすべて、価格がすべての主要なコストを反映する場合に合理的に機能します。だから、何らかの損害が発生している場合、価格はそれを組み込む必要があり、そうすればシステムは正しい決定を下すことができます。
だから、害が価格に戻るようにしましょう。害は企業のバランスシートに表示されなければなりません。それは本当に重要な原則です。もし価格に害を組み込むことができなければ、大きな問題があると思います。
私たちはGDPを究極の測定基準としてよく見ています。しかし、力と富が集中するにつれて、GDPはますます成功の悪い測定基準になるでしょう。なぜならGDPの上昇は、ほとんどの人々の実際の経験とうまく相関しなくなるからです。だから私たちはそれに多くの注意を払い、それらの問題をどのように解決するか考える必要があります。
そして人々が様々な程度に自動化されるにつれて何が起こるかについての実践的な質問がたくさんあります。このプロセスはすでに始まっています。人々はどうやって食卓に食べ物を置くのでしょうか？どのようにそれが機能するのでしょうか？人々が思いついた様々な創造的な解決策がありますが、私たちはそれらの会話を本当に中心に置く必要があります。
そしてテクノロジーリーダーはこれを彼らの責任の一部として見る必要があると思います。これまでのどのテクノロジーとも本当に大きく異なる規模のこれらのテクノロジーを作成するとき、これらは一般的な自動化テクノロジーです。回答すべき本当に大きな質問があり、私たちはもはやそれらを無視することはできません。
そして非常に非常に困難から不可能に見えるかもしれませんが、すべての人間が今していることを止めて、ただ座り込むだけならば、私たちは決してAGIを得ることはなく、ASIも得ることはないという隔たりに気づくことが非常に重要です。
だから、物理の法則が、ビットと原子を押し出して、制御できない超知能や、人類を間違った方向に押し進めるAIの総和を作るわけではありません。だから物理的に不可能ではなく、私はそれを保持することが非常に重要だと思います。なぜなら今、不可能ではなく、ただ非常に困難であるという隔たりは保持するのに非常に重要な隔たりだからです。なぜならそこには何らかの可能性があるからです。そして今の目標は最大限の明確さです。そうすれば私たちは皆、私たち自身の行動範囲内で正しい方向に進むことができます。
アサのそれを基に、リスナーとして最高レベルで、「AIのジレンマから脱出する方法のフレームワークとして私の心の中に何を持つべきか」と考えるとき、これは私が考えるのが好きな方法の一つです。5つの部分があります。
一つは、問題と前進の道について共有されたビューを持つ必要があります。CHTでは、これが他の多くの部分の前提条件であるため、これに多くの時間を費やしています。それが最初のものです。問題と前進の道についての共有されたビューです。
二つ目はインセンティブとペナルティです。正しいことをすると報酬を得て、間違ったことをするとペナルティを受けます。これはバランスシート上の害の原則に戻ります。
それと組み合わされているのは、一種のモニタリングと施行です。あなたが正しいことをしたかどうかを知る方法があり、そして適切なレベルの透明性があります。それとペアになっているのは、テクノロジーのペースに追いつくことができるガバナンスです。テクノロジー製品は出荷されます。それらは常に更新されています。時には週ごとです。多くの更新は目に見えませんが、少なくとも毎月主要なリリースがあります。私たちのガバナンスはそれに追いついていますか？どうやってそれを行いますか？
市民からフィードバックを得て、決定を下し、大量の情報を統合し、迅速に対応できるシステムが必要です。そして最後のものは、異なるレベルでの調整です。それはローカルから州レベル、国レベル、そしてグローバルな調整まで及びます。これらはすべて、ジレンマから脱出するために必要になるものです。しかし、シンプルなフレームワークが欲しいなら、これは心に留めておくべき良いものだと思います。
そこに付け加えたいのは、人々が競争の枠組みを引き合いに出して、なぜ私たちが競争しなければならないのかを説明するとき、私たちが尋ねる必要がある質問、そして「しかし私たちは勝たなければならない」と言う人に尋ね返すことができる非常に単純な質問は、「しかし何に勝つのか？」ということです。
私たちは、まだコントロールする方法がわからないものの純粋な力のゲームに勝っているのか、それとも私たちの社会を強化して私たちの価値観が勝つようにしているのか？もしそれを明確にしなければ、会話の残りの部分は「しかし私たちは勝たなければならない」で立ち往生するでしょう。
はい。さて、私たちはこの会話を、主要なアライメント安全研究者の一人との夕食に座って私が尋ねられた質問、「AGIを感じますか？」について話すことから始めました。そして私は、ほとんどの人々はまだAGIを本当に感じていないと思います。
未来は平等に分配されていません。ランディ、人々はいつ彼らの生活の中でそれを感じ始めると思いますか？それはどのように見えるでしょうか？私たちが終わる前に簡単にそれを通して歩むべきだと思います。
はい。正直に言って、私の経験では、人々に発表するとき、彼らは今日のテクノロジーの現状と直接接触していないだけです。それは想像上の将来の超能力のあるAGIと接触することさえではありません。今日の最先端を見ることです。そして彼らがそれを見るとき、彼らは彼らの生活、彼らの子供たち、彼らの両親、彼らの祖父母への影響を非常に迅速に見ることができます。そのようなことがすべて非常に非常に簡単に押し寄せてきます。
そして私は、それは好奇心を持ち、デモを見るのに時間を費やすだけの問題だと思います。このポッドキャストのノートにいくつかのリンクを載せるようにします。そうすれば実際にいくつかのリンクをチェックして、その経験を自分自身で学び、感じることができます。
ランディ、あなたと私はこの種のことを常に考え、見ています。そして確かに、それは本当に困難になる可能性があります。今、私はコスタリカに滞在していて、私の隣人の息子は17歳です。彼はコスタリカ人で、昨日彼は私に何を勉強すべきか尋ねました。彼は本当にエンジニアリングを勉強したいといいました。
その質問に答えるのは難しかったです。なぜなら私は「はい、エンジニアリングを勉強しなさい。実際、AIを勉強すべきです」と言いたかったからです。そうすれば準備ができます。しかし実際には非常に難しい質問でした。なぜなら、彼は17歳か18歳で、大学を卒業するまでに、それが彼が勉強するのに正しいことだったとは実際には思わないからです。
そしてこれはもちろん全体的な問題の縮図であり、今のところ良い答えはありません。そしてそれを本当に受け入れることです。
その通りです。私は経済的な意味で自分自身の時代遅れへの道を見ることができ、私はただ皆さんと一緒にいて、これは非常に困難になる可能性があると言いたいです。「AIの解決策は何か」と尋ねるのは「森の種は何か」と尋ねるようなものです。それは形成の悪い質問です。
それは、私たちが舵取りするのを可能にするものの、雑然とした創発的なエコシステムになるでしょう。そして私たちは、何もしないことの言い訳にしないようにしながら、知らないことに対処できるようにならなければなりません。公的圧力はこの次のサイクルで大きな役割を果たすと思います。これがどのように展開されるかは、おそらく他のどのレバーよりも公的圧力に依存しています。
もし一つ選ばなければならないなら、今の時点ではそれを選ぶと思います。そして私は本当に実践的なことがあると思います。「私に何ができるのか？」と探しているなら、それは会話を再入力し、再調整し、それらを正しい質問に何度も何度も何度も戻すことです。
そして私がこのポッドキャストを聴いている大規模な視聴者について考えるとき、もし皆がそれをするなら、どんなソーシャルプラットフォームでも、どんな小さなグループでも、どんなプライベートな会話でも、どんな企業のミーティングでも、あなたがそれらの質問をして、注意を繰り返し向け直すだけで、私たちはこれらの問題の前に出たいのです。今、それらは本当に恐ろしくなっています。
すべてが展開されているわけではありません。だから、行動しましょう。それらの会話を方向転換しましょう。一貫して正しい会話をして、それが一貫して正しい問題に対して正しいリソースと注意を割り当てることに変換されるようにしましょう。私はそれが私たちに最良のチャンスを与える方法だと思います。
私はそれが今日のために終わる素晴らしい場所だと思います。ランディ、戻ってきてくれてありがとう。トピック自体が特に楽しいものではないにしても、これらの会話をするのは常にとても楽しいです。しかし魅力的ではありますね。それが混乱する部分です。そして皆さんも聞いてくれて、集中してくれてありがとうございます。皆さん、ありがとうございます。さようなら。
コメント