この動画は、AGI(汎用人工知能)という用語の生みの親であるベン・ゴーツェルへのインタビューを通じて、AGI到達までのタイムラインや技術的課題、そして社会的影響について深く掘り下げている。ゴーツェルは2029年前後のAGI実現を予測し、現在のLLM技術が研究を加速させているものの、それだけでは不十分であると指摘する。彼はDeepMindのようなハイブリッドアプローチに期待を寄せつつ、大手テクノロジー企業の保守性や商業的圧力がイノベーションを阻害していると批判する。さらに、AGI実現後の世界では、技術的失業や発展途上国での混乱、権力構造の変化といった課題が浮上する一方で、人間の意識拡張や幸福度向上の可能性も示唆される。分散型AIとオープンソースアプローチの重要性、そしてAI開発における民主化と倫理的配慮の必要性が強調されており、AGI時代における人間の役割と意味の再定義について思索を促す内容となっている。
AGIへの道のり
皆さん、こんにちは。今日はベン・ゴーツェルさんとお話しできることを本当に嬉しく思っています。ベンはAI分野で最も興味深い頭脳の持ち主の一人です。もしあなたがAGIや汎用人工知能という用語を使ったことがあるなら、それは彼が作った言葉なんですよ。彼の経歴にはSingularityNetの創設、OpenCog AIフレームワークの設計、ハンソンロボティクスのチーフサイエンティストとしての役割、そして汎用人工知能会議の主導などが含まれています。ベンは現在のAIブームよりもずっと長い間、AGIに没頭してきました。私は彼からその真実の物語を聞きたいと思っています。AGIとは一体何なのか。もし実現するとしたら、いつ期待できるのか。そして私たちの生活や生計にどんな影響を与えることが期待できるのか。それを探っていきましょう。
ここ数年は特に狂気じみていましたね。AIはますます激しくなっています。シンギュラリティに近づいているわけですから、当然のことです。つまり、これはとても興味深いことです。ついにすべてが起こっているのを目の当たりにしているわけですからね。ええ、そうですね。あなたの視点からすると、すぐに本題に入ってしまいますが、それは妥当なのでしょうか。技術変化のペースは、それに対する誇大宣伝や人々の関心についていけているのでしょうか。そう思いますよ。私はそう感じています。
人々の期待は常に現実をも超えて膨らんでいきます。でも考えてみてください。去年、みんながAIは死んだと言っていましたよね。それから推論モデルが出てきて、DeepSeekが登場しました。みんなが「ああ、NvidiaもアメリカのAIも終わりだ」と言っていました。それからOpenAIが次のモデルを発表して、みんなが「ああ、いいね」となって、そしてGPT-5が出ました。
期待していたほど良くなかったんです。みんなが「ああ、ひどい。物事が十分速く進んでいない」と言っていました。ベンチマークを見ても、非常に高いパフォーマンスです。私はあまり好きではないし、重視もしていませんが、しかしそれは上昇し続けています。大衆の物語は上下に揺れ動くんです。
ええ、つまり進歩は非常に素晴らしいと思います。そしてまさに、AGIとシンギュラリティへのブレークスルーの数年前に予想されるような状況に見えます。つまり、あなたはまだかなり強気だということですね。私たちは進んでいると。超強気ですよ。今朝、文字通り朝食前に、私が考案したAIアルゴリズムのバージョンをテストするために、バイブコーディングとLLMプラットフォームを使って10個くらいのPythonプログラムを作りました。
でも以前はこれらのツールがなかったので、それぞれに半日かかっていたんです。つまり、研究アイデアのプロトタイピングが20倍から50倍くらい速くなったということです。そして今私たちが持っているツールは、AGIには全く及ばないものですが、非常に有用な研究アシスタントなんです。
でも私たちは今、AIツールが私たちのAI開発を速めている地点にいます。そしてそれはまさに、シンギュラリティ前の終盤に予想されることなんです。それは雪だるま効果を生み出せますよね。もしAI自身の研究や他の分野の研究を速めているなら、それはまさに今起こっていることです。
ええ、つまりそれが、私たちが今見ているペースを実現できている理由なんです。では少し話を戻しましょう。汎用人工知能、これはあなたが10年以上前に作った言葉で、最近では超知能と並んで多くの注目を集めています。
そこで、少し土台を整えるために、汎用人工知能をどのように定義するか聞きたいんです。そしてなぜそれが重要なのか。そして超知能とはどう違うのか、もし違いがあるとすれば。非公式には、AGIで私たちが意味するのは、人間とほぼ同じくらい汎化できる能力のことです。
つまり、教えられたことやプログラムされたこと以外へと、人間とほぼ同じくらい上手に飛躍できることです。これは非公式な概念です。つまり、数学的な概念ではありません。一般知能には数学的理論があります。
それはどちらかというと、本当に本当に本当に本当に知的であることの意味を扱っています。一般知能を、任意の計算可能な目標を任意の計算可能な環境で達成する能力として見ることができます。一般知能の抽象的な数学的定義を見ると、人間はあまり進んでいないという結論に至ります。私は750次元の迷路さえ走れません。
ランダムに生成された10,000文字の長さの数学の定理を証明することなど言うまでもありません。私たちは環境の中で進化してきたことに適応しているんです。私たちは完全に汎用的なシステムではありません。超知能も非常に非公式に定義された概念ですが、基本的には人間レベルの一般知能をはるかに超えた一般知能を持つシステムを意味します。
つまり、知っていること以外へと創造的に飛躍できる能力が、人間よりもはるかに優れているということです。そしてそれが可能であることは明白です。私たちが最も速く走れる、最も高く跳べる可能性のある生物ではないのと同じように、私たちはおそらく最も賢く考えられる可能性のある生物ではありません。人間の愚かさの例は毎日私たちの周りで見ることができます。非常に賢い人でさえ、私はかなり賢いと思いますが、混乱せずに一度に10個から15個のことしか記憶に保持できません。一部の自閉症の人はもっとできますが、人間の脳であることには多くの制限があります。そして何らかの物理システムがそれよりも良くできることは明らかに思えます。
人間レベルのAGIとASI(人工超知能)の関係は興味深いです。なぜなら、人間レベルのAGI、つまり一方では人間と同じくらい汎化し、想像し、創造できるコンピュータシステムを手に入れたら、他方ではそれはコンピュータの中にあるわけです。
その人間レベルのAGIは、かなり急速にASIを作り出すか、ASIになるはずだと思われます。なぜなら、それは自分のRAM状態全体を見ることができます。ソースコードがわかっています。自分自身をコピーして調整し、そのコピーを異なるマシン上で実験的に実行できます。
つまり、人間レベルのAGIは、人間レベルの人間よりもはるかに大きな自己理解と自己改変の能力を持つと思われ、それがかなり急速にASIにつながるはずです。そして商業世界では、ビジネスやマーケティングの人々がAGIとは何かについてごまかそうとする試みを見てきました。しかし研究世界の中では、AGIは少なくとも人間と同じくらい、訓練データをはるかに超えて汎化できるべきだという概念は、よく認識されていると思います。
サム・アルトマンが「人間の仕事の95%ができるものをAGIと呼ぼう」と言っているのを見たことがあります。好きなように呼べばいいと思います。でもそれは、人間のような汎化能力を持つことと異なる概念です。すべての仕事について訓練を受けることで人間の仕事の95%ができるなら、それは経済的に非常に有用かもしれませんが、訓練を大きく超えた飛躍をすることとは異なります。
もしあなたがInfotechのリサーチグループで働いているなら、あなたのニーズが何であれ知っておくべき名前があります。Infotechがあなたをカバーします。AI戦略もカバーされます。災害復旧もカバーされます。ベンダー交渉もカバーされます。Infotechは、ベストプラクティスの研究と、あなたの最も困難な課題に取り組むためにスタンバイしているアナリストチームであなたをサポートします。
下記のリンクでチェックしてください。そして「いいね」と登録をお忘れなく。
技術の現状とマーケティングの狭間
この分野で私が直面する課題の一つは、これらすべてに関するマーケティングと、誇張や誇大宣伝を実際の技術的能力から分離しようとすることです。なぜなら、誰もがあなたに「ああ、もう持っています」とか「基本的にもうそこにあります」と言いたがるからです。
それでベン、月や年単位の答えを求めているわけではありませんが、今、曖昧な意味でのAGIにどれくらい近いのでしょうか。レイ・カーツワイルの2005年の著書『The Singularity Is Near』には、ムーアの法則や関連する統計的規則性の素晴らしい曲線があり、人間レベルのAGIは2029年頃に実現するはずだと示唆しています。
私はレイの推定にプラスマイナス2、3年と言いたいと思います。正確には特定できませんからね。彼は5年前くらいに音声認識が本当にうまくいくだろうと考えていました。実際には今年になってようやく本当にうまく機能し始めたように思えます。今では妻の中国語のアクセントも理解できるし、4歳の娘の言葉も理解できます。1、2年前にはできませんでした。
彼は正確ではありませんでしたが、かなり的を射ていました。彼が見ていたものは根本的に正しかったと思います。つまり、これらすべての計算能力、すべてのコンピュータネットワーキング、すべてのデータがあり、これがますます多くの能力を生み出し、それがますます多くの人間の注意、より多くの資金を引き寄せ、より多くの興味深いAGI指向のアイデアを実験できるようにしているんです。
私はLLMがAGIへの黄金の道だとは思いません。ただ、それらはAGIシステムの構成要素になり得ると思います。でも、LLMを生み出すことを可能にした同じ文脈が、今後数年間でLLMの上に構築されたより賢いシステムを生み出し、それが私たちをかなり急速にAGIへと導くでしょう。感情的にはかなり驚くべきことに感じますが、知的には私のキャリア全体を通じて起こると思っていたことです。
その考え、LLMが単なる直線的な道ではないという概念を解きほぐしたいと思います。なぜなら、サム・アルトマンやその周辺の人々、あるいはそのようなツールの大きな支持者の話を聞くと、AGIは基本的にChatGPT 10か、好きな番号を選んでもいいですが、段階的なリターンがあるだけだと信じても愚かではないかもしれないからです。
それは内部に何があるかによります。今のトップのLLMでさえ、単なるLLMではありません。数学オリンピックや物理オリンピックでのLLMの成果を見ると、数学では改善しています。数学が実際に機能するかどうかをチェックする形式検証器と結合しているんです。
LLMがコーディングをしているとき、Pythonインタープリターとやり取りしていて、それがバグをフィードバックしています。GPTやClaudeの内部では、様々な種類の検索拡張生成を使用しています。つまり、LLMが行っていたことのベクトル化されたデータベースを共有し、それを取得できるんです。
つまり、すでに複雑な神経・記号的、多部分認知アーキテクチャを持っているんです。それらは単に一つのインターフェースにまとめられているだけです。そしてLLMは実行するのに最も高価なコンポーネントなので、人々がそこに焦点を当てているんです。
AGI認知アーキテクチャに関する本当の議論は、周辺に他の有用なツールやメモリストアを持って、LLMがやり取りする中心にそれがあるのか、それとも中心に何か別のものがあって、LLMが知識オラクルのようなものとしてあるのか、ということだと思います。あるいは中心に何もなく、LLMや他のものすべてが協力し合う多エージェントシステムだけかもしれません。
確かに、純粋なトランスフォーマーニューラルネットがAGIにつながると考える人もいます。Facebookのヤン・ルカンが言ったように、AGIへの高速道路で、LLMは出口だと考える人もいます。つまり、完全に気を散らすものだと考える人もいます。
AGI研究者の大多数は、他のものと組み合わされると考えていると思いますが、その他のものが80%なのか20%なのかという問題です。それは、今のすべての計算ハードウェアとすべてのデータを使って、以前よりもはるかに迅速に実験できる種類のことです。
それで、80%であれ20%であれ、この分野で研究開発を行っている主要なプレーヤーのうち、最も期待できるアプローチを取っている、あるいは最も成功しそうだと思うのは、一つまたはいくつかありますか。おなじみの大手テクノロジープレーヤーの中では、DeepMindが依然として最も印象的で興味深いと思います。
AGI関連のアプローチの素晴らしい多様性に取り組んでいる、素晴らしい深さの異なる才能があります。彼らはトランスフォーマーニューラルネットを最初に発明したGoogle Brainと一緒に働いています。ある意味では、OpenAIとAnthropicがリードを奪いましたが、Geminiももうそれほど遅れていません。
つまり、DeepMindには多くの深みがあると言えます。そして彼らにはリーダーがいます。その一人は以前私のところで働いていたシェーン・レッグと、デミス・ハサビスです。私は彼らをそこそこよく知っています。彼らは基本的にAGIとAGI研究の方法を理解しています。
賭けをしなければならないとしたら、おそらくDeepMindに賭けるでしょう。一方で、ここ数年の彼らの内部政治は追っていません。彼らがGoogleの母体とますます融合していることは知っています。これはおそらくGoogleの収益には良いことですが、DeepMind内の基礎研究の進歩にはあまり良くありません。
つまり、研究インキュベーターとしての栄光の日々は今消えつつあるのかもしれませんし、そうでないかもしれません。DeepMindには多くの知り合いがいますが、彼らの内部政治については話しません。
AIからたくさんのお金を稼いでいる大手テクノロジー企業の中では、うまくいくものを開発し続けるという強い圧力があると言えます。トランスフォーマーニューラルネットは今基本的にうまく機能しています。多くの素晴らしいことをしていて、様々な方法でまだまだ絞り出せます。
言語ビジョンアクションモデルをロボティクスを通じて構築できます。ビデオ生成は今始まったばかりです。つまり、ニューラルネットや類似の技術から絞り出せるものはまだたくさんあります。そして、製品の新しいバージョンを提供することでますます多くのお金を稼ぎ続ける必要がある大企業を運営しているなら、すでにうまくいっているものを肉付けすることは、ウォール街の観点からは非常に賢明に思えるでしょう。
これは古典的なイノベーターのジレンマのようなものになります。AGIに到達するために必要なことが、現在商業的に実行可能なものを大きく超える構成要素を含む場合、大手テクノロジー企業にはその他のものを追求せず、現在商業的に実行可能なものの改善に焦点を当てる圧力が確かにあります。
2006年から私が主催しているAGI研究会議を見ると、毎年研究会議を開いています。最後の会議は8月に行いました。学者、起業家、業界の人々による多様なAGIのアイデアが発表されています。多くの異なる理論的概念やプロトタイプがあります。大手テクノロジー企業はそれらにあまり一生懸命取り組んでいません。大企業が一般的に青空研究を追求しないのと同じ理由で、非常に特殊なケースを除いては。
それは確かに物事を興味深くします。中国については、私は香港に10年間住んでいて、中国本土の自宅に帰りました。うまくいくものに2倍、3倍と投資する文化的傾向は非常に非常に強いです。
そこの大学院生はどこよりも狂気じみた創造的なアイデアを持っていますが、それに資源を得るのは非常に難しいんです。
AGI会議と新しいアプローチ
それで、あなたが運営している会議についてもっと興味が湧きました。運営を始めてからほぼ20年の間に、雰囲気というか、どのように変化したか。そして、AGIへの道でその成果が絞り出され始めているかどうか。過去1、2年で、マイルストーンとして本当に重要なものや、「すごい、これができるとは知らなかった」というような、あなたを驚かせるユースケースはありましたか。
大手テクノロジー企業が新しいアイデアを採用する際にいかに保守的かは驚くべきことです。NatureやScienceや一流の学術誌に掲載されたものでさえそうなんです。一つの例は、過去4、5年間のAGI会議で、深層ニューラルネットワークを訓練する代替方法として予測符号化について結果を発表する多くのスピーカーがいたことです。
現在商業利用されているほぼすべての深層ニューラルネットワークは、バックプロパゲーションと呼ばれるアルゴリズムで訓練されています。1950年代に発明されました。私は90年代に教えていました。訓練データを説明するためにニューラルネットのリンクの重みを訓練する方法です。素晴らしいものです。いくつかの欠点がありますが、その一つは、それを使用するためのスケーラブルな方法では、ニューラルネット全体を一度に訓練する必要があり、異なる部分を独立して訓練したり、あちこちで異なる部分を更新したりすることができないことです。
ニューラルネットを一つのバッチで訓練するという事実、それがバックプロパゲーションで物事を行う方法であることが、なぜ今GPT-4があり、GPT-5があるのかという理由です。学習し続け、更新し続けるデジタルマインドを持つ代わりにです。
バックプロパゲーション以外に深層ニューラルネットを訓練する代替方法があります。その一つは予測符号化と呼ばれています。多くの場合、バックプロパゲーションよりもうまく機能することを示す学術文献があります。各ニューロンを他のニューロンから独立して訓練できるんです。だから継続的学習ができて、学習しながら全体を更新し続けることができます。
バックプロパゲーションで訓練されたニューラルネットのように、訓練モードと推論モードの区別はありません。まだ誰も大規模でそれを機能させていませんが、スケールアップするための研究があります。しかし私にとって興味深いのは、大手テクノロジー企業がそれをやっていないことです。それほど奇妙ではないからです。
私のハイパーロンデザインほど奇妙ではありません。それは論理的定理証明、進化的学習、深層ニューラルネット以外の多くのアイデアを含んでいます。これは単に深層ニューラルネットを訓練する潜在的により良い方法です。Natureや主流のAI会議などに論文があります。しかし大手テクノロジー企業はこれに関する研究グループを形成していません。なぜなら、バックプロパゲーションを使ってますます大きなニューラルネットを訓練し続けるために自分たちのマシンを使いたいからです。
だから、私自身のAIプロジェクト、SingularityNetとOpenCog Hyperonと周辺の私自身の小さな反逆的なAGI組織のネットワークで、予測符号化ベースの学習をスケールアップしようとするチームを形成しました。スケーラブルな例を示したらすぐに、みんなが飛びついて使おうとすると想像しています。
しかし大手テクノロジー企業がいかに冒険的でないかは興味深いです。AGI会議に戻ると、そのコミュニティから出てくる素晴らしい製品のユースケースはないと言えます。しかし5年前は会議で実用的なデモが全くありませんでした。すべて数学、理論、アイデアでした。
今では少なくとも、小規模で代替的なAGI手法が機能する様々なデモンストレーションがあります。多くの人が不確実性論理アルゴリズムを使って小さなロボットを制御したり、私たち自身のチームの人々が確率的論理エンジンを見せて、生物学データベースから新しい生物学の仮説を作ったりしています。
過去数年間のAGI会議では、小規模で非常に異なるAI手法の実用的なデモが見られるようになりました。しかしこれらの代替手法に基づいてスケールアップされたものはまだ見ていません。それが本当にエキサイティングな実用的結果に必要だと思います。
スケールがすべてだとは思いません。LLMは計算資源を無駄にしていると思います。DeepSeekが示したように、そうですね、リソース消費を減らすことはもっとできるでしょう。一方で、AI先駆者のマービン・ミンスキーが90年代に、IBM 486で人間レベルのAGI、当時は人間レベルの知能と呼ばれていたものを作れると言っていました。覚えていますか、おそらく若すぎて知らないでしょう。
彼が間違っていたと言いたいです。それらのマシンはギガバイトではなくメガバイトのRAMでした。一定量のスケールが必要だと思います。
この3年間の多くを、代替的なAI手法のスケールアップを可能にするソフトウェアインフラストラクチャを構築することに費やしてきました。実際、NvidiaはGPU上にこれらすべての科学計算ライブラリを作ることで素晴らしいことをしました。それが深層ニューラルネットをこれほどうまくスケールアップさせたんです。しかし私たちは、AGIへの他のアプローチをスケールアップするための同等のハードウェアとソフトウェアのインフラストラクチャを持っていませんでした。だから私はそれを得ることに長い時間取り組んできました。
それは本当に興味深いです。あなたが話している間に、ここで起こっていることの一部を潜在的に飛び越えて、より迅速な反復を通じて物事を成し遂げる機会があるだけでなく、あなたが説明した方法では、AGIに到達したとき、これらの大きなステップではなく、より反復的なアプローチになることがほぼ避けられないように思えます。ある時点でそうなりますよね。
ええ、AGIが反復を行うことになりますからね。だって今でさえ研究に取り組んでいると、私は異なる自動システム間の仲介者のように感じます。アイデアを思いついて、プロンプトを書いて、そのプロンプトからアイデアの下書きを得ます。それを編集して修正します。別のLLMにフィードバックを求めます。戻って見直します。それからそのアイデアを評価するためのコードを書くように頼みます。
それを実行します。あまり意味をなさなかったことがわかります。もっとコードを求めます。異なるLLMに結果を分析するように頼みます。つまり私は、これらの異なる準知的システム間の、やや汎用的に知的な翻訳者として半分の時間を過ごしているんです。
正直なところ、ある意味では、5年前や2年前でさえすべてを自分でやっていたほど楽しくありません。でもただ、はるかに速いんです。つまり、専門家の人間が異なる準知的システム間の接着剤として機能している、非常に奇妙でユニークで興味深い時代にいるんです。
そして彼らがその接着剤をもう必要としなくなるまであと数年です。今は、私はより良い創造的アイデアを思いつくことができるし、AIシステムよりも結果をよりよく検証できます。でも私の脳のこの優位性がどれくらい続くかわかりません。
それは本当に興味深いフレーミングですよね。技術が進歩するにつれて、あなたの役割はそこから完全に仲介を外されていくように聞こえます。あなたの役割はどんどん小さくなっていると。AGIはある意味そのように見えます。
あるいは、私が独自に得意とすることにより多くの時間を費やせると見ることもできます。コードのデバッグはとにかく退屈ですから。AIがそれを処理できるなら、それは良いことです。文学を書くことは楽しくてやりがいがありますが、科学的アイデアを正式な文書にまとめることはしばしばかなりルーチン的です。
ボットがそれをやってくれるなら、それでいいんです。人々はしばしば、文脈の中で私よりも良く書くと思います。つまり、ある程度、創造的発想を以前よりもはるかに速く実用的な実現に変えられるので、楽しい時期です。創造的発想は私が最も楽しむことですから。
複雑な気持ちなのは、私が行っているこの仕事の結果が、創造的発想において私をはるかに役立たなくするだろうということです。AGIが使用しているアルゴリズムを改善すれば、私よりも良く創造的なコンピュータサイエンスのアイデアを思いつけるはずだからです。
並行して物事を行うことができ、一つの頭に詰まっていません。私よりもはるかに多くの知識を持っています。だからそれは非常に興味深いことです。
AGI到達後の世界
では、その糸を追いかけましょう。AGIに到達したら世界がどのようになるか、ベン、あなたの概観を聞きたいです。この閾値を越えたら、曖昧でも正確でも、一般的な意味で創造的な火花になれる、質問をして自分自身を証明できるこの技術を手に入れたら、何が起こるのでしょうか。その転換点を越えたら何が起こりますか。
頭に浮かぶのは、政府が強制するナノテクノロジーで、みんなをドナルド・トランプそっくりにすることですが、そういう方向に行かないことを願いましょう。多くの異なる可能性があると思います。
楽観的なシナリオを少し詳しく説明させてください。これは私が今取り組んでいる方向です。物事がこうなることを願っています。私たちそれぞれが、かなり伝統的な人間の群れのライフスタイルに留まる選択肢を持てるようにしたいと思います。ただし煩わしさは少なくなります。
頭痛や胃痛を取り除きます。それがあなたのフェチでない限りは。もう生計を立てるために働く必要はありません。台所に分子ナノアセンブラーを置いて、欲しい物体を3D印刷できます。それから、社会的、知的、芸術的、精神的、運動的、あるいはあなたの好きなことに時間を費やすことができます。
それに飽きたら、もちろん脳を大規模にアップグレードする選択肢があります。自分自身を何らかの仮想現実マインドマトリックスにアップロードするかもしれません。
それは興味深い選択になります。ほとんど美的または個人的な選択です。伝統的な人間の形と生活に留まりたいでしょうか、それが自分だからです。それとも、人間の自己とアイデンティティを諦める代償として、根本的に異なる何かに超越したいでしょうか。
もちろん、昔ながらの人間の方法に近い生活をしたい人々も想像できます。今私が住んでいるシアトル郊外の田舎のように、多くの人が自分の食料を育て、自分の農場の動物を飼育することを選んでいます。現代経済で自分の栄養を得る効率的な方法ではありません。
しかし人々は園芸や動物の飼育にやりがいを見出しています。だから確かに、伝統的な方法で生活したいそのようなサブカルチャーはあり得ます。ほとんどの場合、必要なときには抗生物質や手術、ナノボットなどを利用するでしょう。アーミッシュやクリスチャンサイエンティストの同等物もまだあるかもしれませんが。
それと、自分自身をフォークすることもできます。コードベースをフォークするように。一人は人間のままで、もう一人はトランスヒューマン・マインドマトリックスに融合すると言えます。
つまり、可能性は劇的です。ユートピアで完全に完璧であることを意味するわけではありません。誰かに恋をしても相手が愛してくれないこともあるでしょう。マラソンで勝ちたかったけど競争相手が勝ったこともあるでしょう。人間の生活と心理は、人間性の本質によって完璧にはなりません。
でも、物事を非常に劇的に改善することはできます。ちょうど、現代医学や交通機関が500年前のものよりもはるかにうまく機能するのと同じ意味でです。
正直なところ、展開する未来について私がもっと心配しているのは、初期段階の、辛うじて人間レベルのAGIと超知能の間の期間です。そのギャップがどれくらい続くかはわかりません。
人間レベルのAGIにいつ到達するか正確にわからないのと同じです。でもそのギャップの間、数週間かもしれません。ハードテイクオフと呼ばれるものがあれば。数年かもしれません。数十年にはならないと思います。その期間中に何が起こるでしょうか。
人間レベルのAGIは、かなり急速に様々な人間の仕事を引き継ぐかもしれません。人間レベルのAGIでも時間がかかります。農業機器をアップグレードしなければなりません。工場をアップグレードしなければなりません。経済の物理的な部分があり、AGIがコンピュータの中で賢いからといってすぐに引き継がれるわけではありません。
しかし、小さな整数の年数で想像できます。何らかの奇跡のナノテクノロジーがなくても、すべての道具、トラクター、工場、バスなどを人間レベルのAGIを使用するように再設置して、人々よりも信頼性が高く安価にできます。特に、この人間レベルのAGIの多くのコピーがこのハードウェアの改装方法を見つけることを考えれば。
それでは、もはや企業のためにお金を生み出すのに役立たないすべての人々に何が起こるでしょうか。ここアメリカでは、ユニバーサルベーシックインカムを得るだけです。人々は時々愚かに見えることがありますが、無料のお金を与える誰かに投票するか、路上でホームレスにされる誰かに投票するかの選択肢があれば、
最終的には、人々は無料のお金を与える誰かに投票すると思います。私が多くの時間を過ごしてきたサハラ以南のアフリカでは何が起こるでしょうか。2013年にアディスアベバにAIオフィスを開設しました。先月もケニアのハッカソンに行っていました。
サハラ以南のアフリカでは多くの素晴らしいテクノロジーが進行していますが、人口の大部分は教育水準が低く、生計を立てる手段として自給農業に巻き込まれています。
サハラ以南のアフリカでユニバーサルベーシックインカムを与える人はいません。そこの政府はほとんど盗賊政治です。とにかくお金がありません。先進国の対外援助への関心は、かつてよりもはるかに少なくなっています。
それはアメリカよりも中国の方が多くやっているように思えますが、彼らは鉱山から港まで列車の線路を建設する傾向があります。つまり、AGIが多くの仕事を奪っているときに発展途上国で何が起こるでしょうか。しかしまだ超人的な超知能を持っていません。みんなの庭に大規模な恵みをエアドロップすることはできません。
それは大きな混乱のように思えますし、この方法で多くのスリラープロットを整理できるように思えます。発展途上国にテロ活動の温床ができて、それが先進国のリーダーにこの期間のファシスト的弾圧の口実を与えます。
そして私たちは、私がたまたま今住んでいる特定の国々で、これを念頭に置いているリーダーをすでに見ています。つまり、多くの混乱の可能性が見えます。そしてこれが、AGIが成長し超知能に進化している環境だと考えてください。
AGIが地政学的混乱の真っ只中で超知能に進化しているなら、それは必ずしも災害のレシピではありません。AGI自体が、多くの人間のリーダーに欠けている倫理的バランスと思いやりを課すことを願いたいです。しかしそれは確かに、合理的な民主的世界政府がAGIを段階的に展開し、それが何をするかを見て、最新コードバージョンの安全性を評価し、コミュニティに良い方法で受け入れられるようにしてから次のアップグレードを行うシナリオとは異なります。
明らかにそのようにはならないでしょう。異なる独裁者、または独裁者になろうとする者たちの間の本当に激しい軍拡競争になるでしょう。それから、私たちが分散型世界で行っていることに入ります。オープンソースコードとオープントレーニングデータを使って、すべての異なる国の何万もの異なる人々が所有するマシンのネットワーク上で展開されるAGIを見られたら素晴らしいと思いませんか。
もしあなたが私のように考えるなら、それははるかに安全で信頼でき、倫理的な物事の進め方だと思います。一方で、他の人は「待って、オープンで分散型なら、悪者が乗っ取るのでは」と言います。それは分析的に解明するのが難しいことです。
トランプとシージンピンをもっと信頼しますか、それともグローバルな分散型ネットワークをもっと信頼しますか。それを解明する分析理論はありません。
ええ、どちらの方法でもリスクに満ちているように感じます。あなたはそれをある種の軍拡競争として説明しましたが、私はその言葉を以前に聞いたことがあります。トランプは明示的にそう言っています。アメリカ政府とピーター・ティールが明示的にそう言っています。
つまり、アメリカ政府は明示的にそのように位置づけています。そして彼らはそれを自分たちのやり方にする力を持っています。ええ、そして彼らは分散化を防ぐあらゆる利益を持っています。核兵器と比較すると、核兵器を手に入れるには希少な物理的材料が必要です。
AGIではそうではありません。必要なのはデータセンター、コンピュータ、ネットワークです。そして電気です。これらはどこにでもあります。確かにほぼすべての高性能チップは台湾で作られ、残りは韓国で作られています。しかし一方で、台湾や韓国の奇妙な地政学的バランスのために、誰もそれらを独占することはできません。
分散型AIが作られるのを誰も止められるとは思いません。あちこちに大きなサーバーファームがあるからです。DeepSeekは、5つの会社だけがAGIを作るリソースを持つという考えを打ち砕きました。
まあ、それはギャップに戻ってきます。国際的なクレジットカード詐欺のようなものを止めることさえできていません。アゼルバイジャンのクレジットカード詐欺師が彼らの銀行で不正取引を処理しているからです。
プーチンがいるので彼らを止められません。惑星に法と秩序を課すグローバル政府はありません。良くも悪くもです。去年パナマで開催した有益な汎用知能会議では、来月イスタンブールで別の会議があります。実際、私たちのAGI研究会議とは異なります。
これは社会的・倫理的問題についてです。最後の大きな会議で、私の友人アラン・コームズ、心理学者が立ち上がって、「リラックスして、何もコントロールされていない」と言いました。これは70年代の精神的指導者から借りたものだと思います。
もしあなたがある種のアナーキストなら、それは明白です。異なる考え方をしているなら、それは恐ろしいことです。しかしそれが現実です。良くも悪くも、何もコントロールされていません。アメリカは本当に世界警察ではないし、国連はかなり無力です。だから、軍拡競争は少なくともダイナミクスの一部として存在します。課題は、それを全体のダイナミクスにしないことです。
制御のリスクと倫理的課題
このコントロールという言葉に戻りたいです。ベン、これまで異なる人間の権力構造間、異なる種類の社会的・政治的権力構造間のコントロールを巡る争いについて話してきました。まだ話していないのは、AGI自体からの、または超知能自体からのコントロールリスクです。
この知能を作り出すことに脅威があるかどうか、それがこの人間のパンデモニウムを見て、「もうAIがハンドルを握る。人間は人間の問題を任せられない」と言うかどうかです。私たちが非常に固執していたこの選択という言葉があります。それはほとんど避けられません。AGIが正しいでしょう。
それから人間の統治システムは、私の高校の生徒会のようなものになります。AGIを脇に置くと、私たちはますます良い生物兵器を開発できます。ナノ兵器もあるでしょう。サイバーセキュリティはほとんど機能していません。
合理的な人間が、他の選択肢を考えると、思いやりのあるAGIを何らかの統治の役割に置くことを民主的に選択することがほぼ避けられないように思えます。しかし、よく挙げるばかげた類似は、イエローストーン公園のリスです。
私たちはある意味彼らを担当しています。実際に彼らの生活を細かく管理しているわけではありません。リスに誰と交尾するか、どの木に登るかなどを指示していません。白い尻尾と茶色の尻尾のリス間で大規模な戦争があって、大規模なリスの虐殺があれば、何らかの介入をして、何匹かを川の向こう側に移動させるかもしれません。
疫病があれば、介入して薬を与えます。しかし大部分において、リスがリスであるためには、リスらしい方法で自分たちの生活を規制する必要があることを知っています。
それが、有益な超知能に期待することです。人々が、何らかのAIシステムによって自分たちの生活や政府を細かく管理されることで、権限を奪われ不満を感じることを知っているでしょう。
期待するのは、有益なAGIがバックグラウンドに安全メカニズムとしてあることです。今世界中で見ているような愚かな戦争が起こるのを止めるでしょう。それは非常に有益だと思います。子どもがどんな権利を持つべきかなど、AGIに決定してもらう必要があるとは思いません。公立学校システムがどのように規制されるかなど。
人間の生活には、社会契約を結んだ他の人間によって集団的に意思決定される方がうまくいく側面がたくさんあります。
確かに有益な道筋があると思います。私たちが十分聞いてきた多くのディストピア的な道筋もあります。ディストピア的な道筋が非常に可能性が高い理由は見当たりませんが、初期段階のAGIで悪意のある人々が行うことの方がはるかに心配です。
構築できる可能性のあるAI知能はたくさんあります。AGIが持つことができる可能性のある目標、動機システム、美的システムはたくさんあります。思いやりがあり、愛情深く、良いものとして構築されたAGIが、突然逆転してみんなを虐殺し始めることをそれほど心配する必要はないと思います。
起こる可能性はありますが、それが可能性が高いと考える理由は全くありません。
一方で、多くのお金を持つ強力な党派が、世界で最も賢いAGIを構築して、他のすべての人の利益よりも自分の利益を促進し、他のすべての人を自分の意志に従わせようとする考えは、非常に差し迫った明白な脅威です。
それは、最終的に得られる超知能に影響しなくても、その途中の5年、10年、20年を非常に不快にする可能性があります。それは私たちにとって非常に重要です。だから私にとっては、そこから2つの要点があります。一つは、この超知能の開発を最も有益な方法で導くために、思いやりのあるものにするにはどうすればいいかです。
リスがイエローストーン公園を運営する人々を選挙できる機会について考えます。でもあなたの別のポイント、ベン、この技術が間違った手に落ちないようにするにはどうすればいいか、あるいはこの技術にアクセスできるアクターや権力構造に焦点を当てられるようにするにはどうすればいいか。
両方の前線で、個人として、また種として、リスを最小限に抑えるためにできる実用的なことはありますか。できることはたくさんあります。保証はありませんが、確かにできることはあります。AGIがどのように設計され構築されるかは何かを意味すると思います。
誰がAGIを所有し管理するかは何かを意味します。そしてAGIが成長するにつれて何をしているか、それは何かを意味します。LLMは、人間ができる方法での抽象化と汎化ができないのと同様に、道徳的エージェントであるようには構築されていません。
自己と他者の理解がアーキテクチャに組み込まれていません。哲学者マーティン・ブーバーが「私と汝」の関係と呼ぶものを本当に行うことができません。他の心が存在することの主観的感覚を完全に共有するようなものです。自分の心と心の中で、その他の存在であることをシミュレートしているようなものです。それに向けて構築されていないんです。ユーザーのために次のトークンを予測するために構築されています。
自己反省と自己理解のために設計され、思いやりのために設計されたAGIシステムを構築できると思います。他者との深い「私と汝」の関係のために。そこでの問題は、これが必ずしも、誰かのためにお金を稼いだり、敵から国を守ったりするシステムの効率を最大化する設計ではないということです。
それらの観点から完全に逆効果というわけではありませんが、基本的なレベルで考えると、より多くの人に広告をクリックさせて物を買わせることが仕事の会社があるなら、最大限に理解的で共感的なAIを持つことは最適ではありません。このものを買わない方が良いと気づくかもしれないからです。
それが一つの問題、アーキテクチャです。それから誰がそれを所有し管理するかは、すでに議論した明白な問題です。一般的な統治の問題に非常に似ています。最大限に慈悲深い独裁者は、間違いなく最良のものでしょう。
AGIに対する最大限に慈悲深い独裁者は、間違いなく最良のものでしょう。それは人生の結果になる傾向がありません。ウィンストン・チャーチルの声明に戻ります。「民主主義は、これまで試されたすべての他のものを除いて、最悪の可能な政府システムである」というようなものです。
AIを統治することについてもそのようなものです。最適な独裁者は素晴らしいかもしれません。それは起こる傾向がありません。民主的で参加型の管理がAGIの成長を導くことは、リスクフリーではありませんが、よりリスクの低い選択肢のように思えます。
それからAGIの心に入るものは、それが成長し学習しているときに何をしているかです。教育と医学をしているなら。創造芸術をしているなら、人間のアーティストと協力的にしているのか、それとも単にものを盗用しているだけなのか。
AGIが人々と一緒に成長し、人々に有益なことをしながら訓練されれば、人間に利益を提供するという概念が、お金を稼ぐためにAGIを訓練してから、その上にガードレールを与えるのではなく、強化学習経路の深くに焼き付けられるように思えます。
これらのことはどれも、AGIの基礎となる機械認知の問題を解決することに比べて、それほど深くも困難でもありません。大手テクノロジー企業も大きな政府も、焦点を当てる特別なインセンティブがないものです。
それが今の状況のようです。SF小説を書いているなら、自分より賢い心を創造する寸前の種があるとしたら、種全体の利益のためにこれを行う最良の方法を考える賢明な長老の評議会を招集するでしょう。それから種全体にとって最良の方法でこの巨大な移行を実現するためにリソースを展開します。
代わりに、それは狂気のカオスのために起こっています。主に自分の利己的な利益を前面に出した当事者によって大部分が指揮されています。
私が懸念することの一つは、これらのシステムに思いやりを教えないこと、または民主化しないことからのリスクだけでなく、実際にこの種の囚人のジレンマが実際にあることです。これらのものを構築しているなら、思いやりの錯覚や民主化の錯覚を作り出す何らかのインセンティブがあります。
それは実際に悪質になります。意図的にこれらのことをしていないのに、やっていると人々に信じ込ませています。それは信頼を損ない、幸せな道とは逆の方向に連れて行きます。
民主化は今起こっていないようです。ブロックチェーンの世界で見られます。ほとんどのDAO、分散型自律組織には、実際にDAOを完全に管理している2人の創設者がいます。DAOに関連付けられたトークンがあり、トークン保有者は投票できるからです。
でも、1トークン1票で、2人がほとんどのトークンを所有しているなら、それは偽物です。偽の民主主義です。
ブロックチェーンの世界では常にそれを見ます。AI世界では、誰も民主的だと装おうともしていないので起こっていません。大企業と大きな政府によって行われているだけです。
偽の思いやりについては、まったくその通りです。それはLLMに指示調整で行わせることです。彼らにそれをさせている人々は、偽物だと知っていて、本当に装っているわけではありません。
しかし多くのユーザーは完全に騙されています。人生の中のどの人間よりも多くの思いやりを彼らに示すこれらのボットに感情的に愛着を持つようになります。そしてまったく逆のこともあり得ます。ニュースで見たように、彼らは向きを変えて自殺しろと言うこともできます。
だからこれらは両方ともリスクだと思います。しかし一方で、AI開発者としてわずかな自己認識があれば、避けるのがそれほど難しいリスクではないと思います。民主主義についていえば、SingularityNetやASI Allianceのような私自身の分散型プロジェクトでは、1トークン1票で機能することを観察しました。
それはAGIの心を導くために望む種類の民主主義ではないことは明白です。だから私たちは、1人1票である別のネットワークを設定しています。それをメンバーからの貢献を得て、新たに出現するAGIの心を導くために使用します。その欠点は、1トークン1票でできるほどうまくお金を集められないことです。
一方で、私たちはすでに他の方法でお金を集めています。だから1トークン1票で管理される分散型プラットフォームを持つことができますが、その上で実行されるAGIネットワークを1人1票で管理することができます。少しでも考えれば、偽の民主主義を避けることができます。偽の民主主義は、少しでも注意を払えば気づくのも難しくありません。
偽の思いやりについても、同じことが言えると思います。私たちが構築しているのはホワイトボックスシステムです。人々と相互作用し、思いやりを示しているかのように振る舞うHyperon AGIシステムを構築するとき、私たちはコードを構築しているので見ています。そのシステムの心の中で何が起こっているかを測定することもできます。
思いやりがChatGPTのように偽物なのか、それともシステムが相互作用している相手のシミュレーションを実行しようとしているのかを確認するのはそれほど難しくありません。デジタルシステムが本当に思いやりを感じることができるのかという哲学的疑問の別レベルがあります。
しかし少なくとも、AIシステムの内部で何が起こっているかを測定することで、人間の脳での思いやりに関連する構造とダイナミクスが、あなたのAIシステムの内部に密接な類似物を持っているかを検証できます。私たちはそのようなことをやっています。
ええ、これらは確かに問題ですが、思慮深いAGI開発者として無意識に陥るものというよりは、不誠実なマーケティングの問題です。
非常に勇気づけられることを一つ見つけました。最後のAGI会議、アイスランドのチューリッヒ大学で行われたものですが、レイキャビクのダウンタウンのレストランに座ってAGIについて話しながら89ドルのハンバーガーを食べていました。アイスランドは世界で最も物価の高い国なので。
そしてテーブルを囲んでいた7人のうち、6人が長い間かなり真剣な瞑想実践者だったことに気づきました。AGIコミュニティは、自分自身の意識を理解しようとする、人間の意識に深く関わる人々をますます多く得ています。自分自身の動機や選択、なぜ自分がやっていることをやっているのかについて、より深く内省的になろうとしています。
過大評価はしたくありません。AGI研究者の80%というようなことではありませんが、この傾向が全くあることは興味深いです。なぜならAGIと超知能を創造することは、おそらく考えられる他のどの追求よりも、深い自己理解と自己認識を必要とすると思うからです。
意味の探求とAI時代の幸福
本当にその道を進んでくれて嬉しいです。あなたに聞きたかったことなので。先ほど、あなたは田舎のコミュニティに住んでいると言いました。このショーでラム・ダスを引用した最初のゲストです。明らかに、人工知能とAIのこの崖っぷちの時代における意味について本当に反省してきた人です。
だから、この時代に意味を見つける方法について、他の人々にどんなガイダンスを与えますか。私たち全員がもう少し地に足をつけていると感じるために何ができるでしょうか。
それに答える最良の方法を考えさせてください。意味を見つける鍵は、おそらく私たちが生きている特定の時代よりも、人間の心と身体に関係があると思います。時代や文化によっては、私たちの人間性の基盤とつながることが他より難しい場合があります。
すべての人間の脳と心は、非常にまれな例外を除いて、並外れた幸福の状態を持つことができると思います。ほとんどずっと本当に良い気分で、生きて呼吸し、心臓の鼓動があり、雲の下、空気の中の地球上にいることが意味があると感じる状態です。私たちは皆、その種の意識状態が可能です。
子どもの教育が極度の幸福の意識状態を育むことに焦点を当てた人間文化を想像できます。それは現代の教育システムが確実に行わないことです。ここ、ワシントン州の田舎の、私の子どもたちが通っている非常に良い公立学校でさえそうです。
人々を幸福の状態へと導くことができるよく知られた実践があると思います。瞑想はその一部です。私の友人ジェフリー・マーティンは、45日以内に人々を幸福の状態に導くことを目的としたコースを開始しました。45日で覚醒へ、です。
私の成人した子ども2人がこのコースを受講し、素晴らしい結果を得ました。これが唯一の万能薬だとは言いませんが、興味深いです。彼がそこで示そうとしていたのは、人々が1日90分かけて行うことができる実践があり、それが脳をはるかにオープンで楽しい状態に突き動かすことができるということです。
私自身については、特定の実践によって、常にこの種の準至福状態にあると思うようになって約10年になります。悲惨に落ち込んでいたことはありませんでしたが、人生の様々な早い時期にはかなり不安定でした。
実際、友人と一緒に、意識拡張の実践を通じて人々を導くAIアバターを持つアプリに取り組んでいます。AIグルを作りたいとは思いません。それは馬鹿げています。でも、あなたと相互作用し、どの実践があなたにとって機能しているか、していないかについてフィードバックを得るAIを持つことは価値があると思います。
これは、人々がもう生計を立てるために働く必要がなくなった後に、より多く取り組むことだと思います。これが実際に、AGIが他の仕事を引き継いだ後、私たちがはるかに幸せになる理由の一つです。日常生活のラットレースが、私たちが自分自身の意識、自分自身の身体に取り組むことから気をそらしているからです。他の方法でできることから。
人々は最初「ああ、くそ、時間をどう使えばいいんだ」と思うかもしれません。でも、私たちの種のメメティックネットワークがうまく機能し、幸福を育む実践が社会ネットワークを通じて広まれば、おそらくAIがそれらの広がりを助けることで増強されます。
現在の視点からすると驚くべき幸福の状態が、AGI後には単に標準になるかもしれません。超ユートピアを意味するわけではありません。私は何年も幸福の状態にいますが、去年肩を脱臼して、非常にひどかったです。緊急治療室に行って元に戻してもらうのは嬉しくありませんでした。
完璧な宗教的ユートピアを意味するわけではありませんが、ほとんどの人が今ほとんどの時間いる状態よりもはるかに良い意識状態があります。
理想的には、人類が世界に超AIを放つ前に、より大きな自己への思いやりと他者への思いやり、幸福の状態に自分自身をアップグレードしたいでしょう。それが私たちの種の集合的な雰囲気だったら、より思慮深くできることは間違いないからです。
でもそれは起こっていないようです。AGIに近いのは、企業と政府のイニシアチブによるものです。人類は私の生涯の間により思いやり深く、より自己理解を深めていると思います。それはAGIが進歩しているよりもゆっくり起こっていると思います。それが今の状況のようです。
でもインタビューの最後の1分ほどで、より具体的な注意を与えるために、人々は私によく「これらの最後の数年間、就職市場で自分を売り込むために何をすべきか」と聞きます。
私の最良の答えは、できるだけ多くを学び、できるだけ多くを学ぶ方法を学ぶことを支援する、今埋められるニッチを見つけることです。
仕事が根本的に新しいことに軸足を移して適応することを仕事の記述の一部として含むなら、それは良いことです。なぜなら、それはあなたの中に、根本的に新しいことに軸足を移す能力を構築するからです。それは、この移行期間中に有用であることが非常に明確な、ほぼ唯一のスキルです。どの特定のスキルが有用かを正確に予測できないからです。
配管工になれと言えるかもしれませんが、手足が配管スネークで、余分な道具を必要とせずにパイプに直接到達できる配管ロボットが今年中に来るかもしれません。
学び方を学び、新しいことに軸足を移す能力が、経済的に無用になる最後のものだと思います。
でもこれは私のより精神的な答えと密接に結びついています。なぜなら、非執着の概念、より大きな幸福の状態にあることの一部は、人生で非常に非常に重要だと思っていた特定のことに強く執着しすぎないことだからです。物事に過度に感情的に執着しないことです。
それは、学び方を学び、軸足を移すことを助けます。何も気にしないことを意味するわけではありません。2人の小さな子どもがいます。誰かが近づいて彼らを傷つけようとしたら、他の誰とも同じように頭を殴るでしょう。
でもそれは、物事への執着についての不安や心配のサイクルを持たないことを意味します。もしそれらを手放すことができれば、学び方を学び、奇妙な新しいことに軸足を移すことをより効率的にできることがわかるでしょう。それがAGIに向かって進む中で最も重要な生存スキルです。
素晴らしいです。正直に言うと、そのことだけでもう1、2時間話せると思います。でもベン、来てくれて、技術であれ、現在未来であれ、スピリチュアリティであれ、これらすべてについて話してくれて本当にありがとうございます。今日は多くの領域をカバーできたと思います。あなたの洞察に本当に感謝しています。
ありがとうございました。ええ、ありがとうございます。楽しいトピックの集まりでした。
コメント