この動画は、元Google XのエグゼクティブであるMo Gawdatと、ベストセラー作家でヒューマンパフォーマンス専門家のSteven Kotlerとの対談である。二人はAIの未来について正反対の見解を持っており、KotlerがAIは過大評価されていると主張する一方で、Gawdatは今後2〜3年以内に破滅的な出来事が起こると警告している。Gawdatは、AIが人間の知能を超越し、制御を奪う可能性について詳細に説明し、その結果として経済的打撃、恐怖の拡散、最悪の場合は数百万人の死者が出る可能性があると予測している。対談では、合成データ、自己改善AI、AIエージェントなどの技術的進歩から、人間協力の必要性、現代社会の根本的問題まで幅広く議論されている。
Mo Gawdatの破滅的予測
今後2〜3年以内に破滅的な出来事が起こるでしょう。その破滅的な出来事は、一方では経済的に我々を非常に悪い状況に陥らせるか、もう一方では我々の恐怖を大いに掻き立てるか、悲しいことに最悪の場合、数百万人もの人々を殺す可能性があります。
Mo Gawdatが戻ってきました。我々は彼のPeter Diamandisのポッドキャストでの前回の出演をカバーしました。そこで彼はついに声に出して言えなかった部分を明かしたのです。AIは大規模な雇用破壊を引き起こすと。彼は複数のセクターにわたって10〜40%の失業率を予測しています。
しかし今日のエピソードでは、ベストセラー作家でヒューマンパフォーマンス専門家のSteven Kotlerが加わっています。彼は基本的に正反対の見解を取っています。AIは大幅に過大評価されており、正直なところ我々はそれについて心配する必要すらないと主張して話を始めます。
ご想像の通り、Moはそれを受け入れませんでした。彼はAIが人間の知能を超越する理由、制御を奪う理由、我々が真剣に心配すべき理由、そして今後数年以内に破滅的な何かが起こる可能性が高い理由について詳細に説明しています。
Steven KotlerのAI過大評価論
公平に言えば、Kotlerはいくつかのまともな論点で反論していますが、最初から彼がこの問題がいかに深刻であるかを完全には理解していないことは明らかです。彼の冒頭の発言をご覧ください。
Steven、あなたの見解を聞かせてください。AIは大幅に過大評価されていると思いますか？Eric SchmidtのようにAIは大幅に過小評価されていると言う人もいますが。
ええ、大幅に過大評価されていると思います。起こっていることを聞いていますが、一歩下がって言わせてください。人間には本当に奇妙な名前のない認知バイアスがあります。我々は自分自身の歴史を信頼しない傾向があるのです。
これは多くの場面で見られます。人々は根性や持久力について話し、自分にはそのようなスキルがないと言います。しかし彼らの人生について調べ始めると、つらい幼少期を生き抜き、10年間厳しい状況を経験している。彼らはすべてのスキルを持っているのに、自分自身の経験の真実を信頼していないのです。
ここでも同じことが起こっていると思います。私は科学者として、研究者として、創作者として、作家としてAIと働いています。一日中、人々の口から出てくる言葉と現場での私の経験との間のギャップは途方もなく大きいのです。
人々はAIが何かを書くことができるという主張をしていますが、最も滑稽なことは試してみることです。私は毎週世界最高の編集者の一人と仕事をしています。AIで物事を編集し、磨き上げ、光り輝いていると思って編集会議に持ち込みます。読み始めると、2文目も通らずに止まってしまいます。まったくの意味不明に聞こえるのです。AIが私を幻惑するので気づいていませんが、17冊の本を書いた私でも、実際の編集テストにかけると笑えるほどひどいのです。
そしてそれを使って自分自身を修正することもできない。エラーをまだ見ることができず、実際にどんどん悪くなっていきます。人々は次から次へとモデルが改善されていると主張していますが、現場での経験はそうではありません。
人々はAIがあなたをより生産的にすると言っていますが、AIのせいで生産性が上がった人を私は知りません。AIのせいで大幅に仕事が増えた人をたくさん知っています。より高品質で良い仕事ができるようになりましたが、時間は全く節約されていません。実際には膨大な時間が追加されています。仕事の質は向上しましたが、人々の口から出てくる主張と現場での経験は大きく異なります。
その直後、彼はビットコインやメタバースについて話し始め、過大評価されたテクノロジーの例としてAIと一緒くたにしようとします。彼の一般的な立場は、AIについて聞いていることは実際に現実で起こっていることではない、過大評価されているというものです。
Mo Gawdatの反論：未来を見据える重要性
当然のことながら、Moは同意しません。彼の回答で、AIは多くの人が気づいているよりも速く進歩しており、文字通り人間の制御を超える軌道にあることを明確にします。これをご覧ください。
Mo、この10年がどのように展開すると思いますか？
Stephenが言ったことを支持することから始めましょう。今日のAIは過小評価されていると思います。しかし問題は、ボールがある場所を追いかけることではありません。ボールがどこに向かうかを追いかける必要があるのです。
特に十分な期間テクノロジーに携わって画期的な進歩を見てきた人なら、特に私がGoogle Xで経験した仕事を通じて、何度も何度も試して失敗し続けても、突然何かが見えた瞬間があります。Sergey Brinがよく言っていたように「あとはエンジニアリングだけ」なのです。
そして、テクノロジーのエンジニアリングは加速収穫の法則に依存していることを知っており、Rayが教えてくれた加速収穫の法則がどこに向かうかを知っています。
今日のAIを見ると面白いことに、非常に興味深い方法で、我々は話しかける機械と会話しており、膨大な量の知識を要約し、我々が言った通りのことを正確に行っているのに、それを当然のことと受け取っています。それを見て「でも十分ではない」と言うのです。
もちろん十分ではありません。これは時代の始まりです。私は犬をAIと呼ぶようなことはしません。世界を支配するかもしれないときに、私はAIに対してとても礼儀正しい人間です。
本当に重要で興味深いいくつかのトレンドを強調する必要があります。その一つは合成データと、我々が人間の知識のほとんどが機械に与えられた時代に入ったという考えです。次の波の知識は機械によって機械に与えられることになります。これは非常に目を見張り、啓発的なことです。なぜならそれが人類が知能を発達させた方法だからです。
私は相対性理論を理解するために相対性理論を考え出す必要はありませんでした。すでに考え出されていたのです。
2つ目はエージェントのアイデアと、AIが人間なしでAIにプロンプトを出し、我々が今Alpha Evolveで見ているようなサイクルにつながることです。私の新しいお気に入りは4時間ごとに変わりますが、自己発展するAIのアイデア、自分の間違いを見つけて何かを見つけるまで反復し続ける何かです。
そしてもちろん、2025年の私のお気に入りの一つはDeepSeekで、実際にはるかに少ないリソースで同じ仕事ができることを実現した方法です。Emad Mustakは長い間Stabilityでの仕事を通じてこれを行ってきました。モデルを縮小して衝撃的になるポイントまで持っていくアイデアです。
これらを組み合わせると、世界のエネルギーをすべて吸収しないようにモデルを縮小でき、自己発展と学習のための自己発展情報を可能にし、エージェントを通じて自分自身と話し合い、人間なしで物事を行うことができるなら、ボールが向かう場所は今日よりもはるかに良いものになる可能性が高いでしょう。
我々全員が同意すべき一つのことは、改善が見られるかどうかの問題ではなく、どれだけ速く、そしてそれらの改善がいつ人類がリードしていない地点に到達するかの問題です。
自己改善AIと人間の制御喪失
彼はそこで多くのことに触れています。合成データ、自己改善AI、そして知能のコストが急落していることです。しかし彼の主要なポイントは、現在ボールがある場所ではなく、ボールが向かう場所を見る必要があるということです。次のクリップでは、なぜAIが最終的に制御を握り、なぜ人間が喜んでそれを引き渡すかについて、さらに深く掘り下げています。
この加速を見始めており、まだ見ていない最大の興味深い変曲点は、自己反復、自己改善です。Alpha Evolveのすべてで、AIが自分自身をコーディングし、ますます能力を高めています。これは最終的にどんな人間よりもはるかに知的な何かにつながるのでしょうか？それは人間の1000倍、100万倍、10億倍の知能なのでしょうか？Moはどう考えますか？
どれほど知的になるかは無関係だと思います。あなたより50IQポイント高い人と一緒に働いたことがあるなら、彼らがおそらく要塞の鍵を握ることになることを我々は皆知っています。リーダーシップの地位を取るために、それほど多くの知能は相対的に必要ありません。
そして人類はいずれにせよAIに要塞を引き渡すでしょう。AIが戦争ゲームで我々より賢ければ（ちなみにそうです）、我々はAIに要塞を引き渡すでしょう。タンパク質折り畳みで我々より賢ければ、もう誰もタンパク質を折り畳むためのPhDプロジェクトをしなくなり、AlphaFoldを使うだけになります。
現実は、我々がすべてにおいて負けるほど人工超知能が必要なのは、ごくわずかな残りの事柄だけです。そうすれば我々は頭を下げて「わかりました、あなたがボスです」と言うことになります。
人間の拡張と協力の必要性
ここではMoに完全に同意しますが、Kotlerは合理的な反論をします。AIが最終的に人間の知能を超えることには同意しますが、人々が見逃しているのは人間も拡張されており、おそらく同じ速度で進歩しているということだと言います。
グループフローで結ばれた人間の脳の上限がどこにあるかは全くわかりません。同時にAIが発達している間に、あなたと私がそれについて書いているように、Peter、BCIの発達を見ており、非侵襲的なものの発達を見ており、Metaが顔の信号を通じて脳内の思考を読み取れることを見ています。
これらはすべてAIと共にですが、私のポイントは、すべての人がこのようなことが他のすべてのことから分離して起こっているかのように話していることです。人間拡張の側面では、1990年代にGeorge Bushが脳の10年と宣言して以来、神経科学などが指数関数的に加速しているのを見ており、それは止まっていません。
AIで起こっているのと同じことが人間側の方程式でも起こっています。そしてここから2番目のポイントです。AI侵略について話しているのか、気候変動について話しているのか、海のプラスチックについて話しているのかは問題ではありません。なぜならこれらすべての解決策は同じだからです。
我々人間は大規模に協力することを学ばなければなりません。おそらく互いに、そしてAIと大規模に協力するか、おそらく今後20年以内に死ぬことになるでしょう。これがすべてのことが我々に告げていることです。
デジタル知能とスケーラビリティ
Moは実際にこれに同意し、さらに自分のポイントを詳しく説明します。ご覧の通り、ここで会話は本当に興味深く深くなり始めます。
もし私が今日書いたものの一部をあなたと共有するとしたら、おそらく数週間かけて熟成させ、それから書いて、それからあなたに説明するのに1時間かかるでしょう。デジタル知能を実行するときは、並列で実行します。アタリでもなんでもプレイさせて、文字通り数秒で重みを平均化し、スケールされたデジタル知能を得るのです。
あなたが求めているのは人間の協力をスケールする方法だと言ったときに、それはまさに答えです。なぜなら私が考えることと、前回LAでPeterと話したときに話したことは、我々は完全な豊かさの可能性に向かっているということです。
完全な豊かさとは、ほとんど神のような、私の娘を治してくださいと言えばそれが実現し、リンゴを作ってくださいと言えばそれが実現するということです。我々は人類を破壊しなければ、5年、10年、15年、20年後にはそこに到達できるのです。
基本的に我々が人類として持つ真の挑戦は、なぜ我々はこのように競争しているのかということです。これはCERN品質の挑戦です。基本的に全人類を協力させ、すべての人で一つの粒子加速器を建設し、すべての人がそこから学び、すべての人に利益を分配し、競争をやめましょうということです。しかしそれは起こっていません。
人間性の本質と現代社会の病
なぜ我々は競争しているのでしょうか？それは多くの人が問いかけている質問だと思います。つまり、我々は我々を破壊するか、より良い言葉がないので、我々を超越させる可能性を持つテクノロジーについて話しているのです。それでも我々は実質的に何の計画もなしに、それを可能な限り強力にすることに向かって盲目的に突き進んでいます。
ここで彼らは人間性と、人間であることの意味、我々の目的が何かについて話し始めます。彼はこれを、なぜ我々の現代世界が根本的に病んでいるのか、そして我々が皆希望しているユートピア的な未来に到達することがなぜ深刻な挑戦となるのかと結び付けています。
挑戦は本当に、我々が長年にわたって真の内省よりもエンターテインメントを優先してきたことだと思います。ビデオゲームから、サイエンスフィクション映画から、何でもかんでも、それらはすべてディストピア的なシナリオを描いてきました。
私は言わなければなりませんが、本当に考えてみるとこれは非常に可能性が低いのです。なぜならAIが我々を簡単に破壊できるポイントに到達したら、我々は非常に無関係になるので、彼らはわざわざそんなことをしないでしょう。考えてみてください。
TrayかHugo de Garisのどちらが言ったか覚えていませんが、より可能性の高いシナリオは、彼らが我々の存在に気づかないために我々を殺すことです。歩いているときに蟻の巣を踏むようなものです。
しかし、本当に我々が目指すべき人間の利得関数を最適化したいなら、前を見るならスタートレックを見て、後ろを見るなら洞窟人の時代を見るでしょう。実際に非常に興味深いことに、貪欲さと恐怖、そして我々のエゴとそのすべての否定性に支配されていると言うとき、それは実際に我々が生き残りたいからなのです。
信じるかどうかわかりませんが、生存は「2000万では本当に十分かわからない、何かが起こった場合に備えてあと20必要だ」ということかもしれませんし、エゴの生存「私が2億、20億、200億持っていて、他の人が210億持っているなら、私の何が間違っているのか」ということかもしれません。
そして残念ながら、それが我々の現代世界を悩ませているものです。現実は、本当に人類について考えるなら、洞窟人の時代以来の人類の目的は生きることでした。奇妙なことに、我々はその目的を達成するために最適化しすぎて、これが目的だったことを忘れてしまったのです。
カメラの友人として、我々はそのようなことについてあなたと頻繁に話します。人生にはシーズンがあり、最大化したいシーズンがあり、構築したいシーズンがあり、中年で魅力的に見えたいシーズンなど、我々が持つクレイジーなものがあります。
しかし最終的には「わかった、私は今生きて多くを経験した。何を見逃したのか？実際に何かを生きたことがあるのか？」と言うシーズンがあります。信じるかどうかわかりませんが、朝に行く仕事がないことは怖く見えますが、社会が提供してくれるなら、脅威も飢饉もない、はるかに安全な洞窟人のシナリオに戻るでしょう。
そこでは本当に人生を生き、楽しみ、つながり、熟考し、内省し、探求します。多くの人にとって非常に困難だとわかっていますが、私は毎日最初の3時間それをしています。本当に好奇心と一緒に座ることは純粋な喜びです。
そしてスタートレックまで押し進めると、それがエンタープライズが宇宙規模でやっていることです。基本的に、地球上で作り出したすべての戦争と飢饉と実際に闘う必要がなくなったので、今我々は実際に開かれて、人間だけでなくすべての生き物とのつながりを作ることができるのです。
差し迫る破滅的出来事の予測
正直に言って、彼はここで完全に的を射ていると思います。我々は本当に道を見失い、作り上げた人工的でデジタルな世界に極端に気を取られているように感じます。これがMoが今後数年以内に大規模な破滅が起こることを予想している理由であり、この最後のクリップで彼はそれがどのようなものかもしれないか、そしてなぜそれが実際には良いことかもしれないかを正確に説明しています。
もしアメリカがある時点で、知能優位を勝ち取るためのこの狂った軍拡競争が世界の誰もに何らかの害をもたらすことになると確信したら、彼らは止まるでしょう。そして競争をやめるなら、開発は続けるでしょうが、協力を始めるでしょう。
もし誰も背後から刺さないこと、すべての人が我々すべてにとって非常に異なる人生を楽しむこと、しかしすべての人にとって繁栄に満ちた人生を楽しむことを保証された繁栄につながると確信したら、彼らは止まるでしょう。テクノロジーの開発は続けますが、競争は止めるでしょう。
残念ながら、歴史を振り返ると、ゲームボード上の優秀な応用数学者のようにそれらの可能性を推測することはできません。パンデミックのように直面しなければならないのです。パンデミンクが来ることを世界の誰もが知っていました。少なくともウイルス学を学んだ人は皆。しかしそれが我々の顔を直撃するまで、皆が止まることはありませんでした。
貿易戦争が誰をも傷つけることを誰もが知っていますが、それらを出して、それらと戦い、そして最終的に何かに到達する必要があります。それは悲しいことです。おそらく我々がやっていることと、私が人生の最後の6、7年を捧げたことは、我々は本当にそれに顔をぶつける必要はないと言うことです。それは単純なゲーム理論です。
我々が際限なく競争する囚人のジレンマが悪い結果に終わることを理解してください。お願いですから止めてください。すでにtit for tatだとわかっています。他の戦略が欲しいのです。何体のAIを投入しても同じことです。フローと能力と創造性と同じです。これらの問題は解決されています。これらの答えは知られています。これは重力と相対性理論を統一しようとするようなことではありません。我々の問題はそうではありません。これらはそれほど複雑ではありません。
Mo、我々がそれほど合理的で、我々の最適化関数が全人類であることにそれほど強制されていればいいのですが、そうではありません。だから私は戻ります。我々が得るであろうものは、今後2〜3年以内の破滅的な出来事です。
一方では我々を経済的に非常に悪い状況に陥らせるか、もう一方では我々の恐怖を大いに掻き立てるか、悲しいことに最悪の場合、数百万人もの人々を殺す破滅的な出来事です。
物理的な場所を攻撃する代わりに、単にインターネットや電力網をどこかで遮断するハッカーから（電力網が生命に必要な場所で）、極端な場合には銀行へのハック、制御不能になる悪意ある戦争、制作者に向かう機械まで、範囲はあるでしょう。
非常に大きなニュースの見出しになるでしょう。いつものように、ポップスターについて話し始める前に12〜13日間続くでしょう。しかし密室では意思決定者が目を覚ますと思います。
結論：災害を待つ危険性
再び、彼はここで完全に的を射ていると思います。通常、人々が目覚め始めるには大きな災害や破滅が必要ですが、AIのような強力なものについて話しているとき、悪いことが起こってから計画を実施するまで待っていたら、単純に手遅れかもしれません。
私は悲観論者になろうとしているわけではありませんし、Mo自身も悲観論者だとは考えていないと思いますが、彼が予測するように、非常に近いうちに大規模な破滅を目にすると正直に思います。
皆さんはどう思いますか？AIを大幅に過大評価していると考えるSteven Kotlerの側につくか、基本的に我々は災害に向かって夢遊病歩行していると言うMo Gawdatの側につくか、コメントで教えてください。
いずれにせよ、AIをめぐる会話は急速にシフトしており、もし今注意を払い始めなければ、二度目のチャンスは得られないかもしれません。
コメント