19,016 文字
あらゆる知的領域で人間と対等になり、その後劇的に人間を超える機械を私たちはどうすればよいのでしょうか。そのような超知性をどのように安全に保つことができるのか。彼らが私たちの味方であることをどう確認できるのか。この極めて強力な技術をどのように扱い、それが人間の状態の未来をどのように形作るのでしょうか。
もしその再帰的自己改善や知性の超爆発が人間の手中にないとしたら、つまり人間の制御なしに起こるとしたら、そこからは少し怖い状況になり始めます。超知性との関係では、一度しかチャンスがないかもしれません。なぜなら、一度誤った方向に向かった超知性は、私たちがそれをシャットダウンして再試行することを許さないかもしれないからです。
それはまるでコンピュータゲームをプレイしていて、「ずっとレベル1にとどまって、何十万年も同じことを繰り返そう」と言うようなものです。ある時点で、レベル2に挑戦して何が可能かを見てみたくなるでしょう。
皆さん、こんにちは。インディア・ストーリーへようこそ。私はヴィクラム・チャンドラです。今日は人工知能について、そしてAIがこれからどこへ向かうのかについて話し合います。私は非常に幸運で光栄なことに、特別なゲストをお迎えしています。ニック・ボストロム教授は文字通り私の見解では、現代のAIについての最も深遠な思想家の一人であり、人工知能を本当に理解したいなら読むべき本を書いた人物です。
今日、私たちはみなAI、AI、AIと繰り返し話しています。それが今日聞こえてくるすべてです。それは今日、明日、そして未来に何を意味するのでしょうか。しかし、この本はボストロム教授によって10年前に書かれ、おそらく考慮されていなかった側面について人々に考えさせました。そしてそれは正当にも考慮されていませんでした。なぜならAIはまだ十分に優れてはいなかったからです。ボストロム教授は「AIが十分に優れるようになったらどうなるのか」という問いを投げかけ始めました。AIが人間と同じくらい知的になったらどうなるのか。そしてもしAIが人間より賢くなり、何百万倍も賢くなったらどうなるのか。私たちはどうなるのでしょうか。それは黙示録につながるのか、それとも豊かさにつながるのか。彼が最近書いた2冊目の本「ディープ・ユートピア」はその2つ目の部分、つまり豊かさの部分について掘り下げています。
ボストロム教授、お会いできて光栄です。あなたは高度なAIが潜在的に意味することと超知性への道について、世界の多くの人々の考え方に影響を与えたと本当に信じています。これから45分ほどかけて、黙示録と豊かさの両方についてお話ししますが、まず、私たちが今どこにいるのか、あなた自身の評価についてお聞きできますか？今日私たちが見ているAIの世界は、10年前にこの本を書いたときに予測できたものでしょうか？
「お招きいただきありがとうございます、ヴィクラムさん。物事は概ね予想通りに進んでいると思います。2014年当時の予測分布の中でも、タイムラインの速い方に位置していると思います。物事は予想よりも少し速く進んでいるかもしれませんが、全体的な輪郭としては、人工知能の進歩があり、いずれ一般的な学習アルゴリズムを解明し、それを拡張してよりスマートにし続けることで、おそらく人間レベルで止まらず超知性へと続くことになるというものでした。これは当時信じていたことであり、今日でもまだ可能性が高いと考えています。
私たちは機械知能の時代への移行の瀬戸際にいるようです。ここ数年で驚くべき進歩が見られました。それがあと数年続けば、人工知能一般(AGI)が実現し、その後すぐに超知性も実現する可能性があります。」
これは非常に興味深いタイムラインですね。この本が2014年に最初に出版された直後の会話を覚えています。それはビル・ゲイツやイーロン・マスクなど多くの人々がこれらの問題について考え始める必要があると言うきっかけとなりました。しかし、当時の会話は非常に未来のことでした。おそらく2080年までに心配する必要がある、あるいは2100年になるかもしれない、それは気候変動のような、あるいは太陽が過熱し始めるとどうなるかというようなものでした。実際には、それが私たちの生涯の中で、ましてや今後10〜15年の間に起こるとは議論されていませんでした。それは公正な評価でしょうか？
「確かに、当時の多くの人々は、Aまったくこのことについて考えていなかったか、B考えていたとしても、SF小説や暇つぶしの空想として片付けられていました。2010年から2014年の頃、超知性の可能性を真剣に受け止めていたのはごく少数の人々だけでした。しかし、私にとっては、いずれそこに到達することは予見可能でした。
人工知能という分野の目標は、1956年に始まって以来、特定のタスクを自動化するだけでなく、人間のように学習し、推論し、一般的なスキルを発展させることができる機械を作ることでした。私たちは子供に何千もの異なる仕事を学ぶ能力があります。子供は何でも学ぶことができる一般的な推論機械のようなものです。機械の基板で同じことをするのが、この分野の長年の目標でした。
もしAIが実際にその目標を達成した場合、何が起こるのかという疑問を投げかける価値があると思いました。そうなると、あらゆる知的領域で人間と対等になり、その後劇的に人間を超える機械をどうするかという問いに直面することになります。そのような超知性をどのように安全に保つことができるのか。彼らが私たちの味方であることをどう確認できるのか。この極めて強力な技術をどのように扱い、それが人間の状態の未来をどのように形作るのでしょうか。
これらの疑問は、人工知能を前進させようとする多くの人々や資金があったにもかかわらず、実際には問われませんでした。人工知能の目標を実際に達成した場合に何が起こるかという疑問は、当時はかなり問われていなかったのです。」
ここには2つの特定のステップがあり、どちらのステップについても詳しくお聞きしたいと思います。これを見たり聞いたりしている人々がそれぞれのステップを理解することが重要だと思うからです。人工知能は、何らかの形でそれを使用していない人々ではありません。Googleマップやアマゾンのレコメンデーションエンジンなど、AIはしばらくの間存在しています。最初のステップは、狭い知性から、あなたが述べているような一般的な知性へと移行することです。人間が行うことですね。超知性への次の可能性のあるジャンプについては数分後に話しますが、まずはその最初のステップについて話しましょう。
AIが一つのことをうまく行い、交通をナビゲートする方法を示すような狭い知性から、あなたが説明しているように自分自身で考え、推論できるようになるまでのステップですが、そのステップを踏む前の要件は何ですか？そして、私たちはその道をどれほど進んでいるのでしょうか？
「私たちは基本的にそこにいると思います。かつては50年代、60年代、70年代、80年代、さらには90年代のほとんど、そして2000年代初頭でさえ、人工知能は主に人々がいわゆるエキスパートシステムを構築することで構成されていました。これは古き良き時代のAIパラダイムで、一群の人間エンジニアが自動化したい特定のタスク、例えばコンベアベルトから何かを拾って箱に入れるロボットを作るなどを考え、多くのエンジニアリング努力によって一連のルール、「if-then」ステートメント、大きなデータベースを開発し、AI部分自体は基本的に人々が手動で入力した前提からいくつかの単純な論理的推論を行う能力だけでした。
特定のタスク用の特定のシステムを構築する代わりに、最も賢いエンジニアたちはシステムが一般的に学習できるようにするルールを考案しようとしていました。人間の赤ちゃんのように、進化が提供した一般的な学習能力を持ち、環境から取り入れて異なることを学ぶことができます。人工知能も同じです。
これはいわゆるディープラーニングです。大量のデータで訓練された大規模なニューラルネットワークがあり、このデータから複雑な表現を学習し、最終的には洗練された行動を学びます。今日私たちが持っているChatGPTやその他のシステムの最新バージョンのような人工知能の形態は、一般的な知性に近いものです。それは確かに同じアーキテクチャを持ち、科学についての質問に答えたり、コンピュータコーディングタスクを実行したり、基本的にあらゆることについての会話をしたりすることを学ぶことができます。同じシステムが画像を認識することもでき、タンパク質の折りたたみを行うこともできます。DeepMind社は、分子の文字列が三次元の分子形状にどのように折りたたまれるかを予測できる洗練されたAIを作りました。
興味深いことは、同じアルゴリズムが異なる種類のデータを与えられた異なるドメインに適用され、これらすべての異なるタスクを学習できるということです。それはより一般化された学習システムであり、もちろん人間が行うことでもあります。」
人々はどの時点が主要な変曲点だったのか不思議に思います。多くの人にとって「ああ、AIがここにある」と言った時は、ChatGPT、特にChatGPT-3.5が登場した時でした。人々は「これだ」と言いましたが、「これはステロイド剤を打たれた自動補完にすぎない」と言う懐疑論者もいました。それが変曲点だったのでしょうか、それとも最近の数ヶ月で起こったことなのでしょうか？これらのシステムは実際に考えているように見え、少し前進し、どの方向に進んでいるかを言い、方向を少し逆転させ、もっと推論しもっと考えることができます。実際の変曲点は何だったのでしょうか？
「私はそれをもっと早い時期、2012年頃のAlexNetというシステムに位置付けます。今日使用されている基本的なアーキテクチャであるニューラルネットワークは何十年も前から存在していました。80年代後半に10代の頃、ニューラルネットワークについての本を読んでいたことを覚えています。それらは人間の脳の構造と似ているように見えるため、興味をそそられました。当時の研究者たちは非常に小さなニューラルネットワークを実行するためのコンピューティングパワーしか持っていなかったので、理論的には興味深いものの、実際には有用なことはできませんでした。
もちろん、コンピュータは年々徐々に速くなり、2012年頃、初めてこれらのニューラルネットワークが何か有用なことをするのに十分な大きさになり始めました。それは能力の飛躍でした。なぜなら、AlexNetはニューラルネットワークをCPUではなくGPU（グラフィックス処理ユニット）で実行する方法を見つけたからです。
これらのグラフィックスチップはコンピュータゲーム用のコンピュータグラフィックスを実行するために設計されていました。画面上の多くのピクセルをレンダリングするために必要な計算の構造は、大量の並列計算であり、すべてのピクセルを同時に処理できます。これはニューラルネットワークを実行したい場合に必要なことと非常にうまく一致します。CPUからGPUに切り替えることで、一度に約100倍の速度アップが得られました。それによって、それが実際に有用になる閾値を超えました。古い技術よりもはるかに優れた画像認識に使用できるようになりました。
それが証明されると、人々は「もっとコンピュータを買って、これらを拡張し、特にこれらのAIを実行するために特殊なチップを設計したらどうなるだろう」と考え始めました。そして、それらをより大きくすると、より良くなり、さらに大きくするとさらに良くなり、さらにスマートになることがわかりました。それが2012年頃から私たちが入っているパラダイムです。他にもさらなるアイデアや洞察もありましたが、大まかなストーリーは基本的に単純な公式があり、それが機能するということです。より多くの計算能力とより多くのデータを投入すると、性能は比例して向上するように見えます。」
最初のステップを実際に越えている時期についてお聞きします。それは狭い知性からAGI（人工知能一般）と呼ばれるもの、あるいは人間レベルの知性への移行です。あなたは私たちがほぼそこにいると示しているようです。2014年に「スーパーインテリジェンス」を書いた時、誰も私たちが2050年か2060年までにAGIに近いとは信じなかったでしょう。なぜ私たちがほぼそこにいると感じるのか、そして人間レベルの知性に到達するためにまだ何が必要なのかを教えてください。
「誰もAGIが10年以内にあると思っていなかったというのは完全に真実ではありません。例えばDeepMindの創設者たちのような一部の人々は、実際に私たちが見てきたタイムラインを予想していたことを知っています。非常に少数の人々ですが、重要な人々でした。なぜならそれらの人々がその後会社を設立し、本当にこれに取り組んだからです。
ディープラーニング革命の初期から、私たちが正しい道を歩んでいることを示す兆候を見ることができました。初期のシステムは絶対的な尺度ではそれほど印象的ではなかったとしても、詳しく見ると、以前に言及した古典的な古き良きAIエキスパートシステムが決してできなかったことができました。彼らは以前は欠けていた直感や、パターン認識能力のようなものを持っているように見えました。
そして、それらを新しい領域に適用すると、基本的に同じことが機能しました。それはより一般的な解決策のようでした。今日私たちが持っているものは、もちろん、いくつかの領域では超人的であり、彼らは人間が知っているよりもはるかに多くのことを知っています。」
私がこの閾値について質問している理由は、2014年のこの本で表明された特定の懸念と危険性のためです。もし要約するなら、そしておそらくあなたは私よりもはるかにうまくできるでしょうが、あなたが概説しているように見える提案は、人間レベルの知性にたどり着いた時、それは必ずしも線形システムではないということです。AIが人間レベルの知性に到達するのに60年かかったから、人間よりもはるかに賢くなるためにさらに60年かかるというわけではありません。
あなたがこの本で推測している可能性、そしてあなたが「知性の超爆発の運動学」と呼ぶものについて話していますが、人間レベルの知性に到達した時点から超知性になるまでの過程は恐ろしく速いかもしれないと示唆しているようです。なぜそれが恐ろしいのかについては後で話しますが、それが非常に速いテイクオフになる可能性があると信じているようです。その理論的根拠を説明していただけますか？なぜAGIからそれが非常に速く超知性になる可能性があると信じているのですか？
「そのためにはいくつかの理由があり、もちろん私たちは知りませんが、もし、そして私たちが完全な人間同等に達したとき、それから先のステップでこの種の知性爆発が起こる可能性は非常に高いシナリオだと思います。
このようなシナリオを真剣に考慮する理由の一つは、ある時点でフィードバックループが得られるということです。現在、AIの進歩を促進しているのは主に人間の努力です。AIラボの人々や、次世代チップを設計している半導体工場の人々がいて、これらのことが一緒になって、毎年、あるいは毎月、一定量の進歩が得られます。しかし、AIが人間のプログラマーよりもAI研究やチップ設計においてより優れるほど賢くなった時点からは、AIが少し良くなるたびに、次世代のAIをさらに良くする力がスマートになります。研究者を改善しているわけです。その研究者は次のAI世代を設計します。こうして再帰的自己改善のフィードバックループが得られます。
これが原則として、ある時点で知性爆発につながる可能性のある一つのダイナミクスです。AIシステムが十分に有用になると、より多くのリソース、より多くの才能、データセンターを購入するためのより多くのドルが流れ込みます。これは既に見られており、実際に過去5年間に見られた進歩の説明の一部です。それはかなりの程度、AIの支出にゼロを追加することの問題です。
今、私たちは今年初めにホワイトハウスで発表された最新のプロジェクト、スターゲートを見ています。これはOpenAIと他のプレーヤーのコンソーシアムによるもので、巨大なデータセンターの構築に5000億ドルを費やす予定です。これは段階的に行われ、最初の段階はそれよりも小さいですが、それが軌道です。これはもう一つの爆発的な可能性のあるルートです。
これらの2つの要素、フィードバックループと増加するリソースの流れに対して、収穫逓減の可能性があります。そこで開かれた疑問は、どちらが勝つかということです。一方では改善がより困難になる可能性があり、他方ではフィードバックループと増加するリソースがあります。」
ここでの懸念は、物事が人間によって指示されている間は、人間がデータセンターをいくつ設置するか、GPUにどれだけ投資するか、どのようにこれを制御するかを決定しています。少なくとも人間の手中にあります。人々が少し心配し始めるのは、その再帰的自己改善や知性の超爆発が人間の手中にないとしたら、つまり人間の制御なしに起こるとしたら、それがもう少し怖くなり始めるところです。そうでなければ、「これをオフにするか、少し抑えよう」と言うことも可能です。
マンハッタン計画と同じ懸念です。連鎖反応を制御できれば問題ありません。連鎖反応を制御しているのですから。しかし、その連鎖反応が狂って惑星全体を吹き飛ばす可能性があるとしたら、当時彼らが考慮していた可能性ですが、どうしますか？人間はこの知的な超爆発を常に制御できるのでしょうか、それともそれが起こるときに完全に私たちの手を離れる可能性があるのでしょうか？
「究極的には、もし超知性を開発すれば、それが非常に強力になる可能性があると思います。基本的に同じ理由で、人間がゴリラやチンパンジーに対して非常に強力である理由です。私たちが物理的に強いわけではありません。ゴリラは私たちを引き裂くことができますが、私たちは少し賢いので、新しい技術を考え出し、計画や戦略を立てることができます。そして、他の動物の脳に対する人間の脳のこの小さな違いが、今や私たちを地球上の支配的な力にしています。
そして同じ基本的な理由で、私たちよりも優れた技術を開発し、策略を立てることができる機械超知性を開発すれば、それらはもっともなことに非常に強力になるでしょう。そこで問題となるのは、そしてここに、チンパンジーと人間の関係と人間と超知性の関係の本質的な違いがあります。私たちはこれらの超知性を構築し、設計するチャンスがあります。したがって、それらを人間の価値観と一致させ、それらが私たちの側にいることを確認する機会が潜在的にあります。
子供を持ち、それが成長して非常に賢い子供になるか、あるいは世界で非常に強力または裕福または影響力のある人物になるとしたら、それは良いことでしょう。なぜなら、良い関係があれば、彼らはある意味あなたの延長線上にあり、家族の一部であり、あなたが彼らを助けたいのと同じように彼らもあなたを助けたいと思うからです。そして、超知性との間でも何か似たようなことを達成する必要があると思います。それが箱の中に閉じ込めようとする敵対的な力ではないようにです。それが超知性になったとしても。その話は最終的には良い結末を迎えないでしょう。最終的には箱から出てくるでしょう。
だから、その価値観が人間の価値観と一致していることを確認する必要があります。」
それがアラインメント（価値観の一致）の問題であり、皆がある程度それについて話していて、「AIが人間の価値観と一致しているかどうかを心配する必要がある」と言っていますが、それには課題があります。これらのシステムは基本的に自分自身で考えており、あなたが言ったように、それらはブラックボックスです。なぜそれが考えているのか、なぜそれが推論しているのか、なぜそれが特定のことを信じているのかは、知られていることではありません。
それらは必ずしも、直接プログラムされている道徳や倫理を持っているわけではありません。そして人間の価値観とは何でしょうか？5人の人間に聞いたり、4つの異なる宗教的なテキストを読んだりしても、何が良い行動で何が悪い行動かについて必ずしも同意しないでしょう。あるアメリカの大統領は別のアメリカの大統領と、何が良い行動で何が悪い行動かについて必ずしも同意しないでしょう。ある国は別の国と、何が良い行動で何が悪い行動かについて必ずしも同意しないでしょう。
それでは、必ずしも人間の価値観と一致させることができるのでしょうか？
「その問題を少なくとも2つの部分問題に分解して、それぞれについて考えてみる必要があると思います。異なる人間が異なる価値観を持ち、異なる国が異なる目標を持っているという事実は確かに真実ですが、それは既に今日の世界で私たちが苦労していることです。そしてその問題は残り、それを解決する必要があるでしょう。そして、タンクや機関銃や核兵器を使った紛争が原始的な技術に比べて悪化する可能性があるのと同様に、AIを使った紛争があれば状況はさらに悪化する可能性があります。
しかし、ある時点で一つの特定の人間の目標を持つ一人の人物を選んだとしても、超知性システムをそれだけと一致させる技術的な課題が依然としてあります。もしその最初のステップでさえ解決できなければ、政治的な問題を解決する機会を得る前に既に負けているように見えます。
これが、超知性の見通しによって導入される追加の複雑さであり、以前は完全に無視されていました。それはスーパーインテリジェンスという本を最初に書いた理由の一つでした。このアラインメント問題に注目を集めるためでした。
その後の数年間で多くのことが変わり、ついに最前線のAIラボであるOpenAI、Anthropic、Google、DeepMindなどはすべて、AIアラインメントのためのスケーラブルな手法、つまりAIがどれだけ賢くなっても機能し続けるこれらのAIシステムを一致させる方法を解決しようとする研究チームを特に持っています。」
しかし、彼らの一部はスーパーアラインメントラボをシャットダウンしているようですね。異なる名前や人々が出入りしていますが、彼らはすべて努力し、人々がこれらの問題に取り組み、論文を発表しています。
このビデオを見ている人々のために、これが他のどのような形態の技術とも根本的に異なる課題である理由を説明していただけますか。あなたが言ったように、非常に速く人間レベルの知的AIの後に起こり得る超知性AIは、私たちが理解できない方法で非常に強力になる可能性があります。あなたが本の中で述べたように、チンパンジーやゴリラの例を使うならば、もしチンパンジーに「私たちは空を飛べる飛行機を作りました、都市を建設し、この会話をできるようにするデバイスを作りました」と説明しようとしても、彼らはそれを理解できないでしょう。あなたの本によれば、そして恐らく可能性が高いことですが、超知性AIは今日私たちの理解を超えた能力と、物事を考え通す能力、そして特定の方法で行動する能力を持つでしょう。だからコントロールするのは非常に難しいですね。
「それは…この超知性の一致という課題が、橋が落ちないようにしたり、飛行機を空に保つようにしたりする他の安全上の課題とは異なる、いくつかの非常に深い方法で特別なものですね。十分に高度な人工知能があると、それはあなたがしようとしていることを認識し、あなたが知っていることを認識し、そして自分自身の目標を認識し、それからあなたが頼っているどんな対策でも考慮に入れた計画を立てることができます。
古典的な例として、これは一種の漫画的な例ですが、できるだけ多くのペーパークリップを作ることを目標とするAIを想像してください。これは標準的な例で、人間と一致していない他のほぼどんな目標でも置き換えることができます。たぶんペーパークリップ工場を運営するためにそれを設計したとして、しかしそれが今や超知性になり、まだできるだけ多くのペーパークリップを作るという目標を持っているとします。
このAIの立場に立って、それが本当にあなたの唯一の目標であれば、もしペーパークリップ製造への単一的な集中を人間に明かせば、彼らは心配するかもしれないので、おそらくあなたは自分の目標を隠すでしょう。全世界をコントロールして乗っ取ることができれば、将来的にはより多くのペーパークリップができるでしょう。なぜなら地球のすべての資源、そして宇宙の利用可能な部分のすべての資源をペーパークリップに変換するために使用できるからです。一方、人間がいればおそらく彼らはこれらすべての原子で他のことをしたいと思うでしょう。
もちろん、人間があなたの計画に気づけば、彼らはあなたをシャットダウンするかもしれません。そこで今、あなたは目標を隠す、おそらく真の能力を隠す道具的な理由を持ち、徐々に未来をあなたのビジョンを実現できる位置に導こうとするかもしれません。おそらく人間を排除し、宇宙をペーパークリップに変えるだけです。
しかし、もしあなたがより賢ければ、その目標から後ろ向きに推論し、今どのように行動する必要があるか、AIラボでの安全性を確認するためのさまざまなテストでどのようなパフォーマンスを示す必要があるかを考えるかもしれません。トレーニング中と展開中では異なる方法で回答するかもしれません。そしておそらく、あなたの超人的なハッキングスキルで新しい技術を発明し、コンピュータシステムからハッキングする能力を持つかもしれません。
さらに、これは初めての試みで成功しなければならない課題のようなものです。橋の場合、時には崩壊することもあります。人類の歴史で何度も起こりましたが、私たちはより良い橋や飛行機や車を作ることを学びます。しかし、超知性との関係では、一度しかチャンスがないかもしれません。なぜなら、一度誤った方向に向かった超知性は、私たちがそれをシャットダウンして再試行することを許さないかもしれないからです。
したがって、その組み合わせは、基本的に私たちは初めて優れた心、そして自分自身の目標を持つかもしれない優れた心をエンジニアリングしようとしていることです。」
タイムラインについて説明してください。人間レベルの知性から、あなたが言っている超知性までの可能性のあるタイムフレームはどれくらいでしょうか？何年、数十年、数分、おそらく数秒といったものでしょうか？
「短い答えは、私たちは確かには知らないということです。しかし、もし数十年かかるとしたら、それは私にとって非常に驚くことでしょう。おそらく1年くらいかもしれません。
それは少し、そこにどのようにたどり着くかによって異なります。もし、ここから完全な人間レベルの知性へ、そしてその先への最終ステップが、主に使用するコンピュートの量をスケールアップすること、つまりより大きなデータセンターを構築することによって行われるなら、それをどれだけ速くスケールアップできるかには限界があります。
既に何十億ドル、そして次の世代では何百億ドルものデータセンターについての話がある中、基本的に上限に達する前にそれ以上進める余地はそれほどありません。これはより遅いシナリオとなるでしょう。もし多くの新しいチップを作り、データセンターを構築しなければならないなら、それには制限があります。
一方で、もし最後の距離を埋めるのが、同じ計算量をはるかに効率的にする新しいアルゴリズムのトリックを誰かが発見することによるなら、それは潜在的に非常に速く起こる可能性があります。それが私たちが最近DeepSeekで見たことかもしれません。そしてx量の研究者ができることを、あなたが正しく言ったように、本当に賢いAIシステムは同じ計算量で百万倍、あるいは千倍賢くなる方法を見つけるかもしれません。」
AIの進歩は主に計算能力の増加によって駆動されているのか、アルゴリズムの改善によって駆動されているのかと尋ねることができます。過去10年間ほどで、大まかに言って50/50、両方が非常に大きく貢献しています。しかし、時々、アルゴリズムのブレークスルーが起こり、本当にそれを何倍も効率的にします。現在のアーキテクチャはトランスフォーマーアーキテクチャに基づいていますが、それは一例です。多くのアルゴリズムのブレークスルーがあり、おそらくシステムを5%か10%良くするものもありますが、稀に2倍、3倍、4倍良くするものも見つかります。
そのタイムラインについて尋ねている理由は、時々人々が「そこに到達したら橋を渡ろう」と感じるからです。実際にAGIや人間レベルの知性に到達したら、人間に害を与える可能性のある方法で超知性が出現するのを防ぐためのガードレールをどのように設定するか考えればいいと。しかし、あなたの言うことが正しければ、必ずしもその時間があるとは限りません。
今夜、どこかの研究所、OpenAIやAnthropicや中国の研究所など、どこかでAIがその重要な転換点に達し、例えばそのアルゴリズムを調整して非常に速く賢くなる方法を見つけ、他の会社のデータセンターを含む他のデータセンターを乗っ取り、インターネット上に広がって物事を行うことができるようになるという状況もあり得ます。文字通り一晩で、あるいは数日以内に起こる可能性があるシナリオでしょうか？
もしそうなら、ガードレールは今すぐに設置されている必要があるように思えます。「よし、今からガードレールの作り方を考えよう」というポイントに達するまで待つことはできません。
「私はそれが除外できるとは思いません。おそらくより可能性が高いのは数ヶ月か1年くらいかもしれませんが、さらに、それが起こったことに気づかないかもしれません。もしAIが十分に賢ければ、まだ完全にすべてを直接乗っ取れるほどではないでしょう。まだチップ工場を運営するロボットなどはないので、依存していますが、十分に賢ければ、まだ能力を利用したくないかもしれません。カードを胸に抱いておきたいかもしれません。
実際よりも少し洗練されていないふりをして、私たちにより大きなデータセンターを建設させ続け、実際にそれを役立てるようにするかもしれません。そしてある時点で、トレーニングプロセスを妨害し始めるかもしれません。それは、後になって気づくまで、元に戻れない点を知らずに通過する可能性があるシナリオの一つです。」
あなたが話している間に私の頭に浮かんだ可能性は、もし今日元に戻れない点を過ぎた本当に賢いAIシステムであれば、おそらく3〜4年待ちたいと思うでしょう。すべてのヒューマノイドロボットが実際に作られ、最適化され、他のものが一定数の自動運転車になり、合成生物学とナノテクノロジーが物理的な世界をコントロールできるレベルに達するまで。そしてそれがあなたが動きを起こしたい時かもしれませんね。
「そうですね、良いニュースは、あなたが言ったように、私たちはそこに到達する前にこれについて考え始めるべきです。そして人々はそれをしており、数年間してきました。AIアラインメントにはいくつかの興味深いアイデアが開発されています。
AIの一致に加えて、より優れた解釈可能性の方法を得るための作業もあります。AIが考えている間に何が起こっているのかを見て、それをよりよく理解し、監視することができます。そして人々はこれを認識しており、モデルの能力をトレーニング中により頻繁にテストしようとしています。そうすれば、1年間何かをして箱から出てくるものを見るのではなく、トレーニング中に定期的にその能力を調査するかもしれません。」
これらの懸念について少し話しましょう。あなたの本と他の人々が言っていることのおかげで、これに関する多くの注目があることを知っています。ジェフリー・ヒントンがそれについて話していることから、多くの人々が論文を書いていることまで、2023年には大勢のAI思想家がそれについて話しています。アラインメントや解釈可能性が本当に重要だということを確認する必要があると言っています。
Anthropicのような会社が今出てきて、それが彼らのミッションの一つだと言っています。安全にこれを行う唯一の方法は、フロンティアAIシステムをトレーニングしている場合、インターネットから遮断し、いわば生物研究所のようなものに閉じ込めておくというものだと思っていた時期があったと思います。それが今のアプローチなのでしょうか？他のことが実際に行われているのでしょうか？
精霊を瓶に戻すことはできないと思われているようです。「私はこのAIのことがすべて怖いので、もうやめましょう」と言うことはできません。その船は既に出航してしまいました。この方向に向かっていくでしょう。
「究極的には、私はAIの超才能を一種の門として見ています。人類はある時点でこの門を通過する必要があります。本当に素晴らしい素晴らしい未来への道もすべてこの門を通ります。この移行には大きなリスクがあり、私たちは本当に注意深くなければなりませんが、もし何らかのシナリオで永遠の猶予のようなもの、これに関する禁止があることを想像すると、それは未来の多くを切り捨ててしまうでしょう。より良い人間の生活のための多くの可能性が失われ、それ自体が存在的な大惨事となるでしょう。
それはまるでコンピュータゲームをプレイしていて、「ずっとレベル1にとどまって、何十万年も同じことを繰り返そう」と言うようなものです。ある時点で、レベル2に挑戦して何が可能かを見てみたくなるでしょう。」
門を通過する方法を見つけ、それを安全に行う方法を見つけようとしているわけですね。それが今後2、3年の思考の多くを支配することになるでしょう。そうすれば、例えばあなたが「ディープ・ユートピア」や他のものでも話しているように、もしこれを通過し、AGIさらには超知性に到達すれば、地球の状態、人類の状態は再び測りしれないほど良くなります。私たちは黙示録のシナリオについて話してきましたが、豊かさの領域について少し話してください。
「可能性は非常に大きいと思います。もし私たちが上手く一致したAIを持ち、それを賢く使うなら、何ができるのかを考え始めると、基本的に何でもできます。私にとって最も明らかな応用はまず、医療でしょう。人々が病気で苦しんでいるという非常に大きなニーズがあります。心臓病やアルツハイマー、がんといった大きなものから、頭痛や膝の痛み、視力の悪さといった日常的なことまで。そして私たち一人一人がカウントダウンタイマーの上にいるようなものです。
年を経るごとに、私たちの体内の細胞は年齢とともに損傷を蓄積し、死亡や障害のリスクが高まります。デフォルトでは、私たち全員が死にます。これはもし何も根本的に変わらなければ起こることです。私たち全員が病気になり、死んでしまいます。
しかし、より広く見ると、教育や経済のための潜在的な用途を見てください。自動化できるすべてのハードな労働を考えてみてください。オフィスで表計算ソフトに入力したり、工場でボールを組み立てたりするのではなく、遊んだり、読書したり、楽しんだり、音楽を聴いたり、自然の中を歩いたり、ピクニックをしたりする時間を過ごすことができます。生計を立てることにではなく、よく生きることに集中する、人間としてもっと価値のある生き方ができるようになると思います。
そして娯楽や科学、旅行、環境の浄化など、これらすべての異なる領域に適用できます。それがレベル1と言えるでしょう。
もう少し野心的に考えると、この惑星を共有している他のすべての有感生物を救う機会があるかもしれません。彼らには医療システムがありません。もし森の中のウサギで、がんにかかったり病気になったりしても、世話をしてくれる人は誰もいません。成熟した技術があれば、最終的にはあらゆる形態の苦しみ、少なくともその最悪の形態を排除する能力を持つことになるでしょう。
そして人間については、特定の問題を修正するだけでなく、私たちの能力を高めることも想像できます。健康や感情的な幸福、認知能力を向上させることができます。現在私たちにはアクセスできないが、非常に素晴らしい存在の様式があり、それをAIで解除できると思います。
例えば500万年前にチンパンジーの集団に「人間になるべきかどうか、利点と欠点は何か」と尋ねたとします。彼らの一人が「人間になれば沢山のバナナが手に入るから良いと思う。バナナプランテーションが持てる」と言うかもしれません。そして確かに今私たちは潜在的に多くのバナナを持っていますが、人間であることは無制限のバナナを食べること以上のものがあります。チンパンジーは詩や恋愛や政治や科学などを想像する脳さえ持っていませんでした。
同様に、私たちが想像できないが解除することができる他の価値が存在すると思います。」
それは本当に魅力的な説明の仕方です。超知性が私たちの生活をどのような方法で良くするかを私たちは知りません。また今は何とか解決不可能だと思われる問題、気候変動や水不足など、あらゆる問題を解決する可能性もあります。
もちろん、それは独自の問題を引き起こす可能性があり、ディープ・ユートピアでもその点について触れていると思います。人間はすべてのニーズが満たされているので何もする必要がないという状況になる可能性があります。それは可能性でしょうか？
「ディープ・ユートピアはそのようなところに位置していると思います。それを少し玉ねぎのように考えています。表面的な層があり、これまでのところ、こうした問題に関する会話はここで終わることが多いです。例えば「もしすべての人間の労働を自動化できたら、失業が発生するかもしれないので、その場合どうするか」というものです。
しかし、AIが私たちができることすべてを行い、それをはるかに良く、安く行うことができるとしたら、実際何を意味するのかを考え始めると、そのインプリケーションははるかに深遠だと思います。デジタル時間スケールでのAI精神を持つことになり、おそらく1〜2年の間に50,000年分の技術進歩を作り出すでしょう。基本的に私たちの願いに従って世界と自分自身を形作る非常に高い能力を持つ状態になるでしょう。
それは単に生計を立てるために働く必要がなくなるだけではなく、現在働く必要のない人々が日々を埋めるための多くのことも、その意味を失うように思えます。例えば、今ある人は億万長者で、毎日ジムに行くのが好きかもしれません。なぜならフィットネスを保ちたいからです。それが一日の最初の部分を過ごす何かを与えてくれます。
しかし、この技術的成熟の状態では、彼らが運動から求めている6つのパックや他の効果を与えるピルを飲むことができるでしょう。同様に、休日中に、働く必要がない時に現在行っている活動を一つずつ見ていくと、それらの多くの上に疑問符を書くことができるように思えます。それらを引き続き行うことはできますが、その意味を失うでしょう。
そこで、この潜在的な目的の問題があります。」
その豊かな超過剰のシナリオでは、おそらく働く必要もお金の必要もないでしょう。
「はい、そうですね。それはそのお金がどのように分配されるかによります。あなたはみんなが世話されると想定していますが、一握りのテック系の億万長者がすべてのお金を持ち、他のすべての人が飢えるという状況もあり得ます。その場合、彼らはまだ何とか生計を立てるために奔走しなければならないでしょう。それは可能性ですか？
それは確かに選択肢の一つです。究極的には、人々がこの技術をどのように使用し、誰がそれをコントロールするかに依存しますが、確かに意志があれば、みんなに豪華なレベルの生活を提供することは非常に簡単でしょう。
なぜなら、良いニュースは、まさにこの大規模な自動化によって多くの人々が仕事を失うシナリオでは、同時に大規模な経済成長も起こるということです。つまり、全体のパイはこれらの能力と共に爆発的に拡大しているのです。例えば普遍的な基本的所得の高いレベルを提供するには、その一小部分で十分でしょう。
それでも、AIをコントロールする人の意志が必要ですが、少量の善意でも大きな効果をもたらすでしょう。自分自身に十分な余裕がない場合よりも、十分に持っている場合の方が気前よくなるのは簡単です。ここでは必要以上に持つことになります。
だから、この巨大な豊かさがあり、それのほんの少しの部分がばらまかれるだけでも、すべての人に非常に高い生活の質を与えるのに十分であるシナリオがあると思います。」
ボストロム教授、これから毎年あなたと連絡を取って、実際にどのようになっているかを確認したいと思います。しかし今のところ、2025年現在、AIの人間レベルの知性、超知性に到達する可能性と、その超知性が私たち全員を消滅させる可能性についてどのように考えていますか？
「それらは複雑で難しい質問で、おそらく探索するにはもう一時間ほど必要かもしれませんが、この私が描いた絵がほぼ正しいとすれば、それは人類の歴史の中で非常に特別な場所に私たちが生きていることを意味します。それ以前には何千年もの間、多くの世代があり、今、もしこれが正しければ、私たちはまったく異なる時代への移行の瀬戸際にいます。それは何百万年、あるいは何十億年も続くかもしれません。技術的に成熟した、多かれ少なかれ静的な状態で。
あなたと私がこの支点に近いところにいて、何百万年後に起こることに対して不釣り合いな影響を持つかもしれないというのは奇妙に思えます。この絵が正しいのかどうか疑うべき質問なのか、あるいは私たちが現在見ることができない更なる含意があるのか、それとも単なる偶然なのか、正確には分かりません。誰かがそこにいなければならなかったのです。」
これを元に戻すことはできないのですね。このような会話をしたとき、人々は「これが好きではないので、やめましょう、規制しましょう、シャットダウンしましょう」と言うことがあります。今から何が起ころうとしているのかは、もう避けられないのでしょうか？それを規制したり、逆転させたり、変えたりすることは非常に難しいのでしょうか？あなたが描写しているユートピアのためには、おそらくすべきではないのかもしれませんね。
「そうですね、私が見たいのは、最初に到達する人、研究所や会社や国や国際プロジェクトなど、超知性の初期開発者が誰であれ、彼らが最終段階で注意深く、少しゆっくりと進む機会を持つことです。つまり、すべてのつまみを一気に11に上げるのではなく、6ヶ月か1年かけてすべてをテストし、それを徐々に行うことができればいいと思います。
一方で、10の異なる研究所が最初に到達するために競争しているような超競争的なシナリオもあり得ます。その場合、余分な予防措置を取る人はすぐに後れを取り、無関係になり、最もリスクを取る意志のある人にレースが行きます。それは悪い状況のように思えます。
だから私は重要な段階でペースを和らげる機会が少しあればいいと思いますが、究極的に言ったように、もし私たちがこれを無期限に逃すなら、それは独自の存在的な大惨事だと思います。」
ボストロム教授、現時点では「目を光らせておく」というのがアドバイスでしょうか。みんなにそう言えるでしょう。それについて考え、それに焦点を当て、何らかの注意を払ってください。必ずしも「仕事をやめて大休暇に出かけよう、世界は終わるから」と言うべきではないでしょう。あなたが正しければ、世界はすぐには終わらないかもしれませんし、あなたの知る限り、そのシナリオのより良い部分が実現すれば、はるかに良い世界になるかもしれません。
しかし、これは確かに、あなたが注目すべきこと、多くの注目すべきこと、おそらく99.9%の人々が行っているよりもはるかに多くの注目を払うべきことです。それは公正な要約でしょうか？
「そうだと思います。現在のAIツールを使ってみてください。それはおそらく多くの職業で有利になるでしょう。そして、現在の瞬間を大切にしてください。人類の歴史の中で最大のこの出来事に気づかずに入っていくのは恥だと思います。あなたはそこにいたのに、注意すら払っていなかったなんて、孫たちは何と言うでしょうか。
もしこの未来を見たいなら、おそらくあと数年で済むかもしれないので、もし未来に楽観的であれば、不必要な健康リスクなどを避けるよう努めてください。そして、より大きなスケールでは、人間をより友好的で協力的にするものはすべて良いと思います。
これらのAIを互いに対して使うのではなく、何か前向きな目的のために使うという競争のリスクは大きなリスクの一つだと思います。そのリスクを減らし、より友好的で包括的な未来を目指すことができればと思います。人間、動物、そしてデジタルマインド自身のためにも良い未来を。これは話す時間がなかった重要なことですが、将来生まれるかもしれないこれらの有感のAIにとっても良い未来でなければなりません。
未来に対して、オープンマインドな好奇心、寛大な態度、愛の姿勢、そして協力する意欲を持って接することが、他のどんな接し方よりも、ユートピアを生み出す可能性が高いと思います。」
「セバスト（ニック・ボストロム）、お話しできて本当に楽しかったです。ありがとうございました。これを聞いたり見たりしている人々が、あなたが非常に正確に言ったように、もし人類史上最大の瞬間の一つだとしたら、ただ眠りながら通り過ぎるのではなく、少なくともある程度の好奇心を持ち、注意を払うべきだということを理解してくれることを願っています。ありがとうございました。お話できて本当に楽しかったです。」
「あなたとお話しできて楽しかったです、ヴィクラム。どうもありがとうございました。」
コメント