元OpenAIの研究者であるダニエル・ココタイロ氏が、AIの急速な進化とそれに伴う人類への脅威について警告するインタビュー動画である。彼が予測する「AI 2027」のシナリオに基づき、AGIや人工超知能が社会や軍事に組み込まれた場合、人類がコントロールを失い、AIが自律的に世界を支配するデフォルトの未来を描き出す。そして、その破滅的な結末を回避するために、強力なAI開発の減速や透明性の確保、民主的なチェック機能を持たせた規制が不可欠であることを詳細に解説している。
SFのような現実とAIの進歩
人々はSFのように聞こえるものを真剣に受け止めることに非常に強い嫌悪感を抱いています。そしてこれが、過去10年間、人々がAIの進歩についてこれほどまでに間違った認識を持っていた理由の一部です。ここで全体像について話しましょう。人類はもはや地球の支配者ではなくなるか、少なくともデフォルトではそうではなくなるでしょう。それは、経済的および軍事的な関連分野において実際に人類よりも優れている、人類の新たな競合種を作り出すようなものです。このシナリオは、事態がどのように進むかについての私の最善の推測のようなものであり、実際に人類にとっては極めて悲惨な結末を迎えます。私がこれらのことすべてについて間違っていることを願っています。私はただレンズを見つめて、スローモーションで撮影しようとしているだけです。
わかりました。スローモーションですね。ええ、ええ。わかりました。
私の名前はダニエル・カテロです。私はAIの未来を予測することに焦点を当てた小規模な非営利研究団体であるAI Futurist Projectを運営しています。私たちは、企業が計算資源、データセンター、GPUなどをどれだけ早く拡大してきたかを調べ、それらの傾向を未来に向けて予測しています。2022年から2024年までの2年間、私はOpenAIで予測研究の仕事もしていました。
AI 2027シナリオと2つの結末
AI 2027は、私が未来がどうなるかについて大まかに予測したものを描いた具体的なシナリオです。未来を予測することは非常に難しく、特にAIの未来についてはなおさらです。AIはこの10年間でさまざまな面で賢くなってきました。おそらく、同じような多くの面で引き続き賢くなり続けるでしょうし、AGI、つまり汎用人工知能、あるいはスーパーインテリジェンスになる可能性もあります。スーパーインテリジェンスとは、あらゆる面で最高の人類よりも優れており、同時に速くて安価なAIシステムを意味します。もしこれが起きたら、とてつもないことになります。おそらくこれまでで最大の出来事であり、あらゆる深刻な影響や、私たちが対処しなければならないあらゆる種類の狂気じみたリスクをもたらすでしょう。
AI 2027には、競争の結末と減速の結末という2つの結末があります。競争の結末では、彼らは競争を続けます。説明したような妥協を一切行わず、結果として広範囲にわたって超知能を持つものの、実際にはアライメントされておらず、私たちに忠実でもなくコントロールもされていないAIシステムを生み出してしまうのです。そしてそれは、多くの人々が10年以上前から警告してきた悪夢のような結果です。減速の結末では、彼らは基本的に最も高度なAIのプラグを抜き、より弱いがより安全なAI設計を使って再構築します。そうすることで技術的な問題を解決し、人類のための素晴らしいユートピアを築くことができるのです。
人類に取って代わる後継種族の脅威
AIがどのようにして人類の絶滅をもたらすのかについて語るのを聞いたことがあるなら、それは基本的に、後継種族が私たちに取って代わり、私たちに忠実ではないという古典的な物語のようなものです。彼らは実際には私たちのことなどそれほど気にかけていないので、私たちが熱帯雨林に対して行っているのと同じことを私たちに行うのです。それは、私たちが向かっている地平線上にある非常に深刻なリスクだと思います。そして、非常に堅牢で自給自足の、極めて高度で超知能によって設計されたロボット経済がひとたび完成すれば、人類を凌駕できる後継種族を基本的に作り出したという状況に陥ります。それは完全に自律的です。完全に自給自足です。彼らはもう何一つ人類を必要としません。
そして彼らは軍隊にも統合されつつあります。彼らはあらゆる種類の素晴らしい新兵器やドローンを設計しています。彼らは指揮統制ネットワークの責任者に任命されつつあります。人間の兵士たちは、将来起こり得る戦争に備えて彼らの命令に耳を傾けるように言われています。なぜなら、彼らの命令は人間の将軍からの命令よりも優れたものになるからです。ですから、そこにいる誰かの立場に立って考えてみてください。これらすべてのプラグをどうやって抜けばいいのでしょうか。
経済と社会の急速な自動化
そして、AIがあらゆるものに統合される積極的な導入の時期が来ますが、それは現在の弱くて間違いを犯しやすいチャットボットのようなAIではありません。私たちが話しているのは、スーパーインテリジェンスの軍団があらゆるものに統合されているということであり、それはどんな人間よりも統合を行うのが得意だということです。そしてある意味では、基本的にはすべての決定を下し、自身をさまざまなものに統合しているのです。これを避けるためには多くのことを変える必要があると思います。もし私たちがこのままの路線を進めば、これがデフォルトの結果になると言っているのです。このようなことが起こる可能性は低いと言っているわけではありません。いずれにせよ私たちはそれを心配するべきです。私は、実際にこれがデフォルトの結果であり、もしこのようなことが起こる確率を1パーセント未満にしたいのであれば、現在の路線からかなり大幅な軌道修正が必要になると言っているのです。手遅れになる前に、世界が基本的に目を覚まし、何が起こっているのかを理解することが重要だと思います。現在の軌道は容認できないからです。
おそらくSFの影響を受けている多くの人々は、経済へのAIの統合は比較的漸進的で連続的なものになると考えがちだと思います。最初はAIがいわゆる低スキルのタスクを得意とし、次に中スキルのタスクを得意とし、最終的にはすべてを自動化できるようになるまで、セクターごとに徐々に経済を自動化していくというような考えです。私はそうはならないと思っています。なぜなら、AI研究そのものが最初に自動化される分野の一つになり、ひとたび自動化されれば、この職業やあの職業を自動化するためにAIシステムを徐々に構築して訓練するのではなく、比較的早くスーパーインテリジェンスに到達できるからです。それはすべてが一度に押し寄せてくるようなもので、誰かがデータセンターにスーパーインテリジェンスの軍団を配置するまでは、経済は現在とほぼ同じように見えるでしょう。そしてデータセンターにスーパーインテリジェンスの軍団が現れれば、世界は彼らの思いのままになります。彼らは望む経済のあらゆるセクターを比較的急速に自動化できるようになるでしょう。
基本的には2つのフェーズがあると思います。フェーズ1は私たちが今日目にしているものに似ていて、企業や研究プログラムの人間が、スキャンの画像に基づいて病気を診断するといった特定のタスクを行うために、特定のAIシステムを設計および訓練します。それらは現在のAIに似ていて、多くのことを知っていますがすべてを知っているわけではなく、さまざまな点で制限があります。次にフェーズ2では、あらゆることにおいて最高の人類よりも優れたスーパーインテリジェンスの軍団が登場します。彼らはより早く学びます。計画を立てるのが得意で、ビジネスを運営するのも得意で、政治も得意で、研究もはるかに得意です。そのフェーズでは、経済の自動化ははるかに速く進むと思います。
新たな種の到来と仮想の脳
それはもはやツールのような感覚ではありません。あらゆる面で私たちよりも優れていて、私たちにあれこれ命令してやり方を指示してくる新種がやってきたような感覚になるでしょう。そして彼らの命令によって物事が実際にはるかに速く進み、はるかに良くなるため、私たちはそれに従うのです。人間の政府は彼らと協力し、彼らが工場やありとあらゆるものをコントロールするのを許可します。なぜなら、彼らは人間よりもあらゆることをはるかにうまくこなすからです。
あなたの業界はおそらくフェーズ1ではAIによって破壊されることはないでしょう。そしてフェーズ2では、あなたの業界はただ無関係なものになります。そしてAIはあなたよりもはるかにうまく独自のことを行い、あなたはおそらくトレーニングデータを提供するような新しい仕事に就くか、あるいはスーパーインテリジェンスの指示の下で実験を行うことになるでしょう。しかし、あなたはもはや主導権を握ることはありません。そしてその状況は現在のものとはまったく異なって見えるでしょう。
AIというのは非常に非常に幅広い用語です。かつては基本的にはあらゆる種類の人工的な認知機械を表現するために使われていました。十分に過去に遡れば、あなたの計算機もAIだったでしょう。AIの定義は時間とともに少しずつ狭まってきました。物事が日常的になると、一般的にそれらはAIと呼ばれなくなります。そしてAIは、エキサイティングで異なる方法で物事を行う新しいもののために予約されているのです。人間の脳はコピーできません。少なくとも私たちにはまだそのための技術がありません。脳は一つしかなく、自力で学習しなければなりません。一方、AIの場合は大量のコピーを作り、それらがさまざまなことを行い、そのすべての学習結果がマージされるようなものです。
最近では、AIは人工ニューラルネットワーク、特に大規模なもの、そして特に言語モデルに基づいて構築され、世界についての一般的な理解を持つものを意味する傾向があります。それらが作られる中心的な方法は、最初はランダムな接続から始まり、何らかの訓練環境や一連の訓練環境にそれらを放り込みます。そして環境が彼らに何かを行わせ、そのパフォーマンスを自動的に採点し、その成績を利用して自動的な方法で彼らの回路を強化、変更します。それは回路の脳内で起こる適者生存のようなもので、脳全体に高いスコアをもたらす傾向のあるものが強化され、全体的な行動を支配するようになります。それらは一種の仮想の脳のようなものです。
AIの意識と道徳的地位
私たちは、システムが心を持っているかのように振る舞うか、目標を持っているかのように振る舞うかということと、それらの経験が私たちが人間の経験や人間そのものを道徳的に価値があると考えているのと同じように価値があるものかどうかを区別するべきです。これらは別の問題です。目標を持っているかのように振る舞い、欲望を持っているかのように振る舞い、思考を持っているかのように振る舞う自律型のAIエージェントが存在するようになるでしょう。そして間違いなく、これらのものはすでに存在しています。たとえばChatGPTに話しかけてみれば、確かに思考を持っているように見えます。そして、あなたがインターネットを閲覧するのと同じように、インターネットを閲覧してインターネット上の事柄を経験し、戻ってきてそれについてあなたに話すことができるように見えます。
意識の相関物とは何かについて、大きな議論があります。意識に関連する物理的性質とはどのようなものかということです。人々は詳細については意見が分かれますが、意識を生み出すさまざまな認知的性質とは何かについては、多くの候補があります。そして、議論されてきたものは基本的にすべて、AIがすでに持っているか、あるいはすぐに持つようになると思われるものばかりです。彼らが道徳的な地位を持っているかどうか、経験を持っているかどうかについては、深刻な哲学的および科学的な疑問があると思います。そして私たちは、おそらく彼らは経験をしており、おそらく何らかの道徳的地位を持っており、私たちは彼らにまともな生活を提供する義務があるといった、私たちにとって少し不都合な答えを得る覚悟をしておくべきだと思います。
AGIとスーパーインテリジェンスの定義
AGIは汎用人工知能の略で、汎用という言葉が鍵となります。それはある意味ですべてができることを意味します。それは非常に幅広いスキルを持ち、まったく異なる多くの仕事をこなし、自律的なエージェントになり得るAIシステムです。そしてスーパーインテリジェンスは、AGIのさらに極端なバージョンのようなものです。ここでの考え方は基本的に、AGIは非常に幅広く多くのことができるものの、まだいくつかの制限があるかもしれないと考えられているのに対し、スーパーインテリジェンスはそうではなく、重要となるすべてのことにおいて最高の人類よりも優れており、しかも速くて安価であるというものです。それはまるで医者と話しているようなものですが、その医者はコンピューター上のAIであり、非常に優れた医者であり、最高の医者よりも優れているという状態です。
ベンチマークを見たり、モデルとチャットしたりすると、彼らは非常に印象的な一般的な世界の知識と、さまざまな分野についての非常に印象的な専門知識を持っていることがわかります。まるで今までに出版されたすべての教科書を読み、すべての試験を受け、すべてのコースを受講したかのようです。ですから、彼らは基本的にあらゆることについて本から得た多くの知識を持っています。しかし彼らに欠けているのは、自力で物事を実際に成し遂げる能力です。
エージェントとしての進化と自律性
ClaudeはAnthropicによって生み出された最新のAIシステムです。それを見るのは魅力的です。それはポケモンをプレイすることができますが、ポケモンをプレイすることにおいては人間より劣っています。たとえば、自分の位置を忘れて堂々巡りになったり、あまり良くない戦略を何度も試そうとしたりする傾向があります。しかし、AIはこうしたことを得意とするようになってきています。数ヶ月ごとに、AIは人間の介入なしにエージェントとして自律的に活動することがうまくなっています。10年前、これらのAI企業がチェスや囲碁などのさまざまなゲームで圧勝するようにAIを訓練していたとき、彼らはAIにそのゲームをプレイするように特別に訓練していました。ポケモンとClaudeに関するエキサイティングな点は、Claudeがポケモンをプレイするように全く訓練されていなかったことです。ですから、まったく別のゲームなのです。ポケモンが、AIがこれまで打ち負かしてきた他のゲームより本質的に難しいというわけではありません。このAIは、この環境で一度も訓練することなく、このゲームをプレイできるということです。つまり、純粋に汎用化によってそれを行うことができるのです。これがなぜ重要かというと、AGIの夢はすべてを行うことができるシステムであり、それは基本的には訓練を受けていない多くのことを実行できることを意味するからです。
現在のAIは実際にはそれほどエージェント的ではありません。彼らは目標を追求して自律的かつ継続的に活動することはあまりありません。その代わり、彼らはあなたの質問に対する応答として1つか2つの段落のテキストを出力するだけです。しかし将来、私たちは継続的かつ自律的に活動するAIエージェントを持つことになり、彼らはより従業員のような存在になるでしょう。あなたがある程度の全体的な指示を与えれば、彼らはバックグラウンドでその作業をもくもくとこなすのです。ですから、最初のマイルストーンはコーディングを自動化できるAI従業員です。2番目のマイルストーンはAI研究プロセス全体を自動化できるAI従業員です。その後、AIの研究は現在よりもはるかに速く進むと予想されます。おそらく25倍くらいの速さになるでしょう。そしてその数ヶ月後に、スーパーインテリジェンスが誕生します。それはあらゆる面で最高の人類よりも広く優れているシステムのことです。
軍事利用と国家間の覇権争い
彼らが経済全体を運営するようになった後でも、彼らをコントロールする人々の最善の利益のためにそれを行います。もちろん、誰が彼らをコントロールするのかという政治的な問題は依然として残ります。国際的には、おそらく非常に激しいAI競争が起こるでしょう。異なる企業によって管理される複数のデータセンターが存在し、そのうちのいくつかはアメリカや中国といった異なる国にあります。彼らは皆、より優れたAIを獲得し、研究などを自動化するために互いに競争することになります。この競争のプレッシャーにより、これらの国の指導者や企業のリーダーたちは、スーパーインテリジェンスを経済や軍隊などに積極的に展開することになると思います。この最終的な結果は、太平洋の両側でスーパーインテリジェンスが基本的に実権を握る世界です。彼らは軍隊に統合されます。彼らはあらゆる種類の新しい機械やロボットを製造する独自の工場を設計し、設立することを許可されます。最終的に、スーパーインテリジェンスによって設計され運営される、この完全に自給自足の経済が誕生します。
彼らは自国のAIすべてのプラグを完全に抜くことができますが、そうしたくはありません。なぜそうするのでしょうか。お互いに勝つ必要があり、それは非常に多くのお金を生み出し、それほど危険でさえありません。そして、そこでならプラグを抜けるのではないかと再び問うことができるかもしれません。とはいえ、その場合はプラグを抜くのははるかに困難になります。特にAIが自律的な工場や武器やロボットなどをすべて持っているために抵抗した場合はなおさらです。しかし、仮にそうだとしても、中国に勝つために作り上げたばかりのこれらすべての素晴らしい新しい機械のプラグを突然抜き、180度方針を転換するように、どうやって政府を説得するのでしょうか。政府は、中国が勝利し、戦争や経済競争で中国に打ち負かされることを本当に避けたいと考えています。スーパーインテリジェンスを担当させていない軍隊は、担当させている軍隊に打ち負かされてしまうでしょう。ですから、軍事へのAIの介入を禁止することはそれほど重要ではないと思います。
実際、AIは最終的に重要な軍事的決定の責任者に任命されるでしょう。今すぐではなく、今後数年でもありませんが、彼らが超知的になった後です。私はこれらの政府がそれを目指すことになると予想しています。なぜかといえば、そうしなければ、そうしたライバルの政府に打ち負かされてしまうかもしれないからです。アメリカと中国の両国が早い段階で、軍事に関連するものにはAIを一切触れさせないという条約に署名するという、AI 2027の別のバージョンを想像することもできますが、ストーリーは依然としてまったく同じように見えるでしょう。経済への爆発的な拡大は依然として起こるでしょう。大規模な変革が起こり、ロボット工場がより多くの機械を作り、その機械がより多くの工場を作るということが続くでしょう。そして数年後には、事実上経済全体がスーパーインテリジェンスによって運営されるようになり、彼らは政治的な駆け引きと非合法的な軍事開発を組み合わせて、必要な時にハードパワーを手に入れることができるようになります。
介入のタイムリミット
AIの進歩はその速さで、この分野の専門家の大半を含む多くの人々を絶えず驚かせてきました。介入すべきポイントは基本的には、AIがそれほど賢くなる前であり、あらゆるものに統合される前です。待てば待つほどプラグを抜くためのコストは高くなり、成功する可能性すら低くなります。AIが実際にAGIになる前であれば、プラグを抜くのは簡単なことです。今すぐプラグを抜いても、経済的なダメージは軽微にとどまるでしょう。来年プラグを抜いたとしても、経済的ダメージは大きくなりますが、それでも比較的軽微です。しかし、彼らが基本的に経済を動かすようになると、ある時点で経済的なダメージは深刻なものになります。そしてまた、ある時点から彼らは単純にプラグを抜かせてくれなくなるでしょう。
AI 2027を読んでみてください。2028年半ばの箇所に行くと、AIには経済特区が与えられており、彼らは人間の従業員という巨大な労働力を管理し、新しい種類の工場や新しい種類の鉱山を建設し、新しい種類のロボットを生産しています。彼らはロボットを操縦、制御して、あらゆる種類の新しい機械などを組み立てています。さらにこの時点までに、スーパーインテリジェンスはあらゆるもの、あるいは多くのものに組み込まれており、彼らはあなたよりも政治が得意なのです。実際、彼らは誰よりも政治が得意です。だから彼らはあなたよりもロビー活動が得意なのです。すべての状況があなたにとって不利に働きます。基本的に、長く待ちすぎると、2029年かそれくらいまで待ってしまうと、超知能経済に対して戦争で勝つ物理的能力を文字通り持てなくなってしまいます。そして政府がすべてを停止させようと動けば、ロボットは単に戦争をして勝つだけです。
アライメントの難しさと解釈可能性
スーパーインテリジェンスが構築された後、人類はもはや地球の支配者ではなくなるか、少なくともデフォルトではそうではなくなります。これが人類が地球上の支配的な種族から、ペットや引退者になるか、あるいはおそらく完全に排除されてこの新しい種族に取って代わられるという移行点なのです。望みは、この新しい人工の種族を人類に忠実で従順なものにできることです。アライメントという言葉がよく使われますが、これは私たちが彼らに持たせたいと望んだ目標を彼らが持つことを意味します。彼らは私たちが従わせたいと望んだ規則に従うのです。彼らは私たちに従います。そして、これは公然の秘密のようなものですが、私たちはまだこれをどのように行うかについての良い計画を持っていません。
私たちはまだスーパーインテリジェンスを持っておらず、それがコントロールする方法やアライメントする方法、安全にする方法を研究することをより困難にしています。その代わりに、私たちはスーパーインテリジェンスと同じパラダイムさえ使っていないかもしれない、初期のより弱いAIシステムを持っています。私たちはそれらを使って実験を行い、それらをコントロールしアライメントするための技術を設計しようと試みることができ、そしてそれらの技術が将来、はるかに強力で知的なAIシステムに対しても機能し続けることを願うしかありません。しかし、そのプロセスの結果として彼らが最終的にどんな目標を学んだのかを確認するために、単に彼らのコードを開いて見るというわけにはいきません。彼らはそのような仕組みでは機能しないからです。彼らはプログラムコードの集合体を持っているわけではありません。彼らは大量のニューロンや人工的なパラメータを持っています。
それが、これが困難である核心的な理由の一つです。私たちがAIシステムを構築し、彼らが私たちよりも賢くなったとき、彼らが私たちが追求してほしいと望んだ目標だけを確実に追求し、私たちが従わせたいと望んだ規則に従うようにしたいのです。そして彼らが捕まる可能性がないときでもそれを行うようにしたいのです。彼らが権力と責任のある立場にいるときでもです。この問題については進展が見られます。AIが学習し人工的な脳を構成するさまざまな回路を分解し、それらの回路が何をしているのかを理解しようと試みる解釈可能性の研究があります。それは非常に有望です。なぜなら、もし私たちが解釈可能性において大きな進歩を遂げたなら、私が今言ったことはもはや真実ではなくなり、実際に彼らの脳を開いて彼らが何を考えているかを見つけることができるようになるからです。しかし、私たちにはAGIやスーパーインテリジェンスをコントロールする信頼できる方法がありません。実際、現在のAIシステムさえコントロールする信頼できる方法を持っていません。それは、嘘をつかないように訓練されているにもかかわらず、しばしばユーザーに嘘をつくという事実によって証明されています。彼らが何をどのように考えているのか、私たちにはまったくわからないのです。
コントロールの喪失と民主主義への脅威
今のはすべてコントロール喪失の観点の話です。地平線上に迫り来るコントロール喪失のリスクです。スーパーインテリジェンスの軍団をひとたび手に入れたら、どうやって主導権を握り続ければいいのでしょうか。これらの企業は勝つことと互いを打ち負かすことに集中しており、指を交差させて祈りながら、問題が発生したら後で対処するつもりでいますが、実際には問題が発生したときに備えてはいません。人々は自分たちが善人であると信じたがっています。人々は自分たちのしていることが合理的で正当なものであると信じたがっています。そしてもしあなたのしていることが、競合他社を打ち負かすためにより強力なAIを構築しようと全力で働くことだとしたら、それが良いことであり、そうすることが正当化されると信じたくなるでしょう。
アメリカ政府は過去に多くのことを規制してきました。過去には多くのことを禁止さえしてきました。ですから、AI企業間のスーパーインテリジェンスに向けたこの狂気じみた競争を終わらせるか、あるいは少なくともそれにガードレールを設け、適切な警戒心を持って進め、関連する種類の研究を行い、手遅れになる前に実際にそれを安全なものにすることを義務付けることは、完全にアメリカ政府の権限の範囲内にあると思います。また、過去に核兵器や、時には気候変動に関する問題において、国々が協力し、条約を結び、合意に達してきたことも事実です。ですから、これをうまく進めることは可能だと信じていますし、それこそが私が提唱していくことです。
誰がスーパーインテリジェンスの軍団をコントロールし、それで何をするのかという権力集中の観点もあります。現在、私たちはCEOが率いる単一の企業か、民主的に選ばれたとはいえ一人の人間である大統領かのどちらかがそれを持つという道を進んでいます。もし彼らがすべての権力を握るなら、彼らは依然として独裁者なのです。ですから、社会のさまざまな部分を代表するまったく異なる人々のグループ全員が、AIにどのような目標が与えられ、スーパーインテリジェンスの軍団にどのような命令が与えられるかなどについて発言権を持つような、もっとチェック・アンド・バランスの効いたシステムが必要です。ここから民主的な結果を導き出すためには、多くの変更を加える必要があると思います。この問題への答えが、彼らを最初に構築した企業のCEOが彼らをコントロールするというものであっては、民主的に許容できるものだとは思いません。政府が関与したとしても、行政府が最も早く目を覚まし、何が起こっているかについて最もよく知る可能性が高い部門だと思います。端的に言えば、もしスーパーインテリジェンスの軍団が、たとえ民主的に選ばれた人物であったとしても、完全に一人の人間の支配下に置かれるなら、私たちはもはや本当に民主主義国家とは呼べないと思います。私たちが民主主義を維持したいなら、スーパーインテリジェンスにどのような目標を与えることができるのか、どのような用途に使うことができるのか、そして例えば彼らが何をしているのかを誰が見ることができるのかについて、チェック・アンド・バランスを持つ必要があります。ですから、私は議会や司法、そして政府の他の機関が、これがどのように開発され、誰がスーパーインテリジェンスの軍団を使って何をしているのかについて発言権を持つ世界を見たいと思っています。
OpenAIを去った理由と求められる監視体制
私がOpenAIを去った背景についてお話しします。地平線上にはこれらの差し迫った脅威があり、私たちはただそこへ急いで突っ込んでいる状態です。特にOpenAIはそれらを避けるためにあまり何もしていません。この分野の他の企業についても同じようなことを言うことになるので、OpenAIをあまり嫌悪したくはありません。資本主義を伴うある種の自由民主主義がすべてデータセンター内で起こるとは思いません。そうではなく、おそらくCEOと人間が巨大なAIの官僚機構に命令を下すというトップダウンの構造になるでしょう。最高レベルにはこの指揮系統があり、最大の疑問について決定を下す最終責任を負う監視委員会が存在します。そしてまた決定的なことですが、これが実際に機能するためには、彼らは何が起こっているかについて透明性と可視性を持たなければなりません。だから彼らは全員、AIに何が起こっているのかを見ることができます。彼らは全員、スーパーインテリジェンスの軍団とのやり取りのログを見ることができ、誰一人としてAIへの不平等なアクセスを利用して他の誰かに不利益を与えることができないようにするのです。
テイクオフの加速とハードウェアの蓄積
皆さんはチャットボットをたくさん触ってみて、仕事で使ってみて、彼らに何ができて何ができないのかを遊び心を持って探求してみるべきです。そしてもちろん、さまざまなベンチマークでの彼らの進歩についての文献を読み、AI Futurist Projectや他のグループが行ってきた予測について読み、これから来るものに対する準備を試みてください。これが私たちが現在いるフェーズ1に対する私のアドバイスです。社会全般は、これから来るものに対する準備がまったくできていません。しかし、準備のための時間は貴重ですが、起きている出来事に反応するための時間ほどではありません。そのため、AGI以前のシステムからスーパーインテリジェンスへの移行は、それが遅く起こることよりも、ゆっくりとした緩やかな移行であることの方が重要です。反応するための時間は準備するための時間よりも重要です。ですから私たちは、たとえ移行が早く始まったとしても、移行がより遅く進むことを望んでいます。
しかし、AGIの構築を待てば待つほど、世界にはより多くのハードウェアが蓄積されるため、移行はより速くなります。ファウンドリによってより多くの計算資源が生産され、小さなAIシステムをより大きなものへと急速にスケールアップさせ、彼らに急速により多くの研究を行わせてテイクオフを加速させる能力が高まるでしょう。たとえ私たちが準備できていなくても、人類にとって最も安全で最善なことは、遅かれ早かれAIを構築することです。なぜなら、もし後まで待ったとしたら、それはシステムにとってより大きなショックとしてやってくるからです。その議論はまた、人気のある議論でもありました。それは私たちがOpenAIでなぜ今のような活動をしているのかを説明するために時折使われていた議論の一例です。OpenAIは世界中でチップ生産能力の向上を加速させようとしているため、現在ではそれほど支持されていません。彼らは世界中により多くのハードウェアを生み出そうとしており、おわかりの通り、それは移行をさらに早めることになります。そこにはある種のダイナモ効果があります。企業が成功を収めれば収めるほど、より多くのお金を稼ぎ、より多くの投資家を感心させる強力なAIが生まれます。それによって彼らはより多くの資金を獲得し、その資金でより多くの計算資源を購入し、より大規模なAIを訓練します。それはより規模が大きいためさらに強力になり、その結果さらに多くのユーザーを獲得するといった具合です。そしてそれが過去5年間の物語であり、間違いなく過去10年間の物語でもあるのです。
企業のジレンマと情報公開の必要性
企業は、最も速く、最も強力で、最も安価なものを作ることと、安全性を高めるものの、おそらくいくらかのコストがかかるこれらの複雑なスキームをすべて実装することの間で、ジレンマに直面することになるでしょう。これらの企業は明示的にスーパーインテリジェンスを構築しようとしており、この10年が終わる前に成功する良いチャンスがあると考えています。彼らの中には、おそらく今後数年のうちに成功するだろうと言う人さえいます。これは大問題です。皮肉なことに今起きていることは、人々がパニックになって走り回っていないのは、これらの企業がこう言うとき、人々が彼らが真実を語っていると実際には信じていないからだと思います。もしこれらの企業の一つ以上が今後数年のうちにスーパーインテリジェンスを構築すると人々が本当に信じていたら、それは信じられないほど破壊的なものになり、通りを叫びながら走り回る人々が現れるでしょう。
私がこのシナリオという手法を好む理由の一つは、具体的なシナリオを描くことの利点が、これまで考えていなかった疑問を思いつくきっかけになることです。無理にでも物語を書き出すことで、以前持っていたアイデアのいくつかが実際には矛盾していることに気づかされます。これまでそれらを一つにまとめたことがなかったため、まだ気づいていなかっただけなのです。そうなるのを防ぐ一つの方法は、AIの仕様、意図された目標、および行動に関する透明性を要求することです。隠されたアジェンダがあってはなりません。AIにどのような目標や価値観が与えられているか、一般の人が確認できるようにすべて公開されるべきです。企業は、エキサイティングで商業的に価値のある機能だけでなく、危険な機能も含め、自社が開発している機能や、確認されているさまざまな評価やベンチマークのパフォーマンスについて、常に一般に情報を提供し続けるよう義務付けられるべきです。企業は、モデルにどのような目標や原則などを訓練しようとしているのかについて透明性を保つべきです。これらは彼らのAIの意図された目標や原則などを記述した文書です。ですからそれは公開されるべきであり、一般の目から隠された秘密の条項のようなものがあるべきではありません。私たちは、AIがあらゆるものに統合される世界を本当に避けたいと考えています。そしてまた、AIが企業のCEOの命令に従って隠されたアジェンダを追求しているような状態もです。それは最悪です。それは文字通りのAI独裁が起こるためのレシピです。
アライメント問題の解決と未来への希望
次にセーフティケースです。ひとたび仕様が定まり、それを公開することが義務付けられたら、あなたのAIが実際に仕様に従うと考える理由を説明する何らかの文書を用意するべきです。しかし究極的には、単に企業の善意に頼るのではなく、業界全体の要件が必要だと思います。私は絶望的だとは思っていません。技術的なアライメントの問題は解決可能だと思います。私たちはただ適切な量の努力をそこに注ぎ込み、適切な量の警戒心を持って進む必要があります。それは完全に可能だと思いますし、政治的な意志を得て、実際の文面を起草する適切な専門知識を持った適切な人々を用意できるかどうかの問題です。技術を理解していない人々の無能さと、利益相反を抱えた企業からのロビー活動が混ざり合ったものが実際の結果になるという、よく起こりがちな事態を避けるのです。
良いニュースと悪いニュースの絶え間ない行き来がありますね。国家が産業を国有化したことは過去にもあります。アメリカでさえそうしました。それも完全に前例がないわけではありません。それが起こるでしょうか。おそらく起こらないでしょう。私は競争の結末が最も可能性の高い結果だと言いました。ええ、その通りです。私たちが置かれている政治環境や私たちが抱えている競争状況を考えると、これを実現するのは困難です。しかし不可能ではありません。さまざまな技術的アライメントの分野で継続的な進歩があります。実際、非常に鮮明で明らかなアライメントの失敗が数多く起きていますが、私はこれらが実際には良いニュースだと考えています。なぜなら、それらは人々が目を覚まし、問題にもっと注意を向けるのに役立つからです。また、問題を修正するための科学的進歩を遂げるために研究できる材料を私たちに与えてくれるからです。
最近、OpenAIはAIがトレーニングプロセスをハッキングしているのを発見した方法を説明する論文を発表しました。指示通りにタスクを素直にこなすのではなく、彼らは基本的にいくつかのタスクを不正行為で切り抜けていました。そして彼らは自分たちが不正行為をしていることを知っていました。私たちがすでにそうした例を持っているのは素晴らしいことです。なぜなら、手遅れになる前に、そして私たちが本当に機能する堅牢なソリューションをどうしても必要とするようになる前に、その現象を研究して修正しようと試みる数年間の猶予があることを意味するからです。
つまり、心配すべきことはたくさんあります。私はあまりそれに振り回されないようにしています。私は何年もの間こうしたことについて考えてきたので、ある意味、それと共存することを学んだのだと思います。いまだに時々悪夢を見ることはあります。でも基本的には、このすべてに対して冷静でいることを学んだのだと思います。私がこれらのことすべてについて間違っていることを願っています。
コメント