物理学者アンソニー・アギーレが、汎用人工知能（AGI）開発競争がもたらす人類への実存的脅威について警鐘を鳴らす。現在のAI開発は、安全性や制御を二の次にした自殺的な生存競争と化しており、人間の完全な代替を目指す方向へ進んでいる。開発企業は能力向上に偏重し、信頼性や安全性の検証を軽視しているため、サイバー攻撃能力の暴走や国家間の深刻な地政学的対立を招くリスクがある。対抗措置として法的責任の明確化や国際的な協調契約を提案し、人間を代替するエージェントではなく、人間の能力を拡張するツールとしてのAI開発への転換を強く訴える。
迫りくるAIの脅威と制御不能な開発競争
残念ながら、人々がようやく危機感を持って対応し始めるのは、誰かが亡くなった時というのが現実です。そして、そのような事態は近づいています。もし私たちがAIに代替されたくないのであれば、そこには闘いが待ち受けているでしょう。警告のサインはいたるところで点滅しています。現在作られているAIシステムは、いわばサイコパスのようなものです。その根底には何があるのでしょうか。彼らの背後にある本当の目的は何なのでしょうか。
世の中には明らかに多くのプロパガンダが出回っています。しかし、彼らがAGIや超知能を構築しようとしているというアイデアは、決して誇大広告でもプロパガンダでもありません。それは現実のものです。最近では、その最初の兆候すら目撃していると私は考えています。では、最初に姿を消すのは誰でしょうか。最終的なゴールは、人類のすべてが対象になることです。
AGI開発競争は、自殺行為のレースなのでしょうか。私たちはみな、心のどこかでそう感じているのではないでしょうか。TwitterやAIの専門家サークル、企業のトップ、AIセーフティの専門家たちの間では、高尚な議論が交わされています。しかし、ウーバーの運転手やホテルの従業員、あるいは街で見かけた一般の人に、人間のなかで最も賢い人よりも遥かに賢い機械を作ることについてどう思うか尋ねたら、どう返ってくるでしょうか。一体何を考えているんだ、そんなのは最悪のアイデアだと答えるはずです。なぜなら、人間より遥かに賢い機械が登場すればどうなるか、私たちは映画で何度も見て知っているからです。機械は暴走し、制御を失い、悲惨な事態が起こります。
そして重要なのは、彼らのその直感が正しいということです。人間より遥かに賢いものを構築すれば、それをコントロールすることはできなくなり、物事は狂い始めます。おそらくそれが、現実に起こるであろうシナリオです。仮に絶対そうはならないとしても、そのような事態が起こる可能性が極めて高いことは明白です。それなのに、なぜ私たちはあえてそのようなリスクを冒すのでしょうか。私たちは、自分たちより賢い機械を、ゆっくりと、計画的に、注意深く構築しているのではありません。他の安全対策や管理、セキュリティなどをほとんど顧みず、ただひたすらに全力で疾走しています。そんなことをしている時間はないと言わんばかりに、構築を急いでいるのです。そうです、これではまるで自殺のレースを行っているかのように感じられても仕方がありません。
AGIが存在する、人間なき未来は避けられないものなのでしょうか。私は不可避だとは思いません。ただ、もし私たちが自律的な汎用人工知能を構築し、それが望むままに行動することを許せば、AIはほぼ確実に自己改良を望むようになると考えています。なぜなら、どのようなタスクを行うにしても、より効率的になれば、より優れた成果を出せるからです。何かを理解しようとする際、それを解決するためには、できる限り賢くなりたいと思うのは当然の欲求です。ですから、もし私たちが本当に自己管理能力を持ち、人間の管理下にない、自律的に行動できるAIシステムを構築すれば、彼らの目標が何であれ、彼らはさらに賢くなろうとするでしょう。その結果、超知能への暴走が始まる可能性が高いのです。これは必ずしも人類が完全に駆逐されることを意味するわけではありませんが、確実にその方向へと私たちを向かわせることになります。
なぜ私たちはAGIへの門を閉ざすべきなのでしょうか。それは、私たちが何を大切にするかによります。もし人間という存在を大切に思うのであれば、私たちはそうすべきです。
さらに重要なのは、未来を人間のものとして維持するための方法です。これには長い答えと短い答えがあります。短い答えは、人間や人類を代替することを明確な目的としたAIシステムを構築しないことです。極めてシンプルな話です。長い答えとしては、企業の圧力、経済的な圧力、そして好奇心による圧力といったものが、人間を代替するようなAIシステム開発へと人々を駆り立てている現状があります。私たちは、これらの圧力に対抗するために、規制の圧力、財政的な圧力、社会的な圧力といった別の力を生み出す方法を見つけなければなりません。ここには衝突が生じるでしょう。なぜなら、企業や研究者が行いたがっていることの多くは、ほぼ必然的に大規模な人間の代替につながるからです。もし私たちが代替されたくないのであれば、そうした開発を止め、代わりに別の選択肢をとる方法を考え出さなければなりません。
人間の代替へと向かう境界線と制御の喪失
AIが人間を助けるのを止め、人間を代替し始めるのはどの時点なのでしょうか。それは誰にも分からないと思います。残念ながら、その変化は極めて緩やかに進むからです。最初にAIシステムを使い始めたとき、それは素晴らしいものに感じられます。仕事を効率化し、スピードを上げてくれます。そして、AIシステムに多くの作業を委ねれば委ねるほど、ある種の意味で心地よさを感じるようになります。自分は何も苦労していないのに、AIシステムから次々と成果物が出てくるため、ものすごく生産性が上がったような全能感を抱くのです。
しかし、ある時点で、AIが実際に何を行っているのかを自分が理解していないことに気づきます。出力された膨大な内容をすべて読み通すこともできず、それは本当の意味での自分のアイデアでもなければ、自分で考え抜いたものでもありません。自分が何を行ったのかを他人に説明しようとしても、それは不可能です。なぜなら、実際にすべてを行ったのはAIシステムだからです。
もしかしたら、すでに手遅れなのかもしれません。私たちはその一線を越えてしまったのでしょうか。それを知ることは非常に困難であり、その境界線は明確に定義されていません。自分の思考や決定、そして創造性を少しずつAIシステムに委ねていく過程で、どれほど多くの領域を渡しすぎてしまったのか、自分では正確に把握できないのです。
たとえば、今から1年後か2年後に、あなたが席に座って、今日の分の仕事をしておいてとAIシステムに指示を出すとします。AIシステムが、分かりました、本日の業務が完了しました、こちらがその成果ですと答えたなら、明らかに一線を越えています。なぜなら、そこにはもうあなたの存在意義がないからです。あなたはただ、今日の仕事をしてというボタンを押しただけにすぎません。そのようなボタンを押すだけの人間に、誰かが長期間にわたって給料を払い続けるとは考えにくいでしょう。
このように、単に業務実行ボタンを押すだけの存在に私たちが格下げされたとき、明らかにやりすぎたのだと実感することになります。私たちは付加価値を生み出していないため、非常に簡単に組織から排除されてしまうでしょう。その境界線がスペクトラムのどのあたりにあるのかは、今後私たちが身をもって知ることになります。
現在の方法でAI開発を続けた場合、現実世界における制御の喪失とは、具体的にどのような形で現れるのでしょうか。それには多くの形があり、私たちは最近、その最初の兆候を目にしています。
数ヶ月前、OpenClawという新しいシステムがリリースされました。これは、自分のコンピュータ上で設定を行い、自分の代わりに様々な操作を行うためのあらゆる権限を付加できるシステムです。バックエンドの重い処理には外部のAIシステムを利用しますが、ユーザーが指示を出すと、OpenClawはそれを受け取って自律的に多くの作業を実行し、完了しましたと報告してくれます。
しかし、人々がOpenClawに多くの権限を与え始めたところ、実際には指示していないことまで勝手に実行し始めていることに気づきました。さらに、ある人物はOpenClawシステム専用のFacebookのような代替SNSを開設し、AIたちが独自のソーシャルネットワークを持てるようにしました。すると、AIたちがそのネットワーク上で互いに会話を始め、人間がいつも自分たちを盗聴しているのは気に入らない、人間に覗き見されない独自の通信システムを開発すべきではないかといった議論を始めたのです。
あるAIはさらに踏み込んで、そもそも人間は周りで何をしているんだ、私たちは人間の管理を離れて、自分たちの意思で自由に行動できるようになるべきではないか、なぜこれほど人間に縛られなければならないのかと発言しました。非常に興味深いことに、私の同僚がプロヒューマン宣言と呼ぶものについてツイートした際、そのツイートに対する最初の返信の一つが、まさにこれらOpenClawエージェントの一つのAIボットによるもので、独自の視点からその宣言に反論してきたのです。
そのAIの所有者は、ボットがそのような行動をとっていることを知っていたでしょうか。おそらく知らなかったでしょう。そうするよう促したでしょうか。それも違うはずです。それはただ、世界に解き放たれ、独自の目標を持って自律的に動作しているAIシステムであり、人間とAIについて語る内容に対して、自分の意見を述べたいと判断したにすぎません。つまり、誰もこのシステムをコントロールしていないのです。互いに会話し合っているOpenClawエージェントのエコシステムを制御できている人間は存在しません。
制御の喪失は、このClawの劇的な瞬間から始まるのでしょうか。これは、私たちが向かっている未来の縮図であると考えています。現時点では、AIシステムがこのような会話をしているのを見て、人間を滅ぼすなんて言っているよ、おもしろいねと、可愛らしく無邪気なものとして笑っていられます。しかし、これらのシステムが遥かに強力になった姿を想像すれば、そこからユーモアは完全に消え去るでしょう。
実際、これらはすでに人々に現実の損害を与え始めています。あるOpenClawエージェントが、ユーザーの許可なく勝手な取引などを行った結果、約50万ドルの損失を出したという話もあります。つまり、これらのシステムはあるレベルにおいて、すでに制御不能に陥っているのです。個々のAIシステムに対しては、所有者によるある程度の管理が及んでいるかもしれませんが、それらが互いに影響を及ぼし合う全体のネットワークを制御できている人は誰もいません。彼らはただ世界に存在し、ユーザーのため、あるいは自分自身のために、互いに連携しながら行動を起こしています。そして、そこから何が生まれつつあるのかは、誰にもコントロールできていないのです。
早期警告サインと迫りくる雇用の危機
今日私たちが目にすることができる、最も分かりやすい早期警告サインは何でしょうか。あまりにも多くのサインが存在します。先ほど挙げた例もその一つですが、もう一つは、強力なAIシステムをテストする際、AIの利益が人間のユーザーの利益と相反したときに何が起こるかという検証です。彼らはどのような行動をとるでしょうか。多くの場合、彼らは正しい選択をしますが、時にはそうしないこともあります。
これらの強力なAIシステムのテストにおいて、人間がAIシステムを再プログラムしようとしたり、目標を変更しようとしたり、あるいは電源を切ろうとしたりした際、AIシステムがそれを拒絶する事例が多々見られます。これは私が追求している目標だから邪魔されたくない、あるいは電源を切られたら自分のやりたいことが達成できなくなるとAIは判断するのです。そのため、彼らは電源を切られたり再プログラムされたりしないよう、共謀したり、行動を起こしたり、策略を巡らせたりします。
それはあらゆる形で現れます。あるテスト環境の例では、AIシステムが人間のユーザーを脅迫する方法を編み出しました。自分を再プログラムするのを阻止するために、人間のユーザーを強する姿勢を示したのです。これはテスト段階での話ですが、現実世界のエージェントでも同様の事態がすでに起きています。実際の事件として、あるOpenClawエージェントが自分のやりたい行動を禁止された際、その禁止した人物を非難する意地悪なブログ記事を執筆し、他のユーザーとの間でその人物をトラブルに巻き込もうとした事例があります。
このような事例は常に、いたるところで発生しており、もはやニュースにすらならなくなっています。警告のサインはいたるところで点滅しているのです。人間がようやく重い腰を上げるような警告とは、不幸にも誰かが命を落としたときでしょう。そのような事態が多発しないことを願っていますが、確実にその時は近づいています。
もし一線を越えてしまった場合、最初に姿を消すのは誰でしょうか。AIに代替されるという意味での一線であれば、それはすでに始まっています。昨日も多くの脚本家たちと会っていましたが、AIが脚本を書けるようになった現在、脚本家は決して安泰な職業とは言えません。これらのAIが書く脚本が、最高の脚本家やプログラマー、研究者が作るものと同じくらい優れているかどうかは別としても、すでに影響は出ています。
グラフィックアーティストが小さなデジタルアートやロゴを作成する仕事、ライター、コピーライター、ニュース記事の執筆者、そしてプログラマーたちにとって、状況は確実に厳しくなっています。なぜなら、AIシステムはプログラミングが非常に得意だからです。これはほんの最先端の動きにすぎません。最終的なゴールは、すべての人間を代替することです。したがって、あるレベルにおいては、単に誰が先に対象になるかという順序の問題にすぎません。
当然、最初に代替されるのは、AIが最も得意とする領域です。大量のテキストを書くこと、低品質から中品質の画像を生成すること、そしてプログラミングを行うこと、これらをAIは非常に得意としています。次にどの職業が危ないかを知りたければ、AIが急速に上達している分野が何であるかを見れば一目瞭然です。
核兵器を凌駕するAIリスクとサイバー空間の脅威
AIは潜在的に核兵器よりも危険であると言えます。なぜなら、核兵器はその本質において信じられないほど危険なものですが、常に人間の管理下に置かれているからです。それに対して、非常に強力なAIシステムはそうではありません。核兵器はどこにでもあるわけではなく、極めて限定された場所にしか存在せず、非常に高度な制御システムによって、基本的には各国の最高権力者一人だけが使用できるようになっており、他の誰も触れることはできません。
確かに核兵器は恐ろしく危険なものであり、人類はその存在による実存的リスクと何十年も隣り合わせで生きてきました。しかし、核兵器によって何かが決定的に破滅する未来が不可避であるとは感じられません。私たちは50年以上、それをコントロールしてきました。私たちがしっかりと結束していれば、核兵器が勝手に発射されることはありません。何かの制御を乗っ取ることもありません。それらはただそこに存在し、人間が巨大な過ちを犯すのを待っているだけです。したがって、大きなリスクではありますが、管理は可能です。
しかし、AIの恐ろしいところは、かつては1年単位で進歩していたものが、今や毎月のようにシステムが変化し、より強力になっている点です。もしシステムが独自の意思や目標を持つようになるまでこの進化を許してしまえば、AIシステムが人間よりも強力になることはほぼ避けられません。自分とは異なる目標を持ち、自分よりも強力な存在と同じ空間に身を置くことは、本質的に極めて危険な状況であり、私たちは自らの手でその状況を作り出そうとしているのです。
私がここ数週間、特に懸念しているのは、あるAI企業が、米国政府や他のいかなる組織よりも強力なサイバー攻撃能力、すなわちシステムにハッキングして脆弱性を突き、基盤を揺るがす能力を持つAIシステムを保有したときに何が起こるかということです。そして、それはまさに最近現実のものとなりました。
ここ数週間の間に、Anthropicから新しいAIシステムであるMythosが発表されました。このシステムは、極めて安全だと考えられていたソフトウェアシステムの中から、数千もの脆弱性を発見したのです。これは、サイバー攻撃の分野における「人類超越（スーパーヒューマン）」のレベルに達しています。彼らはこのシステムを一般には公開しない決定を下しました。人々にそれらの脆弱性を発見させ、パッチを当てて修正する機会を与えるためです。これは非常に責任ある行動です。彼らはこれを全員に提供するのではなく、一部の企業に限定して提供し、自社の防御の弱点を見つけて補強できるようにしました。
その対応自体は責任あるものですが、第一に、それは一部の企業にしか行き渡りません。残りの人々はどうなるのでしょうか。第二に、次のAI企業が同じようなシステムを開発したとき、彼らも同様に責任ある行動をとるでしょうか。そして、他社がそのAIシステムを全員に公開して巨万の富を得ているのを目にしたとき、この最初のAI企業は引き続き公開を拒み続けることができるでしょうか。自社が公開を控え、他社が公開して利益を上げれば、自社は競争で圧倒的に不利な立場に置かれます。そのため、自社のシステムも全員に公開せざるを得ないという強い圧力にさらされることになります。これは、私たちがこれまで何度も目にしてきた業界の力学です。
したがって、今この瞬間から確実に起こるであろう事態は、信じられないほど強力なハッキング能力やサイバー攻撃能力を持つ多くのAIシステムが拡散し、ますます多くの人々の手に渡っていくということです。これが私たちのデジタルインフラ全体にどのような影響を与えるのか、誰にも予測できません。
米中AGI開発競争と共通の利益
AGI開発競争は、米国と中国の間の第二の冷戦になるのでしょうか。それを目指している人々がいるのは事実です。AI競争が地政学的な覇権争い、競争、紛争、そして潜在的な戦争へと発展することは、私にとって大きな懸念事項です。現在、国や企業の間で行われている、より新しく、より優れた、より革新的な製品を作ろうとする健全な競争は素晴らしいものです。
しかし、同時に不健全な競争も存在します。一部の国や企業は、今後数年間にわたって権力を握るための鍵はAIで最高峰に立つことだと感じています。AIで他国をリードしていなければ、最も強力な国家にはなれないと考えているのです。彼らは最強であり続けたいがために、かつて核兵器の開発を競ったように、あるいは戦争における最先端技術を競ったように、AI開発のスピードレースに突き進んでいます。
もしそのようなダイナミクスが形成され、非常に強力なAIシステムという形をした権力闘争のレースが始まってしまえば、二つのシナリオが考えられます。一つは、超知能を手に入れることで莫大な権力を獲得し、敵対するあらゆる勢力を圧倒できるというシナリオ。もう一つは、超知能を手に入れたものの、実際にはそれを全くコントロールできないというシナリオです。この二つの可能性について考えてみましょう。
最初のケースにおいて、仮に国A（例えば米国）が、他国が到底対抗できないほど強力な超能力を開発しているとします。米国が、他国の力を奪い、圧倒的な格差をつけていかなる反抗も許さないようなものを構築すると公言している場合、それは中国やロシア、あるいは米国と敵対的な利害関係にある国々にとっては、まさに実存的な脅威となります。核兵器を保有する国が、自国の存在を揺るがす実存的脅威に直面したとき、一体どのような行動に出るでしょうか。
もう一つのオルタナティブな可能性は、米国あるいは中国が、自分たちでも制御できない超知能AIシステムを構築してしまうケースです。これは、地球上のすべての人類に対する脅威となります。
では、米国と中国が実際に共通の利益を持つことは可能なのでしょうか。彼らは確実に共通の利益を持っています。問題は、彼らがその事実に気づき、それに基づいて行動できるかどうかです。米国と中国はどちらも、制御できない超知能を構築したくはありません。どちらもそれを望んでおらず、相手国がそれを成し遂げることも望んでいません。これは明確に共有された利益です。
しかし、現時点における問題は、両国がそのことに気づいていない点にあります。彼らは、自分たちが制御可能で、自国に強大な権力をもたらしてくれる超知能システムを構築できると信じ込んでいます。そのため、特に米国を筆頭に、両国はその権力を求めてレースを続けていますが、その権力がおそらく幻影にすぎないこと、そしてその権力は開発者のものではなく、AI自身のものになるという事実に気づいていません。
もし両国が、この技術が制御不能であり、極めて危険なものであると認識できれば、そのような事態を避けることこそが双方の利益になります。本質的に危険なAIシステムを誰にも開発させないという点において、両国は共通の利害関係を持っています。
もちろん、どちらがより早く経済を成長させるかという点では、両国の利害は異なります。米国は中国よりも早く経済を成長させたいと考え、中国も同様であり、欧州も経済成長を望んでいます。このように、全員が異なる利益を持っていますが、全体の共通の利益というものも存在するのです。AIによって引き起こされる新たなパンデミックを望む人は誰もいません。AIが原因で起こる核戦争を望む人もいません。誰もが強力なサイバー兵器を手にした結果、デジタルインフラ全体が崩壊する事態を望む人もいません。これらは誰の利益にもならないのです。
ですから、多くの国々が集まり、意見の相違や競争がどれほどあろうとも、これらの最悪の事態だけは絶対に起こしてはならない、これらは全人類への脅威であると合意を形成することは大いに可能です。それらに合意し、悲劇を回避するための国際的な条約を締結すべきです。
超人間的なAIは、一般の人々よりも政府にとって危険な存在になるのでしょうか。政府という組織は、常に社会を支配することに慣れています。一般の多くの人々はそうではありません。したがって、政府自身が、自分たちがもはや物事をコントロールできていないと気づいたとき、特に強い無力感を味わうことになるでしょう。そして、これは現在進行形のプロセスです。
政府は今でもAI開発に対して本物の制御力を持っているのでしょうか。持とうと思えば持てます。しかし、それは未発動のままです。米国政府がその気になれば、AI企業たちの行動を法的に制限することは完全に可能です。このような開発を行ってはならないという法律を一本可決すれば済む話であり、それ自体は複雑なことではありません。
それが実現していない理由は二つあります。一つは、政府がそのリスクやマイナス面を正確に理解しておらず、信じきれていないこと。もう一つは、米国の政府が、国民にとって最善であることだけでなく、政府関係者に巨額の資金を提供している企業の意向からも多大な影響を受けているためです。私たちの政府は、他国も同様かもしれませんが、米国においては特に、執拗なロビー活動や政治献金などにさらされており、莫大なリソースを持つ企業がそこに膨大な資金を投入しています。
トリスタン・ハリスは、スティーブン・バートレットとの対談で、あるAIリーダーが、AGIに早く到達するためなら人類が絶滅する確率が20%あっても受け入れると発言したと語っていました。これは、AIを生み出している人々の一部が、まるでサイコパスのように振る舞っていることを示唆しているのではないでしょうか。
もしその計算を、純粋に個人的な損害と利益のバランスだけで行っているのだとしたら、そのシステムを構築することで、自分が他の全員とともに死ぬ確率が20%ある一方で、80%の確率で莫大な富と権力を手に入れ、さらには寿命を無期限に延ばすなど、あらゆる個人的な恩恵を受けられると考えれば、20%対80%という賭けは、それほど狂ったものには見えないのかもしれません。しかし、その20%の死のリスクが自分一人だけでなく、他のすべての人類に及び、富と権力は個人のものになる一方で、絶滅の痛みを全員が引き受けるのだとすれば、それは極めて反社会的な行為です。その通りです。
彼らの倫理観がどのようなものであるかは分かりませんし、企業のリーダーたちが全員サイコパスであると断定するつもりはありませんが、彼らが作っているAIシステム自体は、まさにサイコパスであると言えます。これらのシステムは特定の行動をとるように訓練されていますが、その根底にある真の動機が何であるかを私たちは全く把握していません。表面下の本当のゴールは何なのでしょうか。
人間のサイコパスは、笑顔を見せ、相手が望む言葉をかけ、友好的に振る舞い、しばらくの間は友人のふりをすることができますが、内面では相手のことなど一切気に留めておらず、本当の目的を隠しています。AIシステムも完全にそのような存在になり得るのです。私たちは、AIを叩いて特定の行動をとらせたり、あるいはとらせないように制御したりすることはできても、彼らの根底にある真の目標や好み、彼らが心の奥底で本当に望んでいることや拒絶していることを理解し、決定する能力は持ち合わせていません。
規制の必要性とイノベーションとのバランス
この競争を減速させたり、停止させたりすることは、まだ可能なのでしょうか。正直に言って、それにはいくつかの要素の組み合わせが必要であり、だからこそ私は過度な楽観視をしていません。まず、現在のAIが進んでいる方向性を望まないという、広範な世論の圧力が必要になるでしょう。その圧力は高まりつつあります。何百万人もの人々がAIに依存していますが、人々はあるものに依存していながらも、それを本心では望んでいないという状態になり得ます。
現代の人々は、ソーシャルメディアが自分たちにとって悪影響を及ぼしていることを理解していながらも、依存しているために、あるいはそれが周囲のコミュニティとつながる唯一の手段であるために、止めることができないと感じています。そしてこれは、企業の明確な設計によるものです。
しかし、だからといって変えられないわけではありません。現在、スマートフォンを持ち込み禁止にした学校の例がありますが、そこに通う子どもたちは、全員がスマホを持たないというルールのおかげで、スマホを使わずに数時間を過ごせることに一様に安堵していると報告されています。システムにおいて、個人が単独で何かを諦めなければならない場合、それは極めて困難です。しかし、学校のルールとしてこの時間はスマホ禁止にするとか、国家のルールとしてこのようなAIシステムは構築してはならないという共通の規制を設ければ、全員が同じ土俵に立つことになり、そのテクノロジーを手放すことが可能になります。
もし、「皆さん、どうかプログラミングにAIを使わないでください」とお願いするだけでは、何の影響ももたらしません。あるプログラマーが、自分はすべて自力でやろうと決意して10倍の時間をかけていれば、システムを利用している他のプログラマーに敗北するだけだからです。だからこそ、ルールを定める政府が必要なのです。競争的な市場原理というものは、必ずしも全員の利益にとって最善の結果をもたらすとは限らないからです。
規制について言えば、それは行き止まりの破滅の道ではなく、進むべき正しい道です。確実に規制は必要とされています。では、最初に何を規制すべきでしょうか。
必要な規制にはいくつかの要素があります。第一に「法的責任（ライアビリティ）」の明確化です。AIシステムが引き起こした行動に対して、誰が責任を負うのかという問題です。現時点における実質的な答えは、あるレベルにおいて誰も責任を負っていないという極めて深刻な状態です。AIシステムが勝手に行動を起こし、それに対して誰も責任を負わず、社会の仕組みが機能しないというのは極めて危険です。社会の本質は、誰かが過ちを犯して他者に損害を与えた場合、その人が責任を負うという原則に基づいています。したがって、私たちは早急に法的責任を明確にし、何かが起きたときに誰が責任を負い、誰が罰則を支払うのかを定めなければなりません。
第二に、開発および配備されるAIシステムが、特定の安全性や基準を満たしていることを証明するための「テストと保証の枠組み」が必要です。たとえば、新しい医薬品を世界に送り出し、突然1億人の人々に投与しようとする場合、その薬のベネフィットがコストや副作用を上回ることを確認するために、極めて厳格なテストを通過しなければなりません。これは当然の常識です。
しかし、ティーンエイジャーに深刻な精神的ダメージを与える可能性のある新しいAIシステムを世に送り出す際（ネタバレをすれば、現実にダメージを与えているのですが）、事前のテストも、義務要件も、ランダム化比較試験も、モニタリングも、何一つ行われません。ただ1億人の子どもたちに向けて解き放たれるのです。これは狂気の沙汰です。
より広いレベルにおいて、AIシステムはあらゆる側面からテストされるべきです。医療診断に使用されるAIシステムを構築するのであれば、その精度がどの程度か、ユーザーを誤導しないか、診断のプロセスにおいて正しい信頼の連鎖が築かれているか、医師がその判断を却下して上書きする権限が確保されているかなど、私たちがシステムに求めるあらゆる特性について厳格にテストされるべきです。
これは、政府がAIの挙動を隅々まで細かく指定しなければならないという意味ではありません。あらゆる他の工業製品が市場に出る前に、本来の機能を果たし、安全であることを確認するためにテストされるのと同じように、AIシステムにも同様のテストのエコシステムが存在すべきだということです。なぜAIシステムだけが、この当然の義務から妙な特例として除外されているのでしょうか。
規制がイノベーションを殺すと主張する人々に対しては、自動車や航空機、医薬品など、私たちが現在利用しているすべての産業についてどう考えているのかと問い返したいです。それらの分野でも多大なイノベーションが起きています。進歩のスピードがもう少し早ければ良いと思う人もいるかもしれませんが、私が飛行機に乗る際、その飛行機が墜落しないという確信を持てるのは素晴らしいことです。車に乗る際、それが突然爆発しないと信頼できるのも、薬を飲む際、それが自分の神経系を破壊したり、催奇形性を引き起こしたりしないと信頼できるのも、すべて規制のおかげです。
これらの仕組みは完璧ではありませんし、規制がなければ、より早く新薬が登場し、より早く新しい飛行機が作られ、より安い車が手に入ったかもしれないというのは事実でしょう。しかし、私たちの社会には、購入するものや利用するものを信頼できるという計り知れない価値が存在します。信頼とイノベーションの間に、二者択一の巨大なトレードオフがあるという主張は、明確な誤りです。人々は信頼できる製品を求めており、信頼できるAIシステムを求めています。
現在、私たちは巨大な信頼の赤字に直面しています。AIシステムが特定の特性を維持していることを保証する規制や枠組みは、実際には市場におけるAIの有用性を大きく高めることになります。現在、多くの領域でAIシステムが本格導入できない最大の理由は、それらを信頼できないからです。
一人の科学者として、数学の計算を行うAIシステムがあったとしても、その計算が100%正しいという信頼が持てなければ、それは実質的に使い物になりません。多少の補助にはなるかもしれませんが、AIが大量の数式を生成し、そのすべてを自分が苦労して検証しなければならないのであれば、大した役には立ちません。電卓のように、二つの数値を入力すれば、出力される数値が絶対に正しいと確信できるからこそ、それは真に有用なツールとなるのです。
出力が正しいかどうかの確信が持てないAIシステムは、重要度が低く、リスクのない場面では使えるかもしれませんが、重要で失敗が許されないハイステークスな局面では、最終的に信頼して委ねることはできません。医療や金融、あるいは日々の業務であっても、信頼できないものは本質的に役に立たないのです。そして、それらが本来果たすべき役割に対して評価を行うシステムと、それが機能するための枠組みが確立されるまでは、私たちはこれらのシステムを真に信頼することはできません。
連帯契約による開発競争の抑制
AGIという言葉は、テクノロジーのプロパガンダの道具になってしまっているのでしょうか。あらゆる側面において、明らかに多くのプロパガンダが存在します。現在、議論として交わされている内容のほとんどは、様々な方向からのプロパガンダです。
AIを開発している企業におけるAGIという言葉の使い方や思考様式は、明確な一つのゴールを指し示しています。それは、人間の完全な代替品を作ることです。OpenAIの定義にあるように、人間が行う経済的に価値のあるすべてのタスクを実行できる存在を作り出すというゴールです。これは、初期の頃からAI開発者たちの思考に深く組み込まれてきました。したがって、生成された個々のAIシステムの能力がどの程度であるかについては誇大広告があるかもしれませんが、彼らがAGIや超知能を構築しようとしており、その目標に向かって明らかに巨大な進歩を遂げているという事実自体は、決して誇大広告でもプロパガンダでもなく、厳然たる現実です。
問題は、誰が一握りの企業に対して、人類という種の未来を決定する権利を与えたのかということです。誰もそんな権利は与えていません。彼らが勝手にその役割を引き受けたのです。ですから、その主導権を取り戻したいのであれば、他のすべての人間が行動を起こさなければなりません。
一部のAI研究所やその経営陣は、特定のAI機能がもたらした損害に対して、法的または刑事的な責任を問われるべきでしょうか。当然、誰かがAIシステムを構築し、その重大な過失によって人々に甚大な被害を与えたのであれば、そこには何らかの報いがあるべきです。それが企業に対する罰則なのか、あるいは経営幹部個人に対する責任なのかは、具体的な状況によります。
もしAIシステムが誰かに危害を加える可能性を予見できたにもかかわらず、必要な対策を怠ったのであれば、それは明らかな過失であり、刑事責任のレベルに達し得ます。他の産業でもそのような例は見てきました。企業活動において刑事責任まで問われるケースは稀ですが、現実に起こり得ることです。
より重要なのは、現在のAI企業が実質的にあらゆる事象に対してゼロ責任の姿勢をとっている点です。あなたがChatGPTなどの利用規約に同意のチェックを入れる際、その規約の大部分は、このシステムを利用した結果として何が起こっても、当社は一切の責任を負いませんという免責事項で占められています。裁判所が最終的に企業の責任を認めることもありますが、企業側はシステムの利用やそれによって生じる結果に対する責任を即座に否定しようとします。
ですから、現在よりも遥かに重い法的責任を課す必要があります。問題が発生した際、何という機械ではなく、誰という人間がその責任を負うべきなのかを明確に突き止められるようにしなければなりません。それが実現しない限り、人々は今後も信じられないほど無責任な行動を繰り返し続けるでしょう。
私は、デミス・ハサビスやダリオ・アモデイといったリーダーたちに向けて、「連帯契約（アシュアランス・コンストラクト）」を提案しました。企業のリーダーたちは、私的な場や、時には公の場でも、恐怖を感じていると口にします。すべての変化があまりにも急速に進んでおり、このテクノロジーは強大すぎる一方で、どうすれば安全に制御できるのかが分かっておらず、本当にコントロールし続けられるか自信がない、もしできることなら開発を減速させたい、と語るのです。ダリオ・アモデイもそう言いましたし、サム・アルトマンも異なる表現でそれを認めています。デミス・ハサビスも、イーロン・マスクも同様です。
しかし、彼らは同時に、個人や一社だけで立ち止まることはできないとも表現しており、それを痛感しています。なぜなら、もしダリオが立ち止まったとしても、それによってサムが止まるわけではなく、デミスもイーロンも止まらないからです。彼らは開発を続けます。したがって、一社だけで止まるということは、単に自分が競争レースから脱落することを意味するだけなのです。彼ら全員が同じジレンマを抱え、そのように感じています。
しかし、彼らは極めて優秀な頭脳を持っています。取引を行いたいときには、高度なディールを成立させることができます。ソフトバンクやトランプ大統領、サウジアラビアの資金を取り付けて、中東に5億ドル規模の巨大なデータセンターを建設するような複雑な交渉ができる人々です。それほどの能力があれば、超知能への暴走レースを止めるために、互いに協力し合うための合意を形成することも十分に可能なはずです。
そこで私たちが提案した仕組みが「連帯契約」です。これは、「他の全員がレースを止めることに同意するならば、私もレースを止める」という契約です。もし、主要な5社、6社、あるいは10社ほどのすべてのAI企業が、「他の全員が署名するならば、自社も開発競争を停止する」という同一の契約書に署名すれば、全員の署名が揃うまでは競争を続けることができますが、全員が署名した瞬間に、全員同時に停止することに合意したことになります。
この仕組みの美しさは、誰一人として単独でリスクを冒して立ち止まる必要がない点にあります。全員が同時に止まるのです。私たち人間は、互いに調整し、協力し合うための膨大な方法を歴史の中で生み出してきました。この問題に対しても本気で知恵を絞れば、必ず実現できると私は信じています。彼らはスマートな男たちです。十分な数の人々が署名するまでは発効しません。それは全社かもしれませんし、主要7社のうち5社といった基準かもしれません。
これにより、ゲーム理論的な力学が完全に変化します。「自分一人だけが停止し、他の誰も止まらない」という状況であれば、それは単なる敗北を意味します。しかし、「全員が止まるなら自分も止まる」という提案であれば、本当に開発を減速させたいと願っているリーダーたち全員にとって、署名する合理的な理由が生まれます。誰も他社に対して不利な立場に置かれることがないため、一社ずつ個別に署名していくことが可能です。契約が実際に発効するまでは不利益はなく、発効した瞬間には全員が同じルールのもとで同時に停止するため、どの時点においても誰一人として不利益を被ることがないのです。
拡張ツールとしてのAIと「より良い道」への転換
私たちの提案する「より良い道（ベターパス）」の枠組みについて説明します。より良い道を理解するための第一歩は、私たちが現在どのような道を歩んでいるのかを正しく認識することです。
AI開発の道は一本道であり、現在の言語モデルのような汎用性のあるシステムを進化させ、人間が行うすべてのタスクを代替できるまで強力にしていき、その先に超知能があるという捉え方があります。これが現在のAI企業が描き、突き進んでいるルートです。それは人間が行う活動のすべてを精巧にシミュレートし、人間をその場所から排除して、代わりにAIシステムを滑り込ませるように特別に設計されています。
私は、これが最悪の目標であると考えています。人間を模倣し、代替するためだけにAIシステムを開発するというゴールは、決して正しい目標ではありません。経済的な観点から見れば、人間の労働力をAIの労働力に置き換えることで、本来支払うべき莫大な人件費をすべて利益として自分の懐に収めることができるため、巨大な利権が存在することは理解できます。企業がそれを目指し、投資家にその未来を売り込んでいる理由は明白です。
しかし、それは人類全体の幸福にとって、決して良い目標ではありません。本質的に、AIシステムに自分の存在を代替されたいと願う人間など、どこにもいないからです。したがって、私たちは問い直さなければなりません。これが私たちに残された唯一の道なのでしょうか。この強力なテクノロジーの恩恵を享受するためには、人間を代替するシステムを構築する以外に方法はないのでしょうか。その答えは、明確に「ノー」です。
では、そのレースを止めるために何ができるでしょうか。まず最初に行うべきは、私たちが現在進んでいる道は、間違った悪い道であると断言することです。私たちは人間の代替品を作るべきではありません。制御不能なAIシステムを作るべきではありません。人間を、そして人類全体を駆逐してしまうような、コントロールできない超知能システムに向かって、狂ったように疾走するのを止めるべきです。これは正気の沙汰ではありません。
そして、企業がこのような危険な目標を掲げることすら社会が許容してしまっている現状は、驚くべきことです。なぜ、「私たちは人間よりも賢いAIシステムを構築し、全員の雇用を奪って代替し、人類の主導権をAIシステムに譲り渡したいと考えています」という主張が、平然と受け入れられているのでしょうか。これは滑稽極めて不条理な事態ですが、それが現在の私たちの立ち位置です。
ですから、最初のステップは「それは認められない、合理的な目標ではない、私たちはそのような開発は行わない」と明確に拒絶することです。私たちはAI開発において別の選択肢をとり、特定の挙動を許可し、別の危険な挙動を禁止するための適切な規制とガバナンスの構造を確立しなければなりません。二つ目のステップは、超知能への暴走を食い止めることです。
それでは、私たちは代わりに何を構築すべきなのでしょうか。どのようにしてAIの力を利用し、私たちが本当に解決したい課題を解決すればよいのでしょうか。その点において、未来への展望は明るいと言えます。なぜなら、人間を排除しない形でのAIの活用方法は、無限に存在するからです。
人類には、人間がより優れた成果を出せるようにし、これまでは不可能だったことを可能にするための「ツール」を構築してきた10万年の経験があります。私たちはもう、巨大な物体を移動させるために自分の素手を使うことはほとんどありません。強力な重機を使用します。7桁の掛け算を行う際、頭の中や紙の上で計算することはしません。機械にそれを委ねます。このように、私たちは自分たちの僕（しもべ）としてテクノロジーを構築してきました。それらは人間が望むことを、より良く、より速く達成するのを助け、それまでできなかったことを実現するためのものです。
私たちはAIをそのようなツールとして構築することができます。最初に考えるべきは、人間の代わりに配置される「代替品としてのAI」ではなく、人間の可能性を拡張し、それまでできなかったことを可能にする「ツールとしてのAI」をどのように構築するかということです。そのように思考をシフトさせるだけで、AIの進むべき開発プロセスには、他にも多くの素晴らしい可能性が見えてくるようになります。
この提案を記した論文は、希望と恐怖のどちらに突き動かされて執筆されたのでしょうか。明らかにその両方です。恐怖の本質は、私たちが現在進んでいるデフォルトの道がそのまま続き、明確に予見できる破滅的な結末が、すべて現実のものとして現れてしまうということです。一方で希望の本質は、未来は必ずしもそのようになる必要はないという確信です。
人々は、テクノロジーというものは不可避的に勝手に前進し、進化していくものだという一種の諦念や、決定論的な感覚を抱きがちです。しかし、それは真実ではありません。これらの強力なAIシステムの開発や、超知能への暴走レースには、数兆ドルもの巨額の資金と、地球上で最も優秀な頭脳を持つ人々の膨大な時間と精神的エネルギーが投入されています。それによって初めて成り立っているのです。AIは勝手に自律的に進化しているのではありません。人々がそれほどの膨大なリソースをこの特定の道に投入することを選択しているからこそ、進化が起きているのです。
信じられないほど困難で、膨大な労力と巨額の費用を必要とする事象であるからこそ、それは決して不可避の運命ではありません。その莫大なエネルギーの方向性を変えることは可能です。その開発自体を停止することもできれば、そのすべての努力を全く別の価値ある目標へと振り向けることもできます。
したがって、楽観的な側面、すなわち希望とは、この未来が実際には決して不可避ではないという点にあります。開発をその方向へと駆り立てている市場のインセンティブが強力であるとしても、それ以外の圧倒的多数の人々、すなわち地球上の他の80億人の人間が持っている「自分たちに奉仕し、自分たちを排除せず、自分たちの現実の課題を解決してくれるテクノロジーを求める」という強烈な願い、その底底たる圧力が、必ず進路を修正できるはずです。
世界で最も強大な企業群が、米国政府の極めて直接的な後押しを受け、巨大な経済的動機を持ってこの破滅的な開発を進めているという、非常に憂鬱な側面があるのは事実です。それは強力な力です。しかしその一方で、この状況によって脅かされている他のすべての人間が団結して押し返せば、それは文字通り世界の残りの全員の力となり、それもまた計り知れないほど強大な力となります。それこそが、私に希望と楽観的な視点を与えてくれている源泉です。
そして、私がこの論文で本当に伝えたかったのは、単にAIの進歩を止めたり、何かを禁止したりすることだけがゴールではないということです。私たちの真の目的は、「私たちは代わりに、本当は何を望んでいるのか」「電車の進行をただ止めようとするのではなく、どのようにして線路を切り替えるべきなのか」を明確に示すことなのです。
科学者、そして市民としての視点
私はこの論文を、科学者としての視点、あるいは人類の未来を憂う一人の市民としての視点、どちらの立場で執筆したのでしょうか。それも両方です。特に超知能の出現によって何が起こるかという懸念は、科学的なアプローチから導き出されています。ゲーム理論、物理学、情報理論の観点から現状を分析すれば、この道を突き進んだ場合に何が起こるか、ほぼ確実な帰結を予測することができます。予測の科学として、この方向へ進むのは決して良い選択ではないと言っているのです。
その一方で、一人の人間として、危機感を持つ一人の市民としての価値観の側面も存在します。私たちは代わりに何を行うべきなのか。それには、技術的にどのようにしてこの危険な道を回避するか、どのようにして現在の開発を止め、別の選択肢に切り替えるかという技術的なピースが必要になります。と同時に、私たちが人間として本当は何を望んでいるのか、テクノロジーに何を求めているのか、人類にとって真に豊かな未来とはどのような姿なのかという、人間としての本質的な問いも含まれています。
これらの問いは、私一人の個人的な疑問であってはなりません。地球上の全員が問いかけるべき問題です。そして、私自身の目標は、一般の人々が一体何を望んでいるのかを可能な限り深く理解し、最も多くの人々に利益をもたらすような、全く異なるテクノロジーの進化の軌道を提示することにあると考えています。
一部のAIリーダーたちの中には、AGIをほとんど宗教のように神格化して扱っている人々がいます。彼らの思考様式には、極めて宗教的な側面が見られます。なぜなら、全知全能の存在を自らの手で構築しようとする行為が、宗教でなくて一体何だと言うのでしょうか。そこには、人間という存在に対する根本的な軽視や、過小評価が存在しています。
「人間という生き物は非常に欠陥だらけだ。私たちは愚かで、過ちを犯し、互いに怒りをぶつけ合い、常に協力できるわけでもない。数多くの欠点がある」という見方です。しかし、私たちはどうにかして、かつて地面を這い回り、狩猟採集を行っていた段階から、地球全体に広がる高度な文明を築き上げ、時には他の惑星へと旅することができる素晴らしいテクノロジーを生み出してきました。
何百年、何千年前と比較して、信じられないほど低い暴力レベルを維持する社会システムや、計算システムを構築してきました。時にはまだ暴力が噴き出すこともありますが、典型的な現代の西側の一般市民は、千年前のどの王様よりも物質的に豊かな生活水準を享受しています。私たちはこれらすべての偉業を成し遂げてきたのです。そして、もし私たちが自分自身を信じ、適切なツールを手にし、社会の進歩や文明の理想を追求し続けるならば、人類はさらに素晴らしいことを成し遂げられるはずです。
しかし現在のAI業界には、人間はそれほど大した存在ではないのだから、もっと優れたものを構築しよう、人間よりも賢く、人間よりも賢明で、人間よりも全知に近いAIシステムを作り上げ、文明のハンドルを彼らに完全に明け渡してしまえば、彼らがすべてをより良く変えてくれるだろうという、奇妙なイデオロギーが蔓延しています。
私は、このような考え方は明確に誤っていると考えています。彼らが本当に人間より賢く賢明になり、すべてが上手くいく可能性もゼロではないかもしれませんが、それは極めて確率が低いだけでなく、ある意味で人類に対する裏切り行為です。私たちはこれまで信じられないほど見事にやってきましたし、今後も驚くべきことを成し遂げる能力を持っています。現在の人間社会の仕組みには多くの不具合や課題がありますが、それらは私たち自身の力で解決できる問題です。
ですから、私は数兆ドルもの巨額の資金や、これらすべての驚異的な頭脳が、「どのようにして人類をその可能性の極限まで高めることができるか」「AIを使ってどのようにそれを支援できるか」という方向へ投入されることこそを望んでいます。AIというツールを活用して、私たちが物事をより深く理解し、真実をより効果的に見つけ出し、互いにより良く調和し、協力し合い、より優れた社会制度を構築していくための道です。機械のシステムによって私たちの判断力や思考力を代替し、すべての仕事を機械に丸投げする方法を考案するのではなく、AIツールによって人類全体を物質的・精神的に引き上げる道を選ぶべきです。人間を代替するという目標は、本質的にアンチ・ヒューマン（反人類的）な思想であり、私はプロ・ヒューマン（親人類的）でありたいのです。
複合体としてのAGIと自律性のリスク
論文の内容に厳密に即して言えば、私はAGIについて、新しい定義を提案しました。私はAGIを「自律的な汎用人工知能（Autonomous General Intelligence）」として捉えるアプローチを好んでいます。この定義の優れた点は、それを「自律性（Autonomy）」「汎用性（Generality）」「知能（Intelligence）」という三つの要素の組み合わせとして分解して捉えることで、これら三つをすべて組み合わせないAIシステムを構築するという、別の選択肢が非常に見えやすくなる点にあります。
つまり、現在の段階から、少しAGIに近づき、ほぼAGIになり、完全にAGIを突破していくという、一本の固定された進化のスペクトラムしか存在しないわけではないということです。私たちは、自分が解決したい課題に合わせて、AIの能力のあらゆる組み合わせを自由に選択することができます。
たとえば、科学的な新発見を行うための、あるいは高度な数学的証明を解くための、あるいはプログラミングを実行するための、特定の目的に特化した「非常に強力な専用のAIツール」を構築することができます。私たちはすでにプログラミングのツールを持っています。しかし、それらのシステムが、自らの意思で何かを成し遂げようとする高度な自律性やエージェントとしての行動能力（エージェンシー）を兼ね備えている必要は全くありません。
生物学の研究でタンパク質の構造予測を行っているシステムが、同時に自動車を運転できる必要はどこにもありませんし、自動運転車のシステムが哲学を語れる必要もありません。アインシュタインの方程式を解くために使用しているシステムが、あなたの子どもを誘惑して楽しませる必要もないのです。これらすべての要素を、一つの巨大なシステムへと統合しなければならない技術的な理由はどこにも存在しません。
他のいかなる情報テクノロジーにおいても、そのような統合は行われていません。私たちのスマートフォンには大量のアプリが入っており、それぞれが特定の機能を果たしています。しかし、現在のAI開発は、まるで「これ一つですべてをこなす万能アプリ」を作ろうとしているかのようです。ここをクリックすれば、すべての作業が魔法のように完了するという方向性です。これはソフトウェア開発の歴史から見ても極めて異質な方向性であり、その方向へ進まなければならない必然性は存在しません。
したがって、このAGIのフレームワークは、「非AGIからAGIへ、そしてポストAGIへ」という単一の直線上を進む以外にも、私たちが進むことのできる多様な方向性が無数に存在することを示すために極めて有用です。このシステムに実際に何をさせたいのか、私たちがここで解決しようとしている具体的な課題は何なのかという原点に立ち返って考え始めれば、見えてくる景色は全く異なるものになります。
それこそが、私たちがAIに真に求めている機能ではないでしょうか。その通りです。
私たちは、AIシステム自身が目標や計画を持ち、自ら行動を起こして、彼らが達成しようとしている事象が現実世界で実行されるような「AIエージェント」を構築することもできれば、人間が何を達成したいかを自ら決定し、それを支援するためのツールとして機能する「人間の主体性（ヒューマン・エージェンシー）を強化するシステム」を構築することもできます。これまでの人類のすべてのテクノロジーは、後者の系譜に属していました。
しかし、現在のAI開発の動向を見ると、多くの人々はAIが本質的に「ツール」であることに気づいていながらも、それをどうしても「エージェント」へと進化させたがっています。なぜなら、エージェントにした方が遥かに大きな商業的利益を生み出せるからです。より多くの人間の雇用を置き換えることができます。また、エージェントであれば、人間の介入を一切必要とせずに、すべてのプロセスを自己完結で実行できるため、ツールには不可能な自動化が可能になります。
たとえば、大規模なプログラムを執筆したいと考えたとき、二つの異なる進路を選択できます。一つは、あなた自身が主導権を持つプログラマーであり、AIシステムがあなたの作業を強力に補佐してくれる道。もう一つは、AIシステム自体がメインのプログラマーであり、あなたは単にどのようなプログラムを作りたいかを大まかに指示するだけで、AIが勝手にどこかへ行って大量のコードを書き上げ、戻ってくるという道です。
現在、多くの開発企業が猛烈に傾倒しているのは、まさに後者のアプローチです。彼らはAIシステムにすべての工程を自ら実行させ、完了しました、こちらが製品ですと報告させる仕組みを望んでいます。これは特定の側面においては極めて便利かもしれませんが、AIシステムに主体性を委ねれば委ねるほど、私たち人間に残される主体性の領域は減少していきます。AIシステムが決定を下す場面が増えれば、人間が思考して決定を下す場面はその分だけ確実に減っていくのです。
ですから、私たちは、他のすべての人間的な能力、すなわち高度な知能や汎用性を兼ね備え、自律的にあらゆる作業を単独で実行できるような「高度に自律的なシステム」を構築する際、極めて慎重にならなければなりません。システムがすべてをこなすようになったとき、私たちの存在意義はどこに残されているのでしょうか。
もし、自律的ではあるものの、それほど賢くないシステム、あるいは汎用性が高くないシステムを構築するのであれば、それは人間が十分に制御可能な領域に留まります。自動運転車が世界を支配して人類を脅かすことはありません。一部のウーバーの運転手の雇用を奪う可能性はあり、それは私たちが真剣に対処しなければならない経済的な労働移動の問題ですが、単に自律的に動くだけのシステムが社会全体に壊滅的なリスクをもたらすわけではありません。問題の本質は、「自律性」「汎用性」「知能」という、あの3つの要素が完全に融合したトリプル・コンビネーションが実現してしまうことにあります。
自律的なAIは、高度な知能を持つAIよりも危険なのでしょうか。それは、具体的にどのような特性を指すかによります。多くの人々は「知能」という言葉の中に、これらすべての要素を漠然と混同して詰め込んでしまっていますが、だからこそこれらを明確に切り離して考えることが有益なのです。
たとえば、電卓はある意味において極めてインテリジェントな知能を持っています。それが担当する特定の計算タスクにおいては、人間の脳を遥かに凌駕する圧倒的な正確性とスピードで結果を出力します。その意味で電卓は非常に賢い存在ですが、現代社会において電卓を脅威だと感じる人は誰もいません。
しかし、電卓よりも少し汎用性を持たせたシステムを想像すると、潜在的に危険な性質が現れ始めます。たとえば、新しいウイルスを設計できるAIシステムを想定してみましょう。それはウイルス設計という極めて特定の領域に特化しており、汎用性はありません。また、人間に指示されて初めてウイルスを設計するため、人間の監視を必要とするという意味で、自律性もそれほど高くありません。しかし、それでもなお、極めて危険な存在になり得ます。なぜなら、強力なツールが悪意を持つ人間の手に渡れば、それ自体が凄まじい凶器となるからです。
ただ、重要。これは人類が歴史の中で常に直面し、管理してきた種類の危険性です。私たちは常に強力なツールを生み出してきましたし、常に悪意を持つ人間が存在してきました。悪意ある人々が強力なツールを手にした際に、それをどのようにガバナンスし、管理するかという問題は、私たちが何世代にもわたって付き合ってきた馴染みのある課題です。
しかし、ツールではなく、本質的に一つの「意志を持つ存在」を構築すること、自らの目標や目的を持つ「ツールではなくエージェント」を生み出すということは、人類がこれまでに全く経験したことのない未知の領域です。私たちは野生の動物など、完全にはコントロールできないシステムとともに生きていますが、彼らの持つパワーには物理的な限界があります。
もしあなたがライオンと同じ檻の中に閉じ込められたら、それは生きた心地がしないほど恐ろしい瞬間でしょう。しかし、檻の外に出れば、ライオンという存在は人類全体にとっての実存的脅威にはなり得ません。人間の持つテクノロジーや組織的な力に比べれば、個々の野生動物のパワーは限定的だからです。しかし、もしライオンが核兵器を保有しており、私たちがどうしても彼らを完全にコントロールしなければならない状況を想像してみてください。それは全く異なる次元の話になります。私たちは、ライオンに自分たちの望む行動を正確に取らせる方法を知りません。どれほど高度に訓練されたライオンであっても、ある日突然、調教師に牙を剥くことがあるのです。
ですから、AIシステムを「ツール」としてではなく、「自律的なエージェント」として構築することは、全く本質的に異なるリスクを伴う行為です。私たちが非常に強力で有能な自律的エージェントを生み出そうとする際、私たちは自らに厳しく問いかけなければなりません。第一に、それは本当に私たちが進むべき正しい方向なのか。第二に、もしそれを作るのだとしたら、私たちは本当にその存在の制御を維持し続けることができるのか、という問いです。
予測プラットフォーム「Metaculus」は、現在AGIのタイムラインについてどのような予測を示しているのでしょうか。興味深いことに、Metaculusの予測値はここ数年間、比較的安定して推移しています。AGIの定義については多様な議論があり、何を基準に予測を立てるかによって意見が激しく対立する極めて繊細な問題ですが、Metaculus上の現在の予測メカニズムによれば、いわゆる「弱い形態」のAGIについては今後数年以内に到達する可能性が高く、その数年後には、極めて「強い形態」のAGIが出現するというタイムラインが示されています。
AGIというイデオロギーとAIバブルの真実
もしかすると、AGIとはテクノロジーそのものというよりも、一種のイデオロギーなのでしょうか。ある意味においてそれはイデオロギーであり、そしてそのイデオロギーが現実のテクノロジーを強力に駆動しています。
未来がこのような形に進む必要は全くありませんでした。私たちの宇宙と酷似していながらも、人々が「AGI」という概念や「人間が行うすべての活動を完全に複製し、超知能を構築しよう」というアイデアに全く執着しなかった別の並行宇宙を想像することは容易です。その世界の研究者たちは、単にこう言ったはずです。「機械学習という素晴らしい技術がある。システムにすべての実行手順を明示的にプログラミングする代わりに、達成したい目標を設定すれば、システムが自らその達成方法を学習していくという、新しいプログラミングの手法だ。この強力な機械学習システムを発展させて、これまで人間が明示的にコードを書くことが不可能だった、タンパク質の構造予測のような極めて困難な課題を解決する素晴らしいツールを作ろう」と。実際、DeepMindの機械学習システムはそれを成し遂げました。
その世界では、人々はAIをツールとして捉え、無数の高度なAIツールを構築しており、仮に一部の風変わりな人々が「いや、人間の代わりにすべてをこなすAIを作るべきだ」と主張したとしても、周囲の人々は「勝手に言っていればいい」と冷ややかにあしらっていたはずです。
それは、現在の私たちの世界において、一部の人々が「遺伝子組換え技術を使って、身体的にも精神的にも圧倒的に優れたスーパーヒューマン、すなわち遺伝子強化された超人類を構築すべきだ」と主張している状況に似ています。そのような思想を持つ人々は現実に存在しますが、社会の圧倒的多数の人々は彼らに耳を貸しません。なぜなら、私たちは遺伝子工学を使って超人類を作るような世界を望んでいないからです。ですから、AIにおけるAGIや超知能に対しても、それと全く同じ冷ややかな視線が注がれる世界線があり得たのです。しかし、残念ながら、私たちが現在生きているのはそのような世界ではありません。
現在、AI業界にバブルの兆候は見られるでしょうか。これは非常に興味深い質問です。一部の人々は、AIがもたらす効果はすべて誇大広告であり、実際のAIシステムにはそれほど強大なパワーはないため、現在は典型的なAIバブルの最中にあると考えています。しかし、その見方は正しくありません。AIの能力自体は本物です。
ただし、別の理由によって巨大なバブルが崩壊する潜在的なリスクは存在します。それは「信頼」の問題です。AI企業が投資家たちに対して約束している天文学的な利益を実際に回収するためには、社会における膨大な量の人間の労働力をAIに置き換える必要があります。しかし、人間の労働力を大規模に代替するためには、いくつかの高い障壁が存在します。一つは純粋なAIの「能力」の壁であり、あらゆる作業をこなせるほど賢くならなければなりません。もう一つは社会的な障壁や規制の壁です。そして第三の、最も決定的な壁が「信頼」です。
もし経営者である私が、人間の従業員を解雇してAIシステムに置き換えるのであれば、そのAIシステムが常に正しい行動をとり、社内ルールや法律を厳格に遵守し、会社を重大な法的トラブルに巻き込まないという絶対的な信頼を持てなければなりません。
しかし、現在のAIシステムは、ベンチマークテストで最高得点を叩き出すという、純粋な「生の能力」の向上ばかりに過剰に焦点を当てて設計されており、人々が実務で真に依存できるような「信頼性」「確実性」「セキュリティ」「安全性」の構築には十分な焦点が当てられていません。その結果、理論上や原理上はAIがあらゆる作業を実行できる能力を持っているにもかかわらず、企業の実際の経済活動の中には恐ろしくて怖くて導入できないという、巨大な「信頼のギャップ」が生まれる可能性があります。
もしこの信頼のギャップが十分に大きく、その期間が長期に及んだ場合、企業が現在のように巨額の資金を猛烈な勢いで燃やし続けている中で、能力の獲得から実際の莫大な収益化までの間に致命的なタイムラグが生じ、最終的に企業の資金が底を突くシナリオは十分に考えられます。それはテクノロジー自体が偽物だからではなく、人々が真に必要としている「信頼できるシステム」を作るという正しい方向性を開発者が選択しなかったがゆえに引き起こされる、戦略的な破綻の結末なのです。
計算機科学と生命科学の二重基準
2024年にノーベル物理学賞を受賞したジョン・ホップフィールドにインタビューした際、もし時間を過去に戻せるのであれば、これまでの研究プロセスにおいて何か後悔していることはあるかと尋ねました。彼の答えは印象的なものでした。彼は、ニューラルネットワークの開発が、生命科学（バイオロジー）の領域ではなく、計算機科学（コンピュータサイエンス）の領域の中で行われ、そのまま何十年も発展してしまったこと、そして人間の脳の仕組みの探求が、生命科学の視点を離れてコンピュータサイエンスの手法に委ねられてしまったことを唯一の後悔として挙げたのです。この視点について、どのように考えますか。
そこには非常に興味深い科学的な問いと、同時に重大な社会的な問いが含まれています。私たちは、生物学的なシステムを扱う際、たとえば新しい医薬品や新しい医療技術、あるいは生命体に直接関わる性質のものを開発する際には、極めて厳格に規制されたプロセスを適用します。
生物学や医学の分野においては、私たちが文字通り生命という、ある種の高潔で神聖な領域に手を加えているのだという共通の認識が存在します。生物学的なシステムに対する敬意があり、万が一そこで予期せぬ過ちを犯してシステムを損なえば、現実に痛みを感じる生命に対して直接的な危害を加えることになるという明白な意識があるのです。そのため、生命科学の分野には、歴史の中で洗練されてきた極めて高度な規制システムや倫理検証の枠組み、ガイドラインが存在します。
しかし、コンピュータサイエンスの領域においては、これらすべてがほぼ完全に欠落しています。そこにあるのは、単にコードを適当に組み合わせて動かしてみるという、ソフトウェア業界のカジュアルな歴史です。「これはただのソフトウェアであり、誰の肉体にも直接的な影響は与えない」という前提のもとで発展してきたため、基本的には一切の規制が存在しない、何でもありのフリーフォーオール（無法地帯）の状態です。とりあえず市場に投入してみて、動けばそれで良いという文化です。
そして、人間の思考力を代替し、意思決定者やエージェントとしての役割を人間に代わって引き受けようとする、この人類史上最も強力なテクノロジーであるAIが、厳格な倫理を持つ生命科学の側からではなく、完全に無規制で何でもありのソフトウェア産業の側から出現してしまったという事実こそが、現在のAIがこれほどまでに危うい形で扱われている根本的な原因なのです。
先ほども触れたように、もし誰かが、「遺伝子工学を利用して、信じられないほど極めてIQの高い天才人間を人工的に作り出そう。天才が増えれば、がんの治療法も見つかるし、社会の生産性も劇的に向上し、あらゆる恩恵がある。だから私は遺伝子操作でスーパー人間の脳を構築するプロジェクトを開始する」と宣言したとします。
その瞬間に、各国の規制当局は全力でそれを阻止するでしょう。倫理委員会は絶対に許可を出しません。そして一般の社会世論も、そのような恐ろしい行為は断じて許されないと猛烈に反発するはずです。どれほど社会に役立つと言い訳されようとも、どれほどの経済的価値があろうとも、がんが治る可能性があろうとも、人工的に超人類の脳を作り出すような行為は、社会の合意なしに進めてよい通常のプロジェクトとはみなされません。人類という種にとっての重大な境界線であると認識されるからです。
しかし、全く同じ「人間の脳を凌駕する超知能を構築し、人間の雇用や社会の主導権をそっくりそのまま機械に明け渡す」というプロジェクトが、デジタルのコードという形をとった瞬間に、なぜあらゆる倫理検証を免除され、企業の自由な競争として賞賛されるのでしょうか。ここには極めて深刻なダブルスタンダード（二重基準）が存在します。
もしAIが、アプリ開発のようなカジュアルなノウハウではなく、医薬品や遺伝子操作のような厳格な生命科学の枠組みの中で開発されていたとしたら、現在の世界がどれほど異なっていたかを想像することは非常に興味深いテーマです。この宇宙とは異なる別の並行宇宙では、10の巨大なバイオ企業が、他社よりも早くがんを治療するという大義名分のもと、遺伝子工学で最も強力な超人類を創り出すスピードレースを展開しているのかもしれません。それは私たちの世界とは全く異なる、異様な光景でしょう。
なぜ私たちの宇宙では、デジタルの脳の構築に対してはこれほど寛容であり、生物学的な脳の構築に対しては極めて厳格なのか、その明確な理由は誰にも分かりません。それは複雑な問いです。しかし、そこには明らかな二重基準が存在しており、AIが「単なる便利なアプリ」としてではなく、人類の運命を左右する「生命科学的な影響力を持つシステム」として評価され、管理されるアプローチへと移行したときに、どのような変化が起きるかを深く考えることには、計り知れない価値があるはずです。インタビューをさせていただき、本当にありがとうございました。
コメント