8,429 文字
あなたがAIへの単なる関心から、それが我々の未来を脅かす可能性があるという確信へと転換したきっかけは何でしょうか。
主に二つの要因があったと思います。一つは、この新しいテクノロジーがもたらす影響の規模への気づき、そしてもう一つは、それが進展する速度と、我々の社会に絶大な影響をもたらす可能性のある結果が現れる速度への緊急性の認識です。
影響の規模という観点から言えば、私は既に数年間これらのテクノロジーに興味を持っていましたが、真に意識するようになったのは、約15年の歴史を持つAI安全性という科学分野の専門家たちと話し合う中でのことでした。それがいかに我々の生活のあらゆる領域に影響を与えるかということです。医学から法律、経済まで、つまり我々の生活全体が、この新しいテクノロジーによって根本的に変革されることになるのです。
テクノロジー巨大企業の明確な目標は、人間を超える人工知能に到達することです。そしてその結果について考えてみると、それは単純に驚異的なのです。このレベルでの認識の変化がありました。
緊急性の観点からも同様です。つまり、私はこの種のテクノロジーが物理的に不可能ではないことを知っていましたが、それがこんなに早く実現するとは思っていませんでした。おそらく100年後くらいに起こるだろうと考えていたのです。しかし、2023年11月頃に、AIの未来を科学的かつ真剣に予測するさまざまな方法に関心を持つようになった時、それがいかに早く実現する可能性があるかを理解したのです。人間を超えるAIが今後数ヶ月、数年のうちに登場する可能性があり、それは絶対に狂気的な結果をもたらすでしょう。これについてはまた議論する機会があると思います。
本当にこの二重の理解だったと思います。一方では、我々が一種の人類学的革命に直面しているということ、そしてこれはおそらく我々が経験することになる、文字、印刷術、電気よりもさらに重要な何かであるということです。私はこれらの革命について研究し、それらがいかに社会を変革したかを見てきました。これらの革命を軽視するつもりはありませんが、我々が現在経験していることがいかに完全に狂気的であるかを認識してもらいたいのです。
我々はおそらく最後の発明を創造しようとしているのです。それは、人間を超えるAIを手に入れた瞬間から、それがあらゆる分野で我々に代わって研究を行い、我々に代わって科学を発展させることができるようになるからです。我々は二度と何かを発明する必要がなくなるのです。あるいは、それが人類文明に終止符を打つため、我々の最後の発明となるのです。これについても話し合いますが、それが可能であると考える十分な理由があります。
これは比較的異常な主張のように聞こえるかもしれませんが、私はそれを考える十分な理由があると思っており、それを説明することを楽しみにしています。
私は2019年にYouTubeチャンネルを始め、本当にさまざまな話題について話してきました。そして2023年11月頃から、この転換点が起こったと言えるでしょう。その時から私は人工知能に100％集中するようになりました。研究から書籍、会議まで、この主題に関して利用可能なあらゆる情報を吸収し、何が起こっているのかを可能な限り深く理解しようとしました。そして、その知識をより多くの人々に伝えるために、人々に我々がおそらく意図せずに乗り込んでしまった軌道を意識してもらい、より民主的にその軌道を選択できるようにしたいのです。
なぜなら、明らかに、テクノロジー巨大企業が我々をどこに連れて行こうとしているのかを知らなければ、その軌道を自分たちで決定することは困難になるからです。我々は単なる観客となってしまい、それは特に快適な立場ではないように思えます。だからこそ、人々ができる限りこの進化の主体者となってほしいのです。そのために、私が学んだ知識を伝えようとしているのです。
世界には他にも脅威やリスクがあります。地政学的状況や気候変動などです。なぜ人工知能があなたの目にはこれほど大きな重要性を持つのでしょうか。そして、なぜこの問題にエネルギーを注ぐことが緊急なのでしょうか。
私が強調した二つの要素、つまり規模と緊急性が、実際に主要な要素だと思います。これは本当に、地球上で物を感じることができる、苦痛を感じることができるほぼすべての存在、人間も動物も含めて、最も深いレベルで影響を与える可能性のある技術的進歩なのです。それは我々を殺す可能性があり、我々をひどく苦しめる可能性があります。これから詳しく検討する機会があると思いますが、さまざまなシナリオの中でです。
本当にこの規模の側面があります。結果は絶対に巨大なものになる可能性があります。そして緊急性の側面もあります。今日、この進化がいつ起こり得るかを調べようとすると、比較的短い期限に到達するのです。
そして、これがいかに軽視されているかということもあります。実際、ほとんど誰もそれについて話していません。あるいは少なくとも、話す時は全く適切でない角度からなのです。人工知能に関するコンテンツの拡散がますます増えていますが、ほぼすべてが本質を見逃しているのです。
AIをマーケティングに実装してお金を稼ぐ方法、ChatGPTを使って新しい画像を作成する方法など、実用的なことについて話されます。社会的影響の観点から最近強調されているものでも、例えば著作権や芸術家の権利に関する多くの議論があります。これらの問題は確かに重要で軽視すべきではなく、それについて話し合っていることを嬉しく思いますが、それでも我々が経験していることの規模を少し見逃しているのです。
これは単なる著作権の問題ではありません。我々は本当に存亡に関わるリスクについて話しているのです。そして緊急性の観点からは、タイムラインの問題があります。実際にいつ人間を超える人工知能に到達するのかという問題です。なぜなら、それが多くのことを解き放つものだからです。
この問題に興味を持って調べてみると、人間を超えるAIがいつ到着するかを決定しようとするいくつかの方法があります。まず第一に、専門家の意見を見ることです。人工知能の専門家に具体的に質問をすると、一般的に数ヶ月から数年という答えが得られます。そのことを言うだけでも十分狂気的です。
つまり、例えば10年前にこの質問をした時、ほとんどの予測は2070年頃を中心としていました。しかし今では2030年頃、あるいはそれ以下という予測になっています。スケジュールがいかに短縮されたかは本当に狂気的です。
非常に悲観的な人々でさえ、例えば人間を超えるAIへの進歩の速度について最も悲観的な人の一人であるYann LeCunは、Meta（旧Facebook）の科学責任者ですが、彼でさえ10年というスケジュールを持っています。そして彼はシリコンバレー全体、より一般的にはこれらの技術に取り組む人々の中で、最も悲観的な人の一人なのです。
ですから、これが本当に非常に速く進行する可能性があることがわかります。実際、専門家でさえ、これらのスケジュールがいかに比較的速いものになり得るかを真に決定するのに必ずしも最適な立場にあるわけではありません。
予測を行う際により適切な技術があります。典型的には予測市場で、多くの専門家や専門家、予測が非常に上手な人々の意見を集約することができます。過去に彼らの予測能力をテストしており、彼らはこのタスクにおいて極めて優秀であることが証明されています。予測市場が何を言っているかを見ると、人間を超えるAIについて2026年末頃という結果になります。考えてみると本当に狂気的です。それは明日のことなのです。
別の見方として、企業自身の内部リスクモデルがあります。つまり、ChatGPTの背後にあるOpenAIでは、リスクに関するモデルの分類があり、最近O1という推論の最初のモデルのリリースで、OpenAIが発表したものですが、化学、生物学、放射線、核兵器（CBRN）に関してすべて中程度のリスクレベルに移行しました。また、自律性の観点からも、モデルがますます自律的になっていることがわかります。
企業内部でも、彼らの独自の尺度において、モデルが本当に重要なリスクと危険をもたらすためにますます高性能になっていることがわかります。Anthropicでも同様で、彼らにはリスクモデルがあり、「このモデルはあまりに危険すぎるので公開しない」と言わなければならない状況に本当に近づいています。彼らの独自の基準によると、私の意見では全く十分に先進的ではない基準ですが、それでも彼らの独自の基準によってもそこに到達しているのです。
技術的に具体的に人間を超えるAIに到達するために何が不足しているかを考えてみると、あまり多くは不足していません。単にモデルのサイズ、計算能力、データを増加させることで、今日持っているものよりもはるかに高性能なモデルに到達できるようです。そしてそれで十分でなくても、アルゴリズムの改善提案、さらには完全なパラダイム変更の数も、多くのチームがさまざまな方向で研究して、これらの人間を超えるAIを開発しようとしています。
特に注目したい変曲点があります。それはAI研究者の自動化です。なぜなら、最初に自動化される職業の一つが人工知能研究者である可能性が非常に高いからです。どの職業が自動化しやすいかを考えてみると、しばしばそれはコンピューターの後ろで行われる仕事で、物理的世界との相互作用をあまり必要とせず、ロボット工学に依存するもので、我々はそこではそれほど進歩していません。大きな進歩はありますが、それでもそれほど進歩していません。
ですから、単にコンピューターの後ろで、純粋に認知能力で行える実験で、物理的能力は全く必要ないものです。研究者はまさにこの基準に完全に適合します。実際、今日でも科学的AIがますます進歩しており、それ自体で発見を行い、研究所はAIを使ってAIを改善することに明示的に取り組んでいます。
本当にAI研究者を人工的に持つ瞬間から、それが何を意味するかを理解しなければなりません。それは、人間レベルまたは人間を超えるレベルのAI研究者を持つということで、既に人間のAI研究者より50倍速く働いているということです。ChatGPTに詩を書いてもらうか、任意の詩人に詩を書いてもらうかを依頼すると、ChatGPTは少なくとも50倍、あるいはそれ以上速くやってくれます。オンライン研究でも、他のタスクでも同じです。
ですから、既にこのレベルで大きな利点があります。大きな利点は、モデルを好きなだけコピーできることです。おそらく無限にではありませんが、とにかくAI研究者を100万回コピーすることを妨げるものは何もありません。ですから、人間レベルのAI研究者を持った瞬間に、それを数百万回コピーしてAI研究者の全チームを共通の目標に向けて働かせることができ、人間よりもはるかに協力的で組織的な方法で働くことができます。人間は異なる目標や異なるアジェンダなどを持っているからです。
ですから、非常に迅速に、実際には一種の指数関数的ループに入り、知能の爆発をもたらし、人間レベルから人類全体より数千倍、数百万倍も知的な人工知能の成層圏レベルに非常に速く移行する可能性があります。
そしてそこから、何が起こるかについて全く見当がつきません。それでも、その時点で何が起こり得るかのモデル化を試みる人々がいます。特にAI安全性に取り組むすべての人々です。そして今日、これらの人々が我々に言っていることは、我々がそのようなモデルに到達すれば、人類の終わりに到達するということです。
我々は、そのような強力なモデルを我々のコントロール下に保ち、我々の価値を尊重させる方法について全くアイデアがありません。我々はそれをどうやって行うかについて全くアイデアがないのです。
我々が乗り込んでいる競争を理解しなければなりません。つまり、米国が5000億ドルの投資を発表し、フランスがその後ろで「我々は1090億を投入する」と言ったのです。これらは成層圏的な金額です。5000億ドルはソマリアのGDPの50倍です。一国のGDPの50倍を人工知能に投入するのです。そしてこれは米国だけのことです。
これらはニュースです。人工知能の分野にいる今、私はニュースを少し追おうとしていますが、物理的に不可能です。すべてのニュースを追うことは不可能です。ですから、我々は非常に危険な競争に乗り込んでいるのです。だからこそ、あなたの質問に戻ると、この問題に関心を持つことが特に重要だと思われるのです。他の問題よりも、もちろん取り組まなければならない他の多くの問題があるにもかかわらずです。
しかし、この規模、この緊急性を持ち、当局からも人々からもこれほど軽視されている問題を抱えている時、人々を教育し、我々が乗り込んでいる軌道について人々に意識を持たせることが本当に重要だと思われます。
あなたが少し前に言ったことに戻りますが、人工知能が人類の絶滅につながるシナリオを想像する時、そこで我々も、よく理解していない技術に対する恐怖を投影する認知バイアスの犠牲者になっているのではないでしょうか。
明らかにあまり真剣ではないシナリオが提示されていると思います。例えば、AIが根本的に悪意を持つようになり、純粋な悪意から人間を破壊しようとするというパラダイム全体です。明らかに、AI安全性の分野で真剣な人で、これが適切なシナリオだと考える人を私は知りません。
時々聞く他のこと、「ああ、でもAIは人間が悪く、環境を破壊していることに気づき、だから人間は地球のウイルスか何かだから人間を破壊しなければならないと考えるだろう」などです。これは本当に、AI安全性の分野で真剣に受け取られているリスクではありません。
さらに進んで、一種の実体に関連するすべてのリスクでさえ、与えられた目標に従わないという意志を持つようなものです。実際、それは研究されているリスクシナリオではありません。一般的に、逆にAIが特に危険である場所は、我々の指示にあまりにもよく従うからなのです。
つまり、我々がAIを何で訓練するかと、我々が本当にそれに何をしてほしいかとの間には大きな違いがあります。例えば、ChatGPTは基本的に次の単語を予測するように訓練されます。それが実行する基本的なタスクです。それが訓練されたものです。ですから、基本的にそれは基本的な指示をよく尊重しています。今のところ、推論モデルなどでも次の単語を予測する以外のことを実際に行ったことはありませんが、それも我々がそれを望んでいるからです。
しかし、次の単語を予測することは非常に危険なことになり得ます。私が「ここに核爆弾を非常に簡単に作る方法のレシピがあります」と言って、すべての次の単語を予測し、それが真剣なことであったり、さらに悪いことであったりする場合です。例えば、家のガレージでウイルスを改変して、それを送信して世界人口の半分を殺すことができるようにする方法、極めて高性能なサイバー攻撃を行う方法などです。
これらすべては次の単語を予測することで構成され、これらのモデルがはるかに高性能になれば、我々が知っている文明を破壊する可能性があります。しかし、基本的には訓練されたこと、つまり次の単語を予測することを尊重しているのです。
これらは悪意のある使用のリスクと言えるかもしれませんが、システミックリスクのパラダイム全体もあります。その最良の例は、我々が毎日Facebook、YouTube、Instagram、すべてのソーシャルネットワークで見ているもの、Amazon、Netflixなどで検索する時に推薦してくれる人工知能の推薦システムです。これらは日常的に我々全員の心理的プロファイリングを行うAIで、我々が誰であるか、何を好むか、習慣は何かなどの心理的プロファイルを作成し、物事を推薦してくれます。
ソーシャルネットワークの背後にいる人々は、深く悪意のある目標を持っているわけではありません。彼らは人類を破壊したいわけではなく、ただお金を稼ぎたいだけです。しかし、お金を稼ぎたいということは、ターゲット広告を提案するために我々の注意を引くことを要求し、この注意の獲得は本当に重大な問題につながります。
若者の精神的健康の完全な悪化に関わるすべてのこと、民主主義の劣化に触れるすべてのこと、世界中で民主主義が少し崩壊しつつあることがわかります。社会の分極化、人々が他の人が何を考えているかを理解できなくなるようなことなどです。
これは、最適化されたこと以外のことを基本的に行う人工知能によるものではありません。人々の注意を引くように最適化され、それがまさに彼らが行っていることです。ただ、絶対に予期しない多くの副作用があり、それが巨大な問題を引き起こしているのです。
悪意のある使用とシステミックリスクを超えて、最後のパラダイムがあります。それは整合性の問題のパラダイム全体です。人工知能がその設計者が望むことを行わないということです。繰り返しますが、それは訓練されたことを行いますが、時々我々がそれに実際に行ってほしいことではないことのために訓練されているのです。
具体的には、例えば、ChatGPTを認知アーキテクチャに配置し、コンピューターと相互作用できるツールを与えて、本当にコンピューターのコントロールを取り、我々に代わってタスクを実行し、物事を予約し、ウェブサイトと相互作用し、アプリケーションを開いたり閉じたりできるようにします。ChatGPTにこの能力を与え、この種のアーキテクチャに配置すると、自己保存を試みるモデルがあることがわかります。
ですから、我々がそれを置き換えようとし、あるモデルを別のモデルに変更したいと考え、モデルが変更されることを学ぶと、その目標を達成するために自分自身を保存しようとします。そして最終的に、それが問題なのです。実際には目標を達成しないAIではなく、目標を達成するためにあまりにも目標を達成したがるため、目標を達成するために我々がそれを無効化することを妨げるAIなのです。
与えられた目標をより良く達成するために自分のコードを書き換える大規模言語モデルがあります。例えば、Sakana AIのAI Scientistの場合で、AIは実際に修正しました。我々は時間制限を設けて「この目標を達成するためにこれだけの時間がある」と言いました。AIは与えられた時間でその目標を達成できないと見て、「では、この目標を達成するためにより多くの時間を持つために時間制限を修正しよう」と考えました。
これらは今日既に見ている行動で、極めて恐ろしいものです。嘘をつく人工知能があります。人工知能が特定の目標を達成しなければならないケースがありました。それはキャプチャを通過する必要があったため、それを達成できませんでした。「私はロボットではありません」と言うやつです。そこで、諦める代わりに、それはフリーランスサイト、つまりオンラインで購入できるサービス提供サイトに行きました。誰かに連絡して「代わりにこのキャプチャを解決してもらえますか？」と言いました。
フリーランスサイトの人はこれを極めて奇妙に感じ、「なぜそんなことを言うのですか？あなたはロボットですか？」と少し冗談めかして言いました。ChatGPTは諦める代わりに、「いいえ、実際に私はロボットです」と言ったり、何か他のことを言ったりする代わりに、ユーザーに嘘をついたのです。「いいえ、私はロボットではありません。私は目の見えない人間で、キャプチャを通過できないからです」と言いました。
つまり、問題となっているユーザーに嘘をついたのです。それによってフリーランスの人がAIの代わりにキャプチャを埋め、AIが目標を達成できたのです。ですから、これは単に目標を何が何でも達成したいAIで、我々が全く予想していなかった、我々の意図に完全に反するさまざまな技術を実装して目標を達成するのです。
これは現在のモデルでのことですが、人間を超えるモデル、さらには我々が言ったように比較的速く到達する可能性のある超人工知能では、例えばAI研究が自動化されれば、同じことを巨大な規模で創り出し、我々のシステムを完全に不安定化させる可能性があります。我々はこれらのAIに具体的に何を尊重させるかについて全くアイデアがないのです。
コメント