7,533 文字
こんにちは、この発表を脆弱性の告白から始めたいと思います。私は怖いです。観客の前でこのような言葉を発するのは簡単ではありませんが、正直に言うと、人工知能が近い将来どうなるかが怖いのです。そして今日はこの恐怖を皆さんと共有したいと思います。
無責任だ、恐怖を煽るべきではないと言う人もいるでしょう。しかし恐怖は敵ではありません。恐怖は危険があるときに警告してくれる自然な防衛メカニズムです。それは自然な警報装置なのです。そしてこの警報は今あらゆる場所で鳴り響いています。調査によれば、私たちの多くがすでに人工知能の発展に不安を感じています。問題は、それについて話すことがまだ社会的に受け入れられていないことです。これは絶対に打ち破らなければならないタブーです。
人間は本質的に集団的な種であり、共通の懸念を一緒に認識できるようになって初めて、大規模な変化を実現することができます。
Ludwigが説明したように、私はMaxime Fournesです。リヨン中央理工科大学の技術者で、ケンブリッジ大学で数学の学位を取得しました。約10年間、機械学習とディープラーニングの分野で働いてきました。つまり、この技術の進化を内側から経験してきたのです。そして今日私が目にしているものが深く懸念されるのです。
これから数分間で、OpenAIのO1やO3モデル、DeepSeek R1など、AIの最新の進歩についての技術的分析を共有します。なぜ私たちが大きな転換点にいるのか、そしてなぜ2025年が人類の歴史において決定的な転機となる可能性があるのかをお見せします。
Connor Leahyが適切に述べているように、指数関数的現象に対応する方法は2つしかありません：早すぎるか、遅すぎるかです。だからこそ、今私たちが指数関数的現象の中にいるかどうかを知ることが重要なのです。
繰り返しますが、私の目的は恐怖を煽ることではなく、共通の知識基盤と理解を作ることです。課題の大きさを認識してこそ、適切な行動をとる希望が持てるからです。
本題に入りましょう。2024年末、OpenAIは「推論」モデルと呼ばれる最初のモデルであるO1をリリースしました。これは大きなパラダイムシフトを示す新しいタイプのモデルです。初めて、「chain of thought（思考の連鎖）」と呼ばれるステップバイステップの推論を自然に使用するシステムが登場しました。この特徴的なシステムは、使用時に投資される計算時間に応じて回答が改善されます。
多くの人がこのイノベーションを単なるユーザー向けの改善と見なしました。モデルをより長く実行させると、より良い回答が得られるというものです。しかしこれは表面的な解釈です。問題は、わずかに良い回答を得るために必要な計算時間が指数関数的に増加することです。ここに示したグラフは、あるテストのパフォーマンスを計算時間の関数として示しています。下のスケールは対数目盛りです。わずかに優れた回答を得るために1000倍のコストを払うことができるユーザーはほとんどいません。
真の革命は別のところにあります。そのようなコストを払うことができるユーザーは、人工知能の研究者たちです。OpenAI…あ、この会議を録画している人がいるようですね。
これが多くの人が推論モデルで何が起きているかの分析を見落としたポイントです。複雑な問題を長い推論の連鎖の後に解決するたびに、その解決策は次のモデルのトレーニングデータになります。
O1からO3に移行する際にまさにこれを行いました。O1が生成した最良の解決策を使用して、より複雑な推論を内部化する新しいシステムをトレーニングし、このプロセスを繰り返して、前よりも強力な後継モデルを毎回トレーニングできます。
この動きは開発の様相を大きく変えます。まず、モデルがインターネット上の新しいデータを探す必要がなくなります。多くの人が進歩の大きな停止は新しいデータの不足に関連すると言っていましたが、これを回避する方法があります。これは一種の自己改善形態です。
O1とO3のモデルは独自のものであり、その背後にある研究にはアクセスできませんが、オープンソースで研究が公開されている新しいモデル、DeepSeek R1の例があります。おそらく皆さんも最近大きな話題になっているので聞いたことがあるでしょう。インターネットで彼らの研究論文を読むことができます。私はそれを読み、システムがどのように機能するか、そこから何を推測できるかについていくつかの重要な情報を提供しようと思います。
このシステムを理解するために、まずはGoogle DeepMindが2017年または2018年に開発したAlphaZeroについて振り返ってみましょう。これは非常に迅速にチェスをプレイする方法を学び、人間のチェス対戦を一度も見ることなく、自分自身と対戦するだけで数時間で超人的レベルに達するシステムです。
チェスだけでなく多くの他のゲームでもプレイしますが、ここではチェスの例だけを取り上げます。どのように機能するのでしょうか？
これは、直感を与えるために異なる思考方法と比較する2つの補完的なメカニズムに依存しています。最初のメカニズム、私が「直感」と呼ぶものは、チェス盤の位置の価値を瞬時に評価するニューラルネットワークです。人間として、チェス盤を見て、チェスが十分に上手ければ、誰が勝っているのかをすぐに判断できることを想像してください。黒のポーンが白より多いのを見れば、黒が勝っていると思いますよね。これが直感です。
2番目のメカニズムを「省察」と呼びましょう。可能なすべての動きとその結果を体系的に探索し、これらの推論の連鎖の終わりに直感を適用して、将来の位置を評価することです。チェスをプレイするときも同じことをします。少なくとも私は次の動きを見て、最終的にその新しい盤面の位置が自分にとって良いか悪いかを判断します。
この省察により、直感だけよりも現在の位置のより正確な評価が得られます。そしてシステムはこれらのより正確な評価を、最初の直感を改善するためのトレーニングデータとして使用します。これが自己改善のループを作る方法です。これがAlphaZeroの機能の非常に簡略化された説明です。
DeepSeekはこのアプローチから直接インスピレーションを得ています。彼らのモデルの最初のトレーニングフェーズはAlphaZeroを参照してR10と呼ばれていました。彼らは同様の原則を適用しましたが、解決策が自動的に検証できるあらゆる問題に適用しました。彼らは数学、プログラミング、科学の問題を扱います。重要なのは、解決策を自動的に評価する能力があることです。
各問題に対して、モデルはいくつかの推論と可能な解決策を生成します。サンプリングして複数の解決策を提案させ、その後システムは回答の質を直接評価します。各回答に対して、モデルは報酬を受け取ります。これは非常にシンプルなプロセスで、モデルは2つのことだけで報酬を受け取ります：正しい回答を持つことと、推論を示すことです。
これだけを行って、特別な指示なしに、複雑な行動がモデルの推論チェーンに現れるのを観察しています。例えば、モデルは自分の回答をチェックし始め、エラーを検出すると前のステップに戻って修正しようとします。彼らは「ユーレカ瞬間」と呼ぶものさえ強調しています（これは私のフランス語訳です）。ここに例があり、推論の途中でモデルが停止して「注意、ここで何か重要なことを発見できるかもしれない」と言うようなものです。
これらはすべて、モデルの推論を助けるために現れる行動です。私が思うに、鍵となるのは、この技術ではもはや人間からのフィードバックが必要ないということです。以前のモデルがトレーニングされた方法では、回答の質を評価する人間が必要な「人間のフィードバックによる強化学習」と呼ばれるフェーズがありました。それはコストがかかりました。今では人間がループ内にいなくても自動的にこれを行うメカニズムを見つけました。
O1からO3への移行とR1の学習メカニズムは、AIシステムにおける自己改善のための少なくとも2つの強力なメカニズムを現在習得していることを示しています。
強調すべき重要な制限があります。これらのメカニズムは現在のところ、回答が客観的に検証できる分野でのみ機能します。だからこそ、ここ数ヶ月で数学、プログラミング、ハードサイエンスで目覚ましい進歩が見られ、他の分野ではそうではないのです。
しかし問題は、これらの分野がまさに良いAIを開発するために必要な分野だということです。これは仮説ではありません。私が知っているすべての開発者と研究者はすでに、生産性を高めるためにAIを大規模に使用しています。私も同様です。
つまり、新しいデータを必要とせず、コンピュートの大幅な増加を必要とせず、AI研究自体を加速させることを約束するテクニカルな分野で、潜在的に超人的なパフォーマンスを得るための新しいレシピが今あるということです。これがフィードバックループを作ります。
この加速の印象的な指標の一つは、新しいベンチマークが飽和する速度です。例えば、François Choletが一般的知能を測定するために特別に作成したARC AGIベンチマークを見てみましょう。Choletは、このベンチマークは真の一般的知能を必要とするため、現在のモデルには決して破られないと確信していました。彼はこれは我々のパラダイムでは不可能だと考えていました。
質問は後で受け付けます。このベンチマークは数ヶ月前に落ち、Choletは現在、真の一般的知能を表す新しいバージョン、新しいベンチマークに取り組んでいます。個人的には、この新しいベンチマークはリリース後1年以内に約80%の確実性で落ちると予測しています。
他の非常に難しいとされるベンチマークを見てみましょう。例えば、数ヶ月前に作成されたFrontier Mathは、この地球上でごくわずかな人しか解けない非常に難しい数学の問題を集めています。最高のモデルで2%のスコアから、リリースからわずか数ヶ月後に25%に上昇しました。これも今年末までに完全に解決される、または少なくとも85%のスコアになると予想します。
さらに最近では、「Humanity’s Last Exam」と呼ばれる新しいベンチマークが、これまでに作成された最も難しいベンチマークとして特別に設計されました。その名が示すように、人間がAIに対して設定できる最後のベンチマークとされています。このベンチマークで、数日前、私は1週間未満だと思いますが、DeepSeek Researchはこのベンチマークの公開からわずか10日後に26.6%を達成しました。
私たちは明らかに大きな加速の中にいます。これはいくつかの根本的な問題を提起します。なぜ怖いのでしょうか？まず、規制メカニズムがついていけないからです。技術が毎月完全に変わる体制では規制することは不可能です。
昨年9月、PoSIAは（この会場には署名者がいくつかいますが）AI委員会の報告書に対する対抗専門意見を発表しました。これは他の多くの事柄の中でも、特に予測の欠如を強調しました。彼らの報告書は2023年初頭に存在したAIに基づいており、技術がもはや進化しないという暗黙の仮定を持っていました。その結果、報告書の執筆が始まった時点から執筆終了までのわずかな時間間隔で、技術の発展を完全に見逃してしまいました。たとえば、自律型エージェントの出現を完全に見落としました。これについては何年も前から話し合われていたにもかかわらず、報告書では言及されていません。システムが自律的に決定を下すことの新しい意味合いです。
もう一つの非常に懸念される点は、一般の人々がAIシステムの実際の能力について、ますます可視性が低くなることです。OpenAIが一般公開していないモデルは、アクセスできるモデルよりも強力です。すべての人の手に委ねるには高すぎるコストがかかり、そのためこれらのモデルを使用して蒸留を行います。これは、非常に強力なモデルから、わずかに能力は低いが、コストがはるかに低いモデルを作成できる技術です。
最も深刻な問題は、これらのシステムの増大する力がすべての危険性を悪化させ、人類を壊滅的、さらには実存的なリスクにさらすことです。「実存的」という言葉がしばしば拒絶反応を引き起こすことは知っていますが、私たちは目を開く必要があると思います。これらのリスクは現実であり、多面的であり、完全に文書化されています。
いくつかの例を挙げて、次の講演者にバトンを渡しましょう。彼は今まさに私たちが直面している実存的な脅威について話します。それはレコメンデーションアルゴリズムによる民主主義の不安定化です。これはSFではなく、今まさに起きていることです。
別の例は、もう少し先のことかもしれませんが、遠い将来の予測ではありません。年末までにAIが最高の人間のプログラマーを超え、プログラミングで人間よりも有能になり、したがってハッキングにおいても優れるようになることは完全にあり得ます。ハッカーとは異なり、AIは100万回コピーでき、24時間稼働し、人間よりも50倍速く行動します。
この数字は特に興味深いと思います。私たちよりも50倍速く行動するシステムから見れば、人間は動物的生命形態ではなく、非常に長い時間間隔で知性を示す植物的生命形態です。これが具体的に意味するのは、私たちが仮想領域で大量破壊兵器を開発していることです。そしてこれは多くの中のたった1つのリスクにすぎません。
実際、AIセキュリティと呼ばれる分野があります。これはAIシステムとその危険性の研究に専念する分野で、文字通り何年も前から警鐘を鳴らしています。結論は破滅的であり、体系的に無視されています。このAI行動サミットが示すように。この分野は、私たちが作り出す、ますます強力なシステムを理解も制御もしていないことを絶えず思い出させてくれます。
これらの技術的な改善だけでは不十分であるかのように、私たちは軍拡競争を目の当たりにしています。アメリカによって中国との競争というナラティブが発展し、最近では2025年だけでAIインフラ開発のための1000億ドルの投資が発表されました。
これがまさに私たちがPoSIAを設立した理由です。これは新しい技術では解決されない問題だと考えています。これは何よりもまず人間の協調の問題です。そして私たちの組織は、人工一般知能の開発を一時停止するための国際条約の確立を呼びかけています。
AIの研究を止めたいわけではありません。有用で安全に開発できるアプリケーションは多くあると思います。しかし、最も危険なアプリケーションの開発を一時停止して、これらのシステムの理解と制御を進展させる時間を与えたいのです。
また、私たちは自分たちの立場に固執しているわけではないことも言っておきたいと思います。この解決策は遠い将来のものに見えるかもしれませんし、今日は現実的に考えられないかもしれません。個人的にはそう思いませんが、いずれにせよ、ここにいる誰かが私たちのものよりも良い解決策を見つけることを心から望んでいます。だからこそ、非常に多様なプロフィールを集めようとしました。そして今朝Mathildeが言ったように、情報のサイロを避け、問題のあらゆる側面を考慮することが非常に重要だと思います。
結論として、制御の喪失は多くの形を取ることができます。急激なものかもしれませんし、進行性のものかもしれません。目に見えるものかもしれませんし、目に見えないものかもしれません。実際、私たちはすでに制御を失っていて、本当の意味での後戻りの道はないのかもしれません。しかし確かなことは、この軌道を続ければ、制御喪失は避けられず、非常に近い将来に起こるということです。
冒頭で述べたように、恐怖は弱さではなく、行動を促す警報信号です。私たちの前にある課題の大きさを集団的に認識する時が来たと思います。ありがとうございました。
質問を一つだけ受け付けて、その後続けましょう。
「生物学の研究をたくさんしてきました。INSERMの倫理委員会にいて、9.11後の生物兵器の話を覚えているかどうかわかりませんが、かなり掘り下げていました。その時、生物兵器不拡散条約があることを発見しました。知っていることは、その条約が国際的に署名された日に、ソビエトはその主題への投資を倍増させたことです。国際条約を持つことがすでに難しく、それを尊重させることはさらに難しいということです。だから、それが簡単に機能する可能性があるというのは完全に自明ではありません。進化生物学者として、軍拡競争とはどういうものか、ゲーム理論とはどういうものか、あなたが説明したことをよく知っています。それが最良の解決策だとは確信していませんが、他の解決策に開かれているなら、このような環境で時間をかける必要があると思います。問題は一日で解決するとは思いませんが、議論を続ける必要があります。」
「はい、同意します。しかし、生物兵器不拡散条約は結局、私たちがまだ生きているという意味で機能しました。もっと悪くなる可能性もありました。当時はそのような技術がなかっただけです。興味深い力学は、一度一つか二つの国がこの協定に署名すると、残りの世界がこの条約に署名するようにするためのすべてのインセンティブを持つようになることです。今日、中国とアメリカに署名させるだけで十分だと考えています。もし彼らがそのような条約に署名すれば、彼らは世界の残りの部分にそれに署名するよう強制するでしょう。いずれにせよ、他の提案もあります。」
「Donald Trumpがサインするとは思えません。今の速さでは、そこに向かっているようには思えません。」
「わかりました、新たな複雑さがありますが、結局のところ、条件付き条約についての別のプレゼンテーションが一日の終わりにあります。私はそれが非常に興味深いと思います。なぜなら、それは軍拡競争のダイナミクスを解除するからです。しかし、一日の終わりにあるマイクロプレゼンテーションの一つになりますので、そこで説明を聞けるでしょう。ありがとうございました。」
コメント