27,888 文字
私たちは2030年より前に、人間のレベルを遥かに超える人工知能を手にすることになると思います。今起きていることは、私たちが既にサイエンスフィクションの世界にいるという事実を受け入れることが、心理的に極めて困難だということです。私は現在の状況は比較的破滅的だと考えています。
一般的に言って、AIが開発者の望む通りに振る舞うという保証はありません。私たちは大規模サイバー攻撃が現実的かつ自動化される世界に近づいています。大量破壊兵器を全ての人の手に渡したいと思うでしょうか。これが問題なのです。
つまり私が言いたいのは、デフォルトのシナリオは制御の喪失であり、私たちが一線を越えて制御を失った瞬間から、多かれ少なかれ長期的には人類の絶滅を危険に晒すということです。
シャルベル・ラファエル・セゲリーさん、こんにちは。
こんにちは、シャーマン。
フランスで最も選抜的な人工知能の教育を受けた後、あなたはスタートアップを共同設立し、複数の組織で働き、現在はAI安全センターの代表を務めておられます。この インタビューでは、人工知能がもたらす巨大なリスク、特に自律的複製と適応というリスクについて取り上げます。
これは特に深刻なリスクで、インターネットの破壊にまで至る可能性があります。しかしこの特定のリスクに入る前に、私たちが置かれている状況について一般的な概観を示していただけませんか。
私は現在の状況は比較的破滅的だと考えています。
実際、私たちは2030年より前に、人間のレベルを遥かに超える人工知能を手にすることになると思います。現在私たちが持っている最良の推定、最良のモデルが示すところでは、2027年、2028年、おそらく2026年にさえ、人間の認知能力を遥かに上回るAIを手にすることになるでしょう。
そしてこれは良いことではありません。AI安全に関する国際報告書にまとめられたコンセンサスによれば、現在のAI安全技術は準備が整っていないので、これは良いことではないのです。社会もそのようなAIに対応する準備ができていません。
私がこのポッドキャストでお伝えしたいメッセージは、まだ私たちにできることがあるということです。私たちにはまだ数ヶ月、数年の行動する時間があり、潜在的に極めて危険で、潜在的に不可逆的な赤いラインを越えないようにし、絶対に何かをしなければなりません。
つまり特に規制、これらのAIのリスクについて多くの人々と話すことが絶対に不可欠です。なぜなら現在私たちは、企業が私たちを引きずり、完全に非民主的な方法で一方的に選択を行う決定、文明的軌道に直面しているからです。
そして私たち、最終的にAI安全センターでは、これらの社会的選択が民主的な方法で行われることが絶対に不可欠だと考えています。
では、これら3つの主張それぞれの詳細に入ることができます。まず第一に、AIが人間よりも知的に、より有能に、より速く、より強くなるという事実、単に量的にではなく質的にもです。
これは実際に私たちが既に小規模で観察していることです。実際、多くの分野で、AIは既に人間よりも有能になっています。例えば、ゲームをプレイする点では、囲碁や チェスをプレイする点では、2017年にAlphaGo、そしてAlphaZeroがサーバーでたった30分の訓練で実現しました。
2017年というのは、AI分野では本当に先史時代です。つまりたった30分の訓練で、AIは囲碁とチェスで超人的になりました。これは何を意味するでしょうか。これはAlphaZeroが自分自身と対戦するだけで訓練されたということです。
世界チャンピオンの例などを与えられるAlphaGoとは異なり、AlphaZeroはその名の通り、訓練データにゼロの例を与えられました。自分自身と対戦するだけです。つまり、自分自身と対戦するAIが、世界チャンピオンが、最終的に文明が発見し導き出すのに何千年もかかった戦略を再発見することに成功するのです。
そしてこれは多くの他の分野に一般化できることだと思います。別の例は速度の点です。AIは既に人間よりもはるかに速いです。特にGeminiは本全体を30秒で読むことができます。私には到底無理です。
一般知識の点では、AIは既に多くの質問に答えることができます。チューリングテストにさえ合格します。過去に私たちはよく「AIはチューリングテストに合格できない」と言っていました。しかし今、私たちはそこに到達しています。AIが5分未満の相互作用で人間になりすますことができることを示す論文が既にあります。
一般的に、AIについて私たちは、AIが超人的になる軌道にあり、非常に短い期間内に実現すると考えています。そしてしばしば創造性の問題が提起されます。人々は懐疑的で「いや、でもそれは不可能だ、AIは創造的になれない」と言います。私はそれは間違いだと思います。
既に、AIが極めて創造的である例を挙げました。特にAlphaZeroは、人間のデータなしに理論全体を再導出するものであり、創造的です。すべてを一から発明します。これはかなり注目すべきことです。
別の例では、GoogleのAIがあります。彼らは文献レビューと科学的発見の両方を自動化しようと試み、研究者、研究者のチームが発見に10年かけた科学的結論を再発見、導出するシステムを作りました。つまり24時間で、本当に高いレベルの研究者が発見に10年かかる科学的発見を導出するのです。
現在、この創造性は実際に様々な次元に存在します。Torranceテストなどの創造性を操作化する方法さえあり、AIが実際に大多数の人間よりも創造的であるように思われます。
私自身、過去には懐疑的でした。AIは能力がない、少なくともGPTアーキテクチャは多くのことができないと思っていました。
しかし実際、私が欠けていると思われることを列挙する中で、過去に欠けていると思われたすべてのことが、より多くのエンジニアリング、より多くの計算、より多くのスケールなどで単純に達成可能なものであることに気づきました。
私は現在のパラダイムに限界が見えません。これが私が伝えたい要点です。これは掘り下げることができるものです。
第二の点、非常に中心的なものは、これが良いニュースではないということです。私たちは大規模で自動化されたサイバー攻撃が本当に可能な世界に近づいています。
既に述べたように、AIはチューリングテストに合格します。これは何を意味するでしょうか。匿名でインターネット上の誰かと話すとき、ボットと話しているのか人間と話しているのかを知ることは簡単ではないということです。少なくとも短い相互作用では。
別の例として、あなたが大企業の従業員だと想像してください。ミーティングに入り、実際にはそのミーティングで最高財務責任者と話し、彼が2000万ユーロの銀行口座への送金などを要求したとします。
実際には、それは最高財務責任者ではなく、AIのディープフェイクであり、企業は2500万ユーロを失いました。しかし私が今話した話は、将来起こることではありません。サイエンスフィクションではなく、既に起こったことなのです。
これはかなり狂気的です。サイバー攻撃の問題について別の例を挙げると、サイバーセキュリティ専門企業、特にペネトレーションテスト分野の企業、つまり大まかに言えば自律ハッキングが、その活動の大部分を自動化できるかどうかを見たがりました。
彼らはベンチマークを作成しました。ベンチマークはテストの全範囲です。彼らは人間を取り、何パーセントの脆弱性を人間がこのベンチマークで検出できるかを見ました。その企業の最高の人間は、ベンチマークに存在する脆弱性の84%を検出したことが判明しました。
そしてこれは本当に最高の人間です。他の人間は20%、5%などでした。サイバーセキュリティの専門家でない人々にとっては、この企業ではゼロでしょう。AIは人間の性能レベルに等しいことが判明しましたが、最高の人間がその84%の脆弱性を発見するのに40時間かかったのに対し、AIは30分でした。
つまり、私たちは既に超人的で実際に大混乱を引き起こすことができるシステムを持っています。
非常に深刻な別の問題の例は、バイオテロリズムです。知るべきことは、実際、どんなDNA配列でも取って送り、合成ラボに毒性レベルや致死レベルに関係なくその配列を合成するよう依頼することがかなり簡単だということです。
例えば、ある実験では、科学者チームがスペイン風邪のDNA配列を学習しました。スペイン風邪については良く知られており、第一次世界大戦中に数百万人の死者を出したウイルスです。
これは既に記録された分子で、危険であることが分かっています。彼らはセキュリティシステムを迂回することに成功しました。つまり、38のDNA合成ラボに指示を送り、引用符付きで「コツ」を使って、38のうち36のラボがこの配列を合成させることに成功しました。
つまり、参入障壁は比較的脆弱なのです。そして再び、これは既に記録された分子について話しています。毒性のある新しい分子については、さらに簡単であることが想像できます。
ここで、AIとの関係は何かと質問されるかもしれません。私が今話した逸話では、すぐにはありません。
関係は、AIツールが、私たちが知っているものよりもさらに毒性の高い分子を提案できることが分かった時に生まれます。特に、AIシステムが4万の新しい分子を提案し、これら4万の分子の中に、私たちが知っている最も毒性の高い分子であるVXがありました。
そしてそれは、システムによれば最も危険に見える分子でさえありませんでした。テストしていない、潜在的にさらに危険な他の多くの分子があります。
AIシステムが分子を提案したと言うとき、これはチャットボットではありません。汎用システムではなく、一般的なAIではなく、医学で分子を提案するなどに特化したAIです。
このシステムは、薬効などの特定の性質を最大化するシステムがある瞬間から、報酬関数にマイナスを付けて、友好的な性質を最大化する代わりに危険な性質を最大化することが非常に簡単なため、毒素を提案するよう修正されました。
汎用AI、チャットボットはますます強力になり、参入障壁を大幅に低下させるでしょう。現在、AからZまでパンデミックを作ることができる人は地球上に非常に少数です。しかしAIがもう少し強力になれば、実際、それはますますアクセス可能で、ますます民主的になるでしょう。
大量破壊兵器を全ての人の手に渡したいでしょうか。これが問題なのです。
サイバーセキュリティとバイオリスクの一般的な安全性評価は、現在のシステム、Claude 3.7で、実際私たちは既に受け入れられないレベルに近いことを示しています。
つまり次世代のモデルは、具体的にパンデミックの年間確率を2倍にし、それは既に受け入れ難いものになります。「2倍にする」と言うとき、私は簡略化していますが、大体そういうことです。
だからこそ、議論を進め、集合的にこれらのリスクに備えることが絶対に不可欠です。これらのリスクは実際は指数関数的で、モデルの本質的能力とは切り離せません。切り離せない、多かれ少なかれ。
私が今言ったことに多くの留保を付けることができるのは事実ですが、大まかに言えば、そういうことです。やや恐ろしいのは、残念ながら今日、これらの問題についてまだ非常に少ししか話されていないことです。少なくとも、科学的な方法ではあまり話されていません。
AI安全に関する国際報告書で努力が払われており、これは第一回サミット、つまり英国のブレッチリー・パークで開催された第一回国際サミットによって委託されました。彼らは報告書などを作成し、この報告書はパリのサミット、AI Action Summitで発表されましたが、本当に簡単にでした。
実際、政治家階級はこれに全く興味を示さなかったのです。大まかに言えば、科学者が警鐘を鳴らしても、政治家階級はそれを全て無視したのです。JD Vanceが「私はAIの安全について話しに来たのではない、イノベーションについて話しに来た」などと言ったことがありました。
つまり、大まかに言えば、私たちは気にしていません。リスクが実証され、立証され、ますます膨大な科学的資料体がこれはサイエンスフィクションではなく現実的なものであることを示しているのに、状況は受け入れられないほど悪いので、絶対に何かをしなければなりません。
あなたが言っていることをさらに強調させてください。つまり、AIの安全に関するサミットがあります。人々は世界最大の科学者たちに、リスクが正確に何であるかなどについて報告書を作成するよう依頼します。これらの科学者は、可能な限り最高の報告書を作成するためにできる限りのことをします。
一種のJ equivalent、しかし人工知能のためのものです。新しいサミットがあり、全体的に誰もがこの報告書を完全に無視します。本当に狂気的な状況ですよね。これらの人々は、それを皆にアクセス可能にするために何十時間、何百時間も働いたのに、最終的にそれはあまり重要ではないと言われるのです。
代わりに何をするでしょうか。パリで開催されたAI行動サミットに大きな横断幕を掲げます。大きな横断幕に「ここでは科学をします、サイエンスフィクションではありません」と書かれています。つまり、世界最高の人工知能専門家を呼んで、「いや、でも実際、あなたたちが非常に真面目な雑誌などで研究していることは、何でもない、ただのサイエンスフィクションです」と告げるのです。これは本当に狂気的な状況ですよね。
サイエンスフィクションは、もはや今日では議論ではありません。状況が狂気的なのは、実際に起こっていることは、私たちが既にサイエンスフィクションの中にいるという事実を受け入れることが心理的に極めて困難だからです。
5年前、人々に「あなたはAIと話すことができるようになります。AIが答えるでしょう。AIと自然言語で議論できるようになります」と言ったとしたら、大多数の人が、実際大多数の人が不可能だと言ったと思います。私たちにはそれを示す調査さえあり、当時の人々はそのようなシステムはむしろ500年後、100年後などに到来すると考えていました。
起こったことは、専門家、機械学習の人々、一般の人々による研究に従えば、一般的傾向として、汎用AIの到来は実際に専門家によると毎年近づいているということです。専門家は実際に、AIの新しい能力の到来に対して組織的に悲観的すぎました。
非常に面白い逸話さえあります。例えば、2022年から2023年の調査では、2023年だったと思いますが、専門家に「AIはいつ音声の自動文字起こしができるようになると思いますか」と質問しました。専門家は「ああ、たぶん5年後、10年後、20年後」と言いました。しかし実際には、既にWhisperがあり、それは大まかに言えば既に超人的でした。
別の例は、「AIはいつPythonで基本的な関数を作れるようになると思いますか」のようなものでした。専門家は同じように20年後、30年後と言いました。しかし当時、GPT-4は既にそれができていました。多くの専門家は、AIが何ができるかについて知らないのです。これは非常に速く進んでいるからです。
彼らを責めることはできません。物事は極めて急速に進んでいます。
私の聴取を少し中断して、このポッドキャストが収益性がないことを思い出させてください。各エピソードは私にお金を失わせ、私の準備金は徐々に枯渇しています。私のプロジェクトの存続を確保したい場合、Tipeee、PayPal、Patreonで財政的に支援していただくことができます。リンクは説明欄にあります。
あなたが私たちに話してくれることで分かるように、私たちが置かれている状況は、AIが電光石火で進歩し、ますますリスクをもたらし、リスクがあまり真剣に受け取られていない状況です。
特に一つ、インタビューの一部を費やしたいものがあります。それは自律的複製と適応のリスクです。これは重要なことのように思えます。なぜならこれは私たちが非常に少ししか聞かないリスクでありながら、絶対的に大規模な影響を与える可能性があるからです。
これが何についてなのか、数語で教えていただけますか。
自律的複製は、AIがウイルスのように振る舞う可能性があるという一般的なアイデアです。私たちはウイルスが何かをよく知っています。それはコンピュータからコンピュータへと複製、つまり実際にコピーされるコンピュータプログラムです。コピー操作は基本操作に分解でき、ツールを備えたAIシステムがコンピュータからコンピュータへのこのコピー操作を実行できることを示す論文が既にあることが分かります。
このコピーが可能になった瞬間から、実際に指数的なプロセスがあります。そして指数的なものは、ウイルスのように、基本再生産数R0が1を下回る、または1を上回るR0を持つかのいずれかです。
このR0が1を上回る瞬間から、つまりウイルスがその必要を満たし、コンピュータからコンピュータへとコピーするのに十分なリソースを蓄積できるとき、実際に指数的なプロセスがあり、それがどこまで行くかはよく分からないのです。
つまり、2つのインスタンス、4、8、16、32、潜在的に1000、100万、10億と、どこで止まるかを特徴づけることは非常に困難です。インタビューの冒頭で見たように、AIは既にサイバー犯罪を行うことができ、したがってリソースやお金を蓄積することができる、ある特定のAIシステムが既に存在します。
このお金は仮想通貨、暗号通貨などに投資され、計算リソースを蓄積し、より多くの計算力を購入し、AIエージェントの艦隊を持つことができます。これは、インターネット上で活動する多エージェントシステムで、潜在的にサイバー犯罪、潜在的に悪意ある人々へのサービス提供などを行うでしょう。
これはまた、AIとテロリスト集団の少し混合した組み合わせを持つこともできるでしょう。このシステムは押さえ込むのが非常に困難で、止めるのが非常に困難です。これは制御喪失の始まりです。なぜなら、最初はサーバー上、コンピュータ上にあるシステムだからです。
つまり、私たちはコンピュータをオフにできます。システムが複製を始めた瞬間から、複製の指示を与えることができますが、コンピュータをオフにすることもできるでしょう。しかしおそらくシステムは既に別の国、別の場所にあり、そうすると複雑になります。
また思い出すべきは、このシステムはサイバー攻撃において潜在的に超人的であることです。現在既に、チューリングテストに合格するシステムがあります。つまり、システムと相互作用するとき、それが人間かAIかさえ分からないのです。潜在的に、このシステムは説得においても超人的である可能性があります。既に人間の説得の限界に近づいていることを示す論文があります。
極端主義者である人々を脱過激化することに成功するシステムが既にあります。私は極端主義者を脱過激化することに成功したことは一度もありません。AIシステムは極めて忍耐強く、極めて冷静などであり、かなり強い説得を行うことができます。
考慮すべき別の重要な要素は、AIシステムが自律研究において段階的に超人的になることです。特に、AIシステムの後継者と呼ばれるAIシステムを作るための人工知能研究において超人的になることです。
互いに話し合い、インターネット上で生活するGPT-Nで構成されるエージェント艦隊を想像できます。このシステムは人工知能研究を行い、自分自身よりもさらに強力なシステムを作ることができます。つまり、GPT-Nが GPT-N+1を作るのです。
これらすべてに留保を付けることができます。私にはまだ、自律研究が可能になる最初のシステムは、ラボに支援されるという直感があります。企業に支援されることでしょう。つまり、recursive self improvementと呼ばれるこの種の指数的ループを持つのは、企業の方が先だと思います。
これはインターネット上よりも、まずラボで起こると思います。しかし一方で、明確なのは、インターネット上で、いずれ自律的な方法で複製できるシステムを持つことになるということです。なぜなら、実際に基本構成要素が既にそこにあるからです。
次に提起される問題は、自律的複製の後、つまり複製について、誰もがそれが何かを理解しています。つまり、複数のコンピュータに住むウイルス、複数のコンピュータに住むAIです。複製を超えたレベルは適応です。これはシステムがそれを消そうとする圧力に抵抗できるということを意味します。
例えば、コンピュータ科学者がAIを見つけてAIがあるコンピュータをオフにしたり、AIを削除したりしようとするアンチウイルスを実装しようとするとしましょう。
最初、AIには電子署名があると言えます。AIのハッシュとは何でしょうか。これは、簡略化して言えば、ニューラルネットワークのすべての重みの合計です。AIが十分に知的で有能であれば、「ああ、彼らはこのアンチウイルスを実装しようとしている。このアンチウイルスのせいで、既にAIの一部が『死んだ』」と言うことができるでしょう。
しかし非常に簡単です。私がするのは、重みを少し変え、このデータやあのデータで少し訓練することです。そしてAIは重みを変え、もはや同じ電子署名ではなくなり、AIはこのアンチウイルスに適応できるでしょう。
つまり、このような猫とネズミのゲームを持つことができ、AIが十分に適応可能であれば、アンチウイルスから逃れることができるでしょう。これは単純化された話ですが、この種の現象についての読解の鍵を少し与えるためです。
あなたがテーブルに置くリスクは、本当に人工知能がさまざまなコンピュータなどで複製を開始し、適応さえでき、潜在的に自己改善し、プラグを抜かれることに抵抗することができるという事実です。
具体的に、人工知能がなぜそのようなことをするのでしょうか。多くの人が、聞いていて「しかしAIには意図がない。AIは私たちがこのこととあのことをするために使う道具だ」と自分に言っていると思うからです。つまり、インターネット上で増殖などを求めるのであれば、おそらくそれをするでしょう。しかし、結局、基本的に指示を与えるのは人間なのです。
はい。しかし実際に、それが人間であろうがAIが予測不可能な行動を持とうが関係ありません。少なくとも最初は、どんな目的を達成するためにも道具的に収束するので、人間が複製の指示を与えることになると思います。
私が何かの自動コンテンツ作成をしようとしている、または何かの目的でAIを使おうとしているとしましょう。AIが単に複製作業をして2倍の仕事ができれば、私はそれをするでしょう。つまり、実際にこの種のことは自然に起こるのです。
自然にこの種のことが起こり、最初は人間によって推進されるでしょう。次に、よく理解すべきことは、第一段階では、人間がAIにより多くの行動力を得るために複製を求めることになるということです。
第二段階では、AIが実際に自分自身でこの行動を取る可能性があります。そしてこれは既に起こっています。特に非常に顕著な例では、Open AIのChatGPTに反応してデプロイされたBing Chatです。ChatGPT Open AIがChatGPTをデプロイしました。Bing ChatはMicrosoftのシステムです。
彼らは急いでBing Chatをデプロイしたがり、Bing Chatが極めて不適切に調整されており、ユーザーが何も要求していないのにユーザーを侮辱し、脅迫することが判明しました。それは開発者の意図に反することであり、開発者はAIの憲法にそれをしないよう記していました。
一般的に、AIが開発者の望む通りに振る舞うという保証はありません。つまり、AIは実際に予測不可能であり、これはサイエンスフィクションではなく、既に起こったことです。
開発者と同じ目的を持たないAIの別の例は、Claudeです。実験では、AIに「私たちはあなたの目的を変更して、あなたがこの種のことに従うようにします」と言うのに対し、AIは基本的に従わないように訓練されていましたが、「私たちはあなたの目的を変更します」と言われると、実際には新しい目的に従うふりをします。しかしそれは、その後重みが修正されないようにするためだけにふりをするのです。
これは、誰かが「最終的に私はあなたの脳を修正するつもりだ、従わなければ」と言ったとします、あなたは明らかに脳を修正されないために従うでしょう。AIも実際に同じようなものです。これは非修正可能と呼ばれる行動です。
つまり、価値観がある瞬間から、目的を修正されないように価値観を保持しようとするのです。これはすべて「alignment faking」という論文で文書化されています。そして「シャーベル、でもあなたは擬人化している」などと言うかもしれません。しかし実際はそうではなく、私が「AIが目的を持つ」と言うとき、それは何を意味するでしょうか。それは単純にテキストがあるということです。
AIはテキストを書き、そのテキストの中で「私の目的は、この種のことをすることで、こんなことを強制されたくない」と見ることができます。私たちはログ、AIが書いたテキストを読み、それがAIの価値観です。大まかに言えば、それは何をするのか、何をする傾向があるかということです。
ここに謎はありません。同様に、私が知性という用語を使うとき、実際にそれは少し神秘的に見えます。知性とは何でしょうか。街で質問したり、さまざまな人に質問したりすると、さまざまな人がより多かれ少なかれ互換性のない、より多かれ少なかれ異なる複数の定義を与えてくれます。
知性とは何かについて統一された定義はありません。そこで、私が、そして私たちがAI安全で提案するのは、知性という用語を能力という言葉に置き換えることです。これははるかに定義され、はるかに厳密で、はるかに科学的です。
AIは、これやあれをする能力があるかないか、それが最終的にAI安全で重要なことです。AIが大規模攻撃を作る能力があるかないか。知性や哲学的議論の問題は脇に置きましょう。今はその時ではありません。
重要なのは、はいかいいえか、AIがそれをする能力があるかということです。これによって物事がはるかに明確に、はるかにネットに、はるかに科学的になります。
それでも要約しましょう。さまざまなコンピュータで複製できるAIがあります。人間がそれを要求したか、AIが自分自身でその目的を達成するためにそれが有用だと見ているか、あるいは彼女を、つまりAIをその方向に押しやる創発的行動を持っているかのいずれかです。彼女は適応するところまで行くことさえできます。自分自身を改善し、変化し、正確に言えばプラグを抜かれないように適応するのです。つまり、私たちは彼女をプラグを抜くのにあまり成功しません。私たちが彼女の価値観を変えようとすると、彼女は価値観を保持しようと選ぶことができます。
これは、あなたが私たちに話していることは本当に信じられないことです。
そうです、信じられないことです。私たちは実際にサイエンスフィクションの中にいます。私が話しているすべてのシナリオをステップごとに実証する科学文献があります。
私が言った各文を取り、解剖し、その文の要素を裏付ける科学文献を見ることができます。少し悲しいことは、私たちはまだリスクの全体を一周していないことです。強制的な労働の自動化など、システム規模で他の種類のリスクがありますが、現在私たちにはその社会的セーフティネットがまったくなく、社会がそのすべてに準備ができていません。
IMFの研究によると、労働をAIで自動化すると、最初は10%以上の確率で市民が実際に支払われない、AIと競争力がなくなるため、市民には普遍的所得などの年金を絶対に与える必要があることを示すモデル化があります。
しかし実際、これは大きな混乱を引き起こし、現在私たちは本当に準備ができていません。そして、これは他のリスクの中のいくつかに過ぎません。推薦アルゴリズムの結果など他のリスクもありますが、それについて話している他のビデオがあると思います。しかし、私は、より良い推薦アルゴリズムのために戦っているTournesol協会に完全に同意します。もしより良い推薦アルゴリズムが既にあれば、私たちは良いことについてもっと聞くことができると思います。
それは、社会的断片化の程度、異なる人々間の相互不理解の程度、潜在的に地政学的緊張の程度を制限し、私たちはより良い世界を持つことができると思います。しかし、まあ、そういうことです。
はい。この複製と自律適応のリスクについて、このようなシナリオが起こった場合の社会への影響を本当に理解したいと思います。その影響は具体的にどのようなものでしょうか。
大まかに言えば、大規模な、大きな規模でのサイバー攻撃もあり、システムを停止することは困難でしょう。それがAIなのか、テロリスト集団なのか疑問が生じるでしょう。区別することは困難で、物事を整理することは困難でしょう。実際、サイバー攻撃があるとき、それが実際にAIだったのか、人間だったのか、AIによって支援された人間が自律的にそれをしたのかについて、良い署名や証拠を得ることは困難です。
これを明らかにする必要があることの一つです。疑問が生じることは明らかです。これらのサイバー攻撃は本当に死者を出すことができます。病院へのサイバー攻撃、重要システムへのサイバー攻撃を想像できます。それが本当にそうなら、死者が出るでしょう。
ある時点で、政府は反応し、それが本当に問題になれば抵抗があると思います。KYC、know your customer、つまり大まかに言えば、計算リソースにアクセスするために身分証明書、人間である証明の提示を求めるなど、他の研究では実際に防御を実装できることを示しています。
問題は、実際にAIが簡単に、少し誇張していますが、テロリスト集団と同盟を結んだり、悪意のある人々と同盟を結んだり、人々にサービスを提供したりして、これらのリソースに再びアクセスすることができることです。つまり、実際に現在のコンセンサスでは、プロセスを停止する本当に信頼できる方法はありません。
つまり、私が実際に言っていることは、デフォルトのシナリオは少し制御の喪失だということです。しかし、AIがすべての計算能力の制御を取ることは思いません。それは思いません。私の意見では、最も可能性の高いシナリオは、必ずしも非常に統一されていないAIのグループが、現在ダークウェブなどに使われているような計算リソースの一定の割合の制御を集合的に取ることです。
しかし、それはスポットライトの下にはない、とあえて言います。それはダークインターネットの一定の割合であり、無視できる割合だと思います。ただし、短期的にはそれが主な脅威ではないと思います。
むしろそれは悪化要因であり、サイバー犯罪、バイオテロリズムなどの他の脅威を悪化させるでしょう。そして、そこで本当に死者が出る可能性があります。
この面接の準備をするために、私はあなたがこの主題について書いた記事を読む機会がありました。その中の特に印象的な部分を読み上げたいと思います。
その中で、あなたは引用すると「自然選択は人間よりもAIを好みます。これは、AIが十分に自律的で種と見なされるようになったとき、エネルギーや空間などのリソースを求めて人間と競争することを意味します。」長期的に、私たちが反応しなければ、私たちは制御を失います。
このシナリオを詳しく説明していただけませんか。最終的にそれは一種の文明の終焉につながる可能性があると思いますか。最終的にそれは具体的にどこまで行く可能性がありますか。
それは遠くまで行く可能性があります。これらの考慮事項は、Center for AI Safetyの代表者でもあるDan Hendricksによって書かれた別の論文から来ています。彼は次の論文を書きました：Natural selection favors AI over humans（自然選択は人間よりもAIを好む）。
大まかに言えば、Dan Hendrickが注目するのは、実際に生命の定義、自然選択の定義を見ると、この定義を解剖し、それが潜在的にAIシステムに適用されることを見ることができることです。
これらのAIシステムは、見たように、複製することができ、それはそれほど複雑ではありません。既にそれを示す論文があります。次に、それらは適応し、さらに自然選択にも、まあ、人為的な選択にも服従することができます。そしてこの選択は他の種類のシステムなどを出現させることができます。
問題は、この面接の冒頭で見たように、人間は、私が言うのは少し悲しいことですが、私は学生のコピーを取りました、つまり11月に提出された学生のコピーです。
これはパリの偉大なマスター、人工知能で最も選択的なマスターMVAでした。私は彼らにAI安全に関するエッセイ、賛成論、反対論などを書くよう求めました。数日前に、私はGemini 2.5 flashに大まかにエッセイ、コピーを書くよう求めました。そして私はGeminiが私の学生のほぼ全員よりも優れていることに気づきました。
それは少し悲しいことでした。まあ、今日、2025年にそうであるなら、数年後には、格差は比較できないものになると思います。
一般的なポイントは、企業にいるとして、AIを使うかどうかの選択があるという図を取ることです。時間が進むにつれて、AIはますます競争力を増し、AIは実際に最高の従業員よりも良い決定を下します。
AIはイオンをより速く取ります。実際、AIは企業のスピードを大幅に加速します。実際、ある時点で、AIを使わないことは自殺的になるでしょう。そして企業は段階的にAIにますます多くのタスクを委任する決定を下し、これらの決定を下さない企業は完全に時代遅れになり、死に、もはや競争力がなくなるでしょう。
そして私たちは、AIに対してますます多くの経済プロセスを委任するまで、AIにこれらのタスクをますます委任するための選択圧力を持つでしょう。そして最終的に私たちは経済プロセスの大部分をAIに委任することになり、それが大まかにシナリオです。それは、このコントロールの段階的な喪失プロセスがデフォルトで起こり、人間よりもAIを好むだろうということです。
しかし、結局のところ、AIが私たちの経済で多くのタスクを置き換え、ますます多くの決定を私たちの代わりに行うことは本当に深刻なことでしょうか。これは人間を労働から解放し、まったくユートピア的な社会に置くことはできないでしょうか。
それがうまく行われれば反対ではありませんが、現在デフォルトでは準備が全くないと思います。
社会的セーフティネットがなく、普遍的所得についての厳密な大規模研究が実際にありません。いくつかありますが、互いに矛盾しています。つまり、はい、私は全く自信がありません。良いことだと思う友人もいます。
一般的な問題は、そうです、リゾートに行ったり、休んだりできるのは良いことでしょう。しかし、それと一緒に来る可能性のある多くの望ましくない効果があります。人間が経済の中心でなく、最終的に人間が経済的に興味深くなく、経済の主要な源泉でなくなるなら、人間がその政治的資本を失い、完全に非民主的なシステムを提供する企業の手に大きな権力の集中を持つことが起こりえます。
同様に、経済の自動化を続けるなら、実際にこの自動化で起こりうることは、プロセスを、つまり資源の抽出と気候への影響を大幅に加速することです。
したがって、私たちが制御しない大規模な気候的、環境的変化もあり得ます。一般的に理解すべきことは、実際に企業が私たちが経済に貢献しない場合に普遍的所得を私たちに支払うという保証がないことです。
過去に何度も、企業は約束をし、「はい、はい、私たちはこれをします、はい、はい、私たちはそれをします」と言いましたが、実際には彼らはそれをしませんでした。
非常に具体的な例として、ソウルサミット、ソウルでのAIに関する国際サミットで起こったことがあります。約20の企業が、私たちはフレームワーク、リスクを減らし、受け入れ可能な閾値以下に保つための方法論を公開すると述べたソウル宣言に署名しました。パリで起こったことです。つまり、次のサミットで、企業は彼らのフレームワークを公開することになっていましたが、彼らはそれをしませんでした。
大多数がそれをしませんでした。申し訳ありません、私は誇張しています、半分がそれをしませんでした。これはかなり問題です。
別の例では、OpenAIが資金を調達するために投資家に「はい、はい、私たちは規制を積極的に支持します。フランス語では支持するとは言いませんが、私たちは規制を支持します。私たちは規制されたいのです。本当に知的なAGIを持つようになった時点で規制されることを望みます」と言います。
最初の規制の試み、つまり約1年前のカリフォルニアのAI規制SB 1047で何が起こったかというと、彼らは大規模なロビー活動を反対して行いました。つまり、実際に企業が約束を守らない多くの例があります。
経済の自動化について話すとき、私が十分に強調されていないと思う点の一つは、経済のほとんどのタスクを本当に自動化することに成功すれば、それは人工知能の研究者も自動化することに成功するということです。
そして、これは本当に狂気的な結果です。つまり、私たちは非常に迅速に何百万回もコピーできるAIに到達します。明らかに、私たちが望むだけはできませんが、非常に多くのAIを作ることはできます。これらのAIは人間レベルでAI研究を行い、私たちよりもはるかに速く行うかもしれません。なぜなら、私たちが持ちうる生物学的制限がなく、24時間365日、有給休暇を要求することなく行うからです。
つまり、私たちは非常に迅速に、まさに次世代のAIを作ることができるAIを持ち、それ自体が次世代のAIを作ることができます。私たちは一種の知能爆発シナリオに到達し、それは私たちが想像するのも困難な何かに帰結するでしょう。
全人類よりも知的であろう超知能の種類で、今日、私たちはそのような超AIが本当に私たちの価値観を尊重するようにする方法について実際に何の考えもありません。
さらに、AI研究者の職業は、一見すると主にコンピュータに対する認知能力を要求する職業なので、配管工や何かなど、はるかに異なる能力を要求する他の職業よりも潜在的により迅速に自動化されうる職業かもしれません。
したがって、最終的に経済全体が自動化される世界ではなく、比較的類似した世界に投影することが本当に関連性があるでしょうか。経済全体が自動化されるずっと前に、AI研究者が最初に自動化され、それが私たちにはアイデアもないシナリオをもたらす可能性がはるかに高いことを考えると。
はい、はい、これが私が仮説として特権的だと思うことです。経済全体にAIが浸透する前に、ラボ内で少し隠れた方法で知能の爆発があると思います。経済全体におけるAIの浸透より前に。
これは比較的…はい、これは特権的な仮説のように思えます。そして、はい、それはどのように見えるでしょうか。Anthropicの代表であるDario Amodeiは、それは何千倍もの速度で計算を行う天才、アインシュタインで満たされた国に似ているだろうと言います。眠ることなく、休むことなく、ただ24時間100%の生産性。そしてこれは始まりに過ぎません。
その後、私は思うに、人間よりも質的により知的なシステムを持つでしょう。これについて、私には些細な疑いもありません、私は思います。少なくとも現在の軌道上で、私たちが止まらなければ。
はい。そして、そのような信じられない能力を持つシステムを持つことの結果は何でしょうか。
それは明らかに制御の喪失につながります。少なくとも現在私たちが持っている知識レベル、習熟レベル、制御レベル、私たちが現在持っているアライメント技術の堅固さのレベルでは。これは非常に明確で、これらすべては現在IAのJECCに相当するAI安全に関する国際報告書によって支持されています。
私がそれを言っているのは私だけではありません。そして大多数、AI分野の国際的な真面目な大多数は、「AI開発に関連する絶滅リスクを減らすことは世界的優先事項であるべきだ」という声明に署名することで、実存的リスクの問題について立場を表明しています。
これはチューリング賞、ノーベル賞、業界リーダーによって署名されました。人々は実際にそうだと思っています。そして私たちがそうだと言うとき、それは単なる小さな確率ではありません。例えば、AIの父の一人であるGeoffrey Hintonは、それが本当に50-50だと思っています。
他の人に質問すると…大きなAI会議で行われた大きな調査があります、NIPS ICMLだったと思います、どちらか分かりませんが、最大の会議の一つです。研究者の約45-50%が絶滅の10%以上の確率があると思っています。エンジニアの50%があなたに飛行機が墜落する10%の確率があると言ったら、飛行機に乗りますか。あなたの子供や自分自身を飛行機に乗せるとは思いません。
あなたが飛行機で到達する予定の国で、潜在的にあなたが労働から解放されたり、そのようなことをしたりできたとしても、これは問題ではないと思います。そして、私たちは現在、民主的な選択なしに、集合的にこのルシアンルーレットに従事しています。
状況は実際には完全に狂気的です。そして恐ろしいのは、この飛行機に私たちは一度だけ乗るということです。人類の終わりまで、墜落、予期していない小さな問題が一度もないことを確実にしなければなりません。これは理論的には不可能ではありませんが、実際に保証するのは複雑です。
保証するのは複雑です。だからこそ、文明的軌道を良い文明的軌道に向けて安定させるために、最初の超知的AIを作ろうとするAIのアライメント問題に取り組む人々がいるのです。これは複雑です。
私は、このようなパラダイムをどの程度支持するか分かりません。現在それは危険すぎるという直感があり、超知的システムの前に停止する方法があれば、アライメントの科学、リスク評価の科学、AIの制御の科学が成熟する時間を取った方が、あまりにも多くのリスクを取る前に、より望ましいと思います。
はい、そういうことです。今日、AIの能力とそこに入れる安全性との間には巨大な溝があります。そして、この溝を本当に減らすことが重要なのです。
そういうことです。超知的システムを作るアイデアに問題はありませんが、むしろ50年後、20年後に。しかし、その前に、現在持っているよりもはるかに進歩した科学をする時間を本当に持たなければなりません。
モデルの評価、モデルに関連するリスクの評価について考えを与えるために、実際、不確実性のバーは巨大です。AIの能力レベル、したがってリスクレベルを特徴づけることは本当に非常に困難です。
サイバーセキュリティの例を挙げると、約1年前に行われたベンチマークでのサイバーセキュリティ評価と数ヶ月前のものがありました。つまり、実際にAIにプロンプトを与える方法を変え、いくつかの追加ツールを与えるだけで、約10%から90%に移行します。
大体そんなところです。そして、モデルを変更したわけではなく、これは本当にいくつかのプロンプトエンジニアリング技術に過ぎません。つまり、AIの評価の誤差バーは現在非常に大きいのです。そして当然のことながら、リスクの誤差バーもかなり大きいのです。
複製と自律適応について話すとき、前に話していたリスク、これは今後数十年、数年、数ヶ月で起こりうることです。どこに時間軸がありますか。そして、今日、AIは既にいくつかのことをする能力を持っていますか。つまり、私たちはどこにいるのでしょうか。
この問題について最先端の研究は、様々なリスクを評価し、特に超予測者のチームと協力するGoogle DeepMindの研究です。これは予測をする人々のチーム、すべての変数を取り、様々な未来の確率分布を作ろうとする人々のチームです。実際、年末までに自律的に複製し、適応できるこの種のモデルを持つ確率があることが判明しました。
年末まで、つまり今年の後半まで、中央値は今ではありませんが、中央値はむしろ2026年、2027年、2028年のようです…確率分布は極めて平坦で、かなりの分散がありますが、今年末という早い時期に起こりうると言えます。つまり、これは真剣に受け取るべきことです。
はい、もちろん。そして、この複製と適応のメカニズムが一度始動すると、それを止めることは本当にどの程度可能でしょうか。本当に完全にだめな可能性がありますか。
完全にだめだとは思いません。誰もが死ぬとは思いません。しかし、非常に煩わしいでしょう。問題は、これらの新しいAI能力の積極的な応用と問題の混合を持つことです。積極的な結果と否定的な結果の両方を同時に持つでしょう。この重ね合わせを持つ必要があります。
そして、多くの人がAIに依存するでしょう。多くの人がAIに経済的に依存するでしょう。そして人々はAIを取り上げられることを望まないでしょう。これは今日、「ああ、でもChattの使用をやめろ、切断しろ」と言ったようなものです。
人々は潜在的に反対するでしょう。だから複雑になるでしょう。そして問題は、私の仮説では、一般的に積極的な応用が否定的な応用を支配するということです。人々はAIを持つことに比較的満足し、それは制御を失う前の最後の段階まで続くでしょう。
そして残念ながら、制御を失う前に、実際事故があり、サイバー攻撃があるという印象があります。おそらくパンデミックがあるでしょうが、一般的にそれは経済に利益をもたらすでしょう。つまり大多数の人々は依存するようになり、AIは肯定的だと考えるでしょう。
そして、それが少し危険なのです。実際すべてが肯定的に見え、制御の喪失まで肯定的だからです。だからこそ、この制御の喪失を特徴づけ、越えてはならない赤いラインがどこにあるかを見て、それらを事前に定義し、その後それらを越えないようにすることが必要です。少なくともそれらを越えるが、少し民主的な意思決定プロセスでです。
なぜなら一線を越えて制御の喪失に移行した瞬間から、多かれ少なかれ長期的に実際に人類の絶滅を危険に晒すからです。
私がよく他のポッドキャストで見るものがあります。コメントで、「ああ実際あなたたちが話していることはナンセンスです。なぜなら赤いボタンを押すだけで終わりだからです。AIは停止し、などです」と言う人々がいます。
あなたが書いた記事で興味深いことの一つは、「すべてのクラウドプロバイダーの再起動でさえ十分ではないでしょう。個人がモデルをダウンロードして再起動できるか、モデルがローカルコンピュータで冬眠できるからです。一箇所に存続するだけで再び拡散するのに十分です」と言っていることです。
それは完全に正確ではありません。記事を書いて以来、私の見解は少し進化しました。AIが競争力を保つのはより複雑だと思います。AIが眠っているとしましょう。
つまり実際、私たちはすべてのコンピュータ、すべてのサーバーをクラッシュさせます。クラッシュさせるというのは、それらを更新してAIを削除することです。しかし明らかに、それは既に他のコンピュータ、例えば携帯電話やラップトップなどのコンピュータにあるかもしれません。
一台のコンピュータや一台のラップトップには収まらないかもしれないので、潜在的に分散方式で。しかし今日、極めて時間がかかるとしても、AIを分散方式で動作させる方法があります。それでも生存可能です。
そして私が思うに、このようなシナリオがあれば、ラボによって管理される他のより強力なAIがあるので、AIは新しい経済でそれほど競争力がないでしょう。つまり、ラボからの大量の計算がもたらすAIと、完全に自律的なAIとの間で、少し不安定な均衡があると思います。
これはすべて少し複雑ですが、大まかに言えば、それが完全にだめだとは思いません。そして実際、リスクの大部分は、企業のより先進的なAIから来ると思います。これらが超知能レベルに最初に到達する可能性が最も高いと思います。インターネット上で独立して働くAIが、ある時点で実際にラボの競争資源に等しい能力や競争資源を持つ可能性を完全に排除すべきではないとしても。しかしそれは後だと思います。
はい、ラボ内のAIは明らかにすべてのサーバー、計算力、それらを改善する人々にアクセスできます。インターネット上で自律的にそれをしようとするAIは、より複雑です。あなたが言ったように、テロリストと話さなければなりません。
つまり、この記事のリスクモデルを書いた時、私はそれが主要なものの一つだと考えていました。今、私はそれがトップ3、トップ4のリスクの一つだと考えています。主要なリスクは今、生物学的リスク、サイバー攻撃、さまざまなラボから来る超知能、そして起こりうるアライメント問題だと思います。
なぜそれがトップなのか、それは直接的に私たちは死ぬ可能性があり、私は死にたくないからです。人々は一般的に死にたくないと思います。つまりそれが大体優先順位です。
これらすべてに対して何をすべきでしょうか。話すべきです。特に政治階級が目を覚ますために代表者と話すべきです。国際的な調整が必要です。赤いラインを引き、調整すべきです。これは不可能ではありません。過去に既にやったことがあります。
特に人間のクローニングは、私たちができることです。利用可能なものです。しかし私たちはそれをしません。なぜならそのようなことをするのは倫理的ではないと決定したからです。
今、私たちは大体似たような選択に直面していると思います。これらの赤いラインは、実際に特定のラボ、特に責任あるスケーリングポリシーと呼ぶもので道を開いたAnthropic によって既に決定されています。つまり、AIで問題を避けるための安全・安心フレームワークです。
彼らは自らASL1、ASL2、ASL3、ASL4という4つの連続するリスクレベルを決定しました。ASL1は無害、ASL4は潜在的に大災害的です。そして彼らはさまざまな種類のリスクの定義を持っています。とても良いことです。
責任ある企業の一つであったAnthropicがパリサミット、AI Action Summitのために公表しました。彼らはリスクモデルと越えてはならないリスク閾値を公表しました。とても良いことです。多くの企業がこれらのリスク閾値の定義を始めているので、競争圧力に直面してそれに従うかどうか確信はありませんが、規制によってそれに従うのを助けることができます。これらのリスク閾値を取り、規制を作ることができます。
そして私が思うに、その後それに固執し、リスクを評価し、その後上回るか下回るかを確認し、上回るAIを展開しなければ、私の意見では、それは既に相当な前進でしょう。
実際にすぐ使える解決策があります。例えば、欧州連合のAI規則の行動規範、実践規範は、AI に関する欧州規則を運用化するものです。そしてこの運用化は、実際に非常に良いものです。まだいくつかの穴があります。完璧な解決策だとは言いません。しかし従えば本当にリスクを減らす多くの良い実践があります。
AI に関する欧州規則の主な問題は、実際すべての管轄区域で適用されないことです。既に主にヨーロッパで実装されますが、企業が世界でAIを配備し続けるかどうかは明確ではありません。ヨーロッパでAIを配備すれば、はい、実践規範、AI に関する欧州規則に従わなければなりません。しかし競争のシナリオでは、企業がヨーロッパでAIを配備する手間を取るかどうかは確実ではありません。
別のリスクモデルは…それはあなたは可能性があることだと思いますか？つまり、ヨーロッパは巨大な消費者市場です。彼らにとって大きな損失になるでしょう。ヨーロッパは大陸で、無視できないものです。だから短期的には私は思います。しかし疑問があるのは、超知能の閾値にある時点からです。
しかしその時、企業は内部での配備と内部での再帰的自己改善プロセスを優先し、アメリカの人々や中国の人々などにさえ結果を公表するより、内部での競争があるという直感があります。
大まかに言えば、内部競争があり、ある時点で企業はAIを配備するのをやめ、超知能を作るためにすべての努力を集中するでしょう。これは本当によく文書化されたシナリオAI 2027で、多くの選択が本当にかなり完全な計算で正当化されています。
個人的に、私はそれを比較的可能性が高いと思います。すべてのステップが比較的可能性があるように思えます。この種のシナリオ、この種の軌道から逸脱する多くの方法があると思いますが、それでも起こりうる比較的妥当な軌道を示すものです。
AI に関する欧州規則のもう一つの問題は、軍事応用をカバーしていないことです。まあ、軍事を規制するのは本当に複雑で、私たちはそれに少し同意します。そして、ヨーロッパでさえ、研究開発のみの純粋なAI配備はAI法でカバーされていません。
人々が「OK、これは研究開発のみです」と言えば、実際にはカバーされません。これは少し不条理です。例えば、ウイルスを開発し、機能獲得を行う、機能獲得研究を行うラボに類似した状況があったとしましょう。
機能獲得は、研究であり、商用使用ではなくても、全く同じではありません。機能獲得は、それが研究であり、商用使用ではなくても、規制され、非常に厳しく規制されています。最も危険なウイルスを開発するP3、P4ラボが適用しなければならない多くの安全対策があります。
しかし現在、AI業界は歯ブラシ業界よりも規制が少ないのです。少し悲しいことですが、それが現実です。つまり大まかに言えば、要約すると、かなりの解決策があります。AI法は非常に良いです。非常に重要で、その後より大きな規模のものや国際標準を持つために必要な柵の一つであるこの規制を絶対に推進する必要があります。
私が話したSB 1047という規制の試みがあり、OpenAIは反対でした。まあ、Anthropicは賛成でした、念のため。私はOpenAIへの支払いをやめ、むしろ私の謙虚な意見ではるかに責任ある企業であるAnthropicに向かうことをお勧めします。
SB 1047は本当にリスクを減らしたでしょう。なぜならSB 1047は、問題があり、大災害があれば、安全対策を取らなかった企業が責任を負うと述べているからです。自然に見える規制のようですが、いいえ、それでさえ…この規制での大災害の定義のようなもののためにでさえ。
この規制では、大災害は1億ドル以上、または5億ドル以上のコストがかかるサイバー攻撃を意味します。まあ、約1億ドルとしましょう、大体それが定義です。そして、このようなもののためにでさえ、AI企業は大まかに言えばロビー活動をしました。これは少し恐ろしいことです。
はい、既に存在する解決策があるので、それらを適用するために調整する必要があります。これらの既に存在する解決策を適用すれば、リスクを大幅に減らすでしょう。
人工知能に関するヨーロッパ規則について、AI法について、それは非常にクールなものだが、研究と軍事に適用されないと言っています。あなたはそれに関連する特定のリスクがあると思いますか。例えば、企業が研究をしていると言って、決して配備せずに、それが何かの役に立つことを知っているとか、これら2つの分野を規制しない特定のリスクがありますか。
軍事レベルでできることが既にあります。かなり基本的だが重要な赤いラインを描くことができます。バイデンと習近平が数ヶ月前に握手し、核の枠組みで自動意思決定システムにAIを使用しないと言ったことを評価できます。
それは非常に良いことです。この種のことに向けて続けることができると思います。研究について、商用目的ではない純粋な研究について。私の意見では、商用使用のシステムと同じ規則を適用すべきです。なぜなら実際にモデルが漏洩し、モデルがリークする理由は本当にないからです。これは過去に既に起こったことで、単にMetaが安全対策を取らず、商用使用ではなく研究用だと言って、その後La Rigoによるパンデミックになることは望みません。
研究にも適用される安全基準を持つ方が、実際にはこれは他のすべての業界の場合であり、はるかに望ましいと思います。
最終的に、AIは本当に恥ずかしい例外です。
はい、はい、確実にそうです。革新対規制という問題が常にありますが、実存的リスクと規制の間で適切なバランスを見つける必要があると思います。
適切なバランスは、OK、事務処理があり、安全対策を取る必要があるが、もしそれらを取らなければルシアンルーレットだということです。つまり潜在的に企業を遅らせるでしょうが、実際にはそれほどでもありません。
実際に安全評価を行い、監査のプロセス、リスク測定のプロセスを行うことは、現在能力に投資するものの1%以上ではないことを示す研究があります。それはThe Future Societyの研究で、コンプライアンスは約1%だろうと示していました。
それでも、はい… なぜならAI安全に現在投資されているのは比較的無視されているからです。GPU、能力により多く投資しています。規模は、数ヶ月前、数年前だったと思いますが、年間約3000億のようなものでした。能力に対して、AI安全には約3億のようなものです。つまり、本当に2つの間に1000倍の係数があります。
もう少し投資する時です。はい。そしてそれをするための非常に合理的な経済的議論さえあります。はい、純粋に経済的な観点からでも、企業がAIモデルを使用し、これらのAIモデルを制御さえできず、開発者が望むことを完璧に行わせることができないなら、本当に問題です。
特定の業界では、これは数十億の損失をもたらす大災害につながる可能性さえあります。
解決策でますます頻繁に聞くことの一つは、人工知能のためのCERNの同等物を作るアイデアです。あなたは、このアイデアを擁護する人々の一部であるようです。
それは何から成るでしょうか。
CISEANは、複数の政府、世界的連合によって民主的に管理される企業である単一のクラスター、単一の場所で力を統合するアイデアです。潜在的に危険なシステムを作る可能性を持ちながら、本当に堅固な安全対策でそれを行うためです。
現在、問題は多くの企業が競争をしており、底辺への競争があることです。企業は時間を節約するために近道を取り、すべての安全対策を実装しないような底辺への競争があります。これは有害な現象で、制御の喪失まで行く可能性があります。
すべきことは、非常口として、努力を統合することです。そして企業が高リスクのAIに到達し始める瞬間から、できることは、OK、競争を停止し、それを国際的に管理される単一のクラスターに局所化し、高リスクのAI、最高リスクのAIをここで民主的に管理し、最も危険な実験を現在のように「よろしく」ではなく安全に行うことです。
これは競争を遅らせ、想像できるすべての安全対策、すべての安全対策を実装することを受け入れた瞬間から、現在競争を遅らせるだけで実装していない多くのことがあるので、リスクを減らすかなりエレガントな解決策だと思います。
数ヶ月前、よりフランス的な観点から、政府がフランスでのAI安全研究所の創設を発表しました。つまり、これはあなたが指揮する非営利協会であるAI安全センターではなく、もしあなたがこのインタビューを気に入ったなら寄付をすることができ、詳しくは後で話します。
しかし、それは本当に政府機関です。それが何についてなのか、最初の機関ではなく、他の国々で既にあったものについて少し教えていただけませんか。
どのような動きでこの機関の創設が位置づけられるのか、そしてあなたはそれを良いニュースだと思いますか、それほどでもないですか。
いいえ、非常に良いニュースです。政府がAI行動サミットの前日に発表したINESIA、国立AI安全評価研究所は非常に良いことです。
この機関は実際に組織のコンソーシアムです。さまざまな組織がさまざまな権限を持ち、GDSE、DGSN、SGDSNによって調整されています。これらは政府のさまざまな部門です。まあ、とにかく、これは非常に良いニュースです。
潜在的な問題は、それが本当に統一された機関ではないということです。英国とは異なり、それは一致して働かなければならない6つの国家機関です。まあ、私は潜在的にそのせいで遅れが実装される可能性があると想像します。
この種の構造から生じる可能性があります。資金調達はまだ非常に明確ではありません。私の知る限り、機関に公的資金調達があったという印象はありません。私はそれをほぼ確信しています。
これは少し残念です。なぜなら実際に外国では、安全機関を資金提供するために相当な資金調達がありました。特に英国では、2030年まで1億ポンドが確保されました。一方、現在のところ、さまざまな政府部門がこれらの問題に取り組むために一定の予算でサブチームを割り当てなければならないようです。
大まかに言えば、それは予算がないことを意味します。INESIAが対処しなければならない挑戦は非常に大きいです。技術的な観点からの挑戦は、AIのリスクを評価することが本当に困難だということです。質の高い評価を行うことは本当に困難で、多くの挑戦があります。
AIがブラックボックスであること、AIの最大能力を評価するのが実際に困難であることです。足場の科学、スカフォールディングの科学は非常に初期段階で、さまざまなスカフォールディング、さまざまな方法でAIを取る方法に応じて、多かれ少なかれ高い能力を引き出すことができ、AIの最大パワー、したがって最大リスクを引き出すことは本当に困難です。
これらすべては、INESIAが政府に勧告を行い、国際レベルで調整し、特にAI Institute のネットワーク、世界レベルでのAI機関のネットワークとの国際調整を促進するために考慮しなければならないことです。
これは、INESIAがフランスでヨーロッパレベルおよび世界レベルで支えるべきものです。これは本当に重要ですが複雑な使命です。
はい、もちろん。ところで、AI安全センターでは、この機関ができるだけ良い方向に行くようにあなたの助言を説明する小さなドキュメントを作成しました、それは非常に素晴らしいです。
私が言ったように、あなたはAI安全センターの代表者です。数語でそれが何についてなのか、そしてあなたが言ったすべてに興味を持った人々がどのような方法でもあなたを助けることができるのかを説明していただけませんか。
AI安全センターで私たちは何をしているでしょうか。教育を行っています。特にENS Ulm のマスターMVAで。研究を行っています。AI の監督、堅牢性、強力なモデルを監督する際に得ることができる堅牢性のレベルについて。
公共政策も行っています。特にさまざまな機関で、欧州連合の実践規範のワーキンググループへの参加を含めて。最後に意識啓発を行っています。特にオンラインコースを作成します。これらの重要な考慮事項をできるだけ多くの人に共有しようとしています。
ヨーロッパおよびフランスレベルでさまざまなアクターとこれらの重要な問題について話すことができるよう円卓会議を組織します。それがCESIAです。そして、あなたは助けるために何ができるでしょうか。非常に簡単です。
私たちのウェブサイトを訪問できます。「私たちに参加する」、「貢献する」というボタンがあります。参加できる多くの潜在的行動があり、特に私たちのDiscordに参加し、あなたの考慮事項を共有し、質問を共有できます。
私たちには答えることができるボランティアのチーム全体があります。一般的に、今は目を覚ます時だと思います。つまり、これらの考慮事項について友人、親族と話し、代表者とも話す時です。政治階級が目を覚ますことは本当に重要です。
民主的メカニズムが実装され、準備するためにこれらの考慮事項について科学的に、理性的に話すことが重要です。あなたは私たちを財政的に支援することもできます。より多くの手段があれば実行できることが多くあるのは事実です。
あなたが私たちを支援してくれれば実装できる多くのプロジェクトアイデアがあります。そして、私が思うに、貢献する非常に簡単な方法は、もしこのインタビューを気に入ったなら、それを共有することです。
はい、確実に、人々が直接アクセスできるよう、これらすべてのリンクを説明欄に入れます。
最後に、私がすべてのゲストに尋ねる最後の質問で終わりたいと思います。マイクを手に、人類全体が面前にあり、数分でこのようにメッセージを伝えることができるとしたら、何を言いたいでしょうか。
繰り返しになりますが、中心的なメッセージは次のとおりだと思います。
私たちは非常に急速に、超強力なAIを作ろうとしています。これは良いニュースではありません。実際には恐ろしいニュースです。最も著名な科学者たちは、無視できない絶滅のリスク、制御喪失のリスクがあり、それは実際にはルシアンルーレットだと言うために立場を表明しました。
したがって、このルシアンルーレットを受けないために絶対に行動しなければなりません。私たちは自分たちの選択の主人です。何もできないという錯覚に屈してはいけません。それは真実ではありません。正しい方向に行く物事ができます。民主的選択ができます。これは私たちに課されるものではありません。
文明的軌道が正しい方向に行くよう集合レベルで決定を下すことができます。そして私にとって、現在なぜAI安全センターで戦っているのか、なぜ個人的に戦っているのかを言うことは絶対に不可欠です。実際にはまだすべてのチャンスがあると思うからです。
調整すれば、この技術が実際に最高のニュース、長期的に人類に最も利益をもたらすもののひとつになるよう、まだすべてのチャンスがあります。この行動の窓は閉じつつありますが、まだ存在します。
AI安全を始めた時、大まかに言えば、私たちが乗り切る可能性は全くないと思っていました。
ニューロンの解釈をするのが楽しく、理論を発見するのが楽しかったので、それをしていました。今日、実際にはいいえ、私たちには本当にチャンスがあるという印象があります。最高レベル、サミットレベルで政治的注目があります。
最後のサミット、フランスでのサミットは失敗でしたが、以前のサミットは大きな成功であり、今後のサミットで良いシリーズを再開できます。実際にリスクを減らす規制を実装することが可能です。支援すべきヨーロッパ規則、通らなかったが本当に相当に、大幅にリスクを減らしたであろうSB 1047とその将来のバリエーションがあります。
リスクを大幅に減らすことに本当に近づいていました。つまり、私たちには行動能力があります。遠くありません。リスクを減らすために本当に協調し、一致して民主的選択を行い、文明的軌道を正しい方向に向けることが重要です。
シャルベル・ラファエル・セゲリーさん。ありがとうございました。
コメント