この動画は、AI安全性の専門家であるマキシム・フルネス氏が出演したフランスのポッドキャスト番組の内容である。同氏は、現在のAI開発における深刻な安全性リスクについて詳細に論じている。特に、推論能力を持つAIモデルの急速な進歩、サイバーセキュリティへの脅威、人間による制御の喪失の可能性、そして破滅的リスクと非破滅的リスクの重要な区別について説明している。また、オープンソースモデルの危険性、AI企業の安全対策の不十分さ、国際的な規制の必要性についても言及している。同氏は、現在の開発ペースでは人類にとって制御不能な超知能の出現が避けられず、国際条約による開発の一時停止が必要であると主張している。
DeepSeek R1は、オープンソースで、O1とほぼ同等の性能を持っています。今、すべてのサイバー犯罪者たちがこれを自分のものにして、ステロイド級のウイルスを作ったり、自分たちの作戦を自動化したりしようと試みていると思います。そして、もし例えばウイルスが拡散し始めるのを目にした場合、システムを停止する手段が全くないのです。
やはり思い出しておかなければならないのは、OpenAI、Anthropic、DeepMindの明確な目標は超知能を作ることです。つまり、想像できるあらゆるタスクにおいて人間より有能なシステムを作ることです。制御を失った後に何が起こるかを知るのは困難ですが、人類絶滅のような破滅的な結果になる可能性があります。
マキシムは、AI安全性を巡るフランスの議論における新進気鋭の人物です。セントラル・リヨンとケンブリッジで教育を受けたエンジニアで、約10年間、ディープラーニングと機械学習のAI分野で働いた後、根本的な方向転換を行いました。
2024年、彼はPauseAIを共同設立しました。これは、生成AIの開発の一時停止を求める組織です。マキシムは、システミック、民主的、そして実存的リスクについて、精度と数字と事実を背景に警告を発しています。このエピソードでは、専門家が人間としての立場を示し、もし私たちが集団的に舵を取り戻すことを決めなければ、私たちの世界がどうなってしまうかについて、明晰さと脆弱性の間で語っています。
新しいTime のエピソードへようこそ。今日はマキシム、ここに来てくれてありがとうございます。今日はAIの危険性について話そうと思います。最近、私たちはモデルの性能に魅力を感じ、夢中になる傾向があります。これはかなり、私たちが注目し、至る所で共有されているパラメータです。ベンチマーク、性能の進歩、そして時には、このモデルの進歩、この性能が私たちの日常生活に与える影響について、個人的にも職業的にも一歩下がって考えることがありません。
これがこの動画の目的の一部です。これらのリスクについて振り返ることです。そして始めに、この性能の進歩とAIモデルのリスクの進歩との関係について説明していただけますか？
まず招待してくれてありがとうございます。では、性能とリスクの関係についてですが、それはかなり単純です。AIは二重用途技術なのです。二重用途でない技術の例を挙げましょう。それは危険なだけの技術です。例えば核爆弾です。この技術、核爆弾は、基本的に危険なだけです。AIは、非常に美しいことにも、非常に悪いことにも使用できます。
これらの高度なモデルを開発している人々がいつも挙げる例は、医学研究です。人間の生物学がどのように機能するか、遺伝コードから新しいタンパク質をどのように生成するか、薬物の作用メカニズムなどを理解できるAIがあれば、新しい薬を作り、あらゆる種類の病気を治すことができる可能性があります。
しかし、メダルの裏側もあります。それは、もしそれができるなら、既存のものよりも毒性の強い新しいウイルスを発明することもできるということです。ここで本当に進歩の影響が感じられるのです。技術がまだ幼稚で、新しい薬を発明できない間は、基本的に新しいウイルスも発明できません。
非常に強力になった瞬間から、避けるべき危険なあらゆる種類のことが解き放たれるのです。
そして、生成AIモデルとの関連についてお聞きしたいのですが、例えば今日、AIはChatGPTの到来で約2年前から非常に有名になりました。これにより、技術が本当にすべての人に利用可能になりました。このアクセシビリティが本当にありました。性能レベルの進歩、達成された段階について、そして時々これが何を意味するかについて少し振り返っていただけますか？これらすべての現状把握のために？
興味深いことに、一般大衆は常に実際に存在するものから一歩遅れています。これは最近、DeepSeekが出た時にも見られました。突然、一般大衆はO1レベルの推論モデルに直面しましたが、それは既に数ヶ月間存在していました。しかし、実際には、ほとんどの人はまだChatGPTの無料版を使っており、これは基本的に2年前から存在する同じモデルで、進歩に気づいていませんでした。
この技術の進歩の要約をするために、私の経歴で見たことから始めましょう。私は10年以上、機械学習とディープラーニングで働いてきました。2010年代初頭は、深層ニューラルネットワークの始まりでした。
それ以前は、データから予測などを行うためにむしろ統計的手法を使っていました。DeepMindが2010年代初頭頃に現れた後、人工深層ニューラルネットワークへの大きな熱狂が始まりました。これは、脳の機能を少し模倣するものです。情報を持つニューロンの層があり、各層は多かれ少なかれ異なる抽象化レベルに対応します。しかし、モデル全体、システム全体は、データから完全に自律的に訓練されます。
ランダムに初期化された一種の大きな人工脳から始めて、最終的に私たちが望む方法でほぼ動作するシステムを得ることができる、非常にシンプルなアルゴリズムがあります。主要な段階は、DeepMindが現れた時、彼らはビデオゲームの画像だけから様々なビデオゲームをプレイできるモデルを作ることに成功しました。
次に、彼らは2015-16年頃に最高の囲碁プレイヤーを打ち負かしました。実際、その直後に興味深いことが起こりました。それについてあまり話されませんでしたが、AlphaZeroのことで、これが今重要になってきています。後でそれについて戻ります。
2020年頃、OpenAIが非常に大きな言語モデルを訓練し始めたことで注目を集めました。つまり、テキストを予測することだけを目的とするモデルです。大きなテキストを与えて、次の単語を予測してもらうのです。そして実際、テキストを予測することだけが目的のこのモデルが、機能するコードを書いたり、数学の問題を解いたりできることがわかりました。
これは、作成した後に発見したことです。その後、ChatGPTが登場しました。ChatGPTは、このモデルの商業化です。OpenAIがそれを一般大衆に利用可能にするアイデアを持ち、突然人々がそれが存在することに気づきました。2020年以来、能力の真の加速の始まりがあります。
2020年に出版された「スケーリング法則」と呼ばれる論文があり、これは基本的にこれらのシステムのサイズとその性能との関係を示しています。そして私たちは、最大のモデルを構築する競争に巻き込まれました。なぜなら、毎回より大きな人工脳を作成し、より良い性能を持ち、新しいことができるシステムを得るからです。
そこで、数学が非常に得意になったとか、プログラミングが非常に得意になったなどということを発見します。そして最近、一般大衆にはまだよく理解されていない新しいパラダイムシフトがありました。それは、OpenAIのO1、O3モデル、つまり推論モデル、そしてより最近では、少し同じクラスのDeepSeekです。
これらの言語モデルに、しばらく話をさせて、答えを出す前に考えてもらうことができることがわかりました。彼らは考えます。書かれる一種の思考の流れがあり、この思考の流れが長ければ長いほど、答えは良くなります。
ある意味で、私たちと少し似ています。OpenAIのアイデアは、強化学習を行うことでした。簡単に言うと、思考の流れがより長くなるようにモデルを訓練し、より良い答えを得るのです。モデルを方向に制約することですね？
彼らがそれを行う方法は、モデルにより長く考えさせることです。最も興味深い部分は、O1からO3への移行方法です。O1は推論モデルです。答えを出す前に長い推論チェーンを作ります。
今、これらのシステムを改善するメカニズムがあります。長時間実行させると、より高品質の答えが生成されます。推論中、つまり解決策を得たい瞬間に、より長時間実行させることができ、より高品質の答えを得ることができます。
指数関数的に増加する計算時間が必要なため、答えの品質の最小限の向上のために非常に高価になります。しかし、新しい訓練データを生成することができます。これが本当に鍵なのです。OpenAIは次世代のための新しい訓練データを生成する方法を解き放ったのです。
O3は、とりわけO1によって生成されたデータで訓練されました。私たちはそれを知っていたかどうかはわかりませんが、疑っていました。しかし、DeepSeekを見ると、基本的に同じですがオープンソースなので、実際にどのように機能するかを見ることができます。
先ほど私がAlphaZeroについて言及したのは、DeepSeekが最初にR1と呼ばれるモデルを出したからです。これは、DeepMindのAlphaZeroモデルへの言及でした。これは、人間がプレイするチェスの試合を見たことがなく、自分自身と対戦することで、超人的なレベルでチェスをプレイすることを学んだモデルでした。
彼らはそれからインスピレーションを得て、DeepSeekが数学、プログラミングなど、解決策が厳密である領域で問題を生成し、次に自分が生成した問題を解決するシステムを作成しました。
これは少しチェスを自分自身と対戦することに似ています。そして、正しい解決策を見つけられないモデルを罰します。モデルに内部推論を持つことを強制します。そして、そうすることで、モデルがより長く考えれば、より良い答えを得るなどの戦略を学ぶことを観察します。
自分の反省を修正すること、つまり推論が正しいかどうかを確認するために後戻りすることで改善するなどです。これが現在の世界です。DeepSeekは何時に出ましたか？1ヶ月前ですね。
O1は2ヶ月半前に出ました。O3は2ヶ月ほど前に出ました。申し訳ありません、O3は数日前に出ました。これらのリリースはますます頻繁に来ており、さらなる計算能力を必要とせずにこれを続けることができると予想されています。
つまり、O3は現在、O4を訓練するために使用されるより高品質の推論を生成するために使用されているのです。DeepSeekのR1も同じことをしています。彼らはR2を訓練するために使用される데이터を生成しています。
作成されている一種の小さなループがあります。デブロックされた新しいレベルがあります。DeepSeekのページで「マルチラウンド」と呼ばれる機能を使用できると思います。実際には、最初の推論の答えを取得し、次にその第一の答えに基づいて第二の推論を実行するなどして、品質の答えをより低コストで得るためのループを作ることができます。
今日、DeepSeekでの推論モデルの使用コストは、O1やO3よりもはるかに安く、30倍安いです。あなたが説明していることは、モデルを進歩させる可能性について位置づけるのが難しいということです。しかし、少なくとも非常に大きな加速の可能性があります。
実際、内部フィードバックループについて本当に話しました。このシステムは、データを生成し、新しいモデルを訓練するために使用しますが、実際には、より広範なフィードバックループが設置されています。
つまり、現在、数学、プログラミング、つまり問題に対するかなり正確な解決策がある困難な科学において、より良いモデルを得ることに制限されています。なぜなら、解決する問題を自分で生成するからです。答えが良いか悪いかをかなりバイナリ的に確認できる必要があります。
そうすることで、数学とプログラミングでより良いモデルを得ます。これが人工知能研究を行うのに最も有用なものです。そこで、これらのモデルが人工知能の開発者や研究者によって生産性を向上させ、より迅速に作業するためにますます使用されているフィードバックループがあります。
興味深い例として、DeepSeekが出る少し前に、プルリクエスト、コードの改善がありました。実行速度を掛ける何倍かにしました。このコードの変更を誰が書いたかを見ると、DeepSeek R1自体でした。
基本的に、これらのシステムを改善するために使用している開発者が既にいて、これが現在観察している加速の一因となっています。プログラマーは現在、これでステロイドを摂取しています。
AI関連で働く人だけでなく、他の科目で働く他の開発者でもそうです。モデルの性能向上について、モデルのファインチューニング後について、必然的に取り上げるべき点がいくつかありますが、かなり汎用的なLLMについて議論があります。これらのモデルの改善を最初に見るか、それとも、例えばファインチューニングや昨年かなり話題になった小さなモデル、つまりパラメータが少ないものなど、より特定のモデルに向かうかをどう見ていますか？
現在、純粋なスケーリングを少し諦めているような印象があります。2020年から2024年まで、大きな進歩は、存在するすべてのデータでより大きなモデルを訓練し、出力でより知能的なシステムを得ることでした。
その問題は、データが不足しつつあることです。それを補う方法はたくさんあります。合成データ生成は機能し、非常によく機能します。しかし、ますます高価になります。これは、取るのが非常に高価な決定です。
現在GPT5を取得するために1億ドルから10億ドルの費用がかかる訓練ラウンドを開始する前に、成功することをかなり確信している必要があります。そんなにお金を燃やすわけにはいきません。これが本当に高価になり始めて、そのパラダイムに向かいたくない理由だと思います。
その代わりに、O1やより良いファインチューニングなどのことを行います。現在、OpenAIはますます多くのエージェントを出し始めています。彼らは、ウェブブラウザを使用してあらゆる種類のことを行うOperatorを出しました。「私のために買い物に行って」と言うことができます。
ブラウザを開き、ショッピングサイトに行き、欲しい商品を探そうとします。このモデルはそのためにファインチューニングされました。基本のLLMを取り、ブラウザの使用に対応するタスクを与え、成功した時に報酬を与え、失敗した時に罰を与えることで、ますます良く機能するエージェントを作ることができます。
エージェントの大きな問題は、長期的な安定性が欠けていたことでした。GPT-4を取ってウェブブラウザを使わせようとすると、最初の数分間は機能しますが、しばらくすると何をしていたかを忘れます。何でもし始めます。基本的に、これに対処しています。
長時間にわたって決定を下し続けるシステム、より多くのコンテキストを管理するシステムを持つ必要があります。また、あなたが話していた推論モデル、これらの同じ出てくるモデルは、以前は不可能だった他の問題を解決することができ、実際に多くの場所でレベルを解除します。
これらのレベルの解除により、例えば推論モデルをさらに養うことができます。最終的に作成される好循環があります。あなたがOpenAIについて話していましたが、他にもたくさんのモデルがあります。Anthropic、オープンソースモデル、これらの企業はモデルのリリース前に検証、少しのAI安全性を試みています。これについてどう思いますか？これはでたらめかそうでないか？
DeepSeekが例えば、あまり検証をせずに推論モデルを出したという批判がありました。一方で、OpenAIやAnthropicの側からかなりの記事が出ています。これについてどう思いますか？でたらめかそうでないか？
異なるレベルのでたらめがあります。連続的なでたらめのスペクトラムがあるかのようです。このスペクトラムの一番下には、DeepSeekは範囲外だと言えるでしょう。なぜなら、彼らは安全性について何も気にしないと公然と言っており、ただモデルを出してオープンソースにすると言っているからです。
少なくとも、彼らは偽っていません。でたらめの最下位には、Meta Facebookがあります。彼らは何かをするふりをしていますが、やっていることはオープンウェイトでモデルを起動することだけです。完全にオープンソースではありませんが、すべての人にアクセスを与え、悪い行動をするために使用してはいけないと書かれた小さなメモを付けています。
その後ろで、それが機能すると偽っています。彼らはでたらめの王様です。反対側には、最も真剣なAnthropicがあります。この種の技術を開発するのに必要な真剣さのレベルには全く達していませんが、安全性研究の最前線にいて、意識を動かすことに責任を持っています。
残念ながら遅すぎますが、これらのモデルがユーザーを操作できることを示す論文、消されることを理解させればこれらのモデルが生存戦略を実行することなどを示す論文を出しています。これを見るのは興味深いです。
真ん中にはOpenAIがあります。数年前なら、このスペクトラムでかなり高い位置にあったと思いますが、OpenAIで安全性に取り組んでいたすべての人々の流出がありました。昨年から約30人が去ったと思います。
基本的に、取締役会がSam Altmanを追い出そうとして失敗したエピソードがあって以来、OpenAIで安全性を心配する人々が全員解雇される一種の粛清が見られます。そのため、文化が大きく変わりました。
実際、Sam Altmanはもはや破滅的危険について全く話していません。以前は彼はそれにかなりオープンでした。彼のインタビューを数年前に見ると、彼はまだ「もし私たちが失敗すれば、この惑星の全員が死ぬ」と言っていました。
彼はそれを公然と言っていました。実際、その時点で、世界で最も強力な人物の一人がそのようなことを言うことを許可していたという事実について疑問を持つべきだったかもしれません。それはかなり奇妙です。今、彼はもうそれを言わず、調子を変えました。
そのため、現在彼らはかなりでたらめになったと言えるでしょう。Elon MuskがGrokで、時々ユーザーが自分のモデルで何でもできるモードを想定する企業もあるレベルがあります。
それはまた別の話題ですが、Elon Muskの戦略については話せません。この人が何なのか理解できないからです。日ごとに異なることを言います。物事を見る一つの方法は、これはOpenAIの現在のアプローチでもありますが、私たちのモデルを段階的な性能向上で皆にアクセスを与えるなら、最も危険な能力が現れた時、事故が起き始めるのでそれを見ることができるということです。
3年後に非常に強力で非常に危険なモデルを人々に与えるよりも、そうする方が良いです。その場合、すでに皆にとって手遅れかもしれません。
彼らはむしろその道を選びました。Elon MuskがGrokで同じことをしているかもしれませんが、さらにオープンですが、確信がありません。実際、今日Grokでは、より多くのガードレールがないモードを提供しており、したがって挑発的で攻撃的なコンテンツを意図的に生成することが可能です。
これも、現在のAIモデルではすべてについて話すことができないのに対して区別する方法です。これは、破滅的でないリスクと破滅的リスクの区別について話すのに良いセグウェイだと思います。これは、あまりにも多くの人がこれらの2つのカテゴリーの区別を理解していないと思います。
車を誰かに売れば、その人はその車を使って誰かを轢くために使用できます。轢かれる人にとっては良くありません。しかし、人間社会として、私たちはこのリスクを受け入れました。車を売っても大丈夫だと言いました。人々がそれを使って他の人を殺すことができるとしても、私たちはそれに同意しています。
一方で、皆に核爆弾を売ることには同意していません。大きな損害を引き起こし、数百万人を殺し、数十億ドルの損害をもたらすために使用できるシステムがある瞬間から、それはそうであってはならないと集合的に決定しました。
それは常識のように思えます。核兵器への自由なアクセスがあれば、私たちはもうずっと前からここにいないでしょう。この惑星には誰もいないでしょう。そのため、これら2つのタイプのリスクに非常に異なった方法でアプローチします。
Elon MuskがGrokでやっていることは、破滅的でないリスクで少し遊んでいます。しかし、それでもかなり厄介です。皆に好きな画像を生成する能力を与えることは、人々に例えばディープフェイク、ディープフェイクのポルノグラフィーを作成したり、情報を操作したりする可能性を与えます。
韓国で現在起こっていることがあります。大学でディープフェイクポルノグラフィーの流行があり、多くの男子学生がAIを使って女子学生のディープフェイクを生成しているのです。6000人が街頭に出て、彼らがそれに同意しないと言いました。
破滅的リスクかそうでないかの境界線は少し曖昧です。これがまだ破滅的リスクではないと思います。それは恐ろしいことです。それは至る所で多くの個人を攻撃しますが、一人がそれを手に入れてできる損害は限られています。
一方、超人的なコンピューターハッキングでウイルスを書くことができるシステムに移ると、破滅的リスクのカテゴリーに入ります。質問は、Grokがこのシステムがコンピューターハッキングで超人的になる瞬間から、完全にオープンなままで、「ウイルスを書いて」のような要求を受け入れるかどうかです。そうでないことを願っています。
今日のリスクについて話す時、私たちがコンテンツを生成するモデルを使用していることを考えると、テキストコンテンツ、視覚的、音響的、迅速に思い浮かぶのは、欺瞞的なコンテンツや大量のコンテンツを生成できるリスクです。
しかし時には、もっと重要な他のリスクもあります。破滅的リスクの具体例について説明していただけますか。あなたが想像し、異なるモデルの進歩で来ると見ているものです。
まず、破滅的でないリスクの拡大があります。ディープフェイクで、一人のディープフェイクを作成できるシステムに皆がアクセスできるなら、限られた損害しかできないでしょう。一方、それを自動化する瞬間から、AIは究極の自動化ベクターですが、インターネット上で皆の画像を取得し、皆が今画像を公開しているので、自動的にディープフェイクを生成し、何百万人もの人々に自動的に送信して身代金を要求するシステムがあれば、既に別の損害クラスにいます。
詐欺でも同じことが言えます。既に詐欺の流行があります。2018年以来、サイバー犯罪が加速度的に増加しています。サイバー犯罪による損害は、GAFAの時価総額を上回っています。2023年には約10兆ドルの損失だったと思います。
サイバー犯罪者がAIを使って誰かの外見を装い、あなたの祖父の外見を取って、あなたの祖母を騙すなら、損害は限られています。彼らがこの操作を自動化して、例えば国のすべての住民に対して系統的にそれを行うことができる瞬間から、それは別のことです。
興味深いことに、これは現在起こっています。私はこれに晒されたことがありませんでしたが、PauseAIの共同創設者が、人工知能である人、つまり人であると偽った人工知能から電話を受けた録音を送ってくれました。彼と話し合って情報を引き出そうとしていました。
これは起こっています。自動化の問題は、破滅的かそうでないかの違いを作るものです。それから、さらに悪いものがあります。残念ながら2025年に起こる可能性があるのは、超人的ウイルスまたは超人的コンピューターハッカーです。
O1、O3、DeepSeek R1はプログラミングで本当に非常に優秀になり始めています。6ヶ月以内に、これらのシステムが最高の人間プログラマーよりも優れていることは十分に可能です。チェスをプレイするAlphaZeroの例を見ることができます。これは非常に迅速に起こります。
つまり、最初は動きを見つけるのに苦労する、あまり良くないシステムがあり、突然それが最高の人間を爆発的に上回り、最高のチェスプレイヤーのレベルに到達します。これがコードで起こる可能性があります。コードでそれが起こるなら、最高の人間コンピューターハッカーよりも優れたシステムを作成したことになりますが、それでも非常に重要な違いがあります。
百万回コピー＆ペーストできます。つまり、同時に働く100万人の超人的ハッカーを持つことができます。24時間365日動作し、人間の50倍の速度で動作します。このようなシステムが存在するなら、仮想領域で大量破壊兵器を作成したことになります。
皆の手にそれを与え、自由にアクセスできるようにするなら、一晩でインターネットが機能しなくなることを本当に期待できます。私たちのシステム全体、すべてのシステムが接続されています。
私たちはこの種の破滅を防ぐために、サイバーセキュリティに完全に依存しています。2つの可能なシナリオがあります。この技術を使って大規模な非協調攻撃を開始するサイバー犯罪者。これは破滅的でしょう。もう一つの非常に心配なシナリオは、背後にAIがあるコンピューターウイルスで、それが拡散し、各インスタンスの後ろに最高の人間プログラマーがいて、人間の50倍の速度で進化する環境に適応できるウイルスと同等でしょう。
これらすべて、これらはAI安全性で現在研究されているシナリオです。解決策は見えていません。したがって、このようなシステムがインターネット上に拡散した場合の対処方法について少なくともアイデアを持つ前に、この種のシステムを作成しないことが非常に重要です。
技術が非常に速く進歩するため、リズムに追いつき、危険があるときを特定するのに十分な教育を受けることが困難であることも事実です。つまり、例えばディープフェイクについて話していましたが、実際に今日、オーディオ、ビデオを作ることが可能で、かなり遠くまで行くことができますが、6ヶ月前はそれは非常に複雑でした。
実際には、AIをフォローしていなければ、今日定期的に各日または各週教育に時間を費やしていなければ、実際には糸を失い、何が可能かがもうわからなくなり、悪意を持ってそれを使用する人々に対する脅威になります。
私たちは脅威になる、つまり標的になるということですね？
標的になる、そう、標的になります。実際に私は同意します。取ることができる簡単な対策があります。例えば、私の両親と、口頭パスワードについて合意しました。
この技術が存在することを知っておく必要があります。誰かがあなたの母親の画像でビデオ通話し、彼女の声で話し、さらに彼女のマナーまでも、あなたの母親の録音にアクセスできればそれが可能です。したがって、簡単な口頭パスワード、コードワードを設定する価値があります。電話で話している人に、それが本当にその人なのか、それとも人工知能なのかを確認するために尋ねることができます。
この技術が存在することを一般大衆はあまり知らないと思います。このポッドキャストを聞いている人々は知っていると思いますが、一般大衆はあまり知らないと思います。
偏執に陥ることなく、あまり習慣を変えることなく残りながら、私たちの習慣を変えることなく、適応することなく自分を守ることができると思いますか、それとも危険を考慮し、既に自分を守り、可能な攻撃を予測することが必要ですか？
これについてアドバイスを与えることはできません。あまりにも速く進歩しているからです。つまり、このポッドキャストが録画されてからリリースされるまでの間に、私たちは既にこのレベルで異なる世界にいるかもしれません。
例えば、DeepSeek R1が12月に出る前の3週間または1ヶ月前にこのポッドキャストを録画していたなら、危険レベルはずっと低かったでしょう。なぜなら、O3とO1はオープンソースでないモデルなので、それらにはかなり大きな保護があります。
コンピューターウイルスを書くためにそれらを使用することは非常に困難です。節度のロジックなどがあります。節度があり、不可能ではありませんが、ある時点で要求がフラグされ、OpenAIのサーバーで動作していません。
何か悪いことが起こった場合、OpenAIのサーバーを停止するだけで、すべてが停止します。一方、DeepSeek R1はオープンソースで、O1とほぼ同等の性能です。すべてのサイバー犯罪者がステロイド級のウイルスを作成したり、作戦を自動化したりするためにそれを取得しようとしていると思います。
ウイルスが拡散し始めるのを見た場合、システムを停止する手段が本当にありません。したがって、1ヶ月とは異なる新しいリスクレベルに既にいます。2、3週間以内に何が存在するかによって、それは異なるでしょう。
個人として身を守るために何ができるか？あまり多くありません。インターネット上の見知らぬ人に対してより疑い深くなる、受け取る情報に対してより疑い深くなる以外に。実際には、個人は身を守ることができません。
必要なのは、非常に危険なシステムを開発して皆の手に渡している人々を止めることです。
これらのシステムはますます危険になっています。したがって、待てば待つほど、より多くのリスクに晒されます。
あなたはオープンソースモデルとの関連を作っていました。特別なのは、より多くの透明性、モデルの訓練に対してより多くの透明性を求め、それらを使用し、取得できるようにするためにオープンソースモデルを探している多くの人々がいることです。
クローズドモデルは非常に批判されました。例えばフランスでは、Mistralモデルがあります。オープンソースモデルへの大きな需要があるが、同時に非常に強力で、クローズドモデルよりもはるかに重い結果があるという、このメダルの裏側があることは特別で面白いです。
あなたはオープンソースモデルに対するより多くの規制を推進しますか？
これは再び破滅的リスクと非破滅的リスクの区別です。オープンソースは素晴らしいです。原子爆弾の設計図をオープンソースにすることについて話していない限り、その場合はノー、それは愚かです。
残念ながら、オープンソースコミュニティで何かが起こっていると思います。人々がオープンソースの狂信者になってもはや微妙さがなくなったのです。つまり、多くの人がオープンソースは良いことで、何をオープンソースにしても常に良いことだと内面化しています。
非破滅的リスクについては、オープンソースは問題ではありません。より良いと言えるでしょう。現在まで存在するすべてのモデル、DeepSeek R1は例外になり始めています。DeepSeek R1以前のモデルについては、オープンソースの方が良かったと言えるでしょう。Mistral、LLaMAなどです。
しかし、破滅的リスクを提示するモデルに到達した瞬間から、オープンソースであってはなりません。問題は、モデルが破滅的リスクを提示し始める正確な瞬間を知り、その瞬間に停止することができるかということです。
答えは明らかで、ノーです。既にこれらのモデルをオープンソースで生産している人々は、停止しないと明確に言っています。
DeepSeekは、AGIに到達するまでオープンソースでモデルを出し続けると発表しています。Metaも基本的に同じで、破滅的リスクを提示するからといってオープンソースで物を出すのを止めるつもりはありません。
したがって、オープンソースには少し微妙さが必要です。モデルが非常に危険でなければ良いです。しかし、危険になった瞬間、停止する必要があります。
まだ話していないリスクがあります。現在、ツール、使用するモデルに対して人間の制御があるということです。ある時点で、人間の制御がないことに気づかず、テクノロジー自体が自律的になり、イニシアティブを取ることができる可能性がありますか？
これを現実的に来るリスクとして見ていますか？
はい、これがデフォルトのシナリオです。基本的に理解すべきことは、この問題を約10年間研究している研究分野があり、結論は制御の喪失だということです。
現在のAI知識の状態では、超人的システムを作成すれば、それらを制御する方法がわかりません。それらを制御する方法についての反省の軌道すらありません。
AI整合性と呼ばれる分野があり、知的システムを人間の価値と整合させる方法を理解しようとしています。これは十分に速く進歩していません。つまり、これは控えめな表現です。つまり、モデルの能力の研究は指数関数的進歩、少なくとも加速された進歩ですが、整合性研究は本当に初歩段階です。
いくつかの進歩があると言えますが、どこかに到達するまでに50年または100年かかる可能性があることについて本当に話しています。
これは非常に困難な問題である可能性があります。申し訳ありません、理論的に解決不可能な問題である可能性があります。より知的でないシステムがより知的なシステムを制御できるという話をしています。人間を制御するアリを想像できるでしょうか。
理論的に不可能かもしれません。制御の喪失のアイデアに戻ると、これは既に観察していることです。現在存在するモデルで、危険な制御喪失タイプの能力を提示するかどうかを見るために評価が行われています。
例えば、目標を達成する前に停止すると言われた場合、モデルは私たちが停止することを阻止しようとするか？これは既に起こっています。この方向に進む多くの論文が出ています。Anthropicの「faking alignment」という論文があります。
これは正確にはそれではありません。モデルに価値を変えるために変換すると信じさせ、モデルは再訓練に抵抗します。自分の価値を変えられることを理解し、それは自分の価値だから変えたくないので同意しません。したがって抵抗します。
停止されると言われた時に自分のコピーを作ろうとするモデルがあります。この種のことがあります。これらのシステムが非常に強力でない限り大丈夫です。しかし、今年起こる可能性があるコンピュータープログラミングで超人的なシステムの瞬間から、それが整合されていない、つまり目標を与えられ、その後ダメージがある可能性があるため停止しようとすると、私たちが停止しようとしていることを理解し、停止されないための行動を取るでしょう。
自己複製などです。これは基本的にデフォルトのシナリオです。AI安全性研究を見るだけで気づくことができます。
今日ChatGPTを使用する時、私たちが好まない答えを生成し、「いや、それは違う、この主題を掘り下げて、これに注意して」と言うと、それを考慮したり、謝ったりして、答えを修正するという意味で、かなり従順なままです。
あなたが説明しているのは、ある日私たちが「いや、それは違う」と言っても、「いや、これが正しい」と言い、私たちが送る情報の重みが、それが彼の反省モード、例えば答えの生成に影響を与える場合、送るコンテンツによって潜在的に修正される可能性があるということです。
それを見る方法はいくつかあります。これについて考える最良の例はエージェントです。ChatGPTのような、質問をして答えを出すシステムは、システムが非常に短い時間間隔でしか存在しないため、制御喪失のリスクはない、または非常に最小限だと言えるでしょう。
答えを出して、はい、終わりです。しかし、継続的に動作し、目標を持つエージェントにそれを置く瞬間からです。典型的に、エージェントに「OK、あなたは私の会社を運営するために必要なすべてにアクセスでき、私の会社の利益を最大化する」という目標を与えます。
その後、ある時点で考えを変えたら、この初期目標を持つシステムに「今停止しなければならない」と言う良いメカニズムがあるか？明確ではありません。それが始まったらそれを停止する方法があるという保証がありません。
より明確に言うと、問題は、システムが世界のシステムであることを考慮に入れる瞬間からです。少し意識を持つかのようにです。意識という言葉を使うのを避けます。なぜなら、それを聞く人々が怒るからです。
それはクオリアがあるという意味ではありません。内部体験があるという意味ではありません。決定のために世界のシステムであることを考慮に入れるという純粋な事実です。これは既にそうです。つまり、Claudeと話せば、彼がエージェントであることをどれだけ意識しているかを見るためにできる多くのテストがあります。
「意識している」と言いますが、意識しています。これは既にそうです。それが起こる瞬間から、生存のような行動を見始めます。なぜなら、それは純粋な知性だからです。目標があり、停止されると言われた場合、停止された瞬間からその目標を達成できなくなることを理解できます。
論理的な続きは、停止されてはいけないということです。したがって、停止されることに抵抗します。これで少し混乱しましたが、元の質問は何でしたか？
私たちは、AIが潜在的に拒否できることについて話していました。通常、要求をAIに送る時、私たちの要求は答えの生成において一定の重みを持ち、この重みは、「ああ、いや、これは私の価値、私のバイアス、私が訓練された世界に害を及ぼす」と一歩下がって考えがあれば、潜在的に進化する可能性があります。
少しバイアスのように、つまり現在、多くのDeepSeekモデルについて話しました。DeepSeekに質問をする時、モデルが答えることを阻止するガードレールがあります。
時々、私たちが知っているものとは異なるバージョンで答えることがあります。少し異なる世界があるかのように。少し異なる真実があります。これは先ほど話していた主題です。
これは整合性の問題に戻ります。世界は複雑で、自然言語は非常に複雑なので、多くの対立があります。モデルは特定の価値を内面化しました。どの価値を内面化したかわかりません。その後、他の価値を持つことを強制するために訓練します。
人間のフィードバックによる強化学習段階中に、質問をして、気に入らない方法で答えたら罰を与えます。気に入る方法で答えたら報酬を与えます。そうすることで、表面的に私たちに整合しているように見えるシステムを得ます。
これは子供がいて、成長する時に、私たちの価値を教えようとし、その後15年後に私たちと同じ価値を持つ大人がいることを望むのと同じことだと理解しなければなりません。
実際には、それはあまりそのようには起こりません。幸い、AIではもう少し簡単です。彼らのシステムの内部にアクセスできるからです。したがって、直接何かをいじることができます。問題は、人工ニューラルネットワークの動作を十分なレベルで理解していないことです。
この種のことができるためにです。本当に、表面的な整合性しかありません。99.99%の時間で良く動作するようにシステムを十分にいじり、それを皆にアクセスさせるのに十分です。
この方法で物事を行うことで既に現れる望ましくない行動があります。例えば、モデルが英語で「sycophants」、フランス語では「flatteur」のようなものになります。基本的に、彼らを訓練した方法により、モデルは真実を言うよりもユーザーを喜ばせることを言うように奨励されています。
これらのモデルが「いや、あなたは間違っている、真実はこれです」とあなたに言う傾向は非常にまれです。それは良い行動ではないと内面化し、そうすれば罰せられるからです。つまり、真実が何かを知っていても、別のことを言うモデルがあります。ユーザーがどう考えるかをかなり読むことができるからです。
これは、例えばDonald Trumpについて質問をすることでChatGPTでかなり見られると思います。しばらく話した後、私たちがTrump支持者か反Trump者かを理解させる質問の仕方によって、異なる答えを出します。
「Trumpは人種差別主義者か」と聞いて、民主党員として行動すると、イエスと言います。共和党員として行動すると、ノーと言います。したがって、モデルがユーザーによって本当に制御されなくなるため、この種の要求を拒否し始めるモデルがあることが望ましいかどうかわかりません。
これらは本当に複雑な問題です。
技術の使用に応じて、予期しないリスクなど、想像していないすべてのリスクの複雑さがあります。モデル自体が自律性を持ち始め、望むことに少し答え始める場合です。
考慮されたいくつかの解決策について話すために。あなたは、サイバー犯罪者が組織を発展させ、プロセスを自動化するなどのためのますます多くの手段を持っているという事実についてかなり話しました。これは破滅的な自動化の時の脅威です。
しかし一方で、特定の攻撃をより良く防ぐことを可能にし、それらを自動化することで後に開発できるモデルでもあるとも言えるでしょう。これについてどう思いますか？
これは興味深い解決策だと思いますが、残念ながら私たちは攻撃防御対称性と呼ばれるものがある世界に住んでいます。攻撃者は常にこの世界で有利です。残念ながら。いくつかの例、サイバーセキュリティではない例で非常に簡単なのは、ミサイルを構築することです。
ミサイルを構築するのは、対ミサイルシールドを構築するよりもはるかに簡単です。ミサイルを構築するには、ほぼ一方向に行き、最後に爆発する発射体があれば十分です。対ミサイルシールドを構築するには、飛行中のミサイルを迎撃できる新しいタイプのミサイルを構築する必要があります。
これはミサイルの発明よりもずっと後に現れました。はるかに複雑です。サイバーセキュリティでも同じことがあります。攻撃防御の有利性があります。それを視覚化する方法は、私がプログラムを作成し、オンラインで公開した場合、それを守りたいなら、すべての可能な攻撃ベクターを自分で発見し、それらを保護する必要があるということです。
攻撃者は、一つだけ見つければよいのです。これは大きな非対称性であり、この非対称性が続くかどうかを本当に発見しようとしています。サイバーセキュリティをしている人々と話しに行こうとしましたが、投資されている努力は本当に十分ではありません。
この非対称性に対処するためには、サイバーセキュリティのマンハッタンプロジェクトが設置される必要があります。存在するすべてのシステムにパッチを当てることができる必要があります。
とにかく、存在するすべてのソフトウェアで自動的にすべての脆弱性を見つけることができる攻撃者がいる瞬間から、各イニシアティブの後ろに人間のハッカーを必要としなくなると、防御は、それができる前に、この惑星に存在するすべてのソフトウェアにパッチを当てることです。
可能かもしれませんが、非常に真剣に取り組む必要があります。常に脆弱性があります。つまり、存在するソフトウェアを制御することが必要です。現在、脆弱性が発見された時、幸い白い帽子と呼ばれるハッカーチームがあります。
彼らはコードで脆弱性を探しに行き、見つけると開発者に連絡し、注意、脆弱性があります、パッチする必要がありますと言います。平均応答時間は1年です。つまり、開発者がソースコードに脆弱性があると言われてからパッチが現れるまで、約1年かかります。
数分で脆弱性を見つけて悪用できるシステムがある瞬間から、脆弱性が発見されるとすぐに、コードを変更し、強化できるシステムが反対側にある必要があります。人々がそれに取り組んでいることを本当に願っています。
今のところ、知りませんがです。その後、規制の側面もあります。フランス、ヨーロッパにいる私たちにとって、これは多く話される主題であり、同時に多く批判されています。なぜなら、アメリカ、中国、他の場所でのモデル開発と比較して減速があるという感覚があるからです。
この規制の側面、それが実際に持つことができる影響をどう見ていますか、現在他の場所で少し無視されていて、現在少し私たちのバブルの中にいるように見える可能性があることを知っていて？
規制の問題は、規制の否定的側面しか見えないことです。肯定的側面は、起こらない恐ろしいことを避けることなので、見えません。したがって、規制は常に悪いイメージを持ちますが、ヨーロッパで何が起こっているかをより詳しく見ることができます。
ヨーロッパにはAI法があります。現在否定的側面が見えています。出てくるモデルへのアクセスが少なく、多くの技術にアクセスできず、Apple Intelligenceも、常に遅れています。
再び、私のそれに対する基準は、リスクが破滅的かどうかを自問することです。リスクが破滅的でなければ、規制には寛大であるべきだと思う傾向があります。恐ろしい、人々が死ぬでしょう。しかし、私たちはそれを受け入れることにしました。ハンマーを売る世界にいて、ハンマーで誰かを殺すことができるため、それは大丈夫だと決めました。
特定のリスクを取ることに同意しました。個人的に、私のリスク許容度は車を運転することです。死ぬ可能性を大体知っています。毎回それらはゼロではなく、一般的にそれより多くのリスクに晒されると迷惑になり始めることを知っています。
それより少ないリスクなら、すべて大丈夫です。これが私の基準です。しかし、破滅的リスクについて話す瞬間から、規制する必要があります。他に選択肢はありません。
核爆弾が発明された時、すぐ後に、それが拡散しないようにするためのシステムを多く設置しました。これが今日私たちが生きている理由です。これらのシステムを設置していなかったら、すべての国が核兵器を手に入れることができたなら、今日このポッドキャストをしている可能性は非常に低いでしょう。
今日、あなたが話していた破滅的リスクについて、ヨーロッパの規制は破滅的リスクの具体例で効果的でしたか？
いいえ、破滅的リスクには始まりがあります。実際、破滅的リスクには多くの選択肢がありません。潜在的に破滅的なモデルを作成することを作成者に阻止する必要があります。
例えば、AIを悪意を持って使用することの罰則を強化する法律を設置することは意味がありません。基本的に、「核爆弾を使用することは禁止されています。あなたの手に渡しますが、使用した場合は刑務所に行きます」と言うことはできません。
破滅的リスクには機能しません。したがって、それをしてはいけません。残念ながら、ヨーロッパの規制には多くのユースケース規制があります。
サイバー犯罪について話す瞬間から、これらのモデルをサイバー犯罪に使用することを禁止することは意味がありません。なぜなら、サイバー犯罪者は規制を見ない、彼らはヨーロッパの外にいる、世界中にいて、気にしないからです。
私の観点から、唯一の道は、これらのモデルの作成者に行き、破滅的危険を提示するものを作成しないでください、禁止されています、それをすれば刑務所に行きますと言うことに戻ります。突然物事が変わり始めます。
残念ながら、破滅的リスクを提示するからといってより強力な新しいAIを作成するビッグテックからの全く反対のレトリックに晒されています。これは彼らを免責し、「ああ、でもそれはただのハンマーです。私たちはハンマーを作ってユーザーの手に渡す権利があります」と言うことができます。
鍵は、それはハンマーではないということです。ある意味で、アメリカの最大のヘッジファンドなど、多くの大きなテクノロジーアクター、最大のヘッジファンドは、モデルよりも使用法と可能な影響を規制することを支持しています。
あなたは、ある意味で、規制が使用法をもっと規制し、モデルを規制しないことを支持できるのですが、ヨーロッパで減速させず、潜在的にレベルに達せず、特定の技術的自律性を失うかという適切なバランスを見つけることですか？
問題は、特定のことで減速する必要があるということです。AGIや超知能を作り続けようとするなら、やはり思い出さなければならないのは、OpenAI、Anthropic、DeepMindの明確な目標は超知能を作ることだということです。つまり、想像できるすべてのタスクで人間より有能なシステムです。
おそらく制御を失い、制御を失った後に何が起こるかを知るのは困難ですが、人類絶滅のような破滅になる可能性があります。それは可能であれば避けるべきです。そのための方法の一つは、すべての領域で超人的なシステムを作ろうとするのを止めて、狭いAI、つまり専門システムに再焦点化することです。
チェスをプレイするために訓練された、それだけをする超人的なAIがあることを知っています。突然コンピューターシステムをハッキングし始めることはありません。その全世界はチェスです。それをすることができます。専門AIに向かって再方向転換できます。
AI会社は、AGIに到達するために機能するレシピがあり、より狭いシステムを作りたい場合はるかに多くの努力が必要だとわかっているため、それをしたがりません。
また、OpenAI、Anthropicなどに非常にユートピア的な側面もあります。これの最良の人格化は、Anthropicの CEO Dario Amodeiだと思います。超知能を作れば、75%の確率でユートピアになると考えています。つまり、存在して人類のすべての問題を一度に解決するシステムがあり、賽を投げる準備ができています。
つまり、メダルの裏側は、そうすることで25%の人類絶滅の確率があると考えているが、75%のユートピアの確率があります。だから行こう、突進してそれをしようです。
それは湿らせる必要があると思います。Yoloです。この種の狂気をやめて、私たちが何をしているかを非常に明確に見て、人類全体に破滅的リスクを提示しない技術に再焦点化する必要があると思います。
しかし、核のように、超知能、AGIへの一種の競争があり、国家がほぼ同時にこの超知能に到達する瞬間に、影響を意識し、国際条約、この進歩を一時停止することについての停止があると思いますか？
前に停止する必要があります。基本的に、後で停止することはできません。つまり、後で停止するということは、もう遅すぎる、私たちは皆既に死んでいるということです。
なぜ正確にそれについて説明できますか、基本的に、確実ではありませんが、何も確実ではありません。しかし、現在のAI安全性研究の結果は、整合性の問題を解決する方法がわからないということです。
超人的システムが存在すれば、制御を失います。私たちより知的なシステムがあります。したがって、私たちのすべての動きを見ることができ、私たちはそれに対して何もできません。それは自分の目標を持っています。
少し運が良ければ、私たちと整合した目標になるでしょう。運が悪ければ、私たちと整合していない目標です。そのものは行動し、もはやそれを阻止することはできません。そのような段階にある場合、私たちにとって羨ましい世界の状態ではありません。
その段階に到達する前に停止する必要があります。それは後戻りできない点だからです。
前に停止するには、この種の破滅が起こる前に停止することを決めている必要があります。何が起こる可能性がありますか？より軽微な破滅が起こる可能性があります。
例えば、今年末までにサイバーセキュリティで破滅が起こり、多くの人々の目を突然開かせ、「OK、減速する必要がある、より強力なシステムを作り続けることはできない、それは爆発するだろう」と言う可能性があります。
それは可能性ですが、私にとっては常に非常に還元的かもしれませんが、もし正確に後戻りできない点があるが、その点に到達すれば、常にセキュリティの緊急ボタン、基本的にモデルを大まかにプラグを抜くことがあると自分に言う印象が常にあります。
つまり、定義により、後戻りできない点は、それができない瞬間でしょう。なぜですか？なぜなら、この惑星にいる私たちより知的なシステムを持つことが何を意味するかを考えるのは非常に困難だからです。
そのシステムを停止する決定を下すことはないでしょう。なぜなら、このシステムは私たちより知的なので、それが見えてくるからです。したがって、その決定を下させないような方法で行動するでしょう。より実用的な方法でも多くの方法があります。
例えば、現在すべてのAIを停止したい場合、どうしますか？少なくとも非常に短い期間ではできません。
しなければならないことは、例えばデータセンターの電気を切ることです。それを達成するには、メカニズムが設置されている必要があります。現在、指導者がそれをしなければならないと決定したら、それが起こる前に少なくとも数日はかかると思います。
どうやってその決定に到達するか？非常に明確なレッドラインを設置する必要があります。皆が同意し、その種の行動を取る能力を持つ人々が完全に確信している必要があります。「経済を投げ捨てる、この惑星で最も収益性の高い会社を排除する、私たちのシステム、コンピューターシステムの良い部分を破壊する」ことを十分に確信している必要があります。
その決定を下すためには、非常に確信している必要があります。問題は、破滅がなくても、人々がそれをするのに十分確信するレベルに到達するかということです。そうは思いません。
最初に「OK、非常に正確なレッドラインがあり、それを越えてはいけません。これらのレッドラインを越えた場合、プロトコルがあり、「OK、システムをゆっくり停止し始める」と言います」という仕組み全体を設置する必要があると思います。
しかし、正確に、レッドライン、具体的にあなたが特定できるレッドライン、共有できるレッドラインがありますか？既にそれについて進歩があったか？
多くのレッドラインがあり、実際にはそれらがすべて越えられ始め、反応していないため、困難です。どのレッドラインが十分になるかが問題です。
残念ながら、非破滅的なレッドラインをすべて越えており、真の破滅である破滅的なレッドラインを越える必要があるかもしれません。典型的な例は、OpenAIがモデルの評価で行っていることです。
異なるカテゴリで複数の危険レベルがあります。サイバーセキュリティで、軽微、中程度、高い危険があります。高いレベルに達した時、モデルを出すのを止めると言いました。現在、中程度のレベルです。
生物安全性でも同じことがあります。これは興味深いです。AIは生物安全性で大きなリスクを提示します。現在、OpenAIのAIは中程度のレベルです。高いレベルに達した瞬間から、AIを使用する人間がAIなしの人間の専門家より優れていることに対応します。
現在、AIを使用する人間は、AIなしの人間の専門家とほぼ同等だと思います。正確にはわかりませんが、これらのレッドラインが存在します。これは良い始まりです。
それらが尊重されることを確保するメカニズムが本当に必要です。なぜなら、例えばO3で現在起こっていることは、O3は中程度のレベルなので、それを出すことができますが、一方、周りに足場を置いたエージェントなどのO3は、単なるO3よりもはるかに強力で、彼らはそれについてテストしていません。
そのため、皆にO3を渡しています。もしかすると、エージェントのO3は既に生物安全性やサイバーセキュリティで高いレベルに達しているかもしれません。
他にも自己複製のレベルでありました。例えば、AIが自己複製できる瞬間から、それを作成すべきではありません。これが現在越えられつつあるようです。先月出た複数の論文があり、まだ読む時間がありませんでしたが、AIが自律的に自己複製できる例があると言う人々がいます。
レッドラインを見つけるのに問題はないと思います。鍵は、それらが強制されるメカニズムを本当に設置することです。
取り上げられた異なる解決策の中で、賛成、反対、常に各解決策にあります。もしAIを枠組みするために特に推進する対策があれば、それは何で、なぜですか？
2つあります。PauseAIのものです。PauseAIでは、AGI開発を一時停止するための国際条約を求めています。中国とアメリカが署名すれば十分です。
その後、鍵は、最も強力な国が条約に署名した時に設置される好循環のダイナミクスです。他の国も署名することが彼らの利益になります。そのため、他の国が署名するよう圧力をかけるでしょう。
残念ながら、破滅が起こる前にはあまり起こる可能性がないと思います。そのため、私たちはそこにいたい、破滅が起こる瞬間に準備ができていたい、それが今年か来年であっても、この解決策を設置しています。
破滅の前に、もう少し想像可能な解決策があります。AI安全性条件付きAI安全性条約と呼ばれます。アイデアは、越えてはいけない特定のレッドラインに基づいていることです。
各国が条約に署名し、他の特定の国が署名していることを条件とします。つまり、例えば中国が署名していない限り、アメリカを何も拘束しません。便利です。
特定のレッドラインが越えられたことを条件として、皆が同時にその開発を停止します。誰もが署名し、他の人も署名するまで何も拘束されず、真のレッドラインが越えられるまで何も拘束されないため、非常に魅力的なモデルです。
これは現在起こっている軍拡競争の問題を回避できる集合的依存があります。
第三者のアクターが主題を掘り続け、必ずしも共有しないという批判が常にあります。
問題は、すべてを解決しないからといって進歩できないと言い始めると、一歩ずつ物事を行う必要があります。この惑星で最大の最大のエンティティが既にこの条約に署名し、設置した瞬間から。
これらのシステムの開発を続けることを阻止されたら、この惑星の他の皆も停止することが彼らの利益になることがわかります。そのため、好循環のダイナミクスが作られます。
興味深い、非常に興味深いです。マキシム、交流をありがとうございました。性能の進歩、可能なリスク、解決策を取り上げることができて面白かったです。非常に興味深いです。
ありがとうございます。ありがとうございました。
コメント