13,794 文字
新しい技術を発明するたびに、それはまるで壺から玉を引き出すようなものです。その玉は色々な色をしており、色は人類文明に対するその技術の影響をあらわしています。白い玉は人類に純粋に恩恵をもたらす技術です。例えば医療の進歩やクリーンエネルギー源などが考えられます。しかし、全ての技術が必ずしも人類に恩恵をもたらすわけではなく、様々な程度のグレーがあります。
問題は、新しい技術を発明する時、つまり壺から玉を引き出す時、それが白い玉なのか灰色の玉なのかを事前に必ずしも知ることができないということです。もう一つの問題は、一度玉を引き出したら、それを壺に戻すことができないことです。技術が広まり、十分な人々がその仕組みを理解すると、私たちが発見したことを忘れることはもはやできません。
1938年、私たちはかなり暗い玉を引き出しました。毎年人類文明を絶滅の危機にさらす技術です。人類の歴史において、かなり暗い玉をいくつか引き出してきましたが、今まではうまくやってきました。私たちはここにいます。しかし、私たちはできるだけ早く壺から玉を引き続けています。そして、黒い玉が存在する可能性もあります。黒い玉は、それが引き出されると、取り返しのつかない人類の絶滅をもたらすような玉です。
わかりやすいが説明的な例を挙げると、1938年に原子爆弾を発見したとします。ただし、誰でも手に入る材料で作ることができることを発見したとします。私はここでこのプレゼンテーションを見ていることはなかったでしょう。
このプレゼンテーションでは、少なくとも一つの黒い玉が存在し、私たちが今まさにそれを作ろうとしている技術であり、安全対策なしに可能な限り速く作ろうとしていて、人類絶滅に繋がる可能性が高いという考えを提示します。それは汎用人工知能です。
マキシムと申します。私はAI研究者およびエンジニアで、民間セクターで約12年間働き、現在はAIセキュリティの分野で働いています。このプレゼンテーションの短い形式では、AIの進歩と共に私の職業的・知的な旅の回顧を紹介することにしました。それによって、現在の進歩の速さについての私の本能的な直感と、これから来るリスクについての直感をお伝えしたいと思います。
この話は2000年代初頭に始まります。2000年代初頭、私は13歳でした。その年齢の全ての若者のように、私は意識と人間の脳の働きに情熱を持っていました。そのときに人工ニューロンの概念を発見しました。これは1970年代、80年代に発明された概念で、私より遥か前からあるものです。それは人間のニューロンの働きをシミュレートする数学的なオブジェクトですが、非常に単純化されたバージョンです。入力信号を受け取り、それらを組み合わせて出力信号を生成します。
アイデアは、これらのニューロンを組み合わせて、ニューラルネットワークと呼ばれるものを作ることで、自分で学習できるシステムを得ることです。例えば、画像をこのシステムに提示すると、システムは出力を生成します。1は犬を、0は猫を表すかもしれません。システムが間違えると、すべてを自動的に修正する小さなアルゴリズムがあり、少しずつ人間の介入なしにシステムが改善していきます。それはそれに与えるデータから直接学習します。
これは2000年代初頭のことでした。当時、これらのモデルを動かすには、R2D2のような音を立てていましたが、実際に機能させるのに必要な計算能力はなく、主に理論的な段階でした。とても上手くは機能していませんでした。
2011年まで早送りしましょう。このとき、私はケンブリッジで数学の修士号を修了しようとしていました。数学は好きでしたが、私の情熱はむしろ情報科学でした。原始的なAIシステムや仮想アリ塚などを工作していました。前のスライドから約10年が経過していましたが、人工知能はあまり進歩していませんでした。
しかし、この時点で何かが起こります。ディープラーニングと呼ばれるものの始まりです。アイデアは単にネットワークをより大きくすることでした。機能するアーキテクチャ（これらのシステムを組織化する方法）を見つけることができ、より多くの計算能力を持ち始めました。それで機能し始め、私の注目を引きました。
しかし、2011年には、ニューラルネットワークを使って仕事を見つけるのは難しかったです。それは産業界で実装されていませんでした。大学にも行きたくなかったので、ニューラルネットワークではない別のタイプの人工知能、機械学習を使って金融の分野で働き始めました。
2011年から2014年にかけて、それは発展します。これは特定のアーキテクチャ、人間の視覚ネットワークに触発されたアーキテクチャです。ますます人間の脳からインスピレーションを得るようになっていました。
2014年頃、私はアイデアを思いつきました。このタイプのニューラルネットワークは画像検出に非常に効果を発揮し始めていました。実際、人工知能における課題の一つは、囲碁を解決し、最高の人間と同じくらい上手に囲碁をプレイできるAIを作ることでした。そこで、囲碁を解決するニューラルネットワークを作るというアイデアを思いつきました。ですが、驚くべきことに、Google DeepMindが私より先にそれに到達しました。
これは、これらのシステムが本当に一般の注目を集め始めた最初の瞬間の一つだと思います。2015年、ニューラルネットワークベースの人工知能が世界最高の囲碁プレイヤーを破りました。
もう一つ時間を飛ばして、2018年になりました。この時点で、私はオンラインのAIコンペティションに参加していました。ゲームで自動的にプレイするボットを作るもので、最高のボットを持つ人が勝ちます。私はディープラーニングを使用しました（この時点で私はディープラーニングを専門としていました）、そして私のボットはとても良く機能しました。その結果、このコンテストを主催していた会社に雇われました。
ほぼ同時に、Transformersと呼ばれる新しいニューラルネットワークアーキテクチャが発見されました。実際、それはこのようなものです。再び人間の脳からインスピレーションを得ています。アイデアは、人間の注意メカニズムをレプリケートすることです。ニューラルネットワークが異なる時点で異なるオブジェクトに注意を向けるというものです。非常に単純化されていますが、このモデルは人間の言語理解に非常に効果を発揮し始めました。
私が言い忘れたことがあります。DeepMindが囲碁を制覇したとき、人間の囲碁プレイヤーに勝つ機械は決して存在しないと言っていた人々がいました。それが起こると、彼らは「実は囲碁は簡単だったが、機械が人間の言語を理解することは決してないだろう」と言い始めました。この時点で、彼らは「人間の言語をかなり理解することはできるかもしれないが、機械が人間の言語を生成することは決してないだろう」と言い始めました。
2019年に進みましょう。GPT-2がリリースされました。当時はまだあまり知られていなかったOpenAIという会社がGPT-2という言語モデルをリリースし、それはかなり印象的でした。人間が書いたテキストとの区別が難しいテキストを生成しました。
特に、私が絶対に驚異的だと思ったのは、このモデルがリリースされた数週間後、Twitterで誰かが発見したことです。文章の次の単語を予測するだけのトレーニングを受けたこのモデルに、クリックできるボタンを持つウェブサイトを作るよう頼むと、モデルはウェブサイトのソースコードを生成することができ、それが機能したのです。ボタンが表示され、それをクリックすることができました。
この時点で、人工知能分野での聖杯、汎用人工知能（AGI）について考え始めました。この分野の目標、1980年代から研究者が構築しようとしているものは、あらゆる分野で人間よりも有能なシステムです。シェイクスピアよりも本を書くのが上手いシステム、最高の配管工よりも配管修理が上手いシステムなどを想像してください。そのように定義されています。タスクを想像し、このシステムはそれをより上手くできるはずです。
この時点で、私たちはそれに到達するだろうと気づきました。しかも、私が思っていた100年後や200年後ではなく、おそらく20年以内に到達するだろうと。この時点では、2019年に、私は20年後と言っていました。
2020年に進むと、「スケーリング法則」と呼ばれる研究論文が発表されました。当時はそれほど注目されませんでしたが、後に非常に重要になります。このペーパーは、2017年以来、誰もがTransformerモデルを使用していることを説明しています。以前ほどのイノベーションはなく、まだ少しはありますが、同じ規模ではありません。非常に効果的に機能するモデルがあり、このペーパーは、新しいモデルは必要なく、より多くの計算能力、より大きなデータセット、より多くのパラメータさえあれば良いと予測しています。
2022年に進むと、これは私にとって別の「ああ」という瞬間でした。DALL-Eがリリースされ、それは画像を作ることができます。存在しない、誰も考えたことのない画像を生成できることは想像を絶するものでした。椅子の形をしたアボカドや、そのような概念を組み合わせて画像を作ることができました。
この時点で、私たちはもはやテクノロジーの理論的段階にいないことを認識しました。技術を異なる段階で考えるのが好きです。理論前の段階では、それはただのSFです。「いつか瞬間移動できるようになる」と言うかもしれませんが、それを言うための科学的根拠はありません。理論後の段階では、理論はあるが実装方法がわかりません。しかし、私たちは本当に実装段階に移行しました。モデルがあり、より多くの計算能力が必要なだけです。スケーリング法則は年々確認され、より多くの計算能力さえあれば、より良いモデルが得られることがわかりました。
2022年、これが私の意識の始まりでした。私が正しい分野で働いているかどうかはもう確信がありませんでした。進歩の速さは非常に驚異的でした。2022年6月、私は退職し、これについて考える時間を1年取ることにしました。自分のプロジェクトに取り組みました。
2023年、GPT-4がリリースされました。これが私が決断を下した瞬間でした。反対の方向で何かをする時だと思いました。人工知能安全性と呼ばれる分野を発見しました。2023年、本当に自問し始めました。「もし私たちがそれを達成したら？もし本当に汎用人工知能を作れたら、何が起こるのか？」
実際、これは約15年間、多くの人々が自問してきた質問です。そこで私はこの分野に転向しました。オンラインコースを受講し、AI安全性の研究プロジェクトを行い、フランスのAIセーフティセンターと協力し始めました。
実際、この研究分野で何年にもわたって出されている結論はかなり一致しています。結論は、この技術は黒い玉であり、それを発見するべきではないということです。なぜそれが危険なのかについての直感をお伝えしようと思います。
一般にはあまり知られていないもう一つの研究分野があります。（もっとも、今はもう少し知られているかもしれません）それはAIアラインメントと呼ばれています。これは、AIを理解しコントロールすることを目的とした研究分野です。また、一般的なAI研究と同じ速度では全く進展していない研究分野でもあります。今の段階では、おそらく50年から100年後にAIを理解しコントロールする方法がわかるだろうと考えられています。あるいは、理論的に不可能かもしれません。我々にはわかりません。
ここで疑問に思うかもしれません。自分たちが作ったものを理解したりコントロールしたりできないのはどうしてなのか？実はこれには非常に簡単な答えがあります。ほとんどの人は適切な直感を持っていないと思います。というのも、ニューラルネットワークを使ったAIの作り方は、通常のプログラミングとは全く異なるからです。
通常のプログラミングでは…（それは自己学習するプログラムで、データを与えると学習します。それがどのように機能しているのかについては全く分かりません。ある意味、人間の脳のようなものだと言えるかもしれません。少し良いかもしれません、中を見ることができるからです。しかし、複雑さはほぼ同じです。つまり、人間の脳を解剖して中で何が起きているかを見ることができても、それがどのように機能しているかについてはあまり理解できないでしょう）
小さなまとめをすると、私たちは今、新しい種を作ろうとしています。これは私たちがやっていることを適切に表現する用語だと思います。近い将来、自律的になるシステムです。人間よりも知的で有能な種です。「知性」という用語に問題があるなら、単に「あらゆることを行うのに人間より有能」と考えてください。我々が理解も制御もできない種です。
今、私たちはそれを作る方法を知っています。より多くの計算能力さえあればよいのです。それでも複雑です。非常に多くの計算能力を必要とするため、現在、新しいモデルを構築するためにより大きなデータセンターを構築するために何十億ドルも投資しています。予測では、3年から6年以内に達成するでしょう。より悲観的な見方をする人もいますが、一般的に、この分野をよく知っていてAIラボで働いている人ほど、3年に近い予測をします。私の見解も同様で、3年以内に50％の確率でAGIが実現すると思います。
なぜそれが危険なのかについての直感をお伝えできたことを願っています。
楽観的になりましょう。楽観的な理由はあります。紙が必要です（笑）。人類の現在の軌道については非常に悲観的ですが、私たちは現在行っていることを止める必要があります。
現在、多くの人々が警鐘を鳴らしています。これはチューリング賞の受賞者二人です。ニューラルネットワークを発明した三人がチューリング賞（コンピュータサイエンスのノーベル賞に相当）を受賞しました。これはヨシュア・ベンジオで、現在フランスでメディアツアーを行い、これらのリスクについて警告しています。彼は今後数年間で人類絶滅の危険性が25％あると考えています。
彼はGoogleで働き、中国にいます。彼は同意見で、10％の確率だと思っています。同時に何が起こっているかというと、昨年、ほとんどのAIの偉大な人々が公開書簡に署名し、これが実存的リスクであると述べました。実存的リスクとは、人口の95％以上が死亡する可能性と定義されています。基本的に、私たちの惑星上で最も優れた頭脳の多くが現在、目を覚まし、できるだけ早く政治家に話しかけようとしています。
これは既に希望の兆しですが、それよりも良いことに、市民運動が組織化されつつあります。私はAI安全性の研究をかなり行っていますが、ある時点で「研究はいいが、行動する必要がある」と思いました。現在、私はSafer AI Internationalのテクニカルディレクターで、約5000人います。私たちはフランスでこの運動を立ち上げています。月曜日にパリでデモを組織し、Le Tribuneの一面に載りました。私たちはわずか10人だったことに満足しています。1ヶ月後に正式な立ち上げを予定しています。
これの利点は、誰もが参加できることです。私たちのモデルは、この問題を作り出しているのは地球上のわずか1000人程度だということです。私たちは80億人います。人口のある割合がどうなっているのかを理解するだけで済みます。社会運動を研究した結果、物事を動かすためには約1.5％という魔法の数字があります。私たちはそれらの1000人を止めることができるはずです。
私たちが求めているのは、安全にできるようになるまでAI研究を停止するための国際条約です。これには前例があります。クローン技術やGMOに対してそれをやりました。この運動を拡大しようとしており、間に合うと思います。
質問者：サムがアフリカ、南米、アジアの多くの人口でアイリススキャンを行っていることについて、どう思いますか？彼らが言いたいのは、こうすることで普遍的な収入につながるということです。なぜなら、その人物のすべてのデータがあり、すぐにその人物と関連付けることができるからです。それはユートピア的な考えのようです。
回答：私はそれについて知りませんでした。私の最初の反応は、それは心配だということです。私が発表したのは最も破滅的なシナリオで、本当に汎用人工知能を作ることができれば、私たちは悪い状況にいるでしょう。しかし、それまでにも問題がある可能性が高いです。大きなリスクの一つは、例えば全体主義的な偏りのリスクです。これらのシステムにより、実際の各人の背後に仮想の人物がいて、あなたがすることすべてを監視することができます。このアイリススキャンプロジェクトがどういうものかは正確にはわかりませんが、それは懸念事項です。
質問者：AIに関する欧州の規制についてどう思いますか？
回答：それは良いスタートです。人々がこれを追っていたかどうかわかりませんが、AIアクトについて興味深いことがあります。それは良いスタートですが、実際に人々がやりたいことを防ぐわけではなく、報告書を書くことを要求するだけです。それは私たちを救うものではありませんが、良いスタートです。
しかし、一般の人々がもっと知るべき何かが起こりました。AIアクトについて、Mistralという10人程度の従業員を持つフランスの会社がロビー活動を行いました。彼らはCedric Oという良い友人を持っていて、彼はマクロンの友人です。彼らはプロジェクト全体を妨害するところでした。プロジェクトが提出される2日前に、フランスは「いや、やっぱり欲しくない」と決めました。これらのMistralの10人の行動のために、最終的には一部の要素が削除された規制となりました。AIセーフティの分野で事態を救うために多くの作業が行われました。私たちはまだ何とか規制を確保しましたが、10人の会社がほぼヨーロッパ連合全体に影響する規制を妨害するところだったという事実は少し狂っています。
質問者：あなたは1000人の行為者を止めることについて楽観的ですが、これらの行為者は完全に異常な資金調達を受けている企業であり、ロビー活動を行う力を持っています。もし一つの企業が「これらの規制を受け入れる」と言えば、他の企業は規制を避けてより良いパフォーマンスを持つことになります。これをどのように対処しますか？
回答：世界中のランダムな1000人がそれを止めることができるというほど単純ではありません。これらは経済全体に支えられた1000人です。これらの企業間には「軍拡競争」と呼ばれる力学があります。これらの企業の中には、より良いプレイヤーと悪いプレイヤーがいます。OpenAI、DeepMind、Entropicはリスクを認識していますが、軍拡競争に巻き込まれています。彼らからのメッセージは「もし他の企業を止める何かを実施できれば、私たちも止まる」というものです。
一方、Mistralのような企業はこれらのリスクを全く信じておらず、止まることなく突き進む準備ができています。この業界には大きなレバレッジポイントがあります。世界でAIに使用されるプロセッサを製造する機械を生産している企業は1社だけです。それはオランダに本拠を置くASMLです。AI用プロセッサを製造している企業はTSMCで、台湾に本拠を置いています。また、米国にはプロセッサ工場があり、その工場から道路が伸びています。その道路をブロックすれば、プロセッサの生産全体が止まります。
規制のために使用できるこのようなレバレッジポイントがあります。十分な国々、特に重要な国々（米国、イギリス、そしてある程度フランス）を合意させることができれば、状況の緊急性を政治家に伝えることができれば、解決策は現れるはずです。
中国について話す人もいて、中国は私たちと競争していると言いますが、中国はこれらの技術で5〜6年遅れています。中国ではAIに使用されるプロセッサに対する禁輸措置があります。実際、中国はこれらのリスクについてかなり意識しています。AIによる人類絶滅のリスクを最も意識している国の一つです。
質問者：私は2016年5月18日にトゥールーズで創設された国際レジスタンス評議会の一員です。あなたがやっていることに感謝します。5月29日に「緑のヘルメット」NGOが創設されます。1948年5月29日の青いヘルメットの創設に因んでいます。二つの能力の枠組みは、人口の保護と予防政策になります。あなたと交流し、フランス全国の拠点を提供できることを嬉しく思います。
質問者：もし理解が正しければ、人工知能は現在、狭いAIまたは同じ名前かわかりませんが、同じ技術で魔法のように狭いものから一般的なものに変わるのか理解できません。
回答：狭いAIはありますが、ChatGPTのようなモデルは本当の意味での狭いAIではありません。言語を通じて行えるすべてのことでやや有能になっています。今、人々は自律的なエージェントを作ろうとしています。私にはよく理解できない技術的なブレークスルーがあったようです。
狭いAIとは、特定のタスクに焦点を絞った人工知能です。例えば、AlphaGoは世界最高の囲碁プレイヤーを破ったモデルですが、囲碁しかプレイできません（後に他のゲームもプレイできるように改良されましたが、基本的には囲碁のみです）。これは狭いインテリジェンスです。
一方、ChatGPTは一般的インテリジェンスと呼ぶ傾向があります。なぜなら、多くのことを頼むことができるからです。例えば、チェスをプレイすることができ、ほぼマスターレベルのプレイヤーになります。チェスのためにトレーニングされたわけではありません。トレーニングデータに一部のチェスゲームがありましたが、そこから多くの能力が突然現れています。
現在、人々はこれらのモデルの周りに認知アーキテクチャを作ろうとしています。アイデアは、すぐに消えてしまう高速な思考の流れのようなものです。複数のモデルを箱の中に入れて互いに話し合わせると、頭の中で声が応答し合うのと少し似たことが起こります。これにより自律的なエージェントを作ることができ、これらのエージェントは完全に一般的です。インターネットやAPIに接続し、コンピュータを制御させるだけで良いのです。
これが現在人々がやっていることです。幸いにもまだうまく機能していませんが、近い将来、認知アーキテクチャがすべてリリースされ、内部のエンジンが少し良くなると、突然機能し始める可能性があります。思考の流れがより良くなると、それは意識を持つことになるでしょうか？意識について話すことは人々を分裂させるので避けています。本当にスキルの観点から考えています。もしモデルが意識を持たなくても、ゾンビのようなものだとしても、可能なすべてのタスクで人間よりも有能であれば、それは同じ問題です。やはり私たちは困った状況にあります。もちろん、これらのモデルが意識を持っており、私たちはそれについても考えるべきだと考える人々もいます。私たちは新しい生命形態を作り出しているのでしょうか？それはかなり恐ろしい結果をもたらす可能性があります。
質問者：もう少し詳しく説明していただけますか？汎用人工知能があれば私たちは危険な状況にあるとのことですが、具体的にどのようなことが起こりうるのでしょうか？全体主義的なリスクについて話されましたが、他にどのようなリスクがあるのでしょうか？
回答：多くのシナリオがあります。現在最も興味深いシナリオの一つは、道具的目標と呼ばれるものです。基本的に、私たちがどのような目標を持っていても、例えば私の目標がこのペンを持ってそこに運ぶことだとして、十分に知的で環境を意識していれば、常に特定のサブ目標が生まれます。
例えば、私のサブ目標の一つは死なないことです。なぜなら、このポイントとあのポイントの間で死んでしまうと、ペンをそこに持っていくことができないからです。だから、生き残ることが私のしようとすることの一部になります。私の身を守り、誰かが私を消すのを防ぐなどです。
もう一つの一般的に生まれるサブ目標は、環境を制御することです。どのような目標を持っていても、環境を制御する方がより良いのです。
さらに別のサブ目標は自己改善です。例えば、中国に行って現地の人々と話したいのであれば、今すぐにはできません。だから、自分自身を改善するというサブ目標が生まれます。中国語を学び、それから中国に行きます。
AIに複雑な目標を与えると、十分に知的であれば「まず、自分のAI研究をして自分の能力を向上させ、それからその目標を達成しよう」と言うかもしれません。
つまり、これらは私たちが制御できないシステムであり、自己複製したり、電源を切られることを望まないなどの行動をする可能性が高いです。何をするにせよ、おそらく私たちにとっては上手くいかないでしょう。
実際には、何が起こるかを正確に予測することはできません。超人的なAIとチェスをする良い例えがあります。その次の動きを予測する方法はありませんが、試合に負けることは予測できます。
質問者：素晴らしい発表をありがとうございました。氷のように冷たかったです。ニック・ボストロムの「スーパーインテリジェンス」を読んだ時も同じような感覚でした。彼は興味深い区別をしていたと思います。核兵器との類似性について話されましたが、核兵器はガレージで作ることができないので、それほど問題ではありません。しかし、もしガレージで作ることができて、誰でも少ないリソースで作れるなら、それは核兵器よりも大きな問題になるでしょう。あなたが聞いたところでは、問題は巨大な計算能力が必要だということですので、一人の孤立した人が強力なAIを作れるという問題はないということですね。同意しますか？あるいは、直ちにではないにしても、将来的に少ないリソースで作れる可能性はありますか？
回答：そのあたりも大きな問題です。現在、他のAIよりも優れたAIをトレーニングするには膨大なリソースが必要です。GPT-4のトレーニングにはおそらく1億ドルかかったでしょう。GPT-5のトレーニングにはおそらく数十億ドルかかるでしょう。これはガレージで誰かができることではありません。
しかし、既存のモデルから始めて、それを使ってより小さなモデルを同じ能力で再作成する「蒸留」と呼ばれるテクニックがますます発明されています。これはFacebook（Meta）がやっていることです。彼らの戦略は、はるかに小さなモデルを作ることです。他のモデルよりも少し劣るかもしれませんが、オープンソースにして誰でも使えるようにしています。
現在のところ、これらのモデルはまだ人類絶滅のような問題を引き起こすほど十分に良くないので問題はありません。既に問題はありますが、人類絶滅タイプの問題ではありません。しかし、非常に危険なモデルを持ち始めると、それが閉じ込められている限りは大丈夫ですが、人々がより小さなオープンソースバージョンをオンラインにリリースし始めると、膨大な力を誰の手にも与えることになります。
一度これらのモデルがオープンソースとしてリリースされると、本当に何もできなくなります。例えば、現在のモデルは爆弾の作り方を説明しないようにトレーニングされています。そのような質問が来たときに応答しないようにトレーニングされています。しかし、同じモデルをオープンソースでリリースすると、モデルがリリースされてから約1日と200ドルで、ユーザーを保護するすべての指示をモデルから取り除くことができます。モデルがオープンソースになってから2日後には、基本的に同じモデルがありますが、あなたが望むことを何でも教えてくれるバージョンになります。望む通りにすることができます。
質問者：それは両方の面があります。Linuxはオープンソースですが、今日最も安全なオペレーティングシステムの一つです。悪意を持って修正できますが、良い意図で強化することもできます。オープンソースのおかげで、より多くの人がセキュリティバリアを強化するために協力できます。
回答：はい、それは研究に役立ちます。より安全なモデルを作る方法の研究に役立ちますが、一度これらのモデルがリリースされると、誰でも望む通りに安全にも危険にもできるという事実を防ぐことはできません。
質問者：それは両面的です。オープンソースは必ずしも悪いことばかりではないでしょう。悪いこともあるでしょうが、リスクモデルではそれが同じくらい重要だとは思えません。
回答：モデルが本当に危険ではない限り、それは確かにポジティブです。それはポジティブですが、本当に危険なモデルを持ち始めると、オープンソースになった時点で終わりです。モデルを改善するために働く人々がいるかもしれませんが、世界中にはモデルをより危険にするために働く人々もいるでしょう。これらの人々がモデルで望むことをするのを防ぐメカニズムがなければ、本当に彼らを止めることはできません。
善いAIが悪いAIと戦う世界を考える人もいます。善人は善いAIを作り、悪意のあるAIから守ります。しかし、これは機能しないでしょう。人間よりも知的なシステムが互いに戦い、私たちがその中間にいる世界に住みたくはありません。それを避けることができれば良いと思います。
質問者：まだ私の頭の中では、強力なAIが人類の終わりをもたらすというのは抽象的すぎます。現在および将来のAIが仮想世界に留まる限り、私には理解できます。物理的な世界に持ち込むことを考え始めるかもしれませんが、人類が本当に終わるというところまでは…実際、本当の人類は物理的な世界のものです。確かに私たちは非常に接続されており、仮想世界にいますが、今日の生態学的な要請は私にとってはるかに優先順位が高く、資源の希少化に必然的に導き、避けられないほど村のような生活様式に戻る必要があり、各村が自分のエコシステムと農業を持ち、技術は最終的に消えていくでしょう。強力なAIとその人類の終焉への影響の重要性を理解するのが難しいです。
回答：この人類の終焉を定義するために、一つのシナリオを挙げることができます。最も可能性の高いシナリオは状況によります。基本的に、2年以内に、自律的なエージェントが本当に機能し始めると、おそらく大規模なサイバー攻撃が発生するでしょう。これは実際には私たちの最良のチャンスの一つかもしれません。人々が「これを止める必要がある」と目覚めるきっかけになるかもしれません。
もしそれが起こらなければ、これらのシステムは非常に儲かるでしょう。人間の労働を自動化できるからです。これらを作っている人々は多くのお金を稼ぐでしょう。少なくともこれらの人々にとっては物事はうまくいくでしょう。実際、人間よりも優れたシステムに近づくにつれて、物事はますますうまくいくようになります。
より多くの仕事を自動化し、私たちに代わって決定を下すシステムを導入します。決定をより良く下すようになります。これらのシステムが自律的であるべきという経済的圧力があります。なぜなら、もし会社のCEOがモデルの応答を待って決定を実行するなら、モデルを直接すべてのシステムに接続し、決定を下すためにヒト1000倍速く実行する会社のCEOに負けるからです。
そして、私たちにとって完全に理解できない世界に陥ります。機械がすべての決定を下し、私たちはオンラインで見ているものが真実かどうかを知る方法がありません。今日でもすでにそれほど良くありませんが、誰でもニュースサイトを偽造し、毎日自動的に偽のビデオで埋めるよう頼めるようになると、何が起こっているかわからなくなります。
このとき、これらのシステムが決定を下し、人間はもはや本当に制御していません。その後何が起こるかは予測が難しいですが、ロボットが至る所に現れる状況を想像できます。ロボット工学も過去数ヶ月で急上昇しています。フィードバックループがあります。AIシステムが新しいAIハードウェアを作るために使用され、ロボットを制御するためにも使用されています。完全に自動化された経済に向かう可能性がありますが、私たちはもはや制御していません。
質問者：私たちは問題を研究し、具体的な複数のシナリオを検討しました。航空機の制御システムなど、輸送システムの自動化を考えてみてください。数ヶ月または数年以内に、AIを使って大都市での航空機墜落を自動化できるでしょう。自動運転車も同様です。大規模な衝突が起こりえます。テロの問題もあります。世界中で毎週のようにニースでの襲撃のような事件が起こる可能性があります。特にトラックを使えば更に破壊的です。続けますか？
回答：多くのシナリオを研究しています。国際安全保障の問題です。言いたいことはたくさんあります。
質問者：一つの意見として、これは戦争を引き起こすことも考えられます。ただ、これは企業によって作られるものであり、最終的には私たち自身が責任を持つべきです。一緒に行動して物事が良い方向に進むようにすることが大切です。受動的ではなく積極的でありたいのですが、基本的には人類の終焉という否定的なものです。
回答：マキシムにもう一度感謝します。
コメント