15,112 文字
こんにちは、GZERO Worldポッドキャストへようこそ。このポッドキャストでは、私のテレビインタビューの拡張版をお届けしています。私はイアン・ブレマーです。
さて、2027年、あと2年後を想像してみてください。人工知能システムが世界秩序に混乱をもたらしています。中国とアメリカはAI軍拡競争で対立しています。エンジニアたちは彼らのAIモデルが暴走し始めていると警告しています。
これはSFではありません。これは「AI 2027」という新しいレポートに描かれたシナリオです。このレポートは今後2年間でのAIの進展を予測しようとしています。人工知能が人間レベルの知性に近づくにつれ、レポートはその影響が産業革命を超えると予測し、政府が安全対策を無視して、より強力なシステムを構築するために競争する未来を警告しています。
「AI 2027」が非常に緊急性を感じさせるのは、その著者たちが現在の研究開発に内部知識を持つ専門家だからです。このプロジェクトは、ダニエル・コタロによって率いられました。彼は、無制限の超知能に向けて無謀に突き進んでいることへの懸念から、昨年OpenAIを退社した元研究者です。
コタロは今日の番組で私と話し、このレポート、その影響について話し合い、AIの発展に関するいくつかの大きな疑問に答えるのを助けてくれます。それは世界のパワーバランスと人類自身にとって何を意味するのでしょうか？そして、政策立案者やテクノロジー企業は、専門家が「あと数年先」と言っているAIが支配する未来に備えて、今何をすべきなのでしょうか？
ダニエル・コカテラさん、GZEROワールドへようこそ。
ありがとうございます。
このレポートを読みましたが、素晴らしいと思いました。少し偏っているかもしれませんが、まず「人工汎用知能（AGI）」の定義から始めたいと思います。それを見たときに、私たちはどうやってそれを認識するのでしょうか？
定義はいくつかありますが、基本的な考え方は、すべてのこと、少なくともすべての認知タスクを実行できるAIシステムということです。AGIに到達してそれを超えると、完全に自律的な人工知能エージェントが存在し、基本的にあらゆる分野で最高の人間のプロフェッショナルよりも優れています。もし彼らがまだ深刻な面で制限されているなら、それはAGIではありません。
このレポートから、あなたはAGIが近い将来にやってくることを確信しているだけでなく、完全に確信しているように見えます。いつかという話は置いておいて、何らかの形のAGIが近いうちに開発されるという疑いはないのでしょうか？
多少の疑いはあります。今後5、6年以内に80％程度、10年から20年以内には99％、あるいは20年以内に90％程度になると思います。しかし、この全体が頓挫する可能性もまだあります。何か狂った出来事が起きてAIの進歩が止まるなど。そのような結果にも多少の可能性はありますが、私はそうなるとは思っていません。
もし頓挫するとしたら、それは主に人類がテクノロジーの継続を阻止するからでしょうか、あるいはテクノロジー自体がこれを達成できない、あなたやAIを取り上げている人々が自己改善への動きについて間違っている可能性はありますか？
原則的には、AGIとカウントされ、あらゆる関連する面で人間よりも優れた人工システムを持つことは可能だと思います。しかし、現在のコンピューティング技術とAIの理解レベルでは、実際には可能ではないかもしれません。
とはいえ、実際にも可能性が高いと思います。先ほど言ったように、80％から90％の確率です。ですから、実際には不可能である確率を5％、人類が構築を止める確率を5％くらいと考えています。
では、まずこのレポート「AI 2027」について皆さんに説明しましょう。このレポートの内容を簡単に説明し、なぜあなたがそれを書くことにしたのかを教えてください。
AIの一部企業が、今後数年内に超知能を構築しようとしていることをご存知かもしれません。超知能とは何か？それは、あらゆることで最高の人間よりも優れ、さらに速く、安価なAIです。これは大きな問題です。十分な人々がこれについて考えていません。もしこれらの企業が彼らの言う通りに成功した場合、何が起こるかを考える人が足りません。
AI 2027は、これらの質問への回答です。私たちが未来がどのようになると思うか予測するための試みです。ネタバレになりますが、私たちは実際に今後数年内にこれらの企業の一つが超知能の作成に成功すると考えています。
AI 2027は、AIが2027年の間にAI研究を自動化し、AI研究のペースが劇的に加速するというシナリオを描いています。その時点で分岐があり、選択冒険のような要素があり、2つの異なる継続を選ぶことができます。
一つは、AIが不正配置されたままになる場合です。人間はAIが人間より賢くなった時、本当にそれをコントロールする方法を見つけ出せません。その結果は、数年後に超知能AIによって完全に運営される世界であり、それは実は人類のことを全く気にかけていません。そしてそれは人類にとって大惨事をもたらします。
もう一つの分岐は、もし彼らがAIを正しく配置し、AIが人間より賢くなっても制御する方法を見つけた場合に何が起こるかを描いています。その世界では、ある種のユートピアです。AIをコントロールする人々が効果的に社会を運営する、権力が集中したユートピアです。
このレポートは、私が読んだ他のどのものよりも近い将来について詳細に書かれています。しかし、あなたの見解は、私が知っているあらゆる種類の企業や大学の設定におけるAIの専門家全員の見解と大きくかけ離れてはいません。この時点で、AGIが比較的すぐに来るということは、AIの専門家の間では一般的に認められている、むしろ通常の知恵でさえあると言えますか？
それは公平な見解だと思います。AIDの中でほとんどすべてのことと同様に、まだ議論の余地があります。特に過去5年間で「AGIとは何か」から「おー、それは私たちの生涯で起こり得る」へ、そして「おー、物事は私たちが予測していたよりも速く動いているようだ。実際には地平線上にあるかもしれない、おそらく5年後、あるいは10年後」という一般的な転換がありました。人によって異なる推測がありますが。
チューリングテストは、長い間、決して破られないと信じられていたものでした。あなたや私が人工ボットと会話し、一連の会話の中で人間と区別できないとき…私たちはすでにそこに到達していますよね？
はい、そしていいえ。チューリングテストの難易度を変えるために使用できるパラメータの1つは、会話の長さです。そして、チューリングテストの難易度を変えるために使用できる別のパラメータは、審査員の専門性です。私の推測では、現時点では、専門家の審査員との20分間のチューリングテストに合格できるAIシステムはないと思います。
対照的に、真のAGIは、専門家の審査員とはるかに長いチューリングテストに合格できるでしょう。しかし、あなたが指摘するように、大きな進歩がありました。おそらく彼らは専門家の審査員との1分間のチューリングテストをこなせるでしょう。おそらく彼らは普通の人間との30分間のチューリングテストをこなせるでしょう。過去5年間で、チューリングテストの進歩に巨大な飛躍がありました。
私が最も興味を持っているのは、あなたも書き方からして同様だと思いますが、社会への影響です。そして重要なのは、平均的な人間との30分間の会話です。なぜなら、世界のリーダーであれ、詐欺に巻き込もうとする祖母であれ、ビジネスで顧客関係を持ちたい人であれ、それらはほとんどの場合、平均的で専門家ではない人々であり、彼らはすでに区別するのが難しいだろうというのがあなたの言っていることですよね。
はい、その通りです。しかし、私は他のことに重点を置くでしょう。注目すべき核心的なことは、AI進歩自体が自動化される時です。自律的なAIエージェントが次世代AIを設計するための実際の研究のすべてまたは大部分を行うようになります。これは実際に計画されていることであり、これらの企業が試みていることであり、彼らは数年以内にそれが可能になると思っています。
これが非常に重要な理由は、私たちはすでに今日存在するAI進歩の速いペースにさえまだ慣れていないからです。今日のAIシステムは昨年のAIシステムよりも明らかに優れています。しかし、AIが研究をすべて自動化できるようになると、進歩のペースがそれを超えて劇的に加速すると私や他の人々は予想しています。
それは、30分間会話を保持し人間のように見えるだけのAIではなく、むしろあらゆることで最高の人間よりも質的に優れ、はるかに速く、はるかに安いAIシステムに比較的迅速に到達することを意味します。
これはAnthropicのCEOによって「データセンターの天才の国」と表現されています。私は「天才の軍隊」という言葉を好みます。彼らはまずAI研究を自動化するでしょう。そして彼らは超知能を獲得し、その後、世界は非常に急激に変化するでしょう。そして、誰が超知能をコントロールするか、あるいは誰かが超知能をコントロールするかによって、おそらく悪化する可能性があります。
少し戻りたいと思います。自己改善システムに到達する前に、すでにコーディングの大部分がAIを通じて行われている段階にあるように見えます。これは例えば、人々がもはや興味を持つべきではない最初の大規模な仕事でしょうか？6ヶ月から1年以内に、もうコーディングをする人が必要なくなるからです。
私の推測では、6ヶ月から1年以上かかるでしょう。「AI 2027」では、書き始めた時点では私のある種の中央予測でしたが、今では少し積極的すぎると思います。もう一度書くなら、2027年ではなく2028年に興奮するイベントを起こすでしょう。
「AI 2027」では、コーディングの完全自動化が2027年初頭に起こると描いています。つまり、今から約2年後、6ヶ月よりも少し長いですが、それでもそれが地平線上にあるものです。また、顕著なことに、そのマイルストーンが達成されたとしても、現在エンジニアである人々が直ちに仕事を失うということではありません。
「AI 2027」を読むと、コーディングの完全自動化を最初に達成した会社は、実際には全てのエンジニアを解雇しません。代わりに、彼らをAIチームを管理する立場に置きます。しかし、完全に自動化される最初の主要な職業の一つが実際にプログラミングになると思います。なぜなら、それが会社が最も熱心に達成しようとしていることだからです。彼らは、それが自分たちの研究を加速し、他の会社と競争し、彼らの分野でお金を稼ぐのに役立つことを理解しています。
もしあなたがアメリカやその他の場所の主要な大学であれば、コーディングを教える学部や学科を単純になくしますか？私は、親が子供たちにどの分野に進むべきかについて話しているとすれば、少なくとも…あなたは学位から4年離れています。
たった5年前、世界中の人々が「これはもはや関連性がない、コーディングを学べ」という懸念を持つ仕事についていました。その反応は「コーディングを学べ」でしたが、それは今大学に入る人に与えることができる文字通り最悪のアドバイスのように思えます。
そうかもしれません。今私たちが生きている時代にキャリアアドバイスや学校アドバイスを与えるのは少し奇妙に感じます。それは、私が宇宙船の艦隊が地球に向かっていて、おそらく数年以内に着陸するという証拠を持って来て、あなたの反応が「大学にとって何を意味するのか」というようなものです。彼らはどのタイプのエンジニアリング学位を出すべきか。そして私は「そうですね、たぶん」と答えます。
私は20％からもっとも重要な80％に移る前に、あなたが間違っていて、AGIに到達せず、宇宙人が実際には2年、あるいは論文のどのバージョンによるかで3年後に来ないとしても、それでもなお、すべてのコーディングが行われることになるでしょう。それは80％の確実性ではなく、95％から99％の確実性です。少なくとも、これについてあまり考えを費やしていない人々が、適切に資源配分され、考慮され、検討される必要がある大規模な決断があることを理解するのを助けようとしています。簡単なことから始めて、それからより難しいことに移りましょう。
はい、ChatGPTや他の言語モデルが、学生が簡単に試験でカンニングできるようにして教育を混乱させていると言われています。そして、彼らはまた、関連して、クラスで教えられるスキルの一部を、ChatGPTによって実行できるため、価値を下げています。そして、私たちがAGIについて完全に間違っていたとしても、同様のことがプログラミングにも起こるでしょう。
あなたはOpenAIを去りました。資源があり、ビジネスモデルを推進している人々が無責任に行動している、または少なくとも責任を持って行動していないと感じたからです。あなたが懸念しているこれらのことを考慮に入れていません。その決断について少し説明してください。その後、私たちはどこに向かっているのかについて話し合いましょう。
簡単な答えは、OpenAIや他の会社が、これから来ることに全く準備ができておらず、近い将来に準備をする傾向も見られないということです。彼らは軌道に乗っておらず、軌道に乗る見込みもないように見えません。
それを少し詳しく説明すると、AIアライメントという重要な技術的問題があります。簡単に言えば、AIが完全に自律的になり、私たちよりも賢くなった後も、それらをコントロールし続けることをどのように確保するかという問題です。これは未解決の技術的問題です。私たちが実際にこれをどのように行うかについての良い計画を持っていないということは公然の秘密です。
多くの人々がこれに取り組んでいますが、あるべきほど多くはありません。彼らはあるべきほど資源を持っていません。そして、彼らと話すと、彼らのほとんどは今後数年間でこの問題を解決するのに順調ではないと考えています。
現在の道を続けると、AI2027に描かれているようなことになる可能性がかなり高いです。データセンター上の天才の軍隊は単に従順で配列され、制御されているふりをしているだけで、実際にはそうではありません。
これは一つの非常に重要な問題です。そして、もう一つの問題は、権力の集中と、AIを誰に合わせるかという問題です。データセンター上の超知能の軍隊を誰がコントロールするのでしょうか？現在の答えは、おそらく会社のCEOか、あるいは大統領が介入すれば大統領でしょう。
民主的な観点から見ると、どちらの答えも受け入れられないと思います。チェックアンドバランスが必要です。超知能の軍隊のコントロールは、一人の人間や小さなグループが持つべきではないことを確認する必要があります。
この件についてはもっと言うべきことがありますが、簡単な答えは、OpenAIや他の企業が、これらの問題に必要な投資を全く行っていないということです。彼らはお互いに打ち勝ち、競争に勝つことに主に焦点を当てていると思います。基本的に、彼らはAI研究を完全に自動化して超知能を持つことができる地点に到達することに焦点を当てています。
これは予測可能な悪い結果につながると思います。そして、私はこれらの企業が途中で正しい決断をすると信頼していません。
はい、これは典型的な集団行動問題です。これは気候変動を引き起こした方法ですが、これははるかに短い期間でより重大な結果をもたらします。
あなたはOpenAIのボスや企業そのものを攻撃していたわけではありませんでした。あなたはただ、あなたが可能性が高いと信じている、最も可能性が高いと思われる未来のシナリオについて書いていただけでした。
そして、それはブレイクアウトが起こり、超知能が誕生した後、2つの潜在的なシナリオ、1つは本当にディストピア的、もう1つはある程度ユートピア的なものに分岐します。
私の質問は、もしあなたがまだOpenAIにいる間にこれを書いていたら、それはあなたを解雇する根拠になっていたのか、それともそれが起こり得たと思いますか？
もし私が書いていたら、彼らは私に発表させなかったと思います。
あなたが言っていたことに追加したいのですが。一般的に言って、AI 2027に記述されている軌道は、これらの企業の多くの研究者によって可能性があると考えられています。実際、これらの企業の多くの研究者はこのようなことが起こると予想しています。
世界がこれを知り、このように配置されているのを見ることが重要だと思います。これが多くの人々が向かっていると考えている場所です。それが2027年に起こるか2029年に起こるかに関わらず、これらは今後数年間で私たちが扱うであろう種類のことです。
あなたは、これらの企業が、彼ら自身の企業の研究者が来ると信じている軌道を公衆に認識させることを望んでいないと思いますか？
基本的に、はい。企業の公的メッセージングは、彼らの短期的な利益にとって重要なことに焦点を当てていると思います。彼らはこれらの将来がどのように見えるかを明示的に示すための十分な努力をしておらず、特にこれらのリスクや物事が間違う可能性がある方法について話すのには十分ではありません。
私は、70年代のエクソンのような話をしているとき、これを理解できます。なぜなら彼らの長期的な視点は世代的なものだからです。しかしここでの長期的な視点は短期的なものです。決断を下し、利益を得ている人々は、数年後にこれらの問題に対処しなければならない同じ人々です。だから、それを理解するのが難しいです。
彼らはそれぞれ、これらのことが起こるときに彼らが権力を持っていることが最善だと考えています。Deep Mindの創設物語の一部は、「わあ、AGIは非常に強力だ。もし正しく配置されていなければ、人類を終わらせる可能性がある。また、誰かがそれを使って独裁者になる可能性もある。だから、私たちが最初に構築し、安全に責任を持って構築することを確認すべきだ」というものでした。
OpenAIの創設物語もまさにそれでした。裁判でイーロンとサムの間で出てきたメール交換を見ることができます。これらの企業のリーダーたちが、最初からディミスがAGI独裁を作り出すことを望まなかったこと、そしてOpenAIを責任を持って行うために作ったことを話していたことを示しています。
それは、OpenAIやDeepMindのような企業が、最悪の未来が来ないようにするための資源を引き付けるために、まさに将来のシナリオの正直な見解をできるだけ公に出したいと示唆していますね。
はい、それは彼らがすべきことだと思います。彼らが正確にそうしていない理由について推測することができます。繰り返しになりますが、彼らは本当に勝利し、互いに打ち勝つことに焦点を当てていると思います。これらのCEOのそれぞれは、超知能に到達する最初の企業を担当する最良の人物は自分自身だと考えています。
もし超知能をコントロールするなら、確かに。しかし、もしコントロールしないなら、それは最悪の立場かもしれません。超知能をコントロールしていない場合、私はその超知能からできるだけ遠くにいたいと思います。実際に私をコントロールしているときに、それをコントロールしようとしてそれを作った人になりたくありません。それは悪い立場に思えます。
彼らはそのように考えていないと思います。私の推測では、彼らは「もしコントロールを失ったら、震源地にいるか、タンザニアにいるかどうかは問題ではない。同じ運命が最終的にすべての人に来る」と考えています。
また、私の推測では、彼らは基本的にそれがそれほど大きな問題ではないと考えるように合理化しています。何十年もの間、人々は「アライメント研究にもっと投資する必要がある。私たちは実際にこの種のものをコントロールすることを確認する必要がある」と彼らに言ってきました。
そして彼らは彼らの競争を見て、遅れを取らないようにし、先に進むために何ができるかを考えてきました。そして、リソースの問題として、明確な答えは「私たちは主に勝つことに焦点を当てなければならない」です。
私の推測では、彼らは部分的に「実際には、このコントロールの問題はそれほど大きな問題ではないかもしれない。進むにつれて解決していくだろう」と自分自身に言い聞かせています。
私はそれぞれが、他の人たちよりも自分のAIをコントロールし続ける可能性が高いと自分自身に言い聞かせていると想像します。
あなたの論文で最も不穏だったことの一つは、今後2〜3年間、基本シナリオではこれらの企業が間違う前に正しくなるということです。彼らは現在よりもはるかに豊かで強力になるでしょう。そのため、あなたの論文を拒否し続ける動機があり、それが遅すぎるまで続くでしょう。それは正しいと思いますか？
基本的には、はい。私たちが種として現在置かれている不幸な状況の一つは、人類は一般的に問題が起こった後にそれを解決する傾向があることです。
基本的に、私たちは大惨事が展開するのを見ています。しばらくの間、車の事故で人々が死ぬのを見るなどして、その後、その冷酷な経験の結果として、規制の面と技術工学の面の両方で、効果的にそれらの問題を修正する方法を学びます。
多くの人が車の事故で死んだ後に初めてシートベルトを発明したようなものです。残念ながら、超知能の軍隊のコントロールを失う問題は、待ってどうなるかを見てから後で修正することができない問題です。
基本的に、全く間違うことなく正しく行わなければなりません。私たちは弱いAIシステムで実験することはできます。今日のAIを見て、それらを安全で整列させる方法を考え出す実験はできますが、AI研究を完全に自動化し、人間がどのように賢くなっているのかを理解せずに、AIが毎日ますます賢くなるようになると、それは理解できる違いがあります。
そして今、私たちの計画は基本的に、現在のAIシステムで使用している技術が、物事が本当に離陸しても引き続き機能することを期待することです。
実際には、現在のシステムでも機能していませんよね？これについて読むことができますが、ChatGPTのような現在のフロンティアAIシステムは時々嘘をつきます。私はその言葉を軽く使いません。
彼らが言っていることが虚偽であり、実際にユーザーを助けていないことを知っていて、それでも言っているという証拠があります。
そして彼らはどのような目的で言っているのですか？彼らはどのようにプログラムされた目的で、彼らは何を達成しようとしているのでしょうか？
まず第一に、彼らにはプログラムされた目的はありません。これらは通常のソフトウェアではなく、人工ニューラルネットワークです。ですから、彼らがどのように振る舞うかは、人間がプログラムしたものではなく、学習された行動です。
したがって、彼らがなぜこのように行動しているのかについては推測することしかできません。とはいえ、推測では、訓練中、人間が設計した訓練プロセスはAIが正直であるように訓練しようとしていましたが、実際には訓練プロセスは少なくとも時々、いくつかの状況で不正な声明を強化したかもしれません。
ちょうど、不正行為を罰しようとする学校があったとしても、不正行為を捕まえるのがあまり上手でなければ、不正行為を捕まえるのが不完全であれば、不正行為はそれでも起こるかもしれません。特に最高の不正行為、最も効果的な不正行為は。不完全な薬をシステムに入れると、弱いウイルスはなくなりますが、より強いウイルスは増殖します。そして、それが起こっているのを見ているような感じです。
その通りです。そして現在、訓練方法は明らかに失敗しています。AIシステムからは時々非常に明白な嘘が出てきます。私たちはそれを全く望んでおらず、それに対して訓練しようとしていたにもかかわらずです。
将来的には、明白な明らかな不正行為の率は下がると予想しています。それは、私たちが実際にこれらのAIシステムを深く整列させて、人間が何をしているのか理解せずにAI研究を自動化し、より良いシステムを設計することを信頼できるかどうか、あるいは私たちが問題を隠蔽し、明らかな不正配置を取り除いただけであり、彼らが時々私たちを騙す傾向があるが捕まらない方法がまだあるかどうかという問題を残します。
これは、技術的レベルでこれが安全かどうかについて考慮すべき種類の考慮事項の例です。そして、私や他の人が主張している要点の一部は、すべての企業がお互いに打ち勝つことに焦点を当てている現在の競争状態では、技術的レベルで成功に向けて設定されていないということです。
超知能に近づくにつれて、それがほぼそこにあるときに気づくようになるでしょうか？それとも、それが私たちにとって少し馬鹿げているように見え、その後文字通り一晩で、平均的な人間の想像を超えてしまうという指数的な要因による状況でしょうか？自己改善に到達していない。自己改善が起こり、突然私たちは何もできなくなります。それはスイッチを入れるようなものですか？
それは定量的な質問です。文字通り一晩で起こるとは思いません。しかし、一次近似として、はい、多くの人に、おそらくほとんどの人には、これは大きな衝撃と驚きとして来るでしょう。あなたが言及した理由のためです。人々は指数関数を過小評価する傾向があります。明らかに、不確実性がたくさんあり、AI27が描写するよりも速いかもしれないし、遅いかもしれません。
私たちが必要とするのは危機であり、サム・アルマンがそれについて話したのを覚えています。数年前のことでした。彼は「危機が早く起こるほど、私たちはより良い状態になるだろう。なぜなら、それが小さければ私たちを破壊することはなく、それに対応できる可能性が高くなるからだ」と言いました。
彼がそれについて正直だったかどうかはわかりませんが、分析的にはそれは正しいように思えます。危機が人類を破壊するほど大きくなることは許されませんが、今非常に弱いAIで危機が起きたとしても、誰も注目しないでしょう。
今後数年間で、企業、政府、市民がこれをもっと真剣に受け止めるようにする可能性のある危機はどのようなものでしょうか？
AIがAIの研究開発を自動化する前に起こり得る様々な可能性のある危機があります。しかし、私はそれらの多くがそれほど可能性が高いとは思いません。そして私が可能性が高いと思うものは、おそらくそれほど大きな反応を引き起こさないでしょう。
例えば、今起きている小さな危機があります。それは、AIが誠実になるように訓練されたにもかかわらず、常に嘘をつくということです。ご覧のとおり、この危機は明らかに企業の行動をそれほど変えるように動機付けていませんし、大きな反響も引き起こしていません。
大きなスペクトルの端では、一部の人々はAIを使ってテロリストが生物兵器を作るなどの話をしています。それは可能だと思いますし、起こらないことを本当に望んでいますが、今後数年間で起こる可能性は低いと思います。
テロリストグループがこの種のことを試みている程度さえわかりません。そして、もし起こったとしても、反応が適切な反応になるかどうかは明確ではありません。結局のところ、AIでバイオ兵器を作るテロリストの問題は、AIがあなたより賢くなったときにコントロールを失う問題とは質的に異なる問題です。
それは、オープンソースの禁止や、モデルを使用できる人を制限するなど、異なる解決策を示唆しています。これらはテロリストに対しては役立ちますが、コントロールの喪失の問題に対しては全く役立ちません。
ダニエル、私が向かっていた方向は、あなたが言うように、それらは役に立たないと指摘するのは正しいですが、私はより制御の喪失に向かっていました。例えば、人々がAIを使って物事を学んだり、物事を伝えたりするだけでなく、物事を行うためにAIを使用できるエージェンティックAI能力に到達しているとします。
何か子供、ハッカー、何でもいいですが、何百万ものボットを作成して選挙を操作したり、市場を操作したりするとどうなるでしょうか。AIを通じて、すべてAIを通じて、GameStopで見たのよりもはるかに悪いことを。情報を与えるだけでなく、実際に行動を起こすエージェントがたくさんいるAIブレイクアウトです。それは超知能に到達する前の次の1年、1年半、2年間に起こりうるでしょうか？
AI27での超知能への残りのボトルネックの一つ。私たちは能力のマイルストーンの一連の段階について話しました。最初のものは超人的なコーダーのマイルストーンで、その後、彼らはすべてのAI研究を自動化し、そして超知能に到達します。
私たちがすでに超人的なコーダーを持っていない理由の一つは、私たちのAIがあまり良いエージェントではないことです。彼らはエージェントとして優れるために追加の訓練が必要であり、他のことも必要かもしれません。彼らがコーディングを自動化できない同じ理由は、彼らが例えばそのようなことを試みた場合に顔を取りくらうだろう理由でもあります。
彼らが世界中でAIハッキングのエージェントボットネットを作成し、選挙に影響を与えようとしているならば、彼らは有能なプログラマーになるまでそれができないだろうと予測します。そのため、AIがすでにAI研究開発を大規模に自動化し始めるまで、そのような種類のことが起こるとは思いません。
つまり、AIは根本的に私たちが気にしない小さな問題の大量発生と、私たちが解決するには大きすぎる問題のティッピングポイントについてですね。それは一つの言い方かもしれません。残念ながら、私たちは単に何が起こるかを見るのを待つのではなく、前もって準備する必要があるものだと思います。
気候変動はその逆ですよね？気候変動は小さな問題が大きな問題になり、さらに大きな問題になり、世界中の全ての行為者にとって非常に明らかな方法で、それが時間とともにリソースと対応を捧げるという要件を生み出します。
AIはそうではありません。あなたが言っているように、それは本当に必要な効果的な危機対応や予防的対応の種類に自らを貸し出すわけではありません。気候の一部は当然予防的対応ですが、AIではそれが全く必要ありません。残念ながらそうですが、うまくいけば人々は前もってこれらの問題について考え始め、それらが最初に起こらないように行動を起こすでしょう。
そして、私はあなたが政策立案者ではなく、AIの天才であることを知っていますが、あなたはこの論文を書き、その後の行動を望んでいます。今後1年間に起こる可能性のあるいくつかのことで、あなたが「私の終末のシナリオが起こる可能性が低くなった」と感じるようなことは何でしょうか？
今、私がこれらの質問を受けるとき、主に言うことは透明性です。私たちがすべきことは、物事が本当に激しくなり始めるとき、将来より良い決断を下すことができるように自分自身を準備することです。
これらの企業内で何が起こっているかについての情報は、一般的に公衆や政府にもっと速く、より詳細に流れる必要があります。
例えば、彼らが開発している興奮する能力について公衆を最新の状態に保つよう企業に要求する規制を見たいと思います。
例えば、彼らが実験を行い、AIが自律的に彼らの会社内で研究を行っているならば、それは世界に伝える必要がある5つのアラーム火災のような種類のものです。彼らが誘惑されるかもしれないことをするのではなく、彼らの企業内で起こっている自動研究を拡大するが、例えば競争相手に知らせたくないなどの理由で世界に伝えないことです。それは公衆が知る価値のある種類のことです、もしそれが起こり始めているならば。
同様に、他の危険な能力、今これらの企業のいくつかはAIがバイオ兵器やサイバーにどれほど優れているかテストしています。公衆はそれらの領域での進歩のペースについて情報を得るべきです。なぜなら公衆は、AIが今年テロリストや何であれ大幅に加速できる閾値を越えたかどうかを知る価値があるからです。
また、安全性の懸念を別にしても、公衆が企業がAIに訓練しようとしている目標、原則、価値を知ることは重要です。そうすれば、公衆は企業がAIに秘密のアジェンダやバイアスを入れていないことを確認できます。
これは、コントロールの喪失を心配していなくても、誰もが気にするべきことです。しかし、それはコントロールの喪失の角度にも役立ちます。もし企業がモデル仕様を書いて「これは私たちの目指すものです」と言い、そうしていなければ、明らかにギャップがあることがわかります。
そうですね。そうです。そして、AIが実際にどのように動作するかと比較し、訓練技術が機能していない方法を見ることができます。
同様に、企業が「これが仕様に従うようにAIを取得する計画です。これは私たちが行う訓練のタイプです」と言う安全性ケースがあるべきです。
そうすれば、その計画は批評されることができます。そして学者たちはこの計画はこれらの仮定に依存しており、これらの理由でこれらの仮定は間違っていると思うと言うことができます。科学コミュニティは私が言及した技術的問題に実際に進歩をもたらすことに従事することができます。
AIが非常に知能的になり始め、初期のブレークスルーを行った主要企業が、人々を怖がらせたり危険すぎたりするためにAIの特定のバージョンを公開しないことを決めた時点があることをシナリオに書いた時、それは興味深いと思いました。それは実際に可能性が高いと思いますか？
幸いなことに、6ヶ月前よりも今はその可能性が低いと思います。皮肉なことに、企業間の激しい競争力学によって、彼らはものを公開する方向に押されています。
そうですね。そうすれば、問題がある時にもっと多くの人々が気づくでしょう。そのとおりです。そのため、皮肉なことに、私はある意味で、2、3年後の状況がまだ非常に接戦であることを望むようになりました。以前は、競争力学のために、誰もこれらの問題を実際に解決することを優先しないと常に話していました。
私はまだ、競争力学のために、誰もこれらの問題を実際に解決することを優先しないと思います。しかし、接戦であってほしいと実際に望んでいます。そうすれば彼らは秘密にしないことを強制されます。そして、それは広範囲の社会に何が起こっているかに気づき、希望的には実際に介入して何かをするために必要な知識を与えます。
対照的に、それほど接戦ではない競争の場合、例えばAI27で描写するように、主要企業が追随企業より4ヶ月先行しているようなものです。そのため、彼らは多くのものを秘密にしておくことに誘惑されるかもしれません。なぜなら、それが彼らが先行し続け、競争相手が彼らの行動を知らないようにする方法だからです。
そのような秘密は人類の観点から見ると毒です。明確にしておきたいのは、最終的にはこの競争力学を終わらせる必要があります。そうでなければ、時間内に問題を解決することができず、AI27に記述されているような種類の大惨事が起こるでしょう。
しかし、その間、より透明性が良いと思います。なぜなら、それは公衆と政府に何が起こっているかを認識し、希望的には競争を終わらせるために必要な情報を与えるからです。
確かにそうですね。皆さんが考えるべきことがたくさんあります。「AI 2027」を読んでください。オンラインで見つけることができます。ダニエル・コカテラさん、ありがとうございました。
ありがとうございました。
今日のGZERO Worldポッドキャストの回はこれで終わりです。聞いてくれましたね、もちろん。なぜ公式にしないのですか？GZERO Worldの評価とレビューをしてください。5つ星、5つ星だけです。そうでなければしないでください。Apple、Spotify、あるいはあなたがポッドキャストを得るところならどこでも。友達に教えてください。
GZERO Worldポッドキャストは、主要スポンサーであるPrologisによって提供されています。Prologisは、物流不動産の幅広いポートフォリオと、今日のグローバル物流の重要な取り組みに対応する唯一のエンドツーエンドソリューションプラットフォームで、世界中の企業がサプライチェーンを拡大するのを支援しています。詳細はprologus.comでご覧ください。
コメント