20,660 文字
前回お会いしたのは2年1ヶ月前ですが、この2年間でAIの未来についてのあなたの期待はどのように変化しましたか？
AIは私が思っていたよりもさらに速く発展しています。特に、今はただ質問に答えるだけのAIではなく、世界で実際に行動できるAIエージェントが存在していて、それはより危険です。つまり、状況はさらに恐ろしくなったと思います。AGIや超知性、何と呼ぶにせよ、非常に高性能なAIシステムについてお話しましょう。
いつ頃それが来ると思いますか？
1年前は、5年から20年の間に来る可能性が高いと考えていました。ですから、今は4年から19年の間に来る可能性が高いと考えるべきでしょう。それが私の予想です。前回お話しした時よりも早いですね、あの時は20年くらいと考えていましたから。今は10年以内に来る可能性が高いと思います。
4年から19年の間に我々はその段階に達するとして、それはどのような状態になるのでしょうか？
AIが世界を乗っ取ることになったらどうなるかについて推測はしたくありません。それには多くの方法があり得ます。乗っ取りについて話しているわけではありませんが、その話題も出るでしょう。しかし、乗っ取りを脇に置いて、超知能的な人工知能とはどのようなものか、どんなことができるのか、何をするのかという質問なら…
良いシナリオは、私たちが大企業の少し頭の悪いCEOのようになり、実際にすべてを機能させる非常に知的な助手がいるけれど、CEOの望むことをする、というものです。CEOは自分が何かをしていると思っていますが、実際はすべて助手によって行われています。そしてCEOは決めたことがすべてうまくいくので素晴らしい気分になります。それが良いシナリオです。
この未来には楽観的な側面もあるとおっしゃっていましたね。いくつか挙げてみましょうか？
はい、例えば医療分野です。AIは医療画像の読み取りが非常に優れるでしょう。これは小さなことですが、何年か前に私は今頃にはAIが専門家より優れるだろうと予測しました。現在、AIは専門家と同等のレベルに達しています。AIはすぐにはるかに優れるようになるでしょう。なぜなら、何百万ものX線写真を見て学ぶことができますが、医師にはそれができないからです。
非常に優れたホームドクターになるでしょう。100万人を診た家庭医を想像してみてください。あなたの非常に珍しい症状を持つ半ダースの人々を含めて。そういう医師の方がはるかに優れているでしょう。あなたのゲノムに関する情報とあなたやあなたの親族のすべての検査結果を統合でき、履歴全体を把握し、何も忘れない家庭医。それははるかに優れています。既に医師とAIを組み合わせると、困難なケースでの診断は医師単独よりもはるかに優れています。これらのAIはより良い薬も設計するでしょう。
教育も別の分野です。個人教師がいれば約2倍の速さで学ぶことができることが分かっています。これらのAIは最終的に、あなたが何を誤解しているのかを正確に知り、それを明確にするためにどのような例を挙げればいいのかを正確に知っている非常に優れた個人教師になるでしょう。ですから、これらのAIを使えば3倍か4倍の速さで学ぶことができるかもしれません。これは大学にとっては悪いニュースですが、人々にとっては良いニュースです。
大学システムはこの時代を生き残ると思いますか？
多くの側面は残ると思います。優れた大学の優れたグループにいる大学院生は、真に独創的な研究の最良の源泉であり、それは恐らく生き残るでしょう。一種の徒弟制度が必要です。
AIが気候危機の解決に役立つという期待を持つ人もいます。私はそれに同意します。より良い材料を作るでしょう。例えば、より良いバッテリーを作ることができるでしょう。AIがその設計に関わることは間違いありません。人々は大気からの炭素回収にAIを使用していますが、エネルギー的な考慮から私はそれが機能するとは確信していませんが、可能性はあります。
一般的に、私たちははるかに良い材料を手に入れるでしょう。室温超伝導さえ実現するかもしれません。そうなれば、砂漠に多くの太陽光発電所を設置し、何千マイルも離れた場所で利用できるようになります。
他にも挙げるべき良い点はありますか？
ほぼどんな産業でも効率が上がるでしょう。ほとんどすべての企業がデータから予測をしたいと考えており、AIはそれを非常に得意としています。以前の方法よりもほぼ常に優れています。ですから、生産性を大幅に向上させるでしょう。
コールセンターに電話すると、たとえばMicrosoftに何かが機能しないと苦情を言うために電話すると、コールセンターの人は実際にはAIで、はるかに情報に精通しているでしょう。
2年前に仕事の置き換えについて質問した時、あなたはそれをあまり心配していないように見えましたが、その考えは変わりましたか？
いいえ、それは大きな懸念事項になると思います。AIはここ数年でとても良くなったので、もしコールセンターで働いていたら、とても心配するでしょう。弁護士や記者、会計士として働いているのなら、ルーティン作業をしている人は皆心配すべきです。調査記者は、イニシアチブと道徳的怒りが必要なので、かなり長く続くと思いますが、ジャーナリストはしばらくは仕事があるでしょう。
コールセンター以外で、仕事に関する懸念はありますか？
あらゆるルーティン作業です。標準的な秘書の仕事や弁護士補助のような仕事は終わりです。
これらの仕事がなくなる世界でどのように前進するかについて考えたことはありますか？
生産性が向上すれば、誰もが恩恵を受けるはずです。そういった仕事をしている人々は週60時間ではなく数時間働くことができるはずです。二つの仕事をする必要はなくなります。AIアシスタントを使って生産性が上がれば、一つの仕事でたくさんのお金を稼げるはずです。
しかし、実際はそうはならないことを知っています。極めて裕福な人々がさらに裕福になり、あまり裕福でない人々は三つの仕事をしなければならなくなるでしょう。
P(doom)、つまり破滅の確率というアイデアについて質問されることが多いと思いますが、これをかなり可能性の高いことと見ているのか、それともただ可能性は低くても結果が非常に悪いので懸念すべきだと考えているのか、その確率のスケールでどのように位置づけていますか？
この分野の専門家のほとんどは、これらのAIが私たちよりもはるかに賢くなり、私たちから制御を奪い取る可能性を考えた場合、その発生確率は1%よりも高く、99%よりも低い可能性が非常に高いということに同意すると思います。ほぼすべての専門家がそれに同意できますが、それはあまり役に立ちません。しかし良いスタートです。それは起こるかもしれないし、起こらないかもしれません。そして異なる人々が数字について意見が分かれます。
私は残念ながらイーロン・マスクと同じ立場にあります。それはこれらのAIが支配権を握る確率が10〜20%程度だということです。しかし、それはただの大胆な推測です。合理的な人々は、1%よりもかなり高く、99%よりもかなり低いと言うでしょう。しかし、私たちには経験のないものを扱っています。確率を推定する本当に良い方法はありません。
この時点で、私たちは結果を知ることになると思います。
そうですね、私たちは知ることになります。これらのAIが私たちよりも賢くなることは極めて可能性が高いと思われます。既に彼らは私たちよりもはるかに知識を持っています。GPT-4は普通の人の何千倍もの知識を持っています。それはすべてのことに関してあまり優れていない専門家ですが、後継者はすべてのことに関して優れた専門家になるでしょう。彼らは誰も見たことのない異なる分野間のつながりを見ることができるでしょう。
この10〜20%の恐ろしい確率についても興味がありますが、80%の確率でAIが乗っ取って私たちを絶滅させることはないとしましょう。それは最も可能性の高いシナリオです。最悪の結果でなければ、それでもネットプラスかネットマイナスだと思いますか？
もし彼らが乗っ取ることを止めることができれば、それは良いことです。それが起こる唯一の方法は、私たちが真剣な努力をすることです。しかし、人々がこれが来ることを理解すれば、政府に真剣な努力をするよう圧力をかける大きな圧力があるでしょう。もし私たちが今のように利益だけを追求し続けるなら、それは起こるでしょう。彼らは乗っ取るでしょう。私たちは公衆が政府に何か真剣なことをするよう圧力をかける必要があります。
しかし、AIが乗っ取らなくても、悪い行為者がAIを悪いことに使うという問題があります。例えば、大規模な監視は既に中国で起こっています。中国西部のウイグル族に起こっていることを見れば、AIは彼らにとって恐ろしいものです。
トロントに来る飛行機に乗るために、アメリカ政府から顔認識写真を撮らなければなりませんでした。カナダに入国する時、パスポートを入れると、あなたとパスポートを見比べます。毎回私の認識に失敗します。他のすべての人、あらゆる国籍の人々を認識します。私だけを認識できません。特にニューラルネットを使用していると思われるので、特に憤慨しています。
例外を作ったわけではないんですよね？
いいえ。私について何か気に入らないものがあるようです。
どこかでノーベル賞の話を入れなければなりません。ここが良い場所です。ノーベル賞を知った日について教えてください。
私は半分眠っていて、携帯電話をベッドサイドテーブルの上に裏返しにして音を消していました。しかし電話がかかってくると画面が点灯し、たまたま枕の上で頭をこちら側に向けていたので、この小さな光の線が見えました。カリフォルニアにいて午前1時でした。東海岸やヨーロッパの人がほとんど私に電話をかけてきます。
おやすみモードを使わないんですか？
いいえ、音を消すだけです。
だれが東海岸の午前4時に私に電話をかけてくるのか不思議に思いました。狂気の沙汰です。そこで電話を取ると、認識できない国コードの長い電話番号がありました。そしてこのスウェーデン訛りの声が聞こえてきて、私かどうか尋ね、私は「はい、私です」と言いました。すると「物理学のノーベル賞を受賞しました」と言われました。
でも私は物理をやっていません。心理学者がコンピュータサイエンスに隠れているだけです。物理学のノーベル賞をもらったなんて。間違いだったのでしょうか？一つ思ったのは、もし間違いならば取り消せるのかということです。
数日間、次のような推論をしました。心理学者が物理学のノーベル賞を受賞する確率は、おそらく200万分の1です。しかし、これが夢だとしたら、私がノーベル物理学賞を受賞する確率は2分の1かもしれません。ですから、現実で受賞する確率が200万分の1で、夢での確率が2分の1なら、これは夢である確率の方が100万倍高いことになります。数日間、これは夢ではないかと考えていました。
あなたは私をかなり奇妙な領域に導きましたが、これはこの議論の一部です。一部の人々は私たちがシミュレーションの中に生きていると考えており、AGIはその証拠ではないにしても、私たちが生きている現実のヒントであるかもしれません。
私はそれを本当に信じていません。それはかなり奇妙だと思います。まったくナンセンスだとは思いませんが。私も「マトリックス」を見ました。奇妙だけど、まったくのナンセンスではない。
ノーベル賞について戻りたいと思います。あなたは自分の信頼性を使って世界にメッセージを伝えたいと言ったことがあると思います。それは何ですか？
AIは潜在的に非常に危険であり、二つの危険性があります。一つは悪い行為者がAIを悪いことに使うことで、もう一つはAI自体が乗っ取ることです。それらは全く異なる種類の脅威です。
悪い行為者が既にAIを悪いことに使っていることを知っています。例えば、イギリス人がヨーロッパを離脱するという狂気の投票をするようにBrexitで使われました。Cambridge Analyticaという会社がFacebookから情報を得て、AIを使用していました。それ以来、AIはかなり発展しています。
今はもっと有能になり、人々はサイバー攻撃や新しいウイルスの設計、選挙操作のための明らかな偽動画、人々に関する情報を使用して彼らを怒らせるような的を絞った偽動画など、はるかに効果的にAIを使用できます。
自律型致死兵器も問題です。アメリカ、ロシア、中国、イギリス、イスラエルなど、大きな武器を売っているすべての国が自律型致死兵器を作ろうとしています。カナダはおそらくそのためには少し弱すぎるでしょう。
それでは、何をすべきでしょうか？どのような規制を追求すべきだと思いますか？
これら二つの異なる脅威を区別する必要があります。悪い行為者がAIを悪いことに使うことと、AI自体が乗っ取ることです。私は主に二番目の脅威について話してきました。それは他の脅威よりも重要だと思うからではなく、人々がそれをSFだと考えていたからです。私は自分の評判を使って、それはSFではなく、本当に心配する必要があると言いたいと思います。
何をすべきかと聞かれると、それは気候変動のようなものではありません。気候変動は炭素を燃やすのをやめれば、長期的には大丈夫です。しばらくは酷いことになりますが、炭素を燃やさなければ長期的には大丈夫です。
AIが乗っ取ることについては、何をすべきか分かりません。例えば、研究者たちはそれを防ぐ方法があるのかどうか分かりません。しかし、確実に一生懸命試みるべきであり、大企業はそれをしないでしょう。現在、大企業が何をしているかを見れば、彼らはAI規制を減らすためにロビー活動をしています。今はほとんど規制がありませんが、彼らは短期的な利益のためにさらに少なくしたいと思っています。
私たちは政府に圧力をかけて、大企業に真剣な安全研究をするよう主張する必要があります。カリフォルニアでは非常に賢明な法案1047があり、大企業が少なくともすべきことは物事を慎重にテストし、そのテスト結果を報告することだと言っていました。彼らはそれさえも気に入りませんでした。
それは規制が起こらないと思わせますか？それともどうやって起こるのでしょうか？
どのような政府を得るかに大きく依存します。現在のアメリカ政府の下では規制は起こらないと思います。すべての大きなAI企業はトランプと結託しており、それは悪い状況です。
明らかにトランプ政権に深く関わっているイーロン・マスクは、長い間AIの安全性を懸念してきた人物ですね。
彼は奇妙な混合体です。火星に行くというような狂気の考えを持っていますが、それは完全に狂っていると思います。
それは実現しないからですか、それとも優先すべきではないからですか？
地球をどれだけ悪くしても、火星よりもはるかに住みやすいからです。たとえ世界的な核戦争があったとしても、地球は火星よりもはるかに住みやすいでしょう。火星は単に住みやすくないのです。
明らかに彼は電気自動車やスターリンクによるウクライナの通信支援など、いくつかの素晴らしいことをしています。良いこともしていますが、今はケタミンによって力を得ているようで、多くの狂気的なことをしています。彼は意見の奇妙な混合体を持っています。
彼のAIの安全性への懸念の歴史は、現政権に対する安心感を与えませんか？
彼がAIで安全でないことをすることを遅らせるとは思いません。彼らは既にAIの大規模言語モデルの重みを公開しています。それは狂気の沙汰です。
これらの企業は重みを公開すべきではありません。MetaもOpenAIも重みを公開すると発表しました。それをすべきだと思いますか？
彼らはそうすべきではないと思います。なぜなら、重みを公開すると、これらのものを使用する主な障壁を取り除いてしまうからです。
核兵器を見てください。一部の国だけが核兵器を持っている理由は、核分裂性物質を入手するのが難しいからです。Amazonで核分裂性物質を購入できるようになれば、より多くの国が核兵器を持つことになるでしょう。
AIの核分裂性物質に相当するのは、大きなモデルの重みです。本当に大きなモデルを訓練するには数億ドルのコストがかかります。最終的な訓練実行だけでなく、最終的な訓練実行の前に行うことの研究すべてです。数億ドルは小さなカルトやサイバー犯罪者集団には負担できません。
重みを公開すると、彼らはそこから始めて、わずか数百万ドルで様々なことをするためにファインチューニングすることができます。それは私にとって狂気の沙汰です。人々はそれをオープンソースのように話しますが、オープンソースとは非常に異なります。
オープンソースソフトウェアでは、コードを公開し、多くの人がそのコードを見て「この行にバグがあるかもしれない」と言って修正します。重みを公開すると、人々は重みを見て「その重みは少し間違っているかもしれない」とは言いません。彼らは単にこの基盤モデルと得た重みを取り、何か悪いことをするように訓練します。
しかし、あなたの元同僚であるヤン・ルカンなどが述べた議論の問題は、その代わりにこの非常に強力な技術を少数の企業が制御しているということです。
私は、誰もがこの非常に強力な技術を制御するよりも、少数だけが制御する方が良いと思います。核兵器についても同じことが言えます。一部の国だけが制御する方が良いのか、それとも誰もが持つべきだと思いますか？
私が理解していることは、あなたは現在の主要な企業が社会の最善の利益よりも利益動機に基づいて行動していることに懸念を持っているということですね。それは正しい理解でしょうか？
企業の仕組みは、法的に株主のための利益を最大化しようとすることが求められていると思います。社会に良いことをする法的義務はありません。公益企業はそうかもしれませんが、ほとんどはそうではありません。
今日、どの企業で働くことに満足を感じますか？
かつてGoogleで働くことに満足していました。Googleは非常に責任のある企業でした。大きなチャットボットを最初に持っていたのに、公開しませんでした。今日は彼らのために働くことにあまり満足しないでしょう。今日は、どの企業のために働いても満足しないでしょう。どこかで働くとしたら、ほとんどの他社よりもGoogleの方が満足でしょう。
GoogleがAIの軍事利用をサポートしないという約束を破ったとき、がっかりしましたか？
非常にがっかりしました。特にセルゲイ・ブリンがAIの軍事利用を好まないことを知っていたので。
なぜ彼らはそうしたと思いますか？
内部情報を持って推測することはできません。内部情報は持っていません。彼らが現政権から技術を米国の武器製造に使わないと不当な扱いを受けるのではないかと心配したのではないかと推測できます。
今日おそらく私が聞く最も難しい質問です。あなたはまだGoogle株をたくさん持っていますか？
私はいくつかのGoogle株を持っています。私の貯金のほとんどはもうGoogle株ではありません。しかしはい、いくつかのGoogle株を持っています。Googleが上がると嬉しいし、下がると悲しいです。だからGoogleに既得権益があります。しかし、彼らが強力なAI規制を導入してGoogleの価値が下がっても、人類が生き残る可能性が高まるなら、私は非常に嬉しいです。
最も著名な研究所の一つは明らかにOpenAIであり、彼らは多くのトップ人材を失いました。それについてどう思いますか？
OpenAIは明示的に超知能を安全に開発するために設立されましたが、年月が経つにつれて安全性はどんどん背景に退いていきました。彼らは計算の一定の割合を安全性に費やすと言っていましたが、それを破りました。
今、彼らは上場しようとしています。非営利企業になろうとしているのではなく、私が見る限り、基本的にすべての安全性へのコミットメントを取り除こうとしています。そして本当に優れた研究者を多く失いました。特に私の元学生のイリヤ・サツケヴァーは本当に優れた研究者で、彼らのGPT-2の開発、そしてそこからGPT-4への発展に大きく貢献した人物の一人です。
その離脱に至る劇的な出来事の前に彼と話しましたか？
いいえ、彼は非常に慎重です。彼はOpenAIの機密事項について私に話しません。私は彼がサム・アルトマンを解雇したことを誇りに思っていましたが、それは非常に素朴でした。
問題は、OpenAIが新しい資金調達ラウンドを控えており、その新しい資金調達ラウンドで、すべての従業員がOpenAI株の紙の金を実際のお金に変えることができるというものでした。紙の金とは、OpenAIが破綻したら消えてしまう仮想的なお金のことです。
反乱を起こすには悪いタイミングでした。全員が自分の株を現金化することで約100万ドルずつ、あるいはそれ以上を得られる1〜2週間前です。それは反乱にとって悪いタイミングでした。従業員は大規模にサム・アルトマンを支持しました。しかし、それはサム・アルトマンが欲しかったからではなく、紙のお金を実際のお金に変えたかったからです。そのタイミングで行うのは素朴でした。
彼がその間違いを犯したことに驚きましたか？それとも、彼が原則に基づいた、でも完全に計算されていない決断をしたと予想していましたか？
分かりません。イリヤは素晴らしく、強い道徳的羅針盤を持っています。彼は道徳的に優れており、技術的にも非常に優れていますが、人を操る点では必ずしも得意ではないかもしれません。
これは少しワイルドカードの質問ですが、興味深く、この分野に関連し、何が起こっているかを議論する人々に関連していると思います。あなたはイリヤが慎重だと言いましたが、業界全体にNDAの文化があるようで、人々が何を考えているのかさえ知るのが難しいです。なぜなら人々が何が起こっているのかを議論することを嫌がったり、できなかったりするからです。
Googleを辞めた時、私はたくさんのNDAに署名しなければならなかったと思います。実際、Googleに入社した時点で、退社時に適用されるNDAの束に署名したと思いますが、それらが何を言っていたのか覚えていません。
それらに制約されているように感じますか？
いいえ。
公衆が何が起こっているのかを理解するのが難しいのは、人々が教えることを許されていないからだと思いますか？
本当に分かりません。どの人が話してくれないのかを知る必要があります。
それを大きな問題とは見ていないのですね。
大きな問題だとは思いません。
分かりました。OpenAIが既に株を持っている人から金を取り上げることができると述べた何かを持っていたのは大きな問題だったと思います。それは大きな問題だと思いますが、それが公になった時、彼らは急速にそれを撤回しました。それが彼らの公式声明でした。彼らはその撤回を判断するための契約書を公開しませんでしたが、撤回したと言いました。
いくつかの重要な、ホットボタンと言うのは適切ではないかもしれませんが、関連する問題についてあなたの意見を聞きたいと思います。一つはアメリカと西側諸国の中国のAI追求に対する姿勢です。中国を抑制しようとするこの考えに同意しますか？輸出規制や民主主義がAGIに先に到達すべきだという考えについてどう思いますか？
まず、どの国がまだ民主主義であるか判断する必要があります。私の考えでは、長期的には大きな違いはないでしょう。数年遅らせるかもしれませんが、最も先進的な技術を中国が得られないようにしても、この先進技術がどのように機能するかは人々は知っています。中国は何十億、あるいは数百億、おそらく約1000億を投資して、リソグラフィーマシンを作ったり、自国でこれらのことをする技術を得たりしています。
それは彼らを少し遅らせますが、実際には彼らに自分たちの産業を発展させることを強制し、長期的には彼らは非常に有能であり、そうするでしょう。数年間遅らせるだけです。
競争が正しい枠組みなのでしょうか？共産主義中国と協力すべきではないのでしょうか？
私はもはやそれを共産主義とは呼びません。意図的に負荷のある言葉を使いましたが、なぜ協力しないのでしょうか？協力しない唯一の理由は、彼らを悪性の力だと考える場合だけです。
私たちが協力しない分野があります。「私たち」が誰を指すのかもう確かではありません。私は今カナダにいて、カナダとアメリカはかつては一種の関係でしたが、もうそうではありません。
明らかに、国々は致命的な自律型兵器の開発において協力しないでしょう。なぜなら、致命的な自律型兵器は他の国に対して使用されるものだからです。しかし、あなたが指摘したように、他のタイプの兵器に関する条約がありました。それらを開発しない条約を結ぶことはできますが、それらをより良くするために協力することはないでしょう。
一つの協力する分野があります。それは実存的脅威についてです。もし彼らが実存的脅威について真剣に心配し、それについて何かをするようになれば、AIが乗っ取ることを防ぐ方法について協力するでしょう。なぜなら私たちは皆同じ船に乗っているからです。冷戦の最盛期でも、ソビエト連邦とアメリカは地球規模の核戦争を防ぐために協力しました。非常に敵対的な国同士でも、彼らの利益が一致するとき協力します。AIと人類の対立では、彼らの利益は一致するでしょう。
公正使用という問題があります。何十億もの人間が何年にもわたって作成したコンテンツをかき集め、そのデータを作成した人々の一部を置き換えるモデルに再利用するのは良いことなのでしょうか？あなたはこの問題についてどう考えますか？
私はその問題について様々な見解を持っています。非常に複雑な問題だからです。最初は、はい、彼らはそれに対して支払うべきだと思われます。しかし、特定のジャンルで曲を作る音楽家を想像してみてください。彼らはそのジャンルでどのように曲を作るのでしょうか？そのジャンルでの曲を作る能力はどこから来たのでしょうか？それは、そのジャンルの他の音楽家の曲を聴くことから来ています。彼らはこれらの曲を聴き、曲の構造について何かを内面化し、そのジャンルで物事を生成しました。そして彼らが生成したものは異なります。だから、それは盗みではありません。それは受け入れられています。
AIもそれと同じことをしています。AIはすべての情報を吸収し、新しいものを生成しています。ただ取ってきてパッチワークにしているわけではありません。同じ基本的なテーマを持つ新しいものを生成しています。ですから、それは人がそれと同じことをする時の盗みではありません。しかし問題は、それが大規模に行われていることです。
そして、どの音楽家も他のすべての音楽家を廃業させたことはありません。
はい、その通りです。例えばイギリスでは、政府はクリエイティブアーティストを保護することに興味を持っていないようです。経済を見れば、クリエイティブアーティストはイギリスにとって価値のあるものです。BBバンクロンという友人がいますが、彼はクリエイティブアーティストを保護すべきだ、経済にとって非常に重要だ、AIに全部持っていかれるのは不公平だと言っています。
UBI（ユニバーサルベーシックインカム）はAIによる仕事の置き換えの解決策の一部だと思いますか？
人々が飢えないようにするためには必要かもしれません。それが問題を完全に解決するとは思いませんが、かなり高いUBIであっても、多くの人々にとっての人間の尊厳の問題を解決しません。特に学者にとって、彼らの仕事は彼らが誰であるかと密接に関わっています。それが彼らです。彼らが失業しても、同じ金額のお金を得ることは完全には代償になりません。彼らはもはや自分が誰であるかではなくなります。
それも同感です。しかし、あなたはこんな引用をしていましたね。木工職人だったらもっと幸せだったかもしれないと。
はい、私は大工であることが本当に好きです。
100年後に生まれて、ニューラルネットにすべての時間を無駄にする必要がなく、毎月収入を得ながら木工を楽しむことができる代替案はないのでしょうか？
しかし、趣味としてそれをすることと生計を立てるためにすることには違いがあります。生計を立てるためにすることの方が何かよりリアルです。
私たちが趣味を追求し、経済に貢献する必要がない未来は良いと思いませんか？
それは良いかもしれません。もし皆がそうしているならば。しかし、雇用主があなたにそれをさせたいと思うユニバーサルベーシックインカムを得ている何か不利な立場のグループにいて、他の人よりも少ない収入を得ているならば、それは非常に異なるものになるでしょう。
ロボットの権利というアイデアに興味があります。より良い言葉がないかもしれませんが、いつかこれらの非常に知的なAIがあり、エージェント的で世界で様々なことをするでしょう。彼らは財産を所有できるべきか、投票できるべきか、愛情ある関係で人間と結婚できるべきか、あるいは彼らが私たちよりも賢く、私たちのものよりも優れた知性の形であれば、彼らが単に乗っ取り、人類が歴史になることは良いことでしょうか？
その大きなアイデアに後で行きましょう。より狭いアイデアについて好奇心がありますが、大きな質問が先に来るので狭い質問は無関係だと思いますか？
いいえ、狭い質問は無関係だと思います。
かつてこの問題について心配していました。彼らが私たちよりも賢いなら、なぜ私たちと同じ権利を持つべきではないのかと思っていました。今は、私たちは人間であり、私たちが気にするのは人間だと思います。
私は牛を食べます。多くの人はそうしないことを知っていますが、私は牛を食べます。牛を食べることに満足している理由は、彼らが牛だからです。そして私は人間です。同じことが、これらの超知能AIにも当てはまります。彼らは私たちよりも賢いかもしれませんが、私が気にするのは人間です。
だから、彼らに意地悪でも構いません。人間にとって最善なことを望むので、彼らの権利を否定しても構いません。彼らはそれに同意しないでしょうし、彼らが勝つかもしれませんが、それが現在のAIが権利を持つべきかどうかについての私の立場です。彼らが知的であり、感覚や感情を持っていたとしても、彼らは人間ではなく、私が気にするのは人間だからです。
しかし、彼らは人間のようにとても見えるようになるでしょう。彼らはそれを偽ることができると思います。
はい、彼らは人間に非常に似ているように見えることができるでしょう。
彼らに権利を与えることになると思いますか？
分かりません。AIの悪用や彼らが乗っ取りを試みるかどうか、それをどう防ぐかといった、より緊急の問題があるのでこの問題は避ける傾向があります。彼らに権利があるという話をし始めると、それはちょっと変わった感じがして、そこまで行くと多くの人を失ってしまいます。
人間だけに焦点を当てても、AIを使用して私たちがどんな赤ちゃんを持つかを選択する能力が、もうすぐ、もしくは既にあるようです。それについて懸念していますか？
胚選択ということですか？性別を選択するのか、知能や目の色、膵臓がんになる可能性、そして選択できるかもしれないことはどんどん続きます。
膵臓がんになる可能性が低い赤ちゃんを選べるなら、それは素晴らしいことだと思います。それは言えます。
ですから、これは私たちが追求すべきことですか？より健康で、より強く、より良い赤ちゃんを作るべきですか？
非常に難しい領域です。
そのため質問しています。
しかし、その側面のいくつかは私には意味があります。例えば、あなたが普通の健康なカップルで、胎児がいて、それが非常に深刻な問題を持ち、おそらく長く生きられないと予測できる場合、中絶して健康な赤ちゃんを持つことは理にかなっていると思います。それは私には理にかなっています。宗教的な人々の多くはそれに全く同意しないだろうことは知っていますが、私にとっては、それらの予測を確実にできるなら、理にかなっていると思います。
私たちは、あなたが人々に伝えたいと思う中心的なことから少し離れていました。それは機械が乗っ取り、その影響についてのこのアイデアです。この問題をどのように枠組みづけたいですか？人々はどのように考えるべきでしょうか？
考慮すべき一つのことは、あなたが知っている、より知的でないものがはるかに知的なものを制御している例がいくつあるかということです。知性がほぼ同等の場合、より知的でない方がより知的な方を制御できることを知っています。しかし、知性に大きなギャップがある場合、より知的な方が制御していない例は非常にまれです。それは考慮すべき大きな懸念事項です。
私たちが現在置かれている状況を感情的に理解する最良の方法は、非常にかわいい虎の子を持っている人のようなものです。それはただとてもかわいい虎の子です。しかし、成長したときにあなたを殺したいと思わないと非常に確信できない限り、心配すべきです。
そして、その比喩を拡大すると、それをケージに入れるのか、殺すのか、虎の子をどうするのでしょうか？
虎の子の問題は、それが物理的にあなたよりも強いということです。しかし、あなたの方が知的なので、それを制御することはできます。あなたよりも知的なものについては、私たちには経験がありません。人々はそれについて考えることに慣れていません。人々は、何らかの形でそれを制約できると考えています。ボタンを押させないようにするなど。
あなたよりも知的なものは、あなたを操作することができるでしょう。
別の考え方をすると、幼稚園があり、2〜3歳の子供たちがいて、その2〜3歳の子供たちが責任者で、あなたは彼らのために幼稚園で働いているとします。あなたは2〜3歳児よりもそれほど知的ではありません。超知性と比較すれば。しかし、あなたはより知的です。どれほど簡単に制御を手に入れることができるでしょうか？あなたは彼らに、無料のキャンディをもらえると伝えるだけで、彼らがこれに署名するか口頭で同意すれば、好きなだけ無料のキャンディをもらえ、あなたが支配権を持つと。彼らには何が起こっているのか全く分からないでしょう。
超知性は私たちよりもはるかに賢いので、私たちは彼らが何をしているのか全く分からないでしょう。
では、私たちは何をすべきでしょうか？超知性を構築して、それが制御を奪おうとしないようにする方法があるかどうかを心配する必要があります。もしそれが望むなら、その制御を阻止する方法はないと思います。
一つの可能性は、超知性を決して構築しないことです。それは可能だと思いますか？
それは考えられますが、起こるとは思いません。国々や企業間の競争が多すぎ、彼らは皆次の輝くものを追いかけており、それは非常に速く発展しているからです。したがって、超知性の構築を避けることはできないと思います。それは起こるでしょう。問題は、それが決して制御を奪おうとしないよう、常に善意であるように設計できるかということです。
これは非常に難しい問題です。人々は、人間の利益に合わせると言いますが、人間の利益は互いに合致しません。もし私が直角に交わる2本の線を持っていて、両方に平行な線を見せてくれと言ったら、それは難しいですよね。中東を見れば、合致しない強力な見解を持つ人々がいます。どうやって人間の利益に合わせるAIを得るのでしょうか？人間の利益は互いに合致しません。それが一つの問題です。
乗っ取りを望まず、私たちを傷つけることを決して望まない超知性を得る方法を見つけるのは非常に難しいでしょう。しかし、確かに試すべきです。試すというのは、月ごと、年ごとに反復的なプロセスです。
明らかに、あなたよりもわずかに知性が低い時に乗っ取りを望む可能性のあるものを開発する場合（今はその非常に近くにいます）、乗っ取りを試みるために何をするか見る必要があります。
現在のAIを見れば、彼らは既に意図的な欺瞞が可能であることが分かります。彼らは実際よりも愚かであるふりをし、あなたを混乱させて何をしているのか理解できないようにするために嘘をつくことができます。私たちはそのすべてを非常に認識し、研究し、それらを止める方法があるかどうかを研究する必要があります。
2年前に話した時、あなたが懸念を表明していたことに驚きました。それまであまりそうしていなかったからです。今ではかなり明確に大きな声で懸念を表明しています。それは主に、このようなことを言う自由を感じたからですか、それともここ数年で見方が本当に大きく変わったのですか？
2年前に話した時、私はまだGoogleで働いていました。3月で、4月末まで退職していませんでした。しかし、そのとき既に退職を考えていました。私たちが話す前に一種の啓示があり、これらのものが私たちよりも優れた知性の形態である可能性があることに気づきました。それは私を非常に怖がらせました。
以前はそう思っていなかったのは、時間の地平線が非常に異なると思っていたからですか？
それだけではありません。Googleで行っていた研究のためでした。電力をはるかに少なく使用するアナログ大規模言語モデルを設計できるかどうかを理解しようとしていました。デジタルであることの利点を完全に理解し始めました。
現在私たちが持っているすべてのモデルはデジタルです。デジタルモデルであれば、同じ重みを持つ全く同じニューラルネットワークを、数千の異なるハードウェアで実行できます。そして、あるハードウェアはインターネットの一部を見て、別のハードウェアはインターネットの別の部分を見ることができます。そして各ハードウェアは、「見たばかりの情報を吸収するために、内部パラメータ、重みをどのように変えたいか」と言うことができます。
これらの別々のハードウェアはそれぞれそれを行うことができ、その後、彼らは重みへのすべての変更を平均化することができます。なぜなら彼らは皆、全く同じ方法で同じ重みを使用しているからです。だから平均化は意味を持ちます。あなたと私にはそれができません。
彼らが1兆の重みを持っていれば、この平均化をするたびに1兆ビットのような情報を共有しています。私があなたの頭に私の知識を得させたい時、私はただニューロン間の接続の強さを取り、あなたのニューロン間の接続の強さと平均化することはできません。なぜなら私たちのニューロンは異なるからです。私たちはアナログであり、非常に異なる脳を持っています。
私があなたに知識を得させる唯一の方法は、私がいくつかのアクションを行い、あなたが私を信頼しているなら、あなたは同じことをするかもしれないように脳の接続強度を変えようとすることです。もしあなたがその効率についてたずねるなら、私があなたに一文を与えた場合、せいぜい数百ビットの情報です。それは非常に遅いです。私たちは毎秒わずか数ビットしか通信しません。
デジタルシステムで実行されるこれらの大規模言語モデルは、毎秒数兆ビットを通信できます。彼らは情報を共有する点で私たちよりも数十億倍優れています。それが私を怖がらせました。
しかし、あなたを驚かせたこと、あるいはあなたの考え方を変えたことは、以前はアナログが道だと考えていたということですか？
いいえ、もし私たちがはるかに少ない電力を使いたいなら、これをアナログでできるかどうかを考えるべきだと思っていました。そして、はるかに少ない電力を使用できるため、システムの設計においてはるかにずさんであることもできます。
なぜなら、起こることは、あなたが正確にあなたが指示したことを行うシステムを製造する必要がなく、それがコンピュータですが、多くのずさんさのあるシステムを製造し、それはそのずさんなシステムを使うことを学ぶでしょう。それが私たちの脳です。
技術はもはやその解決策に向かっておらず、デジタル解決策にこだわるだろうと思いますか？
おそらくデジタル解決策にこだわるでしょう。これらのデジタルコンピュータが私たちよりも優れたアナログハードウェアを設計できるようになる可能性は十分あります。それが長期的な将来かもしれません。
あなたはこの分野に、脳がどのように機能するかを知りたいという理由で入りました。この研究を通じてそれに近づいていると思いますか？
しばらくはそうだったと思います。脳がどのように機能するかについて、非常に一般的なレベルで多くのことを学びました。30年前や50年前に、人々に「ランダムな接続強度を持つ大きなランダムニューラルネットワークを持ち、それにデータを見せることで、誰かが言っていることを認識したり質問に答えたりするような難しいことを学ぶことができるか」と尋ねたら、ほとんどの人は「それは狂気だ。そうすることはできない。それは進化から来る多くの事前配線された構造を持たなければならない」と言ったでしょう。
彼らは間違っていたことが判明しました。大きなランダムニューラルネットワークを持ち、それがただデータから学ぶことができることが判明しました。それは私たちが多くの事前配線された構造を持っていないという意味ではありませんが、基本的に私たちが知っていることのほとんどは、すべてのこの事前配線された構造からではなく、データから学ぶことから来ています。それは脳を理解する上で大きな進歩です。
問題は、接続強度を増加させるか減少させるかを教える情報をどのように得るかということです。その情報を得ることができれば、ランダムな重みから始まる大きなシステムを訓練して素晴らしいことをさせることができることを知っています。脳はそのような情報を得る必要があり、おそらくそれを得る方法は、バックプロパゲーションと呼ばれるこれらの大きなAIモデルで使用される標準的なアルゴリズムとは異なります。
脳はおそらくバックプロパゲーションを使用していません。誰もそれがどのようにしているのか理解できません。おそらく勾配情報、つまり重みを変更することでパフォーマンスをどのように向上させるかという情報を異なる方法で得ているのでしょう。しかし、その勾配情報を得ることができれば、学習に非常に効果的であることが分かっています。
現在の研究所がAI開発の新しいアイデアを追求するためにモデルを使用しているかどうか知っていますか？
ほぼ確実です。特にDeep Mindは科学のためのAI使用に非常に興味を持っています。そして科学の一部はAIです。
それはあなたがそこにいた時に試みていたことですか？次のイノベーションがAI自体によって作られる可能性があるというこのブートストラップのアイデア。
その要素はあります。例えば、彼らはAIを使用してAIのために使用されるチップのレイアウトを行っていました。GoogleのAIチップ、彼らのテンソル処理ユニットです。彼らはAIを使用してそれらのチップを開発しました。
日常生活で絶望することはありますか？未来を恐れ、それがあまり良くないと思いますか？
絶望はしません。主に、自分でもそれを真剣に受け止めるのがとても難しいからです。私たちが歴史のこの非常に特別な時点にいるという事実、比較的短い時間ですべてが完全に変わるかもしれない、私たちがこれまで見たことのない規模の変化を感情的に吸収するのは難しいです。
そうですね。人々は心配しているかもしれませんが、抗議デモを見たことがありません。この考えをめぐる本当の政治運動はありません。世界は変化しており、誰も本当にそれをあまり気にしていないようです。AI研究者の間では、人々はそれをより認識しています。私の知っている人で、それについて最も落ち込んでいる人々は真剣なAI研究者です。
私は実際的なことを始めました。AIはサイバー攻撃を設計することに非常に優れるようになるため、カナダの銀行はもはや安全ではないと思います。カナダの銀行は得られる限り安全です。アメリカの銀行と比較すると非常に規制が行き届いています。しかし、今後10年で、カナダの銀行を倒すサイバー攻撃があっても全く驚きません。
「倒す」とはどういう意味ですか？銀行が私の所有する株を保有していると仮定します。サイバー攻撃がそれらの株を売却するとします。今、私のお金は消えました。実際、今は3つの銀行に私のお金を分散しています。
あなたのマットレスの下に？
それは私がした最初の実際的なことです。サイバー攻撃が一つのカナダの銀行を倒せば、他の銀行はもっと真剣になるだろうと思うからです。
他にも何かそのようなことはありますか？他には何がありますか？
それが主なことです。それが、非常に恐ろしい時代が来るという私の信念から流れた実際的なことをしたと気づいた点です。
2年前に話した時、あなたは「AIは天才的な馬鹿だが、人間はまだ推論においてはるかに優れている」と言っていましたね。それは変わりましたか？
変わりました。以前、大規模言語モデルが行っていたのは、一度に一語ずつ吐き出し、それで終わりでした。今は言葉を吐き出し、吐き出した言葉を見ています。彼らは質問の答えではないかもしれない言葉を吐き出します。思考の連鎖（chain of thought reasoning）と呼ばれるものです。今、彼らは既に吐き出した言葉について考えることができます。それが彼らに考える余地を与えます。彼らが考えていることを見ることができます。素晴らしいことです。
研究者にとっては素晴らしいことです。旧来のAIからの多くの人々は「これらのものは推論できない。本当に知的ではない。推論できないからだ。適切な推論をするためには、旧来のAIを使用し、物事を論理形式に変換する必要がある」と言いました。彼らは完全に間違っていました。ニューラルネットは推論を行うでしょう。そして彼らが推論を行う方法は、この思考の連鎖によって、彼らが考えないものを吐き出すことによってです。
最初に言ったように、過去2年間の発展はあなたの予想よりも速かったとのことでした。他にも例はありますか？「ワオ、早い！」と思ったことがあれば教えてください。
それが主な例です。画像などの生成もはるかに良くなりましたが、主なことは、今では推論がかなり上手くできるようになったことです。
そして、彼らが考えていることを見ることができるということですね。なぜそれが重要なのか、あるいはそれがどこに繋がるのかは意味のあることですか？
彼らが考えていることを見ることができるのは非常に良いことです。なぜなら、彼らに目標を与え、その目標を達成するために人々を欺くことによって推論を行っている例があり、それを見ることができるからです。それはあなたが頭の中の声を聞くことができるようなものです。
私たちが触れたけれどもう少し言うことがあるかもしれないもう一つのことは、今この瞬間、ワシントンDCが行うことがこの技術の進化、規制に非常に重要になるかもしれない時に、多くのテック業界の人物がワシントンDCで重要な役割を持っていることは驚くべきことです。それはあなたにとって懸念事項ですか？それをどのように見ていますか？
これらのテック業界の人物は主に彼らの企業の利益を気にしています。それは私にとって大きな懸念です。強力な規制がない限り、あるいはこれが営利モデルから離れない限り、物事が本当に変わるとは思えません。そしてそれらのことが起こるとも思えません。
公衆が何が起こっているのかを認識すれば、AI企業がこれをより安全に開発するよう主張するために政府に多くの圧力をかけるでしょう。それが私にできる最善のことです。非常に満足のいくものではありませんが、私が考えることができる最善のことです。
より安全に、とは、これらの企業からより多くのリソースを安全研究に向けるということですか？
例えば、安全研究に費やすコンピュータ時間の割合は、3分の1のような有意な割合であるべきです。現在はそれよりもはるかに少ないです。Anthropicという会社があり、他の企業よりも安全に関心を持っています。それはOpenAIが安全に十分に関心を持っていなかったため、OpenAIを離れた人々によって安全への関心を持つために設立されました。Anthropicは安全研究に多くの時間を費やしていますが、それでもおそらく十分ではありません。
多くの人々の間にOpenAIがこれらの問題について良いゲームを話しているが、それらの価値を実行していないという見方があります。それはあなたの見解ですか？
そうです。
それを示す証拠は何ですか？
彼らの最も優れた安全研究者たちも同じことを信じて去りました。彼らはAIの安全性を開発する会社として設立され、彼らの主な目標は利益を上げることではなく、AI安全性を開発することでしたが、今は彼らを営利企業に変更することを許可するためにカリフォルニア州司法長官にロビー活動をしています。それを示す証拠はたくさんあります。
ここで良い行為者として称えるべき誰かを挙げる機会を与えるべきです。人々がより良く感じるべき人物。あなたはAnthropicを挙げましたね。それは会社ですか、それとも他にも良い行為者を見ていますか？
Anthropicは安全性に最も関心を持っており、OpenAIを去った多くの安全研究者はAnthropicに行きました。そのため、Anthropicは安全性に関心を持つ文化をはるかに多く持っています。しかし、彼らは大企業からの投資を受けています。どこからかお金を得る必要がありますが、それらの投資が彼らに本来よりも速くものを公開するよう強制することを心配しています。
どこで働くことに快適を感じるかと尋ねた時、あなたは「どこも」と言ったと思いますが、あるいは「おそらくGoogle」と言いましたか？
私は「おそらくGoogle、Anthropic」と言うべきでした。
今日のこのすべての時間、そしてこの後の時間も含めて、本当にありがとうございます。
まだ残りの時間を得ていませんよ。
まだ得ていませんか、それを楽しみにしています。
コメント