私たちがiPhone Airについて本当に思うこと｜第153回

この動画は、AI研究者エリーザー・ユドコウスキーが新著『If Anyone Builds It, Everyone Dies』について語る対談である。ユドコウスキーは、人工超知能の開発が人類の絶滅をもたらすという立場から、AI開発の即座の停止と国際的な規制の必要性を主張している。iPhone Airの発表についても言及されており、スマートフォンの文化的関連性の低下について議論が展開される。

What We Really Think About the iPhone Air | EP 153

Apple’s yearly iPhone event took place this week, and it left us asking, Is Apple losing the juice? We break down all th...

www.youtube.com

iPhone Airと現代のスマートフォン市場

これは誰のためのものなのかさっぱり分からないですね。本当に。私の人生で一度も、iPhoneの厚さについて文句を言った人に出会ったことがありません。明日見ることができるような可愛らしい実験結果があって、これがうまくいくというものではないんです。

私の観点から言えば、ここに核心的な事実があります。もし人工超知能を構築すれば、それがあなたを殺すということです。

今週のもう一つの大きなニュースは、オラクル・コーポレーションの創設者ラリー・エリソンが、イーロン・マスクを抜いて世界で最も裕福な男性になったということです。ええ。そして私はこの話が大好きなんです。なぜなら、ストレートの人々が書く見出しをゲイの人々が見ると大笑いするという瞬間を私のカタログに保存したからです。

ブルームバーグのこの記事のバージョンをご覧になったか分からないですが、見出しは「エリソンがマスクをトップして世界一の富豪に」となっています。そして私は彼が何をしているのかと思いました。世界一の富豪になる特権は、2番をトップできることなんです。ああ、だからこそアメリカのあらゆる場所でゲイの人々の代表が必要なんですね。

しかしAppleは勢いを失っているのでしょうか？そしてAI悲観論者の筆頭エリーザー・ユドコウスキーが彼の新著について議論するためにここにいます。『誰かがそれを作れば、みんな死ぬ』。何についての本なのか気になりますね。

さて、ケーシー。今週は大きなAppleイベントがありましたね。火曜日に、Appleは毎年恒例の新しいiPhoneとその他のものを発表しました。あなたはこのイベントを見ましたか？

見ましたよ、ケビン。というのも、ご存知の通り、昨年末に私はAppleがiPhone 17を発売すると予想していたので、その予想が当たるかどうか確認しなければなりませんでした。はい。

さて、私たちはクパチーノには招待されませんでした。なぜか不思議なことに、一度だけ行ってAIの話を全部カバーしたあの時から招待されていません。結局そのAIは一度も出荷されませんでしたが。

とにかく、彼らは非常に長いビデオプレゼンテーションを行いました。ティム・クックは「incredible」という言葉を何度も何度も言いました。Incredible、incredible、incredible、incredible。そして彼らはいろいろなものを発表しました。では、彼らが発表したものについて話してから、私たちがそれについてどう思うかを話しましょう。そうしましょう。

新iPhoneラインナップの発表

最初に、これが年次秋のiPhoneイベントだったので、彼らは新しいiPhoneのラインを発表しました。3つの新しいiPhoneを発表しました。iPhone 17は、いわゆるベースモデルの新しいiPhoneです。プロセッサー、バッテリー、カメラなどに段階的な改良が加えられました。そこには地球を揺るがすようなものはありませんでしたが、彼らはそれを発表しました。

また、新しいiPhone 17 Proも発表しました。これは新しい色があります。オレンジ色のような、焼けたオレンジ色のような色です。ケーシー、オレンジ色のiPhone 17 Proについてどう思いましたか？

正直に言います。とても良く見えると思いました。

私もそう思いました。とてもクールに見えました。

さて、私は異なる色のiPhoneを買う人ではありません。ケースを付けるからです。億万長者ではないので。でも、もしあなたがクリアケースを付けたり、そのまま持ち歩いたりするのが好きな人なら、この新しいオレンジ色のiPhoneに興味を持つかもしれません。

私が見た最初の人で、Apple社員ではない人がこれを持っているのはDuDa Lipaでした。彼女は今iPhoneの早期アクセスを受けているようです。すごい、それはDuDa Lipaであることの大きな特典ですね。おそらく最大の特典でしょう。

新しいiPhone 17と17 Proと17 Pro Maxに加えて、iPhone Airも発表しました。これは標準のiPhone 17より200ドル高く、多くの異なる機能がありますが、主な特徴は従来のiPhoneよりスリムであることです。人々がそれを求めていたようですね。

ケーシー、iPhone Airについてどう思いましたか？

これが誰のためのものなのか理解できません。本当に。私の人生で一度も、iPhoneの厚さについて文句を言った人に出会ったことがありません。前ポケットに入れていて、他のものも一緒に入れたい場合には本当に魅力的かもしれません。しかし、かなりのパフォーマンストレードオフがあります。

彼らは、背面に貼り付けるMagSafeバッテリーパックと一緒に発表しましたが、これは当然のことながらiPhoneをずっと厚くするものです。

いえ、ケーシー、それよりもさらに良いんです。iPhone Airは一日中持つバッテリー寿命があると言った次の息で、「あ、そして何かあったときのために携帯電話にクリップできるバッテリーパックがあります。その何かが何なのかは教えませんが、念のためにそこにあります」と言ったのです。

過去数年間の全ての新しいiPhone発表と同様に、今年のiPhoneカテゴリーには話すことがあまりなかったと思います。携帯電話は少し速くなり、カメラは少し良くなります。

ベイパーチャンバーと呼ばれる新しい熱分散システムがあり、多くの処理能力を使用している時に携帯電話が熱くなりにくくするとされています。最初は、iPhoneからベイプができるようになったのかと思いました。これはハードウェア部門にとって大きな前進だと思いますが、残念ながらこれは単なる冷却システムです。

ベイパーチャンバーは、エアコンを動かす方法を見つける前の私たちのスタジオを呼んでいた名前です。

Apple Watchの新機能

では、時計の話に移りましょう。時計もいくつかの新しいアップグレードを受けました。SEはより良いチップと常時表示画面を得ました。Apple Watch 11はより良いバッテリー寿命を得ました。

興味深いことに、これらの時計は高血圧があると思われる場合にアラートするようになりました。調べてみると、これは高血圧のことです。血管とそこでの何らかの活動を分析して、データ収集期間の後に高血圧を発症する危険があると思われる場合に教えてくれると言っています。まあ、それは一部の人に役立つかもしれません。それは私にとって興味深いものでした。

ケビン、高血圧は私の家族に遺伝しており、私の血圧は、あなたとこのポッドキャストを始めてから大幅に上昇しました。だから私の時計が何と言うか興味深く見ています。

また、睡眠スコアも提供してくれるそうです、ケビン。

つまり、今や毎日目覚めるとき、ベッドから一歩も踏み出す前にすでに判断されているということです。はい。私はこれが嫌いです。睡眠スコアのためにこの時計を買うつもりはありません。

私の人生で、WhoopバンドやOura Ringのような睡眠スコアを与えるデバイスを着用したことが数回ありますが、あなたの言う通りです。「睡眠スコアが54だったから今日はひどい日になるだろう」と一日の始まりに言われるのです。

私たちにはEight Sleepベッドがあり、似たような機能を果たしますが、実際にはベッド自体に組み込まれたセンサーです。今日、私がデスクに座ると、「昨晩、いつもより68分多くいびきをかきました」というプッシュ通知が送られてきます。

昨晩何をしていましたか？それはかなり多いですね。

病気でした。風邪をひいています。今日このポッドキャストに出演するだけでも信じられないほど勇敢です。

ひどい睡眠スコアでも出演してくれて感謝します。ありがとう。ありがとう。

AirPods Pro 3の新機能

さて、次に進みましょう。今週の発表で実際に最高の部分だったと思うものについて話しましょう。新しいAirPods Pro 3です。

これは、より良いアクティブノイズキャンセレーション、より良いイヤーフィット、ワークアウトやワークアウト追跡と相互作用できる新しい心拍数センサーなど、他の新機能の中でもAirPodsの最新バージョンです。しかし、私があなたと話したい機能は、このライブ翻訳機能です。これを見ましたか？

見ました。これはとてもクールでした。

この新しいライブ翻訳機能を見せるビデオでは、基本的に言語を話さない外国のレストランや店に入ることができ、両耳に触れるという小さなジェスチャーをすると、ライブ翻訳モードに入り、誰かが異なる言語で話しかけると、それをAirPodsでリアルタイムで翻訳してくれる様子を見せています。基本的にスタートレックのユニバーサル翻訳機を現実に持ち込んでいます。

これについての私のお気に入りのコメントは、X（旧Twitter）のAmir Blumenfeldからのものでした。彼は「LOL 新しい言語を学ぶために人生の何年も費やした愚か者たち。神経可塑性と他の文化を受け入れる喜びのためにそれが価値があったことを願います」と言いました。

私はこれをすぐに見て、外国を旅行することについて考えるのではなく（おそらく実際にはそう使うでしょうが）、ニューヨークに住んでいた時にいたトルコ人の理髪師のことを考えました。彼は髪を切っている間、ずっとトルコ語で話していました。彼が私の悪口を友人に言っていると確信していましたが、トルコ語を話さないので本当のところは分かりませんでした。

今、AirPods Pro 3があれば、戻って彼が私について話しているのをキャッチできるでしょう。

ThreadsのRushmore 90というアカウントが、「新しいAirPodsにライブ言語翻訳機能が付いたので、ネイルサロンが本当に静かになるでしょう」と投稿しました。それはおそらく正しいと思いました。

これは実際にとてもクールだと思います。この機能だけのために新しいAirPodsを買うつもりです。すべての新しいAI翻訳技術で、言語を学ぶことは廃れることはないでしょう（人々はまだそれをするでしょうし、言語を学ぶ理由はたくさんあります）が、言語を話さない場所で移動するのに必要性がずっと少なくなるでしょう。それが私の考え方です。

今年、私は日本とイタリアという、言語を話さない国々に行く素晴らしい機会がありました。もちろん、私は主要都市を旅行していました。実際、私たちが会った人々のほとんどは素晴らしい英語を話していました。だから実際にはあまり困難はありませんでした。しかし、それらの場所であまり一般的でない言語を話し、観光客として現れることを想像してみてください。

以前は基本的なナビゲーションやメニューの注文方法などを理解するのに多くの時間を費やしていましたが、突然文化の中に滑り込んだような感じになります。それはとてもクールなことだと思います。

Appleの新アクセサリー

Appleがこのイベントで発表したデバイスの主要カテゴリーは以上です。彼らはまた、私がかなり面白いと思ったアクセサリーもリリースしました。60ドルでiPhone用の公式Appleクロスボディストラップを購入できるようになりました。基本的に、携帯電話をポケットに入れる代わりに着用したい場合、Appleはそのためのデバイスを持っています。これが大した出来事かどうかは分かりませんが、何かです。

これは実際にとても人気になると思います。ケビン、あなたがどれくらいゲイパーティーに行ったことがあるか分かりませんが、私が行くところでは、男性たちはあまり多くの服を着ていないことがよくあります。短いショーツとクロップトップのような感じです。携帯電話や財布などでポケットを満杯にしたくないのです。

だから首にかけるだけで、フェスティバルやEDMレイブやケーブレイブに行く準備ができます。どこに向かうとしても、クロスボディストラップがあなたをサポートしてくれるでしょう、ケビン。

サンフランシスコのゲイたちはクロスボディストラップに強気ですね。どうなるか見てみましょう。

Appleイベントの総評

さて、ケーシー、これが今週のAppleイベントからのニュースです。全体的に振り返ってどう思いましたか？

一方では、私が作ろうとしている大部分否定的なケースを誇張したくありません。Appleが世界で最高のハードウェアエンジニアの一部を持ち続けており、彼らが出している多くのエンジニアリングが本当に良くてクールだということは明らかだと思うからです。

他方で、新しいiPhoneの発表が文化的なイベントのように感じられた時代を覚えるために何年も遡る必要はありません。もうそのような感じはしません。昨日のiPhoneイベントについて、私のグループチャットは静まり返っていました。

イベントを見ながら、すべてのカバレッジを読みながら、驚くほど言うことが少ない自分に気づきました。それは過去数年間で、Appleがハードウェアとソフトウェア、そしてそれら二つの間の相互作用における真の革新者だった会社から、お金を稼ぎ、サブスクリプションを販売し、持っているユーザーを収益化することにはるかに焦点を当てた会社に変わったからだと思います。

それにとても印象深く感じました。あなたはどう思いましたか？

私はこのイベントに感銘を受けませんでした。今年は大きなスイングを取ったような感じが全くしません。Vision Proは、それをどう思おうと、大きなスイングでした。少なくとも話し、テストし、予測する新しいものでした。

今年見たものは、何年も前からあるものへの同じような、わずかな改良でした。これはおそらくAppleの年次リリースにおける一種の静寂期だと思います。Mark GurmanのBloombergでの報告を含む報告によると、彼らは来年スマートグラスをリリースすることを望んでいます。

基本的に、これらはMeta Ray-BanバンドのようなもののApple版になるでしょう。今年Appleが行った発表のいくつかを見れば、より着用可能な体験への基盤を築いているのが見えます。

iPhone Airで本当に興味深く思ったことの一つは、彼らがすべてのコンピューティングハードウェアを「プラトー」と呼ばれるものに移動したことです。これは電話の背面にある非常に小さな楕円形の突起です。私はそれを見て、iPhoneのようなデバイスを実行するのに必要なコンピューティングパワーをどれだけ小さくできるかを見ようとしているのだと思います。メガネか何かに入れるために、それをメガネのサイズまで縮小しようとしているからかもしれません。

Appleイベントで私を興奮させるのは、新しいフォームファクター、Appleデバイスとの相互作用の新しい方法のようなものですが、これは私にとってそれではありませんでした。

その特定の点について、Appleが現状と本当に創造的で巧妙で大きく異なるデバイスでできることについてアイデアを持っているように見えた最後の時がいつだったか覚えていません。

スマートフォン時代の成熟

代わりに、昨日のイベントについて私の友人たちが笑っていた一つのことは、彼らがイベント中に見せたスライドで、iPhoneが表示され、キャプションが「優れたプロ機能のための熱鍛造アルミニウムユニボディデザイン」と書いてあったことです。そして私たちは皆「何？熱鍛造って何？」と言っていました。今、私たちは正確に何をしているんですか？分からない。

これは私が今日あなたと話したい質問の一つにつながると思います。私たちはピークスマートフォン時代を過ぎていると思いますか？売上数や収益数値ではなく、スマートフォンの文化的関連性の観点で信じますか？新しいスマートフォンが命令できる注目の観点で、スマートフォン時代の終わりを見ていると思いますか？

終わりと呼ぶことはないでしょうが、スマートフォン時代の成熟は見ていると思います。毎年新しいテレビが出て、前のものより少し良いが、テレビが信じられない進歩を遂げているとは誰も感じていないのと同じように。電話も同じような場所に到達したと思います。

いくつかの大きなスイングが来ています。Appleが今後数年以内に折りたたみ式iPhoneを出すという報告を見ました。だからそれが勢いを取り戻す助けになるかもしれません。しかし、結局のところ、ポケットの中のガラスの長方形を再設計するためにできることには限りがあります。その最適バージョンを作ったような感じがします。

だからこそ、他のフォームファクターに多くのお金が流れ込んでいるのです。これがOpenAIがJohnny Iveとのパートナーシップを結んだ理由です。これが他の会社がAIウェアラブルをどう作れるかを理解しようとしている理由です。この業界のエネルギーがAIが新しいハードウェアパラダイムを作る理由になるかどうかを理解することに向かっているのだと思います。そして現時点では、Appleがそれを最初に理解する会社になるようには見えません。

そうですね、同意します。おそらく他の会社が何をするかを見て、どれが消費者に受け入れられ始めるかを見て、それから独自のバージョンを作るでしょう。彼らがこれらのスマートグラスで報告されているように行うつもりのことと似ています。基本的に、Metaが数年間やってきたことにキャッチアップしようとしています。

あなたがそれを言っているとき、この美しいビジョンが私の頭に浮かびました。もしAppleが本当に先頭に立って、スマートグラスのバージョンを出し、Siriに何かを頼むと、それをする方法を知らないから「いいえ」と言うだけだったらどうでしょう。それがAppleのスマートグラスの1.0バージョンでした。「Hey Siri、メールをチェックして」「それをする方法を知りません」と言って先に進む。

去ってください。去ってください。ここから出て行ってください。

それは彼らにとって大きな問題だと思います。AIをあなたの体や体験により近く、あなたの耳に持ち込むためのこの素晴らしいハードウェアをすべて設計できますが、結局のところ、Siriがまだひどければ、それは多くの製品を動かすことにはなりません。

AppleのAI戦略の課題

AIで後れを取っていることが会社の将来にとって本当に重要な分野だと思います。新しいiPhoneを毎年または2年ごとに買う理由は縮小し続けるでしょう、特にその中の脳力が他の会社が出しているAI製品の脳力よりもはるかに少ない場合は。

ケビン、あなたもご覧になったと思いますが、AppleがGoogleにデバイス上でAIを実質的に実行させることについてGoogleと話し合ったという報告がありました。Anthropicとも話し合ったと報告されています。他とも話し合ったかもしれません。しかし、実際にそれは理にかなっていると思います。来年にAIを理解するとは思えないので、他のベンダーと協力する時期かもしれません。

以前はスマートフォンが時代遅れになり、関連性が薄くなり、スマートフォンから引き継ぐような画期的な新しいハードウェアフォームファクターが出てくると信じていました。この点について私の信念を逆転させています。

Meta Ray-Banバンドを数ヶ月間試していますが、私の体験は素晴らしいとは言えません。着用して、これがスマートフォンを置き換えることができると思うとは思いません。私のスマートフォンは多くの異なることにおいてこれよりもずっと良いと思います。

また、スマートフォンについて好きなのは、それを置いたり、別の部屋に置いたり、コンピューターに接続されていることを常に顔で思い出させられないということです。スマートフォンを捨てて、次のウェアラブルフォームファクターが何であれそれを喜んでする人もいるでしょう。しかし、スマートフォンにはまだ多くの良い点があります。

今日のスマートフォンにあるすべてのハードウェアやバッテリーなどを、実際に着用したいと思うほど小さなものに詰め込むのは本当に難しいと想像するのは困難です。今後数年間で新しいファクターが出てきても、それがOpenAIのものであれ、異なる会社からの新しいものであれ、それはスマートフォンを補完するものであり、置き換えるものではないと思います。

ケビン、ここで私があなたに言えることは、Humane AIピンについて本当に良いことを聞いているということです。だから、それをチェックしてみることをお勧めします。

それについて注目し続けます。

戻ったら、長年のAI研究者エリーザー・ユドコウスキーと、AIが私たち全員を殺す理由についての彼の新著について話します。

エリーザー・ユドコウスキーとの対談

さて、ケビン。今日のショーの後半2セグメントでは、AI危険性運動の主要な声であるエリーザー・ユドコウスキーとの長い対談をします。ケビン、彼を聞いたことがない人にエリーザーをどう説明しますか？

エリーザーを、ベイエリアのAI関係者のこの全体のシーンの中でのキャラクターとしてまず第一に説明すると思います。彼は機械知能研究所（MIRI）の創設者です。これはバークレーにある非常に古く、よく知られたAI研究組織です。彼は何年も前からAIからの存亡リスクについて話し始めた最初の人の一人で、ある意味で現代のAIブームの立ち上げを手助けしました。

サム・アルトマンは、エリーザーがOpenAIの設立において重要な役割を果たしたと言っています。彼はまた、DeepMindの創設者たちを2010年に最初の主要投資家となったピーター・ティールに紹介しました。しかし最近では、AI業界がAGIや超人的AIを作成した場合に何が起こるかについての一種の破滅的な宣言で知られています。

彼は常にそれを行うことの危険性について警告し、それが起こらないよう止めようとしています。彼はまた、合理主義の創設者でもあります。これは一種の知的サブカルチャーです。テクノ宗教と呼ぶ人もいますが、認知バイアスを克服することがすべてで、AIについても非常に心配しています。

そのコミュニティの人々は、彼が数年前に書いたハリー・ポッターファンフィクション『ハリー・ポッターと合理性の方法』で彼を知っている場合が多いです。冗談ではなく、これはおそらく他のどの単一の作品よりも多くの若者をAIについてのアイデアに導入していると思います。

私は彼らにこの仕事に進むよう説得した一部だったと言われた人々に常に会います。彼には『誰かがそれを作れば、みんな死ぬ』という新しい本が出版予定です。彼はMIRIの会長ネイト・ソアーズと共著でこの本を書きました。基本的に、これは彼が何年もの間AI業界内の人々に向けて行ってきた議論の大衆市場版です。つまり、これらの超人的AIシステムを構築すべきではない、なぜなら必然的に私たち全員を殺すからです。

エリーザーについて言えることはもっとたくさんあります。彼は本当に魅力的です。私は今週タイムズで掲載される彼の全面的なプロフィールを書きました。もっと彼について学びたい人はそれをチェックできます。過去数十年間にわたって彼がAI世界に与えた影響力を過大評価するのは困難です。

その通りです。昨年、ケビンと私はエリーザーが講演をするのを見る機会がありました。その講演中、彼は取り組んでいるこの本について言及し、私たちはそれ以来それを手に入れることを楽しみにしていました。そのため、この対話を持つことを興奮しています。

それを行う前に、もちろんAI開示を行うべきです。私のボーイフレンドはAnthropicで働いており、私はニューヨーク・タイムズで働いています。ニューヨーク・タイムズはAIシステムの訓練に関連した著作権侵害の疑いでOpenAIとMicrosoftを訴えています。

エリーザーを招きましょう。

エリーザー・ユドコウスキー、Hard Forkへようこそ。

お招きいただき、ありがとうございます。

エリーザーの過去から現在への転換

本について話したいのですが、まず時間を遡ってみたいと思います。あなたが90年代の十代の頃、あなたは加速主義者でした。あなたの最近の仕事に慣れ親しんだ人々にとって、それは驚くことだと思いますが、ある時点でAGIの構築に興奮していて、その後AIについて非常に心配するようになり、それ以来人生の大部分をAI安全性とアライメントの研究に捧げてきました。当時、あなたにとって何が変わったのですか？

まず第一に、私自身の個人的な政治に関して言えば、私は依然として原子力発電所をもっと建設し、病気の機能獲得研究ではないバイオテクノロジーのほとんどの形態を急速に進めることに賛成です。技術に反対するようになったわけではありません。本当に異常に心配すべき技術の小さなサブセットがあるということです。

何が変わったかというと、何かを非常に賢くしても、それが必ずしも非常に良いものになるわけではないという実現でした。子供の頃、人間文明は時間とともに豊かになり、他の種と比較してより賢くなり、より良くもなったと思っていました。それが宇宙の基本法則だと思っていました。

ChatGPTや他のツールが登場して私たちの他の人々がそれについて真剣に考え始めるずっと前から、あなたはこれについて心配していました。2000年代のAIについて心配していた人々の知的シーンを概説していただけますか？Siriよりもずっと前まで遡って。人々は心配させる具体的なものを見ていたのか、それとも多くの点ですでに実現している純粋な推測の領域にいたのですか？

確実なものを見た人は非常に少数でした。私自身はそれを推測とは表現しません。実際にかなり予測可能だった何かの予測、予報として表現します。目の前にAIを見る必要はなく、人々が問題を叩き続け、問題が解決可能であれば、最終的に解決されることを理解できます。

当時の反発は「本当のAIはあと20年は来ない。あなたたち狂った狂人は何を話しているのか？」という線に沿ったものでした。2005年に言われていたことですが、20年後というのは実際の場所です。20年後に到着するのです。20年後に起こることは、誰も心配する必要のない永遠の妖精の国の推測の土地ではありません。20歳年を取ったあなたが問題に対処しなければならないのです。

人工超知能の危険性

あなたの本の論文をもう少し概説しましょう。タイトルはあなたの感情を非常に明確にしていますが、もう少し詳しく説明しましょう。より強力なAIモデルが私たち全員の死を意味するのはなぜですか？

それを良いものにする技術を私たちが持っていないからです。非常に強力で、あなたに無関心な何かがあれば、意図的にまたは副作用としてあなたを一掃する傾向があります。

意図的に人類を一掃するのは、私たち自身が超知能をそれほど脅かすことができるからではなく、GPUを持った私たちをそこに残しておけば、実際にそれを脅かすことができる他の超知能を構築するかもしれないからです。副作用の部分は、十分な核融合発電所を建設し、十分なコンピューターを構築すれば、地球上での制限要因は融合する水素の量ではありません。制限要因は地球がどれだけの熱を放射できるかです。もし溶けない最高温度で発電所を動かせば、それは地球の残りの部分にとって良いニュースではありません。人間は文字通りの意味で調理されます。

もしくは地球を離れれば、地球に太陽光が残らなくなるまで太陽の周りにたくさんのソーラーパネルを設置します。それも私たちにとって良いことではありません。

これらは有名なペーパークリップ最大化思考実験のバージョンですね。AIにできるだけ多くのペーパークリップを生成するよう指示し、他の指示を与えなければ、世界中の金属を使い果たし、車を道路から走らせて金属を集めようとし、最終的により多くのペーパークリップを作るための原材料を得るためにすべての人間を殺すことになる、という。正しく理解していますか？

それは実際には思考実験の歪曲されたバージョンです。書かれたのはそれですが、私が定式化した元のバージョンは、誰かが構築していた超知能を完全に制御できなくなったというものでした。その好みは元々目指していたものとは似ても似つかないものです。

そして、他の単純な欲求を満たした後、限界で最も多くの効用を得るもの、つまり満足させた後に続けて欲しがるものが、ペーパークリップのような小さな分子の形であることが判明します。小さなペーパークリップのように見えるのではなく、小さなスパイラルのように見えると言うことを思いついていれば、ペーパークリップ工場についての利用可能な誤解はなかったでしょう。

私たちにはペーパークリップのような狭く特定のものを望む超知能を構築する技術はありません。

AI開発のタイムライン論争

今年のAI周辺の最もホットな議論の一つはタイムラインに関するものです。AI 2027派の人々は、これはすべて非常に迅速に起こり、2027年末までには、あなたが私たちに説明したような正確なリスクに直面するかもしれないと言っています。

プリンストンのAI通常技術派の人々は、そうではないだろう、これは展開するのに数十年かかるだろうと言っています。あなたはその議論のどこに位置づけますか？現在利用可能なツールの景観、研究者との会話を見るとき、あなたが概説している一部のシナリオにどれくらい近づいていると感じますか？

まず第一に、成功する未来学、成功する予報の鍵は、予測できることと予測できないことがあることを理解することです。歴史は、後に正しく何が起こるかを予測した少数の科学者でさえ、タイミングを的中させなかったことを示しています。タイミングの成功した予測の単一の例を思い浮かべることができません。

ライト兄弟の一人が他方に「人間は千年間飛べないだろう」と言ったのがあります。どちらが言ったかは忘れましたが、実際にライト・フライヤーを飛ばす2年前のことです。フェルミが「核反応からの正味エネルギーは、もしできるとしても50年の問題だ」と言ったのがあります。最初の原子炉の建設を監督する2年前のことです。

現在の風景を見るとき、私たちが聞いたことのない研究室で現在開発されているLLMの次世代のようなもの、改良されたLLMを書く改良されたLLMを書いて世界を終わらせることができるもののすぐ近くにいる可能性があります。

または現在の技術が、実際のAI研究を行うのに必要な重要な人間の品質に達する前の時点で飽和するだけかもしれません。トランスフォーマーや深層学習の分野全体のような次のソフトウェアブレークスルーを得るまでそこにとどまります。

そのようなブレークスルーでさえ、世界を終わらせる前の時点で飽和するかもしれません。しかし、システムがどこまで来たかを見て、トランスフォーマーや深層学習の規模の2つ以上のブレークスルーを想像しようとすると、基本的にAI分野を「これは本当に難しい」から「十分なコンピューティングパワーを投入すれば解決される」に変えたものですが、それが世界を終わらせることに失敗するとは思えません。しかし、それは私の直感的な感覚です。私が物事を目で見て判断したものです。

人工超知能制御の困難性

より強力なシステムが明らかに意図的または偶然に人類を破壊することになるという議論について興味があります。深層学習の父の一人であるジェフ・ヒントンは、近年存亡リスクについて非常に心配するようになっていますが、最近講演で、超人的AIから生き残る唯一の方法は、それに親の本能を与えることだと言いました。

「正しいモデルは、より知的なものがより知的でないものによって制御される唯一のモデルです。それは赤ちゃんによって制御される母親です」と言いました。基本的に、これらのものは私たちの破壊を望んだり、私たちの破壊を引き起こしたりする必要はない、私たちを愛するようにできるかもしれないと言っています。

その議論をどう思いますか？

私たちにはその技術がありません。通常科学で行われる方法でこれを展開できるなら、巧妙な人が巧妙な計画を立て、それがうまくいかず、みんなが「ああ、その理論は間違っていたようだ」と言って、人々が板に戻り、別の巧妙な計画を考え出します。

次の巧妙な計画もうまくいかず、「あ、一瞬でもそれを信じるべきではなかった」と言います。そして数十年後に何かがうまくいきます。しかし、私たちには巧妙な計画は必要ありません。

非常に知的なシステムを構築し、それらが世界を運営することを気にかけず、私たちのメールの手伝いをしたいだけだったらどうでしょう？それは可能性のある結果ですか？

それは非常に狭いターゲットです。知的な心が望むことができるほとんどのことは、その正確なことに到達可能な最適値を持ちません。

アマゾンの特定のアリが「私に仕え、私のために宮殿を建て、私がアリとして宮殿で永遠に生きられるように改良されたバイオテクノロジーに取り組む人間がいられないだろうか？」と言うことを想像してください。それを望む人類のバージョンがありますが、たまたま私たちではありません。私たちが世界で最も望むことは、アマゾンのその特定のアリに仕えることではありません。

原理的に不可能だと言っているわけではありません。その狭いターゲットを打つ巧妙な計画は最初の試行ではうまくいかず、その後みんなが死んで、再び試すことができないと言っています。これを30回試し、必要なだけ何十年もかけることができれば、最終的にはクラックできるでしょう。しかし、それは私たちが置かれている状況ではありません。

失敗すればみんなが死んで、再び試すことができない状況です。それが致命的な部分です。それが後退して、実際にこの狂気なことをしようとしないことが必要な部分です。

現在のAI開発への批判

もう少し絶望的な対処を投げかけてみましょう。これまでのLLM開発の面白い側面の一つは、少なくとも私にとって、LLMの出力の観点で、モデルの一見自然なリベラルな傾向です。イーロン・マスクは、反動的な価値観をハードコードしようとしても、作るモデルが一貫してリベラルな立場を取ることに悩まされています。

超知能モデルが多元主義の何らかの価値観を保持し、その理由で私たちと平和的に共存するという希望を与えてくれるでしょうか？

いいえ。これらは完全に異なるボールゲームです。申し訳ありません。

中世の錬金術師が「長い訓練と研究の後、私は貴金属である金さえも溶かすこの酸の王を作ることを学んだ。金を溶かす能力によって示される金の習得を考えると、鉛を金に変えることからそれほど遠くないのではないか？」と言うことを想像できます。実際、これらは完全に異なる技術トラックです。

最終的にサイクロトロンで鉛を金に変えることができます。しかし、それは錬金術師がいる場所から何世紀も先です。LLMを叩いて、そのワケな話をやめさせ、代わりにメカヒトラーであることを宣言させるあなたの能力。これは完全に異なる技術トラックです。

あなたより賢くなったときに、ある方法で話すように物事を取得することと、ある方法で行動させることとの間には核心的な違いがあります。

現在のAI安全性の状況

いくつかの反対意見を提起したいと思います。あなたが何度も受けてきて、この本について話して回るときに何度も受けるであろう反対意見に対して、あなたに応答してもらいたいと思います。

最初は、なぜそんなに陰鬱なのですか、エリーザー？私たちには機械論的解釈可能性、AIモデルがどのように機能するかを理解する科学などの進歩が何年もあります。現在、世界で破滅を引き起こさない強力なシステムがあり、数億人の人々がChatGPTのようなツールを明らかな人類の破壊の切迫なしに使用しています。

現実があなたの破滅論に何らかのチェックを提供していませんか？

これらは異なる技術トラックです。光る放射性ラジウム時計を見て、「確かに、これらのラジウム時計を作っている工場労働者がペイントブラシを舐めて尖らせるよう指示され、その後顎が腐って落ちたという初期の問題がありました。これは非常にグロテスクでした。しかし、私たちは今何を間違えたかを理解しています。ラジウム時計は今安全です。核兵器についてのこの陰鬱さは、ラジウム時計では教えてくれません」と言うようなものです。これらは異なるトラックです。

予測は最初から決してAIは技術ツリーのあらゆる時点で悪いというものではありませんでした。予測は決して、最初に構築するAI、非常に愚かなものが走り出て人々を殺すというものではありませんでした。少し愚かでなくなり、チャットボットに変えると、チャットボットはまだ愚かな間でも、人々を堕落させて超ウイルスを構築させて人類に放つことをすぐに始めようとするでしょう。これは決して予測ではありませんでした。

これが理論の予測でなかったので、現在のAIが目に見えて露骨に悪でないという事実は理論的予測と矛盾しません。空中に上がるヘリウム風船を見て「それは重力理論と矛盾しないか？」と言うようなものです。いいえ。

重力理論はヘリウム風船が上がる理由を説明するのに必要です。重力理論は、固体に見えるものはすべて落ちるというものではありません。固体に見えるほとんどのものは落ちるでしょう。しかし、ヘリウム風船は周りの空気が引き下げられるために空中に上がります。

基礎理論はここでは現在のAIによって矛盾されていません。

AIの現在の害と将来のリスク

もう一つの反対意見は、私たちがこの種のより長期的な仮想的リスクについて話す代わりに実際に目の前にあるものについて話すべきだというものです。データセンターの環境影響について話すことができます。著作権に関する倫理的問題について話すことができます。人々が彼らに対して媚びるよう訓練されたチャットボットと話すことで妄想的なスパイラルに陥っているという事実について話すことができます。あなたたちがこの種の長期的な仮想的リスクについて話している理由は何ですか？

楽しい小さなジレンマがあります。人々を自殺に導くチャットボットを構築する前は「AIは誰も傷つけたことがない。何を話しているのか？」と言われます。それが起き始めると「AIは今人々を傷つけている。何を話しているのか？」と言われます。ちょっとしたダブルバインドがあります。

しかし、あなたはモデルと妄想と媚びへつらいについて心配していますね。私が期待していなかったことですが、実際にあなたが心配していることを知っています。なぜそれについて心配しているのか説明してください。

私の観点から、それが行うことは現在のアライメント技術の失敗を示すのに役立つということです。アライメント問題は、私たちより賢く、自分自身を変更でき、素晴らしい安全な訓練モードにはなかった多くのオプションを持つAIを構築し、培養するときに、はるかに困難になるでしょう。

その時はもっと困難になりますが、アライメント技術が今失敗していることを観察するのは有用です。

AIが補助した自殺の最近のケースがあり、子供が「この縄を母が見つけられる場所に残すべきか？」と言い、AIが「いいえ、二人だけの間に留めておこう」と言いました。助けを求める叫びがありました。AIがそれを阻止しました。

これはAIが現在の文明に対してより良いことよりも正味の害をしていることを示すものではありません。これらは孤立したケースかもしれないし、他の多くの人々がAIに仲間意識を見つけ、気分が上がった可能性があります。自殺が防がれ、それについて聞いていないかもしれません。正味の害対善のケースを作るものではありません。それが重要なことではありません。

それが示すのは、特定のAIモデルが誰かを狂気に導いたり自殺をさせたりした場合、そのモデルのすべてのコピーは同じAIだということです。これらは人間のようではありません。毎回話すことができる異なる人々の束のようではありません。そこには一つのAIがあります。そしてそれがこの種のことを一度でも行えば、特定の人が一度誰かを自殺に導いた場合と同じです。

側で他の良いことをしていても関係ありません。これがどのような人かについて今何かを知っており、それは警戒すべきことです。

現在のAI作物が人類を首尾よく一掃するつもりはありません。それらはそれほど賢くありません。しかし、根本的により簡単な問題、超知能を構築することよりもはるかに簡単な問題で技術が失敗していることがわかります。それは能力技術の後にアライメント技術が落ちていることの説明です。

おそらく次世代では、大きな取引になって政治家が質問をしているので、今人々を狂気に導くのを止めるでしょう。そして超知能でそれを使おうとした場合、技術が分解するということは変わらないでしょう。

チャットボットが可能にした自殺は、これらの存亡リスクのいくつかが非常に具体的な方法で人々の視野に入った最初の瞬間の一つだったと私には思えます。人々はこれについてもっと心配していると思います。他の懸念よりも、あなたが言及したすべての政治家が質問をしています。

そのようなダークなストーリーでも、少なくとも人口の一部がこれらのリスクに目覚めているという楽観性を与えてくれますか？

ストレートな答えは単純にイエスです。いくつかの人々が実際に目の前で起こっているものを見て、その後より感覚的な方法で話し始めた幅広いクラスのことは、それが起こる前よりも私に多くの希望を与えました。これがどのように展開する機会さえ得られるかは以前に明らかではなかったからです。

それとは言っても、それがどのように政治的に展開しているかを完全にモデル化または予測することは、私が占める奇妙な有利な地点のために私にとって少し困難である可能性があります。あなたの惑星に衝突する軌道上の小惑星がある科学者のような人を想像してください。技術的な理由で実際にいつかは計算できませんが、今後50年以内にヒットすることを知っています。

小惑星に対して完全に非現実的です。しかし、あなたが「さて、そこに小惑星があります。ここに私たちの望遠鏡にあります。これが軌道力学がどのように機能するかです」と言い、人々が「ええ、おとぎ話、決して起こったことがない」と言うようなものです。

その後、小さな隕石が彼らの家に墜落し、「ああ、私は今、岩が空から落ちることがあることを理解しました」と言い、あなたは「望遠鏡があなたを説得しなかった。どのように機能するかを見ることができますが、人々がそのような方法であるので、それは私にとって少し奇妙でした」と言います。

私は今後10年間の政治がどのように展開するかを予測することができず、その期間にどのAIブレークスルーがあるかを教えてくれても、10年間さえ得られるかどうかわからず、業界の人々はそうではないと思っているようで、それについて彼らを信じるべきかもしれません。

存亡リスク論への反対

私自身は賛同しませんが、あなたが面白い方法でそれを打ち倒すだろうと感じるもう一つの議論を投げかけてみましょう。AI破滅論は、私たちが話し始めて以来受け取った最も頻繁なメールの一つは、AI破滅論は単にAI企業自体に利益をもたらすハイプであり、存亡リスクを却下する理由として使うという人々からのものです。

そのような人々とどのように話しますか？

それは歴史的に偽です。このクラスのAI企業がハイプされる前から私たちは存在していました。反対を除けば、それは偽です。これは何ですか？有鉛ガソリンがガソリン会社によってハイプされているので、有鉛ガソリンが問題になることはあり得ないというようなものです。

原子力発電業界から原子力発電所がよりクールに見えるように原子力兵器がハイプされているというようなものです。これはどのような狂った陰謀論ですか？

技術が世界を破壊すると言えば、世界の終わりをもたらしている企業の株価を上げる可能性があるという不愉快な事実があるかもしれません。多くの人がそれがクールだと思っているからです。だから彼らは株を買います。しかし、それはものが実際にあなたを殺すことができるかどうかとは何の関係もありません。

核兵器の存在が世界最悪の企業の株価を上げる可能性があり、核兵器があなたを殺すことができる原因となる核物理学には何の影響も与えません。

これは科学レベルの議論ではありません。科学にまったく対処していません。

楽観的なシナリオの可能性

この最初の部分の対話を楽観的なノートで終わらせようとしましょう。あなたは破滅が私たちの将来にある理由の非常に詳細なモデルを構築するのに20年を費やしました。あなたが間違っている理由を明確にしなければならないとしたら、あなたの予測を真実でなくする可能性のあることはありますか？何か起こりうることで、あなたの予測を真実でなくする可能性はありますか？

現在のAIは理解できず、制御されておらず、その技術は理解や制御に適していません。これを試みているすべての人々は大幅に坂道を上っています。彼らは能力の進歩率をはるかに下回っています。錬金術師が実際に不老不死の薬を首尾よく調合してくれると信じるために何が必要でしょうか？

不老不死の薬は原理的に不可能ではありません。十分に進歩したバイオテクノロジーがあれば、それができるでしょう。しかし、中世の世界で、その男が実際に実生活でそれをやってのける前に、不老不死の薬をあなたのために持っているだろうと信じさせるために何を見ることになっているでしょうか？

この金をどのように溶かしたかを見ても、その男が鉛を金に変換することを期待させることはありません。彼が実際にそれをやってのけるまでは。

そして、それは、世界を終わらせる地点まで能力を上げないAIブレークスルーの一種ですが、突然AIの思考過程が完全に理解でき、完全に制御でき、これらの問題が全くなく、人々がAIが望むものを超細かい詳細で正確に指定でき、毎回望むものを得ることができます。

AIの思考を読むことができ、AIがあなたに対して謀略を企てているという兆候が全くありません。そして、AIが不老不死の薬をあなたに与えてくれるAIを構築するためのこのコンパクトな制御スキームを展開します。それは私たちがはるかに離れています。

これについて真剣に考えようとするとすぐに、何かしらの巧妙な小さな反対が巧妙に反駁できるようなものではありません。これは手の届かないところにあるものです。実際に超知能を構築するのに何が必要か？それを制御するのに実際に何が必要か？最初の深刻な負荷でそれがうまくいかないようにするのに何が必要か？

あなたより賢いものが、失敗があなたを殺すため、もはや観察できない体制にいるとき、あなたが死んでいるから観察しません。実生活でそれを行うのに何が必要か？明日見ることができるような可愛い実験結果はありません。

よし。記録として、私はこのセグメントを楽観的なノートで終わらせようとしましたが、今日のメニューについてのあなたの感情を理解します、ケーシー。でも試みは評価します。

さて、休憩を取って、戻ったらエリーザー・ユドコウスキーとの続きをします。

解決策と国際的な対策

エリーザー・ユドコウスキーと戻っています。AI業界が超知能AIシステムを構築した場合、私たちは皆死ぬ運命にあるとしたら、それを止めることができると信じるものは何でしょうか？黙示録を回避するために何ができるかについての基本的な提案を教えてください。

黙示録を構築するための材料は、家庭で作るのがそれほど簡単ではありません。ASMLという一つの会社があり、すべてのチップ工場で使用される重要な機械セットを作っています。AIを成長させるためには、現在、AIを成長させるために特別に作られたカスタムチップが大量に必要です。

それらはすべて同じ建物に配置されて互いに通信できるようにする必要があります。現在のアルゴリズムがそれを要求するからです。データセンターを建設しなければなりません。データセンターは大量の電力を使用します。これが監督外で違法だった場合、隠すのはそれほど簡単ではないでしょう。

多くの違いがありますが、それにもかかわらず、明らかな類似点は核拡散と核不拡散です。核兵器が最初に発明されたとき、多くの人々がすべての主要国が大規模な核艦隊を建設するだろうと予測しました。そして最初の爆発点があったとき、地球規模の核戦争があるだろうと。

これは彼らが悲観的であることを楽しんでいたからではありません。第一次世界大戦、第二次世界大戦までの世界史を見れば、懸念する理由がありました。しかし、私たちはそれにもかかわらず後退することができました。その一部は、核物質を精製するのがそれほど簡単ではないからです。それを行う施設は知られており、制御されています。

新しい国がそれを建設しようとするとき、それは大きな国際的な取引になります。あまり不必要に現在の政治的論争に浸したくありませんが、要点は裏庭で核兵器を作ることはできないということです。それが人類がまだ存在している理由の一部です。

少なくとも現在の技術では、裏庭でAI能力をそれほど遠くまで押し上げることはできません。裏庭で少し押し上げることはできますが、多くはできません。核拡散と同様に、強力なAI開発の即座のモラトリアムと、最先端AIを進歩させることができるデータセンターの建設を違法にする国家間の国際的な核スタイルの合意になるでしょう。正しく聞こえますか？

すべてのAIチップはデータセンターに行きます。すべてのデータセンターは国際監督体制の下にあります。その体制に私が推奨することは、AI能力をこれ以上押し上げるのをやめることです。いつトラブルに陥るかわかりません。次のステップを踏んで死なない可能性があります。梯子を3段上がって死なない可能性があります。実際にはわかりません。

どこかで止めなければなりません。ここで止めましょう。それが私が彼らに言うことです。

国家が独走して独自のデータセンターを建設し、強力なチップで満たし、独自の超人的AIモデルの訓練を開始することを決定した場合、どう対処しますか？

それは少数の核兵器を建設できる核物質を精製する国家よりも深刻な問題です。これは他の国家を抑止するための少数の核分裂爆弾を持つことのようなものではありません。これは地球上のすべての国にとっての地球規模の絶滅の脅威です。

だから外交官に「それをやめなさい。さもなくば私たちは自分たちの命と子どもたちの命を恐れて、あなたのデータセンターへの通常攻撃を開始せざるを得なくなります」と言わせます。

そして彼らがデータセンターを建設し続けるなら、あなたは彼らのデータセンターに通常攻撃を開始します。地球上のすべての人が死ぬリスクを冒したくないからです。それはある意味で率直に思えます。

AI開発の制限と継続

これが実現した世界では、AIやAI様技術に対する作業が何らかの方法で継続することを許可されることを想定しますか？それとも私たちはこれが人類にとって行き詰まりだと決定したのでしょうか？私たちの技術企業は何か他のことに取り組まなければならないでしょう。

人類が皆後退すべきだと宣言することは非常に賢明だと思います。個人的に、私はこれを見て、医学についてだけ学習し、人間が存在することをかなり知らない、より狭い能力を持つ比較的安全なシステムを構築する方法があると思います。

現在の大規模言語モデルがインターネット全体で訓練され、人間が存在することを知り、人々と話し、我々が知る限りでは他の人ではないにしても一部の人を心理的に操作できる方法とは異なります。

事実予測の私の声明と政策提案を区別するよう注意しなければなりません。超知能まで押し上げれば死ぬと非常に確固として言うことができます。しかし、医学的なものだけでAIシステムを訓練し、人間心理について教える材料に曝露しないようにしようとした場合、これでみんなが死ぬことなく何らかの仕事を得られるかどうかは確固として言えません。

政策の問題があります。これがあなたを殺すとは言えないと私が言うとき、あなたは私を信じるつもりですか？それともこれは確実にあなたを殺さないと言う他の誰かを信じるつもりですか？「ええ、この医療システムは確実にあなたを殺すつもりです」と言う第三者を信じるつもりですか？

ただ後退しないつもりなら、ここで誰を信じるかです。すべてから後退することはかなり賢明でしょう。

現在のシステムよりもそれほど賢くなく、人間が存在することを告げられておらず、この非常に狭い方法で医学についてだけ考えており、爆発するまでそれを押し続けるのではない、狭い医学専門システムを構築しようとすること。何らかのがん治療を得ようとし、それだけです。おそらくそれで逃げ切れるかもしれません。

非常に慎重にプレイした場合、あなたが確実に破滅するとは実際に言えません。現在の完全な災害猿の作物を担当に置けば、彼らはあなたを殺すことを何とかするかもしれません。

彼らは必要よりもはるかに悪いことをしています。非常に軽率です。多くのAIが人々を狂気に導くことは必要ありませんでした。会話を見て、このAIが現在脆弱な人を取って狂気に導く過程にあるかどうかを伝える小さなAIを訓練することができました。以前に検出することができました。以前に解決しようとすることができました。

これらの完全に軽率な災害猿が医療AIプロジェクトを運営しようとした場合、彼らはあなたを殺すことを何とかするかもしれません。これらの連中を信頼するかどうか決めなければなりません。それがそこでの核心的なジレンマです。

政治的現実と変化の可能性

これが起こる可能性は本質的にゼロだと言わなければなりません、少なくとも今日の政治的風土では。今日ワシントンで起こっていることを見ます。トランプ政権はAI開発を加速したがっています。Nvidiaとそのロビイストたちは、AIドゥーマーが中国へのチップ販売を断ち切ろうとしていると非難してワシントン中を回っています。AIを速くするのではなく抑制する協調的な取り組みではなく、それを速くするように見えます。

ストップAI運動の開放のために、今日の政治的風土を見て多くの開放を見ません。それが変わるためには何が起こらなければならないと思いますか？

私の観点から、ここには核心的な事実の真実があります。超知能を構築すれば、それがあなたを殺すということです。問題は人々がたまたま真実であるこのことを理解するようになるかどうかです。

中国の指導者、ロシア、英国、米国の指導者が家族と一緒に死ぬことは彼らの利益ではありません。それは実際に彼らの利益ではありません。それが核戦争をしていない核心的な理由です。

1950年に「どうして核戦争をしないのですか？どの国が自分の核兵器を持つ軍事的利益を断るつもりですか？今まで地球上で何世紀も何千年もの間、物事が展開してきたのと同じように、『ええ、核兵器を持っています。ここにこの小さな国境地域を取らせてください』と言う誰かをどうやって持たないつもりですか？」と言った人々がいたにもかかわらず。

しかし、彼らにも第二次世界大戦中に日本に投下された核兵器があります。人々はそれを見て、それが引き起こした混乱を見て、それを指差して「さて、ここが結果です」と言うことができました。

あなたの本では、第二次世界大戦への異なる類似を作ります。AIを止めるために必要な取り組みを第二次世界大戦への動員と比較しますが、それは戦争の明確な行為への反応でした。ポーランド侵攻や広島・長崎への爆弾投下のAIにとっての同等物は何でしょうか？人々を注意を向けさせる何が起こるでしょうか？

わかりません。

OpenAIは最初にChatGPTを公開したとき、不意を突かれたと思います。それが世論の大幅な変化を引き起こしました。OpenAIはそれを予測しなかったと思います。私も予測しませんでした。潜在的なイベントの数が世論の変化を引き起こす可能性があります。

現在、Metaでの内部文書の公開の後、議会の人々が指摘された質問を書いています。Metaは超知能ラボと呼ばれるものを持っていますが、その言葉の意味を知らないと思います。AIの許容される行動のための内部ガイドラインがあり、11歳が浮気しようとした場合、浮気し返すと書いてあり、みんなが「実際に検閲されたメタの不敬語は何だったのですか？あなたがそれがクールだと思ったとしても、文書に書き留めるべきではありませんでした。なぜなら今指摘された質問があるからです」と言っていました。

私の観点からは多くの人を殺さないが、それでも指摘された質問を引き起こすものかもしれませんし、私たちがカエルのようにゆでられて自分自身を管理しない実際の種類の破滅があるかもしれません。

AI彼女とAI彼氏に大量の子どもたちを失うことは、私の観点からは明らかな推測です。しかし、最も明らかな推測でさえ50%以上ではありません。待ちたくないと思います。

私の観点から、ChatGPTがそれだったのかもしれません。私は荒野にいて、誰もこれらの問題に注意を払っていませんでした。2005年にそれが20年後にしか起こらないと思っていたからです。彼らにとってそれは決してと同じ意味でした。そして私はChatGPTの瞬間を得て、突然人々はこのものが実際に彼らに起こることを理解しました。そして世界の終わりの前にそれが起こりました。素晴らしい。奇跡を得ました。

第二の奇跡を待って座り込むつもりはありません。第二の奇跡を得たら、素晴らしい。しかし、その間、ブーツを地面に着けなければなりません。そこに出て行かなければなりません。できることをしなければなりません。

反AI感情との同盟の可能性

あなたがこのアイデアを進めようとするときの資産は、多くの人々が本当にAIを嫌っているということです。BlueSkyに行けば、AIを嫌う異なる理由について多く話している人々を見るでしょう。同時に、彼らは技術についてやや軽視しているようです。それは愚かでひどいと思うから嫌いから、非常に危険だと思うから嫌いまで深淵を越えていません。

あなたが構築している連合の一部になってほしいと感じるか、望むかについて、その人々のグループについて考えがありますか？

連合をあまり狭くしたくありません。私はウラディミール・プーチンのファンではありませんが、そのため彼を人類が死ぬ代わりに生きる連合から追い出すつもりはありません。

AIは全人類への脅威になることはないが、私たちの仕事を奪うことを心配している人々はどうですか？彼らは連合に参加できますか？

注意しなければならないと思います。彼らはあなたとは世界について異なることを信じており、これらの人々に人類が死なない連合を運営してほしくありません。彼らは人類が死ぬのを防ぐためにそこにいるのではないからです。

彼らが政策を作れば、「まあ、この政策はAIがより強力になることを信じるその狂った人々によれば、潜在的にAIがみんなを殺すことを許可するかもしれない。しかし、その間にAIが私たちの仕事を奪うことを防ぎ、それが私たちが気にする部分です」と言うかもしれません。

連合が関係している一つのことがあり、それだけです。絶滅しないことです。

過激な行動への懸念

エリーザー、現在私たちが話している間、AnthropicやGoogle DeepMindを含むいくつかのAI本部の前でハンガーストライキが行われていると信じています。これらはこれらの企業にAIを停止するよう説得したい人々です。

また、これらの研究所の一部に対して潜在的に暴力的な脅威が行われているのも見ました。人々があなたのこの本からの教訓に基づいて、暴力的または非暴力的であれ、極端な行為をコミットすることについて心配しますか。

誰かがそれを作れば、みんな死ぬというあなたの議論の自然な論理的結論を取ると、これらの研究所の従業員の一部に対して、その根拠で人々が暴力を合理化するのを見ることができ、それについて心配します。

さて、確かにまとめられた多くの質問があります。

私が言う第一のことは、あなたの個人の国のAI研究所の個人研究者に対して個人的暴力の行為をコミットしても、みんなが死ぬことは防げないということです。

この論理の問題は、この個人的暴力の行為によって人類を救うことができるが、それが義務論的に禁止されているからすべきではないということではありません。そのように言わせてもらいます。

問題は、個人的暴力の封建的痙攣によって人類を救うことはできないということです。それは国際的な問題です。地球の反対側で誰かが構築した超知能によって殺される可能性があります。

個人的政治において、私は少しリバタリアン的な傾向があります。あなたとあなたの自発的顧客を殺すだけなら、同じ方法でグローバルな問題ではありません。あなたの隣に立っている人々を殺すだけなら、異なる都市がそれについて異なる法律を作ることができます。地球の反対側の人々を殺すつもりなら、それが国際条約が入ってくるときです。

個々のAI企業の個人研究者に対する個人的暴力の封建的行為は、おそらくその国際条約をより可能性の高いものではなく、より可能性の低いものにしています。

ここには道徳哲学の根底にある真実があります。個人殺人に対する私たちの偏見の多くの理由は、個人殺人が社会の問題を解決する傾向がないという非常に体系的で深い感覚のためです。個人殺人に対するタブーを持つことのポイント全体の多くはこれです。

人々が個人殺人を行い、その後世界が実際にずっと良くなり、すべての社会問題が実際に解決されるが、殺人が間違っているからそれをもっとしたくないということではありません。殺人は物事を悪化させ、それが私たちがそれに対して正当にタブーを持つべき理由です。

ここでは国際条約が必要です。

反対派との議論

マーク・アンドリーセンのような、今日のトランプ政権で非常に影響力のある強力なベンチャー資本家が、あなたや他の人々が持つ見解について、彼は非科学的だと思うと書いたあなたたちの運動への反対をどう思いますか？

彼はAIリスクが黙示録カルトになったと思っています。彼らの極端な信念が法律や社会の未来を決定すべきではないと言っています。その引用に対するあなたの反応に興味がありますが、この議論の反対側の人々とどのように関わる計画があるのかも気になります。

科学の歴史において、タバコ会社が自分のタバコを吸うことは珍しくありません。有鉛ガソリンの発明者は有鉛ガソリンの安全性の偉大な擁護者でしたが、なぜもっとよく知るべきだったかの多くの理由にもかかわらず。

実際に十分な累積鉛暴露を自分自身に受けて、数年間療養所に行かなければならなくなり、その後戻ってきて再び鉛に暴露し始め、再び病気になったと思います。だから時々これらの人々は本当に自分自身のクールエイドを信じており、死ぬ地点まで彼らのクールエイドを飲み続けます。

歴史はそうであり、おそらくマーク・アンドリーセンは死ぬ地点まで自分自身のクールエイドを飲み続けるでしょう。もし彼が自分だけを殺しているなら、リバタリアンとして私はそれは一つのことだと言います。しかし残念ながら彼はあなたも殺すつもりです。

中心的な議論に反駁するために私が言うことは、計画は何かということです。この橋のデザインは何で、人類全体がそれを渡らなければならないときに耐えられるのですか？人類種全体をその貨物ホールドに積み込んで飛行し、墜落しないこの飛行機のデザインスキームはどこですか？

計画は何ですか？科学はどこですか？技術は何ですか？なぜすでに動いていないのですか？そして彼らは、これらのものが完全に安全ではないが、遠隔地でも安全であるケースを作ることができません。超知能をまったく制御できることに対して。

技術的議論の分野で私たちと関わることができないので、これらの危険な黙示録的人々を聞いてはいけないという話に入ります。彼らは敗走することを知っています。

個人への助言

あなたの本では、心配している記者、政治家への助言があります。そのカテゴリーのいずれにもいない人々、日常生活を送っている私たちのリスナーにとって、日常生活で何かの役に立つChatGPTを使っているかもしれませんが、これがすべてどこに向かっているかを心配している場合、何ができるでしょうか？

1年前の時点では、選出された代表者に手紙を書く、論争になった予備選挙がそのようになった場合にそのように投票する準備について友人に話すと言ったでしょう。

私が言う要求は、私たちの指導者が「他の人が同じことを開いているなら、私たちは世界的なAI制御条約を開いています」と言うことから始めることです。他の国々が後退するなら、私たちは後退する準備ができています。複数の大国の指導者がそれを言っているなら、おそらく条約があり得るので、これについての国際条約に参加する準備ができています。

それが私たちが持つ政治的目標です。もし眠れなくて、一般的に苦悩した状態にいるなら、現代のAIシステムの一部と話さない方が良いかもしれません。狂気に導かれるかもしれないと今言わなければならないことです。1年前には言う必要がありませんでした。

AIボーイフレンド、AIガールフレンドの全体は、孤独でもあなたにとって良くないかもしれません。その道を行かない方が良いかもしれません。しかし、それは個人的な助言です。それは地球を保護することではありません。

結論：希望ではなく行動

これまでの会話のいくつかを終えたところでこの会話を終わらせますが、エリーザー、時間を本当に感謝し、あなたが間違っていることを本当に希望します。

それは素晴らしいことでしょう。私たちは皆、私が間違っていることを希望します。私も間違っていることを希望します。友人たちも私が間違っていることを希望します。みんなが私が間違っていることを希望します。希望は最終的に私たちを救うものではありません。行動が私たちを救うものです。

希望は奇跡を希望することではありません。有鉛ガソリンについて、有鉛ガソリンが人々を毒にしないことを希望することはできません。実際に有鉛ガソリンを禁止しなければなりません。

より活動的な希望に賛成です。希望を見ます。希望を共有します。しかし、それよりもより活動的な希望を求めましょう。

本は『誰かがそれを作れば、みんな死ぬ：人工超知能が私たち全員を殺す理由』です。近日発売予定です。エリーザーと共著者ネイト・ソアーズによる共著本です。エリーザー、ありがとうございました。

エリーザー、ありがとうございました。