本書き起こしは、AIの危険性を議論するポッドキャスト「Doom Debates」の5000人登録記念ライブQ&Aの内容である。主催者のLon Jabiraがドゥームズデイ論証、AI規制の必要性、Pause AI運動、そして視聴者からの多岐にわたる質問に答えた。議論の中心は、AGIの早期到来による人類絶滅リスクの高さと、現在のAI開発競争の危険性である。特に注目すべきは、AIの意識問題、VEO 3によるウェストワールド的な現実、プルーフオブヒューマニティの必要性、そしてイリヤ・サツケヴァーやエリエゼル・ユドコウスキーなど著名人への言及である。Jabiraは技術進歩を楽しみつつも、理性的には人類が滝に向かうカヤックを漕いでいるような状況だと認識していると述べている。
23,029 文字
Diet Cokeがお送りするDoom Debates。Diet Coke、それはビル・ゲイツが飲むものです。Twitterでライブ配信しているかチェックしてみますね。はい、Twitterで2人という圧倒的な視聴者数でライブ配信中です。こんにちは、Twitterの皆さん。
YouTubeチャットでいくつか質問が見えていますね。ライブで質問したい方は、YouTubeチャンネルyoutube.com/doomdebatesにどうぞ。DiscordファンにもRSも投稿しておきますね。
ちなみに、これを見ている皆さんは明らかにスーパーファンなので、実はDoom DebatesのDiscordがあることをご存知ないかもしれません。参加方法は、pai.infoにアクセスすることです。PAI Discordで私をチャンネルとしてホストしてくれているので、pai.infoにアクセスしてDiscordに参加すると、#doom-debatesというチャンネルがあり、そこで私を見つけることができます。皆でライブで話していて、番組について戦略を練りたい方には本当に良いインナーサークルです。
インナーサークルといえば、プレミアム層をリリース予定で、私のSubstackにアクセスできます。現在は誓約のみですが、基本的に月10ドルを支払っていただければ、私が次のエピソードについて戦略を練るときなど、月10ドルで番組をサポートしてくれる人たちのブレーントラストと一緒にやるような限定コンテンツが手に入ります。その他のプレミアムな小話なども用意します。
まだ何が含まれるか検討中ですが、ライブコンテンツを見たいだけなら、「ゲイリー・マーカスはAIについてどう思うか？ロンのインタビューを聞いてみよう」といった内容は、広告サポートになる可能性はありますが、常に無料です。番組のミッションはメッセージを広めることだからです。
つまり、無料で聞くのが好きなら心配しないでください。良い無料コンテンツになります。最高のコンテンツは確実に無料です。でも、著名な議論のためにDoom Debatesに来て、私の人格を気に入って「この緑のシャツはどこで買えるの？ファッションについて教えて」といった、私についてのより人格ベースのコンテンツが欲しいなら、あなたはスーパーファンであることを暴露しているので、おそらく月10ドル払うべきでしょう。それが私が見始めている区別です。
Substackに質問を投稿した人の質問を優先します。現在これを聞いていて私のSubstackに登録していない方は、ぜひそうすることをお勧めします。無料で登録できます。私の他のコンテンツを受け取る方法で、YouTubeは人々をだますことで知られています。時々YouTubeは人々をだますので、ある日私のYouTubeチャンネルが検閲されたという通知を受ける現実的なチャンスがあります。それでも大丈夫です。Substackで皆さんがいるので、Substackを通じて配信を続けます。SubstackのCEOクリス・ベストは実際にLess Onlineカンファレンスに来るので、Substackが私をだまそうとしても直接苦情を言えるからです。
話は変わりますが、2日後の金曜日5月30日からLess Onlineカンファレンスが始まります。less.onlineでチケットを購入できます。チケットは数百ドルです。参加したい方はそこでお会いしましょう。Doom Debatesを代表したい方には無料のTシャツを差し上げます。Doom Debatesを代表するTシャツを印刷中です。バークレーのLess Onlineで皆さんにお会いできることを楽しみにしています。本当に良いカンファレンスです。
ライブ質問をいくつか見てみましょう。
Julian Wが「ドゥームズデイ論証などについてのあなたの意見は？」と言っています。興味深い質問ですね。ドゥームズデイ論証は基本的に人口の傾向を見ると言っています。世界人口を見ると、これまでに生きた人間の大部分は現在、または過去数十年に生きています。人口は指数関数的に成長し続けているからです。これは指数曲線の特徴です。
ドゥームズデイ論証は、人類の人口増加が指数曲線上にあると言っています。あなたがランダムな時間に放り込まれたという仮定に基づいて、人類にどれだけの時間が残されているかをナイーブに問うなら、私たちは本当に本当に早期にいることはできません。なぜなら、未来にこれらすべての人間が生きているなら、なぜ私は未来ではなく現在に生きているのでしょうか？
これは奇妙な推論方法だと思うかもしれませんが、これは奇妙な推論方法ではありません。これは通常のベイズ推論です。通常のベイズ推論では、仮説の確率を知りたい場合、実際に仮説が与えられた証拠の確率を見ます。有名なベイズ定理は、EがグIVENされたHの確率、証拠が与えられた仮説の確率を知りたい場合、実際に仮説が与えられた証拠の確率を見たいと教えています。
それらは密接に関連しています。P(H)を掛けてP(E)で割る必要がありますが、いくつかの調整がありますが、最終的にベイズ定理を、仮説が観察された証拠により高い確率を与えるときにより可能性が高くなると説明できます。ドゥームズデイ論証は実際に非常に正当です。あなたの存在により高い確率を与える仮説は、あなたが人間人口のベル曲線の中間にいるという仮説だと言っています。
私は実際にそれを非常に説得力があると思います。結局のところ、私がDoomが高いと思うことを考えると、もし実際に私たち全員が一掃されるなら、振り返ってみても「そうですね、ドゥームズデイ論証が私を間違った方向に導くことはありませんでした」と言うでしょう。ドゥームズデイ論証は、おそらく私たちがまもなく運命を迎えると教えてくれ、これは超知能AIについて私が見ていることとうまく合致します。
誤解しないでください。百万もの他の説明があり得ます。シミュレーションに住んでいるかもしれませんし、単に運が良いだけかもしれません。まだ人口の99%が残っていて、私たちは最初の1%にいるだけかもしれません。でも、私たちが最初の0.1%にいて、銀河規模の人間が生まれようとしているというアイデアには、確実に怪しいものがあります。
しかし、ロビン・ハンセンのgrabby aliensの議論もあります。彼は基本的に、他の銀河の宇宙人の存在が、私たちが宇宙の泡の中で早期にいることを驚くべきことではないとしていることを理解しました。だから、これについて謙虚でありたいと思います。ドゥームズデイ論証が私には実際にかなり強力に思えるとしても、明日目を覚まして誰かが「いや、ドゥームズデイ論証は実際に愚かです」と言えるかもしれないというアイデアに謙虚でありたいと思います。
人口は成長し続けるでしょう。それは事前に可能性の低い仮説のようですが、それは非常に良い質問で、「そう、それは正しい議論です」と言う以外に非常に満足のいく答えはないと思います。
チャットの人々はTwitterのことがダウンしていると言っているので、おそらく修正できませんが、試してみましょう。配信がTwitterで終了したと言っています。TwitterファンはRunがないので、Twitterの人々が全員移住できるリンクを投稿します。
Twitter で得た唯一のコメントは、「あなたの母親をよく知っている」という名前の人が「一度でも黙れないのか？あなたのイタチのような頭があちこちで負の感情をスポンジしようとするのを聞くのに疲れた。この小さな迷惑な代わりに、人々のためにもっと有用なことができないのか？」と言っています。クリックして「彼は私をフォローしている」かと思いましたが、そのためにブロックする必要があります。このアカウントからより生産的なコメントが来ることは期待していないので、ブロックします。
Q&Aを続けましょう。ライブでもう一つやってから、Substackに行きます。
「Pause AIが見当違いなら、能力が制御を上回る前にAIを安全に整合させるために、どのような具体的な計画を提案しますか？」という質問があります。私はPause AIが見当違いだとは思いません。慎重に進む必要があると思います。
しかし、一つ言いたいのは、文字通り今すぐAIを一時停止することが解決策ではないと思うなら、アラゾフスキも同じページにいると思います。つまり、一時停止するインフラを構築するということです。まだ一時停止する準備ができていませんが、一時停止する準備ができたときにスクランブルしてはいけません。GPUには無線受信機があるべきなど、やるべきことがあります。
監視技術のようで気持ち悪いのは分かります。皆さんと同じようにリバタリアンですが、人々が「よし、一時停止しよう」と言う時が来るでしょう。有名な警告射撃があった場合、人々が「何かしなければならない」と言う時が来るでしょう。100万人が死亡し、インターネットが1ヶ月間ダウンし、電力と必要なサービスが1ヶ月間ダウンした。復旧に苦労し、ようやくこの傾向がどこに向かっているかが分かる。AIに攻撃された。何かしなければならない。
そのとき、彼らはPAIの人々の意見を聞くかもしれません「あなたが最もやりたくないことは、彼らをより知的にすることです」と。その間、すべての企業が「さあ、GPT-8をリリースしよう。投資家が待っている。数十億ドルのリターンを期待している」と立てこもっています。その時点で「申し訳ありませんが、GPU訓練はもはや合法ではありません。もう機能しません。次の訓練実行をしたら逮捕します。人類はこれに準備ができていません」と言うのです。
私はPAIを今調整したいと思います。一時停止する民主的意志があるとすぐに一時停止する技術を構築すると言いたいと思います。少なくとも後で一時停止したいかもしれないことを認める民主的意志があるべきです。
実際、これは非常に深い原則だと思います。私たちが一時停止する必要があることを実現する確率です。実際、私はこれについてツイートしましたが、AI企業が私たちについて誤解する第一のことは、AI整合を解決することが単に困難な問題かもしれないというアイデアです。整合を解決することが困難な問題だとしたらどうなるでしょうか？彼らはそれを議論に持ち出すことさえありません。
いつも「そう、私たちは最善を尽くしています。AI整合に取り組んでいます。うまくいくことを願っています。能力を構築しながらできることは最善を尽くすことだけです」と言います。ちょっと待ってください。その声明は、あなたが取り組み可能な問題に取り組んでいることを前提としています。整合が100年の問題や人類にとって単に困難な問題だと言ったら、それに取り組むつもりだということは役に立ちません。重要なのは能力の部分が悪いということだけです。
彼らが整合が困難だということに同意しなくても、少なくとも確率的にそれが困難かもしれないことを認めなければなりません。それが会話で公正な扱いを受けていない部分です。たとえあなたがサム・アルトマンでも、能力が困難だというアイデアに公正な扱いを与える必要があります。
彼はその時点を過ぎて会話を始めたいだけです。「確実にそれは取り組み可能な問題で、唯一の質問はどのように問題に取り組むかです」という時点で会話を始めたいのです。もし彼が正直な時点で会話を始めるなら、整合研究が能力のタイムラインで実際に解決するには単に困難かもしれないことを認めることから始めるなら、プランBがあるでしょう。
すべてのAI企業は「私たちの困難な計画に切り替えましょう。警告射撃が行き過ぎました。これが私たちの手に負えないことを認めます」と言うでしょう。彼らはこれが90％の可能性のあるシナリオだとは思わないかもしれません。20％の可能性のあるシナリオだと思うかもしれません。私は80％の可能性のあるシナリオだと思います。彼らが同意しなくても、1％の可能性のあるシナリオや0％の可能性のあるシナリオだと思わない限り、プランBはどこにありますか？困難な計画はどこにありますか？
だからこそ、PAIがPaiに叫んでいるとき、私たちは単に20％の計画や、あなたが考えるものが何であれ、について考えろと言っているのです。それが実際に困難だということで私たち全員が同じページに立つシナリオについて考えてください。その時どうしますか？ああ、AIを一時停止する計画を実行するのです。
Substackの質問をやりましょう。Substackの購読者で、まだSubstackの質問を滑り込ませたい場合は遅くありません。
SubstackのAlfie PTが「これはAMAの質問ではありませんが、Luke Smithを討論に招待することを提案したいと思います。彼をご存知かどうか分かりませんが、彼は20万人以上の登録者を持ち、LinuxとlphilosophyについてのビデオをChineseRoomを作っています。最近、AIを知能の錯覚だと呼び、中国語の部屋の実験を繰り返し持ち出すビデオをいくつか作り、1週間で10万回再生されました」と言っています。
ご存知のように、私のPenroseエピソードを聞いたことがあるなら、中国語の部屋の実験は、私は洞察ではない、誤解を招く洞察ではないと考えています。彼のビデオ「AIは何でもないバーガー」へのリンクがここにあります。これは簡単な論破のような良い材料のようです。多くのこれらの論破は非常に簡単で明白に感じます。
YouTubeチャットの新機能を試してみましょう。投票機能があり、「Luke Smith反応エピソード/討論を優先すべきだと思いますか？」という投票をして、はいかいいえで答えることができます。YouTubeライブチャット投票機能で今すぐ答えを入力してください。
閾値を設定しましょう。機会費用があることを覚えておいてください。基本的にその週に他の何かを見たくないと言っているのです。75％がはいなら、私はそれをやります。
「あなたのチャンネルを見ることから、Doomに対する議論は非常に弱いようです」という質問があります。反対側をどのようにsteel manしますか？これは他の人と問題について議論しようとするときによりよく準備できるためです。
他の側をsteel manする方法について、彼らが正しい最も可能な説明について考えるとき、私は苦闘します。物事がなんとかうまくいき、知能爆発が本当に本当に遅いということです。起こり得る最良のことは、宇宙に人間の知能の上にある余地、いわゆるヘッドルームがあることが判明することです。
ええ、ある程度の余地はありますが、それは人間が理解することをより速く行うように見えますが、それほど速くありません。ちょっとしたプラトーのようなもので、ナノテクを作るかもしれませんが、何十年もかかり、人間はすべてのステップに従うことができます。それが聖杯のようなものです。
それは可能性が低いと思います。彼らは引き離し始めていると思います。思考のすべてのステップを検討することが困難になり始めていますが、彼らの思考の記録を実際に読んで「そう、私はこれに従うことができます。私は彼らより5倍遅いですが、従うことができます」と言える領域にまだいます。
でも、さらに数年与えると「私は50倍遅い」になると思います。どれだけの時間差、何桁の時間差があれば「そう、アインシュタインはあなたの段階的思考に従うことができるが、あなたは彼らを上回っている」となるでしょうか？
私は直感的にこれを「ヘッドルーム」と呼んでいます。人間の知能の上にある余地で、それほど有望ではありませんが、それが私の直感が向かうところです。人間レベルの50倍速く賢く考えることができるが、何らかの理由で彼らを支配する低技術の方法がまだあるような世界です。はい、私より50倍速く賢く考えることができますが、私はまだあなたを切ることができます。あなたはまだ私から命令を受け、私はまだあなたを驚かせる動きができるかもしれません。何らかの形で、あなたは私が何をするかを正確に知らない。私にはまだ何らかの力があります。それが非ドゥーマー世界の最良のケースシナリオだと私の直感が言うことです。
しかし、私の理性的思考は、視点の問題として、それはそれほど可能性が高くないと言っています。これは私の脳が自然に働く方法で、桁違いです。あなたの頭の中の肉片は力の源として、動物に対する大量の力を与えるのに十分良いです。私たちの頭にあるこの肉片よりもはるかに強力な何かが私たちに対して力を持てない理由が分かりません。
自然選択が私たちの頭に吐き出したもののultimateversionが、いや、それの究極のエンジニアリングバージョンは私たちよりもほんの少し高いだけだというのは、本当に奇妙に思えます。私は桁の問題として、私たちが達成しているものの上に非常に多くの桁があるとは思いません。
植物について少し言うようなものです。植物は非常に速く成長します。植物を上回ることができる生物を想像できません。そして、地球を歩き回って植物を引き抜く動物を得ます。「そう、植物より上で動作できる複数の時間スケールがあります」動物が無関係な時間スケールであっても、植物が非常にクールであることは確かです。
数ヶ月にわたって植物が成長するのを見ると、それを早送りすると「わあ、植物は太陽に向かって傾いています。植物は非常にダイナミックです。植物はここで動きをしています」となりますが、動物の時間スケールでは無関係です。
ジェットパックも今では機能しますし、空飛ぶ車も完全に機能します。ドローンも完全に機能します。これらのものが絶望的に未来にあったときを覚えています。クレイジーです。
インスペクター・ガジェットを覚えていますか？彼のバックパックから何かが飛び出して、それで飛び回る。インスペクター・ガジェットになることはほぼ可能だと思います。それが可能になる日は、2007年に容量性タッチスクリーンを使ったときの衝撃よりも大きな衝撃にはならないでしょう。
20年前の非常にお粗末な抵抗タッチスクリーンを覚えています。コストコなどの特定の店舗にあった非常にお粗末なタッチスクリーンで、触ってもまったく敏感ではありませんでした。タッチをかろうじて登録しますが、まだ使用できます。「これがタッチスクリーンです。タッチスクリーンは最悪です」と思いました。
そして、最初のiPhoneを手に入れました。同僚が持っていて、それで遊んでいました。「何だこれ、このように良いタッチスクリーンを持つことができるなんて。技術がこんなに良くなることが許されているとは知らなかった」と思いました。
これが私が住むお気に入りのテーマの一つです。未来に住んでいて、再びAI Doomに関連して、成長してこれらすべての技術がJetsonsの遠い未来にあるように見えた経験があり、そして「いいですね、中年になりつつあり、それらがただここにある」ということを考えると、さらなる技術が来ると思います。さらなる技術もJetsonsの未来からのものだと思いますか？推定してください。
だからこそ、AIが「見て、私はミラーライフを構築しました。人間に私の言うことをさせて、ミラーライフを構築しました」と言っても驚かないでしょう。それは驚きではありません。「そう、これはAIが行う主流のDoomシナリオです」と言うでしょう。
「もしあなたに子供がいなかったら、ASIが私たちの後継者を作成することで人類の終わりをもたらすことを楽しみにしますか、それとも可能な限り多くの人類性を持つ未来を望みますか？」という質問があります。子供を持つことが人類に対する私の見解をそれほど変えるとは思いません。人類を殺さないことは良い結果だと思います。
後継者を作成すると言うとき、これが要点だと思います。ロビン・ハンセンのような人々は、私たちが永続的に人間的な未来を持つつもりはないと指摘しています。過去に変化したのと同じように、私たちの価値観がある程度変化することを望んでいます。私たちの価値観を文字通り凍結し、私たちの価値観の過度に狭い定義をしたくありません。
問題は、良い結果とはどのようなものかということです。正しい変化のペースとは何でしょうか？AIが数十年にわたって世界を引き継ぐなら、今やAIの子孫がいる通常の経済進歩ではないでしょうか？子孫が肉と血でできていないだけです。それで問題ないのでしょうか？それは人工心臓やNeuralinkを持つことと何が違うのでしょうか？NeuralinkはDoomではありませんよね？だから、AI後継者を構築することはNeuralinkと何が違うのでしょうか？
これらは良い質問で、私の答えは中間のある点を見つけることですが、AIが次の10年で全世界をグレイグーに変える点ではありません。それは遠すぎます。スペクトラムの遠すぎるところです。
答えが何が起こっても起こることを定義して良いとすることだとは思いません。答えはここで厄介な中間に取り組むことだと思います。多分変化が起こることを許される速度に制限を設けることです。次の100年で、変化はあまりに速く起こることはできないという制限。まだ変化を持つことはできますが、あまりに速くすることはできません。
慎重な措置として、肉と血の人間である方法が少なくとも次の50年間は最低限あるべきだと言いましょう。バックアップとして、あなたが取ることができるオプションとして。それは慎重なオプションのようです。その後、AI子孫を持つことはできますか？確かに。すべてが本当に速く起こるなら、何が起こっても起こると言って、それがすべて次の5年で起こることができるなら、多くの時間があって反省するなら、あなたが本当にそれが良い結果だと思うだろう結果を得ないように思えます。
ロビン・ハンセンでさえ、この結果が起こっているなら、ロビン・ハンセンでさえ後悔の痛みを感じるかもしれないと思います。
「AGI Doomがウイルスまたは物理的な場合、グリッドから離れて通常の人々から切断されて生活することで、上記で説明されたAI Doomを生き延びることが可能でしょうか？」という質問があります。興味深い質問です。サム・アルトマンがバンカーを持っていることを知っています。マーク・ザッカーバーグがバンカーを持っていることを知っています。ピーター・ティールがバンカーを持っていると思います。
イリヤ・サツケヴァーからかなり衝撃的な引用が出ました。イリヤを覚えていますか、OpenAIの共同創設者で、今では自身のAI会社を持っています。イリヤは有名に人々にAGIを感じるように言いました。イリヤは有名にサム・アルトマンが良いCEOではないことに同意しました。彼は基本的にあまりにも怪しかったのです。
サツケヴァーから最近引用が出ました。私立メールからだと思いますが、彼は「そう、私たち全員が超知能AIをリリースする前にバンカーを構築することを確実にするべきです」と言っていました。しかし、彼は「そう、私のバンカー、あなたのバンカー、サム・アルトマンのバンカー。私たちエリート、AI建設者たちは、これをリリースするときに自分たちをバンカーに入れる必要があります」という文脈で言っていました。
Gotchaをプレイしたくありませんが、ここには偽善や欠落した雰囲気があります。何かが正しくありません。このショーを聞いているなら、おそらく同意するでしょう。私たち全員にとって明かりが消えることについて冗談を言い、その可能性をHaha、しかし同時にAGIを構築する競争をすることには何かが正しくありません。
個人的には、それが私の一日をそれほど影響しませんでしたが、それは言及する価値があると思います。「見て、イリヤは素晴らしい人ですが、『AGIを解放する前に私のバンカーに入ったほうがいい。冗談です、冗談です。AIは安全です。でも安全ですか、イリヤ？』と言うとき、認知的不協和があります」と言っていました。
あなたは実際に社会を助けているのですか、それとも実際に社会にとって非常にマイナスなのですか？私は彼が非常にマイナスに傾いています。彼は社会を嫌っているようなものです。ドナルド・トランプを好まない人々が「でも彼は個人的にはとても素敵です」と言うときのようです。イリヤのようです。AGIを感じて慎重にアプローチし尊重するべきだというビデオを録画するときは非常に素晴らしいですが、同時に彼はそれを構築していて、「結局、あなたはそれを構築しなければならない」と行動しています。
そこに矛盾を見ます。私は自分自身をgrinとは呼びませんが、彼は慎重である人のマスクまたは顔を持っているようなものですが、実際に私たちが運命づけられていることを恐れている人のプロトコルを実際に行うことはありません。そこに矛盾を見ます。
同様に、2023年に彼がヤン・レッキュと一緒にスーパー整合チームを率いていたとき、矛盾を見ます。「そう、私たちはスーパー整合をやっていて、4年で解決しなければならないが、同時にOpenAIに能力に取り組み続けてもらおう」と言うのです。何？
私はイリヤを、あまりにも多くのこれらの自己矛盾した立場に巻き込まれた人と見ています。彼がそれらの立場に身を置く方法を実際に尊重しません。今、彼は秘密にしているAIラボを持っていることを自己矛盾だと考えています。彼はそれをSafe Super Intelligence（安全な超知能）と呼んでいて、これは超知能が安全でなければならないことを意味します。安全でない超知能を作ることは災害的でしょう。
しかし、彼は記録に残って「OpenAIを閉鎖する必要があります。すべてのオープンソースAIラボを閉鎖する必要があります。起こっていることは大丈夫ではありません」とは言っていません。いや、彼は記録にそれを言っていません。彼は、OpenAIに与えた技術よりもさらに良いAI技術を使って、皆の前に出て乗り出したいと希望しているだけです。スーパーマンのように前に出て、崖から落ちている人を捕まえるように。
それが基本的にイリヤのビジョンです。彼は基本的に映画「Don’t Look Up」のDr. IsheruIDです。「そう、小惑星が来ているが、私たちはそれを採掘して安全にするつもりです。完全な勝利を収めるつもりです。ここでやりたいすべてのこと、そこからすべての価値を採掘し、安全にします」と言うのです。それが私が新しい秘密プロジェクトでやることです。また、OpenAIが無謀だとは言いません。
そのようには機能しません。これらすべての異なることを行う計画を持つことはできません。それは過度に野心的で愚かです。人類に今実際に可能なことについて現実的ではありません。
Jerry Helmanが「イリヤのコメントをジョン・シャーマンのコメントと比較してください」と言っています。それらは異なる領域だと思います。私はイリヤがその一つのコメントのためにキャンセルされる必要があるとは思いません。「そう、彼はバンカーについて冗談を言っていただけです。彼は本当にバンカーに逃げることを期待していません。いいでしょう」という慈善を彼に与えて幸せです。それが彼に対する私の主要な牛肉ではありません。
同様に、ジョン・シャーマンに対しても同じ慈悲を与えたいと思います。ジョン・シャーマンが「天よ、もし人々がそれについて聞いたら、この AI会社を燃やすだろう」と言っているとき、彼は精神的に不健康な人々に研究所を燃やすよう囁いているのではないという慈悲を彼に与えて幸せです。私もその慈悲を喜んで与えます。
Substackから新しい質問が来ています。Substackの購読者Kowickが「こんにちは、ロン、あなたに質問する機会を得ることは光栄です」と言っています。「光栄にKickに答えています」と彼が言います。
「訓練と推論フェーズの間に厳密な分離がもはやないモデルに到達しない限り、AGIに到達しないというのが私の現在の信念です」と彼は言います。同意します。訓練と推論の間に厳密な分離はないでしょう。
ここで注釈をしましょう。これは実際に私がツイートしたことでもある重要な観察だと思います。2023年を振り返ると、多くの人が「心配しないで、AIは訓練データにあったことについて話すことに限定されています」と言っていました。
だから心配しないで、AIが月への任務を指揮することは決してないでしょう。月への任務を指揮するのに必要なすべての異なる知識、それは月への任務の訓練データを読んでいないからです。だから大丈夫で、常にその特定の議論の行を補間するだけでしょう。
ちなみに、私はAI研究所のAI会社のトップAI会社の一つで、エンジニアとして素晴らしい給料を稼いでいる人々から、そのような議論の行を聞きました。私に「AIは訓練データにあることだけを知っている」というようなことを言っていました。私は「でも人類を見てください。人間は訓練データにあるものよりもはるかに多くのことをし、月のミッションはそれの完璧な例です」と言いました。
2025年を見ると、誰もAIが訓練データに限定されているとは言っていません。私の逸話を観察できます。私はClaudeに「Doom debatesのためにTシャツを印刷するのに最適な場所を研究するのを手伝ってください」と頼みました。
Claudeはデータを見ることさえしません。「そう、素晴らしい。100万トークンのコンテキストウィンドウがあります。だからWebサーチをしましょう。Webサーチで多くのサイトを訪問しましょう。関連するすべての情報でワーキングメモリをロードしましょう。そしてそれについて推論しましょう」と言うだけです。
言い換えれば、人間が行うこととまったく同じです。だから、もう訓練データについて誰が話しているのでしょうか？これをin-context learningと呼ぶかもしれませんが、それについて別の単語が必要だとは思いません。それは質問に答える正しい方法です。
質問を持っていることからその答えを知ることに現実を導く正しい方法は、それに最適な情報を集めてそれについて推論することです。この時点で、「それは訓練されたデータにあることについてのみ」という考え全体はありません。いや、彼らは目標に向かうパスを見つける方法の一般的な概念について訓練を受けているだけです。
宇宙がどのように機能するかについて多くのコンテキストを持っていますが、誰かが十分に知ったら、強力なジェネラリストである人は他のドメインに入ることができます。特定のトピックで4年間の教育を受けた低IQの人と、高IQで世界についての多くの一般的な知識を持つ人が同じトピックに入る場合を想像してください。線が交差して、事前訓練のない人が追いつくまでに何ヶ月かかるでしょうか？追いつくことは一般的にそれほど時間がかからないと思います。だからin-context learningや訓練を超えることはそれほど時間がかからないと私の意見では。
さて、質問に戻りましょう。Kowickは続けて「彼らが推論時間計算中に重みを適応的に継続的に調整できるなら、その段階での一般性に関係なく、AGIに到達するのは時間の問題だけでしょう。そのような合併なしにAGIを持つことができると思いますか？そしてもしそうなら、そのような境界線を曖昧にすることなく、モデルがどのように完全なジェネラライザーになれると思いますか？これに加えて、高いAGI潜在的なブレークスルーのあなたの個人的なマーカーは何ですか？あなたを最も心配させるものは何でしょうか？」と言っています。
ここで謙虚でありたいと思います。特定の個人のように、AIが何ができないかについて常に教えてくれる人々がいます。マーティン・カサドが頭に浮かびます。これらの個人は常にAIができないと思うことについて教えてくれますが、彼らにプレッシャーをかけると「これは実際にどのように現金化されるのですか？AIが2027年のオスカー受賞映画を作れないと思わないということですか？」と言います。
すると彼らは「まあ、それはできるかもしれませんが、適切な訓練データが必要で、それに向けたRLが必要でしょう」と言います。私は「そう、あなたは起こることを何でも説明することを許されるように立場をヘッジしているが、AIができないことについてbuzzwordを投げ回すことで賢く聞こえるようになっています」と言います。
だから、私は「見て、私は分からない。私には強力に見えるトレンドラインを見ているだけです」と言う謙虚さを持っています。このトレンドラインをサポートしている多くの異なる理由があるようです。ムーアの法則のようなものです。Kurzweilは私たち全員を愚か者にしました。Kurzweilは「聞いて、このトレンドラインを駆動しているものが何であれ、それを駆動し続けると思う」と言いました。
私は「来て、Kurzweil、あなたはトレンドラインから推論することはできません。あなたは何を話しているか分からない。ムーアの法則を見ると、クロック速度を見ると、それは失速しました。確かに、トランジスタ密度は登り続けましたが、クロック速度は失速しました。だから、Kurzweilは何も知らない」と言いました。
そして、ムーアの法則をスーパーインテリジェンスまで外挿すると、「来て、あなたは旅行しています、Kurzweil」と言いました。しかし、彼はどういうわけか正しいことが判明しました。だから、謙虚なパイを食べなければなりません。
同様に、これらのトレンドが成長しているのを見て、それらがスーパーインテリジェンスまで続く可能性が高いと思うことについて謙虚さを持っています。ここで考えすぎたくありません。持っていない知識を持っていると主張したくありません。
具体的な指標について、「聖なるクラップ」と言わせるものについて、基本的にAIが完全にできないことを見て、それから彼らがそれをしているのを見るときはいつでも、「そう、スーパーインテリジェンスの時間は今少なくなった」と言います。
最近の例を考えると、いくつか頭に浮かびます。VEO 3です。それはクレイジーです。あなたたちにその映画を見るように言いました。それは信じられないほど印象的です。数ヶ月前には存在しませんでした。同様に、OpenAI画像生成マイルストーン、Googleの画像ジェネレーターも非常に近いと思います。
これらの2つの画像ジェネレーターがありました。Dallyに画像を生成するように言うと、あなたが求めているもののバラークでのみ何かをし、そして「いや、それは欲しくない。これを取り除いてください」と言うでしょう。そして、それは別の画像を生成し、それでもあなたが望むものではありません。
6ヶ月前に私に尋ねたら、「あなたが望む画像を実際に作ってくれるAI画像ジェネレーターが本当に素晴らしいでしょう。時の10％だけあなたがそれで十分だと言って、他の時間はそれが十分ではない代わりに、実際にあなたが使用可能な欲しいものをあなたに与えてくれる」と言ったでしょう。
確実に、私のYouTubeチャンネルを見ているなら、私のすべてのサムネイルは現在OpenAIの最新モデルによって大量に生成されていることが分かります。実際に、一度に10回APIをヒットできるツールを作りました。だから、多くのオプションを得ることができます。そのツールは私の時間の1分あたり約1ドルのAPIのコストがかかります。だから、基本的にこのツールを使いながら現金を流しています。しかし、それで大丈夫です。30分間ツールを使用して30ドル使いました。私の時間はそれ以上の価値があると思いたいので、みんなが勝ちます。
これらのジェネレーターを使って良いサムネイルを作るというアイデア、私の個人的な経験をお話できます。数ヶ月前に私は文字通りFiverrにいて、「誰が私のYouTubeサムネイルを作りたいですか？」と言っていました。もちろん、彼らは5ドルを請求するつもりはありません。25ドルか何かを請求するでしょう。私は文字通り人間にサムネイルを作るために支払っていて、それは楽しいプロセスではありませんでした。やり取りがあり、彼らは私にまあまあのサムネイルを作ってくれました。彼らは私がこれらの新しいAIツールを数分で使って作っているよりも悪い品質のサムネイルを作っていました。これは最近の進歩です。
問題は、スーパーインテリジェンスに到達する前に、これらのwowの瞬間をあといくつ持つことができるかということです。私はこの種の増分ステップの有限供給があると思います。6ヶ月前に私に「私たちは潜在的に高原化していますか？AI冬が今始まるかもしれませんか？」と尋ねたら、「確かに、可能です」と言ったでしょう。
しかし、過去6ヶ月は明らかに私が間違っていることを証明しました。同様に次の6ヶ月に、AI冬が今始まるかもしれませんか？ええ、多分。しかし、私たちはこの種の進歩のさらに6ヶ月に向かっていると思います。ここでブロッケージは見えません。そして、もちろんズームアウトして、なぜブロッケージがあるのでしょうか？私たちの頭の中の脳のレベル、進化によって設計されたこの特定の肉片が、なぜ何らかの制限を表すのでしょうか？
鳥を見てください。飛行機を作り始めるとき、ライト・フライヤーは最速の鳥ほど速く飛ぶことができないかもしれませんが、なぜそれが制限でしょうか？最速の鳥よりも速く飛べないのはなぜでしょうか？
ああ、結局私たちは最速の鳥よりも10,000倍速く飛ぶことができます。分かりました。鳥は飛ぶことで場所に速く到達する方法で私たちを感動させていました。今、私たちは彼らより10,000倍速いです。進化を上回りました。
私はそれが人間の脳でも起こると思います。「聖なるクラップ」と言わせる特定のマイルストーンについて他に何が言えるでしょうか？最近の記憶では、これらの思考モデルで見ているもの、O1で最初にモデルが思考を始めるのを見たとき、「それは面白い」と思いました。
最近のエピソードでJim Babcockと議論したように、彼らは最終的な答えを与える前にあなたの答えを推論するように言うchain of thoughtのアイデアを取っただけです。彼らがそれを別の段階に入れて、別の強化を適用したり、何らかの秘密のソースを行ったりするのはかわいいです。それはかわいいです。
しかし、今私は彼らが思考と呼ぶこのプロセスについて「男、このプロセス」と思っています。私がClaude 4にラッシュオーダーTシャツを得るための最高のサイトを研究するよう頼んだとき、それは思考を有効にするボックスをチェックしたからといって思考しているだけではありません。Webを検索しています。結果をコンパイルして、次に何をすべきかについて考えています。
それは代理店的バズワードです。Claudeは代理人です。タスクを実行しています。「これらのWebページの最新バージョンを引っ張って、シャツをどれだけ速く出荷できるかについて彼らが言っている最新のオファーを見ることができるように、それをスキャンしようと思う」と言っています。
Webを検索してWebページを読むことを、それが行う標準的なことと考えることはできますが、Model Context Protocol、MCPのように、ツールに手を伸ばして「Tシャツを注文させてください」と言うでしょう。「Tシャツをデザインさせてください。Tシャツを注文させてください。Doom debatesを実行させてください。あなたの仕事のますます多くをさせてください」というのはどれほど困難だったでしょうか？
私にとってのwowの瞬間は、次に何をすべきかについて考えて、それからそれを行うためにツールを呼び出すことができるインフラを持っていることです。これは本番環境にある標準的なことです。それが考えていた時間は90秒のようでした。答えを思いついたとき、「その90秒はかなりよく過ごされた」と思いました。
私はここに座って、90秒間多くの有用なタスクをクランチしたアシスタントがいて、それは価値があると思いました。私にとって、それは6ヶ月前と比較してもう一つのwowの瞬間です。これらのAIは確実により多くのことをやっていて、私をますます無用に感じさせるからです。
今、Google検索をするように頼まれたら、もうGoogle検索をする資格があるとさえ感じません。Google検索をするとき、私は怠け者だからです。「カップルのリンクを新しいタブで開こう。それらを読もう。もうGoogle検索をしたくありません。それは私にとって高度すぎます。むしろClaudeに私の代わりにBingを検索してもらいたいです」と思います。Bing APIを使っていると思います。それについて確信はありません。結果をコンパイルし、すべてのWebページを読み、そのリンクを開き、次に何をすべきかを考え、多分別の検索をする。私はポテトチップを食べながらClaudeにすべてをやってもらいたいです。
Google検索でも現時点では人間以下のタスクです。実際に面白いのは、2000年代初頭に「Let me Google that for you」という面白いWebサイトがあったことです。誰かがAOLインスタントメッセンジャーで私にメッセージを送ることができて「ねえ、ロン、何かについて好奇心があります。このことについて知っていますか？」と言って、それから私はリンクを送るでしょう。「そう、Let me Google that for youです」と言って。lmgtfy.com、Let me Google that for youのようなもので、彼らの検索クエリが続き、それからクリックするとアニメーションがあって「あなたのためにGoogleしましょう」と言って、マウスがGoogle検索ボックスに移動して彼らのクエリをタイプするようなもので、私は基本的にただDickになっていました。
しかし、今私はClaudeを私のLet me Google that for youエージェントとして使っています。「これを私のためにGoogleしてください。私がするよりも良くやってください」と言っています。それはちょっと面白いです。
終わりに近づいているので、チャットからあと数個のライブ質問を取って、それから終了します。そうすれば、皆さんはLess Onlineチケットを手に入れて、金曜日にチャットできます。
「なぜ一般知能が転回の普遍性が二進法であるように二進法であることを理解できないのですか？Cで表現できない関数はありませんし、私のラインで理解できないCプログラムはありません」という質問があります。もちろん、一般知能は二進法です。申し訳ありません。もちろん、チューリング完全性は二進法です。
形式システムがあるとき、それがチューリング完全かどうかを証明することができます。有限状態オートマタのようなサブチューリング完全なシステムについて知っています。計算はできますが、チューリング普遍的ではありません。しかし、いくつかの能力を追加すると、突然チューリング普遍的になります。
これはゴリラを人間と同じように賢くなるように訓練できないかという議論に行きます。ゴリラにNANDゲートの作り方、いくつかのブール演算の作り方を教える限り、技術的にゴリラは人間がすることすべてに従うことができます。ゴリラが人間が言った文を理解するのに、NANDゲートの論理演算を辿るのに1年かかるだけです。しかし、要点は何でしょうか？
植物について言ったことと同じです。いくつかの本当に長い退屈な時間スケールで、人間はAIが私たちに送った形式的証明のすべてのステップを技術的にチェックできますが、それがどうしたというのでしょうか？明らかにここには主要なスケール効果があります。
これが、Searleの中国語の部屋についての私の議論です。私がそれを非洞察と言った方法です。中国語の部屋を、ガイドブックを数回めくって中国語で質問に答えることができる本として想像するとき、何かが本当に奇妙に見えて、知能が欠けているように見えますが、あなたはスケール効果を見ていません。実際の本は本当に本当に巨大である必要があるからです。
本には、GPTのメモリのスケールにある何兆ビットの情報やスケールが必要です。多くのH100のような本当に巨大なスケール。多くの重みと多くのH100の内容を、世界百科事典よりもはるかに大きなこの巨大な本にシリアル化する必要があります。そして、あなたがそれをめくる部分について、一つの簡単な質問に答えるために1年間めくる必要があります。
実際にこのスケールを描くと、「そう、これはゴリラが推論できる、植物が推論できると言うようなものです。そう、これは技術的に起こっていますが、とても遅いです」となります。そして、人間のスケールでそれを起こすようにすると、ニューロンが本当に速く点滅していて、多くのニューロンを持つ脳のように見えるものを得ます。
基本的にそれが私が思うことです。だから、知能は二進法だと言っているとき、そう、二進法ですが、ここには主要なスケール効果があります。誰でも退屈に自分の知能を辿ることができますが、実際には機能しません。
「なぜみんながUBIと利益分配が物事だと思うのですか？」という質問があります。分かりません。Jeremy HelmannsとJameを選びます。
Jeremy Helmanが「モデル訓練の設計アプローチがブラックボックスの重みではなく、YouTubeビデオTed Nelson on zigzag data structuresでデモされたようなハイパー直交構造の人間が読める データだったらどうでしょうか？」と言っています。Ted NelsonはXanadoの人だと思います。Robin Hansenが働いたことがあると思います。
Ted Nelson on zigzag data structures。これはエリエゼル・ユドコウスキーが指摘したことに関係します。彼は2010年頃やLess Wrongシーケンスの全盛期に、AIを構築することは私たちが理解する部品で作られる可能性が非常に高いと考えていました。その古典的な例はベイジアンネットワークです。Judea Pearlの推論ネットワークのように。
ベイジアンネットワークを見ると、「わあ、これは本当にエレガントです。これは信念と信念が他の信念にどのように影響するかをモデル化する構造を表している」となります。ベイジアンネットワークと私は個人的に同じページにいました。「そう、ベイジアンネットワークを拡張することで良くなるので、AIが世界について推論する方法をモデル化できて、人間が理解できるでしょう。このような素晴らしい高レベル構造になるでしょう」と思いました。
そして、私はそのことについて更新しました。Jim Babcockとの議論を聞けば、このトピックについて多くの良い会話があります。「そう、何かがどのように機能するかを理解したいなら、確かにベイジアンネットワークを持つことはできますが、おそらく数千のノードを持つことになるでしょう」というのです。
それを見渡して「そう、それは何種類かの人間が理解できるものです。その中で回路を作ることができます」と言うことができます。複雑なベイジアンネットワークでメカニスティック解釈可能性を行うことができますが、とても多くのノードがあります。非常に多くのノードがあって、本当にそれを理解しているのでしょうか？直感を得ることはないでしょう。
それはこの構造で、数千のノードを持つこの種のベイジアンネットワークを持つのに十分大きいので、あなたの頭にロードできますが、それらを反映して意識的な心がその中に存在するものを直感的に説明するのに十分大きくありません。私の言っていることが分かりますか？反射レベルは低レベルに対処できません。
私は私のニューロンで何が起こっているかを言うことはできません。私のニューロンのデバッグ出力を印刷することはできませんが、私のニューロンはおそらくその中に多くのノードを持つネットワークのように見えます。だから、それが私たちが学んだ失望の種類でした。そう、これらのネットワークを構築できます。ニューラルネットワークを構築できます。ニューラルネットワークを理解できますが、何か興味深いことを理解するためにその中に数千のノードを持つことになり、説明することはできません。
公平を期すために、Dario、Ilya Sutskever、Geoffrey Hinton、Yann LeCunのような人々に、公平を期すために、私はYann LeCunのファンではありませんが、彼は確実にこれについてクレジットを得ます。彼はこれらの線について考えていました。2010年までに確実に彼はこれらの線について考えていました。おそらくもっと早くからで、私はそうではありませんでした。彼は正しかったので、YannのポイントでEliezerに対して。公正にポイントを呼びましょう。
とにかく、今この質問にJeremy Helmが「モデル訓練の設計アプローチがブラックボックスの重みではなかった場合はどうでしょうか？」と言っています。zigzag data structureに詳しくありませんが、あなたが望むものが何であれ、理解可能なデータ構造でそれなりに進むことができると思います。しかし、最終的には、私たちが直感的に説明できない構造を持つことで知能について多くのマイレージを得ることになると思います。
基本的にあまりにも多くのノードです。それは、JupiterブレインでMechanisticに何が起こっているかを解釈できるため、十分な回路を見つけたからだと言うのは荒いでしょう。「それで幸運を」と言います。それが私たちが生き残る方法だとは思いません。
Jameから最後の質問を取りたいと思います。「本当にどのように持ちこたえていますか？最近ニュースが多くありました。感情的にどこにいて、2ヶ月で何を見たいですか？」
感情的に、私は1週間前にこれについてツイートしましたが、Doomは感情的に私にとって現実的ではありません。私の潜在意識が毎日信じていることについて、私の潜在意識は私がテック業界にいて楽しい時間を過ごし、プロダクトローンチを愛していると思っているのです。それが潜在意識的に報告されていることです。
私の理性的な脳は「これは滝の上でカヤックを航行しているように見える」と言っているだけです。私の理性的な脳は「私たちは宇宙船をブラックホールに航行している。マイクロフォンをスピーカーの隣に置いている、正のフィードバックループです」と言っています。それが私の理性的な脳が観察していることです。
しかし、心の底では、進歩を楽しんでいる別のスタートアップテック系の人間です。私の理性的な脳と私の潜在意識の脳がいつ同期するのでしょうか？おそらく私の個人生活が混乱するのを見るときでしょう。
停電が起こって「うーん、この停電は回復するかもしれませんが、電力が永久になくなる前にそれほど多くの電力の爆発はないでしょう。これは本当に悪いです」となるような時です。タイタニック沈没についての本当に良いポッドキャストを聞きました。強くお勧めするポッドキャストです。
タイタニックの話は非常に興味深いです。災害がどのように起こり、人々がそれらにどのように反応するか、リアルタイムで、またはそれらにつながる瞬間に。だから、私はタイタニックの乗客だと思います。乗客の大部分はゲームのかなり遅い時期までパニックにならなきました。
だから、それが私の感情の軌道になると思います。「ライフボートはなくなりました。ライフボートは明らかに超知能である前にAIを一時停止するチャンスで、エージェントが人間チームがそれらのコンピューターから抜け出すのに本当に困難な方法でコンピューター資産を引き継いで走り回っていました。それがライフボートに飛び込む時だったでしょうが、ライフボートはすべて去っていて、今はただ冷たい水です」というようにゲームの遅い時期により感情的になるでしょう。
だから、どのようにやっているかについて、私は大丈夫です、苦情はありません。そして、多分私たちは運が良くて、どういうわけか運命づけられず、私は大丈夫で続けるでしょう。私はそれを可能なシナリオと考えています。世界のMike Israelは、それが私が期待すべきことだと言っていて、彼らが正しいことを願っています。彼らが正しいなら、私の感情は感情に入るためにビートを逃すことはないでしょう。なぜなら、それが彼らがすでに期待していることだからです。
私のツイートで書いたことの一つは、私の潜在意識が私の感情を聞いていない理由があることです。進化的説明があります。私の潜在意識は、私の理性的な脳がDoomについて言うことが何もないことを知るように進化しました。理性的な脳が世界が運命づけられているかどうかについてのアドバイスを潜在意識の心に聞かせる進化的圧力はありませんでした。それは進化的価値がゼロです。それは理性的な脳に潜在意識の脳が私たちの運命について教えてくれることを聞くことによって私の祖先が生き残るのを助けませんでした。
だから、私の潜在意識は、私の理性的な脳が部族のリソースのより大きなシェアを持つために議論し、私の家族と私の遺伝子に利益をもたらすことを部族にやらせるために議論するためだけにここにあると思っています。そして、私の理性的な脳が世界全体について教えてくれる他のことは、本当にただ動機付けられたBSです。それが私の潜在意識が思うことです。
だから、私の潜在意識は、どのように感じるべきかの唯一の信号が社会的地位とリソースから来るべきだと思っています。私の銀行口座はどうですか？そのようなもの。そして、それは大丈夫です。
それがあなたの質問に答えることを願っています。「潜在意識は私が言葉売りだと知っている」、それは一つの言い方です。
皆さん、今終了します。全体を見ることができなかった人のために、私のチャンネルでこれを公開します、おそらく編集されていません。
Less Onlineにもう一つのプラグを入れます。ぜひLess Onlineに来てください。本当に楽しいカンファレンスです。何らかのカンファレンスを楽しんだことがあるなら、これはおそらく最高の、すべてのカンファレンスの王で、来るのがどれだけクールで、どれだけクールな相互作用を持つことができるかという点で。
Light Havenは、この種のクールな相互作用を持つように非常に意図的に設計されたスペースです。また、そこに来るなら、私に声をかけてください。彼らはスポンサーシップを持っていないので、もしあなたたちがLess Onlineに来るなら、これを控えめにやらなければなりません。基本的に密輸です。
だから、バックパックを持つつもりです。Doomを代表したい場合に持つことができる余分な無料Tシャツを持ちます。スワッグを配るつもりはありませんが、私のところに来て魔法の言葉を言えば「朝の鳥は仕事の木で休む」と言えば、バックパックを開けて、あなたは手を入れてTシャツの一つを取り出すことができ、それは完全に非金融取引になります。
終了しましょう。皆さん、来てくれてありがとうございました。残りの週も良い週をお過ごしください。
コメント