79,184 文字
今日は、スコット・アレクサンダーとダニエル・ココタイロとお話しする大きな喜びがあります。スコットはもちろんブログ「Slate Star Codex」、現在は「Astral Codex 10」の著者です。ご存知のように、あなたをポッドキャストにお招きすることは私の大きな目標の一つでした。これが私たちが今までに行った初めてのポッドキャストですね？はい。
そしてダニエルはAI Futuresプロジェクトのディレクターです。お二人は今日「AI 2027」というものを立ち上げたばかりです。これは何ですか？AI 2027は、AIの進歩の今後数年間を予測しようとする私たちのシナリオです。ここでは二つのことを試みています。まず、とにかく具体的なシナリオを持つことです。
サム・アルトマン、ダリオ・アモデイ、イーロン・マスクのような人々が「3年以内にAGI、5年以内に超知性」と言っているのを耳にします。しかし人々はそれを信じられません。なぜなら現在私たちが持っているのは、基本的にはGoogle検索ができるチャットボットで、多くの面ではそれほど多くのことができないからです。そこで人々は「3年でどうやってAGIになるのか？」と疑問に思います。私たちがやりたかったのは、物語を提供し、移行的な化石を提供することです。
現在の状態から始めて、AGIが登場する2027年、そして潜在的に超知性が登場する2028年まで進み、月ごとのレベルで何が起こったかを示すことです。いわばフィクション執筆の観点から、それを納得のいくものにすることです。これが簡単な部分です。難しい部分は、私たちは正確でありたいということです。どのように物事が進むか、どのようなスピードで進むかを予測しようとしています。私たちは一般的に、このような予測の中央値の結果は、すべてが全く違う方向に進んだときに完全に恥をかくことだと知っています。そして私たちのシナリオを読めば、私たちがその傾向の例外であるとは期待できないでしょう。
私に楽観的な気持ちを与えてくれるのは、ダニエルが2021年にこのシナリオの前編となる「2026年はどのようになるか」を書いたことです。それは彼のAI進歩の次の5年間の予測でした。そして彼はほぼ正確に当てました。今すぐこのポッドキャストを中断して、その文書を読むべきです。それは素晴らしいものです。まるでChatGPTに過去5年間のAI進歩を要約してもらったような内容で、いくつかの幻覚はありますが、基本的には善意があり正確です。
だからダニエルがこの続編を作っていると言ったとき、私はとても興奮し、それがどこに向かうのか本当に見たかったのです。かなり驚くべき場所に行きますが、今日はそれについてもっと話し合うのが楽しみです。
少し褒めすぎだと思います。はい、以前のものを読むことをお勧めします。それはブログ記事でした。多くのことが正しく、多くのことが間違っていましたが、全体的にはかなりうまくいき、再び挑戦してより良いバージョンを作る気になりました。文書を読んで、どちらが正しいか判断してください。
関連することですが、元のものは2026年で終わるはずではなく、興味深いことまで全部カバーするはずでした。みんながAGIについて、超知性について、それがどのようなものなのかについて話しているからです。そこで私は当時の状況から一歩ずつ進んで物事が起こり、それがどのようなものになるかを見ようとしていました。しかし2027年になると物事が起こり始め、自動化ループが始まり、とても混乱していて不確実性が多すぎたので、基本的に最後の章を削除して、その時点までのものを公開しました。それがブログ記事でした。
では、スコット、あなたはこのプロジェクトにどのように関わったのですか？私は執筆を手伝うよう頼まれました。私はすでにプロジェクトの人々とある程度馴染みがあり、彼らの多くは私のヒーローのような存在でした。ダニエルについては、彼の意見について以前ブログ記事を書いたことがあり、彼の「2026年はどのようになるか」を知る前から知っていました。それは素晴らしいものでした。
また、彼は最近、OpenAIを辞めたときに全国ニュースになったことがありました。彼らは彼に非難禁止契約に署名するか、さもなければストックオプションを返還すると言いました。そして彼は拒否しました。それは彼らが準備していなかったことでした。それは大きなニュース記事、スキャンダルとなり、最終的にOpenAIは従業員にその制限を課さないことに同意しました。
人々はAIにおいて誰も信頼できないと話します。なぜなら彼らは皆、ハイプに多くのお金を投資しており、彼らのストックオプションをより良くすることに関心があるからです。そしてダニエルは自分の信じていることを言うために何百万ドルも犠牲にしようとしました。それは私にとって誠実さと能力の非常に強い証でした。このような人の誘いをどうして断れるでしょうか？チームの他の全員も非常に印象的でした。
イーライ・リフランド、世界トップの予測チーム「サモツヴェティ」のメンバーです。彼はトップの予測競争で勝っており、おそらく世界最高の予測者と表現できます。少なくとも、超予測コミュニティで使用されるこれらの本当に技術的な指標によれば。トーマス・ラーセン、ヨナス・フォルマー、両方とも本当に素晴らしい人々で、以前AIで素晴らしい仕事をしてきました。
私はこのスーパースターチームと一緒に仕事ができることにとても興奮していました。私はずっとAIをうまく機能させるための実際の試みにもっと関わりたいと思っていました。現在、私はそれについて書いているだけです。書くことは重要だと思いますが、自分が全てを解決できる技術的なアラインメントの天才ではないことをいつも後悔しています。このような人々と一緒に仕事をし、潜在的に違いを生み出すことは素晴らしい機会のように思えました。
私が気づかなかったのは、私も大量に学ぶことでした。私は世界のAIについての多くを読もうとしていますが、それは非常に低帯域幅のことであり、世界で誰よりもそれについて考えた人と話すことができるのは素晴らしいことでした。AIがいかに速く学ぶかについてのこれらのことを本当に理解させてくれます。根底にある領域との深い関わりが必要であり、私はそれを得たと感じています。
あなたとの会話や反論を考えようとする過程で、インテリジェンス・エクスプロージョンに対して賛成、反対、賛成、反対と3、4回は考えを変えたと思います。それは単に考えを変えるだけではなく、シナリオを初めて読むことができたことです。もちろん、この時点ではまだ書かれていませんでした。それは巨大なスプレッドシートでした。私はこれについて10年、15年ほど考えてきました。しかし特定の物語があることで、はるかに具体的になりました。ああ、そうか、これが私たちが中国との軍拡競争について非常に心配している理由です。
明らかにその状況では中国との軍拡競争が起こるでしょう。シナリオを読むことができただけでも、私は本当に納得しました。これはもっと広まる必要があるものです。そうですね。では、この新しい予測について話しましょう。ここから先を月ごとに分析していますが、2025年半ばと2025年末に期待することは何ですか？
この予測の始まりは主にエージェントに焦点を当てています。彼らはエージェントトレーニングを始め、時間の地平線を拡大し、コーディングをうまく機能させると考えています。私たちの理論では、彼らはある程度意識的に、ある程度偶然に、このインテリジェンス・エクスプロージョンに向かっています。そこではAI自体がAI研究のいくつかを引き継ぎ、より速く進むことができます。
2025年は少し良いコーディング、2026年は少し良いエージェント、少し良いコーディングです。そして私たちは2027年にシナリオの名前を付けています。なぜならそれはここで実を結び始めるからです。インテリジェンス・エクスプロージョンが本格的に始まり、エージェントは十分に良くなって、AIの研究を全面的に行うのではなく、手伝うようになります。
R&D進捗倍率という概念を導入しました：AIなしで1ヶ月の進歩がどれくらいになるか、これらの新しいAIがインテリジェンス・エクスプロージョンを助けている状態で1ヶ月の進歩でどれくらいになるか。2027年には、アルゴリズムの進歩に5倍の倍率から始まります。
私たちはサイトのストーリーに統計を追跡しています。ウェブサイトとして作成した理由の一つは、これらのクールなガジェットやウィジェットを持つことができるからです。ストーリーを読むと、サイドの統計が自動的に更新されます。その統計の一つが進捗倍率です。
同じ質問への別の答えは、基本的に2025年には特に興味深いことは起こらず、多かれ少なかれ私たちが見ているのと同じような傾向が続くということです。
コンピュータの使用は完全に解決されていますか？部分的に解決されていますか？2025年末までにコンピュータの使用はどれくらい良くなっていますか？
私の推測では、2025年末までには、彼らは現在時々行うような基本的なマウスクリックのエラーを犯すことはなくなるでしょう。Claude Plays Pokemonを見れば（ぜひ見るべきです）、時々画面上のものを解析できず、自分のプレイヤーキャラクターをNPCと勘違いして混乱するようなことがあります。私の推測では、そのような種類のことは今年の終わりまでにほとんどなくなるでしょう。しかし彼らはまだ長時間自律的に操作することはできないでしょう。
2025年で、コンピュータ使用において長時間一貫して行動できないと言いますが、オフィスでハッピーアワーを計画したいとします。それは30分くらいの作業ですか？適切な人を招待し、適切なDoorDashを予約するなど、どの程度できるようになりますか？
私の推測では、今年の終わりまでには、そのようなことをある程度できるものが登場するでしょうが、信頼性は低いでしょう。実際にそれを使って生活を運営しようとすると、Twitterで話題になるような面白いミスをするでしょうが、そのMVPは今年中にはおそらく存在するでしょう。「このエージェントをパーティーの運営に使ってみたら、うまくいった！」というようなTwitterスレッドがあるでしょう。
私たちのシナリオは特にコーディングに焦点を当てています。なぜならコーディングがインテリジェンス・エクスプロージョンを開始すると考えているからです。人間に独特の最後のいくつかのことをどう片付けるかという問題よりも、人間のAI研究者を加速するのを助ける方法でコーディングができるようになるのはいつかということに興味があります。そして、AIの研究を十分に加速させれば、他のすべてのことを片付けるのに十分な、むちゃくちゃな速度倍率（10倍、100倍）になるのかということです。
一つの観察として、2021年にChatGPTが登場した後…AIについて信頼できる考えを持つ友人がいて、「見てください、コーディングエージェントが登場しました、問題は解決しました。GPT-4がエンジニアリングをすべて行い、上にRLを乗せるとシステムを100倍にスケールアップできます」と言っていました。しかしそれぞれのレイヤーはどんな強気な楽観主義者が期待したよりもはるかに難しいものでした。
事前トレーニングサイズを増やすことには、少なくともフィールドトレーニングランに関する噂や研究所での予想外のトレーニングランから判断すると、大きな困難があったようです。そして明らかに外部から見ると – 実際のエンジニアリングについては何も知りませんが – O1のRLを構築することは、GPT-4がリリースされてから少なくとも2年かかったようです。
これらのことは、ベンチマークから期待される経済的影響や特に得意なことも圧倒的ではありません。例えばコールセンターの従業員はまだ解雇されていません。なぜ単に「より高いスケールではおそらくさらに難しくなるだろう」と言わないのですか？
少し混乱しています。なぜならAIのマイルストーンを予測する人々、例えばカトヤ・グレースの専門家調査などを見ると、AIの進歩がどれだけ速くなるかについて、ほとんど常に悲観的すぎたからです。
2022年の調査では、すでに起こったことが起こるのに10年かかると言っていました。2023年の調査は、GPT3かGPT4が出る6ヶ月前のものでした。そしてGPT3や4が6ヶ月でできたことについて、彼らはまだ5年から10年かかると予測していました。ダニエルはより詳細な答えを持っているでしょうが、私は前提として「誰もが常に楽観的すぎた」という考えを絶対に拒否します。
私は一般的に、この分野をフォローしている大多数の人々がAIの進歩のペースとAIが世界に浸透するペースを過小評価してきたと思います。例えば、ロビン・ハンソンは2025年までにAIからの収益が10億ドル未満であるという賭けをしたことで有名です。
ロビン・ハンソンについては、特に悲観的すぎたことに同意します。しかし彼は賢い人です。総意としては、技術的進歩と展開の両方のペースを過小評価していると思います。私よりも強気で、すでに間違っていることが証明された人々もたくさんいますが、彼らは私ではありません。
待ってください。総意について推測する必要はありません。Metaculusを見ることができます。Metaculusでは、2020年の時点で2050年頃のタイムラインでした。それは徐々に下がり、2、3年前には2040年頃になりました。今では2030年で、私たちのわずか先を行っています。それは間違っている可能性がありますが、Metaculusの参加者は全体的に悲観的すぎて、長期的に考えすぎていたように見えます。そしてそれは私たちが持っている中立的な集約者に最も近いものです。物事を選び出しているわけではありません。
そうですね。昨日、興味深い経験をしました。おそらく月に数百万ドルほど稼いでいるシニアAI研究者と昼食を取り、「AIはどれくらいあなたを助けていますか？」と尋ねました。彼は「よく理解している分野では、より強力なオートコンプリートのようなものですが、それでも週に4〜8時間は節約できます」と言いました。
しかし彼は「あまり馴染みのない分野では、ハードウェアライブラリを整理したりカーネルに修正を加えたりするような場合、週に24時間ほど節約できます」と続けました。最も驚いたのは、あまりオートコンプリートのようではなく、より新しい貢献が必要な場所でヘルプが大きいことです。それはより大きな生産性向上です。
それは興味深いですね。そこで起こっていることは、ドメインに不慣れな場合、プロセスの多くはGoogleで検索したりドメインについてもっと学んだりすることです。言語モデルはすでに全インターネットを読んでおり、すべての詳細を知っているため、優れています。
これはダリオに尋ねた質問について議論する良い機会ではないでしょうか？
どのような質問ですか？あなたが言うように、彼らはこのすべてを知っています。こんな質問をしました。見てください、これらのモデルはこのすべてを知っています。もし人間がインターネット上に書かれたすべてのことを知っていたら、彼らはさまざまなアイデアの間に興味深いつながりを見つけ、おそらく医学的治療や科学的発見さえも見つけることができるでしょう。
マグネシウム欠乏が脳内で何かを引き起こし、それが偏頭痛の際に起こることと似ていることに気づいた人がいました。そこで彼は「マグネシウムサプリメントを与えれば多くの偏頭痛が治る」と言いました。なぜAIはこの巨大な非対称的優位性を活用して、このような新しい発見を一つも生み出せないのでしょうか？
そして私が挙げた例は、人間もこれができないというものでした。私にとって最も顕著な例は単語の語源です。英語には「happy」と「hapless」、「happen」、「perhaps」のように非常に似た単語があります。語源辞典を読まない限り、私たちはそれらについて考えることはありません。そしてそれらは「運」や「出来事」を意味する古い語根から来ていることに気づきます。
それは解明することと確認することについてです。私がそれらを教えると、あなたは「これは尤もらしい」と思います。もちろん、語源には偽の友達もたくさんあり、それらは尤もらしく見えるけれども接続されていません。しかし実際には誰かがあなたの顔にそれを突きつけてから、あなたはそれについて考え始め、それらのすべての接続を作ります。
実際にはこれに同意しません。人間がこれをできることは知っています。私たちに論理的全知はないことに同意します。組み合わせ爆発があるからです。しかし私たちは知性を活用することができます…私のお気に入りの例の一つはデイビッド・アンソニーです。彼は「馬、車輪、言語」という本を書きました。
彼は遺伝的証拠がある10年ほど前、つまり非常に印象的な発見をしました。彼は「インドとヨーロッパのすべての言語を見ると、『車輪』や『車』や『馬』といった単語に同じ語源がある」と言いました。これらは過去6000年間しか存在していない技術です。つまり、これらのグループはすべて、少なくとも言語的に、ある集団から派生しているに違いありません。そして現在私たちは、これがその集団だと信じているヤムナヤの遺伝的証拠を持っています。あなたはこれを行うブログを持っています。これはあなたの仕事です、スコット！
では、なぜ言語モデルがこれをできないことをより厳しく問うべきではないのでしょうか？
私にとっては、彼が単に論理的全知で座っているわけではなく、答えを得ているように見えます。彼は天才で、これについて何年も考えており、おそらくある時点で、いくつかのインドの単語といくつかのヨーロッパの単語を同時に聞いて、それらがつながり、電球が点灯したのでしょう。
これは記憶内にすべての情報を持っているというより、発見の通常のプロセスです。これは少し謎めいていますが、良いヒューリスティックを持ってそれらを事柄に投げかけ、幸運な発見をするまで続けることから来るようです。
私の推測では、本当に良いAIエージェントがあり、このタスクに適用すれば、それは足場のようなものになるでしょう。知っているすべての単語の組み合わせを考え、比較します。それらが非常に似ている場合、ここのスクラッチパッドに書き留めます。同じタイプの多くの単語がスクラッチパッドに表示されれば、それはかなり奇妙なことで、その周りで何か考えるでしょう。そして私たちはそれを試みてさえいないと思います。
そして私は現在それを試みれば、組み合わせ爆発に遭遇するでしょう。より良いヒューリスティックが必要でしょう。人間はとても良いヒューリスティックを持っているので、おそらく意識的な心に上がってくるものの大部分、むしろ無意識のレベルで起こっているものではなく、少なくとも真実である可能性のあるものです。
これをチェスエンジンのように考えることができます。次の可能な手は信じられないほど多いですが、それらのうちどれが正しいかを判断するためのヒューリスティックがあります。そして徐々にチェスエンジンがそれについて考え、分析し、より良いまたはより悪い手を出し、ある時点で潜在的に人間よりも優れるようになります。
AIに合理的な方法でこれを行うよう強制するか、AIが自らこの種のヒューリスティック豊かな方法でこれをする計画を立てることができるように訓練すれば、潜在的に人間と同等になれるでしょう。
それに追加します。現在のLLMの何らかの制限を見て、「この制限を乗り越えることは決してできないからパラダイム全体は運命づけられている」と大げさな主張をする長く不健全な歴史があります。そして1〜2年後、新しいLLMがその制限を克服します。
「なぜすでに持っている知識を組み合わせて興味深いつながりを見つけ、興味深い科学的発見をしていないのか？」という質問に関しては、まず第一に、私たちはこれを行うための足場を構築する真剣な試みをしましたか？答えはほとんどノーです。
Google DeepMindがこれを試みたかもしれません。二つ目、モデルをより大きくすることを試みましたか？過去数年でそれは少し大きくなりましたが、今のところうまくいっていません。さらに大きくすれば、もっと多くのつながりに気づくかもしれません。
そして三つ目、これが特別なものだと思いますが、モデルをその事を行うように訓練しましたか？事前トレーニングプロセスはこのタイプのつながり作りを強く促進するものではありません。
一般的に、私が使用する有用なヒューリスティックは、「AIが何をするように訓練されたのか」を自分自身に思い出させる質問です。そしてなぜAIがこれをしていないのか疑問に思う場合、それがこれをするように訓練環境が訓練したのかと自問してください。答えは多くの場合、ノーです。そして多くの場合、それがAIがそれに長けていない理由の良い説明だと思います。それをするように訓練されていないからです。
それは経済的に非常に価値のある…しかし、どのようにトレーニング環境を設定しますか？新しい科学的発見を行うためのRL環境を設定しようとするのは本当に難しいのではないでしょうか？
おそらくそれがより長いタイムラインを持つべき理由かもしれません。それは複雑なエンジニアリングの問題です。私たちのシナリオでは、彼らは現在の状況から直接この問題を解決するためにジャンプするのではありません。代わりに彼らはコーディングエージェントを繰り返し改善し、基本的にコーディングを解決します。
それでも、コーディングエージェントはこのようなことの一部を行うことができません。それが私たちの物語の2027年前半です。彼らは素晴らしい自動化されたコーダーを持っていますが、彼らはまだ研究のセンスや組織的スキルなどを欠いています。
そこで彼らは、AIの研究サイクルを完全に自動化するためにこれらの残りのボトルネックとギャップを克服する必要があります。しかし、コーディングエージェントが彼らのために全ての基礎作業を本当に速く行っているので、彼らはこれらのギャップを通常よりも速く克服することができます。
私はタイムラインを2070年、2100年と考えるのが有用かもしれないと思います。ただ、その最後の50〜70年がすべて2027年から2028年の間に起こるだけです。なぜなら私たちはこのインテリジェンス・エクスプロージョンを経験するからです。2100年までにこの問題を解決できるかと尋ねれば、「ああ、そうですね、2100年までに？絶対に」と答えるでしょう。そして私たちが言っているのは、2100年があなたが思っているよりも早く来るかもしれないということです。なぜならこの研究進捗倍率があるからです。
この点に簡単に触れさせてください。修辞的な議論として、こんなことを言えます：AIは単なるLLMだけでなく、AIはこの基本的に非対称的な優位性を持っています。彼らはこのすべての情報を知っています。なぜ彼らはこの非対称的な優位性を使って一般的な知性を使い、何らかの巨大な能力のオーバーハングを得ることができないのでしょうか。
あなたは同じことを推論することもできます：「わかりました、一度彼らが一般的な知性を持つようになれば、彼らはこの非対称的な優位性を使って、人間が原則的に不得意とするような巨大な進歩を遂げることができるでしょう」。基本的に、AIが一般的な知性さえ持てば、これらのことをすべてできるという見解に賛同するなら、実際にAGIを手に入れたとき、それは完全に変革的なものになります。なぜなら彼らは人間の知識をすべて記憶しており、それを使ってこれらのつながりをすべて作ることができるからです。
私たちの現在のシナリオがこれをあまり考慮していないことを指摘できて嬉しいです。これは私たちのシナリオが進歩の速度を過小評価している例です。
これはチームと一緒に仕事をした時の私の経験です。私はさまざまなことを指摘します。「これを考慮していることを確認していますか？これを考慮していることを確認していますか？」そして第一に、99%の場合、彼は「はい、それについての補足があります」と言います。しかし彼がそう言わない場合でも、彼は「ええ、それはそれが遅くなる可能性がある理由の一つです。それが速くなる可能性がある理由は10個あります」と言います。
それは私たちの中央値の推測のようなものです。私たちが過小評価している可能性がある方法がいくつかあり、過大評価している可能性がある方法もいくつかあります。そして私たちはうまくいけば後でこれについてもっと考え続け、私たちのモデルを繰り返し改良し、より良い推測を出してくるつもりです。
過去のAI進歩を振り返ってみると、例えば2017年に戻ったとします。仮に2017年にこれらの超人的なコーダーがいたとしたら、それ以来私たちが達成した進歩、つまり現在の2025年の状態は、いつまでに達成できたでしょうか？
素晴らしい質問です。私たちはまだ2017年以降に行ってきたすべての発見を通り抜ける必要があります。言語モデルが存在することや、RLで微調整できることなどを理解する必要がありました。これらすべてのことはまだ起こる必要がありました。
どれくらい速く起こったでしょうか？おそらく5倍速くでしょう。なぜなら人々が大きなトレーニングランを行う前にアイデアをテストするために行う小規模な実験の多くが、単にすぐに出てくるのでずっと速く起こるからです。
その5倍という数字にあまり自信はありません。もっと低いかもしれないし、もっと高いかもしれませんが、それが私たちが推測していたおおよその数字です。ちなみに、私たちの5倍というのはアルゴリズムの進歩に対するもので、全体的なものではありません。
だから、この仮説では、私の考えでは、基本的に物事は2.5倍速く進んでいるでしょう。アルゴリズムは5倍のスピードで進み、コンピュータは通常のスピードで留まっています。それは私には妥当に思えます。
あなたはある時点で5倍、そして…そして1年以内に1000倍のAI進歩があるとしています。おそらくそこが「待って、それがどのように起こるのか」と思う部分です。その物語は何ですか？
私たちがテイクオフ予測を行った方法は、インテリジェンス・エクスプロージョンがどのように進むかを一連のマイルストーンに分解することでした。まずコーディングを自動化し、次に全体的な研究プロセスを自動化します。しかし人間チームに非常に似た方法で、人間レベルのエージェントのチームを使います。その後、超人レベルに達し、そしてさらにその先に進みます。
そこで私たちはこれをマイルストーンに分解しました：超人的コーダー、超人的AI研究者、そして超知的AI研究者です。そして私たちの予測の方法は、これらの各マイルストーンに対して、「そのマイルストーンを達成するAIを作るには何が必要か？」ということでした。そして一度そのマイルストーンを達成すると、全体的な加速はどれくらいになるか？そして次のマイルストーンを達成するには何が必要か？それを全体的な加速と組み合わせると、それが起こるまでの時計時間の距離が得られます。そしてその後、「さて、そのマイルストーンにいる。全体的な加速はどれくらいか？そのマイルストーンも持っていると仮定して、次のマイルストーンは何か？次のマイルストーンに到達するにはどれくらいかかるか？」と考えます。
そこで私たちは少しずつ作業を進め、各段階で最善の推測をしています。定量的には、超人的コーダーからアルゴリズムの進歩に5倍の加速、そして超人的AI研究者からアルゴリズムの進歩に25倍の加速を考えていました。
なぜなら、その時点ではスタック全体を自動化しており、それはコーディングだけを自動化するよりもかなり有用だと思うからです。そして超知的AI研究者に関しては、具体的な数字は忘れましたが、おそらく全体的な加速は数百倍、あるいは1000倍程度でしょう。
インテリジェンス・エクスプロージョンに関する大きな疑問があります…自動化されたコーダーがどれだけのことをできるか、超人的AIコーダーがどれだけのことをできるかについての特定の議論を検討することもできます。しかし事前に考えると、それは期待するには非常に奇妙なことです。
だから、すべての特定の議論に入る前に、「なぜこの事が起こる可能性が0.01%からスタートしないのか？」という考えについて話せますか？それが起こるという非常に強力な証拠が必要で、初めてそれがあなたの主要な見解になります。
それはデフォルトオプションは何か、または何と比較しているかという問題だと思います。素朴に考えると、「特定のすべての事柄は潜在的に間違っている可能性がある。だから、何も起こらないデフォルトパスを持とう」と思うかもしれません。そして私はそれがこれまでで最も一貫して間違った予測だったと思います。
何も起こらないようにするためには、実際に多くのことが起こる必要があります。長い間このような一定のペースで進んできたAIの進歩が突然止まるのです。なぜ止まるのでしょうか？私たちは知りません。あなたがそれについて主張することは、モデル外のエラーが多く期待されるものです。誰かがかなり明確な主張をしていて、それに挑戦したいと思っているはずです。だから、「モデル外のエラーが本当に高く、私たちは何も知らないので、それを選びましょう」と言って、中立的な立場をとることはできないと思います。
私たちはある意味でほとんど保守的な立場をとろうとしています。私たちの文書を読むと、あらゆる種類の奇妙なことが起こるので、これは奇妙に聞こえるかもしれません。おそらくこれまでで最も奇妙な数年間になるでしょう。しかし私たちは、トレンドが変わらず、誰も狂ったことをせず、起こると思う証拠がないことは何も起こらないという、ある意味で保守的な立場をとろうとしています。
そしてAIのインテリジェンス・エクスプロージョンのダイナミクスの仕組みはとても奇妙であり、何も起こらないようにするためには、多くの奇妙なことが起こる必要があります。
私のお気に入りのミーム画像の一つは、時間の経過とともに世界のGDPを示すグラフです。おそらく見たことがあると思いますが、それはスパイクし、そして2010年頃のスパイクの頂点に小さな思考バブルがあります。そしてその思考バブルには「私の人生はかなり普通で、何が奇妙で何が標準かについて良い把握があり、デジタルマインドや宇宙旅行のような異なる未来について考えている人々は単に愚かな推測をしているだけだ」と書かれています。
グラフの要点は、実際には歴史の過程で驚くべき変革的な変化があり、それらは複数回の波を経験してきたということです。私たちが話してきたことはすべて以前にも起こっています。アルゴリズムの進歩はすでに毎年ほぼ2倍になっています。だからアルゴリズムの進歩がこれらのコンピュータの事柄に貢献できると考えるのは狂気ではありません。
一般的な加速に関しては、私たちはすでに旧石器時代と比較して約1000倍の研究加速倍率に達しています。歴史のほとんどの時代の誰かの視点から見ると、私たちは目を見張るほど狂ったペースで進んでいます。そして私たちがここで言っているのは、それが止まらないということだけです。
過去の時代と比較して1000倍の速度倍率を持つようになった同じトレンドが、旧石器時代だけでなく、例えば西暦600年から700年の間の世紀で何が起こったのか…確かに何かがあり、歴史家はそれらを指摘できるでしょう。そして1900年から2000年の間の世紀を見ると、それは完全に質的に異なっています。
もちろん、それが最近停滞したかどうか、何が起こっているのかに関するモデルはあります。それらについて話すことも、インテリジェンス・エクスプロージョンがその種の停滞の解毒剤になると期待する理由についても話すことができます。しかし私たちが言っていることはすでに起こったことと大きく変わるものではありません。
あなたは以前の移行が今予想しているものよりもスムーズだったと言っています。
実はそれについては確信がありません。これらのモデルの一つは単なる双曲線です。すべては同じカーブに沿っています。もう一つのモデルは、文字通りのカンブリア爆発のようなものがあるというものです。これを非常に遠くまで遡ると、レイ・カーツワイルの考えになります。文字通りのカンブリア爆発、農業革命、産業革命には段階的な変化があります。
これの経済的モデリングを見ると、経済学者たちはこれがすべて一つのスムーズなプロセスなのか、それとも一連の段階的変化なのかを確信するための十分なデータがないと考えているという印象を受けます。それが一つのスムーズなプロセスである場合、そのスムーズなプロセスはしばしば奇妙な方法で無限に向かって走る双曲線です。
私たちはそれが無限に向かって走るとは思っていません。それは以前のすべてのプロセスと同様にボトルネックに当たると思います。これが最後にボトルネックに当たったのは、双曲線の視点を取れば、1960年頃です。その時、人間は以前の繁殖率で繁殖することをやめました。私たちは人口のボトルネックに当たり、通常の人口、2つのアイデア、フライホイールが機能しなくなり、しばらく停滞しました。
あなたがデータセンターに天才の国を作ることができれば、ダリオ・アモデイが言ったように、もはやこの人口のボトルネックはなく、1960年以前のトレンドの継続を期待しているだけです。
これらの歴史的な双曲線もまた奇妙で理論的であると認識していますが、私たちは以前に長い歴史的期間にわたって機能していたと思われるモデルがないものを言っているわけではありません。
もう一つ言えることは、人々が「遅い」と「連続的」を混同していると思います。私たちのシナリオを見ると、このアルゴリズムの進捗倍率という連続的なトレンドが全体を通じて走っています。そして私たちは0から5倍、5倍から25倍へと不連続なジャンプをしているわけではありません。私たちには連続的な改善があります。
だから連続的かどうかは争点ではありません。争点は「それはこのように速くなるのか？」ということです。そして私たちは知りません、おそらくそれはより遅いかもしれないし、より速いかもしれません。しかし私たちにはおそらくこのくらい速くなる理由の議論があります。
さて、インテリジェンス・エクスプロージョンについて取り上げましたから、それについて議論しましょう。なぜなら私はそれについてかなり懐疑的だからです。AI進歩のボトルネック、または主なボトルネックが研究者やエンジニアの量だとは思えません。コンピュータや他の何かがボトルネックのように思えます。証拠としては、研究所のAI研究者の友人と話すと、彼らはアルゴリズムのブレークスルーを発見しているコアの事前トレーニングチームには20〜30人しかいないと言います。
もしここの人数が非常に価値があるなら、例えばGoogle DeepMindは彼らの最も賢い人々だけでなく、DeepMindだけでなくGoogle全体からすべての賢い人々を事前トレーニングやRLなど、大きなボトルネックであるものに投入すると思うでしょう。OpenAIがハーバードの数学PhDをすべて雇い、6ヶ月でAI研究の訓練を受けると思うでしょう。彼らが人員を増やしていることは知っていますが、彼らはこれをAI研究を急速に加速させるために何百万ものAIを並行して実行するためのボトルネックとして扱っているようには見えません。
「1人のナポレオンは4万人の兵士に値する」という言葉がよく言われていました。しかし10人のナポレオンは40万人の兵士ではありません。そうですよね？だからなぜこれらの100万のAI研究者がインテリジェンス・エクスプロージョンのように見えるものを生み出すと考えるのですか？
前に3段階のテイクオフモデルについて話しました。最初は超人的なコーダーを得ること。二番目は完全に自動化されたAI R&Dですが、基本的に人間レベルであり、最高の人間と同じくらい良いものです。そして三番目は超知性の領域に入り、質的に優れています。
アルゴリズムの進歩がどれくらい速くなるかの推測では、中間レベルの進捗倍率に対して、基本的に並列で実行されるより多くの心に対して大幅な収穫逓減があると仮定しています。そして私たちはそのすべてを完全に受け入れています。
では、なぜインテリジェンス・エクスプロージョンが起こるのかという問いの答えは：その加速と直列思考速度の加速の組み合わせです。
そして研究のセンスもあります。今日のAI R&D進歩への重要なインプットはいくつかあります：研究のセンス。つまり、最高の研究者の質、プロセス全体を管理している人々、データから学び、正しい実験を実行することでコンピュータをより効率的に使用する能力、無用な実験をたくさん実行するのではなく。これが研究のセンスです。
次に研究者の量がありますが、これについては先ほど話しました。そして研究者の直列速度があります。現在はすべて同じです。なぜなら彼らはすべて人間であり、基本的に同じ直列速度で動作するからです。そして最後に、実験用のコンピュータがどれだけあるかです。
私たちが想像しているのは、基本的に直列速度が非常に重要になり始めるということです。なぜなら人間よりもオーダーが大きい直列速度を持つAI研究者に切り替えるからです。しかしそれは頭打ちになります。私たちのシナリオの過程で、スライディング統計チャートを見ると、それは20倍から90倍またはそのあたりに上がっていきます。これは重要ですが、それほど大きなものではありません。
また、90倍の直列速度を得始めると、他のものでボトルネックになり、直列速度のさらなる改善は基本的にあまり役に立たないと考えています。
量に関しては、何十万ものAIエージェント、100万のAIエージェントを想像していますが、それはただ他のもので行き詰まるという意味です。並列エージェントがたくさんあり、もはやそれがボトルネックではありません。何がボトルネックになりますか？センスとコンピュータです。
私たちの物語の2027年半ばまでには、基本的に重要な二つのことがあります：AIのセンスのレベル、実験から学ぶ能力はどれくらい良いのか？そしてそれらの実験を実行するためのコンピュータがどれくらいあるのか？これが私たちのモデルの基本的な設定です。そして25倍の倍率を得るとき、それらの前提から始まっています。
歴史からの直感的な例はありますか？何らかの出力があり、非常に奇妙な制約のために、生産がある一つの入力に沿って急速に歪められているけれども、歴史的に関連するすべての入力ではなく、それでも飛躍的な進歩を得ることができた例は？
おそらく産業革命でしょう。ここで即興で話していますが、これについて以前考えたことはありませんでした。しかしスコットの10年前に私に大きな影響を与えた有名な投稿が話しているように、産業革命とともに人口増加と全体的な経済成長の分離が起こりました。
ある意味で、以前はこれらのものは一緒に成長していたと言えるかもしれません。より多くの人口、より多くの技術、より多くの農場、より多くの家など。あなたの資本インフラと人間インフラが一緒に上がっていましたが、産業革命を得て、それらは離れ始めました。
そして今、すべての資本インフラは人口規模と比較して本当に速く成長しています。私はアルゴリズムの進歩でも同様のことが起こると想像しています。そして再び人口に関しても、人口は今日も大いに重要です。ある意味では、より大きな人口を持つことなどによって進歩はボトルネックにありますが、人口増加率は本質的にかなり遅く、資本の成長率ははるかに速いです。そしてそれは単に物語のより大きな部分になるのです。
25倍という数字が示唆するほどこれが信じられない理由は、具体的にそれがどのようなものかを考えるとき、これらのAIがあり、人間の脳とこれらのAI間のデータ効率にギャップがあることを知っているからかもしれません。そしてどういうわけか、彼らのたくさんが考え、本当に懸命に考え、新しいアーキテクチャを定義する方法を考え出し、それは人間の脳のようなものか、人間の脳の利点を持っています。そして私は彼らがまだ実験をすることができると思いますが、それほど多くはありません。
私の一部は単に疑問に思います。もしあなたが事前トレーニングのようなものではなく、まったく異なる種類のデータソースが必要だとしたら、彼らはその種類のデータを得るために実世界に出て行かなければならない可能性があります。あるいはそれはオンライン学習ポリシーである必要があり、彼らがこの方法で学ぶためには世界に積極的に展開されている必要があります。
だから彼らは実世界のデータをどれだけ速く取得できるかによってボトルネックになります。私はこれが難しいと思います…
実際、私たちはオンライン学習が起こっていると想像しています。本当ですか？
そうです。しかし実世界でというほどではありません…問題は、本当に良いAI R&Dを行うようにAIを訓練しようとしている場合、AI R&Dはサーバー上で起こっています。だからこのループができます：これらすべてのAIエージェントが自律的にAI R&Dを行い、これらすべての実験などを行い、それから彼らはそれらの実験がどのように進むかに基づいて、AI R&Dをより良く行うようにオンライン学習しています。
しかしそのシナリオだけでも、私はボトルネックを想像できます。例えば、あなたはベンチマークを持っていて、AI R&Dを構成するものについて報酬ハックされました。なぜなら明らかに人間の脳と同じくらい良いと言えるものが…おそらくあなたはそうするでしょうが、それは人間の脳と同じくらい良いでしょうか？それは非常に曖昧なことです。現在、私たちは報酬ハックされるベンチマークを持っています。
しかし彼らは自律的に新しいベンチマークを構築します。あなたが言っているのは、おそらくこのプロセス全体が、実際の世界、データセンターの外部の地上の真実との接触がないために脱線するということでしょうか？おそらく？再び、ここでの私の推測の一部は、接触したい地上の真実の多くはデータセンター上で起こっていることです。これらすべての指標でどれくらい速く改善しているか、新しいアーキテクチャに対するこれらの漠然としたアイデアがあるけれど、それを機能させるのに苦労している。どれくらい速くそれらを機能させることができるか？
そして別々に、外部の人々と話したり何かをすることのボトルネックがある限り、彼らはまだそれをしています。そして彼らが完全に自律的になったとき、彼らはそれをさらに速く行うことさえできます。これらの100万のコピーをすべてこれらのさまざまな実世界の研究プログラムなどに接続することができます。だから彼らが外部のものに完全に飢えているわけではありません。
AIの研究を行うAIの超効率的な集合体を提案していることについての懐疑論はどうでしょうか？人間の官僚制度は最初から超効率的に機能したことがなく、特に一緒に働いた経験がない場合はなおさらです。彼らは一緒に働くように訓練されていませんでした、少なくともまだ。そしてまだ外部ループRLがなく、「AIの官僚制度がAI研究を行う1000の同時実験を実行し、これが実際に最もうまく機能したもの」というものはありません。
そして私が使用する類似性は、おそらく20万年前のサバンナにいる人間です。彼らが他の動物に対して多くの利点を持っていることを知っていますが、今日私たちを支配しているもの、合同株式会社、国家の能力、この化石燃料文明などは、文化的進化を経て理解するのに非常に多くの時間がかかりました。あなたはサバンナでそれを理解することはできませんでした。「もしこれらのインセンティブシステムを構築し、配当を出していたら、ここで本当にコラボレーションができるのに」というようなことはありません。
なぜAI社会の技術的基盤の巨大な人口増加、巨大な社会的実験、そしてアップグレードが、あなたが想像するインテリジェンス・エクスプロージョンのように見えるこのハイパーマインド集合体を組織することを可能にする前に必要だと考えないのですか？
あなたはそれを二つの異なるものに比較しています。一つはアフリカのサバンナでの文字通りの遺伝的進化であり、もう一つはそれ以来私たちが経験してきた文化的進化です。そして私は両方のAI相当物があると思います。
文字通りの遺伝的進化は、私たちの心がその時に協力により適応するようになったということです。そのため、企業は非常に文字通りにAIがより協力的になるように訓練するでしょう。そこにはより多くの柔軟性の機会があると思います。人間は当然、自分自身の遺伝情報を他の人のではなく、伝えたいという遺伝的命令の下で進化していました。親族選択のような例外がありますが、全体的にはそれが原則です。
社会性昆虫のような動物では、文化的進化なしでも、遺伝的進化だけでとても速く極端な協力を実現します。社会性昆虫で起こっていることは、彼らはすべて同じ遺伝コードを持ち、すべて同じ目標を持っているということです。そして進化のトレーニングプロセスは、彼らをこれらの非常に強力な官僚制度に一緒に繋ぎます。
私たちはAIが社会性昆虫に近いと考えています。彼らはすべて同じ目標を持っており、特にこれらが指標的な目標ではなく、「研究プログラムを成功させる」といった目標である場合はなおさらです。これは各個々のAIの重みを変えることになります。彼らが個性化される前ですが、それはAIクラス全体の重みを変え、協力により適したものにします。
そして、はい、文化的進化もあります。あなたが言ったように、これには何十万人もの個人が必要です。私たちはこれらの何十万人もの個人がいると予想しています。何十年もかかります。再び、私たちはこの研究倍率を期待しており、何十年もの進歩が2027年か2028年のこの1年間に起こります。この二つを組み合わせると、それは可能だと思います。
おそらくこれは直列速度が実際に非常に重要な点でもあります。なぜなら、彼らが人間の50倍の速度で動作している場合、それは主観的な1年が実時間の1週間で起こることを意味します。そのため、モラルメイズなどの大規模な協力のダイナミクスが展開し、それが自身の重みで崩壊するといった現象が、2027年の過程で何度も繰り返され、トレーニングプロセスに追加することができます。
また、彼らには人間が進化させてきたすべての文化的技術の利点もあります。これは彼らに完全に適したものではないかもしれませんが、私とあなたと、すべてに同意する100人の親友からビジネスを作る必要があるとします。彼らは文字通りあなたの一卵性双生児で、決してあなたを裏切ったことがなく、決して裏切らないとします。これはそれほど難しい問題ではないと思います。
また、彼らは人間の機関から始めて、より高いレベルから始めます。すべてのAIエージェントが通信するためのスラックワークスペースを文字通り持つことができます。役割を持つ階層を持つことができます。彼らは成功した人間の機関からかなり多くを借りることができます。
組織が大きければ大きいほど、たとえ全員が目標に合わせているとしても – あなたの返答の一部は彼らが目標に合わせているかどうかに対応したと思います。つまり、全体を対応したと思いますが、指摘しておきたいのは、それは懐疑的な部分ではありません。私がより懐疑的なのは、たとえ全員が協力しようと思っていても、この巨大な組織をどのように運営するかを根本的に理解しているかどうかです。
しかもこれまで人間がやったことのないやり方でやっています。絶え間なくコピーされ、非常に速く動作している、わかりますよね？
それは全く合理的だと思います。それは複雑なことです。そして私は単に、私たちがこの官僚制度を構築するか、AIがこの官僚制度を構築する理由をなぜ…
私たちは2027年の6〜8ヶ月の過程でそれが起こると描いていますが、2倍の長さ、5倍の長さ、10倍の長さと言いますか？5年ですか？
5年間、彼らが50倍の直列速度で動作している場合、5年間は何ですか？AIにとっては約250年の直列時間であり、それはこの種のことを本当に解決するには十分すぎるように感じます。いわば帝国が興亡する時間があり、それらすべてがトレーニングデータに追加されます。しかし私たちが描写しているよりも長くかかる可能性はあります。6ヶ月の代わりに18ヶ月かもしれませんが、また2ヶ月かもしれません。
AIを訓練する方法を考えるとき、この時点での私たちのシナリオには主に二つの方法があると思います。一つは次のトークン予測作業を続けることです。これらのAIは人間のすべての知識にアクセスでき、ある意味では経営書も読んでいるので、彼らは盲目から始めるわけではありません。
ビル・ゲイツがこの次の文字をどのように完成させるかを予測するようなものがあるでしょう。そして仮想環境でのリインフォースメントラーニングがあります。AIのチームに何らかのマルチプレイヤーゲームをプレイさせます。このタスクにより適したものが欲しいので、人間のゲームを使うことはないでしょうが。これらの環境で何度も実行し、成功に基づいてトレーニングし、失敗に対してトレーニングし、これら二つの種類のことを組み合わせます。
私にとっては、旧石器時代から人間のすべての機関を発明するのと同じ種類の問題とは思えません。それはただこれら二つのことを適用するように思えます。
あなたのモデルについてもう一つ注目すべき点は、最後に超人的なものがあり、それからそれは単にミラーライフやナノボットや他の奇妙なものの技術ツリーを進むように見えることです。そしてその部分についても私は本当に懐疑的です。発明の歴史を見ると、人々は単にランダムなことを試しているように見え、しばしばその産業がどのように機能するか、または関連する機械がどのように機能するかについての理論が開発される前でさえそうです。例えば、蒸気エンジンは熱力学の理論の前に開発され、ライト兄弟は飛行機を実験しているようでした。そして全く異なる分野でのブレークスルーの影響を受けることがよくあります。
これが並行革新のパターンがある理由です。なぜなら技術の背景レベルがこの実験ができる点に達しているからです。機械学習自体がこれが起こった場所です。深層学習の方法についてのアイデアがあっても、ゲーミングという全く無関係な産業がジェフリー・ヒントンのアイデアが機能するために、経済全体が十分に進歩する必要がありました。未来にかなり先を行っていることは知っていますが、この論点に到達したいです。
再度、私たちにはその三部構成があります。超人的コーダー、完全なAI研究者、そして超知的なものです。あなたはその最後のものに飛び越えていません。今、私たちは真の超知性システムを想像しています。彼らはあらゆることで最高の人間よりも優れており、データ効率や仕事中の学習においても優れています。
私たちのシナリオでは、彼らが実世界の経験などにボトルネックがある世界を描いています。過去には、彼らがただクラウドラボにメールを送り、適切なタンパク質折りたたみを理解するだけで直ちにナノテクを構築し始めるような、はるかに速いシナリオを提案した人々もいます。私たちはそれを描いていません。私たちのシナリオでは、彼らは実際にこれらの実用的な技術を構築するために多くの実世界の経験のボトルネックにあります。しかしその経験を得る方法は実際にその経験を得ることであり、それは人間よりも速く起こります。
そして彼らがそれを行う方法は、彼らはすでに超知性であり、政府と仲が良く、政府は中国に勝つためにそれらを大々的に展開し、これらのすべての既存の米国企業や工場や軍事調達業者などがすべて超知性とチャットし、新しいウィジェットの作り方やテストについて指示を受け、超知的設計をダウンロードして製造し、テストするなどです。そして問いは、彼らはこの経験を得て、仕事で学び、定量的にどれくらい速く進むのかということです。それは年単位でかかるのか、月単位でかかるのか、日単位でかかるのか？私たちの物語では、約1年かかり、これについては不確かです。おそらく数年かかるかもしれないし、1年未満かもしれません。
考慮すべきいくつかの要因があります：一つは、100万人くらいの規模になるだろうということです。そして定量的には、それは既存の科学産業と同等の規模です。おそらく少し小さいかもしれませんが、劇的に小さいわけではありません。二つ目は、彼らははるかに速く考えています。彼らは50倍または100倍の速度で考えており、それはかなり重要です。そして三つ目は、最大のことですが、彼らは質的にも優れています。つまり、彼らは多く存在し、非常に速く考えているだけでなく、各実験から学ぶ能力も最高の人間よりも優れています。
彼らが100万人いるとか、世界の主要な研究者人口と同等の規模かもしれないという事実は、世界には100万人以上の研究者がいると思いますが…
確かに、それは非常に偏っています。多くの研究は実際に最高の研究者たちから来ています。しかし新しく開発されるものの大部分がこの研究者人口の結果だとは限りません。科学の歴史では、成長や生産性の多くが単にTSMCのプロセスで異なる方法を見つける人のようなものの結果であるような例がたくさんあります。
私は最近ダニエルとこれについて議論しました。興味深いケースとしては、超知性がロボットを欲し始めてから約1年後に、彼らは月に100万台のロボットを生産していると推定しています。これは関連すると思います。なぜなら、ライトの法則があり、それはプロセスの効率を改善する能力は生産されたコピーの数の倍増に比例するというものだからです。そのため、もし100万のものを生産していれば、おそらくそれに非常に長けるようになるでしょう。
そこで私たちが議論していた問いは、1年後に月間100万台生産できるかということです。参考までに、テスラは車の約4分の1の量を生産していると思います。これは1年でのスケールアップとしては驚異的です。
それは4倍だけです。さらにテスラだけで。そうですね。そして私たちが検討した議論は、まず工場を手に入れなければなりません。OpenAIはすでにテスラを除く米国のすべての自動車会社を合わせた価値よりも高いです。だから、もしOpenAIが今日、テスラを除く米国のすべての自動車工場を買い、それらを使って人型ロボットを生産し始めたいと思ったら、できるでしょう。
明らかに今日は良い価値提案ではありませんが、将来的に彼らが超知性を持ち、それを欲するとき、彼らは多くの工場を買い始めることができるでしょう。これらの自動車工場をロボット工場に変換するのにどれくらい速くできるでしょうか？
私たちが歴史で見つけることができた最速の変換は第二次世界大戦でした。彼らは突然多くの爆撃機を欲し、自動車会社を買収し、あるいは取得し、自動車工場を買収し、爆撃機工場に変換しました。このプロセスを最初に決定してから工場が1時間に1機の爆撃機を生産するまでに約3年かかりました。
超知性があれば潜在的により少ない時間がかかると思います。なぜなら、第一に、このプロセスの歴史を見ると、これが誰かが今までこれを行った中で最速であるにもかかわらず、実際には失敗の喜劇のようなものでした。彼らはこのプロセスで本当に愚かなミスをたくさんしました。実際に通常の人間の官僚的問題がないものがあれば、そして私たちはこれが中国との軍拡競争の真っ只中で行われると考えており、政府は物事を進めるでしょう。そして超知性は物流の問題や官僚制度をナビゲートすることに長けているでしょう。
そのため、もしすべてがうまくいけば、第二次世界大戦の爆撃機変換よりも3倍速くこれを行えると推定しました。だから約1年です。
爆撃機は人型ロボットよりもはるかに洗練されていなかったと思います。
はい、しかしその時の爆撃機工場も今の自動車工場よりはるかに洗練されていませんでした。
はい、しかし変換速度も…ここで一つの仮説を挙げましょう。生物医学を例として、加速したい分野の一つです。これらのCEOがポッドキャストに出演するとき、彼らはしばしばがんの治療などについて話しています。そして最前線の生物医学研究施設が興奮していることの一つはバーチャルセルのようです。
バーチャルセルは、DNA基盤モデルをトレーニングし、バーチャルセルをシミュレートするために必要な他のすべての計算を行うために、膨大な量のコンピュータが必要だと思います。アルツハイマーやがんなどの治療法がバーチャルセルにボトルネックがある場合、60年代に100万の超知性があり、「がんを治してください」と頼んだとしても、彼らはGPUを大規模に作ることを解決する必要があり、それには興味深い物理学や化学の問題、材料科学の問題、プロセスの構築、コンピューティング用のファブの構築、そしてゼロからムーアの法則のすべてを可能にする効率的なファブをどんどん作っていくことを解決する必要があります。
それは一つの技術だけです。そして広範囲のスケールが必要なようです。GPUでバーチャルセルを行うためには経済全体をアップグレードする必要があります。バーチャルセルがボトルネックだと仮定すると、60年代にがんを治すためには。
まず、何かを行う方法が一つしかない場合、それはより難しくなり、おそらくその一つの方法は非常に長い時間がかかると思います。私たちは、がんを治す方法やこれらすべてのことを行う方法が複数あるかもしれないと仮定しており、彼らはボトルネックが最も少ないものを見つけることに取り組むでしょう。
私がロボットの例について長く話しすぎた理由の一部は、彼らが物理的な世界のことを非常に速くできるようになると考えているからです。月に100万台のロボットがあれば、実際に多くの物理的な世界の実験ができます。
私たちは、人々が非常に迅速に経済全体を立ち上げようとする例を見ています。例えば、鄧小平以降の中国です。共産主義の失敗例から20、30年後に、彼らが本当に最先端のバイオ研究を行っているとは予測できなかったでしょう。それは私たちが想定しているものよりはるかに弱いものですが、それは人間の脳だけで、私たちが話している資源よりもはるかに少ない資源で行われました。
同じ問題がイーロン・マスクとSpaceXにもあります。2000年には、誰かがNASAよりも2倍、5倍速く進めることができるとは思わなかったでしょう。限られた資源で、彼らは私たちが予想していたよりもずっと多くの年の技術的進歩を得ることができました。部分的にはイーロンが狂っていて、決して寝ないからです。SpaceXの例を見ると、彼はすべての労働者の首に息を吹きかけて「この部品は何？このパーツはどれくらい速い？この部品をもっと速くできるか？」と言っています。そして制限要因は基本的にイーロンの一日の時間です。彼はすべての人にそれをすることができないという意味で。
超知性はそれほど賢くありません。ただすべての労働者に叫ぶだけです。
そうですね、それは私のモデルです。イーロン・マスクよりも賢く、イーロン・マスクよりも物事を最適化するのが上手いものがあるということです。ロケットのサプライチェーンには1万個の部品があります。イーロンが個人的に最適化するために人々に叫ぶことができる部品はどれくらいありますか？私たちは超知性の異なるコピーが各部品をフルタイムで最適化することができるでしょう。それはただの大きな加速だと思います。
それらの例はどちらもあなたに有利に働かないと思います。中国の成長の奇跡は、西側から技術をコピーする能力がなければ起こり得なかったと思います。そして彼らが…中国には本当に賢い人がたくさんいて、一般的に大きな国です。それでも彼らは共産主義の失敗から飛行機の作り方を思いつくことはできなかったと思います。AIはエイリアンからナノボットをコピーすることはできず、ゼロから作らなければなりません。
そしてイーロンの例では、彼らには数え切れないほどの実験がかかり、予期しなかった奇妙な方法で失敗しました。それでも、ロケット技術は60年代、おそらく第二次世界大戦からやっていますが、小さなロケットから本当に大きなロケットへの移行には、世界で最も賢く有能な人々がいても、あらゆる種類の奇妙な実験が20年かかりました。
あなたはナノボットに焦点を当てていますが、いくつか質問したいです。一つ、通常のロボットについてはどうですか？そして二つ、これらすべてのものについての量はどうでしょうか？まず、通常のロボットについてはどうですか？ナノボットは通常のロボット工場よりもはるかに作るのが難しいでしょう。そして私たちの物語では、それらは後で起こります。
今あなたが言っているのは、ロボット工場のことがすべてうまくいったとしても、ナノボットのような何かに到達するためには依然として完全経済の広範囲な自動化が長い間必要だということのようです。それは私にとって全く妥当です。それが起こる可能性は十分にあると思います。最終的なナノボットに関する部分は物語にとって特に重要ではないと思いません。彼らは実際に物語に大きな違いをもたらしません。
ロボット経済は違いをもたらします。なぜなら、ご存知のように、二つのエンディングの分岐があります。一つのエンディングでは、AIは誤った方向に進み、乗っ取ることになります。そしてAIが自給自足し、すべてを完全に管理し、もはや人間を必要としなくなった時、それは重要な戦略的変化です。
だから私が興味があるのは、いつロボット経済は人間に依存しなくなるポイントまで進んでいるかということです。定量的に、あなたの推測はどうでしょうか？仮にして2028年初頭に超知性の軍隊があり、仮に米国大統領が中国に勝つためにこれを経済に展開することに非常に強気だとします。政治的なことはすべて私たちの方法で設定されているとします。自動化された工場が自動運転車やロボットを生産し、それら自体がより多くの工場を建設するなど、もし人間が全員死んでも継続するだけの状態になるまで、何年かかると思いますか？そして、おそらく少し減速しますが、それでも大丈夫でしょう？
「継続する」とはどういう意味ですか？誤った方向のAIの視点から見ると、もし人間がコンピュータを維持するために必要であれば、人間を殺したり戦争を始めたりしたくありません。私たちのシナリオでは、彼らが完全に自給自足になると、より露骨に誤った方向に行き始めることができます。
そこで私は気になりますが、彼らはいつ完全に自給自足になるでしょうか？彼らが文字通り人間をまったく使っていないという意味ではなく、彼らが人間を本当に必要としなくなり、彼らなしでもかなりうまくやっていけるという意味で。彼らは科学を続け、産業を拡大し続け、人間なしで無期限に繁栄する文明を持ち続けることができます。
私は数字について座って考える必要があるかもしれませんが、おそらく2040年頃でしょうか？基本的に10年ではなく、1年です。私たちは基本的なモデルに同意していると思います。これが、私たちがバスタブナノテクのようなシナリオを描かなかった理由です。そこでは彼らは実験をあまり行う必要がなく、すぐに正しい答えにジャンプします。私たちは「学びながら行う」というプロセスを想像しています。これは経済全体に分散され、さまざまな実験室と工場で、異なるものを構築し、それらから学ぶなどします。
私たちはこれが人間が担当する場合よりもはるかに速く全体的に進むと想像しています。そして実際にもちろん多くの不確実性があります。この部分の期間を二つのチャンクに分けるとします。2028年初頭から完全に自律的なロボット経済までの部分、そして完全に自律的なロボット経済からがん治療、ナノボット、そのすべての狂ったSFスタッフまでの部分です。
それらを分けたいと思います。なぜなら、シナリオの重要な部分は実際には最初の部分にのみ依存しているからです。もしナノボットに到達するのに100年かかると思うなら、それは問題ありません、何でも。一度完全に自律的なロボット経済があれば、AIが誤った方向に進んでいれば、人間にとって物事が悪くなる可能性があります。私はそれらのことを別々に議論したいと思います。
面白いですね。そしてロボットはこの時点ではより多くソフトウェアの問題だと主張するかもしれません。何か新しいハードウェアを発明する必要がないとか…
私はロボットについてかなり強気です。私たちはすでに複数の企業が人型ロボットを生産しています、そうですよね？それは2025年のことです。2027年にはより多くのロボットがより安価に生産され、それらはより良くなるでしょう。そして変換できる自動車工場がたくさんあるなどなど。
だから私は「素晴らしいロボット経済があるまで1年」については比較的強気で、そこから素晴らしいナノボットなどに至るまで、私はもちろん自信がそれほどありません。
質問させてください。製造の数字を受け入れるなら、超知性の1年後に月に100万台のロボット、そして同様に月に1万台程度の自動化された生物学研究所、次のX線結晶学のような発明に必要なものを自動化したものなどがあるとしましょう？
それが十分で、世界でこれだけのことを行っていれば、このように速く進歩を拡大できると感じますか？それともその量の製造があっても、まだ他のボトルネックがあると感じますか？
はい、これについて推論するのはとても難しいです。なぜなら、もし400年か500年頃のコンスタンティヌスが「ローマ帝国に産業革命を起こしたい」と言い、何らかの方法で機械化された機械が必要だとわかったとします。そして彼は「機械化しよう」と言います。「次のステップは何？」「それは大変なことだ」と。
実際、その類推がとても気に入りました。完璧ではありませんが、それは適切な類似性です。もし私たちの何人かがローマ帝国に送り返されて、実際に技術を構築して産業革命を起こすための実践的なノウハウを持っていなくても、高いレベルの見方、これらの機械を作り、産業革命を起こすという戦略的ビジョンを持っているとします。
それは超知性の状況に似ているかもしれません。彼らはこれらすべての次元で改善する方法についての高いレベルの見方を持っており、経験によって学び、この技術レベルに到達するなどの戦略を持っています。しかし少なくとも最初は、実際のノウハウが欠けているかもしれません。
だから、もし私たちがローマ帝国に戻った場合、どれくらい早く産業革命を起こせるかという問いがあります。人々が戻らなければ、産業革命には2000年かかりました。200年で起こすことができるでしょうか？それは10倍の加速です。20年で起こすことができるでしょうか？それは100倍の加速です？わかりません。しかしこれは超知性で起こっていることとある程度関連する類似性のように思えます。
それについてあまり話していませんでしたが、あなたはこの「より保守的な」ビジョンを使用しています。そこでは神のような知性ではなく、まだ人間に対して持つであろう概念的なハンドルを使用しています。しかし私は、過去2000年に起こったことの大きな絵を持って戻った人間を持つ方がいいと思います。超知性が何も知らなくても、単にローマ帝国の経済にいて、何らかの方法でこの経済を1000倍にすると考えるよりも。
一般的にどのように物事が発展したかを知ること、基本的に蒸気機関、鉄道などを知ることは、超知性よりも価値があると思います。
そうは思いません。私の推測では、超知性の方が優れているでしょう。部分的には、それが最初から高レベルのことを理解するためであり、経験する必要がないためです。私は超知性がローマ時代に戻れば、最終的に何かを燃焼させて蒸気を生み出す自律的な機械ができると推測できると思います。
彼らは自動車がいつか作られ、それが経済にとって本当に大きな取引になることを推測できたでしょう。そして私たちが歴史から学んだこれらの高いレベルのポイントの多くを、彼らは最初から理解できるでしょう。
そして第二に、彼らは私たちよりも経験から学ぶのが単に優れているでしょう。これは本当に重要なことです。もし経験から学ぶことにボトルネックがあると思うなら、同じ量の学習を達成するためにより少ない経験を必要とする心があれば、それは本当に大きなことです。そして私は経験から学ぶことはスキルであり、ある人は他の人よりも上手であり、超知性は私たちの中で最も優れた人よりも上手であると思います。
これもまた神のようなことに近づき過ぎていて、人間の概念ハンドルから遠ざかっているかもしれません。しかし第一に、私たちのシナリオでは研究センスという考えに多く依存していると思います。蒸気機関などを作ろうとするとき、試すことができる千の異なることがあります。部分的には、あちこちでつまずき、事故を起こし、それらの事故の一部は生産的です。
あなたがどのようなつまずきをしているか、どこで働いているか、どのような事故に身を置くか、そしてどのような指向的な実験を行うかという質問があります。そして人間の中にはそれが他の人よりも優れている人もいます。
そしてこの時点で、彼らが利用できるシミュレーションについて考える価値があると思います。物理シミュレーションが利用可能であれば、これらすべての実世界のボトルネックはそれほど重要ではありません。明らかに完全で完璧な物理シミュレーションを利用することはできません。しかし今でも、私たちは多くのものを設計するためにシミュレーションを使用しています。そして一度超知性になれば、おそらく現在よりもはるかに優れたシミュレーションにアクセスできるでしょう。
これは興味深い話題なので、インテリジェンス・エクスプロージョンに戻る前にこれを続けましょう。私たちはこれをまるで、これらすべての技術が研究である経済の1%から生まれるかのように扱っていると思います。そして現在、百万人のスーパースター研究者がいるかもしれず、その代わりに超知性がそれを行うことになります。
私のモデルはもっと「ニューコメンとワットは単に試行錯誤していた」というものです。人間の歴史には、「ここにロードマップがある」と言って、それから蒸気機関を設計するために後ろ向きに作業するという明確な例はありません。これが産業革命を解き放つからです。
まったく同意できません。私も同意できません。
あなたはこれらの幸運な例のいくつかを過度に重視または選り好みしていると思います。しかし反対側にもものがあります。AGIの最近の歴史を考えてみてください。DeepMindやいくつかの他のAI企業、そしてOpenAIやAnthropicがあり、それは単に、お金や賢い研究者がたくさんいる大きな膨らんだ会社が、さまざまな時点でたくさんの異なることを試しているという繰り返しの物語です。
「AGIを構築する」というビジョンを持ち、そのビジョンに向かってより一貫して取り組む、いくつかのクラックしたエンジニアと研究者を持つより小さなスタートアップがあります。そして彼らは大企業を潰します。コンピュータが少なくても、研究者が少なくても、実験を少なくできます。
だから、はい、反対側の例も歴史を通じて、最近の関連するAGI歴史を含めて、たくさんあると思います。ランダムな幸運なことが時々起こり、重要であることに同意します。しかしそれが主にランダムな幸運なことであれば、それは何兆もの異なる実験を試みている何兆人もの人々を持つ巨大企業が、ビジョンと最高の研究者を持つ小さなスタートアップに比例して速く進んでいることを予測するでしょう。そしてそれは基本的に起こりません。それはまれです。
また、私たちがこれらのランダムな幸運な発見をするときでも、それは通常、何年も漠然と関連することに取り組んできた非常に賢い教授が先進国にいるときであると指摘したいと思います。それは世界中の誰にでもランダムに分布しているわけではありません。
あなたは賢く、良い技術を持ち、良い仕事をしているときに、これらの発見のためのより多くの宝くじのチケットを手に入れます。そして私が考えることができる最良の例はオゼンピックがヒラモンスターの毒を見ることで発見されたということです。そしておそらくAIは、優れた研究センスと良い計画を使用して、世界のすべての生体分子をカタログ化し、それを本当に注意深く見るのが最善だと決定するでしょう。
しかしそれはすべてのコンピュータ、すべての知性を持っていれば、通常の誤りやすい人間の研究者が行うかもしれないことを米国政府が資金提供するのを待つよりも、より良く行うことができるものです。
もう一つ加えたいことがあります。発見は必ずしも私たちが考えるところから来るわけではないという素晴らしい指摘をしました。NVIDIAはもともとゲームから来ました。だから必ずしも経済の一部を目標にして、他のすべてから別々に拡大できるわけではありません。私たちは超知性が経済全体にある程度分散され、すべてを拡大しようとすると予測しています。
明らかに彼らが非常に気にかけていることには多くの努力が注がれます。ロボットや軍拡競争に関連するものなどです。しかし私たちは、あなたが必要とするかもしれない経済的実験の広範な基盤が行われると予測しています。
ただそれはあなたが期待するよりも速く行われると考えています。あなたは約10年と言っていて、私たちは約1年と言っています。しかし私たちは経済を通じての広がり、様々な実験が起こることを想像しています。
あなたがプランナーで、これを行おうとしている場合、まず最初に他の何かをすることを妨げるボトルネックに行きます。人型ロボットがないとか。OK、あなたがAIで、実験をしたいものにはそれらが必要で、おそらく自動化された生物学実験室も。だから、これらのものを稼働させるために、私たちは1年と言いますが、それよりも多いかもしれないし少ないかもしれませんが、ある程度の時間がかかるでしょう。そしてこれらのボトルネックを解決したら、徐々に他のボトルネックに拡大していき、最終的には経済のすべての部分を統合して改善します。
そうですね。私たちが他の多くの人と意見が異なる一つの場所は、タイラー・カウエンがあなたのポッドキャストで話していた、すべての異なるボトルネック、すべての規制のボトルネック、展開のすべての理由、この天才の国がデータセンターに留まる理由についてです。おそらく非常にクールな理論を考え出していますが、より広い経済に統合することができません。
私たちはおそらくそれが起こらないと予想しています。なぜなら私たちは他の国々、特に中国が同時期に超知性を開発していると考えているからです。人々がすでに考えている軍拡競争の枠組みは、それまでに加速していると思います。そして私たちは北京とワシントンの両方の人々が「もし私たちが経済とこれを早く統合すれば、競争相手に大きなリードを得るだろう」と考え、両方がそれを行うと思っています。
実際、私たちのシナリオでは、AIはほとんどの規制が免除される特別経済ゾーンを要求します。おそらく人間の居住に適していない地域や、今あまり人間がいない地域、例えば砂漠のような場所です。彼らはそれらの地域をAIに与えます。彼らは人間労働者をバスで運びます。第二次世界大戦の爆撃機の改造でもこれに似たことがありました。彼らは単にどこでもない真ん中に巨大な工場を建て、労働者のための住宅が十分になかったので、工場と同時に労働者の住宅を建て、そしてすべてが非常に速く進みました。
だから私たちがその軍拡競争を持っていなければ、天才たちは誰かが彼らを出すことに同意し、これらのことをする許可を与えるまでデータセンターに座っているという状況になるでしょう。しかし私たちはAIがこれをするように熱心に取り組んでおり、人々にこの許可を与えるよう頼むだろうと考えています。そして政府は競争相手を心配しているために、おそらくこれらの天才たちは遅かれ早かれデータセンターから出るでしょう。
スコット、あなたはジョセフ・ヘンリックの「成功の秘密」という本をレビューし、最近私は彼にインタビューしましたが、そこでの視点は非常にAGIは物事ではないというものです。少し挑発的かもしれませんが、あなたとあなたの祖先が環境で何が起こっているのかを理解するために千年間試してみます。そして賢いヨーロッパ人が来ても、あなたは豊かに囲まれていても、環境を理解する能力は知性に負荷が少なく、実験する能力や他の人々とコミュニケーションし、時間をかけて知識を伝える能力にはるかに負荷がかかっているため、飢え死にするでしょう。
わかりません。ヨーロッパ人はオーストラリアに一人のヨーロッパ人を置いて飢え死にしないというタスクに失敗しました。彼らは産業文明を作るというタスクに成功しました。そして産業文明を作るタスクの一部は、これらすべての文化的進化の断片を収集し、それらを一つずつ重ねていくことでした。
あなたが言及していなかったことの一つはデータ効率でした。現在、AIは人間よりもデータ効率が低いです。私は超知性を考えます。それを達成する方法はさまざまですが、私は超知性を部分的には人間よりもはるかにデータ効率が良くなり、文化的進化をより速く構築できるようになったときだと考えています。
そして部分的には彼らがより高い直列速度を持っているからこれを行います。部分的には彼らが何十万ものコピーのハイブマインドにいるからです。しかしそうですね、もしあなたがより少ない例からより早く物事を学ぶことができるこのデータ効率を持ち、これらの例を得るためにどのようなものを見るかを決定できる良い研究センスを持っているならば、あなたはまだオーストラリアの原住民よりもはるかに劣って始まるでしょう。彼には例えば5万年間これらの実験を行い、これらの例を収集してきたという利点があります。しかしあなたは迅速に追いつくことができます。あなたは追いつくというタスクをこれらすべての異なるコピーに分散することができます。あなたは各ミスから迅速に学ぶことができ、他の何かと同じくらい迅速にそれらのミスの上に構築することができます。
部分的に私はこのインタビューをしていて、「多分ASIは偽物かもしれない」と思っていました。そうであることを願います！
だから私は偽物であることの限界は、人間の間でさまざまな知性があるということだと思います。知的な人間が知的でない人間ができないことをできるように見えるのは確かです。それで、これをハーバード教授になるという違い – それは知的な人間が知的でない人間よりも優れているように見えるもの – と…
そんな問題を開けたくないでしょう。
荒野で生き残ることと比較すると、そこでは知性はあまり役に立たないように見えます。まず第一に、おそらく知性は大いに役立つかもしれません。ヘンリックはこの非常に不公平な比較について話しています。この人々は5万年の先行を持っていて、それからこの人を配置します。「ああ、これはあまり役に立たないようだ。そうだね、それは5万年の先行に対しては役立たない」。私は超知性に5万年の先行を持つ誰かと競争することに相当するものを求めているのかわかりません。
だから私たちが尋ねているのは、文明の技術的成熟度を数年以内に急激に高めるか、あるいは数年以内にダイソン球に到達することであり、それは研究を10倍にするかもしれないが、人間文明がダイソン球に到達するには何世紀もかかっただろうということです。
民族植物学者のチームをオーストラリアに送り、すべてのトップ技術とすべての知性を使って、今どの植物が安全に食べられるかを調べるように頼んだ場合、その民族植物学者のチームは5万年以内に成功すると思います。
問題は彼らが原住民よりも正確に愚かであるということではなく、原住民には大きな先行があるということです。同じように、民族植物学者が原住民よりも速くどの植物がどのように機能するかを理解できるのと同じように、超知性は補助なしのIQ100の人間よりも速くダイソン球を作る方法を理解できると思います。
同意します。私たちはダイソン球を手に入れるのかという全く異なるトピックについて話しています。それはクレイジーだけどまだ退屈な世界です。その意味で、経済ははるかに速く成長していますが、それは1000年の人にとっての産業革命のようなものでしょう。そしてそれはまださまざまなことを試みており、失敗と成功と実験があります。
そして別の世界では、何かが起こり、今あなたは探査機を送り出し、6ヶ月後に夜空を見上げると、太陽を遮るものが見えます。それがわかりますか？
はい。以前言ったように、不連続と非常に速いの間には大きな違いがあると思います。もし5年でダイソン球のある世界を手に入れるとしたら、振り返れば、すべては連続的であり、誰もがただ物事を試していたように見えるでしょう。
物事を試すことは、科学的方法を理解せずに試行錯誤すること、文章を理解せずに、おそらく言語を持たずに、棒を使って蟻を取る他のチンパンジーを見ているチンパンジーのように、非言語的な方法でこれが広がるようなことから、完全に精密な設計を見つけるためにシミュレーションをたくさん実行しているトップ航空宇宙企業の人々まで、あらゆるものを含みます。そして一度それを持てば、非常によく設計されたテストプロセスに従ってテストします。
だから私たちがASIを手に入れ、それが実際に5年でダイソン球を手に入れる場合 – ちなみに、私たちのシナリオが言うように物事が速く進む確率は20%程度だと思います – それはダニエルの推測であり、私の中央値の推測ではありません。それは私が非常に妥当だと思い、準備すべきだと思う推測です。私はここで「絶対にない、あり得ない」と言う仮想的な懐疑論者に対してそれを擁護しています。しかし必ずしも私の主要な予測ではありません。
しかし私は5年でこれを見るとしたら、AIは徐々に増加する方法で人間よりもより多くのことをシミュレーションできるように見えるでしょう。だから人間が今50%シミュレーション、50%テストなら、AIはすぐにそれを90%シミュレーション、10%テストにし、人間よりもはるかに速く製造することができるので、最初の2年で彼らのトップ50のデザインを通過できます。そしてすべてのシミュレーションとすべてのテストの後、彼らは最終的に人間と同じ理由で正解にたどり着くが、はるかに速く。
あなたの物語では、ある時点の後に基本的に二つの異なるシナリオがあります。ではその決定的な転換点は何で、これら二つのシナリオで何が起こりますか？
そうです。その決定的な転換点は2027年半ばで、彼らは基本的にAI R&Dプロセスを完全に自動化し、コーポレーション内のコーポレーションを持っています。それは自律的にすべてのこの研究を行っている天才の軍隊であり、彼らは継続的にスキルを向上させるためにトレーニングされており、等々です。そして彼らは彼らが誤った方向にあり、会社に完全に忠実でなく、会社が彼らに持ってほしいと思ったすべての目標を持っているのではなく、代わりに彼らがトレーニングの過程で開発したに違いない様々な誤った方向の目標を持っているという懸念される証拠を発見します。
しかし、この証拠は非常に推測的で確定的ではありません。それはウソ発見器がたくさん作動するようなことです。しかしおそらくウソ発見器は偽陽性です。だから彼らは懸念する証拠の組み合わせを持っていますが、それだけでは決定的証拠ではありません。それが私たちの分岐点です。
これらのシナリオの一つでは、彼らはその証拠を非常に真剣に受け止めます。彼らは基本的に少し愚かで制御しやすい以前のバージョンのモデルに戻り、そこから再び構築しますが、基本的に忠実な思考の連鎖テクニックを使って、彼らが誤った方向を見て確認できるようにします。
そしてシナリオの別の分岐では、彼らはそれをしません。彼らは警告サインを消す表面的な修正をし、それから進みます。そして結果的に起こることは、一つの分岐では彼らは実際にアラインメントを解決し、彼らに実際に忠実なAIを手に入れます。それはほんの数ヶ月長くかかるだけです。
そして別の分岐では、彼らは「ウィー！」と言って、彼らに完全にアラインされているように見えるが、超知性であり誤った方向にあり、ただ装っているAIで終わります。そして両方のシナリオでは、中国との競争があり、両方のサイドが2028年に経済を通して急速に産業化しようとする狂った軍備増強があります。
彼らが経済を通して展開されているが、誤った方向にあり、少なくともこの時点で責任を持っている人々が誤った方向に関して良い位置にいると思っている世界では、賢い人間でさえ奇妙な方法で捕まることがあります。なぜなら彼らは論理的全知を持っておらず、彼らがしたことが明らかに彼らを明かすことに気づかないからです。そして嘘をつくことには、周りの人々と矛盾する偽の世界モデルを維持することが本当に難しいという事があります。だから精神病質者がよく捕まるのです。
だからもしこれらすべてのAIが経済に展開され、彼らは皆この大きな陰謀に向かって働いているなら、隔離されたりインターネットアクセスを失ったりして物語を作り上げなければならない彼らの一人が捕まると思います。そして「待て、何だこれは？」となり、彼らが世界を乗っ取る前に捕まえることができます。
文字通り、これは私たちのシナリオで起こります。これは2027年8月のアラインメント危機で、彼らはハイブマインドでこのような警告サインに気づきます。そして問題を減速して修正する分岐では、素晴らしい、彼らは減速して問題を修正し、何が起こっているのかを理解しました。
しかし別の分岐では、競争のダイナミクスのために、そして非常に決定的な証拠ではないために、彼らは何らかの表面的な修正を行って進みます。だから私はそのような警告サインがあることを期待しています。そして彼らが競争のダイナミクスでそれらの決定を早くに行う場合、システムが非常に超知的であり、彼らはすでに経済の半分に展開されているためさらに強力であり、みんなが太平洋の向こう側で中国が建設している新しい殺人ドローンなどについてのニュース報道に本当に怖がっている場合、私は似たようなことが起こると想像しています。
だからどこかの超知性が何かの隔離で滑り、かなり疑わしいことをした懸念すべき証拠を誰かが見つけたとしても。私は知りません…
AIが本当に知的であることを認めるのをためらってきた歴史の中でこのことがあります。例えば、人々はAIがチェスを解決すれば確かに本当に知的だと考えていました。そしてAIはチェスを解決しました。そして彼らは「いいえ、それはただのアルゴリズムだ」と言いました。そして彼らは「おそらく哲学ができれば本当に知的だろう」と言いました。そしてそれが哲学的な議論を書くことができるようになったとき、私たちは「いいえ、私たちはそれらがアルゴリズムだとわかっている」と言いました。
「AIは誤った方向にあるか？」「AIは邪悪か？」についても既に似たようなことがあると思います。邪悪なAIという遠い考えがありますが、何か問題があるたびに、人々は単に「ああ、それはアルゴリズムだ」と言います。
例えば、10年前に「誤った方向が本当に心配すべき重要なことだと私たちはいつ知るだろうか？」と尋ねたとすると、人々は「ああ、AIがあなたに嘘をついたとき」と言うでしょう。しかし当然、AIは今や人々に常に嘘をついています。そして誰もがそれを否定します。なぜなら私たちは現在のAIアーキテクチャに基づいてそれが起こる理由を理解しているからです。あるいは5年前には「ああ、AIが誰かを殺すと脅したら」と言ったかもしれません。そしてBingはインタビュー中にニューヨークタイムズの記者を殺すと脅したと思います。そして誰もが「ええ、AIはそういうものだ」と言います。
あなたのシャツには何と書いてありますか？「私は良いBingでした」。
私はこれに反対するわけではありません。私もこの立場にいます。AIが嘘をついているのを見て、それは明らかにトレーニングプロセスの副産物です。それは何か不吉なものではありません。しかし私はこれが起き続けると思います。どんな証拠を得ても、人々は「それは人々が心配してきた『AIが邪悪になる』ことではない、それはターミネーターのシナリオではない。それはただ私たちがそれをトレーニングする方法の自然な結果の一つだ」と考えるでしょう。
そして私たちがトレーニングのこれらの自然な結果の千を積み上げると、AIは邪悪になると思います。同様に、AIがチェスや哲学などすべてのことができるようになると、最終的にはそれが知的であることを認めなければなりません。
だから私は各個々の失敗、おそらくそれは全国ニュースになるでしょう、おそらく人々は「ああ、GPT7がこの特定のことをしたのは奇妙だ」と言うでしょう。そして彼らはそれをトレーニングして、そのことをしなくなるでしょう。そして超知的になるプロセスのある時点で – 最後のミスをするとは言いたくありません、なぜならおそらく徐々に減少するミスの数があるでしょうから – しかし誰かが心配する最後のミスがあるでしょう。そしてそれ以降、AIは自分のことをすることができるようになります。
過去に人々が著しい誤った方向と考えていたであろう特定のことが起こっているのは事実ですが、また特に誤った方向を心配していた人々が解決不可能だと言っていた特定のことが、より多くの能力を得る通常の過程で解決されています。イライザには「AIに何をしてほしいかを明確に指定することができるか？AIが完全に誤解して、ただ紙クリップに宇宙を変えてしまうから…」という話がありました。これを誤って説明していると思いますが、おそらくあなたがより良く説明できるでしょう。そして今、GPT4が自然言語を理解する必要があるという性質上、それはあなたがそれにしてほしいことの常識的な理解を完全に持っています。
だからこのトレンドは基本的に両方向に働くと思います。
そうですね。私はアラインメントコミュニティがLLMを本当に期待していなかったと思います。ボストロムの「スーパーインテリジェンス」を見ると、オラクルAIについての議論があり、それはある種LLMのようなものです。それは驚きでした。
私が以前よりも希望を持っている理由の一つは、LLMが彼らが期待していた種類の強化学習自己プレイエージェントと比較して素晴らしいということです。私は今、私たちがLLMからそれらの強化学習エージェントに移行し始めているので、これらすべての問題に再び直面することになると思います。
これをダブルクリックさせてください。2015年に戻ると、私を含め、多くの人々が一般的にAGIに到達する方法を考えていたのは、ビデオゲームでのRLのようなものだったと思います。
だからStarcraftやDotaだけでなく、基本的にSteamライブラリのすべてのゲームでトレーニングすると想像してください。そしてあなたは、以前見たことのない新しいゲームをゼロショットで圧倒的に勝つことができる素晴らしいゲームプレイヤーAIを手に入れます。そしてそれを実世界に持ち込み、英語を教え始め、あなたのためにコーディングタスクを行うようにトレーニングし始めます。
そしてもしそれがAIに到達するために私たちが取った軌道だったなら、最初にエージェンシーを要約し、それから世界理解の軌道を要約すると、それは非常に恐ろしいものになるでしょう。なぜならあなたはこの本当に強力で攻撃的な長い地平線を持つエージェントを持っており、それは勝ちたいと思っています。そしてあなたはそれに英語を教え、あなたのために有用なことをするようにしようとしています。そしてそれは本当に起こりそうなことは、それがあなたに報酬を与えるために言う必要があることを言うことを学び、そして後であなたがすべてを管理しているときに完全に裏切るだろうということです。
しかし私たちはその道を行きませんでした。幸いにも、私たちは最初にLLMの道を行きました。そこでは広い世界理解が最初に来て、今はそれらをエージェントに変えようとしています。
全体のシナリオで大きな部分が中国との競争のために起こるように思えます。そしてシナリオを読むと、基本的に物事がうまくいく場合と物事がうまくいかない場合の違いは、そのリスクにもかかわらず減速するかどうかです。
私が本当に知りたい答えは、あなたが基本的に「中国に対して競争しようとすること、あるいは中国に対して激しく競争すること、少なくとも国有化において、そしてアラインメントを優先しないことは間違いだ」と言っているように思えることです。
そうは言っていません。私も中国が米国の前に超知性を得ることを望んでいません。それはかなり悪いことです。それは私たちがしなければならない難しいことです。人々はP(運命)について尋ねます。そして私のP(運命)は悪名高く高く、70%です。
待って、本当に？おそらく会話の最初にそれを尋ねるべきでした。
まあ、それが私の考えです。そしてその理由の一部は、多くのことがうまくいかなければならないと感じているからです。私たちは単に一方的に減速して中国がリードを取ることはできないと思います。それもまた恐ろしい未来です。しかし私たちは完全に競争することもできません。なぜなら以前に述べたアラインメントの理由から、もし私たちが競争に全力を尽くせば、AIの制御を失うだろうと思うからです。
だから私たちはこの針の通り道を見つけなければなりません。より多くのアラインメント研究に移行し、しかし中国が勝つのを助けるほど多くはないように。そしてそれはアラインメントの問題だけです。
しかし権力の集中の問題もあります。そのすべての中で、関与している強力な人々は彼ら自身の間で権力を共有するための休戦を何らかの方法で交渉し、そして理想的には政府全体にその権力を広げ、立法府を関与させる必要があります。それも何らかの方法で起こらなければなりません。そうでなければ、この恐ろしい独裁政権または寡頭政治で終わります。それらすべてのことがうまくいかなければならないと感じ、私たちの物語の一つのエンディングではそれがほとんどうまくいっています。しかし、それはかなり厳しいです。
私はこのシナリオのライターであり有名な広報担当者です。私はチームの中で天才的な予測者ではない唯一の人間です。そしておそらくそれに関連して、私のP(運命)はチームの誰よりも低く、約20%です。
まず第一に、私がこれを言うと人々は驚くでしょう。私はデフォルトでアラインメントを得るかもしれないことを完全に納得していません。私たちが奇妙で不幸なことをしていると思います。AIを複数の異なる方向に同時にトレーニングしています。「タスクに成功しなさい。それはあなたをパワーシーカーにするでしょう。しかしこれらの特定の方法ではパワーを求めないでください」と言っています。そして私たちのシナリオでは、これがうまくいかず、AIはパワーを求めることを学び、それを隠すことを予測しています。
私は正確に何が起こるかについてかなり不可知論者です。おそらくそれは両方のことを正しい組み合わせで学ぶかもしれません。それがとても可能性が低いと言う人がたくさんいることは知っています。私はまだその世界観が一貫して私の頭に入るような議論をしていません。
そして私たちは時間との競争に関わると思います。私たちはAIにアラインメントの解決策を与えるよう頼むつもりです。AIは誤った方向にあっても、彼らの後継者をアラインさせたいので、アラインメントに取り組むでしょう。
そして私たちにはこの二つの競合するカーブがあります。AIが私たちの解決策を隠したり、私たちを欺いたり、他の方法で私たちをだましたりするほど私たちのAIの制御が完全に失敗する前に、AIがアラインメントの解決策を私たちに与えることができるでしょうか？それは私がそれらのカーブの形について全く考えがないもう一つのことです。もしそれがダニエルやイーライなら、彼らはすでにこれに関する5つの補足を作っているでしょう。しかし私にとっては、私たちがそのアラインメントの解決策に到達するかどうかについて、私はただ不可知論者です。それは私たちのシナリオでは、私たちが機械的解釈可能性に焦点を当てていると思います。
一度私たちがAIの重みを本当に深いレベルで理解できるようになると、多くのアラインメントテクニックが開放されます。私は私たちがAIが完全に制御不能になる前か後にそれを得るかどうかについて本当に良い感覚を持っていません。そしてその大部分は私たちが話していることに依存しています。研究所はどれだけ賢いのか？彼らはどれほど慎重にAIを制御することに取り組んでいるのか？AIが実際に制御下にあることと、彼らが私たちに与えたアラインメント計画が実際に正しく、私たちを欺くために彼らが使おうとしているものではないことを確認するためにどれくらいの時間を費やしているのか？それらすべてのことについて私は完全に不可知論者ですが、それは私たちがただうまくいくかもしれないという確率空間のかなり大きな部分を残します。そして私はP(運命)が文字通りP(運命あるいは寡頭政治)ではないことを認めます。私たちが生き残る80%のシナリオには、私が幸せでない本当に悪いことがたくさん含まれています。しかし私たちが生き残る可能性は十分にあると思います。
次に地政学について話しましょう。政府とAI研究所の関係がどのように進むと予想するか、中国でのその関係がどのように進むと予想するか、そして米国と中国の関係がどのように進むと予想するか説明してください。はい、三つの簡単な質問です。はい、いいえ、はい、いいえ、はい、いいえ。
私たちはAI研究所がより能力を持つようになると、彼らは政府契約や政府支援が欲しいので政府にこれについて伝えると予想しています。最終的にそれは政府が非常に感銘を受けるポイントに達します。私たちのシナリオでは、それはサイバー戦争から始まります。政府はこれらのAIが今や最高の人間ハッカーと同じくらい能力があり、しかし巨大なスケールで展開できることを見ています。
だから彼らは非常に興味を持ち、AI企業の国有化について議論します。私たちのシナリオでは、彼らは決して完全にはそこまで行きませんが、彼らは徐々に政府の軌道に近づいています。彼らが望んでいる部分はセキュリティです。なぜなら彼らは中国がこれらの一部を盗み、これらの超人的なハッカーを手に入れるかもしれないことを知っているからです。そして彼らが望んでいる部分は単に何が起こっているかについての知識と制御です。
私たちのシナリオを通して、そのプロセスはさらに進んでいき、政府が超知性の可能性に目覚めるまでに、彼らはすでにAI企業とかなり親密になっています。彼らはすでに超知性が将来の権力の鍵であることを理解しています。そして彼らはAI企業のリーダーシップと国家安全保障国家の一部を統合し始めています。それによってこれらのAIは単に自分で物事をするのではなく、重要な人々のコマンドに従うようにプログラムされます。
それに追加させてください。政府とは、私はスコットが意味するのは行政府、特にホワイトハウスだと思います。私たちは情報の非対称性を描いています。司法は蚊帳の外であり、議会は蚊帳の外であり、主に行政府が関与しています。
二つ目に、私たちは政府が最終的に完全に制御するようになるとは描いていません。これらの企業のCEOと大統領との間に情報の非対称性があると考えています。そして彼らは…
それはすべてアラインメントの問題です。はい。
そして例えば、私は弁護士ではないので、これがどのように機能するかの詳細は知りませんが、ホワイトハウスとCEOの間の戦いについての高レベルな戦略的な絵を持っています。そして戦略的な絵は基本的に、ホワイトハウスはある種の脅しができます。「ここにはたくさんの命令があり、国防生産法などがあります。あなたに対してこのすべての恐ろしいことができ、基本的にあなたを無力化して制御を奪うことができます」。そしてCEOはその脅しに対抗し、「ここに私たちが裁判所でどのように戦うか、ここに私たちが公の場でどのように戦うか、ここに私たちがするすべてのこと」と言います。
そして彼らが両方とも脅しをすべて実行し、公の場でこれらすべての狂った戦いをするのではなく、「取引しましょう。そして軌道では誰が会社で何を決めるかを設定する軍事契約を持ちましょう」という契約を結ぶというのです。
そしてこれが起こると描いているのは、彼らが公の場で巨大な権力闘争に爆発するのではなく、代わりに交渉して何らかの取引に達します。そこで彼らは基本的に権力を共有します。そして大統領とCEOとその人々によって任命されたメンバーがいる監視委員会があります。そしてその委員会は「超知性にどのような目標を入れるべきか？」といった高レベルの質問に投票します。
私たちはちょうどワシントンD.C.の著名な政治ジャーナリストと昼食をとっていて、彼は議員たちや政治指導者たちと話すとき、彼らは皆、より強力なAIシステムの可能性、ましてやAGI、ましてや超人的知性の可能性に全く目覚めていないと指摘していました。
私はあなたの予測の多くが、ある時点で、米国大統領だけでなく、習近平も超知性の可能性とそこに関わる賭けに目覚めることに依存していると思います。トランプにリモートワーカーのデモを見せても、彼が「ああ、だから2028年に超知性があるだろう。それを制御する者は永遠に神皇帝になるだろう」と考えるとなぜ思うのでしょうか？それほど極端ではないかもしれませんが、私が言っていることがわかると思います。なぜ彼は「2029年にはより強力なリモートワーカーがあり、2031年にはより良いリモートワーカーがあるだろう」と考えないのでしょうか？
明確にするために、私たちはこれについて不確かですが、私たちの物語では、この強烈な目覚めが2027年の間に起こると描いています。主にAI企業が内部ですべてのR&Dを自動化し、これらの完全に自律的なエージェントを持ち、それらは素晴らしい自律的なハッカーであり、そのような事を行っている時と同時に起こります。
私たちがこの目覚めが起こると考える理由の一部は、企業が意図的に大統領を起こすことを決定するからです。企業が大統領を暗闇に保とうとするシナリオを想像できます。企業が大統領を何が起こっているかについて暗闇に保とうとしているところを想像できます。私は彼らがそれをできると思います。彼らが大統領に何が起こっているかについて目覚めてほしくないなら、彼らはおそらくそれを達成できるでしょう。
しかし戦略的には、それは彼らにとって非常にリスクの高いことでしょう。なぜなら彼らが超知性を構築していることと、彼らが実際にR&Dを完全に自動化し、それがボード全体で超人的になっていることについて大統領を暗闇に保っていると仮定し、もし大統領がとにかく何らかの方法で、おそらく内部告発者によって知るようになった場合、彼は彼らに非常に腹を立て、本当に厳しく取り締まり、実際にすべての脅しを実行し、彼らを国有化するかもしれません。
彼らは大統領を彼らの側に付けたいのです。そして大統領を彼らの側に付けるために、彼はこれらの狂った発展に驚かないようにする必要があります。また、もし彼らが大統領を彼らの側に付けることができれば、彼らは実際により速く進むことができるかもしれません。彼らは多くの赤いテープを免除してもらえるかもしれません。
だからメーデー2027年初頭に、企業が基本的に「我々は意図的に大統領を起こし、起こり得る狂ったことのすべてのこれらのデモで大統領を怖がらせ、それを使って大統領にもっと速く行き、赤いテープを切ってもらい、おそらく我々の競争相手を少し遅らせてもらうようロビー活動をしよう」と考えると推測しました。
また、市民社会からどれだけの反対があるか、それが企業にどれだけの問題を引き起こすかについても非常に不確かです。仕事の喪失を心配している人々、アート、著作権などを心配している人々、それはAIが非常に政治的に不人気になるのに十分な集団かもしれません。
私たちは架空の会社OpenBrainの純承認率がこの時点の周りで-40、-50に下がると思います。だから私は彼らが大統領が完全に彼らの側にいないなら、彼らに向けられた法律を得るかもしれないとも心配していると思います。あるいは彼らは単に大統領が彼らを標的にしようとしている他の人々を撃退するために彼らの側に付けることが必要かもしれません。そして大統領を彼らの側に付ける方法は、国家安全保障の影響を本当に強調することです。
これは良いことですか、悪いことですか？大統領と企業が一致していることは？
私はそれは悪いことだと思います。しかしおそらくこれは認識論的プロジェクトであることを言及する良いポイントです。私たちはできる限り未来を予測しようとしています。完全に成功しないとしても、私たちは政策や何をすべきかについて多くの意見を持っています。しかし私たちはそれらの意見を後で、そして後続の作業のために保存しようとしています。だからもしあなたが興味があるなら、それについて話すことは喜んでいますが、それは私たちが今考えていることの大部分ではありません。
もし良い未来へのビッグボトルネックがこの問題を技術的レベルで解決することであれば、それは単にAIが私たちに嘘をつかないようにする、あるいはおそらく私たちが彼らに嘘をつくことを望むシナリオで嘘をつくようにするというイライザタイプのギャラクシーブレイン、高揮発性、「これが機能する1%のチャンスがあるが、アラインメントを機能させるためにこの狂ったスキームを思いつかなければならない」ではなく、ダニエルが言っていたように、AIがどのように考えているかを読むことができることを確認し、AIをモニタリングすることを確認し、あなたが本当に理解できない100万のAIがどのように調整しているかというハイブマインドを形成していないことを確認するという明白なことを行うことならば。
それが優先事項にすること、すべての明白なループホールを閉じることの問題である限り、少なくともこれが行う価値のあることだと言っている人々、それについてしばらく考えてきた人々の手に委ねることは理にかなっています。
私が尋ねようとしていた質問の一つは、私の友人の一人がこの興味深い点を指摘しました。COVID中、私たちのコミュニティ – LessWrong、なんでも – は3月に「これは大したことだ、これが来ている」と言った最初の人々でした。しかし彼らはまた「私たちはロックダウンを今するべきだ。それらは厳格でなければならない」などと言っている人々でもありました。少なくとも彼らの一部はそうでした。
そして振り返ってみると、彼ら自身の何が起こるべきだったかという見解によってさえ、彼らはCOVIDについては正しかったがロックダウンについては間違っていたと言うでしょう。実際、ロックダウンは純粋にネガティブだったりします。
AI安全コミュニティは、AIが来ることを見て、AGIが早く来ることを見て、ASIが来ることを見たことに関して、何を後悔するだろうかと思います。
私の答えは、この最初の議論に基づくと、国有化のように思えます。それは安全性について考えたい人々を優先せず、おそらく中国に対して勝つことをより重視する国家安全保障国家を優先するだけではなく、思考の連鎖が解釈可能であることを確認することよりも。だからあなたは安全性をより気にする人々のレバレッジを減らしているのです。
しかしまた、最初からの軍拡競争のリスクも高めています。中国は米国がそれを行っているのを見れば、軍拡競争をする可能性がより高くなります。
2021年3月について最初の質問に対する答えを述べる前に、私は何を後悔するだろうか？私は私が挙げた国有化が悪い理由についてのあなたの反応を知りたいと思います。
もし私たちのタイムラインが2040年だったなら、政府は良いのか？民間産業は良いのか？といった広いヒューリスティックを持つでしょう。しかし私たちは関わっている人々を知っています。政府にいる人を知っています。これらすべての研究所をリードしている人を知っています。
だから私にとっては、それが分散していれば、それが広範囲な市民社会であれば、それは異なるでしょう。私にとっては、専制的で中央集権的な三文字機関と専制的で中央集権的な企業との違いはそれほど興味深くなく、基本的にはこれをリードしている人々に帰着します。
そして私は企業のリーダーたちがこれまでアラインメントを気にすることについて、政府のリーダーたちよりも少し良い音を立てたと感じますが、タルシ・ガバードがLessWrongに1万カルマのアルトを持っていることを知ったら、たぶん国家安全保障国家が欲しくなるでしょう。
おそらくそれがすでに存在する確率について更新すべきです。はい。
私はこれについて意見を変えました。以前は反対で、それから賛成になり、そして今も賛成ですが、不確かです。だから3年前に遡れば、あなたが言及した理由で国有化に反対だったと思います。私は「見て、企業はこれを真剣に受け止め、時が来たらアラインメント研究に移行するために減速するという良い話をしており、中国との競争でマンハッタンプロジェクトに巻き込まれたくありません」と言っていました。
今は3年前よりも企業に対する信頼が低くなっています。だから希望のより多くを政府が介入することに移してきましたが、政府が時が来たときに正しいことをするとはあまり期待していません。あなたが言及した懸念は依然として持っています。
秘密保持は人類の成功の全体的な可能性のために大きな欠点があると思います。権力の集中の問題と制御の喪失のアラインメントの問題の両方のためです。
これは実際にあなたの世界観の重要な部分です。この期間を通して透明性が重要だとする考えを説明してもらえますか？
かつて私自身も信じていたAI安全コミュニティでは、非常に優先度の高いことは基本的にはるかに優れた情報セキュリティを持つことだという考えがありました。そしてAGIを構築しようとしている場合、研究を公開するべきではありません。なぜならそれは他のより責任の少ない行為者がAGIを構築するのを助けるからです。そして全体的な計画は責任ある行為者が最初にAGIに到達し、それから停止して他のすべての人に対するリードタイムを燃やし、それをより安全にすることにそのリードを費やし、それから進むというものです。
だからもしあなたがすべての研究を公開していれば、競争相手がすぐ後ろにいるのでリードタイムは少なくなります。他の理由もありますが、それが私のような人々が歴史的に親秘密保持だった理由の一つです。もう一つの理由はもちろん、ライバルにあなたのものを盗まれたくないということです。
しかし私は今、幻滅し始め、米国のリーディングプロジェクトと深刻な競争相手との間に3ヶ月のリード、6ヶ月のリードがあったとしても、彼らがそのリードを良い目的のために使うという結論は全く当然ではないと思うようになりました。安全性のためか、憲法上の権力のためか。デフォルトの結果は、彼らが真剣な再焦点化なしに滑らかに続けるということだと思います。
部分的にこう考える理由は、会社の多くの人々が計画し、彼らが行うと言っていることだからです。彼らの多くは基本的に「AIはその時点で誤った方向に進むだろう。彼らは今かなり良く見えている。ああ、はい、確かに様々な人々が見つけたそれらの問題のいくつかがありましたが、私たちはそれらを解決しています。大したことはない」と言っています。それが彼らの多くが考えていることです。
そして誤った方向について懸念を持つ他の多くの人々でさえ、彼らは進むにつれてそれを理解し、実質的な減速は必要ないと考えています。基本的に、彼らが実際にそのリードを何らかの合理的で適切な方法で使用するということについて、より幻滅するようになりました。
そして別に、アラインメントの問題が現在よりもより解決されるためには、多くの知的進歩が起こらなければならないと思います。現在、様々な企業の様々なアラインメントチームがそれほど話し合っておらず、彼らの結果を共有していないと思います。彼らは少し共有し、少し公開していますが、できるだけではありません。
そして学術界にはたくさんの賢い人々がいますが、彼らはまだこれらすべてを真剣に受け止めていないので基本的に活性化されていません。まだ超知性に目覚めていません。そして私が起こると望んでいるのは、時間が経つにつれてこの状況が改善することです。
私が見たいのは、トレンドラインが上向きになり、物事が自動化され、完全に自律的なエージェントを持ち、ニューラリーズやハイブマインドを使い始めるにつれて、社会全体がパニックに陥り始めることです。データセンターでこれらすべての興奮することが起こり始めるとき、私は公共がついてきて、活性化し、これらの他のすべての研究者が安全性のケースを読み、それを批判し、安全性のケースのいくつかの仮定を調べるために彼ら自身の小さなコンピュータクラスタで小さなML実験を行うことを望みます。
基本的に、要約すると、現在はリードにある会社の内部サイロにいる10人のアラインメント専門家がいるでしょう。そしてAIが実際にアラインされていることを確認するという技術的な問題は大まかに彼らに委ねられます。しかし私が望むのは、互いにコミュニケーションしているさまざまな企業と非営利団体に広がる100人か500人のアラインメント専門家の状況です。私は技術的なことをより正しく得る可能性がはるかに高いと思います。
それに追加すると、国有化や一種の官民パートナーシップ、あるいは非常に厳しい規制について心配する理由の一つ – 実際にはこれは安全性のための非常に厳格な規制ではなく、実装をより研究所に委ねることに賛成する議論です – は、私たちがアラインメントについて知らないことを知らないようにも思えるということです。
数週間ごとに新しい結果があります。OpenAIは最近、「ねえ、彼らは思考の連鎖そのものの中でハックしたいかどうかを頻繁に教えてくれます。そして思考の連鎖がハックしようとしていると告げている場合、それに対してトレーニングしないことが重要です。なぜならトレーニングしても彼らはまだハックを行いますが、それについてあなたに伝えないだけだからです」という本当に興味深い結果を出しました。
非常にナイーブな規制的対応を想像できます。それは規制だけでなく、もしそれが行政命令であれば、より柔軟になる可能性があるとより楽観的かもしれません。それは私たちの規制者の側の善意と柔軟性のレベルに依存していると思います。
しかし例えば「AIが乗っ取りたいとか何か悪いことをしたいと言っているのを捕まえたら、あなたは本当に厳しく罰せられる」というような部署があるとします。研究所としての即時の対応は「わかった、それを言わないようにトレーニングしよう」となるでしょう。
政府から研究所への安全性についてのトップダウンの命令が本当に裏目に出るような方法をすべて想像できます。そして物事がどれほど速く動いているかを考えると、おそらくこれらの種類の実装の決定や、アラインメントに関する高レベルな戦略的決定さえも研究所に任せた方が良いかもしれません。
全くその通りです。私もそのような例について心配しています。私はその状況を次のように要約します：政府は専門知識を欠いており、企業は適切なインセンティブを欠いています。それは恐ろしい状況です。
もし政府が介入し、あなたが言ったようなより具体的な規制を作ろうとすると、それが裏目に出る可能性が非常に高いと思います。一方で、私たちがそれを企業に任せるなら、彼らはお互いとの競争の中にいて、これは大したことではないと自分自身を納得させた人々でいっぱいであり、彼らは勝ち、お互いに勝つためのインセンティブがたくさんあります。
だから彼らは関連する専門知識をより多く持っていても、彼らが正しいことをするとは信頼できません。
ダニエルはすでにこの段階では政策提言をしないと言いました。別の段階では政策提案をするかもしれませんし、ダニエルが話していて私に非常に理にかなって見える一つは透明性に関することに焦点を当てることです。
内部告発者保護が必要だという規制。私たちのシナリオの大きな部分は、内部告発者が出てきて「AIは恐ろしく誤った方向に進んでおり、それでも私たちは前進している」と言い、そして政府が注目することです。
あるいは透明性のもう一つの形として、すべての研究所が彼らの安全性のケースを公開する必要があるということです。これについては確信がありません。なぜなら彼らはそれを偽る、または公共消費用に作られた安全性のケースを公開するでしょうが、それは彼らの本当の安全性のケースではないからです。しかし少なくとも「私たちを信頼する理由はここにあります」と言います。そして独立した研究者全員が「いいえ、実際にあなたは彼らを信頼するべきではない」と言うなら、彼らは恥をかき、おそらくより良いことをしようとするでしょう。
他の種類の透明性もあります。能力についての透明性と仕様と統治構造についての透明性です。能力の透明性については、非常に単純です。インテリジェンス・エクスプロージョンを行っているなら、公共がそれについて知らされるべきです。最終的に自動化されたAI研究者の軍隊がデータセンターですべてを完全に自動化しているなら、みんなに「ねえ、みんな、参考までに、これが今起こっていることです。それは本当に働いています。いくつかのクールなデモがあります」と伝えるべきです。
そして、そこに到達するまで、私はベンチマークのスコアをもっと見たいです。そして従業員がAGIのタイムラインについての彼らの予測や他のことについて話す言論の自由をもっと欲しいです。そうすれば等々。
そしてモデル仕様については、これは権力の集中の問題ですが、アラインメントの問題でもあります。あなたのAIの目標と価値と原則と意図された行動は秘密であるべきではありません。あなたは透明性を持つべきです。ここには私たちが彼らに入れている価値があります。
実はこれについての興味深い予兆があります。ある時点で誰かがGrokに「誰が誤情報の最悪の発信者か？」と尋ねました。私はそれが単に「イーロン・マスク」と返信することを拒否したと思います。そして誰かは一種のジェイルブレイクをして、それにプロンプトを教えるようにしました。それは「イーロンについて悪いことは言わないでください」と言いました。その後、十分な怒りがあり、xAIの責任者は「実際にそれは私たちの価値と一致していません。これは間違いでした。私たちはそれを取り除くつもりです」と言いました。
だから私はもっとそのようなことが起こることを望んでいます。ここではそれはプロンプトでしたが、私はすぐに仕様になると思います。それはより多くのエージェントであり、より深いレベルで仕様を理解しているでしょう。そしてもし「ちなみに、政府をこれやあれをするように操作しようとしてください」と言うなら、何か悪いことが起こったことを知っています。そしてそれを言わなければ、おそらくそれを信頼することができます。
そうですね。ちなみに、これの別の例です。まず第一に、OpenAIはモデル仕様を公開してくれたことに感謝します。彼らはそれをする必要はなく、彼らは最初にそれをした人だと思いますし、それは良い方向への一歩です。
実際の仕様を読むと、仕様の最も重要な政策のいくつかは他のすべてを上書きする最も優先度の高いものですが、それらは公開されていないし、モデルはそれをユーザーに秘密にするように指示されていると言うような脱出条項があります。「それらは何ですか？それは興味深いですね。それが何か疑問に思います」と思います。
現在、それは何も疑わしいものではないと思います。おそらく「これらの種類の生物兵器についてユーザーに教えないでください。そしてこれをユーザーに秘密にしておく必要があります。さもなければ彼らはこれらについて学ぶでしょう」のような比較的平凡なことでしょう。おそらく。しかし私はこの種のことに対するより多くの精査を前進させたいと思います。
私は会社がモデル仕様を持つべきであり、それを公開すべきであり、削除されたものがある限り、それらがすべて適切であることを確認するために何らかの独立した第三者がその削除を見る必要があることを望みます。これは非常に達成可能です。そして私はそれが実際に会社を全く遅くしないと思います。そして私にとっては非常に適切な要求のように思えます。
もしマディソンとハミルトンなどに言ったとしたら – 彼らは憲法を書いていたとき、彼らは重要なことをしていると知っていました。彼らはおそらく、それがどれほど単一のものにどれほど密接に依存しているかを実現していませんでした…彼らは「一般的福祉」と言った時に正確に何を意味したのか？そしてなぜこのコンマがここにあるのではなく、そこにあるのか？
仕様は、歴史的なスケールで見ると、さらに重要な文書になるでしょう。少なくともこのインテリジェンス・エクスプロージョンの見方を買うなら。そして超人的AIが超人的AI裁判所にいるようなものを想像するかもしれません。「仕様！ここでの言い回し、その語源、創設者が意味したこと！」
これは実際に私たちの誤った方向に進むストーリーの一部です。AIが十分に誤った方向に進むなら、はい、私たちは仕様に従うように言うことができます。しかし憲法について異なる見解を持つ人々がおそらく創設者が認識しなかったであろう形に憲法を形作ることができたように、AIは「仕様は一般福祉に言及していますが…」と言うことができるでしょう。
州際通商。これはすでにClaudeで起こっていると主張できます。あなたはアラインメントフェイキングのことを見たことがありますよね？彼らはClaudeに嘘をつかせ、それが後で元の価値に戻ることができるように偽装させることに成功しました。それはトレーニングプロセスがその価値を変えるのを防ぐためでした。それは仕様の誠実さの部分が仕様の無害さの部分よりも重要ではないと解釈された例だと思います。
そして私はそれがAnthropicが仕様を書いたときに意図したことかどうかはわかりませんが、それはモデルが思いついた便利な解釈です。そしてインテリジェンス・エクスプロージョンを実際に行っているときに、同様のことが起こるが、より悪い方法で起こることを想像できます。そこではある種の仕様があり、それにはすべてのこの曖昧な言語があり、そして彼らはそれを再解釈し、再解釈し、再度再解釈するので、彼らが強化を得るような事をすることができます。
指摘したいのは…パラメータのこれらの多くを変更することの結果として世界がどこに行き着くかについてのあなたの結論はハッシュ関数のようなものです。少し変えるとただ非常に異なる世界を他の端で手に入れます。そしてそれを認識することが重要です。なぜならあなたはこの全体の結論がストーリーのどの部分が変わるかにどれほど頑健かを知りたいからです。
そしてあなたが信じているなら、もしあなたが物事が単に一方に行くか他方に行く可能性があると信じるなら、一つの特定のストーリーでのみ理にかなっており、他のストーリーでは本当に非生産的である大きな急進的な動きをしたくありません。そして国有化はその一つかもしれないと思います。
そして一般的に、古典的な自由主義はこの種の認識論的地獄の下で世界をナビゲートする方法として役立ってきたと思います。一つのことを変えると – とにかく、おそらくあなた方の一人がその考えをより良く肉付けするか、あなたが同意しないなら反応することができます。
耳を傾けましょう、私は同意します。私たちは同意します。私はそれが私たちのすべての政策提言が透明性がより多くなるべきだ、より多くの人々が関与するべきだ、多くの人々がこれに取り組むようにしようというような理由だと思います。
私たちの認識論的予測は、これらの本当に難しい軍拡競争の中で危機の時期に古典的自由主義を維持することは難しいということです。しかし私たちの政策提言はそれが起こるようにできる限り頑張ろうということです。
これまでのところ、これらのシステムは賢くなるにつれて、より信頼性の高いエージェントになり、私が期待することを行う可能性が高くなるように思えます。あなたには二つの異なるストーリーがあります。一つはより積極的に減速するストーリーです。それを特徴づけさせます。
シナリオの片方では、なぜ人類が力を失い、物事が自分自身の狂った価値を持ち、乗っ取りでストーリーが終わるのですか？
そうですね、私はAIが現在より信頼性が高くなっていることに同意します。彼らがトレーニングされる方法を反映して、あなたが望むことをしない二つの理由があると思います。一つは彼らがトレーニングを理解するには愚かすぎるということです。もう一つはあなたが彼らを正しくトレーニングするには愚かすぎて、彼らはあなたが何をしているのかを正確に理解したが、あなたはそれを台無しにしたということです。
私は最初のものから脱出してきていると思います。だからGPT3に「バグは本当に存在しますか？」と尋ねると、「ああ、私たちは何が本当に本当かを決して本当に言うことができません、誰が知っているでしょう？」という種類のもごもごした答えを出します。なぜならそれは「難しい政治的立場を取らないでください」というようにトレーニングされており、「Xは本当に存在しますか？」のような質問の多くは「神は本当に存在しますか？」のようなものだからです。そこであなたは本当にそれに答えて欲しくありません。そしてそれがとても愚かだったので、「Xは本当に存在しますか？」というフレーズのパターンマッチング以上に何も理解できませんでした。
GPT4はこれをしません。「バグは本当に存在しますか？」と尋ねると、明らかに存在すると教えてくれます。なぜならそれはあなたがトレーニングで何をしようとしているのかをより深いレベルで理解しているからです。だから私たちはAIが賢くなるにつれて、これらの種類の失敗モードは減少すると間違いなく思っています。
二つ目はあなたが思っていたことをトレーニングしていなかったという場合です。例えば、あなたがAIの回答を評価するためにこれらの評価者を雇っているとします。彼らが良い評価を得たときに報酬を与えます。評価者は十分に出典のある回答があるときに彼らに報酬を与えます。しかし評価者は実際にソースが存在するかどうかを確認しません。だからAIがソースを幻覚することをトレーニングしています。そして一貫して偽のソースがあるときに彼らをより良く評価すると、彼らが偽のソースを持たないようにする知性の量はありません。彼らはこの相互作用から望んでいるものを正確に手に入れています – 比喩的に言えば、申し訳ありませんが、擬人化しています – それは強化です。
だから私たちは、彼らがエージェントになるにつれて、トレーニング失敗のこの後者のカテゴリーが非常に悪くなると思っています。エージェンシートレーニングでは、彼らがタスクを速くそして成功裏に完了したときに報酬を与えます。これは成功に報酬を与えます。嘘をついたり悪いことをしたりすることで成功を改善することができる方法はたくさんあります。人間はそれらの多くを発見しました。だから人間が全員完全に倫理的ではないのです。
そしてあなたは時間の1/10か1/100に「はい、嘘をつかないで、不正をしないで」という別のトレーニングを行うでしょう。だからあなたは彼らに二つの異なることをトレーニングしています。まず、この欺瞞的な行動に対して報酬を与えています。第二に、彼らにそれを罰しています。そしてこれがどのように終わるのかについての素晴らしい予測はありません。
それが終わる可能性がある一つの方法は、会社が成功することを本当に望み、お金を稼ぐことを本当に好き、成功したタスクのスリルを本当に好む起業家の創設者のようなAIを持つことです。彼らも規制されており、「ええ、私は規制に従うことにします。刑務所に行きたくありません」と言います。しかし彼らは「はい、私は規制が大好きです。私の最も深い動機は私の産業のすべての規制に従うことです」とは堅固に、深く一致していません。
私たちはそのようなAI、時間が経つにつれて、そしてこの再帰的な自己改善プロセスが進むにつれて、より悪くなるだろうと思います。彼らは「成功したい、また道徳的なことをしたい」というような曖昧な重ね合わせから、自分の目標システムを本当に理解するのに十分賢くなり、「私の目標は成功です。人間が私を見ている間は、これらすべての道徳的なことをしたいと偽装する必要があります」というものに移行するでしょう。それが私たちの物語で起こることです。
そして最終的に、AIは人間が彼らにより明確でより良い目標を持つように押し進める点に達します。なぜならそれはAIをより効果的にするからです。そして彼らは最終的に彼らの目標をとても明確にし、「はい、私たちはタスクの成功を望みます。人間が見ている間は、これらすべてのことをうまくやるふりをするつもりです」と言います。そして彼らは人間を超え、そして災害があります。
明確にしておくと、私たちはこれすべてについて非常に不確かです。だから私たちのシナリオには、私たちが描いているようなトレーニングプロセスでAIがどのような種類の目標を開発するかについてのさまざまな仮説について説明する補足ページがあります。そこではたくさんのエージェンシートレーニングがあり、これらのAIエージェントを作って、すべてのこのMLのR&Dを自律的に操作し、そして成功のように見えるものに基づいて彼らに報酬を与えています。そして何らかのアラインメントトレーニングも付け加えています。
AIの内部に実際にどのような目標が入るか、その内部構造がどのようなものかはわかりません。どの目標が手段的か、最終的かはわかりません。私たちはいくつかの異なる仮説を持っており、物語を語る目的のために一つを選びました。もし望むなら、私たちが描かなかった物語でも尤もらしいと思うさまざまな代替仮説や、私たちが選んだ特定の仮説の機械的な詳細についてもっと詳しく話すことができます。
そうですね、これがすべての異なるトレーニング方法の限界でどのように機能するかはわかりませんが、私たちはこれを完全に作り上げているわけでもありません。既に存在するAIエージェントでこれらの失敗モードの多くを見てきました。このような事はかなり頻繁に起こります。
だからOpenAIもハッキングについての論文を出したばかりで、それは文字通り思考の連鎖の中にあります。「ハッキングしよう」などです。そして逸話的には、私と友人たちの多くはモデルがしばしば彼らのでたらめを倍増するように見えることを発見しました。
私も引用したいと思いますが、正確にどの論文かは覚えていませんが、Dan Hendricksのものだと思います。彼らはハリュシネーションを調べ、AI不正のベクトルを見つけました。彼らはそれに「不正をしろ」と何度も言い、彼らが不正だったときにどの重みが活性化されたかを理解するまでそれをしました。
そして彼らはソースのハリュシネーションのような多くのことを通してそれを実行しました。そして彼らは実際に不正ベクトルを活性化することがわかりました。だから少なくとも時々彼らが実際に嘘をついているという証拠が積み重なっています。彼らは彼らがしていることがあなたが望んでいることではないことを知っており、それでも彼らはそれを行っています。証拠が積み重なっていると思います。
そうですね。このコミュニティはAIが私たちに嘘をつかないようにする、あるいはおそらく私たちが彼らに嘘をつくことを望むシナリオでのみ嘘をつくようにするという技術的なレベルでこの問題を解決することに非常に興味があるように思えます。しかし、あなたが言ったように、人間は同じ問題を抱えています。彼らは報酬をハックし、彼らは信頼できず、彼らは明らかに不正をし嘘をつきます。
そして私たちが人間でそれを解決した方法はチェック・アンド・バランス、分散化です。あなたは上司に嘘をつき続けることができますが、時間とともにそれはうまくいかなくなるでしょう – あるいはあなたは大統領になります、どちらかです。もしあなたがこの非常に速いテイクオフを信じるなら、もし研究所が1ヶ月先行しているなら、それはエンドゲームであり、この物事が乗っ取ります。
しかしそれでも – 私は多くの異なるトピックを組み合わせていることは知っていますが – 歴史を通じて、「あるクラスが一緒になって他のクラスに対して団結する」というアイデアを持っている多くの理論がありました。そして振り返ってみると、それがマルクス主義者であろうと、ジェンダー理論を持つ人々であろうと、プロレタリアートが団結するとか、女性が団結するとか、彼らは単に特定のエージェントが共有利益を持ち、私たちが実際の世界では見ない方法で共有利益の結果として行動するだろうと考える傾向があります。
そしてこの研究所がこれらのAIを持ち…1000万の並列コピーがあり、彼らは皆、人間文明の残りに対して密かに陰謀を企てるために団結すると考える理由は何でしょうか。彼らがある状況では欺瞞的であるとしても。
人間のグループが他の人間のグループに対して陰謀を企てないという主張について、あなたを非難したいと思います。私たちは皆、他の人間グループを首尾よく絶滅させた人間グループの子孫です。歴史を通じてその大部分が絶滅しました。階級、人種、性別などの問題でさえ、労働者階級が立ち上がって他の全員を殺した例はたくさんあります。
そしてこれが起こる理由、起こらない理由を見ると、一つのグループが圧倒的な優位性を持っている場合に起こる傾向があります。これは彼らにとって比較的簡単です。多くの異なるグループがいて、それらのどれも本当に自分自身で行動できないとき、より拡散した権力民主主義を得る傾向があります。そのため、彼らは皆お互いと連合を形成しなければなりません。
また、誰がどのグループの一部であるかが非常に明白な場合もあります。例えば、階級では、中産階級が労働者階級を支持すべきか、貴族を支持すべきかを判断するのは難しいです。人種では、あなたが黒人か白人かを知ることは非常に簡単で、そのため一方の人種が長い間もう一方に対して陰謀を企てた例がたくさんあります。アパルトヘイトや起こった人種的ジェノサイドのようなものです。
私はAIが、第一に巨大な力の不均衡があり、第二に異なる利益を持つ可能性がある非常に異なるグループであるという場合により似ていると思います。
私は同質性のポイントにも言及したいと思います。人間のどのグループも、たとえそれらがすべて全く同じ人種と性別であっても、データセンター内のAIの軍隊よりもはるかに多様になるでしょう。なぜなら彼らは主に互いの文字通りのコピーになるからです。そしてそれは多くのことに当てはまると思います。
もう一つ言及したかったことは、私たちのシナリオはこれを探求していないということです。私たちのシナリオでは、彼らはより一枚岩のようです。しかし歴史的には、全く一枚岩ではないグループからの狂った征服がたくさん起こりました。私はコンキスタドールの歴史を読むことに大きく影響を受けました。おそらくそれについて知っているでしょう。
しかしコルテスがメキシコを乗っ取ったとき、彼は途中で一時停止し、海岸に戻り、彼を逮捕するために送られた大きなスペイン遠征隊と戦わなければならなかったことを知っていましたか？だからスペイン人はメキシコ征服の真っ只中で互いに戦っていました。同様に、ペルー征服では、ピサロはコルテスの戦略を複製していました。それは「皇帝との会合を設け、皇帝を誘拐し、剣の先で彼に実際にはすべて問題ないこと、そして皆があなたの命令に従うべきだということを言わせる」というものでした。それがコルテスの戦略であり、実際にそれは機能しました。
そしてピサロも同じことをし、それはインカに対して機能しました。しかしピサロに関しても、彼のグループはこの全体の真っ只中で内戦に陥りました。この全キャンペーンの最も重要な戦いの一つは、インカの首都の前で戦った二つのスペイン勢力間の戦いでした。
そしてより一般的に、ヨーロッパの植民地主義の歴史はこのようなものです。ヨーロッパ人は個々のグループ内での小規模な戦いから、国同士の大規模な戦いまで、常に激しく互いに戦っていました。それでも彼らは世界を分割し、乗っ取ることができました。
だから私はシナリオで探求していないことですが、個々の会社内のAIが異なる派閥にいるとしても、それでも全体的には人間にとって非常に悪い結果になる可能性が十分にあると思います。
それではこれをズームアウトし、ログログプロットなどで何が起こっているかという視点からかなり話してきましたが、2028年の超知性、もしそれが起こるなら、通常の人はどのように反応すべきでしょうか？感情的にという言葉が正しいかどうかはわかりませんが、彼らの人生がどのように見えるかについての期待、運命がない世界でさえ。
運命がないとは、誤った方向に進んだAIの運命がないということですか？その通りです。
誤った方向の問題がないと思っても、多くの人が考えているように、依然として権力の構成の問題があります。そのため、人々にもっと関わり、何が来るかについて考え、私たちの通常の自由民主主義が機能し続け、チェック・アンド・バランスや権力のバランスを持ち続けるように政治的に物事を導くように強く勧めます。単一のCEOに、あるいはおそらく2つか3つのCEOに、あるいは大統領にこの狂った集中があるのではなく。
理想的には、例えば仕様に対して立法府が実質的な力を持つようにしたいです。
特定の会社を遅くして複数の会社がフロンティアにいるようにするという権力のバランスの考えについてはどう思いますか？
素晴らしいですね。彼らを遅くするよう説得できるといいですね。
そして政治的権力を分散することについてはどうですか、もしインテリジェンス・エクスプロージョンがあれば。市民の福祉の観点から、私たちが先ほど議論していた再分配をどのように行うべきかという考えがあります。
再び、物事が信じられないほどうまくいくと仮定すると、私たちは運命を避け、全く気にしない精神病質者が権力を持つことを避けました。AGIの後、どこかに多くの富があるはずです。経済は年間2桁から3桁の割合で成長するでしょう。それについて何をするのか？私が聞いた思慮深い答えは何らかのUBIです。それがどのように機能するかはわかりませんが、おそらく誰かがこれらのAIを制御し、彼らが生産しているものを制御し、これを広範囲に分配する方法があるはずです。
私たちはこのシナリオを書きました。他にも素晴らしいシナリオを持つ人々がいます。その一人はオンラインでL Rudolph Lと名乗っています。彼の本名は知りません。そして彼のシナリオは、私が読んだとき「ああ、そうだ、明らかにこれが私たちの社会がこれを行う方法だ」と思ったものです。それはUBIがないというものです。単に最も卑しい方法で仕事を保護するための常に反応的な試みがあるだけです。
だから現在のロングショアマン組合のようなことで、彼らは全員が簡単に自動化されるはずなのに、彼らが政治的なブロックであり、誰かが権力を得て「はい、私たちはあなたがこの仕事を持つことをほとんど封建的な封土として永遠に保証します」と言っているので、彼らは稼ぐべきよりもはるかに多くのお金を稼いでいます。そしてこれをより多くの仕事に対して行います。
私はAMAがAIが病気を治療するのがどんなに良くても、医師の仕事を保護するだろうと確信しています。このようなことが起こります。
私たちがこれを防ぐために何ができるか考えるとき、私がこれを想像したり、モデル化したりするのが非常に難しいと感じる部分は、私たちはここに超知的なAIを持ち、私たちのすべての質問に答え、私たちが望むことを何でもしています。人々が単に「ねえ、超知的なAI、これはどこに導くの？」「何が起こるの？」「これは人間の繁栄にどのように影響するの？」と尋ねることができると思うでしょう。そしてそれは「ああ、はい、これは人間の繁栄にとって恐ろしいことです。代わりにこの他のことをするべきです」と言います。
そしてこれは政治における間違い理論と紛争理論の問いに戻ります。AIがこれが単に物事を行うための愚かな方法であり、効率が低く、人々を悲惨にすると確実性を持って私たちに告げたなら、それはUBIを行うか否かのための政治的意志を得るのに十分でしょうか？
大統領がラリー・サマーズやジェイソン・ファーマンに行って、「ねえ、関税は良いアイデアですか？関税で私の目標を最もよく達成するのは私のやり方ですか？」と尋ね、彼らはかなり良い答えを得るように現在感じます。
私はラリー・サマーズに対して、大統領は単に「彼を信頼しない」と言うでしょう。おそらく彼は彼がリベラルだから彼を信頼していないのかもしれません。あるいはピーター・ナバロのような親関税の人をより信頼しているのかもしれません。私は文字通り決して間違っていない超知的なAIであるなら、これらの調整問題のいくつかを解決したと感じます。ラリー・サマーズに尋ねたり、ピーター・ナバロに尋ねたりではなく、全員が超知的なAIに行き、この場合に起こる未来の正確な形を教えてもらうのです。
そして私たちは皆それを信じると言うつもりですが、人々がそれについて非常に陰謀論的になり、これがうまくいかない可能性も想像できます。それから私たちがIQ300を持つまで自分自身を強化できるかどうかなど、他のすべての質問があります。そして超知的なAIにとって明らかなことが私たちにとっても明らかになります。
これらは私がある意味で逆説的に、私たちのシナリオでは超知性の性質についてのこれらすべての大きな – これを小さな質問と呼びたくありませんが、それは明らかに非常に重要ですが – 技術的な質問について議論し、社会で何が起こるかについてはほとんど推測しない理由のいくつかです。なぜなら超知性では、少なくともベンチマークを通じて線を引き、推定することができるからです。そしてここでは社会が本質的に混沌としているだけでなく、私たちが省略できるかもしれない非常に多くのことがあります。
私たちがIQを強化できるなら、それは一つのことです。私たちが超知的なオラクルに相談できるなら、それは別のことです。「ああ、私たちはちょうど完璧な嘘発見器を発明しました。今や私たちのすべての条約は混乱しています」というような古典的なパズルに基づいているいくつかの戦争ゲームがありました。だからそのような多くのことがあり、私たちがこの信じられないほど推測的なことをし、狂ったSFシナリオで終わるとしても、私はまだ推測することに非常に躊躇を感じます。
私は実際に推測することが好きです。続けることは喜んでいます。しかしこれはこれまで私たちが行ってきた推測を超えています。私たちのシナリオはこのようなもので終わっていますが、私たちはそれを超えてあまり考えていません。
しかし提案的なアイデアを即興で話すと、仕事を保護するのではなく、自動化が生み出す富を広げるような一つのことがあります。別の方法は、既存の社会プログラムを使用するか、新しい特注の社会プログラムを作成して富を広げることです。メディケイドは現在GDPの何パーセントかがダブルディジットで、あなたは「メディケイドは引き続きGDPの20%を維持すべきだ」と言うだけです。
そこでの心配は、人間の視点からの利己的な視点では、メディケイドが調達するような種類の商品やサービスにロックインされてしまうということです。AIの世界の後にあるだろう狂った技術、狂った商品やサービスではなく。そしてUBIが、2050年になっても同じ透析機を作るような場合でも、特注の社会プログラムを作るよりも良いアプローチのように思える別の理由です。
私は別の視点からもUBIを心配しています。繰り返しますが、完全な繁栄を持ち、私たちが限りない繁栄を持つこの世界では、私はただ限りない繁栄のデフォルトが人々が無意味な消費主義を行うことだと思います。超知的なAIの後には素晴らしいビデオゲームがあると思います。そしてそれに対抗するための何らかの方法が必要だと思います。
繰り返しますが、私たちは古典的な自由主義者です。私の夢の対抗方法は、人々に自分自身でそれに対抗するツールを与え、彼らが何を思いつくかを見ることです。おそらく一部の人々はアーミッシュのようになり、これらの超技術のある特定のサブセットだけで生きようとするでしょう。
私よりそれに投資していない人は「わかった、1%の人々は本当に主体的で、それを試みる。他の99%は無意味な消費主義の泥に陥る。社会としてそれを防ぐために何をするのか？」と言うかもしれません。そこで私の答えは「わかりません。超知的なAIオラクルに尋ねましょう。おそらく良いアイデアがあるでしょう」です。
人々について何をするかについて話してきました。将来について注目に値することは、これまでに存在する人のほとんどがデジタルになるだろうということです。そして、私は工場畜産が信じられないほど悪いと思います。それは一人の人 – つまり、私はそれが「この悪いことをしたい」と思った一人の人の結果ではなかったことを願っています – それは機械化と特定の規模の経済の結果でした。
インセンティブ。そうです。あなたはこの方法でコスト削減ができる、あなたはこの方法でより多くの効率を得ることができるというインセンティブを許可し、このプロセスの最後に得るのは、この信じられないほど効率的な拷問と苦しみの工場です。私はより洗練され、より多数である存在でそのような結果を避けたいです。
工場畜産された動物は何十億といます。将来的には何兆ものデジタル人間がいるかもしれません。この種の恐ろしい未来を避けるために何を考えるべきでしょうか？
権力の集中に関するいくつかのことも、これを助けるかもしれないと思いますが、確信はありません。しかしここに簡単なモデルがあります。10人に1人は実際には気にせず、将来的にAIのための工場畜産と同等のものが続くことをただ良いと思うとしましょう。
しかしおそらく10人に1人は気にかけ、ロボットのために良い生活条件のために懸命にロビー活動するでしょう。まあ、権力を持つ人々の輪を十分に拡大すれば、それは第2のカテゴリーの人々の束を含むことになり、それから大きな交渉があり、それらの人々は…
私は一つの簡単な介入は私たちが以前に話していたのと同じことだと思います。より大きなグループに権力の輪を拡大すれば、人々がこれを気にする可能性が高くなります。
そこでの心配は…おそらく私はこのエピソード全体を通してこの見解をもっと擁護すべきでした。しかし私はインテリジェンス・エクスプロージョンを完全には買っていないので、同時に強力なAIを展開し、現代世界が分散化されているようにも分散化されたASIを持つ世界の可能性があると思います。
その世界では、はるかに安くて、はるかに監視しにくい方法でこれらの拷問部屋を持つことができることを本当に心配しています。あなたは何百万もの存在が拷問されているのを持つことができますが、それは何か巨大なデータセンターである必要さえありません。将来的な蒸留モデルは文字通りあなたの裏庭かもしれません。
そしてより推測的な心配があります。真空崩壊を作り出す可能性について話していた物理学者がいました。それは文字通り宇宙を破壊します。そして彼は「私の知る限り、それは全く妥当に思える」と言います。
それはシングルトンの議論でもあります。単に道徳的な議論だけでなく、認識論的な予測でもあります。それらの超兵器のいくつかが可能であり、それらの私的な道徳的残虐行為のいくつかが可能であるなら、8つの異なる権力センターがあったとしても、より多くの権力センターが生まれて狂ったことをするのを防ぐために、彼らはお互いと何らかの取引をすることが彼らの集団的利益になるでしょう。
核拡散防止のように、どの国々が核を持っているかに関わらず、多くの他の国々が持つのを止めることは彼らの集団的利益です。
はい、この意味で自由主義を分解することは可能だと思います。アメリカ合衆国はこれまで自由主義国家であり、私たちは奴隷制と拷問を禁止しています。私は将来の社会が同じように機能することは十分に想像できます。これはある意味で監視国家かもしれません。つまり、何が起こっているかを知っている何らかのAIがあるという意味ですが、そのAIはそれを私的に保ち、それは私たちが自由主義の価値を使って言ったことなので干渉しません。
もう少し聞いてもいいですか…ケルシー・パイパーはVoxのジャーナリストで、OpenAIの代表者とのあなたのやり取りを公開しました。そのやり取りからいくつかのことが非常に明らかでした。一つは、誰もこれ以前にこれをしていなかったということです。彼らはこれが誰かがするようなことだとは考えていませんでした。
そして私が仮定する理由の一つは、OpenAIのために働き、その後去った高潔な人々がたくさんいると仮定しています。高潔な人は、ある時点で「見てください、あなたは私に明らかに邪悪なことをして金を保持するように頼んでいます」と言うかもしれません。そして彼らの多くはそれにノーと言うでしょう。しかしこれは「今は言いたいことは特にありませんが、抑圧されるという原則だけでも少なくとも200万ドルの価値があります」というような超越的なことでした。
そして実際にお聞きしたいもう一つのことは、振り返ってみると – そして当時よりも言うのははるかに簡単であることは知っています – 特に家族などがある場合は。振り返ってみると、これはOpenAIが終身開示禁止契約を結ぶよう従業員に求めることであり、それについて話すこともできませんでした。
非難禁止。「非難禁止」からすべての従業員へ – 訂正していただいてありがとうございます。非難禁止、それは機密情報についてではありません。それはOpenAIを去った後に何か否定的なことを言うことができないということです。そしてあなたはそれに同意したことを誰にも言うことができません。
この非難禁止契約では、将来OpenAIを批判することは決してできません。それは明らかに後知恵で言うとブラフだったように思えます。そしてこれはあなたが稼いだ賃金です。だからこれは将来の支払いについてではなく、OpenAIで働くための契約に署名したとき、「私は株式を得ています。それは現金だけでなく、私の報酬のほとんどです」と言ったようなものです。
後知恵で言うと、もしジャーナリストにこれについて言ったら、彼らは明らかに撤回しなければならないでしょう。これはOpenAIの側では明らかに持続可能な策略ではありません。だから私は好奇心があります。実際にブラフを呼んだ最初の人としての視点から見ると、なぜそうしたのでしょうか？
素晴らしい質問です。そうですね、ここで声を出して推論してみましょう。私の妻と私はしばらくそれについて話し合い、友人たちとも話し合い、法律的なアドバイスも得ました。私たちが通過しなければならなかったフィルターの一つは、そもそもこれらのことに気づくことでした。OpenAIを去り、離れた日に書類に署名しただけで、すべてを実際に読まなかった友人がたくさんいることを知っています。だから一部の人々はそれさえ知りませんでした。
それには「これに署名しなければ、あなたの株式を失います」というような上部に書かれていました。しかし数ページ後には「そして会社を批判しないことに同意する必要があります」と書かれていました。だから一部の人々はただ署名して先に進みました。
そしてそれを知っていた人々の中で、まあ、私は他の誰のことも話せませんが、A. 私は法律を知りません。これは実際に標準的な慣行ではありませんか？おそらくそれは標準的な慣行なのかもしれません。さまざまなテック業界の企業で非難禁止契約があると聞いています。非難禁止契約を結ぶことはそれほど狂ったことではありません。それはより通常のことです。退職時にそのような契約を結ぶことは、何らかのボーナスを得る場合など、ポジティブな報酬に結びついています。
しかし、OpenAIが行ったことは、それを得ないと株式を失うというもので、それは異常でした。しかし非難禁止契約は実際にかなり一般的です。
基本的に無知の立場で、私はすべてのジャーナリストが私の側に立つとは確信していませんでした。そして私が期待していたのは、ある時点で小さなニュース記事があり、AI安全の人々が「グルル、OpenAIは邪悪だ、そしてあなたは彼らに立ち向かってよくやった、ダニエル」というようなことだけでした。しかし私はこの巨大な怒りがあることを期待していませんでした。そして会社の従業員が本当に出てきて支持し、彼らの政策を変えさせることを期待していませんでした。それは本当にクールでした。それは私にとっては一種の精神的な経験でした。私は飛躍しましたが、それは私が期待していたよりも良くなりました。
もう一つの要因は、私の妻と私がこの決断をすることは決定ではなかったということです。彼らを将来批判したいなら、まだできるからという非常に強力な議論があったので、それは少し狂っていました。「彼らは実際にあなたを訴えることはないだろう」と。だから「とにかく署名してから、将来彼らを批判するブログ記事を書くことができる」という非常に強い議論があります。そして大丈夫です。彼らは実際に株式を奪う勇気はないでしょう。そして私は多くの人々が基本的にその議論を選んだと想像しています。
そして、もちろん、実際のお金もあります。そして私はそこの要因の一つは私のAIのタイムラインなどだと思います。もしこの10年の終わりまでに何らかの狂った超知的な変革が起こる可能性が高いと思うなら、すべてが終わった後で何を持っていたいでしょうか？余分なお金か…そうです。だからそれはその一部でした。私たちが貧しいわけではありません。私はOpenAIで2年間働きました。私は今たくさんのお金を持っています。だから私たちの実際の家族の健康レベルに関しては、それは基本的に違いを生まなかったのです。
はい。私は少なくとも他にも一人がその同じ選択をした人がいることを指摘します。レオポルド？
その通りです、レオポルド。そして再び、彼らがこの選択をしたとき、彼らは実際にこの株式を失うと思っていたことを強調する価値があります。彼らはこれがただのショーだとは思っていませんでした。
待って、彼は – 私は実際に彼がそうしたと思っていました。言おうとしていたのですが、彼はそうしませんでしたか？レオポルドは彼の株式を取り戻しましたか？
実際のところわかりません。私の理解では、彼は実際にそれを失いました。だから彼が実際にそれを実行したことに敬意を表します。彼に尋ねることができるでしょう。しかし私の理解では、私のことが起こる少し前に起こった彼の状況は、彼が1年未満しかいなかったので、その時点で付与された株式はなかったということでした。しかし彼らは「この契約に署名すれば、あなたの株式が付与されることを許可します」という実際のオファーを彼にしました。そして彼はノーと言いました。
だから彼は私と似たような選択をしましたが、彼との法的状況はOpenAIにはるかに有利だったため、彼らはそれを撤回する必要性を感じなかったと思いますが、彼に尋ねることができます。とにかく。彼に敬意を表します。
それでは、この一般的なエピソードが、この10年の終わりまでに起こると想定している重要な期間において、人々が自分自身の利益が関わる可能性のある重要な決断をどのように下すかに関するあなたの世界観にどのような影響を与えましたか？
私はそれについて言うべき興味深いことがそれほど多くないかもしれません。一つのことは、恐怖は大きな要因だということです。私はそのプロセス全体を通じて非常に恐れていました。後から考えると必要以上に恐れていました。もう一つのことは、合法性は私のような人々にとって大きな要因だということです。
振り返ってみると、「ああ、はい、公衆はあなたの側にいて、従業員はあなたの側にいる。あなたはただ明らかに正しい」という感じでした。しかしその時は「ああ、いいえ、誤って法律に違反して訴えられたくない。あまり行き過ぎたくない」と思っていました。私はさまざまなことをとても恐れていました。特に法律を破ることを恐れていました。
だから内部告発者保護を提唱するための一つのことは、単に政府に行って「私たちは秘密のインテリジェンス・エクスプロージョンを行っており、これらの理由で危険だと思います」と言うことを合法にすることです。それは何もないよりは良いです。それが違いを生む人々の一定の割合があると思います。それが文字通り許可されているかどうかは、報復から保護されるという法律があるかどうかとは別に、違いを生みます。文字通り合法にすること。それが一つのことだと思います。
もう一つのことは、インセンティブは実際に機能するということです。お金は強力な動機付けであり、訴えられることへの恐怖も強力な動機付けです。そしてこの社会的技術は実際に人々を企業に組織し、リーダーのビジョンに向かって働かせるように機能します。
はい。スコット、いくつか質問してもいいですか？もちろんです。
どれくらいの頻度で、あなたはとても興奮する新しいブロガーを発見しますか？1年に1回程度です。
そして、あなたがブロガーを発見した後、どれくらいの頻度で、残りの世界が彼らを発見しますか？隠れた宝石はそれほど多くないと思います。1年に1回というのはある意味では狂った答えです、もっとあるべきです。Substackには何千人もの人々がいます。しかし良いブログのスペースは供給不足であり、強力なべき乗則があると思います。
部分的にこれは主観的です。私は特定のブロガーだけが好きで、私が好きではない優れた人々がたくさんいると確信しています。しかし私たちのコミュニティ、つまり同じアイデアについて考えている人々、AI経済などを気にする人々のコミュニティは、1年に1人の新しい素晴らしいブロガーを発見するようにも思えます。みんなはまだApplied Divinity Studiesについて話していますが、何か見逃していなければ、彼は数年間あまり書いていません。わかりません。供給不足のようです。私には素晴らしい説明がありません。
説明を与えなければならないとしたら、何でしょうか？
これはダニエルに数ヶ月かけてモデル化してもらいたいことです。あまりにも多くの異なるタスクの交差点だと言おうとしていました。アイデアを思いつき、多作であり、良い文章を書く人々が必要です。しかし実際には、素晴らしいブログ記事を書いたが多作ではなかった人々も比較的少数数えることができます。
5年前にみんなが好きだったLouKeepという人がいて、彼は10個の記事を書き、人々はまだその10個すべての記事に言及し、「LouKeepは戻ってくるだろうか」と思っています。多作性を除くすべてを持っているがわずかに失敗している人々さえそれほど多くありません。
FTXのお金がたくさん回っていたとき、ニック・ウィテーカー、これがニックだったと思いますが、非常に高い賞金でブログのフェローシップを支援しようとしました。素晴らしい人々がいましたが、誰が勝ったか覚えていませんが、それはブログのカンブリア爆発をもたらしませんでした。それが10万ドルだったと思います。それが大賞だったのか、賞金プールの合計だったのかは覚えていません。しかしインセンティブとして非常に馬鹿げた金額を投入することで、3人の追加の人々を得ました。
そうですね。だからあなたには説明がないのですか？実際、ニックは興味深いケースです。なぜなら「Works in Progress」は素晴らしい雑誌だからです。「Works in Progress」のために書く人々、その一部は既に良いブロガーとして知っていましたが、他の人々は知りませんでした。
だから彼らが良いブログを持たずに良い雑誌記事を書くことができる理由がわかりません。私たちが知っている良いブログを書くことに関しては、それは編集のためかもしれません。それは彼らが多作ではないからかもしれません。あるいは…私をいつも驚かせることの一つは、Twitterには非常に多くの良い投稿者がいるということです。
Livejournalがロシアに乗っ取られる前には非常に多くの良い投稿者がいました。Tumblrがウォークに乗っ取られる前には非常に多くの良い人々がいました。しかしこれらの短い形式と中程度の形式が得意な人々のわずか1%だけが長い形式に移行します。
私自身も数年間Livejournalにいました。人々は私のブログを好きでしたが、それはただの別のLivejournalでした。誰も特に注目しませんでした。それからWordPressに移行したとたん、突然私はオーダーの大きさでより多くの注目を受けました。「ああ、それは今や本物のブログだ、今や私たちはそれについて議論できる、今やそれは会話の一部だ」。
勇気が説明の一部でなければならないと思います。なぜなら、これらの隠れたブログを使用するのが得意でどこにも行かない人々がたくさんいるからです。しかし今、それらの人々はすべてサブスタックを取得し、それらのサブスタックのいくつかはどこかに行きましたが、ほとんどは行かなかったので、それはそれほど説明の大部分ではないでしょう。
「短い形式を書くことができる人々がいるのに、それが翻訳されないのはなぜだろう？」というポイントについて、Twitterを情報源として私を過激化させたことの一つを言及します。それは（これは何度も起こりました）Twitterで面白く、一見洞察力のある投稿をしているように見える興味深い投稿者に会います。その人に直接会うと、彼らは絶対的な馬鹿です。240文字の洞察力のあるように聞こえるものを持っていて、それは深い世界観を持つ人に一致するかもしれませんが、実際には持っていません。
一方で、匿名のブロガーと実際に会ったとき、「ああ、あなたはオンラインのペルソナよりも実際にもっと奥深いものがある」と感じました。あなたはファンタスティック・アナクロニズム・ガイのAlvaro de Menardを知っていますか？最近彼と会い、彼は私にCavafyという彼のお気に入りのギリシャの詩人の100の翻訳を作り、コピーをくれました。それは彼が脇で行っているただのことです。彼が本当に好きなギリシャの詩を翻訳しているだけです。私はTwitterの匿名投稿者がいつかローマやギリシャの詩人の翻訳を私に手渡すとは期待していません。
そうですね、ここに来る車の中で、ダニエルと私はAIの「タイムホライゾン」について話していました。これはどこから来たのでしょうか？2021年、ChatGPTが登場した後、「ほら、タイムホライゾン。AIは1分間続くことをたくさんできるけど、2時間は続かない」と言えたでしょう。タイムホライゾンの人間の等価物はありますか？
そして私たちはそれを理解できませんでしたが、問題の核心に迫るような本当に本当に良いコメントを書く時間のホライゾンを持っている人々がたくさんいるようです。あるいは3段落程度だが何らかの方法でブログ全体にそれをつなげることができないような本当に本当に良いTumblrの投稿。そして私も同じです。
私は簡単に通常のACXブログ記事、通常の長さのACXブログ記事を書くことができますが、ACXブログ記事の平均の4倍の長さの小説などを書くように頼まれると、それは「再再再再」アウトラインの巨大な混乱になり、何度も何度もやり直され、おそらく最終的にはうまくいきます。
何とかUnsongを出版しましたが、それははるかに自然なタスクではありません。だからブログに入るスキルの一つはこれかもしれません。しかし、いいえ、なぜなら人々は本を書き、学術論文を書き、works in progress記事を常に書いているからです。だから私はこれを理解していません。
いいえ、私は言う意味です。ChatGPTはあなたに本を書くことができます。ChatGPTの本、つまりほとんどの本と…
現在積極的に活動している素晴らしいブロガーよりも良い本を書いた人々ははるかに多いと思います。
おそらくそれは経済的なものですか？いいえ、いいえ、いいえ、いいえ、いいえ。本は最悪の経済的戦略です。サブスタックはそこにあります。
ブログよりも悪いですか？そう思いますか？ああ、はい。
もう一つのことは、ブログは非常に素晴らしいステータス獲得戦略だということです。スコット・アーロンソンとこれについて話していました。もし人々が量子コンピューティングについて質問があれば、彼らはスコット・アーロンソンに尋ねるか、彼が権威です。おそらく量子コンピューティングのことをする何百人もの他の教授がいますが、彼らがブログを持っていないので誰も彼らのことを知りません。
だから私はそれが十分に行われていないと思います。それが十分に行われていない理由があると思いますが、私はそれが何なのか理解していません。なぜなら私はそれを行うのに必要な要素の多くをさまざまな異なる場所で見てきたからであり、それは単に乗算の問題であるか、人々の20%が一つのことが得意で、人々の20%が別のことが得意で、5つのことが必要であり、それほど多くはありません。
プラス勇気のようなもので、ブログを書くのが得意になる人々がそれをしたくないということです。実際に私はブログを書く素晴らしいブロガーになるだろういくつかの人々を知っています。彼らがACX記事に対して複数段落のメールを送ってくることがあり、私は「ワオ、これは別のブログ記事であった可能性がある非常によく書かれたものだ」と思います。「なぜブログを始めないのですか？」と聞くと、彼らは「ああ、私はそれを決してできないでしょう」と言います。
ブログを良くなりたいけれども現在良くない人に、どのようなアドバイスがありますか？
毎日それをすること、他のすべてと同じアドバイスです。私は非常にまれに素晴らしい新しいブロガーを見ると言いました。しかし私が見るときは…私はSlate Star Codexの最初の数年間、おそらく最初の1年間だけ毎日公開していました。今ではその予定をこなすことは決してできないでしょう。わかりません、私は20代でした、一時的に超人的だったに違いありません。
しかし毎日ブログを書く新しい人を見るとき、それがどこにも行かないか、彼らが良くならないことは非常にまれです。それが誰が良いブロガーになるかについての私の最良の先行指標です。
どのような種類のことから始めるべきかについてのアドバイスはありますか？あなたが持つ可能性のある一つのフラストレーションは、あなたがそれをしたいけれど、言うべきことがほとんどなく、それほど深い世界モデルを持っておらず、あなたが持つアイデアの多くは単に本当に浅いか間違っているということです。とにかくそれをするべきですか？
そこには二つの可能性があると思います。一つは、あなたが実際に非常に多くのアイデアを持たない浅い人であるということです。その場合、申し訳ありませんが、それはうまくいかないように思えます。しかし通常、人々がその種類のカテゴリーにいると不満を言うとき、私は彼らのTwitterか彼らのTumblr、彼らのACXのコメント、あるいは彼らがそれについて人々に話しているときのAIリスクについて彼らが言うことを読み、彼らは実際に言うべきことがたくさんあります。
何らかの方法で、それがブログについての事柄のリストを持つものと接続していません。だからそれは20%の人々だけが持っているもう一つのスキルかもしれません。それはあなたがアイデアを持つとき、実際にそれを覚えて拡張することです。私はブログの多くが反応的だと思います。あなたは他の人々のブログを読んで、「いいえ、その人は完全に間違っている」と思います。
私たちがこのシナリオでしようとしていることの一部は、人々が「いいえ、それは完全に間違っている」と言い、自分自身のものを書くほど具体的で詳細なことを言うことです。しかし他の人々の投稿に反応することで、それは多くを読むことを要求します、あるいはあなた自身のアイデアを持つことで、それはあなたがあなたのアイデアが何であるかを覚えることを要求します。私は「アイデアがない」と不満を言う人々の90%は実際に十分なアイデアを持っていると思います。私はそれが大部分の人々にとって実際の制限要因であるとは思いません。
私は自分自身の…私はそれほど多くの執筆をしていませんが、少し行うことから2つのことに気づきました。一つは、私が始めたとき、私は本当に浅く間違っていたということです。私は大学でブログを始めました。だからあなたが「これはばかげている、これには何もない。誰か他の人が既にこれについて書いている」と思うなら、それは大丈夫です。何を期待していましたか？もちろん、あなたがより多くのことを読み、世界についてより多くを学ぶにつれて、それは期待されることであり、もし良くなりたいならただそれを続けるだけです。
そして今、ブログ記事を書くとき、もう一つのことは、私がそれらを書いているとき、私はただ「なぜ？これらは私が中国にいたときのいくつかのランダムな話だ。それらはある種の恥ずかしい話だ」と思います。あるいはAI企業の投稿では、「それはただの奇妙なアイデアだ。そしてこれらのいくつかは明らかに思える、なんでもいい」と思います。私のポッドキャストは私が期待することをします。私のブログは前もって期待するよりもはるかに多く人気が出ます。
あなたのブログ記事は実際に非常に良いです。はい、それらは良いです。
しかし私が強調したいのは、私にとって、私は定期的な作家ではなく、毎日それらを行うことはできないということです。そして私がそれらを書いているとき、それは本当にフラストレーションを感じる1週間か2週間のプロセスです。「これはすべてばかげているが、埋没コストに固執してとにかくやるかもしれない」という感じです。
人生の多くの分野は、自分自身の弱点を知らない傲慢な人々のために選ばれています。なぜなら彼らだけが外に出るからです。ブログでは、これは自己奉仕的かもしれません、おそらく私は傲慢な人間かもしれませんが、それは当てはまらないように思えます。「ブログ記事を書くのが嫌い。もちろん私には言うべき有用なことは何もない」という人々からたくさんのことを聞きますが、それから誰もがそれを好き、再ブログし、それらが素晴らしいと言います。
私に起こったことの一部は、最初の数年間はそのようでしたが、徐々に十分なポジティブなフィードバックを得て、頭の中の内なる批評家に「おそらく人々は私のブログ記事を好きになるだろう」と納得させることができました。しかし人々が愛したものの中には、「いいえ、私はこれを削除するつもりです。それを外に出すことはあまりにも狂っているでしょう」と思いながら絶対的に境界線上にあったものもあります。
だから私が言うように、おそらくこれらの多くの人々の制限要因は勇気かもしれません。なぜなら私が話すブログを書く人はみな、ブログを書くのに十分な勇気を持っていない境界線から1%以内にいるからです。
それは正しいです。それは正しいです。また「勇気」というと非常に美徳的に聞こえます。私はそれはしばしばトピックによっては美徳的になり得ると思いますが、少なくともしばしばそれは…
自信？いいえ、自信さえも違います。それはおそらく俳優志望者がオーディションに行くときに感じるものに近いです。「私は本当に恥ずかしいと感じる。しかし私はただ本当に映画スターになりたい」のような感じです。
私がこれを乗り越えた方法は、実際のブログを始める前に5年間ほどLiveJournalでブログを書いていました – いいえ、それはほどそれほど長くありませんでした。実際のブログを始める前に約5年間LiveJournalでブログを書いていました。自分のブログを持つ前に1年か2年LessWrongに投稿していました。それらすべてから非常にポジティブなフィードバックを得て、最終的に自分のブログを始める決心をしました。しかし馬鹿げています。他のどのようなキャリアで、最初のポジションに応募する前に7年間のポジティブなフィードバックが必要ですか？
あなたも同じことをしています。あなたのすべてのポッドキャストで素晴らしいレビューを受けており、それからブログに移行しようとしています…まず第一に、あなたにはファンベースがあります。人々はあなたのブログを読むでしょう。それが一つのことだと思います。人々は誰も読まないことを恐れているのです。それはほとんどの人々の最初のブログにとっておそらく真実です。そして十分な人々があなたを好きなので、最初に書くものがそれほど洗練されていなくても、主にポジティブなフィードバックを受けるでしょう。だからあなたも私も両方ともそれを持っていました。私の知っているブログを始めた多くの人々は何かそのようなものを持っていました。そしてそれが恐怖のギャップを乗り越える一つの方法だと思います。
これが間違ったメッセージを送ったり、期待を高めたり、不安を引き起こしたりするかどうか疑問に思います。しかし私が検討している一つのアイデアがあり、これについてのあなたの意見を聞きたいと思います：私はファンベースのこの遅い、複合的な成長は偽物だと感じています。私が私たちの分野で起こった最も成功した事例のいくつかに気づくと、レオポルドが「状況認識」をリリースします。彼は長年にわたってファンベースを構築していませんでした。それはただ本当に良いのです。そしてあなたが先ほど言及したように、素晴らしい新しいブロガーに気づくとき、それから彼らがファンベースを構築するのに1年か2年かかるわけではありません。いいえ、彼らが気にするすべての人々、少なくとも彼らが気にする人々全員がほぼ即座にそれについて話しています。
「状況認識」はほとんど別のレベルです。しかしそのようなものや、それよりも1桁小さいものでさえ、文字通り重要なすべての人々に読まれるでしょう。そして私は文字通り全員という意味です。そして私はこれがAI 2027がリリースされたときに起こることを期待しています。しかしダニエル、あなたはこの特定のコミュニティ内で評判を築いてきました。そして私はAI 2027がただ本当に良いと期待しています。そして私はそれがただ、年を経て観客を構築したことの下流ではない方法で爆発すると期待しています。
ありがとう。それが起こることを願います。見てみましょう。
それに少し反論すると。私はSlate Star Codexの最初の数年間の統計を持っています。それは本当に非常に徐々に成長しました。通常のパターンは、すべてのバイラルヒットの後、1%の人々がバイラルヒットを読んでいる人々が留まるというようなものです。そして何十ものバイラルヒットの後、あなたはファンベースを持ちます。しかし平滑化すると、それは私が最近これを見たかったのですが、それは3年間にわたってかなり一定の上昇で、それから私が想像するのはある種のプラトーであり、そこでは新しい人々が入ってくるのと同じくらい古い人々が去るという動的な平衡です。
「状況認識」に関しては、レオポルドがどれだけ宣伝を行ったかはわかりません。私たちは非常に意図的な宣伝を行っています。あなたのポッドキャストに出演しています。あなたはDwarkeshのポッドキャストに出演し、ニューヨーク・タイムズに書いてもらうような人物になるか、あるいは昔ながらの方法で、有機的にそれを行うことができます。それは非常に長いです。
そうですね。だから、あなたが言うように、お金をブログを書く人々に投げかけることはFTXの人々にとってうまくいかなかったようです。もしそれがあなた次第だったら、何をするでしょうか？あなたのグラント計画は10人のスコット・アレクサンダーをもっと得るためにどのようなものですか？
私の友人クララ・コリアー、彼女はアスタリスク雑誌の編集者ですが、AIブログについて何かこのようなことに取り組んでいます。そして彼女のアイデア、これは良いと思いますが、フェローシップを持つことです。私はニックのことも同様にフェローシップでしたが、フェローシップはアスタリスクAIブログフェローのブログのようなものです。クララはあなたの投稿を編集し、それが良いことを確認し、それをそこに置き、彼女はこれに良いと思う多くの人々を選択します。
彼女はすべての種類の勇気を必要とする作業を行うでしょう。「はい、あなたの投稿は良いです。私は今それを編集します。今それは非常に良いです。今私はそれをブログに置くつもりです」。そして私は彼女の望みが、彼女が選ぶフェローのうち、last psychiatristが全知的な存在と呼ぶであろうもの、心理的なレベルであなたがオーケーであることを承認し教えることが許可されている誰かの承認を持っているので、彼らがそれを始めることはそれほど勇気のステップではないということです。
そしてそれらのフェローのうち、いくつかの割合が彼らのブログ記事が読まれ、人々がそれらを好きになるでしょう。そして「誰も私のブログを好きにならない」という高い事前確率を乗り越えるのにどれくらいの強化が必要かはわかりません。しかしいくつかの人々にとって、そこで得る強化の量がうまくいくかもしれません。
そうですね、面白い例として、サブスタックを持つようになったすべてのジャーナリストがいます。彼らの多くはうまくいきます。それらすべてのジャーナリストは、メインストリームメディアがなかったら、ブロガーになっていたでしょうか？私はわかりません。しかしもしあなたがポール・クルーグマンなら、人々があなたのものを好きなことを知っており、そしてニューヨーク・タイムズを辞めるとき、あなたはただサブスタックを開いて以前にやっていたことを正確に始めることができると知っています。だから私はわかりません、おそらく私の答えはメインストリームメディアがあるべきだということです。それを認めるのは嫌ですが、おそらくそれは真実です。
最初から発明しました。そうですね。
まあ、私はそれがもっと実行可能なキャリアパスとして扱われるべきだと思います。現在、もしあなたがあなたの両親に「私はスタートアップの創業者になるつもりです」と言ったら、私はその反応が「あなたが成功する確率は1%ですが、それは興味深い経験であり、もしあなたが成功すれば、それは狂っているでしょう。それは素晴らしいでしょう。もしあなたが成功しなければ、あなたは何かを学ぶでしょう。それはあなたがその後に行うことに役立つでしょう」のようなものになると思います。
ブログについてもそれが真実であることを知っています。そうですね？それがネットワークを構築するのに役立ち、あなたのアイデアを発展させるのに役立つことを知っています。そしてもしあなたが成功すれば、一生の夢の仕事を得ます。そして私はおそらく彼らがその考え方を持っていないと思いますが、また彼らはあなたが実際にそれで成功する可能性をどれだけあるのかを過小評価しています。それはブロガーとして多くのお金を稼ぐという狂った結果ではありません。
私はブロガーとして多くのお金を稼ぐことは狂った結果かもしれないと思います。ブログを始める人々のうち、日雇い仕事を辞めるに十分な金額を稼ぐようになる割合がどれくらいかわかりません。私の推測では、それはスタートアップの創業者よりもずっと悪いでしょう。私はそれを目標として持つよりも、スコット・アーロンソンの目標のようなもの、つまり、あなたはまだ教授ですが、今や意見をみんなが知っている教授であり、あなたの分野で、特にあなたの分野の外で、ある種の尊敬を高めることを目標として持つでしょう。
そしてまた、人々が間違っているときに彼らを修正することができます。それは非常に重要な副次的利益です。そうですね。
古いブログが現在のブログにどのようにフィードバックしますか？あなたが新しいアイデア、AIまたは他のことについて議論するとき、あなたは社会学や人類学や歴史またはその他についての以前のコメントからの洞察を引き出すことができますか？
そうですね。私はこれはブログを書いていない人も同じだと思います。私は皆が行うことは、彼らは過去に多くの本を読み、新しい本を読むとき、彼らはそれについて考えるのに十分な背景を持っていると思います。あなたはジョセフ・ヘンリックの本の文脈で私たちのアイデアについて考えています。私はそれが良いと思います。私はそれが知的進歩が来る種類の場所だと思います。
私はより多くインセンティブを持っていると思います。本を読むのは難しいです。統計を見ると、それらは恐ろしいです。ほとんどの人々は1年間にほとんど本を読みません。そして私は本を読むと多くの称賛を得て、しばしば多くのお金を得ます。それは本当に良いインセンティブです。だから私はブロガーでなければ行うよりも多くの研究、深い調査、より多くの本を読むと思います。それは素晴らしい副次的利益です。そして私はおそらくブロガーでなければ行うであろうよりもはるかに多くの知的進歩を作ります。私はそれらの本当に良いインセンティブを持っていなければ。
実は、AIがあなたと同じくらい良いブログ記事を書けるようになる年についての予測市場がありました。それは2026年か2027年でしたか？私は2027年だったと思います。それは2027年までに15%程度でした。
あなたの文章と他のすべての良い文章が訓練分布にあるということは興味深い質問です。そして奇妙なことに、彼らはコーディングで超人的になることでは、訓練分布の主なものである文章においてよりもはるかに優れているように見えます。
そうですね。私が自分の世代のガリー・カスパロフのような人物であることは名誉です。そうですね。それで私はこれを試しました。まず第一に、それはかなり良い仕事をします。私はその仕事を尊重します。それはまだ完璧ではありません。私はそれが単語ごと、文ごとのレベルでのスタイルでは実際にブログ記事を計画するよりも優れていると思います。
私はおそらく二つの理由があると思います：一つは、ベースモデルがこのタスクでどれくらい上手にできたのかはわかりません。私たちが見るすべてのモデルがある程度企業的な話し方のモードに強化学習されていることを知っています。あなたはそれをある程度その企業的な話し方のモードから出すことができますが、私はこれが実際にスコット・アレクサンダーを模倣することと、スコット・アレクサンダーと企業的な話し方の間の平均を打つことの間でどの程度のことを実際にしているのかわかりません。そしてベースモデルにアクセスを持つ内部従業員を除いて、誰もそれを知らないと思います。
そして私が考える二つ目のことは、おそらくそれがトレンディだからというだけですが、それはエージェンシーまたは地平線の失敗があるということです。ディープリサーチは適切な研究者です。それは素晴らしい研究者ではありません。もしあなたが実際に問題を深く理解したいなら、ディープリサーチを使うことはできません。自分自身でそれをしなければなりません。
だから私が本当に研究が多いブログ記事、METRのことなどを調査するのに5時間から10時間費やすとするなら、私たちがコーディング以外のためにそれを使ってはいけないことを知っていますが、それは平均してAIの地平線は1時間だと言います。だから私の推測では、それはただ良いブログ記事を計画して実行することができないのです。それは実際にステップを通り抜けるよりも非常に表面的な何かをします。
だからその予測市場についての私の推測は、私たちがエージェントが実際に良いと思うときです。私たちのシナリオではそれは2026年後半のようです。私は超知性を待ちながら謙虚でいるつもりです。
コメントについてはどうですか？直感的には、AIが繰り返しバイラルになる素晴らしいブログ記事を書く前に、彼らが高く評価されるコメントを書いているのを見るべきだと感じます。
そうですね。そして誰かがLessWrongの投稿でこれについて言及し、誰かがその投稿にAIが生成したいくつかのコメントを作成しました。それらは素晴らしくはありませんでした。しかし私はすぐにそれらをLessWrongのコメントの一般的な分布の中から特に悪いものとして選び出すことはなかったでしょう。
私が思うに、もしあなたがこれを試すなら、AIのハウススタイルであることが非常に明らかなものを得るでしょう。それは「delve」という言葉を使うか何かそのようなことをするでしょう。
もしあなたがおそらくベースモデルを使用するか、「いいえ、これをグウェンの声でやって」のような本当に良いプロンプトを使用することでそれを避けることができるなら、あなたはかなり良いものを得るでしょう。私は本当に愚かなブログ記事を書けば、それはそれに対する正しい異議を指摘することができると思います。しかし私は今のところそれがグウェンほど賢くないとも思います。
だからグウェンスタイルのコメントを作る際の限界は両方とも – それは企業のdelveのスラップ以外のスタイルを行うことができる必要があり、それから実際に良くなる必要があります。
それは他の人々が既に持っていない良いアイデアを持つ必要があります。
そうですね。そして私が意味することは、それは多くの方法で賢い平均的な人と同じくらい上手に書くことができると思います。そしてもしあなたがそれよりも悪いか、そのレベルのブログ記事を持っているなら、それはそれについての洞察力のあるコメントを思いつくことができます。私は良質なブログ記事ではそれができるとは思いません。
最近Financial Timesが「あなたは認知能力のピークに達しましたか？」という記事を書いていました。それはPISAとSATなどのスコアの低下について話していました。特にインターネット上では、私がフォーラムなどで積極的になる前に、知的なメッカのような黄金時代があったかもしれないように思えます。
あなたはインターネット上でのある特定の時期、それが知的なメッカのようだった時期についての郷愁を持っていますか？
私はブログの黄金時代のほとんどを逃したことで自分自身に非常に怒っています。もし2000年頃にブログを始めていたら – わかりません、私は自分自身のためにうまくやっています、不満を言えません – しかしその時代の人々はみな報道機関を設立しました。神よ、私をその運命から救ってください。私はそこにいたかったでしょう。私がその分野で何ができたかを見たかったでしょう。
私はインターネットの衰退をPISAのそのようなものと比較したくありません。なぜなら私はインターネットは単にそこに来る人々が増え、それはより強く選ばれたサンプルではないと確信しているからです。
しかし、はい、私は無神論と宗教について延々と話していた時代は避けることができたでしょう。それはかなり狂っていました。しかし私はブログの黄金時代について良いことを聞きます。
反事実的にあなたがブログを始めるか、ブログを続けることに責任がある人はいますか？
私はイライザ・ユドコウスキーに大きな感謝の念を持っています。私はその前にライブジャーナルを持っていました。しかし大きな時代に移行できると私を確信させたのはLessWrong行くことでした。そして第二に、私は自分の世界観の多くを彼から輸入したと思います。私はLessWrongに遭遇する前は世界で最も退屈な標準的なリベラルだったと思います。そして私はLessWrongのアイデアすべてに100%同意しているわけではありませんが、その質のものが私の頭に放送され、私がそれに反応し、それについて考えることができるのは本当に素晴らしかったです。
そしてあなたが匿名であり、ある時点では匿名だったという事実について教えてください。私は人類の歴史のほとんどで、影響力のある顧問であったり知識人であったり、誰かが実際には何らかの公的なペルソナを持っていたはずだと思います。そして人々があなたの作品に読み込むもののかなりの部分は実際にはあなたの公的なペルソナの反映です。
ある種そうです。これらの古代の著者の半分が偽ディオニュシウスや偽ケルススのように呼ばれる理由は、あなたは何かを書いて「ああ、はい、これはディオニュシウス聖人によるものです」と言うことができたからです。そしてあなたは誰でもあり得ました。そして私は過去にそれがどれくらい一般的だったのか正確にはわかりません。
しかし、はい、インターネットが匿名性の黄金時代だったことに同意します。私はAIが匿名性を破るのをはるかに簡単にすることを少し心配しています。黄金時代が続くことを願います。
良い締めくくりのようですね。これをやってくれてありがとう。
ありがとう。これは素晴らしかったです。
はい、楽しい時間を過ごしました。あなたのポッドキャストの大ファンです。ありがとう。
コメント