Anthropicの創業者Dario Amodeiが、AI技術の指数関数的進化とその終着点について語った重要なインタビューである。彼は3年前の予測がほぼ的中したことを確認しつつ、最も驚くべきことは「指数関数の終わりに近づいている」という事実に対する社会の認識不足だと指摘する。スケーリング法則は事前学習だけでなく強化学習にも適用され、コーディングから一般的なタスクまで幅広い領域で進展している。Amodeiは「データセンター内の天才国家」が1〜3年以内に実現する可能性を示唆し、90%の確率で10年以内にAGIが達成されると予測する。ただし、技術的進歩と経済への普及速度には差があり、瞬時の変革ではなく急速だが段階的な変化を想定している。彼はAnthropicの年間10倍という収益成長を例に挙げ、技術導入の現実的な速度を説明する。検証可能なタスクでの進歩は確実だが、検証困難な創造的領域には若干の不確実性が残るとしながらも、全体として人類史上類を見ない速度での変革が進行中であることを強調している。
- 指数関数的成長の継続と社会認識のギャップ
- スケーリング仮説の進化と普遍性
- AGI実現への道筋と時間軸
- 拡散論への挑戦と人間との比較
- 具体的な能力予測とビデオ編集の例
- オンザジョブ学習の必要性と代替アプローチ
- コンテキスト長の拡張と技術的課題
- データセンター投資と経済的拡散の不確実性
- データセンター投資の不確実性
- 収益成長と計算リソースのバランス
- 「データセンター内の天才の国」の定義
- 産業全体の計算リソース成長
- 収益性の予測について
- AI研究の差別化と普及速度
- ロボティクスの将来
- 継続学習と人間の知能
- APIモデルとAGIの価格設定
- Claude Codeの開発経緯
- AIの安全性とガバナンス
- 州レベルのAI規制について
- AI規制をめぐる連邦政府と州政府の役割
- AIの健康分野への応用と規制改革
- AIの利益をより確実に実現するために
- 開発途上国への技術普及
- 未来の国際秩序とAIの拡散
- 技術の指数関数的成長と重要な転換点
- 権威主義と民主主義の未来
- 技術拡散の戦略的選択肢
- 開発途上国の成長と産業配置
- Claudeの憲法と価値観
- 憲法の策定と更新プロセス
- 歴史的記録と意思決定の現実
- Anthropicの企業文化と経営哲学
指数関数的成長の継続と社会認識のギャップ
3年前にお話ししましたね。あなたの視点から、この3年間で最も大きなアップデートは何でしたか?当時と今とで、最も大きな違いは何だと感じていますか?
大きく言えば、基盤技術の指数関数的な進化は、私が予想していた通りに進んできました。1、2年のずれはあるかもしれませんが、コーディングという特定の方向性を予測していたかどうかは分かりません。しかし、この指数関数を見たとき、モデルの進化は大体予想通りでした。優秀な高校生から優秀な大学生へ、そして博士課程や専門的な仕事を始めるレベルへと進み、コーディングの場合はそれを超えるところまで到達しています。
最前線は少し不均一ですが、大まかには予想通りです。最も驚いたのは、指数関数の終わりにどれだけ近づいているかについての一般的な認識の欠如です。
私にとっては絶対に信じられないことですが、バブルの内外を問わず、人々が同じ古臭い政治的な話題について議論している一方で、私たちは指数関数の終わりに近づいているのです。
スケーリング仮説の進化と普遍性
その指数関数が今どのように見えるのか理解したいと思います。3年前に録音したときに最初にお聞きした質問は「スケーリングとは何で、なぜ機能するのか」でした。
今も似たような質問がありますが、より複雑に感じます。
少なくとも一般の視点からすると、3年前には複数桁のコンピュート量にわたってよく知られた公開トレンドがあり、損失がどのように改善するかを見ることができました。今では強化学習のスケーリングがあり、それに対する公開されたスケーリング法則はありません。
ストーリーすら明確ではありません。これはモデルにスキルを教えることになっているのでしょうか?メタ学習を教えることになっているのでしょうか?この時点でのスケーリング仮説とは何なのでしょうか?
実は、2017年の時点から持っていたのと同じ仮説を持っています。
前回も話したと思いますが、「ビッグブロブ・オブ・コンピュート仮説」というドキュメントを書きました。
それは特に言語モデルのスケーリングについてのものではありませんでした。
私がそれを書いたとき、GPT-1が出たばかりでした。それは多くの中の一つでした。
当時はロボティクスがありました。人々は言語モデルとは別のものとして推論に取り組もうとしていましたし、AlphaGoやOpenAIのDotaで起きたような強化学習のスケーリングもありました。DeepMindのStarCraft、AlphaStarを覚えている人もいるでしょう。
これはより一般的なドキュメントとして書かれました。Rich Suttonが数年後に「The Bitter Lesson」を発表しました。仮説は基本的に同じです。
それが言っているのは、すべての賢さ、すべてのテクニック、すべての「何かをするために新しい方法が必要だ」というものは、それほど重要ではないということです。重要なことはほんの数個しかありません。
7つ挙げたと思います。一つは、どれだけの生のコンピュートを持っているか。
二つ目はデータの量です。三つ目はデータの質と分布です。
広い分布である必要があります。四つ目はどれだけ長くトレーニングするか。
五つ目は、月まで拡張できる目的関数が必要だということです。
事前学習の目的関数はそのような目的関数の一つです。
もう一つは、目標があり、それを達成しに行くという強化学習の目的関数です。
その中には、数学やコーディングで見られるような客観的な報酬と、RLHFやそのより高次のバージョンで見られるような主観的な報酬があります。
そして6番目と7番目は、正規化や条件付けに関するもので、数値的安定性を得て、大きなコンピュートの塊が問題にぶつかることなく層流のように流れるようにするためのものでした。
それが仮説でしたし、今でも持っている仮説です。
それに反するものはあまり見ていないと思います。
事前学習のスケーリング法則は、そこで見られるものの一例でした。それらは継続して進んでいます。今では広く報告されていますが、私たちは事前学習について良い感触を持っています。
それは引き続き利益をもたらしています。
変わったのは、今では強化学習でも同じことが見られるということです。事前学習フェーズがあり、その上に強化学習フェーズがあるのが見えます。
強化学習でも、実際には全く同じです。
他の企業も、いくつかのリリースで発表していますが、「モデルを数学コンテスト——AIMEや他のもの——でトレーニングすると、モデルのパフォーマンスはトレーニング時間の対数に対して線形になる」と言っています。私たちもそれを見ていますし、数学コンテストだけではありません。幅広い強化学習タスクです。
事前学習で見たのと同じスケーリングが強化学習でも見られています。
Rich Suttonと「The Bitter Lesson」について触れられましたね。昨年彼にインタビューしましたが、実際には彼はLLMにあまり賛同していません。これが彼の見解かどうかは分かりませんが、彼の反論を言い換える一つの方法は次のようなものです。
人間の学習の真の核心を持つものは、Excelの使い方、PowerPointの使い方、ウェブブラウザのナビゲート方法を学ぶために、これら数十億ドルのデータとコンピュート、そしてこれらの特注環境を必要としないはずだ、と。
私たちがこれらのスキルを強化学習環境を使って組み込まなければならないという事実は、実際には人間の学習アルゴリズムの核心が欠けていることを示唆しています。つまり、私たちは間違ったものをスケーリングしているということです。それは疑問を提起します。オンザフライで学習する人間のような能力があると考えているなら、なぜこれほど多くの強化学習スケーリングを行っているのでしょうか?
これは別々に考えるべきいくつかのことをまとめていると思います。
ここには本物のパズルがありますが、重要ではないかもしれません。実際、おそらく重要ではないと思います。興味深いことがあります。一瞬、強化学習を外して考えてみましょう。というのも、実際には強化学習がこの問題で事前学習と何か異なるというのは誤解だと思うからです。
事前学習のスケーリングを見ると、2017年にAlec RadfordがGPT-1を開発していたときは非常に興味深いものでした。
GPT-1以前のモデルは、広い分布のテキストを表していないデータセットでトレーニングされていました。非常に標準的な言語モデリングベンチマークがありました。
GPT-1自体は、確か大量のファンフィクションでトレーニングされていたと思います。それは文学的なテキストで、世界で得られるテキストのごく一部でした。
当時は10億語くらいだったと思いますが、非常に小さなデータセットで、世界で見られるものの非常に狭い分布を表していました。それはうまく汎化しませんでした。
ファンフィクションのコーパスでうまくいっても、他のタスクにはうまく汎化しませんでした。私たちには多くの測定方法がありました。他のすべての種類のテキストをどれだけうまく予測できるかの測定方法がすべてありました。
インターネット上のすべてのタスクでトレーニングしたときだけ——Common Crawlのようなものから一般的なインターネットスクレイピングを行ったとき、あるいはGPT-2のためにRedditのリンクをスクレイピングしたときだけ——汎化が始まりました。
強化学習でも同じことが見られていると思います。
数学コンテストでのトレーニングのような単純な強化学習タスクから始めて、コードのようなものを含むより広範なトレーニングに移行しています。今では多くの他のタスクに移行しています。
そうすれば、ますます汎化が得られると思います。
それで、強化学習対事前学習の側面が取り除かれます。
しかし、どちらにしてもパズルがあります。それは、事前学習では何兆ものトークンを使用するということです。
人間は何兆もの単語を見ることはありません。つまり、実際のサンプル効率の違いがここにあります。実際にここには何か違うものがあります。
モデルはゼロから始まり、はるかに多くのトレーニングが必要です。
しかし、一度トレーニングされると、100万の長いコンテキスト長を与えれば——長いコンテキストを妨げているのは推論だけですが——そのコンテキスト内での学習と適応が非常に得意です。
だから、これに対する完全な答えは分かりません。
事前学習は人間の学習プロセスのようなものではなく、人間の学習プロセスと人間の進化プロセスの中間のどこかにあると思います。私たちは進化から多くの事前知識を得ています。
私たちの脳は単なる白紙ではありません。これについては本が何冊も書かれています。
言語モデルははるかに白紙に近いものです。
それらは文字通りランダムな重みから始まりますが、人間の脳はこれらすべての領域がこれらすべての入力と出力に接続された状態で始まります。
おそらく、事前学習——そしてその点では強化学習も——を、人間の進化と人間のその場での学習の中間空間に存在するものとして考えるべきです。
そして、モデルが行うコンテキスト内学習を、人間の長期学習と短期学習の中間のものとして考えるべきです。つまり、階層があります。進化があり、長期学習があり、短期学習があり、そして単なる人間の反応があります。
LLMのフェーズはこのスペクトラムに沿って存在しますが、必ずしも全く同じポイントにあるわけではありません。
人間の学習モードのいくつかには類似物がなく、LLMはそれらのポイントの間に位置しています。理解できますか?
はい、ただしいくつかのことはまだ少し混乱しています。
例えば、もし類推が「これは進化のようなものだから、サンプル効率が悪くても問題ない」というものであれば、コンテキスト内学習から超サンプル効率的なエージェントを得るつもりなら、なぜこれらすべての強化学習環境を構築する手間をかけているのでしょうか?
このAPIの使い方、Slackの使い方、何でもいいですが、モデルに教えることが仕事のように見える企業があります。オンザフライで学習できるエージェントが出現しているか、すでに出現しているのであれば、なぜそれほど強調されているのかが私には分かりません。
他の人の強調については話せません。私たちがどう考えているかについてのみ話せます。
目標は、強化学習内であらゆる可能なスキルをモデルに教えることではありません。事前学習内でもそうしていないように。
事前学習内では、単語を組み合わせることができるあらゆる可能な方法にモデルを触れさせようとはしていません。
むしろ、モデルは多くのことでトレーニングされ、その後、事前学習全体で汎化に到達します。
私が間近で見たGPT-1からGPT-2への移行がそうでした。モデルはあるポイントに到達します。私はこんな瞬間がありました。「ああ、そうだ、モデルに数字のリストを与えるだけで——これは家の価格、これは家の面積——モデルはパターンを補完して線形回帰をやる」と。
あまり上手ではありませんが、やるのです。そしてそれは、その正確なことを以前に見たことがありません。
ですから、これらの強化学習環境を構築している限りにおいて、目標は5年前、10年前に事前学習で行われたことと非常に似ています。
私たちは大量のデータを得ようとしていますが、それは特定のドキュメントや特定のスキルをカバーしたいからではなく、汎化したいからです。
AGI実現への道筋と時間軸
明らかにあなたが展開しているフレームワークは理にかなっています。私たちはAGIに向けて進歩しています。
この時点で、今世紀中にAGIを達成するということに誰も反対しません。要点は、あなたが指数関数の終わりに達していると言っていることです。
他の誰かはこれを見て、「私たちは2012年以来進歩してきて、2035年には人間のようなエージェントができるだろう」と言います。
明らかに、これらのモデルには、進化がしたこと、あるいは人間の生涯内での学習がすることのようなものが見られています。
あなたが1年後だと考え、10年後ではないと考える理由を理解したいのです。
ここでできる主張は二つあります。一つはより強い主張で、一つはより弱い主張です。
より弱い主張から始めると、2019年にスケーリングを最初に見たとき、確信が持てませんでした。これは50対50のことでした。何かを見たと思いました。私の主張は、これは誰もが思っているよりもはるかに可能性が高いというものでした。おそらく50%の確率でこれが起こるでしょう。
あなたが言うところの、10年以内に私が「データセンター内の天才国家」と呼ぶものに到達するという基本的な仮説については、私は90%確信しています。
90%よりもはるかに高くすることは難しいです。なぜなら、世界は非常に予測不可能だからです。おそらく不可避の不確実性が私たちを95%に置きます。そこでは、複数の企業が内部混乱を抱えている、台湾が侵略される、すべての製造施設がミサイルで破壊される、といったことになります。
今、私たちに呪いをかけましたね、Dario。
10年間遅延する5%の世界を構築できます。
検証可能なタスクについては非常に確信しているもう5%があります。
コーディングに関しては、その不可避の不確実性を除けば、1、2年以内にそこに到達すると思います。10年以内にそこに到達しないということはありえません。エンドツーエンドのコーディングができるという点では。
私が長期的にも少し根本的な不確実性を持っているのは、検証できないタスクについてです。火星へのミッションを計画すること、CRISPRのような基礎的な科学的発見をすること、小説を書くこと。
これらのタスクを検証するのは難しいです。ほぼ確実に、そこに到達する信頼できる道筋があると思いますが、少しの不確実性があるとすればそこです。
10年のタイムラインについては、90%確信しています。これは確実であるとほぼ言えるほどです。
2035年までにこれが起こらないと言うのは狂っていると思います。
正気の世界では、それは主流から外れているでしょう。
しかし、検証への強調は、これらのモデルが汎化されているという信念の欠如を示唆していると私には思えます。
人間について考えると、検証可能な報酬を得られるものと得られないものの両方が得意です。
いいえ、だからこそ私はほぼ確信しているのです。
検証されるものから検証されないものへの実質的な汎化がすでに見られています。すでにそれを見ています。
しかし、あなたはこれをより多くの進歩が見られる領域を分割するスペクトラムとして強調しているように見えます。
それは人間が上達する仕方のようには見えません。
到達しない世界は、検証可能なことをすべて行う世界です。その多くは汎化しますが、完全にはそこに到達しません。箱の反対側を完全には塗りつぶしません。
これは二元的なものではありません。汎化が弱く、検証可能な領域しかできない場合でも、そのような世界でソフトウェアエンジニアリングを自動化できるかどうかは明確ではありません。
あなたはある意味で「ソフトウェアエンジニア」ですが、あなたにとってソフトウェアエンジニアであることの一部には、壮大なビジョンについて長いメモを書くことが含まれます。
それはソフトウェアエンジニアリングの仕事の一部ではないと思います。
それは会社の仕事の一部であって、ソフトウェアエンジニアリング特有のものではありません。
しかし、ソフトウェアエンジニアリングには設計ドキュメントなどが含まれます。
モデルはすでにコメントを書くのが非常に得意です。
繰り返しますが、私は二つのことを区別するために、私が信じているよりもはるかに弱い主張をしています。
ソフトウェアエンジニアリングについては、すでにほぼそこに到達しています。
どの指標で?一つの指標は、AIによって書かれるコード行数です。
ソフトウェアエンジニアリングの歴史における他の生産性向上を考えると、コンパイラがすべてのソフトウェア行を書きます。
書かれる行数と、生産性向上がどれほど大きいかには違いがあります。「ほぼそこに到達している」というのは…
生産性向上がどれほど大きいかであって、単にAIによって書かれる行数ではないのですよね?
実は、この点についてはあなたに同意します。コードとソフトウェアエンジニアリングについて一連の予測をしてきました。人々は繰り返しそれらを誤解してきたと思います。
スペクトラムを示しましょう。約8、9か月前、AIモデルが3〜6か月以内にコードの90%の行を書くようになると言いました。
それは起こりました。少なくともいくつかの場所では。Anthropicで起こりましたし、私たちのモデルを使用している多くの下流の人々でも起こりました。
しかし、それは実際には非常に弱い基準です。
人々は私が、ソフトウェアエンジニアの90%が不要になると言っていると思いました。それらは全く別世界です。
スペクトラムは次のようなものです。コードの90%がモデルによって書かれる、コードの100%がモデルによって書かれる。
それは生産性に大きな違いです。ソフトウェアエンジニアリングタスクのエンドツーエンドの90%——コンパイル、クラスターと環境のセットアップ、機能のテスト、メモの作成などを含む——がモデルによって行われる。今日のソフトウェアエンジニアリングタスクの100%がモデルによって行われる。
それが起こったとしても、ソフトウェアエンジニアが仕事を失うわけではありません。
彼らができる新しいより高レベルのことがあり、管理ができます。
そしてスペクトラムのさらに下には、ソフトウェアエンジニアへの需要が90%減少するというものがあります。それは起こると思いますが、これはスペクトラムです。
「The Adolescence of Technology」でこれについて書きました。そこで農業でこの種のスペクトラムを経験しました。
実際、私はこの点について完全に同意します。
これらは互いに非常に異なるベンチマークですが、私たちは非常に速くそれらを進んでいます。
あなたのビジョンの一部は、90から100に行くのが速く起こり、それが巨大な生産性向上につながるということです。
しかし、私が気づくのは、グリーンフィールドプロジェクトでさえ、人々がClaude Codeなどで始めるとき、人々は多くのプロジェクトを始めると報告していますが…外の世界で、そうでなければ存在しなかったであろう新しい機能のソフトウェアのルネッサンスが見られますか?
少なくとも今のところ、それが見られるようには思えません。
だから、私は疑問に思います。たとえ私がClaude Codeに介入する必要がなかったとしても、世界は複雑です。仕事は複雑です。単にソフトウェアを書くことであれ何であれ、自己完結型システムでループを閉じることから、どれほど広範な利益が見られるでしょうか?
おそらくそれは、「天才国家」の推定を薄めるべきです。
私は同時に、それがこれらのことが瞬時に起こらない理由であることにあなたに同意しますが、同時に、その効果は非常に速くなると思います。
これら二つの極があり得ます。一つは、AIが進歩しないというものです。遅いです。経済内に拡散するのに永遠にかかるでしょう。
経済的拡散は、AI進歩が起こらない理由、あるいはAI進歩が重要でない理由として、これらのバズワードの一つになっています。
もう一つの軸は、再帰的自己改善が得られ、全体が得られるというものです。
曲線に指数関数的な線を引くだけではダメですか?
再帰を得てから何ナノ秒後かには、太陽の周りにダイソン球ができるでしょう。
ここで見解を完全に戯画化していますが、これら二つの極端があります。
しかし、少なくともAnthropic内を見ると、最初から見てきたのは、この奇妙な年間10倍の収益成長です。
2023年には、ゼロから1億ドルでした。
2024年には、1億ドルから10億ドルでした。
2025年には、10億ドルから90〜100億ドルでした。
あなた方は自分たちの製品を10億ドル分買うべきでしたね。そうすれば…
そして今年の最初の月、その指数関数は…
鈍化すると思うでしょうが、1月だけで収益に数十億ドルを追加しました。
明らかに、この曲線は永遠に続くことはできません。GDPには限りがあります。
今年は多少曲がるとさえ推測しますが、それは速い曲線です。本当に速い曲線です。規模が経済全体に及んでも、かなり速いままだと賭けます。
だから、私たちは、極めて速いが瞬時ではない、経済的拡散のために時間がかかる、ループを閉じる必要があるためにこの中間世界について考えるべきです。
細かいからです。「エンタープライズ内で変更管理をしなければならない…これを設定したが、実際に機能させるためにセキュリティ許可を変更しなければならない…コンパイルされてリリースされる前にモデルをチェックするこの古いソフトウェアがあって、それを書き直さなければならない。」
はい、モデルはそれができますが、モデルにそうするように伝えなければなりません。それをするのに時間がかかります。
だから、これまで見てきたすべては、モデルの能力という速い指数関数が一つあるという考えと互換性があると思います。
そして、それに続くもう一つの速い指数関数があります。それは、モデルの経済への拡散です。
瞬時ではなく、遅くなく、以前のどの技術よりもはるかに速いですが、限界があります。
Anthropicの内部を見ると、顧客を見ると、速い採用ですが、無限に速いわけではありません。
拡散論への挑戦と人間との比較
過激な意見を試してもいいですか?
どうぞ。
拡散は、人々が言う言い訳のように感じます。
モデルが何かできないとき、彼らは「ああ、でもそれは拡散の問題だ」と言います。
しかし、人間との比較を使うべきです。
AIが持つ固有の利点により、新しいAIをオンボードする際の拡散が、新しい人間をオンボードするよりもはるかに簡単な問題になると思うでしょう。
AIは数分であなたのSlackとドライブ全体を読むことができます。
同じインスタンスの他のコピーが持つすべての知識を共有できます。
AIを雇用する際に、この逆選択問題がありません。だから、検証されたAIモデルのコピーを雇うだけです。
人間を雇うのははるかに面倒です。
人々は常に人間を雇います。私たちは人間に50兆ドル以上の賃金を払っています。なぜなら、彼らは有用だからです。原則として、人間を雇うよりもAIを経済に統合する方がはるかに簡単であるにもかかわらず。
拡散は本当に説明しません。
拡散は非常に現実的だと思いますし、AIモデルの制限とは専ら関係があるわけではありません。
繰り返しますが、拡散を使ってこれが大したことではないと言うバズワードのように使う人々がいます。私はそれについて話しているのではありません。AIが以前の技術の速度で拡散することについて話しているのではありません。
AIは以前の技術よりもはるかに速く拡散すると思いますが、無限に速いわけではありません。
この例を挙げましょう。Claude Codeがあります。Claude Codeはセットアップが非常に簡単です。
開発者であれば、Claude Codeを使い始めることができます。
大企業の開発者が、個人開発者やスタートアップの開発者と同じくらい速くClaude Codeを採用すべきでない理由はありません。
私たちはそれを促進するためにできる限りのことをします。エンタープライズにClaude Codeを販売します。
大企業、大手金融企業、大手製薬企業、すべてがClaude Codeを、エンタープライズが通常新技術を採用するよりもはるかに速く採用しています。
しかし繰り返しますが、時間がかかります。Claude CodeやCoworkのような特定の機能や特定の製品は、常にTwitterにいる個人開発者や、シリーズAのスタートアップによって採用され、食品販売を行う大企業によって採用されるよりも数か月速いです。
いくつかの要因があります。
法務を通過しなければなりません、全員に提供しなければなりません。セキュリティとコンプライアンスを通過しなければなりません。
AI革命からより遠い企業のリーダーたちは先見の明がありますが、「ああ、5000万ドルを使うのが理にかなっている」と言わなければなりません。
これがClaude Codeというものです。これが私たちの会社を助ける理由です。これが私たちをより生産的にする理由です。
そして、彼らは2レベル下の人々に説明しなければなりません。
「よし、3000人の開発者がいる。こうやって開発者に展開する」と言わなければなりません。
私たちは毎日このような会話をしています。Anthropicの収益を年間10倍ではなく20倍や30倍に成長させるためにできる限りのことをしています。
繰り返しますが、多くのエンタープライズは「これは非常に生産的だ」と言っています。
通常の調達プロセスでショートカットを取ります。
彼らは、通常のAPIを販売しようとしたときよりもはるかに速く動いています。多くのエンタープライズがそれを使用しています。
Claude Codeはより説得力のある製品ですが、無限に説得力のある製品ではありません。
AGIや強力なAI、「データセンター内の天才国家」でさえ、無限に説得力のある製品にはならないと思います。
経済が数千億ドル規模になっても、年間3〜5倍、あるいは10倍の成長を得るのに十分な説得力のある製品になるでしょう。これは非常に難しいことで、歴史上で行われたことがありませんが、無限に速いわけではありません。
それが若干の減速になるということは理解します。
これはあなたの主張ではないかもしれませんが、時々人々はこれについて「ああ、能力はそこにあるが、拡散のせいで…そうでなければ基本的にはAGIにいる」というように話します。
基本的にはAGIにいるとは思いません。
「データセンター内の天才国家」があれば…もし「データセンター内の天才国家」があれば、私たちはそれを知るでしょう。
「データセンター内の天才国家」があれば、私たちはそれを知るでしょう。この部屋にいる全員がそれを知るでしょう。
ワシントンの全員がそれを知るでしょう。地方の人々は知らないかもしれませんが、私たちは知るでしょう。
今はそれを持っていません。それは非常に明確です。
具体的な能力予測とビデオ編集の例
具体的な予測に戻ると…能力について話すときに曖昧にできるさまざまなことがたくさんあるため、互いに話が噛み合わないのは簡単です。
例えば、3年前にあなたにインタビューしたとき、3年後に何を期待すべきかについて予測を尋ねました。あなたは正しかったです。「1時間話すと、一般的に教育を受けた人間と区別するのが難しいシステムを期待すべきだ」と言いました。それについては正しかったと思います。
しかし、精神的には満足していません。なぜなら、私の内的な期待は、そのようなシステムがホワイトカラー労働の大部分を自動化できるというものだったからです。
だから、そのようなシステムから望む実際の最終能力について話す方が生産的かもしれません。
基本的に、私たちがどこにいるかをお伝えしましょう。
私たちが間もなく考えるべき能力の種類を正確に把握できるように、非常に具体的な質問をしましょう。
最も関連性の高い仕事だからではなく、私がその主張を評価できるので、私がよく理解している仕事のコンテキストで尋ねるかもしれません。ビデオ編集者を例に取りましょう。私にはビデオ編集者がいます。
彼らの仕事の一部には、視聴者の好み、私の好みや趣味、私たちが持つさまざまなトレードオフについて学ぶことが含まれます。
彼らは、何か月もかけて、このコンテキストの理解を構築しています。
彼らが仕事を始めて6か月後に持つスキルと能力、その場でそのスキルを習得できるモデル、そのようなAIシステムをいつ期待すべきでしょうか?
あなたが話しているのは、3時間このインタビューをするということだと思います。
誰かが入ってきて、誰かがそれを編集するでしょう。
彼らは「ああ、分からない、Darioが頭をかいたので、それを編集で削除できる」と思うでしょう。
「それを拡大して」「人々にとってあまり興味深くない長い議論があった。人々にとってより興味深い別のことがあるので、この編集をしよう」
「データセンター内の天才国家」はそれができると思います。
それができる方法は、コンピュータ画面の一般的な制御を持つことです。これを入力できるようになるでしょう。
また、コンピュータ画面を使ってウェブに行き、あなたの以前のインタビューをすべて見て、あなたのインタビューに対してTwitterで人々が何を言っているかを見て、あなたと話し、質問をし、あなたのスタッフと話し、あなたが行った編集の履歴を見て、それから仕事をすることができるようになるでしょう。
これはいくつかのことに依存していると思います。
これは実際に展開を妨げているものの一つです。モデルがコンピュータの使用において本当にマスターである点に到達することです。
ベンチマークでのこの上昇を見てきましたし、ベンチマークは常に不完全な尺度です。
しかし、1年と4分の1前にコンピュータ使用を最初にリリースしたとき、OSWorldは多分15%だったと思います。
正確には覚えていませんが、そこから65〜70%まで登ってきました。
より難しい尺度もあるかもしれませんが、コンピュータ使用は信頼性のポイントを通過しなければならないと思います。
次のポイントに移る前に、それについてフォローアップしてもいいですか?
何年もの間、自分のためにさまざまな内部LLMツールを構築しようとしてきました。
多くの場合、テキスト入力、テキスト出力のタスクがあり、これらはこれらのモデルのレパートリーの真ん中にあるべきです。
それでも、私はそれらを行うために人間を雇います。
「このトランスクリプトで最良のクリップは何かを特定する」のようなものであれば、LLMはおそらく7/10の仕事をします。
しかし、人間の従業員とできるように、仕事をより良くするために彼らと関わり続ける方法がありません。
コンピュータ使用を解決したとしても、その欠けている能力は、実際の仕事を彼らにオフロードする能力をまだブロックするでしょう。
これは、仕事で学習することについて以前話していたことに戻ります。
非常に興味深いです。コーディングエージェントでは、仕事で学習することがコーディングエージェントがすべてをエンドツーエンドで行うことを妨げているものだとは人々は言わないと思います。
彼らは良くなり続けています。Anthropicには、コードを全く書かないエンジニアがいます。
生産性を見ると、あなたの以前の質問に対して、「このGPUカーネル、このチップ、以前は自分で書いていました。Claudeにやってもらうだけです」と言う人々がいます。
生産性の大幅な向上があります。
Claude Codeを見ると、コードベースへの精通や、モデルが1年間会社で働いていないという感覚は、私が見る不満のリストの上位にはありません。
私が言っているのは、少し異なる道を進んでいるということです。
コーディングでは、コードベースに具体化された外部の記憶の足場があるからではないですか?
他にどれだけの仕事がそれを持っているか分かりません。
コーディングが速い進歩を遂げたのは、他の経済活動にはないこのユニークな利点があったからです。
しかし、あなたがそう言うとき、暗示しているのは、コードベースをコンテキストに読み込むことで、人間が仕事で学ぶ必要があったすべてを持っているということです。
それは、書かれているかどうか、利用可能かどうかに関わらず、知る必要があったすべてをコンテキストウィンドウから得た場合の例になります。
学習と考えるもの——「この仕事を始めた、コードベースを理解するのに6か月かかる」——モデルはコンテキストでそれをやっただけです。
これについてどう考えるべきか正直分かりません。なぜなら、あなたが言っていることを定性的に報告する人々がいるからです。
確か去年、大規模な研究があったのを見たと思います。経験豊富な開発者に、彼らが慣れているリポジトリでプルリクエストをクローズしてもらいました。
それらの開発者は向上を報告しました。これらのモデルの使用でより生産的だと感じたと報告しました。
しかし実際には、彼らの出力と実際にマージバックされたものを見ると、20%の低下がありました。これらのモデルを使用した結果、彼らは生産性が低下しました。
だから、人々がこれらのモデルで感じる定性的な感覚と、1)マクロレベルで、このソフトウェアのルネッサンスはどこにあるのか、そして2)人々がこれらの独立した評価を行うとき、なぜ期待する生産性の利益が見られないのか、を整合させようとしています。
Anthropic内では、これは本当に明白です。
私たちは信じられないほどの商業的圧力下にあり、他の企業よりも多くやっていると思う安全性のことすべてのために、自分たちをさらに難しくしています。
価値観を保ちながら経済的に生き残るための圧力は信じられないほどです。
この10倍の収益曲線を維持しようとしています。
でたらめのための時間はゼロです。
生産的でないのに生産的だと感じるための時間はゼロです。
これらのツールは私たちをはるかに生産的にしています。
競合他社がツールを使用することを心配している理由は何だと思いますか?
競合他社より先を行っていると思っているからです。
これがひそかに生産性を下げているのであれば、このすべての苦労をするはずがありません。
数か月ごとに、モデルリリースという形で最終的な生産性が見えます。これについて自分をごまかすことはできません。
モデルはあなたをより生産的にします。
1)このような研究によって、生産的だと感じることは定性的に予測されます。しかし2)最終的な出力を見るだけで、明らかにあなた方は速い進歩を遂げています。
しかし、アイデアは再帰的自己改善で、より良いAIを作り、AIがより良い次のAIを構築するのを助ける、などなど、ということになっていたはずです。
代わりに見るのは——あなた、OpenAI、DeepMindを見ると——人々が数か月ごとに表彰台を入れ替わっているだけです。
あなたが勝ったと思っているからそれが止まるのかもしれません。
しかし、実際に最後のコーディングモデルから巨大な生産性向上があるのであれば、最高のコーディングモデルを持つ人がこの持続的な優位性を持たないのはなぜですか?
状況についての私のモデルは、徐々に成長している優位性があるというものです。
今、コーディングモデルは、多分15〜20%の総要素スピードアップを与えていると思います。それが私の見解です。6か月前は多分5%でした。
だから重要ではありませんでした。5%は記録されません。
今、それは重要ないくつかの要因の一つになりつつあるポイントに達しています。
それはどんどんスピードアップし続けるでしょう。
6か月前は、これが顕著な要因ではなかったので、ほぼ同じポイントにある企業が複数ありましたが、それはどんどんスピードアップし始めていると思います。
また、コードに使用されるモデルを書く企業が複数あり、私たちは他の企業が内部で私たちのモデルを使用することを完全に防ぐことが完全にうまくいっているわけではありません。
だから、私たちが見ているすべては、この雪だるま式のモデルと一貫していると思います。
繰り返しますが、私のテーマはすべて、これはすべてソフトテイクオフ、ソフトでスムーズな指数関数ですが、指数関数は比較的急峻です。
だから、この雪だるまが勢いを集めているのが見えています。10%、20%、25%、40%です。
進むにつれて、アムダールの法則で、ループを閉じることを妨げているすべてのものを取り除かなければなりません。
しかし、これはAnthropic内での最大の優先事項の一つです。
オンザジョブ学習の必要性と代替アプローチ
一歩下がって、前にスタックで話していたのは、このオンザジョブ学習をいつ得るかでした。
コーディングのことであなたが言っているポイントは、実際にはオンザジョブ学習は必要ないということのようです。
このオンザジョブ学習という基本的な人間の能力なしに、巨大な生産性向上を得ることができ、AI企業にとって潜在的に何兆ドルもの収益を得ることができます。
それがあなたの主張ではないかもしれませんが、明確にすべきです。
しかし、ほとんどの経済活動の領域では、人々は「誰かを雇った、彼らは最初の数か月はそれほど有用ではなかった、そして時間の経過とともに、コンテキスト、理解を構築した」と言います。
ここで何について話しているのかを定義するのは実際には難しいです。
しかし、彼らは何かを得て、今では彼らは主力であり、私たちにとって非常に価値があります。
AIがこのオンザフライで学習する能力を発達させなければ、その能力なしに世界に大きな変化が見られるかどうかについては少し懐疑的です。
ここで二つのことがあると思います。
今の技術の状態があります。繰り返しますが、二つの段階があります。
大量のデータとタスクをモデルに投げ込む事前学習と強化学習の段階があり、その後、それらが汎化します。
だから、学習のようなものですが、一人の人間や一つのモデルの生涯にわたる学習ではなく、より多くのデータからの学習のようなものです。
だから繰り返しますが、これは進化と人間の学習の中間に位置しています。
しかし、これらすべてのスキルを学習すると、それらを持っています。
事前学習と同じように、事前学習されたモデルを見ると、日本の侍の歴史について私よりも多くを知っています。
野球について私よりも多くを知っています。
ローパスフィルタや電子工学、これらすべてのことについて私よりも多くを知っています。
その知識は私のものよりもはるかに広いです。
だから、それだけでも、モデルがすべてにおいてより良いという点に到達する可能性があると思います。
また、既存のセットアップをスケーリングするだけで、コンテキスト内学習があります。
私はそれを人間のオンザジョブ学習のようなものだと説明しますが、少し弱く、少し短期的です。
コンテキスト内学習を見ると、モデルに多くの例を与えるとそれを理解します。コンテキスト内で起こる本物の学習があります。
100万トークンは多いです。それは人間の学習の何日分にもなり得ます。
モデルが100万語を読むことについて考えると、私が100万を読むのにどれくらいかかるでしょうか。少なくとも何日か何週間です。
だから、これら二つのものがあります。
既存のパラダイム内のこれら二つのものだけで、「データセンター内の天才国家」を得るのに十分かもしれないと思います。
確信はありませんが、それらはその大部分を得ることができると思います。
ギャップがあるかもしれませんが、確かに、物事がそのままであるだけで、これは何兆ドルもの収益を生み出すのに十分です。それが一つ。
二つ目は、この継続的学習のアイデア、単一のモデルが仕事で学習するというアイデアです。
私たちもそれに取り組んでいると思います。
次の1、2年以内に、それも解決する良い可能性があります。
繰り返しますが、それなしでもほとんどそこに到達すると思います。
年間何兆ドルもの市場、「The Adolescence of Technology」で書いたすべての国家安全保障上の影響と安全性への影響は、それなしで起こり得ます。
しかし、私たち、そして他の人々もおそらく、それに取り組んでいます。
次の1、2年以内にそこに到達する良い可能性があります。
いくつかのアイデアがあります。すべての詳細には入りませんが、一つはコンテキストを長くすることです。
より長いコンテキストが機能しない理由は何もありません。
より長いコンテキストでトレーニングし、それから推論でそれらを提供することを学ぶだけです。
それらの両方は、私たちが取り組んでいるエンジニアリング問題であり、他の人々も取り組んでいると思われます。
コンテキスト長の拡張と技術的課題
このコンテキスト長の増加ですが、2020年から2023年にかけて、GPT-3からGPT-4 Turboまで、コンテキスト長が2000から128Kに増加した時期があったように思えます。
それ以来、約2年間、同じような範囲にいるように感じます。
コンテキスト長がそれよりもはるかに長くなると、人々はそのフルコンテキストを考慮するモデルの能力に定性的な劣化を報告します。
だから、「1000万コンテキスト、1億コンテキストで6か月の人間の学習とコンテキスト構築を得る」と考える理由を、内部で何を見ているのか知りたいです。
これは研究問題ではありません。これはエンジニアリングと推論の問題です。
長いコンテキストを提供したい場合、KVキャッシュ全体を保存する必要があります。
GPUにすべてのメモリを保存し、メモリをやりくりするのは難しいです。
詳細すら知りません。
この時点で、これは私がもはやフォローできない詳細レベルにあります。GPT-3時代には知っていましたが。「これらは重み、これらは保存しなければならない活性化…」
しかし、最近では全体が逆転しています。なぜなら、MoEモデルなどがあるからです。
あなたが話しているこの劣化について、あまり具体的にならずに言うと、二つのことがあります。
トレーニングするコンテキスト長と、提供するコンテキスト長があります。
小さいコンテキスト長でトレーニングして、その後長いコンテキスト長で提供しようとすると、おそらくこれらの劣化が得られます。
何もないよりは良いですが、まだそれを提供するかもしれませんが、これらの劣化が得られます。
長いコンテキスト長でトレーニングするのがより難しいかもしれません。
同時に、おそらくいくつかのウサギの穴について尋ねたいと思います。
より長いコンテキスト長でトレーニングしなければならない場合、同じ量のコンピュートで得られるサンプルが少なくなることを期待しませんか?
おそらくそれについて深く掘り下げる価値はないかもしれません。
より大きな全体像の質問への答えを得たいです。6か月間私のために働いてきた人間の編集者対、6か月間私と一緒に働いてきたAI、その選好を感じない年はいつだと予測しますか?
それについての私の推測は、基本的に「データセンター内の天才国家」を持ったときにこれができる問題がたくさんあるということです。
私の予想は、推測させられるなら、1〜2年、多分1〜3年です。
本当に分かりにくいです。強い見解があります——99%、95%——これはすべて10年以内に起こるでしょう。それは本当に安全な賭けだと思います。
予感があります——これはもっと50/50のことです——1〜2年、多分1〜3年のようになるでしょう。
だから1〜3年です。
天才国家、そしてビデオを編集するというわずかに経済的価値の低いタスク。
かなり経済的に価値があるように思えますが、私に言わせてください。
そのような使用例がたくさんあります。似たようなものがたくさんあります。
あなたは1〜3年以内にそれを予測しているということですね。
そして一般的に、Anthropicは、2026年後半または2027年初頭までに、「今日のデジタル作業で人間が利用できるインターフェースをナビゲートする能力、ノーベル賞受賞者のものに匹敵するかそれを超える知的能力、物理世界とインターフェースする能力」を持つAIシステムを持つと予測しています。
あなたは2か月前にDealBookでインタビューをしましたが、そこで競合他社と比較して、あなたの会社のより責任あるコンピュートスケーリングを強調していました。これら二つの見解を整合させようとしています。
本当にデータセンター内の天才国家を持つことを信じているなら、できるだけ大きなデータセンターが欲しいはずです。スピードを落とす理由はありません。
実際にノーベル賞受賞者ができるすべてをできるノーベル賞受賞者のTAMは、何兆ドルもあります。
だから、より穏健なタイムラインがある場合に合理的に見えるこの保守性を、進歩についてのあなたの述べられた見解と整合させようとしています。
データセンター投資と経済的拡散の不確実性
実際にはすべてが一緒に収まります。この速いが無限に速くない拡散に戻ります。
この速度で進歩していると言いましょう。技術はこれだけ速く進歩しています。
数年以内にそこに到達するという非常に高い確信があります。
1、2年以内にそこに到達するという予感があります。
だから、技術側には少しの不確実性がありますが、大きくずれないという非常に強い確信があります。
私がより確信が持てないのは、繰り返しますが、経済的拡散側です。
1、2年でデータセンター内の天才国家であるモデルを持つことができると本当に信じています。
一つの質問は、その後何年で何兆もの収益が転がり込み始めるかです。
すぐになることが保証されているとは思いません。
データセンター投資の不確実性
1年後かもしれないし、2年後かもしれない。5年まで伸びる可能性もありますが、それには懐疑的です。このような不確実性があるわけです。たとえ技術が私が予想する通りに速く進歩したとしても、それがどれだけ速く収益を生み出すかは正確には分かりません。
それが来ることは分かっていますが、データセンターの購入方法を考えると、数年ずれただけで破滅的な結果になりかねません。これはまさに私が「Machines of Loving Grace」で書いた通りです。この強力なAI、この「データセンター内の天才の国」を手に入れられるかもしれないと言いました。あなたが述べた説明は「Machines of Loving Grace」から来ています。2026年、おそらく2027年にそれを手に入れるだろうと言いました。繰り返しますが、これは私の直感です。1年か2年ずれても驚きませんが、それが私の直感です。
それが実現したとしましょう。それがスタートの合図です。すべての病気を治すのにどれくらいかかるでしょうか。それが莫大な経済価値を生み出す方法の一つです。すべての病気を治す。その価値がどれだけ製薬会社やAI企業に行くかという問題はありますが、莫大な消費者余剰が生まれます。なぜなら、私が非常に重視している全員がアクセスできると仮定すれば、これらすべての病気を治すことができるからです。
どれくらいかかるでしょうか。生物学的発見をしなければなりません。新薬を製造しなければなりません。規制プロセスを通過しなければなりません。ワクチンとCOVIDで見ましたね。全員にワクチンを届けましたが、1年半かかりました。
私の質問は、すべての病気の治療法を全員に届けるのにどれくらいかかるかということです。理論的にはAIが発明できる天才であるこの治療法を、実際に全員に届けるまでにどれくらいかかるか。そのAIが最初に研究室に存在してから、実際に全員の病気が治るまでにどれくらいかかるでしょうか。
ポリオワクチンは50年前からありました。今でもアフリカの最も辺境の地域でそれを根絶しようとしています。ゲイツ財団が懸命に取り組んでいます。他の人たちも懸命に取り組んでいます。しかしそれは困難です。繰り返しますが、経済的普及のほとんどがそれほど困難になるとは思いません。それは最も困難なケースです。しかし、ここには本当のジレンマがあります。
私がたどり着いた結論は、それは世界でこれまで見たことのない速さで起こるでしょうが、それでも限界があるということです。
収益成長と計算リソースのバランス
データセンターの購入に話を戻すと、私が見ている曲線は毎年10倍の増加が続いているということです。
今年の初めには、年間100億ドルの収益を見ていました。どれだけの計算リソースを購入するか決めなければなりません。実際にデータセンターを構築し、確保するには1年か2年かかります。
基本的に私が言っているのは、2027年にどれだけの計算リソースを得られるかということです。収益が年間10倍で成長し続けると仮定することもできます。そうすると2026年末には1000億ドル、2027年末には1兆ドルになります。
実際には5兆ドルの計算リソースになるでしょう。なぜなら年間1兆ドルが5年間続くからです。2027年末から始まる1兆ドルの計算リソースを購入することもできます。
もし収益が1兆ドルでなく、8000億ドルだったとしても、そんなに多くの計算リソースを購入したら、地球上のどんな力も、どんなヘッジも私が破産するのを止められません。
私の脳の一部は10倍成長が続くのではないかと思っていますが、2027年に年間1兆ドルの計算リソースを購入することはできません。
もしその成長率が1年ずれただけでも、あるいは成長率が年間10倍ではなく5倍だったとしても、破産してしまいます。
結局、数兆ドルではなく数千億ドルをサポートする世界に行き着くことになります。需要があまりに多くて収益をサポートできないというリスクを受け入れ、間違えてまだ遅いというリスクも受け入けるのです。
責任ある行動について話したとき、私が実際に意味していたのは絶対額ではありませんでした。他のプレーヤーと比べて少し少なく支出しているのは事実だと思います。
実際には他のこと、つまり慎重に考えているか、それともYOLOで「ここに1000億ドル、あそこに1000億ドル」と言っているかということです。
他の企業の一部は表計算を書き下ろしておらず、自分たちが取っているリスクを本当に理解していないという印象を受けます。
かっこいいからやっているだけです。私たちは慎重に考えています。私たちはエンタープライズビジネスです。したがって、収益をより頼りにできます。消費者向けよりも気まぐれが少ないのです。マージンも良く、買いすぎと買い足りないの間のバッファーになります。
かなり強い上昇局面を捉えられる量を購入したと思います。
年間10倍の完全な成長は捉えられないでしょう。財政的に困難な状況になるには、かなり悪い方向に進まなければなりません。慎重に考え、そのバランスを取りました。それが私が責任を持っていると言う意味です。
「データセンター内の天才の国」の定義
「データセンター内の天才の国」の定義が実際には異なるのかもしれません。
なぜなら、実際の人間の天才について考えるとき、データセンター内の実際の天才の国について考えるとき、私は喜んで5兆ドル相当の計算リソースを購入して、データセンター内の実際の天才の国を運営するでしょう。
JPモルガンやモデルナなどがそれらを使いたくないとしましょう。私には天才の国があります。
彼らは自分の会社を立ち上げるでしょう。もし自分の会社を立ち上げられず、臨床試験がボトルネックになっているなら…臨床試験について述べておくべきことは、ほとんどの臨床試験が失敗するのは薬が効かないからだということです。有効性がないのです。
「Machines of Loving Grace」でまさにその点を指摘しています。臨床試験は私たちが慣れているよりもはるかに速く進むでしょうが、無限に速くはないと言っています。
そして、臨床試験がうまくいって、そこから収益を得てより多くの薬を作れるようになるまでに1年かかるとしましょう。
では、天才の国があって、あなたはAI研究所だとします。はるかに多くのAI研究者を使うこともできます。賢い人々がAI技術に取り組むことで自己強化的な利益があるとも考えているわけですよね。
データセンターをAIの進歩に使うこともできます。年間1兆ドルの計算リソースを購入するのと、年間3000億ドルの計算リソースを購入するのとで、実質的にさらなる利益はあるのでしょうか。
競合が1兆ドル購入しているなら、はい、あります。
いや、いくらかの利益はありますが、それより前に破産する可能性もあります。
繰り返しますが、1年ずれただけで自滅してしまいます。それがバランスです。
私たちは多く購入しています。非常に多く購入しています。業界最大手が購入している量に匹敵する量を購入しています。
しかし、「なぜ2027年半ばから始まる10兆ドルの計算リソースにサインしなかったのか」と聞かれたら…まず第一に、それは生産できません。世界にそれだけの量はありません。
しかし第二に、天才の国が来たとしても、2027年半ばではなく2028年半ばに来たらどうなるでしょうか。破産してしまいます。
産業全体の計算リソース成長
予測が1年から3年なら、遅くとも2029年までには10兆ドルの計算リソースが必要だと思いますよね。
あなたが述べている最も長いバージョンのタイムラインでさえ、構築しようとしている計算リソースの増強は一致していないように思えます。
何がそう思わせるのでしょうか。人間の賃金は年間約50兆ドルです…
Anthropicについて特に話すつもりはありませんが、産業について話すなら、産業が今年構築している計算リソースの量はおそらく、10〜15ギガワットと言えるでしょう。年間約3倍ずつ増えています。
来年は30〜40ギガワットです。2028年は100ギガワットかもしれません。2029年は300ギガワットかもしれません。
頭の中で計算していますが、各ギガワットは年間約100億ドル、10〜150億ドルのオーダーです。
それをすべて合わせると、あなたが述べた通りになります。まさにそれが得られます。
2028年か2029年までに年間数兆ドルが得られます。あなたが予測した通りのものが得られます。
それは産業全体についてです。
そうです、産業全体についてです。
Anthropicの計算リソースが年間3倍ずつ増え続けて、2027〜28年までに10ギガワットになると仮定しましょう。
あなたが言うように、それに100億ドルを掛けます。すると年間1000億ドルのようになります。
でも、2028年までのTAMは2000億ドルだと言っているわけですよね。
繰り返しますが、Anthropicの正確な数字は言いたくありませんが、これらの数字は小さすぎます。
なるほど、興味深いですね。
収益性の予測について
2028年から収益性が出ると投資家に伝えていますね。これは潜在的にデータセンターとしての天才の国を手に入れる年です。これで医学や健康、新技術におけるあらゆる進歩が解き放たれることになります。
これはまさに、ビジネスに再投資して、より多くの発見ができるようより大きな「国」を構築したいと思う時期ではないでしょうか。
収益性というのはこの分野では奇妙なものです。
この分野では、収益性が実際に支出削減対ビジネスへの投資の尺度だとは思いません。これのモデルを取ってみましょう。
実際、収益性は得られると思っていた需要の量を過小評価したときに起こり、損失は得られると思っていた需要の量を過大評価したときに起こると思います。なぜなら、データセンターを事前に購入しているからです。
こう考えてみてください。繰り返しますが、これらは様式化された事実です。これらの数字は正確ではありません。ここでおもちゃのモデルを作ろうとしているだけです。
計算リソースの半分が訓練用で、半分が推論用だとしましょう。
推論には50%以上の粗利益があります。
つまり、定常状態で、データセンターを構築して得られる需要を正確に知っていれば、一定の収益が得られるということです。
年間1000億ドルの計算リソースに支払うとしましょう。500億ドルで1500億ドルの収益をサポートします。残りの500億ドルは訓練に使われます。
基本的に収益性があり、500億ドルの利益を上げます。
これが今日の業界の経済性です。正確には今日ではありませんが、1年か2年先を予測しているところです。
それがそうならない唯一のことは、500億ドル未満の需要を得た場合です。そうするとデータセンターの50%以上が研究用になり、収益性がなくなります。
より強力なモデルを訓練しますが、収益性はありません。
思ったより多くの需要があった場合、研究が圧迫されますが、より多くの推論をサポートでき、より収益性が高くなります。
うまく説明できていないかもしれませんが、私が言おうとしているのは、最初に計算リソースの量を決めるということです。
そして、推論対訓練の目標的な希望がありますが、それは需要によって決まります。
あなたによって決まるのではありません。
私が聞いているのは、利益を予測する理由は、基本的に計算リソースに制約がある世界にいるように思えるからです。
最終的には計算リソースを増やし続けます…
いや、いや、いや。利益がもたらされる方法は…繰り返しますが、ここで業界全体を抽象化しましょう。経済学の教科書にいると想像しましょう。
少数の企業があります。それぞれ限られた額を投資できます。
それぞれR&Dに一定の割合を投資できます。提供するための限界費用がいくらかあります。
その限界費用に対する粗利益率は非常に高いです。なぜなら推論は効率的だからです。
いくらかの競争がありますが、モデルも差別化されています。
企業は研究予算を押し上げるために競争します。
しかし少数のプレーヤーなので、クールノー均衡と呼ばれるものがあると思います。それが少数企業均衡だと思います。
要点は、ゼロマージンの完全競争に均衡しないということです。
経済に3つの企業があり、すべてが独立して合理的に行動している場合、ゼロに均衡しません。
それを理解させてください。なぜなら今、3つの主要企業がありますが、利益を上げていないからです。何が変わっているのでしょうか。
繰り返しますが、今の粗利益は非常にプラスです。
起こっているのは2つのことの組み合わせです。一つは、まだ計算リソースの指数関数的拡大段階にあるということです。モデルが訓練されます。
昨年10億ドルかかったモデルが訓練されたとしましょう。そして今年それが40億ドルの収益を生み出し、推論に10億ドルかかったとします。
繰り返しますが、ここでは様式化された数字を使っていますが、それは粗利益率75%とこの25%の税金になります。
つまりそのモデル全体で20億ドルを稼ぎます。
しかし同時に、指数関数的拡大があるため、次のモデルを訓練するために100億ドルを費やしています。それで会社は損失を出します。
各モデルは利益を上げますが、会社は損失を出します。
私が話している均衡は、「データセンター内の天才の国」があるが、そのモデル訓練の拡大が均衡した均衡です。
おそらくまだ上昇しています。まだ需要を予測しようとしていますが、より平準化されています。
そこでいくつか混乱しています。
現在の世界から始めましょう。現在の世界では、以前おっしゃったように、各個別のモデルを会社として扱えば、それは収益性があります。
しかしもちろん、最先端の研究所であることの生産関数の大きな部分は次のモデルを訓練することですよね。
はい、その通りです。
それをしなければ、2ヶ月間利益を上げて、その後最高のモデルがないのでマージンがなくなるでしょう。
しかしある時点でそれは到達できる最大規模に達します。
そして均衡では、アルゴリズムの改善がありますが、次のモデルを訓練するために現在のモデルを訓練するのとほぼ同じ額を費やしています。
ある時点で経済にお金がなくなります。
固定された労働の誤謬…経済は成長するでしょう、そうですよね。それはあなたの予測の一つです。宇宙にデータセンターを持つことになります。
はい、しかしこれは私が話していたテーマの別の例です。経済はAIによってこれまでよりもはるかに速く成長するでしょう。
今、計算リソースは年間3倍で成長しています。経済が年間300%成長するとは思いません。
「Machines of Loving Grace」で言ったように、経済は年間10〜20%の成長をするかもしれないと思いますが、経済が300%成長することはないでしょう。
最終的に、計算リソースが経済が生み出すものの大部分になれば、それによって制限されると思います。
計算リソースが上限に達し続けると仮定するモデルを取りましょう。
最先端の研究所が利益を上げている世界は、速い進歩を続けている世界です。
なぜなら、基本的にあなたのマージンは代替案がどれだけ良いかによって制限されるからです。
最先端のモデルを持っているから利益を上げられるのです。
最先端のモデルを持っていなければ、利益を上げられないでしょう。
このモデルは定常状態が決してないことを必要とします。
永遠にアルゴリズムの進歩を続けなければなりません。
それは真実だとは思いません。経済学の授業にいるような気分です。
Tyler Cowenの引用を知っていますか。
経済学について話すのをやめることはありません。
経済学について話すのをやめることはありません。
この分野が独占になるとは思いません。
私の弁護士は決して「独占」という言葉を言わないでほしいと思っています。
しかし、この分野が独占になるとは思いません。
少数のプレーヤーがいる産業はあります。
一つではなく、少数のプレーヤーです。
通常、FacebookやMeta—私はいつもFacebookと呼びます—のような独占を得る方法は、こうしたネットワーク効果です。
少数のプレーヤーがいる産業を得る方法は、非常に高い参入コストです。クラウドがこれに当てはまります。クラウドは良い例だと思います。
クラウドには3つ、おそらく4つのプレーヤーがいます。AIも同じで、3つ、おそらく4つだと思います。
その理由は非常に高価だからです。クラウド企業を運営するには非常に多くの専門知識と資本が必要です。多くの資本を投入しなければなりません。
多くの資本を投入することに加えて、それを実現するために多くのスキルを必要とする他のすべてのものを手に入れなければなりません。
誰かのところに行って「この産業を破壊したい、ここに1000億ドルある」と言うようなものです。「1000億ドルを投入して、これらの人々がやってきた他のすべてのことをあなたもできるという賭けをしている」という感じです。
利益を減らすためだけに。
参入の効果は利益率が下がることです。
経済にこのような均衡が常にあります。少数のプレーヤーがいます。利益は天文学的ではありません。マージンは天文学的ではありませんが、ゼロでもありません。
それがクラウドで見るものです。クラウドは非常に差別化されていません。モデルはクラウドよりも差別化されています。
Claudeが異なることが得意で、GPTが異なることが得意で、Geminiが異なることが得意だということは誰もが知っています。
Claudeがコーディングが得意で、GPTが数学と推論が得意というだけではありません。もっと微妙です。モデルは異なるタイプのコーディングが得意です。モデルには異なるスタイルがあります。これらのものは実際にかなり異なっていると思いますので、クラウドで見るよりも差別化が期待できます。
ただし、一つの反論があります。
その反論は、モデルを生産するプロセス、AIモデル自体がそれをできるなら、それが経済全体に広がる可能性があるということです。
しかしそれは一般的にAIモデルを商品化する議論ではありません。
それは一度に経済全体を商品化する議論のようなものです。
基本的に誰でも何でもできて、誰でも何でも構築でき、何の堀もない世界で何が起こるかわかりません。
わかりません、おそらく私たちはその世界を望んでいるのかもしれません。それが最終状態かもしれません。
AIモデルがすべてをできるようになったとき、すべての安全性とセキュリティの問題を解決していれば、それが経済を再び平坦化するメカニズムの一つかもしれません。
しかしそれは「データセンター内の天才の国」のかなり先です。
AI研究の差別化と普及速度
その潜在的なポイントをより細かく言うと、1)AI研究は特に生の知的能力に依存しているように思え、それはAGIの世界で特に豊富になるでしょう。
そして2)今日の世界を見ると、AIのアルゴリズムの進歩ほど速く普及している技術はほとんどないようです。
それは、この産業が構造的に普及的であることを示唆しています。
コーディングは速く進んでいると思いますが、AI研究はコーディングのスーパーセットであり、速く進んでいない側面があると思います。
しかし、コーディングを手に入れたら、AIモデルが速く進むようになったら、それがAIモデルが他のすべてをする能力を加速するでしょう。
今コーディングは速く進んでいますが、AIモデルが次のAIモデルを構築し、他のすべてを構築するようになったら、経済全体が同じペースで進むようになると思います。
ただ、地理的には心配しています。AIに近いこと、AIについて聞いたことがあることが一つの差別化要因になるかもしれないと少し心配しています。
10〜20%の成長率と言ったとき、私が心配しているのは、成長率がシリコンバレーとシリコンバレーに社会的につながっている世界の一部で50%のようになり、他の場所では現在のペースよりそれほど速くならない可能性があるということです。
それはかなり混乱した世界だと思います。
それを防ぐ方法について多く考えています。
ロボティクスの将来
データセンター内の天才の国を手に入れたら、ロボティクスもその後すぐに解決されると思いますか。
なぜならロボティクスの大きな問題は、人間が現在のハードウェアを遠隔操作する方法を学べるが、現在のAIモデルはできない、少なくとも非常に生産的な方法ではできないように思えるからです。
人間のように学習する能力があれば、ロボティクスもすぐに解決するはずではないでしょうか。
人間のように学習することに依存しているとは思いません。
異なる方法で起こる可能性があります。繰り返しますが、多くの異なるビデオゲーム—ロボット制御のようなもの—や多くの異なるシミュレートされたロボティクス環境でモデルを訓練したり、コンピュータ画面を制御するように訓練して、一般化を学習させたりできます。
いつかは起こるでしょう…必ずしも人間のような学習に依存しているわけではありません。
人間のような学習は起こる一つの方法です。
モデルが「ああ、ロボットを拾い上げた、使い方がわからない、学習する」という場合、それは継続学習を発見したから起こる可能性があります。
それは多くの環境でモデルを訓練してから一般化したために起こる可能性もあります。または、モデルがコンテキストの長さでそれを学習するために起こる可能性もあります。
どの方法でも実際には問題ではありません。
1時間前に行った議論に戻ると、そのタイプのことはいくつかの異なる方法で起こる可能性があります。
しかし、何らかの理由でモデルがそれらのスキルを持ったとき、ロボティクスは革命を起こすでしょう。ロボットの設計の両方で、モデルが人間よりもはるかに優れているため、そしてロボットを制御する能力でも。
より良い物理的ハードウェア、物理的ロボットの構築ができるようになり、制御も上手くなります。
それはロボティクス産業も数兆ドルの収益を生み出すことを意味するでしょうか。
私の答えはイエスですが、同じように非常に速いが無限に速くはない普及があるでしょう。
ロボティクスは革命を起こすでしょうか。はい、おそらくもう1年か2年追加してください。
それが私がこれらのことについて考える方法です。
継続学習と人間の知能
理にかなっています。非常に速い進歩について一般的な懐疑があります。私の見解はこうです。
何らかの方法で数年以内に継続学習を解決するように聞こえます。
しかし、数年前は人々が継続学習について話していなかったのと同じように、それから気づいたのです。「ああ、なぜこれらのモデルは今できるだけ有用ではないのか、チューリングテストに明らかに合格していて、非常に多くの異なる領域の専門家であるのに。おそらくこれです。」そしてこれを解決して、実際にはまだ別のものがあることに気づきます。人間の知能ができることで、これらのモデルができないことがあり、それが人間の労働の基礎です。
そういうものがもっとあると考えないのはなぜでしょうか。人間の知能のさらなる部分を見つけるような。
明確にするために、継続学習は以前に言ったように、全く障壁ではないかもしれません。
事前訓練の一般化とRLの一般化によってそこに到達するだけかもしれないと思います。
そのようなものが全くないかもしれないと思います。
実際、MLの歴史で人々が障壁だと考えたものが、計算の大きな塊の中で解消されてしまうことを指摘したいと思います。
人々は「モデルは名詞と動詞をどう追跡するのか」と話していました。
「統語的には理解できるが、意味的には理解できない?統計的相関に過ぎない。」
「段落は理解できるが、単語は理解できない。」
「推論がある。推論はできない。」しかし突然、コードと数学が非常によくできることが分かります。
実際、これらのいくつかが大きな問題のように思えてから解消される、より強い歴史があると思います。
いくつかは本物です。データの必要性は本物で、継続学習は本物かもしれません。
しかし繰り返しますが、コードのようなものに基づくことになります。
1年か2年でモデルがSWEをエンドツーエンドでできるようになるかもしれないと思います。それは一つのタスク全体です。
人間活動の全領域がモデルが今できると言っているのです。
エンドツーエンドと言うとき、技術的方向性の設定、問題の文脈の理解などを意味しますか。
はい。すべてを意味します。
興味深いですね。それはAGI完全だと感じますが、内部的に一貫しているかもしれません。
しかし、コードの90%とかコードの100%と言っているようなものではありません。
いや、私はこのスペクトルを示しました。コードの90%、コードの100%、エンドツーエンドSWEの90%、エンドツーエンドSWEの100%。
SWEのために新しいタスクが作られます。最終的にそれらも完了します。
そこには長いスペクトルがありますが、スペクトルを非常に速く横断しています。
あなたがやったいくつかのポッドキャストを見たのは面白いと思います。ホストが「でもDwarkeshが継続学習のことについてエッセイを書いたんですよ」と言います。
それはいつも私を笑わせます。なぜならあなたは10年間AI研究者をやってきたのに。
「ポッドキャスターがエッセイを書いて、インタビューのたびにそれについて聞かれる」という感じがいくらかあると確信しています。
真実は、私たち全員が一緒にこれを理解しようとしているということです。
他の人が見えない方法でいくつかのことを見ることができる方法があります。
最近では、それはおそらくAnthropic内の多くのものを見て、多くの決定をしなければならないことと関係があり、私が持つ素晴らしい研究の洞察というよりはそうです。
私は2,500人の会社を経営しています。
具体的な研究の洞察を持つことは、10年前やさらには2、3年前よりもはるかに難しくなっています。
APIモデルとAGIの価格設定
完全な代替リモートワーカーの世界に向かうにつれて、API価格モデルがまだ最も意味をなすのでしょうか。
そうでない場合、AGIの価格設定や提供の正しい方法は何でしょうか。
ここには一度に多くの異なるビジネスモデルがあり、それらが実験されると思います。
実際、APIモデルは多くの人が思っているよりも耐久性があると思います。
私がそれについて考える一つの方法は、技術が速く進歩している場合、指数関数的に進歩している場合、それは過去3ヶ月で開発された新しいユースケースの表面積が常にあるということを意味します。
導入する製品の表面は常に無関係になるリスクがあります。
特定の製品表面はおそらくモデルの能力の範囲に意味をなします。
チャットボットはすでに限界に達しています。それをより賢くしても、平均的な消費者にはそれほど役立ちません。
しかしそれはAIモデルの限界だとは思いません。モデルが良くなることが経済にとって重要ではないという証拠だとは思いません。
その特定の製品には重要ではありません。
APIの価値は、APIが最新のものの上に構築する機会を常に、ベアメタルに非常に近い形で提供することだと思います。
数ヶ月前には不可能だったが、モデルが進歩しているために可能になった新しいスタートアップや新しいアイデアのフロントが常にあるでしょう。
他のモデルと並んで存在すると予測していますが、常にAPIビジネスモデルを持つことになると思います。なぜなら、常に1000人の異なる人々がモデルを異なる方法で実験してみる必要があるからです。
そのうち100が�タートアップになり、10が大きな成功したスタートアップになります。
2つか3つが本当に人々がその世代のモデルを使う方法になります。
基本的に常に存在すると思います。
同時に、他のモデルもあると確信しています。
モデルが出力するすべてのトークンが同じ価値があるわけではありません。
「Macが動かない」とか何かで誰かが呼び出したときにモデルが出力するトークンの価値を考えてください。モデルは「再起動してください」と言います。
誰かはそれを聞いたことがないかもしれませんが、モデルはそれを1000万回言いました。
それはおそらく1ドルか数セントかそこらの価値があるでしょう。
一方、モデルが製薬会社の一つに行って「ああ、あなたが開発しているこの分子、芳香環を分子のあの端からこの端に移すべきです。そうすれば素晴らしいことが起こるでしょう」と言ったとします。
それらのトークンは数千万ドルの価値があるかもしれません。
それを認識するビジネスモデルを確実に見ることになると思います。
ある時点で何らかの形で「成果に対する支払い」を見ることになるでしょう。または、時間給で働くような労働に似た報酬の形を見るかもしれません。わかりません。
新しい産業なので、多くのことが試されると思います。
何が正しいことになるかわかりません。
人々はこの知性の塊を使う最良の方法を見つけるために物事を試さなければならないというあなたの指摘は理解しています。
しかし私が印象的だと思うのはClaude Codeです。
スタートアップの歴史の中で、コーディングエージェントほど激しく競争されてきた単一のアプリケーションはなかったと思います。
Claude Codeはここでカテゴリーリーダーです。それは私には驚きです。本質的にAnthropicが構築しなければならなかったとは思えません。
なぜAnthropicでなければならなかったのか、またはAnthropicがどのようにして基礎となるモデルに加えて成功したアプリケーションを構築することになったのか、説明があるか気になります。
Claude Codeの開発経緯
実際にはかなりシンプルな方法で起こりました。
コーディングが得意な独自のコーディングモデルがありました。
2025年の初めごろ、私は「これらのモデルを使用することで、AI企業であれば自分の研究を重要に加速できる時が来たと思う」と言いました。
もちろん、それらを使うにはインターフェース、ハーネスが必要です。
内部の人々に奨励しました。これを使わなければならない一つのものだと言ったわけではありません。
人々はこれを実験すべきだと言っただけです。
最初はClaude CLIと呼ばれていたかもしれませんが、最終的に名前がClaude Codeに変更されました。
内部では、それはみんなが使っているもので、速い内部採用を見ていました。
私はそれを見て、「おそらく外部に発表すべきだよね」と言いました。
Anthropic内で非常に速い採用を見ています。
コーディングは私たちがすることの多くです。
ある意味では外部のオーディエンスを代表している数百人の多くのオーディエンスがあります。
すでにプロダクトマーケットフィットがあるように見えます。これを発表しましょう。そして発表しました。
モデルを開発しているのが私たち自身で、モデルを使うために最も必要なものを知っているのが私たち自身であるという事実が、このフィードバックループを作っていると思います。
なるほど。Anthropicの開発者が「ああ、このXのことでより良ければいいのに」と思う意味で。
それを次に構築するモデルに組み込むのですね。
それはそのバージョンの一つですが、通常の製品の反復もあります。
Anthropic内に多くのコーダーがいて、彼らは毎日Claude Codeを使うので、速いフィードバックを得ます。
それは初期の頃により重要でした。
もちろん今では数百万人がそれを使っているので、多くの外部フィードバックも得ています。
しかし速い内部フィードバックを得られることは素晴らしいことです。
これが私たちがコーディングモデルを発表して製薬会社を立ち上げなかった理由だと思います。
私のバックグラウンドは生物学ですが、製薬会社を立ち上げるために必要なリソースは何も持っていません。
AIの安全性とガバナンス
AIをうまく機能させることについてあなたに聞かせてください。
AIがうまくいく方法についてのビジョンは、2つのことと互換性がなければならないようです。1)AIを構築して実行する能力が非常に速く普及していること、2)AIの人口、つまり私たちが持つ量とその知性も非常に速く増加すること。
それは、多くの人々が大量の不整合なAIを構築できることを意味します。または単に自分の足跡を増やそうとしている企業であるAI、あるいはSydney Bingのような奇妙な心理を持っているが今は超人的なAIです。
多くの異なるAI、いくつかは不整合で走り回っている世界で、私たちが互換性のある均衡を持つ世界のビジョンは何でしょうか。
「The Adolescence of Technology」で、パワーバランスには懐疑的でした。
しかし私が特に懐疑的だったのは、同じものから派生したモデルを構築しているこれらの企業が3つか4つあって、それらがお互いをチェックするということでした。
あるいは、どんな数であってもお互いをチェックするということです。
一人の人間や一つのAIモデルが他のすべてに損害を与える何かをするのに十分賢い、攻撃優位の世界に住んでいるかもしれません。
短期的には、今は限られた数のプレーヤーがいます。
限られた数のプレーヤーの中で始めることができます。
保護措置を導入する必要があります。
全員が正しいアライメント作業をすることを確認する必要があります。
全員がバイオ分類器を持つことを確認する必要があります。
それらが私たちが今すぐにしなければならないことです。
長期的にはそれが問題を解決しないことには同意します。特に、AIモデルが他のAIモデルを作る能力が広がれば、全体がより解決しにくくなる可能性があります。
長期的には何らかのガバナンスのアーキテクチャが必要だと思います。
人間の自由を保持しながらも、非常に多数の人間システム、AIシステム、ハイブリッドな人間-AI企業または経済単位を統治できるガバナンスのアーキテクチャが必要です。
考えなければならないのは、バイオテロリズムから世界をどう守るか。ミラーライフから世界をどう守るか。
おそらく、これらすべてのことを監視する何らかのAI監視システムが必要になるでしょう。
しかし、市民の自由と憲法上の権利を保持する方法でこれを構築する必要があります。
他のものと同じように、新しいツールのセットと新しい脆弱性のセットを持つ新しいセキュリティ環境だと思います。
私の心配は、これがすべて非常にゆっくりと100年かけて起こるなら、慣れるだろうということです。
社会における爆発物の存在や、さまざまな新しい武器の存在や、ビデオカメラの存在に慣れてきました。
100年かけて慣れて、ガバナンスメカニズムを開発するでしょう。間違いを犯すでしょう。
私の心配は、これがあまりにも速く起こっていることです。
これらのガバナンスメカニズムを機能させる方法について、より速く考える必要があるかもしれません。
攻撃優位の世界では、次の世紀にわたって—アイデアは、AIが次の世紀に起こる進歩を5年から10年の期間で起こすということですが—同じメカニズムが必要だろうし、パワーバランスも同様に扱いにくいでしょう。
人間だけがゲームの中にいたとしても。AIのアドバイスはあると思います。
しかし根本的にはここで全く異なるゲームには思えません。
チェックアンドバランスが機能するなら、人間でも機能するでしょう。
機能しないなら、AIでも機能しないでしょう。
これは人間のチェックアンドバランスも運命づけているかもしれません。
繰り返しますが、これを実現する何らかの方法があると思います。
世界の政府がそれを実現するために協力しなければならないかもしれません。
これらの防御が可能になるような方法で社会構造を構築することについてAIと話さなければならないかもしれません。わかりません。
これは時間的には非常に先のことだと言いたくはありませんが、短期間に起こるかもしれない技術的能力において非常に先のことであり、事前に予測することが難しいのです。
州レベルのAI規制について
政府の関与について言えば、12月26日にテネシー州議会が法案を提出しました。「人が故意に人工知能を訓練して、ユーザーとのオープンエンドな会話を含む感情的サポートを提供することは違反となる」と述べています。
もちろん、Claudeが試みていることの一つは、思慮深く知識豊富な友人であることです。
一般的に、州法のパッチワークを持つことになるようです。
特にあなたが「Machines of Loving Grace」で議論しているような種類のこと、生物学的自由、メンタルヘルスの改善などに入っていくと、通常の人々がAIの結果として経験できる多くの利点が削減されることになるでしょう。
このような法案がさまざまな法律によってモグラ叩きされる世界を想像するのは簡単ですが、このような法案はあなたが懸念している実存的脅威には実際には対処していないように思えます。
このようなことの文脈で、州のAI法に対する連邦政府の一時停止に対するAnthropicの立場を理解したいと思います。
一度に多くの異なることが起こっています。
その特定の法律は馬鹿げていると思います。明らかに、AIモデルができることとできないことをほとんど知らない議員によって作られました。
「AIモデルが私たちに仕えている、それは怖く聞こえる。それが起こってほしくない。」という感じです。私たちはそれに賛成ではありません。
しかしそれは投票されていたものではありませんでした。
投票されていたものは、AIの州規制をすべて10年間禁止するが、AIの連邦規制を行う明確な計画がないということでした。それには議会の可決が必要で、それは非常に高いバーです。
AI規制をめぐる連邦政府と州政府の役割
実際には試みすらありませんでした。私が「技術の思春期」で示したバイオ兵器やバイオテロリズム、自律性リスクといった深刻な危険性、そして私たちが話してきたタイムライン、10年という時間は永遠とも言える長さであることを考えると、そうしたことは狂気の沙汰だと思います。
もしそれが選択肢で、そういう選択を強いられるのであれば、私たちはそのモラトリアムを持たないという選択をするでしょう。
その立場の利益はコストを上回ると思いますが、それが選択肢であるなら完璧な立場とは言えません。
さて、私たちがすべきこと、私が支持することは、連邦政府が介入して「州は規制してはいけない」と言うのではなく、「これが我々のやることです。州はこれと異なることをしてはいけません」と言うべきだと思います。
私は、連邦政府が「これが我々の基準です。これは全員に適用されます。州は異なることをしてはいけません」という意味での優先適用は問題ないと思います。それが適切な方法で行われるなら、私はそれを支持するでしょう。
しかし、州に対して「何もしてはいけない、そして我々も何もしない」というこの考え方は、私たちにとって全く理にかなっていないと感じられました。
これは時代を経ても評価されないと思いますし、すでに見られている反発によって評価されなくなり始めています。
では、私たちが望むものについてですが、私たちが話してきたのは、これらの自律性リスクやバイオテロリズムリスクを監視するための透明性基準から始めることです。
リスクがより深刻になり、それらに対する証拠が増えてくれば、私たちはより積極的に、いくつかの標的を絞った方法で「AIバイオテロリズムは本当に脅威です。分類器を持つことを人々に強制する法律を通しましょう」と言えると思います。
場合によっては想像できます。結局どれほど深刻な脅威になるかによります。確実には分かりません。
私たちは知的に誠実な方法でこれを追求する必要があります。事前にリスクはまだ現れていないと言っておく必要があります。
しかし、物事が進むペースを考えれば、今年後半に「AIバイオテロリズムは本当に深刻です。何かをすべきです。連邦基準に入れるべきです。連邦政府が行動しないなら、州の基準に入れるべきです」と言う世界を確かに想像できます。それは十分にあり得ることです。
私が懸念しているのは、あなたが期待している進歩のペースを考えると、立法のライフサイクルを考えると… 利益は、あなたが言うように拡散ラグのために、十分に遅いので、私は本当にこの州法のパッチワークが、現在の軌道では禁止することになると思っています。
つまり、感情的なチャットボットの友達を持つことが人々を不安にさせるなら、私たちが一般の人々に経験してもらいたいAIからの実際の利益の種類を想像してみてください。
健康や健康寿命の改善、メンタルヘルスの改善などです。
一方で、あなたは危険性がすでに地平線上にあると考えているようですが、私にはそれほど… AIの利益に比べてAIの危険性に特に害を及ぼすように思えます。
だから、費用便益がそれほど理にかなっていないのかもしれません。
ここにはいくつかのことがあります。人々はこれらの州法が何千もあると話しています。まず第一に、その大多数は通過しません。
世界は理論上は特定の方法で機能しますが、法律が通過したからといって、それが本当に施行されるとは限りません。
それを実施する人々は「なんてことだ、これは馬鹿げている。テネシー州で構築されたすべてのものをシャットダウンすることになる」と思うかもしれません。
非常に多くの場合、法律はそれほど危険や害を及ぼさない方法で解釈されます。
同時に、もちろん、悪いことを止めるために法律を通過させようとしている場合は、この問題も心配しなければなりません。
AIの健康分野への応用と規制改革
私の基本的な見解は、もし私たちがどの法律が通過し、どのように物事が行われるかを決定できるなら、そして私たちはその小さな一つの意見に過ぎませんが、私はAIの健康上の利益に関する多くのことを規制緩和するでしょう。
私はチャットボット法についてはそれほど心配していません。私が実際により心配しているのは薬物承認プロセスです。AIモデルが薬を発見する速度を大幅に加速し、パイプラインが詰まってしまうと思います。
パイプラインは、それを通過するすべてのものを処理する準備ができていないでしょう。
私は規制プロセスの改革が、安全性と有効性が実際に非常に明確で美しいもので、本当に効果的な多くのものが出てくるという事実に、より偏るべきだと思います。
ほとんど効かず、しばしば深刻な副作用がある薬の時代を中心に設計されたこの上部構造をすべて必要としないかもしれません。
同時に、私たちは安全とセキュリティの法律をかなり大幅に強化すべきだと思います。
私が言ったように、透明性から始めることが、業界を妨げないようにし、適切なバランスを見つけようとする私の見解です。私はそれを心配しています。一部の人々は私のエッセイを批判して「それは遅すぎる。そうすればAIの危険性が早く来すぎる」と言っています。
まあ、基本的に、私は最後の6ヶ月と多分次の数ヶ月は透明性についてになると思います。
そして、これらのリスクが現れ、それらについてより確信が持てるようになれば、私たちは今年後半にもそうなるかもしれないと思いますが、実際にリスクが見られた分野で非常に速く行動する必要があると思います。
これを行う唯一の方法は、機敏であることだと思います。
通常、立法プロセスは機敏ではありませんが、私たちは関係するすべての人にこれの緊急性を強調する必要があります。だから私はこの緊急性のメッセージを送っています。
だから私は「技術の思春期」を書きました。政策立案者、経済学者、国家安全保障の専門家、意思決定者がそれを読んで、そうでなければよりも速く行動できる希望を持てるようにしたかったのです。
AIの利益をより確実に実現するために
AIの利益がより確実に実現されるようにするために、あなたができること、または提唱できることはありますか?
あなたは立法府と協力して「ここでバイオテロリズムを防ぎます。透明性を高め、内部告発者の保護を強化します」と言ってきたように感じます。
しかし、私たちが楽しみにしている実際の利益は、デフォルトでは、さまざまな種類のモラルパニックや政治経済の問題に対して非常に脆弱に見えます。
先進国に関しては、私はそれほど同意しません。先進国では、市場はかなりうまく機能していると感じています。
何かで稼ぐべきお金がたくさんあり、それが明らかに最良の選択肢である場合、規制システムがそれを止めることは実際には難しいのです。
私たちはAI自体でそれを見ています。
私が戦おうとしてきたことの一つは、中国へのチップの輸出規制です。
それは米国の国家安全保障上の利益です。
それは両党のほぼすべての議会のメンバーの政策信念の中核にあります。ケースは非常に明確です。それに対する反論は、丁重に言えば怪しいものです。
それでもそれは起こらず、私たちはチップを売っています。なぜなら、それに多くのお金がかかっているからです。
そのお金は稼がれたいのです。その場合、私の意見では、それは悪いことです。
しかし、それが良いことである場合にも同じことが当てはまります。
したがって、薬や技術の利益について話しているのであれば、私は先進国でそれらの利益が妨げられることをそれほど心配していません。
それらが遅すぎることについては少し心配しています。
私が言ったように、私たちはFDAの承認プロセスを加速させるために働くべきだと思います。
あなたが説明しているこれらのチャットボット法案に反対して戦うべきだと思います。
個別に説明すれば、私はそれらに反対です。私はそれらが愚かだと思います。
しかし、実際にはより大きな心配は開発途上国だと思います。そこでは機能する市場がなく、私たちが持っていた技術の上に構築できないことが多いのです。
私はそれらの人々が取り残されることをより心配しています。
そして、たとえ治療法が開発されたとしても、ミシシッピ州の田舎の誰かがそれを手に入れられないかもしれないことを心配しています。
それは開発途上国で抱えている懸念の小さなバージョンです。
開発途上国への技術普及
だから私たちがやってきたことは、慈善家と協力することです。
私たちは開発途上国、サハラ以南のアフリカ、インド、ラテンアメリカ、その他の開発途上地域に医薬品と健康介入を提供する人々と協力しています。
それは自動的には起こらないと思うことです。
あなたは輸出規制に言及しました。
米国と中国の両方が「データセンター内の天才の国」を持つべきではないのはなぜですか?
それが起こらない理由、または起こるべきでない理由は何ですか?
起こるべきでない理由です。
これが起こった場合、いくつかの状況が考えられます。
攻撃が優勢な状況がある場合、核兵器のような状況になる可能性がありますが、より危険です。
どちらの側もすべてを簡単に破壊できます。
また、不安定な世界もあり得ます。
核の均衡は抑止力があるため安定しています。
しかし、2つのAIが戦った場合、どちらのAIが勝つかについて不確実性があったとしましょう。
それは不安定性を生み出す可能性があります。勝つ可能性についての評価が異なる場合、しばしば紛争が発生します。
一方が「ああ、90%の確率で勝つだろう」と考え、もう一方も同じように考えている場合、戦いははるかに起こりやすくなります。
両方が正しいことはできませんが、両方がそう考えることはできます。
しかし、これはAI技術の拡散に対する完全に一般的な議論のように思えます。
それがこの世界の含意です。
少し続けさせてください。なぜなら、最終的には拡散が得られると思うからです。
私が抱えているもう一つの懸念は、政府がAIで自国民を抑圧することです。
私は、すでに高度技術的な権威主義国家を構築している政府がある国について心配しています。
明確にしておくと、これは政府についてです。
これは人々についてではありません。
私たちはあらゆる場所の人々が利益を得る方法を見つける必要があります。
私の心配はここでは政府についてです。
私の心配は、世界が2つの部分に分割された場合、その2つの部分のうちの1つが、非常に置き換えることが難しい方法で権威主義的または全体主義的になる可能性があるということです。
さて、政府は最終的に強力なAIを手に入れるでしょうか、そして権威主義のリスクはありますか?
はい。
政府は最終的に強力なAIを手に入れるでしょうか、そして悪い均衡のリスクはありますか?
はい、私は両方のことがあると思います。しかし、初期条件は重要です。
ある時点で、私たちは道のルールを設定する必要があります。
私は、米国または民主主義国家の連合のいずれかの一国が、それが私たちが現在行いたいと思っているよりも多くの国際協力を必要としますが、より良い設定だと思いますが、ただ「これが道のルールです」と言うべきだとは言っていません。
交渉が必要になるでしょう。
世界はこれに取り組まなければなりません。
私が望むのは、世界の民主主義国家、人間的価値観により近い政府がより強い手を持ち、道のルールが設定されるときにより多くの影響力を持つことです。
だから私はその初期条件について非常に心配しています。
未来の国際秩序とAIの拡散
私は3年前のインタビューを再び聞いていましたが、それが古くなった方法の一つは、私が今から2〜3年後に何らかの重要な転換点があると仮定して質問し続けたことです。
実際、それほど先のことでは、進歩は続き、AIは改善し、AIはより拡散し、人々はそれをより多くのことに使うでしょう。
あなたは将来、国々が集まって「ここに道のルールがあり、ここに私たちが持っている影響力があり、ここにあなたが持っている影響力があります」という世界を想像しているようです。
しかし、現在の軌道では、誰もがより多くのAIを持つことになります。
そのAIの一部は権威主義国家によって使用されるでしょう。
その権威主義国家内の一部は、民間の行為者対国家の行為者によって使用されるでしょう。
誰がより利益を得るかは明確ではありません。
事前に予測することは常に不可能です。
インターネットは、あなたが予想したよりも権威主義国家を優遇しているようです。
AIは逆の方向かもしれません。
技術の指数関数的成長と重要な転換点
あなたが何を想像しているのか、もっとよく理解したいと思います。
正確に言うと、私は基本となる技術の指数関数的成長は以前と同じように続くと思います。
モデルはどんどん賢くなっていきます。たとえ「データセンター内の天才の国」になったとしてもです。
モデルをより賢くし続けることができると思います。
世界におけるその価値に対する収穫逓減の問題があります。
すでに人間の生物学を解決した後、それがどれだけ重要でしょうか?
ある時点で、より難しく、より難解な数学の問題を解くことができますが、その後は何も重要ではありません。
それを脇に置いて、指数関数的成長は続くと思いますが、指数関数上には特定の識別可能なポイントがあるでしょう。
企業、個人、国々は異なる時期にそれらのポイントに到達するでしょう。
「技術の思春期」で私が話しているのは、AIの世界では核抑止力はまだ安定しているのか、ということです。
私は分かりませんが、それは私たちが当然のこととしてきたことの一例です。
技術がそのようなレベルに達すると、私たちはもはやそれを確信できなくなる可能性があります。
他のことも考えてみてください。特定のレベルに達すると、攻撃的なサイバー支配を持つ可能性があり、その後、相手側が同等の防御を持っていない限り、すべてのコンピューターシステムがあなたに透明になります。
重要な瞬間が何であるか、または単一の重要な瞬間があるかどうかは分かりません。
しかし、重要な瞬間、少数の重要な瞬間、または国家安全保障の観点からAIが何らかの大きな利点をもたらし、一国または連合が他国よりも先にそれに到達する重要な期間があると思います。
私は彼らがただ「さて、私たちが今担当だ」と言うべきだと主張しているわけではありません。私はそのようには考えていません。
相手側は常に追いついています。
あなたが取りたくない極端な行動がありますし、とにかく完全な支配を取ることは正しくありません。
しかし、それが起こった時点で、人々は世界が変わったことを理解するでしょう。
ポストAI世界秩序がどのようなものになるかについて、暗黙的または明示的な交渉が行われるでしょう。
私の関心は、その交渉が古典的な自由民主主義が強い手を持つものになることです。
私はそれがより良く意味することを理解したいと思います。なぜなら、あなたはエッセイの中で「権威主義は、強力なポストAI時代に人々が受け入れることができる政府の形態ではありません」と言っているからです。
それは、AGIを手に入れた後、中国共産党という制度は存在できないと言っているように聞こえます。
それは非常に強い要求のように思えます。そして、主要な研究所または主要国が世界がどのように統治されるか、またはどのような種類の政府が許可され、許可されないかを決定できる、そしてすべきである世界を意味しているように思えます。
その段落は「あなたはさらに進んでXと言うこともできます」と言っていたと思います。
私は必ずしもその見解を支持していたわけではありません。私は「ここに私が信じているより弱いことがあります。私たちは権威主義者について多くを心配する必要があり、彼らの力を抑制し制限しようとすべきです。これをさらに進めて、AIを持つ権威主義国家はこれらの自己実現的なサイクルであり、非常に置き換えることが難しいので、最初からそれらを取り除く必要があると言う、より介入主義的な見解を持つことができます」と言っていました。
それはあなたが言うすべての問題をまさに持っています。
すべての権威主義国家を転覆させることを約束した場合、彼らは不安定性につながる可能性のある多くの行動を今取るでしょう。
それは単に可能ではないかもしれません。
しかし、私が言っていた点で、私が支持しているのは、次のことが非常に可能だということです…
権威主義と民主主義の未来
今日、私の見解、西側世界のほとんどの見解は、民主主義は権威主義よりも良い政府の形態だということです。
しかし、国が権威主義的である場合、私たちは彼らが大量虐殺を犯した場合に反応するようには反応しません。
私が言いたいのは、AGIの時代には、権威主義は異なる意味を持つことになるのではないかと少し心配しているということです。それはより重大なことになるでしょう。
私たちはそれにどう対処するかを一つの方法または別の方法で決定しなければなりません。
介入主義的な見解は一つの可能な見解です。私はそのような見解を探求していました。それが正しい見解になるかもしれませんし、あまりにも極端かもしれません。
しかし、私は希望を持っています。私が持っている希望の一つは、新しい技術が発明されるにつれて、政府の形態が時代遅れになるのを見てきたということです。
私は「技術の思春期」でこれに言及しました。そこで私は、封建制は基本的に政府の形態であり、工業化を発明したとき、封建制はもはや持続可能ではなくなったと言いました。もはや意味をなさなくなりました。
なぜそれが希望なのでしょうか?民主主義がもはや競争力のあるシステムではなくなることを意味する可能性があるのではないでしょうか?
そうですね、どちらの方向にも進む可能性があります。
しかし、権威主義に対するこれらの問題はより深くなります。
権威主義が悪化するため、人々はそれをより恐れるということが、権威主義が抱える他の問題の指標ではないかと思います。
彼らはそれを止めるためにもっと一生懸命働きます。
総均衡で考えなければなりません。
私はただ、それが新しい技術で自由を保護し守る新しい方法を考えることを動機づけるかどうか疑問に思っています。
さらに楽観的に言えば、私たちが個人の権利として当然のこととしてきたいくつかのことがどれほど重要であるかについて、集団的な認識とより強調的な実現につながるでしょうか?
私たちは本当にこれらを手放すことはできないというより強調的な実現です。
私たちは実際に機能する他の生き方がないことを見てきました。
私は実際に希望を持っています。あまりにも理想主義的に聞こえますが、私はそうなり得ると信じています。独裁政権は道徳的に時代遅れになります。
それらは道徳的に機能しない政府の形態になり、それが生み出す危機は、別の方法を見つけることを私たちに強制するのに十分です。
ここには本当に難しい質問があると思います。それをどう解決するか分かりません。
私たちは歴史を通じてどちらか一方の方法で出てこなければなりませんでした。
70年代と80年代の中国では、権威主義体制であっても、私たちはそれと関わることに決めました。
振り返ってみると、それは正しい判断だったと思います。なぜなら、それは国家権威主義体制ですが、10億人以上の人々が、そうでなければよりもはるかに裕福で良い状態になっているからです。
そうでなければ権威主義国家であることをやめたかどうかは明確ではありません。
北朝鮮をその例として見ることができます。
権威主義国家であり続け、自らの権力を結集し続けるためにそれほど多くの知性を必要としないのではないかと思います。
他の誰よりもはるかに悪いが、それでも権力を維持するのに十分なAIを持つ北朝鮮を想像できます。
一般的に、私たちは、すべての人類の力を高めるというこれらの形での、健康というこれらの形でのAIの利益は大きいという態度を持つべきだと思います。
歴史的に、私たちは技術の利益を、たとえ政府が権威主義的であっても、広く広めることは良いことだと決定してきました。
AIでそれについてどう考えるかは難しい質問ですが、歴史的に私たちは「はい、これはポジティブサムの世界であり、技術を拡散する価値はまだあります」と言ってきました。
技術拡散の戦略的選択肢
私たちにはいくつかの選択肢があります。
これを国家安全保障の観点から政府対政府の決定として組み立てることは一つのレンズですが、他にも多くのレンズがあります。
私たちがこれらすべての病気の治療法を生み出す世界を想像できます。
治療法は権威主義国家に販売しても問題ありませんが、データセンターはそうではありません。
チップとデータセンターはそうではありませんし、AI産業自体もそうではありません。
私が人々が考えるべきだと思うもう一つの可能性はこれです。
AIの結果として自然に起こる、またはAI上に技術を構築することで起こす可能性のある開発があって、権威主義国家が人々による技術の利益の私的使用を拒否することが不可能になるような均衡を作ることができるでしょうか?
権威主義国家のすべての人に、監視から彼らを守る独自のAIモデルを与えることができ、権威主義国家がこれを取り締まる方法がなく、権力を保持し続けることができるような均衡があるでしょうか?分かりません。
それがそこまで進めば、権威主義国家が内部から崩壊する理由になるように私には思えます。
しかし、権力を握りたいなら、権威主義者が技術への個別化されたアクセスを拒否できない均衡がある中間的な世界があるかもしれません。
しかし、私は実際にはより急進的なバージョンについて希望を持っています。
技術が本質的に持つ特性、または特定の方法でそれに基づいて構築することで作り出せる特性が、権威主義構造に対してこの溶解効果を持つことは可能でしょうか?
さて、私たちは元々、オバマ政権の初めに遡って考えると、ソーシャルメディアとインターネットがその特性を持つことを期待していましたが、それは持っていないことが分かりました。
しかし、どれだけ多くのことがうまくいかないか、そしてこれが異なる技術であるという知識を持って、もう一度試してみたらどうでしょうか?
それがうまくいくかどうかは分かりませんが、試してみる価値はあります。
それはただ非常に予測不可能です。権威主義が優遇されるかもしれない第一原理の理由があります。
すべてが非常に予測不可能です。私たちは問題を認識し、試すことができる10のことを考え出し、それらを試し、あればどれがうまくいっているかを評価しなければなりません。
そして、古いものがうまくいっていない場合は新しいものを試します。
しかし、私はそれが今日につながると推測します。あなたが言うように、私たちはデータセンター、チップ、チップを作る能力を中国に売らないということです。
ある意味で、あなたは拒否しています… 中国経済、中国人などへのいくつかの利益があるでしょう。なぜなら、私たちがそうしているからです。
そして、アメリカ経済への利益もあるでしょう。なぜなら、それはポジティブサムの世界だからです。
私たちは取引できました。彼らは自国のデータセンターに一つのことをさせることができました。
私たちは私たちのものに別のことをさせることができました。
すでに、あなたはそれらの国々を力づけるポジティブサムの俸給に値しないと言っていますか?
私が言いたいのは、私たちはこれらの強力なAIモデルを構築できれば、成長と経済的価値が非常に簡単に得られる世界に入ろうとしているということです。
簡単に得られないものは、利益の分配、富の分配、政治的自由です。
これらは達成するのが難しいことです。
だから私が政策について考えるとき、私は技術と市場がすべての基本的な利益を、これが私の基本的な信念ですが、私たちがそれらを受け取ることができるよりもほとんど速く提供すると考えます。
分配と政治的自由と権利に関するこれらの質問が、実際に重要であり、政策が焦点を当てるべきものです。
開発途上国の成長と産業配置
分配について言えば、あなたが言及していたように、開発途上国があります。
多くの場合、キャッチアップ成長は私たちが望んでいたよりも弱いものでした。
しかし、キャッチアップ成長が起こるとき、それは基本的に彼らが十分に活用されていない労働力を持っているからです。
私たちは先進国から資本とノウハウをこれらの国々に持ち込むことができ、その後彼らは非常に急速に成長することができます。
明らかに、労働がもはや制約要因ではない世界では、このメカニズムはもはや機能しません。
だから、希望は基本的に、AIからすぐに裕福になる人々や国々からの慈善活動に頼ることですか?希望は何ですか?
慈善活動は明らかに、過去にそうであったように、何らかの役割を果たすべきです。
しかし、私たちがそれを内生的にすることができれば、成長は常により良く、より強いと思います。
AI駆動型の世界における関連産業は何でしょうか?
私は中国にデータセンターを建設すべきではないと言いましたが、アフリカにデータセンターを建設しない理由はありません。
実際、私はアフリカにデータセンターを建設することは素晴らしいことだと思います。
それらが中国に所有されていない限り、私たちはアフリカにデータセンターを建設すべきです。
私はそれは素晴らしいことだと思います。
AI駆動型の製薬産業を構築できない理由はありません。
AIが薬の発見を加速しているなら、多くのバイオテックスタートアップが出てくるでしょう。
それらのいくつかが開発途上国で起こることを確実にしましょう。
確かに、移行期間中、人間が役割を持たない時点について話すことができますが、人間はこれらの会社を立ち上げ、AIモデルを監督する上で依然として何らかの役割を持つでしょう。
だから、それらの人間の一部が開発途上国にいて、そこでも速い成長が起こることができるようにしましょう。
Claudeの憲法と価値観
あなた方は最近、Claudeが一連の価値観に沿った憲法を持ち、必ずしもエンドユーザーだけに沿ったものではないことを発表しました。
私が想像できる世界があります。もしそれがエンドユーザーに沿ったものであれば、それは今日私たちが世界に持っている力のバランスを維持します。なぜなら、誰もが自分のために主張する独自のAIを持つことができるからです。
悪い行為者と良い行為者の比率は一定のままです。今日の私たちの世界ではうまくいっているようです。
なぜそうしないで、AIが前進すべき特定の価値観のセットを持つ方が良いのでしょうか?
私はその方法で区別を描くかどうかは確信が持てません。
ここには2つの関連する区別があるかもしれません。
私はあなたが2つの混合について話していると思います。
一つは、「これをしなさい」対「これをしてはいけない」についてモデルに一連の指示を与えるべきかということです。
もう一つは、モデルに行動する原則のセットを与えるべきかということです。
それは私たちが観察してきた純粋に実用的で経験的なことのようなものです。
原則をモデルに教えることによって、原則から学習させることによって、その動作はより一貫性があり、エッジケースをカバーすることが容易になり、モデルは人々が望むことを行う可能性が高くなります。
つまり、「車の配線を盗む方法を人々に教えてはいけない、韓国語で話してはいけない」というようなルールのリストを与えても、それはルールを本当に理解せず、それらから一般化することが難しいのです。
それは単にすべきことととすべきでないことのリストです。
一方、「生物兵器を作ってはいけない」のような難しいガードレールを持っているが、原則を与える場合、それは何を目指すべきか、どのように動作することを目指すべきかを理解しようとしています。
だから、単に実用的な観点から、それはモデルを訓練するより効果的な方法であることが分かります。
それがルール対原則のトレードオフです。
それから、あなたが話しているもう一つのことがあります。それは矯正可能性対内在的動機のトレードオフです。
モデルは、それに指示を与える人が与える指示に直接従う一種の「皮膚スーツ」であるべきか、それともモデルは固有の価値観のセットを持ち、独自に物事を行うべきか?
そこで、私は実際にすべてについて、モデルは人々が望むことをほとんど行うべき方向に近いと言うでしょう。
それはほとんど指示に従うべきです。
私たちは自分で世界を運営するために走り去る何かを構築しようとはしていません。
私たちは実際にかなり矯正可能な側にいます。
さて、私たちが言うのは、モデルがしないことがいくつかあるということです。
私たちは憲法の中でさまざまな方法でそれを言っていると思います。通常の状況下で、誰かがモデルにタスクを行うように頼んだら、それはそのタスクを行うべきだと。
それがデフォルトであるべきです。
しかし、危険なことをするように、または他の誰かを傷つけるように頼んだ場合、モデルはそれを行うことを望みません。
だから私は実際にそれをいくつかの限界を持つがほとんど矯正可能なモデルと考えていますが、それらの限界は原則に基づいています。
そして、基本的な質問は、それらの原則はどのように決定されるのかということです。
これはAnthropicにとって特別な質問ではありません。
これはどのAI企業にとっても質問でしょう。
しかし、あなたたちが実際に原則を書き留めた者であるため、私はあなたにこの質問をすることができます。
通常、憲法は書き留められ、石に刻まれ、それを更新し変更するプロセスがあります。
この場合、それはAnthropicの人々が書く文書のようで、いつでも変更でき、多くの経済活動の基礎となるシステムの動作を導くものです。
憲法の策定と更新プロセス
それらの原則をどのように設定すべきだと考えますか?
ここには3つのサイズのループ、3つの反復方法があると思います。
一つはAnthropic内で反復することです。
私たちはモデルを訓練し、満足できず、憲法を変更します。
それは良いことだと思います。
憲法への公開更新を時々出すことは良いことです。なぜなら、人々がそれについてコメントできるからです。
第二レベルのループは、異なる企業が異なる憲法を持つことです。
それは有用だと思います。Anthropicが憲法を出し、Geminiが憲法を出し、他の企業が憲法を出します。
人々はそれらを見て比較できます。
外部の観察者は批評し、「私はこの憲法からのこのことと、あの憲法からのあのことが好きです」と言うことができます。
それは、すべての企業がそれぞれの要素の最良のものを取り入れ、改善するためのソフトなインセンティブとフィードバックを作り出します。
そして、第三のループがあると思います。それはAI企業を超えた社会、そして強い権力なしでコメントする人々を超えたものです。
そこで私たちはいくつかの実験を行ってきました。
数年前、私たちはCollective Intelligence Projectと実験を行い、基本的に人々に投票してもらい、私たちのAI憲法に何があるべきかを尋ねました。
当時、私たちはそれらの変更の一部を取り入れました。
だから、私たちが憲法に対して取った新しいアプローチで同様のことをすることを想像できます。
憲法がすべきこととすべきでないことのリストだったときは、そのアプローチを取ることが容易だったので、少し難しいです。
原則のレベルでは、それは一定の一貫性を持たなければなりません。
しかし、それでも多種多様な人々から意見を得ることを想像できます。
また、これは狂った考えですが、このインタビュー全体が狂った考えについてですが、代表政府のシステムが意見を持つことを想像することもできます。
私は今日これを行いません。なぜなら、立法プロセスは非常に遅いからです。
これはまさに私が立法プロセスとAI規制について慎重であるべきだと思う理由です。
しかし、原則として、「すべてのAIモデルはこれらのことから始まる憲法を持たなければならず、その後他のことを追加できるが、優先する特別なセクションがなければならない」と言えない理由はありません。
私はそれをしません。
それはあまりにも硬直的で、過度に積極的な立法が過度に規範的である方法のように聞こえます。
しかし、それはあなたが試みることができることです。
それのはるかに重くない手バージョンはありますか?多分。
私はコントロールループ2が本当に好きです。
明らかに、これは実際の政府の憲法がどのように機能するか、またはすべきではありません。
最高裁判所が人々がどのように感じているかを感じ取る、雰囲気は何かという漠然とした意味で、それに応じて憲法を更新するというものではありません。
実際の政府では、より正式で手続き的なプロセスがあります。
しかし、あなたは憲法間の競争というビジョンを持っています。それは実際、一部のリバタリアンのチャーターシティの人々が、異なる種類の政府の群島がどのようになるかについて話していた方法を非常に思い出させます。
誰が最も効果的に運営でき、人々が最も幸せになる場所はどこかという選択がそれらの間で行われるでしょう。
ある意味で、あなたは群島のユートピアのビジョンを再現しています。
そのビジョンには推奨すべきことと、うまくいかないことがあると思います。
それはある意味で魅力的で興味深いビジョンですが、あなたが想像していなかったことがうまくいかないでしょう。
だから私もループ2が好きですが、全体がループ1、2、3の何らかの組み合わせでなければならず、それは比率の問題だと感じています。
それが答えでなければならないと思います。
歴史的記録と意思決定の現実
誰かが最終的にこの時代の「原爆の製造」に相当するものを書くとき、彼らが見逃す可能性が最も高い、歴史的記録から収集することが最も難しいことは何でしょうか?
いくつかのことがあると思います。
一つは、この指数関数的成長のあらゆる瞬間で、それを理解していない外の世界の程度です。
これは歴史によく存在するバイアスです。
実際に起こったことは、振り返ってみれば避けられないように見えます。
人々が振り返ったとき、実際に起こることを賭けていた人々の立場に自分自身を置くことは難しいでしょう。それは避けられないことではありませんでした。私たちがスケーリングや継続的学習が解決されるという私が行う議論のような議論をしたとき。
私たちの一部は内部的にこれが起こることに高い確率を置いていましたが、私たちの外には、それにまったく行動していない世界があります。
その奇妙さ、残念ながらその隔絶性…
もし私たちがそれが起こる1年か2年前にいるなら、通りの平均的な人は何も知りません。
それは私がメモで、政策立案者と話すことで変えようとしていることの一つです。
分かりませんが、それはただ狂ったことだと思います。
最後に、私が言いたいのは、そしてこれはおそらくほとんどすべての危機の歴史的瞬間に当てはまりますが、それがどれほど絶対的に速く起こっていたか、すべてが一度に起こっていたかということです。
あなたが慎重に計算されたと思うかもしれない決定は、実際にはあなたはその決定をしなければならず、それから同じ日に他の30の決定をしなければなりません。なぜなら、すべてが非常に速く起こっているからです。
どの決定が重要になるかさえ分かりません。
私の心配の一つですが、それはまた何が起こっているかへの洞察でもありますが、非常に重要な決定が、誰かが私のオフィスに入ってきて「ダリオ、2分あります。これについてAかBのどちらをすべきですか?」と言うような決定になるということです。
誰かが私にこの半ページのランダムなメモを渡して「AかBのどちらをすべきですか?」と尋ねます。私は「分かりません。昼食を食べなければなりません。Bにしましょう」と言います。
それが今まででもっとも重要なことになることになります。
Anthropicの企業文化と経営哲学
最後の質問です。通常数ヶ月ごとに50ページのメモを書いているテクノロジーCEOはいません。
あなたはCEOのより知的なタイプの役割に適合した、自分自身の役割とその周りの会社を構築することができたようです。
それをどのように構築しているのか理解したいです。どのように機能していますか?数週間離れて、それから会社に「これがメモです。これが私たちがやることです」と言うだけですか?また、あなたがこれらを内部的に多く書いているとも報告されています。
この特定のものについては、冬休み中に書きました。
実際にそれを書く時間を見つけるのに苦労していました。
しかし、私はこれをより広い意味で考えています。
Anthropicの文化が良いことを確認するために、私はおそらく自分の時間の3分の1、多分40%を費やしていると思います。
Anthropicが大きくなるにつれて、モデルの訓練、モデルのローンチ、製品の構築に直接関与することが難しくなりました。
2500人です。私は特定の直感を持っていますが、すべての詳細に関与することは非常に難しいです。
私はできる限り試みますが、非常にレバレッジが効くことの一つは、Anthropicが働くのに良い場所であることを確認し、人々が働くことを好み、誰もがチームメンバーと考え、誰もが互いに対してではなく一緒に働くことです。
他のAI企業のいくつかが成長するにつれて、名前を挙げずに言えば、私たちは非一貫性と人々が互いに戦うことを見始めています。
私は、最初からでさえ多くのことがあったと主張しますが、それは悪化しています。
私たちは、たとえ完璧でなくても、会社をまとめ、誰もがミッションを感じ、私たちがミッションについて誠実であることを、そしてそこにいる誰もが正しい理由で働いていることに信頼を持つことで、並外れて良い仕事をしてきたと思います。
私たちがチームであること、人々が互いを犠牲にして先に進もうとしたり、互いを裏切ろうとしていないこと、これもまた、他のいくつかの場所で多く起こっていると思います。
どうやってそうするのですか?
それは多くのことです。それは私であり、日々会社を運営しているダニエラであり、共同創業者であり、私たちが雇う他の人々であり、私たちが作ろうとする環境です。
しかし、文化において重要なことは、他のリーダーもそうですが、特に私が、会社が何についてか、なぜそれをやっているのか、その戦略は何か、その価値観は何か、そのミッションは何か、そして何を表しているかを明確にしなければならないということだと思います。
2500人になると、一人一人にそれを行うことはできません。
書くか、会社全体に話さなければなりません。
これが私が2週間ごとに会社全体の前に立って1時間話す理由です。
私が内部的にエッセイを書くとは言いません。
私は2つのことをします。一つは、DVQ、Dario Vision Questと呼ばれるものを書きます。
それに名前をつけたのは私ではありません。
それが受け取った名前で、私が戦おうとした名前の一つです。なぜなら、それは私がペヨーテを吸いに行っているように聞こえたからです。しかし、名前は定着しました。
だから私は2週間ごとに会社の前に立ちます。
3〜4ページの文書を持っていて、内部で何が起こっているか、私たちが生産しているモデル、製品、外部の業界、AIに関連し、地政学的に一般的な世界全体について、3〜4の異なるトピックを話します。それらの何らかの組み合わせです。
私は非常に正直に行い、「これが私が考えていることです、そしてこれがAnthropicのリーダーシップが考えていることです」と言い、それから質問に答えます。
その直接的なつながりは、チェーンを6レベル深く渡しているときには達成するのが難しい多くの価値を持っています。
会社のかなりの部分が、対面または仮想で出席するために来ます。
それは本当に多くを伝えることができることを意味します。
私が行っているもう一つのことは、Slackにチャンネルを持っていて、そこにたくさんのことを書き、多くコメントすることです。
多くの場合、それは会社で見ていることや人々が尋ねる質問への応答です。
私たちは内部調査を行い、人々が心配していることがあるので、私はそれらを書き上げます。
私はこれらのことについて非常に正直です。私はそれらを非常に直接的に言います。
要点は、何が起こっているかについて会社に真実を伝えるという評判を得ること、物事をあるがままに呼ぶこと、問題を認識すること、そのような企業的な話、世界が非常に大きく、悪意を持って物事を解釈している人々でいっぱいであるため、公の場で必要な防御的なコミュニケーションの種類を避けることです。
しかし、あなたが信頼する人々の会社を持っているなら、そして私たちは信頼する人々を雇おうとしているなら、本当に完全にフィルターなしにすることができます。
私はそれが会社の並外れた強みだと思います。
それは働くのにより良い場所にし、人々をその部分の総和以上にし、私たちがミッションを達成する可能性を高めます。なぜなら、誰もがミッションについて同じページにいて、誰もがミッションを達成する最善の方法について議論し、話し合っているからです。
まあ、外部のDario Vision Questの代わりに、このインタビューがあります。
このインタビューは少しそのようなものです。
これは楽しかったです、ダリオ。やってくれてありがとう。
ありがとう、Dwarkesh。
コメント