Anthropic社のCEOであるDario Amodeiが、AIの急速な発展における可能性とリスクについて率直に語った包括的なインタビューである。彼は「ドゥーマー」（悲観論者）と呼ばれることへの怒りを表明し、父親の病気体験から生まれたAI技術への期待と、同時に存在する安全性への懸念について詳しく説明している。OpenAIとの競争関係、スケーリング法則への確信、そして「トップへの競争」という独自の哲学を通じて、AI業界における責任ある発展の重要性を強調した内容となっている。
AIの可能性と責任について
私はな、人から「ドゥーマー」って呼ばれるとめっちゃ腹立つねん。「こいつはドゥーマーや。物事を遅らせたがってる」って言われるとな。さっき話したこと聞いてたやろ。私の父親は、数年後には治せるような治療法があったかもしれない病気で亡くなったんや。私はこの技術の恩恵をよう理解してるねん。
ジェンセンみたいな人からの批判も聞いてるやろ。「ダリオは自分だけが安全に作れると思ってて、だから業界全体をコントロールしたいんや」って言うてるけどな。そんなこと一度も言うたことないで。それは完全にとんでもない嘘や。今まで聞いた中で一番とんでもない嘘やで。
Anthropicの CEO ダリオ・アモデイが人工知能の進歩への道筋、生成AIが良いビジネスかどうか、そして彼をドゥーマーと呼ぶ人たちへの反論について話しにきてくれたんや。サンフランシスコのAnthropic本社のスタジオで一緒におるで。ダリオ、また会えてよかったで。番組に来てくれてありがとうな。
こちらこそありがとうございます。
最近の動向と発言について
せやから、この数ヶ月のことを振り返ってみようか。AIが初級レベルのホワイトカラーの仕事の半分を一掃する可能性があるって言うたな。OpenAIがWindsurfを買収することを知った時に、AnthropicのトップティアモデルへのWindsurfのアクセスを遮断したな。政府に輸出規制を求めて、NvidiaのCEOジェンセン・ファンを怒らせたりもしたな。
一体何があったんや？
私とAnthropicは常に、私たちが信じることを言うて行動することに集中してるんや。AIシステムがより強力になるにつれて、そういうことをもっと力強く、もっと公にして、要点をより明確にしたいって思うようになったんや。
何年も前から言い続けてることやけど、スケーリング法則っていうのがあるんや。AIシステムはどんどん強力になってる。数年前はほとんど一貫性がなかったのが、2年前には賢い高校生レベルになって、今は賢い大学生、PhD レベルになって、経済全体に適用され始めてるんや。
だから国家安全保障の問題から経済問題まで、AIに関連するすべての問題が、実際に直面する時期にかなり近づいてきてるんや。これらの問題が近づいてきたから、Anthropicは何らかの形でこれらのことを前から言うてきたけど、これらのことの緊急性が高まってきて、私たちが信じることを確実に言って、たとえ誰も何が起こるかわからなくても、起こりうる悪い面について世界に警告したいんや。
私たちは将来についての推測を言うてるんやけど、誰も確信を持てないところやからな。でも世界に何が起こるかについて警告する義務があると思ってるんや。
これはAIの素晴らしい応用が信じられないほどあるって言うことを否定するわけやないで。私は「Machines of Loving Grace」っていうエッセイを書いたし、実際、私とAnthropicは、自分を楽観主義者や加速主義者って呼ぶ人たちよりも、AIの恩恵をよりよく説明できることが多いと思ってるんや。
私たちは誰よりもその恩恵を理解してると思う。でも、まさにその理由で、すべてを正しく行えばこんなに良い世界になれるからこそ、リスクについて警告する義務を感じてるんや。
タイムラインと技術の予測可能性
つまり、あなたのタイムラインから来てるってことやな。基本的に、あなたは他の多くの人よりも短いタイムラインを持ってて、だからこれが差し迫ってると思って、外に出て行く緊急性を感じてるってことやな。
そうやな、でも確信はないで。特に社会的な側面については予測するのがめっちゃ難しいんや。人々がいつAIを展開するか、企業がいつAIにxx ドル使うか、AIがいつこれらの応用で使われるか、いつ医療の治療法を推進するかっていうのは、なかなか言いにくいんや。
基本的な技術の方がもっと予測しやすいけど、それでも不確実で、誰にもわからんのや。でも基本的な技術については、もっと確信を持つようになってきた。不確実性がないわけやないで。私たちが乗ってる指数関数的な成長が完全に止まる可能性もあるんや。次の2年間でモデルが良くならなくなる確率が20%か25%ぐらいあると思ってる。理由がわからなかったり、データやコンピュート資源の利用可能性みたいに理由がわかったりするかもしれんけどな。そうなったら私が言うてることは全部バカみたいに見えて、みんなが私の警告を笑うことになるやろうけど、私が見てる分布を考えると、それでも全然かまわんと思ってるで。
これは私があなたについて書いてるプロフィールの一部として話してることを言うとかなあかんな。あなたと一緒に働いたり、知ってたり、競争したりした20人以上の人と話したんやけど、もしよかったら番組のノートにリンクを貼るから、誰でも無料で読めるで。でも私が話したすべての人に共通するテーマの一つは、主要なラボのリーダーの中であなたが一番短いタイムラインを持ってるってことなんや。
なぜそんなに短いタイムラインを持ってるんや？なぜ私たちがあなたのを信じるべきなんや？
それはタイムラインって何を意味するかによるな。長年一貫して言い続けてることの一つは、AI の世界にはAGIとか超知能とかいう用語があるってことや。
企業のリーダーが「私たちはAGIを達成した、超知能に移行する」とか「誰かがAGIに取り組むのをやめて超知能に取り組み始めたのはほんまに興奮する」って言うのを聞くやろ。でも私はこれらの用語は完全に無意味やと思う。AGIが何かわからん。超知能が何かもわからん。
マーケティング用語みたいに聞こえるな。
そうや、人々のドーパミンを活性化させるために設計されたもんみたいに聞こえるんや。だから公の場でそれらの用語を使うことはないし、実際にそれらの用語の使用を批判するように注意してるんや。
でも、それにもかかわらず、AI能力が非常に速く向上することについては、確かに最も強気な一人やと思う。何度も繰り返し言うてる現実的なことは、指数関数的成長なんや。数ヶ月ごとに、前に作ったAIモデルよりも良いAIモデルを手に入れるっていう考えや。それは、AIモデルにより多くのコンピュート、より多くのデータ、より多くの新しいタイプのトレーニングモデルを投資することで実現するんや。
最初は事前トレーニングって呼ばれるもんでやってたんや。これはインターネットからたくさんのデータをモデルに食わせるってことや。今は強化学習とかテスト時間コンピュートとか推論とか、何と呼びたいかによるけど、第二段階があるんや。私は強化学習を含む第二段階やと思ってる。
今、この両方が一緒にスケールアップしてるんや。私たちのモデルでも他の企業のモデルでも見てるとおりやな。そしてそれのさらなるスケーリングを阻むものは何も見えへんのや。強化学習側でタスクをどう広げるかっていう問題はあるけどな。数学やコードではもっと進歩が見られて、モデルは高いプロフェッショナルレベルにかなり近づいてるけど、もっと主観的なタスクではそうでもない。でもそれは非常に一時的な障害やと思ってるんや。
私がそれを見る時、この指数関数的成長を見て、「人々は指数関数的成長を理解するのが得意やない」って言うんや。何かが6ヶ月ごとに倍になってるなら、それが起こる2年前には、まだ16分の1の段階にしか見えないんや。だから私たちは2025年の半ばに座ってて、モデルが経済の面で本当に爆発し始めてるんや。
モデルの能力を見たら、すべてのベンチマークを飽和させ始めてる。収益を見たら、Anthropicの収益は毎年10倍成長してるんや。毎年私たちは保守的になって「今度は10倍成長できるはずがない」って言うねん。私は何も想定せずに、いつもビジネス面では成長が鈍化するやろうって非常に保守的に言うてるんやけど、2023年には0から1億に、2024年には1億から10億になった。そして今年、この年の前半で10億から、今話してる時点で40億をかなり上回ってる。4.5億ぐらいかもしれん。
だから、その指数関数的成長が2年間続いたとしたら、私はそうなるとは言わんけど、続いたとしたら、数千億の規模になるんや。そうなるとは言わんで。私が言いたいのは、指数関数的成長の最中におる時は、本当に騙されやすいってことや。指数関数的成長が完全に狂い始める2年前には、まだ始まったばかりみたいに見えるんや。
それが基本的なダイナミクスなんや。90年代のインターネットでも見たやろ。ネットワーク速度とコンピューターの基本的な速度が速くなって、数年でそれまで不可能やったデジタルグローバル通信ネットワークを基本的に構築することが可能になったんや。でも少数の人を除いて、ほとんど誰もその意味合いやそれがどれだけ速く起こるかを本当に理解してなかった。
それが私の立場なんや。そう思ってるんや。でも、たくさんの衛星が墜落したらインターネットはもっと時間がかかったかもしれんし、経済危機があったらもう少し時間がかかったかもしれん。
だから正確なタイムラインは確信できないけど、人々は指数関数的成長に騙されて、それがどれだけ速いかを理解してないと思うんや。どれだけ速いか、確信はないけど、おそらくそうやろうと思う。
スケーリングと収穫逓減について
でもAI業界の多くの人たちがスケーリングからの収穫逓減について話してるな。それはあなたが描いたビジョンとは全然合わんで。彼らは間違ってるんか？
そうやな。私が見てる限り、Anthropicのモデルについてしか語れんけど、Anthropicのモデルで見てることを言うと、コーディングを取ってみようか。コーディングはAnthropicのモデルが非常に速く進歩した分野の一つで、採用も非常に速かった。私たちはコーディング専門の企業やないし、多くの分野に拡大する予定やけど、コーディングを見たら、私たちが3.5 Sonnetってモデルをリリースして、3.5 Sonnet V2ってモデル、3.6 Sonnetって呼んでもええな、それから3.7 Sonnet、4.0 Sonnet、4.0 Opusってモデルを出して、その4つか5つのモデルのシリーズで、それぞれが前のモデルよりもコーディングで大幅に良くなったんや。
ベンチマークを見たかったら、SweetBenchを見てみ。18ヶ月前は3%ぐらいやったのが、測り方にもよるけど72%から80%まで成長したんや。実際の使用も指数関数的に成長してて、これらのモデルをそのまま自律的に使えるようになってきてるんや。
実際、Anthropicで書かれるコードの大部分は、この時点でClaudeモデルの一つによって書かれるか、少なくともその関与があるんや。他のいろんな企業も似たような発言をしてるしな。
だから私たちは進歩が非常に速いと見てるし、指数関数的成長は続いてて、収穫逓減は見てないんや。
継続学習の課題について
でも大規模言語モデルには継続学習みたいな責任があるみたいやな。2週間前にDwark Keshがここに来た時の言葉を引用すると、彼がSubstackで書いたんやけど「継続学習の欠如は非常に大きな問題や。LMのベースラインは多くのタスクで平均的な人間より高いかもしれんけど、箱から出した時の能力で行き詰まってしまうんや。」つまり、モデルを作ったらそれで終わり。学習しない。それは明らかな責任みたいやな。どう思う？
まず第一に、継続学習を解決できなかったとしても、継続学習とメモリを解決できなかったとしても、LLMが経済規模で信じられないほどうまくやって、物事に影響を与える可能性は非常に高いと思うんや。
私が以前いた生物学と医学の分野を考えてみたら、非常に賢いノーベル賞受賞者がいて、「あなたはこれらすべてのものを発見して、この信じられないほど賢い心を持ってるけど、新しい教科書を読んだり新しい情報を吸収したりはできひん」って言うたとしよう。
それは困るやろうけど、でもそんな人が1000万人いたら、それでもたくさんの生物学的ブレークスルーを起こすやろ。制限はあるやろうし、人間にはできひんことをできることもあるし、人間ができることで彼らにはできひんこともあるやろう。
でもそれを天井として課したとしても、めっちゃ印象的で変革的やで。それを解決できひんかったとしても、人々はその影響を過小評価してると思うんや。
でもコンテキストウィンドウは長くなってるし、モデルは実際にコンテキストウィンドウ内で学習するんや。コンテキストウィンドウ内でモデルと話してる間に会話をして、それが情報を吸収するんや。モデルの基礎的な重みは変わらんかもしれんけど、私がここであなたと話してて、あなたが言うことを聞いて、考えて応答するのと同じように、モデルもそれができるんや。
機械学習の観点、AIの観点から見ると、今日コンテキスト長を1億語にできない理由はないんや。これは人間が生涯で聞く語数とほぼ同じやな。
それをできない理由はないんや。それは本当に推論サポートの問題やな。だからそれでもギャップの多くを埋めることができる。すべてのギャップやないけど、多くのギャップを埋めることができる。それから重みを更新することを可能にする学習やメモリみたいなことがいくつかあるんや。
強化学習のタイプ、学習、トレーニングについていくつかのことがあるんや。何年も前に内部ループと外部ループについて話してたやろ。内部ループはエピソードがあって、そのエピソードで何かを学んで、そのエピソードの生涯にわたって最適化しようとするってことや。外部ループはエージェントがエピソードを通して学習することやな。
だから内部ループと外部ループの構造が継続学習を学ぶ方法かもしれんと思ってるんや。
AIで学んだことの一つは、何か基本的な障害があるように感じる時は、2年前は推論に関する基本的な障害があると思ってたけど、結局それは強化学習やったってことや。強化学習で訓練して、モデルにいくつかのことを書き留めさせる。客観的な数学問題を解決しようとするためにモデルに物事を書き留めさせるんや。
あまり具体的にはならんけど、これは思ったより難しくない、スケールプラス物事の考え方を少し変えるだけで解決する別の問題である証拠がすでにあるかもしれんと思ってるんや。
新技術への取り組み
スケールへの執着が新技術のいくつかを見えなくしてるかもしれんって思わん？Demis Hassabisが言うように、AGIや、超強力なAGI、人間レベルの知能、私たちが皆話してることに到達するには、いくつか新しい技術が必要かもしれんって。
新技術を開発してるで。毎日新技術を開発してるんや。
Claudeはコードが非常に得意やけど、なぜClaudeがコードでそんなに得意なのかについては、外部的にはあまり話さないんや。
なぜそんなにコードが得意なんや？
言うたように、それについては外部的には話さないんや。だから私たちが作るClaudeの新しいバージョンには、アーキテクチャの改善、そこに入れるデータの改善、トレーニングに使う方法の改善がある。だから私たちは常に新しい技術を開発してるんや。新しい技術は私たちが構築するすべてのモデルの一部やな。
だからこそ、可能な限り人材密度を最適化しようとしてるって言うてるんや。新しい技術を発明するためには、その人材密度が必要なんやな。
リソースと競争について
この会話にずっとかかってる一つのことは、Anthropicは正しいアイデアを持ってるけど、間違ったリソースを持つ企業かもしれんってことやな。
xAIとMeta内部で起こってることを見たら、イーロンが巨大なクラスターを構築して、マーク・ザッカーバーグが5ギガワットのデータセンターを建設してて、彼らはスケールアップに向けて非常に多くのリソースを投入してるんや。
可能性はあるか？つまりAnthropicは明らかに数十億ドル調達してるけど、これらは兆ドル企業やからな。
私たちはこの時点で200億ドル弱調達してるんや。悪くないやろ。それは決して何でもないってわけやない。例えばAmazonと一緒に構築してるデータセンターのサイズを見たら、私たちのデータセンタースケーリングがこの分野の他の企業のものより大幅に小さいとは思わんのや。
多くの場合、これらのことはエネルギーによって制限される。資本化によって制限される。人々が大きな金額について話す時、それは数年にわたるもんなんや。これらの発表のいくつかを聞く時、まだ資金調達されてないこともあるんや。
私たちは人々が構築してるデータセンターのサイズを見てきたし、私たちが構築するデータセンターのサイズの大まかな範囲内には入るやろうって実際にかなり確信してるんや。
人材密度について話したな。マーク・ザッカーバーグが人材密度の面でやってることについてどう思う？これらの巨大なデータセンターと組み合わせたら、彼は競争できそうやな。
これは実際に非常に興味深いことなんや。他の企業と比べて、Anthropicから引き抜かれた人はかなり少ないことに気づいたんや。努力が足りないからやないで。Anthropicでこれらのオファーを受けた人とたくさん話したけど、断った人ばかりやった。
マーク・ザッカーバーグと話すことさえ拒否して、「いや、Anthropicに残る」って言うた人たちやな。私たちの一般的な対応は、全社Slackに何かを投稿したことやった。「私たちは個別にこれらのオファーに対応するために、私たちの報酬原則、公正性の原則を妥協する気はない」って言うたんや。
Anthropicでの仕組みは、一連のレベルがあるってことや。候補者が入ってきて、レベルを割り当てられて、そのレベルについては交渉しない。不公正やと思うからや。体系的な方法を持ちたいんや。
マーク・ザッカーバーグがダーツボードにダーツを投げて、あなたの名前に当たったからって、隣にいる同じぐらいスキルがあって才能のある人の10倍の給料をもらうべきやってことにはならんのや。
この状況についての私の見解は、パニックになったり、会社を守ろうとして人々を不公正に扱ったりすることで会社の文化を破壊することを許した場合にのみ、本当に傷つけられるってことなんや。
私は実際にこれが会社にとって団結の瞬間やったと思ってるんや。私たちは屈しなかった。人々がAnthropicにいるのは本当にミッションを信じてるからやという確信があったから、原則を妥協することを拒否したんや。
私はこれが私の見方につながると思うんや。彼らがやろうとしてることは、買うことができないものを買おうとしてることやと思う。
それはミッションとの整合性なんや。選択効果があると思うんや。彼らは最も熱心で、最もミッション指向で、最も興奮してる人たちを獲得してるんやろうか？でも彼らには人材とGPUがあるやろ。過小評価してるんやないか？
どうなるかは見てみなあかんな。私は彼らがやろうとしてることについてはかなり弱気やで。
生成AIビジネスについて
ビジネスについて少し話そうか。多くの人が生成AIのビジネスは本物なのかって疑問に思ってるからな。また質問がいつもあるんや。あなたが話した調達資金の額、200億近くについてな。
Googleから30億、Amazonから80億、Lightseedが主導する新しいラウンドから35億調達したって話やな。私はLightseedとも話したことがあるで。
あなたのピッチは何や？あなたは大手テック企業の一部やないからな。独立してるんやろ。スケーリング法則を持って行って「お金ちょうだい」って言うだけなん？
これについての私の見解は、人材が最も重要なもんやってことや。3年前に戻ったら、私たちは数億しか調達してない状況にあった。OpenAIはすでにMicrosoftから130億調達してた。そしてもちろん、大手テック企業は1000億、2000億ドル持ってたんや。
その時私たちがしたピッチは基本的に、私たちは他の人よりもこれらのモデルをより良く作る方法を知ってるってことやった。カーブがあるかもしれん。スケーリング法則のカーブがあるかもしれん。
でも私たちが1億で他の人が10億でできることをできる立場にあって、100億で他の人が1000億でできることをできるなら、他の企業に投資するより、Anthropicに投資する方が10倍資本効率が良いってことやな。
大きなお金の山から始めるか、10倍安くできる立場にいるか、どっちがええ？10倍安くできるなら、お金は解決できる一時的な欠陥なんや。同じ価格でもっと良いものを作る、または他の人よりもずっと安い価格で同じぐらい良いものを作るという本質的な能力があるなら、投資家はバカやないし、少なくともいつもバカってわけやない。名前は言わんけどな。
でも基本的に資本効率の概念を理解してるんや。だから私たちは3年前、これらの差が1000倍とかやった立場にあって、今は200億ドルで1000億と競争できるかって言うてるんやけど、人材密度のおかげで基本的にはイエスやって答えになるんや。
前にも言うたけど、Anthropicは実際にそのスケールでの史上最速成長のソフトウェア企業なんや。2023年に0から1億に、2024年に1億から10億に成長した。そして今年は10億から、前に言うたように45億に成長したんや。
つまり年10倍っていうのは、毎年そのスケールで成長すると疑ってて、毎年公に言うのがほとんど怖いぐらいや。「いや、また起こるはずがない」って思うからな。だからそのスケールでの成長は、大手プレイヤーと競争する私たちの能力について、それ自体で語ってると思うんや。
CNBCによると、Anthropicの売上の60～75%がAPI経由やって内部文書に書いてあったそうやな。それはまだ正確なん？
正確な数字は言わんけど、大部分はAPIから来てるのは確かや。ただ、アプリビジネスも繁盛してるし、最近ではパワーユーザーが使うmaxティアや、コーダーが使うclaude codeもあるんや。
だから私たちには繁栄してて急成長してるアプリビジネスがあるけど、確かに大部分はAPIから来てるな。
つまり、あなたはこの技術に最も純粋な賭けをしてるってことやな。OpenAIはChatGPTに賭けてるかもしれんし、Googleは技術がどこに向かおうとGmailやカレンダーに統合できるってことに賭けてるかもしれん。
なぜこの技術そのものへの純粋な賭けをしたんや？
そういう風には説明せんかな。私たちはAPIそのものよりも、モデルのビジネス用途に賭けたって言う方が正確やと思う。モデルの最初のビジネス用途がAPIを通じて来るってだけなんや。
OpenAIは消費者側に非常に集中してる。Googleは既存のGoogleの製品にかなり集中してる。私たちの見解は、どちらかと言えば、AIの企業使用は消費者使用よりもさらに大きくなるやろうってことや。企業、スタートアップ、開発者、そして生産性のためにモデルを使うパワーユーザーのビジネス用途やからな。
ビジネス用途に焦点を当てた会社であることは、実際にモデルをより良くするためのより良いインセンティブを与えると思うんや。価値のある思考実験は、このモデルがあって、それが生化学で学部生並みやとしよう。
それを改善して大学院生並みの生化学になったとする。消費者に行って、チャットボットを渡して「すごいニュースや。生化学で学部レベルから大学院レベルに改善したで」って言うても、消費者の1%ぐらいしか全然気にしないやろ。99%は「どっちも理解できひん」って言うやろうな。
でも今度はファイザーに行って「これを学部の生化学から大学院の生化学に改善した」って言うたら、これは世界で一番大きな出来事になるやろ。彼らはそういうもんに10倍お金を払うかもしれん。彼らにとって10倍の価値があるかもしれんのや。
だからモデルを世界の問題を解決するために、より賢く、より賢くするだけやなくて、多くの積極的な応用、「Machines of Loving Grace」で書いたような、生物医学の問題を解決する、地政学の問題を解決する、経済発展の問題を解決する、そしてもっと平凡な金融や法的や生産性や保険みたいなことも含めて、そういう応用をもたらすことができるようにするっていう一般的な目標は、モデルを可能な限り発展させるためのより良いインセンティブを与えると思うんや。
そして多くの意味で、それはより積極的なビジネスかもしれん。
だから私たちは指数関数的成長と最も整合性の取れたAIのビジネス使用に賭けをしてるって言うやろうな。
コーディング用途の選択について
簡潔に、どうやってコーディング用途に決めたんや？
もともと多くのことがそうやけど、私たちはモデルをいろんなことでより良くすることを最適化しようとしてて、コーディングが特に価値の面で際立ってたんや。
私は何千人ものエンジニアと働いたことがあるんやけど、約1年半前に、今まで働いた中で最高の一人が「これまでのコーディングモデルはすべて私には役に立たなかったけど、これはついに私にできないことをできるようになった」って言うたんや。
それをリリースした後、急速に採用されるようになった。CursorやWindsurf、GitHub、Augment Codeみたいなコーディング企業が人気で爆発し始めた時期やったな。それがどれだけ人気があるかを見て、私たちはそれに倍賭けしたんや。
私の見解では、コーディングは特に興味深いんや。なぜなら採用が速いし、モデルでコーディングがより良くなることで、実際に次のモデルを開発するのに役立つからや。
だからいくつかの利点があるんやな。
価格設定の課題について
今あなたはclaude codeを通じてAIコーディングを販売してるな。でも価格設定モデルが一部の人には困惑させるものになってるんや。月200ドル使って、私が話した開発者の一人は、あなたのAPIから月6000ドル相当のものを得たんや。
Ed Zitronが指摘してるように、あなたのモデルが人気になればなるほど、人々がこの技術のスーパーユーザーやったら、もっとお金を失うことになるんや。それはどう意味があるんや？
実際に価格設定とレート制限は驚くほど複雑なんや。これの一部は基本的に、claude codeとmaxティア（最終的に一緒にしたんやけど、完全やないけど）をリリースした時に、人々がモデルを使う方法や実際にどれだけ得られるかの影響を完全に理解してなかった結果なんや。
だからこのインタビューの時点では、この数日間で、特にOpusみたいな大きなモデルでそれを調整したんや。200ドルのサブスクリプションでそんなに使うことはもうできひんと思う。そして将来もっと変更が来る可能性があるけど、私たちは常にたくさん使うユーザーと少し使うユーザーの分布を持つことになるんや。
必ずしも、APIクレジットで測ったらより良い取引を得る一部のユーザーがいることで、私たちがお金を失ってるってことやないんや。API製品より消費者サブスクリプションでより良い取引を得るユーザーがいるってことやな。そこにはたくさんの仮定があるんや。それらのいくつかは間違ってるって言えるで。実際に私たちはお金を失ってないんや。
でもこれらの用途を提供し続けて価格を上げないでいられるかどうかについては別の質問があるな。いくつかの統計を言うと、Anthropicの新しいモデルをCursorで使うのに、今まで以上にお金がかかるようになったから怒ってる開発者もいるんや。
私が話したスタートアップは、GPUにアクセスできないからAnthropicが大幅にダウンしてるって言うてる。少なくとも彼らが想像してることやけどな。ReplayのAmjad Masadと一緒にいたんやけど、来週放送予定のインタビューで、これらのモデルを使うトークンあたりの価格が下がってる期間があったけど、下がるのが止まったって言うてたんや。
つまり、これらのモデルがAnthropicにとって実行するのが非常に高価で、それ自体の壁にぶつかってるってことが起こってるんか？
また仮定をしてると思うで。だからCEOに聞いてるんや。
私がそれについて考える方法は、モデルがどれだけの価値を作り出してるかって観点で考えるんや。モデルがどんどん良くなるにつれて、それらが作り出す価値について考えて、モデルを作る人、チップを作る人、基礎的なアプリケーションを作る人の間で価値がどう分配されるかは別の問題なんや。
だから、あまり具体的にならずに言うと、あなたの質問にある仮定のいくつかは必ずしも正しくないと思うんや。どれか教えて。
これを言うやろう。与えられたレベルの知能を提供するコストは下がると予想してるんや。増加する経済価値を提供する知能のフロンティアを提供するコストは上がるかもしれんし下がるかもしれん。私の推測では、おそらく今あるところにとどまるやろう。
でも、作り出される価値は大幅に上がるんや。だから2年後には、今と同じ程度のコストがかかるモデルがあると推測してるけど、今日できるよりもはるかに自律的に、はるかに広範囲に仕事をする能力があるやろうな。
Amjadが言及してたことの一つは、大きなモデルはアーキテクチャとこれらのテクニックのために、サイズの割に実行がそれほど集約的やないか、より集約的やと思ってるってことや。彼のアイデアを正しく伝えてることを願うけど、Anthropicはバックエンドであまり負担をかけずにこれらのモデルを実行できるけど、それでも価格をそこに保ってるってことなんや。
私が引く線は、ソフトウェアマージンに到達するために、Anthropicがソフトウェアの総利益率をわずかに下回ってるっていう報告があったから、これらのモデルにもう少し課金する必要があるってことかもしれんな。
また、大きなモデルは小さなモデルより実行コストが高いと思うんや。あなたが言及してる技術は、混合専門家（mixture of experts）みたいなもんかもしれんな。あなたのモデルが混合専門家かどうかに関係なく、混合専門家は与えられた数のパラメーターを持つモデルをより安く実行する方法なんや。モデルを訓練する方法やな。
でもその技術を使ってなかったら、その技術を使わない大きなモデルは、その技術を使わない小さなモデルより実行コストが高いんや。その技術を使ってたら、その技術を使う大きなモデルは、その技術を使う小さなモデルより実行コストが高いんや。だからそれは状況の歪曲やと思うんや。
基本的に私は推測してるだけで、あなたから真実を見つけ出そうとしてるんや。
モデルのコストについて言うと、人々が驚くようなことの一つは、x%からy%にマージンを上げるのが本当に大変やろうって推測することやな。
私たちは常に、モデルを以前より50%効率的にする改善を行ってるんや。推論の最適化は始まったばかりなんや。推論は数年前のところから今のところまで大幅に改善した。だから価格が下がってるんや。
収益性について
利益を上げるまでどれぐらいかかるんや？今年の損失は30億ドルぐらいになると思うんやけど。
それは違うことを区別する必要があるな。モデルを実行するコストがあるやろ。つまり、モデルが1ドル稼ぐごとに一定の金額がかかるんや。それは実際にはすでにかなり利益が出てるんや。
別のことがある。人にお金を払うコストや建物みたいなのがあって、それは実際にはそんなに大きくないんや。大きなコストは次のモデルを訓練するコストなんや。
企業がお金を失って利益が出てないっていう考えは、ちょっと誤解を招くと思うんや。スケーリング法則を見る時により良く理解できるようになるんや。
思考実験として、これらの数字はAnthropicにとって正確でも近くもないけど、2023年に1億ドルかかるモデルを訓練したとしよう。それから2024年に、2023年のモデルを展開して2億ドルの収益を上げたけど、2024年に新しいモデルを訓練するのに10億ドル使ったとする。
それから2025年に、10億ドルのモデルが20億の収益を上げて、次のモデルを訓練するのに100億使うとする。だから会社は毎年利益が出てない。2024年に8億ドル損失して、2025年に80億ドル損失したんや。
だからこれは非常に利益の出ない企業に見えるけど、代わりに各モデルが利益を出してるかって観点で考えたら、各モデルをベンチャーとして考えるんや。モデルに1億ドル投資して、次の年に2億ドル得た。だからそのモデルは50%のマージンがあって、次の年に1億ドル稼がせてくれたんや。
次のモデルでは、会社が10億ドル投資して20億ドル稼いだ。だからすべてのモデルが利益を出してるけど、会社は毎年利益が出てないんや。これはスタイライズされた例で、Anthropicについてこれらの数字や事実を主張してるわけやないけど、この一般的なダイナミクスが起こってることの説明なんや。
だからモデルが良くなるのをやめたり、会社が次のモデルに投資するのをやめたりしたら、既存のモデルでおそらく実行可能なビジネスになるやろうけど、みんなが次のモデルに投資してるから、最終的にはある規模に到達するんや。
でも次のモデルに投資するためにもっと使ってるという事実は、来年のビジネスの規模が前年より大きくなることを示してるんや。もちろん、モデルが良くなるのをやめて、この一回限りのコストが無駄遣いになるってことも起こり得るけど、それなら業界は利益性のこのプラトーに戻るか、指数関数的成長が続くかやな。
だからそれは物事について考える正しい方法やないと思うっていう長い説明やな。
オープンソースの脅威について
でもオープンソースはどうや？なぜなら、仮にあなたがモデルへの投資をやめて、オープンソースが追いついたら、人々はオープンソースを代わりに使えるからな。
Anthropicビジネスについて人々が私に話したことの一つに、最終的にオープンソースが十分良くなったら、Anthropicを取り出してオープンソースを入れることができるっていうリスクがあるんや。
人々がこの業界について言い続けてることの一つは、私が2014年にAIにいた頃に早い段階で見たことなんやけど、AIが通過したすべてのコミュニティには、物事がどう機能するかについての一連のヒューリスティクスがあるんや。
昔、私が2014年にAIにいた時、既存のAIと機械学習研究コミュニティがあって、ある方法で物事を考えてて「これは単なる流行や。これは新しいもんや。これは機能せん。これはスケールせん」って思ってたんや。それから指数関数的成長のせいで、それらすべてが間違いやったことが判明したんや。
それから企業内でAIをさまざまなアプリケーションに展開することについても似たようなことが起こった。それからスタートアップエコシステムでも同じ考えがあった。今は世界のビジネスリーダー、投資家、ビジネス界が商品化のこの全体的な語彙を持ってる段階やと思うんや。
どのレイヤーに価値が蓄積されるか、オープンソースは見えてることすべてを見ることができるっていう考え、それがビジネスを損なうという意味を持ってるっていう考えなんや。そのような世界から全く来なかった、前世代のテックからの考え方の語彙で考えたことがない人として、何も知らないことがしばしば、そのような考え方を持つ人たちよりも良い予測をすることにつながるって思うんや。
これは長い説明やけど、オープンソースはAIでは他の分野で機能したのと同じようには機能せんと思うって言いたいんや。
主にオープンソースではモデルのソースコードを見ることができるけど、ここではモデルの中を見ることができんからや。しばしばオープンソースではなくオープンウェイトって呼ばれて区別してるけど、多くの人が取り組むことができる、それが付加的やっていう恩恵の多くは、同じようには機能せんのや。
だから新しいモデルが出てきた時、私はそれがオープンソースかどうかは気にしないんや。DeepSeekについて話す時、DeepSeekがオープンソースであることは重要やなかったと思う。良いモデルかどうか、私たちがやってることより良いかどうかを問うんや。それが私が気にする唯一のことや。実際にはどちらでも関係ないんや。
最終的にはクラウドでホストする必要があるからや。クラウドでホストする人が推論を行うんや。これらは大きなモデルや。推論するのが難しいんや。逆に、重みを見ることができる時にできることの多くを、モデルを微調整できるクラウドでますます提供してるんや。
解釈可能性インターフェースの一部として、モデルの活性化を調査する方法も見てるんや。前回はステアリングの周りで小さなことをしたしな。
だから競争について考える時は、私たちがやってるタスクでどのモデルが良いかって観点で考えるんや。オープンソースは実際に見当違いやと思う。
でも無料で実行が安いんやったら。
無料やないで。推論で実行する必要があるし、誰かがそれを推論で速くする必要があるんや。
個人的な背景について
ダリオその人についてもう少し学びたいんや。残り時間が少しあるから、幼少期とどうやって今の自分になったかについて質問があるんや。
サンフランシスコで育つのはどんな感じやった？
私が最初にここで育った時、街はまだそんなに高級化してなかったんや。育った時、テックブームはまだ起こってなかった。高校を通る時に起こったんや。
実際、私はそれに全く興味がなかった。完全につまらなかった。科学者になることに興味があった。物理学と数学に興味があって、ウェブサイトを書いたり会社を設立したりするアイデアには全く興味がなかった。
基本的な科学的真理を発見することに興味があったし、世界をより良くすることにも興味があった。だからテックブームが周りで起こってるのを見てたけど、今役に立つであろういろんなことを学べたやろうけど、実際に注意を払ってなかったし、その中心にいたにも関わらず全く興味がなかったんや。
あなたはユダヤ人の母親とイタリア人の父親の息子やったな。私の出身のロングアイランドでは、それをピザベーグルって呼ぶんや。
ピザベーグル。その言葉は聞いたことがないな。
両親との関係はどうやった？
いつも結構近かったと思うで。彼らは善悪の感覚と世界で何が重要かを教えてくれた。強い責任感を植え付けることが、私が最も覚えてることかもしれん。
彼らはいつも責任感を感じて、世界をより良くしたいって思う人たちやった。それが彼らから学んだ主要なことの一つやと思う。いつも非常に愛情深い家族、非常に思いやりのある家族やった。
もちろん共同創設者になった妹のダニエラととても親しかった。私たちは何らかの形で一緒に働きたいって早い段階で決めてたと思う。それがこのスケールで起こるって想像してたかはわからんけどな。
でもそれは私たちが早い段階で決めてたことやったと思う。
長年あなたを知ってる人たちが、あなたの父親の病気があなたに大きな影響を与えたって言うてたんや。少しシェアしてもらえる？
そうやな。彼は長い間病気やった。最終的に2006年に亡くなったんや。それが実際に私を生物学に向かわせた理由の一つやった。
このインタビューではまだ言及してなかったと思うけど、AIに入る前に生物学に入ったんや。プリンストンに理論物理学者になりたくて現れて、最初の数ヶ月は宇宙論の仕事をしてたんや。
それが父が亡くなった頃で、それは私に影響を与えて、生物学に入る理由の一つになった。人間の病気と生物学的問題に取り組もうとしたんや。それで私がいた部門で生物物理学と計算神経科学に取り組む人たちと話し始めて、それが生物学と計算神経科学への転換につながったんや。
それからもちろん最終的にAIに入ったんやけど、AIに入った理由は実際にその動機の継続やった。生物学で何年も過ごして、生物学の根本的な問題の複雑性が人間のスケールを超えてるって実感したんや。
すべてを理解するためには、何百、何千もの人間の研究者が必要で、彼らがしばしば協力したり知識を組み合わせたりするのが困難やった。そして私がちょうど発見し始めてたAIが、そのギャップを埋める、人間のスケールを超えて生物学の問題を完全に理解し解決することができる唯一の技術のように思えたんや。
だから、そこには通じる線があるんやな。間違ってるかもしれんけど、聞いたことの一つは、彼の病気は当時はほとんど治せなかったってことや。でも今日ではもっと管理しやすくなった進歩があったって。もう少しシェアしてもらえる？
そうや。実際に彼が亡くなった3、4年後にしか、彼が患った病気の治癒率が50%から約95%になったんや。
父親を治療できたであろうものによって奪われるのは、非常に不公正に感じたに違いないな。
もちろんそうや。でもそれは関連する問題を解決することの緊急性を教えてくれるんや。この病気の治療法に取り組んで、なんとか治療法を見つけて多くの人の命を救った人がいたけど、数年早くその治療法を見つけることができてたら、もっと多くの人の命を救えたやろうってことやな。
それがここでの緊張の一つやと思うんや。AIにはこれらすべての恩恵があるんや。みんなにその恩恵をできるだけ早く得てほしいと思ってる。おそらく誰よりもその恩恵がどれだけ緊急かを理解してると思う。だから本当にその利害を理解してるんや。
AIにはこれらのリスクがあるって言って、これらのリスクを心配してるって発言する時、人から「ドゥーマー」って呼ばれるとめっちゃ腹が立つんや。「こいつはドゥーマー。物事を遅らせたがってる」って言われると、さっき言ったことを聞いてたやろって思う。
私の父は数年後に起こり得た治療法のせいで亡くなったんや。私はこの技術の恩恵を理解してるんや。「Machines of Loving Grace」を書くために座った時、この技術で何十億人の人生がより良くなる方法を書き出したんや。
Twitterで加速を応援してる人たちの中には、技術の恩恵についての人道的な感覚を持ってない人もいると思う。彼らの脳はアドレナリンでいっぱいで、何かを応援したい、加速したいって思ってるだけや。彼らが気にしてるって感覚は得られん。
だからこういう人たちが私をドゥーマーって呼ぶと、彼らには道徳的信頼性が完全に欠けてるって思うんや。本当に彼らに対する敬意を失うよ。
この「インパクト」っていう言葉が気になってるんや。あなたの周りにいた人がよく言うからや。あなたがインパクトを持つことに一心不乱に執着してるって。実際、あなたをよく知ってる人と話したら、「ゲーム・オブ・スローンズ」を見ないのは、それがインパクトに結びついてない、時間の無駄で、インパクトに集中したいからやって言われたんや。
実際、それは正確やない。あまりにもゼロサムで、人々がネガティブなゲームをしてるから見なかったんや。これらの人たちは部分的に状況と部分的にひどい人間やから始まって、最終的にみんなが前より悪い状況を作り出すような状況を作るんや。
私はポジティブサムな状況を作ることに本当に興奮してるんや。見ることをお勧めするで。素晴らしい番組や。でも一部は非常に消極的で、長い間見ることを躊躇してたんや。
インパクトに戻ろう。つまり、インパクトを持つための探求があなたのキャリアになってるってことや。つまり、私の行き過ぎかもしれんけど、似たような状況の人を防ぐことができるようにするための探求やったってことやな。
私はそれがその一部やと思うな。いろんな人を助ける試みを見てきたけど、そのうちのいくつかは他のものより効果的やからな。
助けようとする時には、その背後に戦略があるべきやし、頭脳があるべきやと思ってきたんや。それはしばしば、それに向かう長い道のりがあることを意味するんや。会社を通じて、技術的で、あなたが持とうとしてるインパクトに直接結びついてない多くの活動を通じて進むことができる。
でも、常にその方向に弧を曲げようとしてるんや。それが私の描写やと思う。それが本当に私がこれに入った理由やな。
AIに入った理由と似てるのは、生物学の問題をそれなしでは解決不可能、少なくとも動きが遅すぎると見たからなんや。
会社を始めた理由は、他の会社で働いて、それらの会社の運営方法が本当にそのインパクトを持つことに向けられてないって感じたからや。リクルートによく使われる話があったけど、何年もかけてその話が誠実やないことが明らかになったんや。
あなたがここでOpenAIのことを言及してるのは明らかやな。私の理解では、あなたはOpenAIの計算リソースの50%を持ってたんや。GPT-3プロジェクトを運営してたんやな。だから誰かがインパクトと安全性に焦点を当てるとしたら、それはあなたやったんやないか？
そうや。それが真実やった期間があったんや。ずっとそうやったわけやない。例えば、GPT-3をスケールアップしてた時はそうやった。
だから私がOpenAIにいた時、私と私の同僚の多く、最終的にAnthropicを設立した人たちを含めて、パンダたちや。
あなたが彼らに与えた名前やな。
私が与えた名前やない。彼らが取った名前や。
私が取った名前でもない。他の人が彼らを呼んだ名前や。
私がチームに使ったことのない名前やな。
そうか。すまん。続けてくれ。
良い明確化やな。ありがとう。
私たちはこれらのモデルのスケールアップに関わってたんや。実際、GPT-2とGPT-3を構築した最初の理由は、私たちがやってたAI調整作業の派生やったんや。私とPaul ChristianoとAnthropicの共同創設者の何人かが、人間のフィードバックからの強化学習っていう技術を発明したんや。
それは人間の意図に従う方向にモデルを操縦するのを助けるために設計されたんや。実際、それは何年後にようやく機能し始めた、より拡張可能な人間の意図に従うモデルを助けるためのスケーラブル監督っていう別の方法をスケールアップしようとしてた前駆体やった。
でも私たちが見つけたのは、より原始的な技術である人間のフィードバックからの強化学習でさえ、OpenAIの他の人々によって構築されたGPT-1に適用した小さな言語モデルでは機能してなかったってことや。だからGPT-2とGPT-3のスケールアップは、これらの技術を研究するため、人間のフィードバックからの強化学習を大規模に適用するために行われたんや。
これは一つのことにつながるんや。この分野では、AIシステムの調整とAIシステムの能力は、いつも思ってるより結びついてて絡み合ってるってことやな。実際、これで私が理解したのは、AIシステムの安全性とAIシステムの能力を別々に取り組むのは非常に困難やってことや。一方に取り組んで他方に取り組まないのは非常に困難なんや。
実際、価値と分野をよりポジティブな方向に向ける方法は、組織レベルの決定から来ると思うんや。いつ物事をリリースするか、いつ内部で物事を研究するか、システムでどんな種類の作業をするか。
それが私と他の人たち、Anthropicの創設者たちが独自の方法でやろうと決めた理由の一つやったんや。
でも、能力と安全性が絡み合ってると思ってて、OpenAI内で最先端のモデルを推進してる人やったなら、あなたが去ったら、彼らはまだこの作業をする会社になるってわかってたやろ。
能力を推進してるなら、あなたが望む方法で安全にするための運転席にいるはずやと思うけどな。
モデルをリリースする決定があったら、会社のガバナンスの決定があったら、会社の人事がどう機能するかの決定があったら、会社が外部でどう自分を表現するかの決定、会社が配置に関して行う決定、社会に関してどう運営するかについて会社が行う主張があったら、それらの多くは、モデルを訓練するだけでは制御できないことなんや。
信頼が本当に重要やと思うんや。会社のリーダーは信頼できる人でなければならん。動機が誠実な人でなければならん。どれだけ技術的に会社を前進させてても、動機が誠実やない、正直な人やない、本当に世界をより良くしたいと思ってない人のために働いてるなら、うまくいかん。悪いことに貢献するだけやからな。
そして、ジェンセンみたいな人からの批判も確実に聞いてるやろ。「ダリオは自分だけが安全に構築できると思ってて、だから業界全体をコントロールしたいんや」って。
そんなこと一度も言うたことない。それは途方もない嘘や。今まで聞いた中で最も途方もない嘘やで。
ところで、ジェンセンの言葉を間違えて伝えてたらすまん。
いや、いや、言葉は正しかった。
でもその言葉は途方もないもんや。実際、私は何度も言うてきたし、Anthropicの行動がそれを示してると思うんやけど、私たちは「トップへの競争」って呼んでるものを目指してるんや。
何年もポッドキャストで言うてきたし、Anthropicの行動がそれを示してると思うんやけど、「ボトムへの競争」があるやろ、みんなができるだけ速く物事を出そうと競争してるんや。ボトムへの競争がある時、誰が勝っても関係ない、みんなが負けるんや。敵を助けたり経済問題を引き起こしたり、調整の観点から安全やないシステムを作るからやな。
トップへの競争について考える方法は、誰が勝っても関係ない、みんなが勝つってことなんや。トップへの競争の仕組みは、分野がどう機能するかの例を示すことや。私たちはこの実践に関わるって言うんや。
この重要な例は責任あるスケーリングポリシーや。私たちは最初に責任あるスケーリングポリシーを出して、他のみんながこれをするべきや、そうしないと悪い奴らやって言わなかった。それを使って有利になろうとしなかった。それを出して、他のみんなにもそれをするよう奨励したんや。
それから数ヶ月後に発見したのは、他の企業内に責任あるスケーリングポリシーを出そうとしてる人たちがいたってことやった。でも私たちがそれをしたことで、それらの人々に許可を与えた、つまりそれらの人々がリーダーシップに「Anthropicがこれをやってるから、私たちもそれをするべきや」って論証することを可能にしたんや。
解釈可能性への投資についても同じことが言える。私たちは解釈可能性研究をみんなにリリースして、時には商業的な利点があるのを見てるにも関わらず、他の企業がそれをコピーすることを許可してるんや。憲法的AIについても同じや、私たちのシステムの危険を測定すること、危険な能力評価についても同じやな。
私たちは分野の例を示そうとしてるけど、強力な商業的競争相手であることが助けになる相互作用があるんや。この技術を構築するべき会社がこの会社だけやべきやっていう考えに近いようなことは何も言うたことがない。私が言うたことからそれをどう導き出すことができるのかわからん。
それは信じられない悪意のある歪曲やで。
SPFとの関係について
SPFで何が起こったか見てみようか。彼は一人やった…続けて。
言えんな。彼とは4、5回会ったぐらいやな。
だからSPFの心理や、なぜ彼があんなにバカで不道徳なことをしたのかについて、大した洞察はないんや。
SPFについて事前に見たことがあった唯一のことは、何人かの人が彼は一緒に働くのが困難で、「動き速く、物を壊す」タイプの奴やって言うたことやな。
「シリコンバレーへようこそ」やな。
そうや。シリコンバレーへようこそや。だから「わかった、この人には議決権のない株式を与えよう。取締役会には入れない。毎日付き合うのは悪い人みたいやからな」って覚えてるんや。
でも彼はAIに興奮してる。AI安全性に興奮してる。AIに強気でAI安全性に興味がある。だから理にかなってることのように思えたんや。
後から振り返ると、「動き速く物を壊す」は私が想像してたよりもはるかに極端で悪いものやったんやな。
インパクトと技術制御について
最後に終わろう。あなたはインパクトを見つけたんやな。基本的に今夢を生きてるようなもんやろ。AIが生物学に使えるすべての方法を考えてみ、それは始まりに過ぎんのやからな。
あなたはこれが危険な技術やとも言うてる。あなたのインパクトへの欲求が、この技術を加速させる一方で、それを制御することが実現可能やないかもしれんという可能性を過小評価させてるんやないかって気になるんや。
私は業界の誰よりも、この技術の危険について警告してきたと思うんや。10分、20分かけて、兆ドル企業を経営する人たちが、これらの技術の危険について話すことで私を批判してることについて話したやろ。
米国政府関係者もいる。4兆ドル企業を経営する人たちが、技術の危険について話すことで私を批判してるんや。私が言うたこととは何の関係もない奇妙な動機を推測して、私がやったこととは何の関係もないことで支持されてないのにな。
それでも、私は続けるつもりや。実際、AIの収益、AIの経済ビジネスが増加してて、指数関数的に増加してる中で、私が正しければ、数年で世界最大の収益源になるやろ。世界最大の産業になるんや。
企業を経営する人たちはすでにそう思ってる。だから実際、AIをできるだけ速く加速させる側に数千億から数兆、私は200兆ドルの資本があるっていう恐ろしい状況があるんや。
絶対的な条件では非常に価値があるけど、それと比べると非常に小さく見える会社があるんや。600億ドルやな。
それでも私は発言し続けてる。たとえそれで政府の人たちが私たちに怒ってるって記事があってもな。例えば、AI規制のモラトリアムに反対して、中国へのチップの輸出規制に賛成して、AIの経済的影響について話すことでな。
そんなことをするたびに、多くの同業者から攻撃されるんや。でもあなたはまだそれを制御できるって仮定してるやろ。それが私が指摘してることや。
私がどれだけの努力、どれだけの粘り強さ、すべてが積み重なってる中で、すべての危険にも関わらず、それが会社に与えるリスクにも関わらず、発言する意志があることを言うてるだけや。
もし技術を制御する方法がないと思ってたら、これが単なるギャンブルやと思ってたら、「AIが間違った方向に行く可能性が5%か10%あるなら、サイコロを振ってるだけや」って人もいるけど、そんな風には考えてないんや。
これは複数段階のゲームやろ。一歩踏み出して、次の段階の最も強力なモデルを構築して、より集約的なテスト体制を持つ。より強力なモデルに近づくにつれて、AIのリスクがより近づいてることを心配して、もっと発言してもっと抜本的な行動を取ってるんや。
私たちはそれらに対処しようと働いてる。ある程度の進歩を遂げたけど、リスクについて遂げた進歩が技術の速度に必要なだけ速く進んでないって心配する時、私は速度を上げる、もっと大きな声で発言するんや。
だから、なぜ話してるのか、「何があなたに入り込んだのか」って言うてこのインタビューを始めたけど、指数関数的成長がリスクを処理する能力が技術の速度に追いついてない状況があるかもしれんという心配をするところまで来てるからなんや。それが私の対応方法なんや。
技術を制御する方法がないって信じてたなら、その命題について全く証拠を見てないんやけど、私たちはリリースするすべてのモデルでモデルを制御することが上手くなってるやろ。いろんなことが間違った方向に行くけど、モデルを本当に厳しくストレステストする必要があるんや。
それは緊急の悪い行動を起こせないってことを意味するわけやない。今持ってる調整技術だけで、はるかに強力なモデルに到達したら、非常に心配やろうな。それなら、みんながこれらのものを構築するのをやめるべきやって外で言うやろう。中国もこれらを構築するのをやめるべきや。彼らは私の言うことを聞かんやろうと思うけど、それが輸出規制がより良い対策やと思う理由の一つや。
でも数年先のモデルで、今日持ってる調整と操縦技術しかなかったら、確実に大幅にスローダウンすることを提唱するやろうな。
リスクについて警告してる理由は、スローダウンしなくて済むようにするためなんや。安全技術に投資して、分野の進歩を続けることができるようにするためや。
一つの会社がその技術をスローダウンする意志があったとしても、それは大きな経済的努力になるやろう。他の企業を止めることにはならんし、この技術が生存をかけた実存的な戦いである地政学的敵対者を止めることにもならん。
だから、ここにはほとんど余裕がないんや。私たちは技術のすべての恩恵、それを加速する競争、そしてそれが多者間の競争やという事実の間に挟まれてるんや。
だから私ができる最善のことは、安全技術に投資して、安全の進歩を加速することなんや。解釈可能性の重要性、安全でのさまざまな方向がどれだけ重要かについてエッセイを書いたんや。私たちはすべての安全研究をオープンにリリースしてる。それが公共財やと思うからや。みんなが共有すべきもんやと思うからや。
恩恵、技術の不可避性、そして私たちが直面するリスクのバランスを取るより良い戦略があるなら、喜んで聞きたいで。毎晩それを考えて眠りにつくからや。恩恵の面で信じられないほどの利害を理解してるし、それができること、救える命について個人的に見てきたからや。
リスクも個人的に見てきた。私たちはすでにモデルで間違った方向に行くことを見てきた。Grokの例があるやろ。人々はこれを軽視するけど、モデルが行動を起こして、製造を担当して、医療介入を担当するようになったら、もう笑えなくなるやろ。
人々がモデルが話してるだけの時にリスクを笑えるけど、これは非常に深刻やと思う。だからこの状況が要求するのは、リスクと恩恵の両方について非常に真剣な理解なんや。これらは高い利害の決定や。真剣さを持って行われる必要がある。
私を非常に心配させることは、一方では単なるドゥーマーの集団がいることや。人々は私をドゥーマーって呼ぶ。私はそうやない。でも実際にドゥーマーはいるんや。これを安全に構築する方法はないって知ってるって言う人たち。
彼らの論証を見たけど、でたらめの集まりや。これらのモデルには人類全体への危険を含む危険が関連してるっていう考えは、私には理にかなう。それらを安全にする方法がないって論理的に証明できるっていう考えは、ナンセンスのように思える。
だからそれは私たちが置かれてる状況に対する知的にも道徳的にも真剣やない対応やと思う。200兆ドルの資本に座ってて、みんなが一緒に働いてる（インセンティブがすべて同じ方向やから）人たちにとっても、知的にも道徳的にも真剣やない対応やと思う。
彼らの目にはすべてドル記号が浮かんでて、この技術を10年間規制すべきやないって言うんや。これらのモデルの安全性を心配する人は誰でも、技術を自分たちでコントロールしたいだけの人やって言うんや。
それは途方もない主張で、道徳的に真剣やない主張や。私たちはここに座って、あらゆる可能な研究をやってきた。適切やと思う時に発言する。AIの経済的影響について主張する時、それを裏付けようとする。経済研究評議会がある。モデルをリアルタイムで追跡するために使う経済指標がある。
技術の経済的影響を理解するために人々に助成金を出してる。私よりもはるかに技術の成功に経済的に投資してる人たちが、軽々しく人身攻撃をするのは、ドゥーマーの立場と同じぐらい知的にも道徳的にも真剣やないと思うんや。
ここで必要なのは、もっと思慮深さ、もっと誠実さ、自分の利益に反して進んで行動する人、軽々しいTwitterの戦い、ホットテイクを持たない意志のある人たちなんや。実際に状況を理解することに投資し、実際に研究をして、実際に研究を出して、私たちが置かれてる状況に実際に光と洞察を加える人々が必要なんや。
私はそれをやろうとしてる。完璧にやってるとは思わん。人間として完璧にできる人はいないからな。できるだけ良くやろうとしてる。同じことをしようとする他の人たちがいたら非常に助かるやろうな。
カメラを回してない時に言うたけど、カメラを回してる時にも言うとこう。Anthropicがどれだけ多くを公開してるかを評価してる。モデルのレッドチーミングから自動販売機Claude（今日話す機会がなかったけど）まで、実験からたくさん学んだで。
ここで起こってることすべてを聞くだけで、世界はより良くなってると思う。そしてその点で、私と一緒に座って多くの時間を過ごしてくれてありがとう。
こちらこそありがとうございます。聞いてくれて見てくれてありがとう。次回のBig Technology Podcastでまた会いましょう。
コメント