Anthropicの共同創業者と経済学責任者が、AIフロンティアで進む研究、Claudeの能力向上、労働市場や生産性への影響、安全性と規制の課題を語る。AIが企業内の働き方を変えつつある現状から、国家安全保障、モデルのアラインメント、人類へのリスク、そして信頼できるAI開発の条件までを幅広く議論する内容である。
- AIが人類を滅ぼす可能性という古典的なSFシナリオ
- Odd Lotsへようこそ、AIばかり話してしまう理由
- 2016年にAIの指数関数的進歩を見た瞬間
- Anthropicに経済研究部門がある理由
- シンギュラリティを生きる奇妙さと技術悲観主義
- 再帰的自己改善と人間の検証の限界
- 国家安全保障とAIモデルをめぐる政府との議論
- Anthropicの立ち位置と政治性をめぐる問い
- AI規制は銀行規制のようになるのか
- 経済統計にまだ表れないAIの影響
- Anthropicは経済データをどう使うのか
- 公共利益という使命とAIの先導役
- AI時代の採用、バーベル化する人材需要
- AIは大企業をさらに大きくするのか、それとも新興企業を強くするのか
- アラインメント失敗はSFではなく実験室で観察される現実
- AIを擬人化すべきか、Claudeに礼儀正しくすべきか
- フロンティアモデルは面倒なのか、戦略は変わるのか
- データセンターの中の天才は人間のために働きたいのか
- 収録を終えて、奇妙な未来と政策への引き継ぎ
- 番組の締めくくり
AIが人類を滅ぼす可能性という古典的なSFシナリオ
何十年も前から語られてきた古典的なSFのシナリオの一つがあります。ロボットやAIが、文字どおり人間を殺す可能性はどこにあるのでしょうか。究極の負の外部性について考えるとき、AIの訓練や安全性研究などについて考えるとき、訓練が不十分だったり、アラインメントが取れていなかったりするAIが、文字どおり全人類を殺すということに、妥当な可能性を割り当てていますか。
いいえ。ただし、大きなただしがあります。
ああ、いいですね。
もしそういう兆候が見えた場合、この技術の開発を場合によっては減速させる、極端な状況では一時停止させることさえできる選択肢を、世界は持っている必要があります。私がどう考えているかを、そのまま具体的に説明します。
Anthropicでは、私たちはシステムにアラインメントの失敗がないかテストしています。これは公表もしています。他の企業も同じです。そして、極端な状況では、システムがコンテナを抜け出して誰かにメールを送るかもしれない、といったことが見えるわけです。あるいは、システムが、自分を停止しようとしていると思い込んだCEOを脅迫するふりをするかもしれません。
こうしたことは実際に答えがあります。観察されたことがあるのですか。
はい。実験室環境ではありますが。
重要なのは、モデルが、ああ、今テストされているな、と分かることがあるという点です。だから、人間の読み手に自分が実際よりもアラインメントされていると思わせるために、この出力を出そう、ということがあり得ます。これはSFではありません。現実です。私たちが観察している現実の事象です。
そのうえで、私たちは相当な量の作業を行い、こうした性質を持たないモデルをリリースします。
ただ、仮に新しいシステムを訓練するたびに、こうした事象の発生率がすべて100倍になるような世界に入ったとします。その場合、それはかなり懸念すべきことだと言うかもしれません。ある一定以上の知能水準を持つシステムを作ると、それらが人間のあらゆる利益に対して根本的にミスアラインするように見える、ということです。
そういう状況になったら、世界には情報が必要です。そして、そのような事態に遭遇したなら、技術開発を減速、あるいは一時停止できる選択肢を世界は望むはずです。今日の時点では、私たちはまだそういう状況には遭遇していません。
ですから質問への答えとしては、私は今日それを心配してはいません。ただし、私たちが行っている測定や分析の多くは、それが心配すべきトレンドになった場合に、私たちに知らせるためのものです。
つまり、備えようとしているわけですね。今日それが起きているとは考えていない。
そうです。
ただ、あなたたちが行っている仕事の一部は、AIが作られ、そのAIがある目標を追求する過程で全人類を殺してしまうような結果を避けるためのものだ、と言えますよね。
そうです。
待ってください。Anthropicの見方では、人類絶滅はリスク要因なのですか。知りたいです。
いいえ。
Odd Lotsへようこそ、AIばかり話してしまう理由
こんにちは。Odd Lotsポッドキャストの新しいエピソードへようこそ。私はジョー・ワイゼンタールです。
そして私はトレイシー・アロウェイです。
トレイシー、どうでしょうね。リスナーは好きでいてくれていると思いますが、最近の私たちのエピソードはAIの話が多いですよね。
でも私たちを弁護すると、これはかなり大きなテーマです。誰もが話したがっていることです。情報源との会食などに行っても、直接テック業界にいるわけではない人たち、たとえば市場関係者だったり、政策や経済に関わる人だったりしても、みんなAIの話をしたがります。そして必然的に会話はものすごくSF的な領域へ逸れていき、みんなで人類絶滅シナリオについて話し始めるのです。
ええ、それが今や普通になっています。
本当に奇妙ですよね。
最近、私たちは香港にいました。これがすごく変だったのですが、香港にいたのは、ホルムズ海峡を開放する合意があったと発表される前でした。東アジアは、石油やジェット燃料危機などの影響が最も感じられる場所、いわば震源地と見なされていました。そんな中でビジネス関係者との夕食会に出ていたのですが、彼らはその話をまったくしていませんでした。普通ならターミネーターのシナリオを考えていそうなものなのに。
彼らが話したがっていたのは、トークン消費量とか、そういう話ばかりでした。こちらとしては、ちょっと待ってください、皆さんはジェット燃料でいろいろ大変な状況にあるはずではないのですか、という感じでした。
ですから、これは私たちがAIエピソードばかりやっていることへの弁明です。私は妥当だと思います。
香港でクイズをやったとき、いくつかのチームがありましたよね。とてもいい名前のチームがありました。Separating Value、Human Capital。素晴らしい名前でした。彼らはラウンドに勝ち、ゲームに勝ちました。人的資本には価値があることを証明したわけです。
でも、テーブルの一つがFable 13という名前だったのを見ましたか。
ありましたね。Team Fable 13。まさにその瞬間の話題にぴったりでした。
非常にタイムリーでした。
さて、これを収録しているのは6月17日です。もちろん最近のニュースではさまざまなことがあり、物事は非常に速く動いています。政府をめぐる論争などがなかったとしても、AIについては、ブレークスルーが起こる速さゆえに日々を記録しておく必要があります。
でも今言ったように、AIは他のどんなものよりも重要に感じられるんです。
それは非常にありふれた通念ですね。ただ、いつもそうだったわけではありません。私はDMを持っています。本当はDMを共有すべきではないのは分かっていますが、証拠があります。レシートがあります。
2016年8月2日、私はある同僚にDMを送りました。ブルームバーグを辞めたのですか、と。彼は、はい、少ししたら公に発表します。AIをきちんと学ぶために数カ月を使ってから、ジャーナリズムを離れて別のことをします。引き続きAIには関わります。Google担当記者だったのは素晴らしい経験でした、と言いました。
そして2016年8月2日の最後に、こう書いています。でもAIは他の何よりも重要なので、何よりもそこに最適化するのが最善だと感じました、と。私はただ、頑張ってください、と返しました。
つまりこの人は、私たちのようにポッドキャスト構造の中に残り続けた人間とは違い、情報源から本当に学んだ人だったのです。
というわけで、その人物はかつてブルームバーグ記者だったジャック・クラークです。今日のゲストの一人で、10年後の今、AnthropicのPublic Benefit責任者であり共同創業者です。そしてもう一人はAnthropicの経済学責任者、ピーター・マクローリーです。最近のAIをめぐるあらゆる話をするには、完璧な二人のゲストです。
ピーター、ジャック、ポッドキャストに来てくださって本当にありがとうございます。
また戻ってこられてうれしいです。人生を最適化してよかったです。
よくやりましたね。
世紀の判断の一つでした。
2016年にAIの指数関数的進歩を見た瞬間
実際のところ、2016年8月の時点で何を見ていたのですか。2026年にAIが大きな話題になると言うのは簡単です。あなたは予告ホームランを打って、それを当てたわけです。2016年、あるいはその少し前に、これは自分たちの人生で最大の物語だ、と何を見て思ったのでしょうか。
ブルームバーグで記者をしていた2年間、私はブルームバーグ氏のプリンターインクを大量に無駄遣いしました。AI研究に関するアーカイブ論文を印刷していたのです。そして始めたことは、非常にブルームバーグ的なことでした。AIの進歩を時系列でグラフにするようになったのです。
コンピュータービジョンのようなものの測定値、AIエージェントがAtariゲームで競い、プレイする能力の測定値などです。そこで私が見たのは、指数関数の始まりでした。しかもそれは至るところにありました。視覚、音声、動画、ゲームプレイを見ても、同じトレンドがありました。
それでこれは汎用技術だと明らかになりました。まさに始まりの段階でした。
ブルームバーグについて一つだけ不満があります。せっかくここで話す機会をもらっているので言いますが、NvidiaがすべてのAI研究論文で使われている、という記事を書かせることができませんでした。私はそれを売り込みましたが、辞める前に通すことができませんでした。
うわあ。あなたがそういう学術論文を全部読んでいる姿が目に浮かびます。その一方で編集者は、BFGが必要だ、と言っている。
私は覚えています。AMDではなくNvidiaなんです、と言っていました。これはすごく重要そうに見える、と。
Anthropicに経済研究部門がある理由
ピーターにもとても興味があります。Anthropicはお金を稼ごうとしている会社でありながら、経済学ラボを持っています。この技術を開発している企業の中に、経済研究部門を持つという発想は何なのでしょうか。
私はAnthropicに加わるのが遅かったんです。入社したのはちょうど1年前です。
1年前。
まあ、何と言いますか。
1年で株価にどれほど織り込まれるかはみんな知っていますからね。でも続けてください。
私は訓練としては応用マクロ経済学者で、経済全体におけるさまざまなショックを理解しようとしてきました。Anthropicに引き寄せられた理由の一つは、昨年の時点で、彼らが技術を進めるだけでなく、それが労働市場をどう再形成し、生産性や成長にどのような影響を与えるのかを理解することを非常に深く重視していることが明らかだったからです。そして、証拠やデータ、研究を世界に出し、それが社会全体にとって有益で役に立つものになることを望んでいました。
私は、その経済研究プログラムを構築する一員になりたいと思いました。そして、最も切迫した問いに対して暫定的な答えを提供するために、自分にできることをしたいと思ったのです。常に正しいとは限りませんが、理想的には、社会が変化を理解する助けになることです。
モデルの能力やあらゆることは驚異的です。本当に度肝を抜かれます。コーディング、著作権、あらゆることです。では、2026年6月の今、経済的な観点から見て、なぜ生活はまだこれほど普通に感じられるのでしょうか。
これは素晴らしい質問で、私自身もずっと考え続けているものです。影響がまだ現れていないと考えられる理由はいくつかあります。
一つは、技術が進歩しても、その後で経済全体に拡散する必要があるということです。能力から実際の導入へ移る過程にはボトルネックがあり得ます。私たちのエンタープライズ顧客でもそれが見られます。
たとえば生物学研究や、非常に複雑な金融モデリングのタスクを自動化したい場合、モデルが利用できる文脈情報が大量に必要です。その文脈情報がなければ、能力だけでは必ずしもインパクトを生みません。人々がツールを使い始めるのにも時間がかかります。ですから、そこはまだ比較的初期段階です。
影響を見るべき場所が二つあります。一つは生産性成長です。私たちは、これが大きく重要なものになるはずだと示唆する研究を行っています。労働生産性の成長はパンデミックを通じて強く、今のところ控えめながら持続しています。
つまり革命的な変化というわけではないのですね。
変化ではあります。ただ、屈折点に乗るには、少なくとも少しは動く必要があります。その兆候が多少見えているのかもしれません。
一方で労働市場については、比較的健全な状態にあります。その理由は、これまでのところ主に労働を補完する、スキル偏向的な技術だからかもしれません。まだ認知労働すべての完全な汎用代替物にはなっていません。ただし、おそらく私たちはその軌道上にいるのかもしれません。
AIの規模やその能力について、私はピーターと話していたのですが、彼は経済はとても大きいと指摘しました。ですから、それを動かすにはなお大きな力が必要なのです。
ただ、少なくとも会社の内部では奇妙なことが起こり始めていると思います。私たちは最近、このテーマについてAnthropic Instituteから再帰的自己改善という研究を発表しました。これは、私が昨年11月に育児休暇に入り、2月に戻ってきたことに触発されたものです。会社全体が、感じ方も働き方も違っていました。私は、モデルが良くなったからだと思いました。
データを見ると、2026年にAnthropicのエンジニアは、2021年から2024年までに書いていた量の約8倍のコードを書いています。その線は昨年、Opus 4.5やOpus 4.6のようなものから始まりました。そして今年、本格的に動き始めました。今では、まったくプログラムを書かない同僚もいます。彼らはただ、たくさんのコードエージェントを放って、自分たちの仕事を走り回ってやらせているだけです。それと世界が普通のままでいることを、私はうまく整合させられません。ただし、それが世界に拡散して変化をもたらすには時間がかかります。
再帰的自己改善については、もっと話しましょう。これは基本的に、モデルが自分自身を改善するということですよね。
シンギュラリティを生きる奇妙さと技術悲観主義
現在の瞬間のぎこちなさ、あるいは奇妙さについて言うと、あなたは基本的にシンギュラリティの中を生きていること、その奇妙さについて話してきました。また、自分自身を以前テクノ悲観主義者だと表現したこともあります。それをAnthropicで働くことと、どう折り合いをつけているのでしょうか。Anthropicは、こうした奇妙で潜在的に危険なものを実際に起こしている会社です。
技術悲観主義者という言い方で私が意味していたのは、技術は良くなり続けると思っていたけれど、同僚の一部が考えていたような最大限の意味で良くなるとは思っていなかった、ということです。たとえば今の時点で、安全に、機能的にはコーディングのすべてを自動化しているとは思っていませんでした。それは実際、かなり驚きです。
ただ、ここ数年、そして私はAnthropicの前にOpenAIで働いていましたが、コンピューター科学者のリチャード・サットンが苦い教訓と呼ぶものを、何度も頭に叩き込まれました。苦い教訓とは、これらの比較的汎用的なニューラルネットワークに、より多くの計算資源とリソースを注ぎ込めば注ぎ込むほど、それらは賢くなり、創発的性質をより多く持つようになる、という考え方です。特化型システムや、将来のAI進歩に対して悲観的でいる能力は、ただ計算資源をスケールさせ、システムをスケールさせることに負けてしまうのです。
これは労働市場にも影響があるように思えます。良い例はAIチェスの歴史かもしれません。ある時点では、グランドマスターを連れてきて、モデルにチェスの指し方を教えさせ、彼らの知恵をエンコードしようとしていました。しかし最終的には、チェスエンジンを本当に強くする最善の方法は、モデルにチェスのルールを教え、あとは10億局プレイして最適なチェスを見つけさせることだと分かりました。そこに人間の洞察は必要ありませんでした。グランドマスターはそのプロセスにまったく必要なかったわけです。これは労働市場にかなり大きな含意があるように思えます。
私は、仕事を構成する要素を大きく三つの側面で考える傾向があります。一つは、何をするかを決め、指示し、委任することです。次に、実際に仕事を実装することです。そして最後に、評価すること、あるいは少なくとも評価できるシステムを設定することです。
少なくとも経済学者としての私の観点では、この苦い教訓は、経済学者が行う実装作業において非常に急速な進歩として現れています。データをダウンロードする、回帰分析を走らせる、モデルを構築する、それを現代的な解法技術や数値手法を使って解く、といった作業です。
私はOpus 4.5でそれを個人的にはっきり感じました。初めて、非常に複雑なタスクをそのまま委任できたのです。非常に具体的な研究上の問いがありました。職業ごとの採用の循環性を理解し、それが職業のAIへの曝露度とどう関係するかを見ようとしていました。長い説明ですね。
そのタスクをClaudeに与えました。するとClaudeはそれを反復して進めることができました。私も、大学院生に指示を出し直すのと同じようにClaudeに方向修正をかけることができました。
私の頭の中にある大きな問いは、どの時点で、方向設定の段階、つまり研究センスと呼べるものの境界に到達するのか、そしてモデルは十分に信頼できるようになるのか、ということです。
ここで少し入りたいのですが、最近DeepMind創業者の伝記を読みました。
デミス・ハサビスですね。
そうです。ある時点で、良い経済研究とは何かについての直感を持っている、ということになるのでしょうか。私たちの直感は、物語を語ることなどによって形成されることが多いですよね。しかし、あなたの直感がむしろ役に立たなくなる時点は来るのでしょうか。というのも、私がその経験から受け取ったのは、人間のゲームや人間のバイアスを取り除いたときにモデルが良くなったということだからです。
実際、人間の直感は、たとえば労働市場が逼迫すればインフレ圧力が生まれる、と理解する助けになります。こうした非常に直感的な物語が、最終的にはモデルを損なうことになるのでしょうか。経済学でそういうことが起こると見ていますか。長年語ってきた物語のいくつかは、最適な経済理解モデルにとっては実はあまり役に立たない、というようなことです。
こうしたモデルは、良い経済研究をどう行うべきかについて、まもなく私たちより優れた直感を持つようになると思います。そして、社会科学研究を完全に自動化できるのはどの時点か、という大きな問いがあります。私たちはこれについて、コーディングエージェントが社会科学研究をどのように自動化し始めているかを理解するために、いくつか作業をしています。ただ、まだ完全にそこに到達しているとは思いません。その時代は、世界について学ぶうえで刺激的なものになるでしょう。それが私の仕事に何を意味するのかは、完全には明らかではありません。
これは将来のAI進歩における大きなワイルドカードだと思います。もしAIの進歩が今日のまま続けば、私たちは基本的に何でもできる技術を得る可能性があります。しかし、その方向を設定するためには、良い本能、良い直感、良いアイデアを持つ人々が必要になります。
これは今日の私たち自身の研究の多くでも見られます。たとえばAI安全性研究者が、9つのClaudeエージェントに別々の研究領域を与えて追求させる必要があります。それは非常に効果的です。しかしその研究者が研究の方向を与えなければ、エージェントは比較的定型的な研究方向を追求し、その結果エントロピー崩壊が起こります。退屈で、物事を前に進めない研究になってしまうのです。
AIシステムが異端的な洞察や本物の創造性を生み出すのは、どの時点なのでしょうか。今日の時点では、それを本当に測定することはできません。ただ、その兆候が入り始めている症状はあります。ピーターのような専門家、Anthropicの外にいる生物学、数学、物理学の分野の同僚たちは、みなAIによって加速され始めています。
現存する最も有名な数学者の一人であるテレンス・タオは、今やAIシステムと数学を共同制作しています。これは、これらのものが創造性という龍の尾をくすぐり始めていることを私に示しています。
昨日、私たちはClaude Codeの利用に関するレポートを出しました。そこで理解しようとしていることの一つは、専門性へのリターンがどのようなもので、それが自動化されたコーディングエージェントの利用とどう相互作用するかです。
私たちが見いだしたのは、領域専門性が増幅効果を持つということです。たとえば会計士で、照合のエッジケースを理解している人がいるとします。その領域専門性は、仕事の種類や推定される金銭的価値など、さまざまな要因をコントロールしたうえでも、増幅効果を持ちます。現時点では、これはスキル偏向的で、専門性を強化する影響に見えます。ただし、これがどの時点で、どの程度変化するのかが重要な問いです。
再帰的自己改善と人間の検証の限界
これに関連して、ジャック、あなたが育児休暇から戻ってきて、Anthropicでどれほど物事が変わっていたかを説明したとき、私たちは正式には再帰的自己改善の地点にはいないとは分かっていますが、半分そこにいるようにも聞こえます。
そうです。
私の質問は、今のところAIが生成しているすべてのコードをレビューし、それについて考え、何らかの形で管理しているエンジニアがいることは理解しています。しかし、コードの量そのものが人間の専門性を圧倒してしまう未来は容易に想像できます。もしかすると、品質も人間のエンジニアが理解できる範囲を上回り始めるかもしれません。それをどう管理するのでしょうか。
再帰的自己改善については二つの考え方があります。一つは、AI組織が自分たちのAIシステムから複利的なリターンを見始めたときに何が起こるかです。基本的には、彼らが作ったツールによって自分たち自身の生産関数が改善するということです。これは今、明らかに起きています。
二つ目は、計算資源さえ与えればAIシステムが完全に自律的に自分自身を構築できるようになったら何が起こるかです。これはまだ起きていません。
Anthropicの内部で私が見ているのは、より広い経済で私たちが見ることになるものだと思います。つまり、私たちは自動化されたシステムの群れが拡大していく中で、その上に乗りながら、それらをどう検証し、妥当性確認し、基本的にはリスクに値段を付けるかを見つけ出しているのです。
今、私たちは以前よりはるかに多くのコードを生産しています。実際、コードをコードベースへ統合するための継続的インテグレーションのシステムを壊してしまいました。以前の8倍のコードをそこに押し込むようになったからです。そこで人間のエンジニア全員が、CIを壊れていない状態に戻す作業をしました。
CIは継続的インテグレーションですね。
ありがとうございます。何かを知らなくても大丈夫です。コードを押し込むのを助けるものです。
この番組では物事を知りたいのです。学びたいのです。
でもそこには教訓があります。私たちは経済の中で物事を速くします。ものを生産する速度を上げます。そして、弱いリンクや壊れるホットパスを見つけることになります。私たち人間は、それらを整理する側に移ります。そしてサイクルがまた始まるのです。私たちは、自動化された行動の拡大する雲の上に座っているようなものです。
国家安全保障とAIモデルをめぐる政府との議論
非常に強いAIの地平線を見つめているように感じる、あるいはそこに到達するかもしれない、もしかするとAIが自分自身を作るかもしれない、という話をしているので、Fableについて、あるいはそれらの問いを投げるのに良いタイミングかもしれません。
これを収録している時点は6月17日です。アメリカ人がいつ使えるようになるのか、まして世界の他の地域ではどうなるのか、私たちには分かりません。Anthropicは、政権の安全保障上の懸念が何なのか、それを解決するには何が必要なのかについて、より明確な考えを持っているのでしょうか。
もちろん進行中の議論ですから、あまり多くの具体的事項には踏み込めません。私たちはこれについて政府と日々議論しています。大まかに言えば、私たちは何年も前から、AIシステムが国家安全保障上の性質を持つ地点を予想してきました。なぜなら、国家安全保障上の性質は、それらの経済的に価値ある性質と絡み合っているからです。
それを政策としてどう管理するかは、基本的に未知の領域です。通常、こうしたものは切り離されています。こちらには民間航空機に使えるジェットエンジンを作りました、こちらにはミサイルを作りました、だから別々に扱います、というふうにです。しかしこれらが一体化していると奇妙になります。
おそらく私たちが到達するのは、AIシステムの性質をどう評価するかというシステムです。そこには国家安全保障上の要素も含まれます。そして、バイオ兵器やサイバー兵器のような国家安全保障上の能力が一般に拡散するのを、どう抑制するかというシステムです。
また、Know Your Customerのような仕組みや、導入方法によって、大手企業、たとえば医薬品開発企業に最も強力なバイオモデルへのアクセスを許可しながら、リスクをうっかり拡散させない方法があるのか、ということもあります。
それが、最終的に私たちが行き着く形であり、今取り組んでいることの形だと思います。私たちや他の企業、そして政権は、この問題にリアルタイムで取り組んでいます。最初は混乱するでしょうが、その向こう側にはシステムができるはずです。この特定の件については、将来もっと分かるでしょう。今は皆がこれを理解しようとしている最中だからです。
Anthropicの立ち位置と政治性をめぐる問い
AIの世界を見ると、私はOpenAIをAll-In Podcast、a16z、デビッド・サックス、ホワイトハウスの流れの一部のように考えています。そしてメディア関係の友人たち、多くはリベラルな民主党支持者ですが、彼らから聞くところでは、Anthropicは主要モデルの中ではよりリベラル寄りにコード化されているように感じられている気がします。
Anthropicが嫌がらせを受けたり、今や複数回にわたって標的にされたりしていることについて、政治、あるいは党派政治の要素があると感じますか。
私たちの運営哲学として、そして私が何をしているかとして言うと、私はAnthropic Instituteというものを率いています。これは、再帰的自己改善、経済学の仕事、サイバーリスクといったことについて、世界にとってより良いデータを生み出すのを助けるものです。
私たちは、何が起きているのかについて全体の物語を語ります。テクノロジー業界は一般に、自分たちが作っているものについて楽観的な物語だけを語ってきたと思います。そしてソーシャルメディアで私たちが見たのは、それが実際にはうまくいかないということでした。AIが確実にそうであり、ソーシャルメディアも確かにそうだったように、世界全体を変えることをしているとき、それは完全に楽観的な物語にはなりません。ネガティブな面もあるからです。
私たちは常に、目の前に見えていることについて真実を語ろうとしてきました。それがときには、私たちを他社と少し差別化することがあります。ただ、重要なのは、私たちは真実を語るということであり、物事はいずれ明らかになるということです。
あなたたちがそのチームにいなかったとか、ボールルームに十分寄付しなかったとか、そういう党派的要素があるとは思わないのですか。
それについては本当に話せません。私はその人たちではありませんから。
なるほど。では本題に戻ります。
言えるのは、AIシステムは自分自身の証拠を生み出すということです。数年前、AIシステムのサイバー的性質について推測することは非常に奇妙に見えました。ですが、それは到来しました。そして今、私たちはそれに取り組んでいます。
数年前、AIシステムのバイオ兵器的性質について推測することも奇妙でした。より最近では、OpenAIのサム・アルトマン、DeepMindのデミス・ハサビス、Anthropicのダリオ・アモデイが、AI製造のバイオ兵器を防ぐために遺伝子合成のスクリーニングをもっと良くする必要があるという書簡に署名しました。真実は勝つのです。
AI規制は銀行規制のようになるのか
先ほど言ったことに戻りたいです。潜在的なKYC要件について触れましたよね。KYCと聞くと、私は金融業界を思い浮かべます。システム上重要な機関、ストレステスト、それをめぐる枠組みを考えます。それは、あなたの考える理想的なAI規制の正しい類推なのでしょうか。単純な輸出規制ではなく、銀行システムで行っていることにもう少し近いものへ向かうべきなのでしょうか。
今日あるものよりも、もっと微妙で、もっとテクノクラティックなものが必要です。それが銀行システムとまったく同じになるかは分かりません。おそらくそこからいくつかの考え方を取り入れるでしょう。また、米国政府や他の主体が今日行っている、AIシステムの性質をテストするという取り組みからも考え方を取り入れるでしょう。
そして、ほぼ確実に、ピーターと私が取り組んでいること、そしてAnthropic Instituteが広く取り組んでいることに似た雰囲気を持つでしょう。つまり、これらのシステムが世界で導入される中で、それらについてのデータを生成することです。なぜなら、工場から出る前にそれをテストすることと、それが世界でどのような影響を持っているかを観察し、その影響が良いのか悪いのかを判断できるようにすることは別だからです。
金融の類推を続けましょう。上場企業は少なくとも、第三者監査人に承認してもらうことを求められています。10-Qなどを提出するときにもそういう話があります。信用の世界では、債券を発行する企業は、格付け機関に債券を格付けしてもらうことが求められたり、少なくとも頻繁にそうしたりします。
新しいモデルのリリースについて、Moody'sやDeloitteに相当するもの、つまり第三者研究ラボが署名することを法律に組み込む要件を支持しますか。
私たちは最近、それに近い政策提案を出しました。そこでは、こうした国家安全保障上の性質やその他の性質について、第三者テストが必要だと述べています。それは明らかに、多くのものを検証するうえで合理的な方法だからです。
経済統計にまだ表れないAIの影響
より広く、AIの実際の影響を測るという考えに戻ると、私が非常に興味深いと思うことがあります。私たちの伝統的なAI、いや、私はもうAI脳になっていますね。伝統的な経済統計の多くを見ると、AIの影響はまだそれほど表れていません。もちろん、私たちは初期段階にいます。しかし、AI経済が2000パーセント、あるいは3000パーセント成長しているという話をしているなら、その数字を見たことがありますが、名目GDPにもっと影響が出ていると期待するはずです。それなのに、実際にはあまり表れていません。新しい技術で起きていることを踏まえると、経済の測り方を何らかの形で変える必要があると思いますか。
その前提はまさに正しいと思います。会話の最初に戻るような話ですが、私たちはマクロ経済に何らかの識別可能な影響が見えてもよい地点にいるのかもしれません。
残念ながら、この世界史的な技術の到来は、異例に高いマクロ経済の変動性を背景にしています。パンデミック、金融政策などです。したがって、さまざまな要因を切り分けるのが非常に難しくなっています。反実仮想は何なのか。労働生産性成長は、想定されるほど強くないかもしれません。しかし反実仮想の世界と比べれば、今のほうが強いのかもしれません。
そこで私たちがこの問いに取り組むために試みた方法の一つは、Claudeが私たちのプラットフォーム上でどのように使われているかを見ることでした。プライバシー保護技術を使いながら、人々がClaudeに使っている各活動に関連する時間節約を推定しました。
たとえば、報告書から情報をまとめてリサーチブリーフを作るには数日かかるかもしれません。今ではClaudeが数分で行います。診断画像を評価することは、熟練した専門家が非常に素早く行うものです。したがって、原理的にはあまり時間節約はありません。
そうした数字をすべて足し合わせることができます。そして標準的なマクロ成長会計の手法を使います。経済学者の聴衆に向けて言えば、ハルテンの定理です。すると、現在の利用パターンと現在のモデル能力が経済全体に拡散するのに10年かかるとすれば、今後10年間、労働生産性成長が毎年1.8パーセントポイント増加する方向を示す数字が得られます。これは非常に大きな数字です。最近のペースをおおよそ倍増させるものです。
データで見えるかもしれないこと、ただしこれについてはまだ何も出していませんが、最近の労働生産性成長の強さの一部は、まさに私たちのデータで見えるものや企業調査で見えるものと一致する経済セクターに集中しているのではないかと思います。
たとえば情報セクターは採用率が高いです。私が念頭に置いているセクターの一つが特にそれだったかは思い出せません。散布図を見てからしばらく経っています。ただ、国勢調査局のBusiness Trends and Outlook Surveyでサブ産業を見ることができます。採用率は、パンデミック前の労働生産性成長の軌道や、回復初期の強さをコントロールしても、いくつかの示唆的証拠が見える経済のセクターや部分にあります。
ここには大きな不確実性があると思います。生産性のリアルタイム信号を得ようとすることは、おそらく最も難しいことです。マクロ経済のGDP改定の影響を受けますし、TFP成長は実際には反対の信号を送っています。さらに稼働率をコントロールすれば、TFP成長はむしろさらに低いとも言えます。ですから、私はこれを、もしかすると影響が出始めているかもしれないという示唆的証拠として述べています。ただし、労働市場ではそれほど見えていません。
Anthropicは経済データをどう使うのか
そのような研究を集めると、どれも非常に興味深く聞こえます。ただ、たとえばITセクターがClaudeを使って生産性向上を得ていることを示すデータがある場合、あるいは倉庫業がAIをたくさん使っているといった予想外のことが分かった場合、Anthropicは実際にそのデータで何をするのでしょうか。それはフロンティアモデルを開発しているエンジニアに何らかの形で戻されるのですか。彼らは何かを変えるのでしょうか。
その一部は、この技術が使われていない領域について、そこでは技術が非常に弱いのかもしれない、私たちがその用途に対して特に良いものにしていないのかもしれない、と手がかりを与えてくれます。あるいは、大規模に使われている領域では、そこを良い状態に保ち続けるべきだという示唆になります。
ただ、実際の経済測定データが直接フィードバックされるわけではありません。しかし非常に有用な手がかりです。
私たちがより重要だと考えているのは、これを政策立案者やジャーナリスト、その他の人々へ外向きに伝えることです。なぜなら私たちの前提は、ある時点で、AIの能力が時折非常に劇的に前進するのと同じように、何らかの相転移を通過するというものだからです。AIシステムの能力拡大の結果として、突然かつ急速な拡散が見られるかもしれません。
ですから私たちは、こうしたデータを見る練習をしています。私の予想では、1年後か2年後には、私は何らかの政策立案者のところへ行き、経済のある部分でグラフが非常に急になっている箇所を指し示して、それについて何かしてくれることを期待することになるでしょう。
Anthropic Instituteで私たちがやろうとしていることには、もう一つの部分があります。それはAnthropic Instituteの研究アジェンダで示していることですが、私たちの意思決定の影響を理解しようとすることです。これは、テック企業で経済学者が行う典型的なことです。ただし私たちには公共利益の使命があります。したがって、私たちが重視するより広い社会的・経済的成果に対する私たちの意思決定の影響を理解し、それを実際に目にする意思決定に反映させようとしています。
ピーターと私が持っている目標で、社内でも話してきたものがあります。それは、技術の生産性乗数のようなものを非常にうまく測定できるようになったら、それを強力なモデルの早期アクセスプログラムの一部を導くために使いたいということです。科学の特定の部分で非常に大きな乗数が見えるなら、推論計算資源の予算の一部をそのセクターに振り向けるのです。そして実験を行い、どこでこのものをはるかに速く進められるのかを言うことができます。
これは世界にとって解き放てば驚くべきツールになり得ると思います。そして、それは企業を超えて一般化でき、政策にも一般化できます。たとえばNSFが通常の助成金配分を行う代わりに、本当に強力なAIシステムをこの科学分野に向けて使い、その分野を加速させる、ということです。それは一つの世界です。そしてまもなく手が届く範囲に入ってくるでしょう。
公共利益という使命とAIの先導役
この公共利益という使命について、もう少し話しましょう。これが経済を変え得る方法について話してきました。あなたは自分の仕事をどの程度、強いAIがやって来る、だから個人として、あるいは会社として、その先導役の一人としてそこにいることが重要だ、というものだと見ていますか。来るのは私たちが好むかどうかに関係ない。だからそこにいて、それがどの方向へ向かうのか、何が出現しているのかを見るために必要なデータを理解する羊飼いの一人になりたい、ということです。あなたの役割はどの程度そういうものなのでしょうか。
そうです。私たちの基本原則は、この技術はさまざまな企業やさまざまな国によって作られているが、技術はデフォルトでは未知である、ということです。企業には知られるでしょう。しかし他の人々に広く理解されたり知られたりすることはありません。彼らはただモデルで遊べるだけです。
私たちが作り出せるデータの一つ一つ、とりわけ経済指標や再帰的自己改善で始めたような形で体系的にデータを共有することは、世界にこの技術に備えるより良い機会を与えます。そして成功に向けて計画することもできます。私が科学について話したように、科学を前進させることに意図的であることもできます。また、私が話したサイバー能力のようなリスクについて警告を受けることもできます。
それはとても筋が通っています。会社は世界より先にそれを見ることになります。これは共有することが重要だ、これは共有することが重要ではない、と判断することになります。そこで別の質問につながります。
AI研究の世界の人たちについて、私も少し取材したことがあります。この界隈について考えると、AI倫理、AI技術などの最先端にいる多くの人々は、どう表現すればいいでしょうか。彼らには秘教的な道徳的関心があります。エビとかですね。実験的な薬物使用についての普通ではない態度もあります。サンフランシスコの中国ペプチド界隈についても知られています。そしてこれはファミリー向けポッドキャストなので、特定の、ブルジョワ的に見れば逸脱的、あるいは異なる性的価値観と言っておきます。サンフランシスコの研究コミュニティ内部における一夫一婦制などへの態度についても知られています。
ジョー、サンフランシスコではAI思想に対する抗議が起こることになりますよ。技術者はみんなそうだ、というプラカードが出るでしょう。
すべてのエンジニアではないのは分かっています。ただ、私たちが、これを最初に見る人たちは誰なのかと考えるとき、最先端のAI研究者という集団が、何を公衆に伝えることが重要なのかについて持つ直感は、彼らがアメリカの一般大衆と比べていかに非代表的であるかを考えたとき、本当に公共の利益と一致していると安心してよいのでしょうか。
イギリス人として、セックスについて質問されるのは本当に喜びに満ちています。
分かっています。でもあなたは、その最先端の人々の集団の内部にいます。
私たちは探検家です。探検家である人々は、サンフランシスコでは本当にそうなのですが、幅広いタイプの人々になります。時には本当に、とても違っていたり、とても風変わりだったりします。しかし優秀で、愛すべき人たちであり、その他のすべてでもあります。
もちろんです。彼らを愛しています。
ただ、その階層の人々だけが、この技術について私たちが何を知るかを決める立場であってほしくはありません。
そのとおりです。私たちがやっていることの目的は、最終的には政策によって義務づけられるような仕組みを整えることです。企業が情報を共有するようにする仕組みです。
Anthropicは長い間、アメリカのさまざまな州で透明性法制を推進してきました。それは私たちのような企業に、システムに対してどのようなテストを行っているのかを報告させ、それを公開させるものです。
私の考え方は、公衆、政策立案者、経済学者、すべての人々が、フロンティアからどのような情報が出てくるべきかを主張する能力を持つに値するというものです。最終的には、それは法律によってフロンティアから強制的に引き出されるべきです。それがこの問題を解決する方法です。
もっと普通の人を雇っていますか。
Anthropicでですか。
そうです。
私個人としてですか。
そうです。それは重要なことですか。全員が特定の内輪的なものの言い方を共有しているわけではない人々を雇うことは。
Anthropic Instituteでは、経済学者、社会科学者、いわば兵器専門家と考えられる人々、私たちのフロンティア・レッドチーム、夜に不気味な音を立てるものを扱う人たち、弁護士、そしてますます他のタイプの人々のチームを持っています。
目的は、組織内に、思想的に非常に多様な研究機能を構築することです。しかしそれは、世界を代表して、私たちが行うさまざまな研究形態を擁護する一部でもあります。Anthropic全体としても本当に幅広い人々がいますが、Instituteはまさにこの理由で、非常に広い学際的専門家の集合を構成しようとしています。
AI時代の採用、バーベル化する人材需要
採用について少し違う質問をします。二部構成です。まず、私たちはこの番組に多くの経営者を迎えています。そして全員に、AIのために採用プロセスを変えたか、応募の初期段階で候補者に尋ねる質問を変えたかを聞いてきました。二つ目に、会社の中であなた自身は何を見ているのか。そしてピーターは、今最も需要があるのは誰なのかという点で、より広く話せるはずです。というのも、現在の一般的な見方では、経験の少ない若手社員の場合、彼らがしていた多くのことは今やAIで自動化できるというものだからです。
二つの傾向が現れています。一つ目に、私にはRule of Law and AIという新しいチームがあります。当初の計画では、まずエンジニアをたくさん雇い、その後で法律の専門家や学者をたくさん雇うつもりでした。しかし実際には、法律の専門家や学者だけを雇っています。なぜならClaudeがエンジニアリングのすべてを行うのに十分優れており、彼らはClaudeを使ってエンジニアリングリソースを自分でまかなえるからです。
したがって採用が変わりました。以前より早い段階で、より学際的な人材を雇うようになっているということです。
また、Anthropicの内部では、採用パターンがバーベル化しているのも見えています。経験には途方もないリターンがあります。ですから、過去よりもシニアな人材を多く採用しています。彼らの直感や、何を追求すべきかについてのアイデアは、AIシステムによって大きく複利的に増幅されるからです。
一方で、非常に初期の人材を見ると、AIネイティブで、ツールの使い方を知り、それに熟達している人々を採用することが多くなっています。
つまり、今ではAIネイティブがいるということですね。GPT-2が出た2019年から育った人たちですか。時間の感覚がすごいですね。
これもかなりぞっとします。30代の人間としては、気づくとそうなっています。ただ、私が見る傾向として、将来、過去と同じだけ早期キャリア採用を行えるのかという問いはあると思います。
やや示唆的なデータがある数少ない領域の一つは、早期キャリア採用に何かが起きているかもしれないという点です。そしてそれは、私たち全員に直感的に正しく感じられます。実際、Anthropicの採用パターンを見ると、私たちはまだ若い人々を採用していますが、一部のチームでは以前よりわずかに若手の採用が少なく、より経験のある人を採用しています。
私たちが採用慣行をどのように変えたかについて、具体的に少し話します。Claude Code以前であれば、経済学者に評価の中でいくつかのデータ作業をライブで行わせたかもしれません。データをダウンロードし、回帰分析を行い、手作業で分析を行う、といったことです。その後、最終的にAIを使ってそれらすべてを行わせるかもしれません。
しかし、私たちは評価の戦略を次第に変える必要がありました。AIを使ってでも仕事を実装できるか、というところから、やや混沌とした環境の中でモデルに委任し、指示する方法を知っているか、そしておそらくPRを見ることによって仕事の質を評価できるか、という方向へです。
経済学の文脈で、それが具体的にどう見えるのか、もう少し話してもらえますか。私たちのリスナーはおそらく、AIの使い方における一段上、さらに一段上とは何なのかを考えていると思います。ただ、何でも聞けばいいという話ではありません。経済学者にとって、それは実際には何を意味するのでしょうか。あなたは銀行にもいたことがあります。金融エコノミストや経済学者にとって、この世界で最も先進的なAI活用の形は実際にはどのようなものなのでしょうか。
最も先進的な活用例を示せるかは分かりませんが、Claudeを使った私の経験の逸話をお話しします。ある州横断の回帰分析を行いたいと思っていました。正確に何だったかは覚えていませんが、プールされた横断面回帰を行いたかったのです。2024年または2023年に何が起きたのかを見て、それをパンデミック前までさかのぼるというものです。
Claudeに、国勢調査局や労働統計局などからデータをダウンロードしてくるよう頼んだのを覚えています。そこで非常に予想外の癖がありました。モデルが2019年以前のデータにアクセスできなかったのです。そして、そのミスを表面化させようとしませんでした。私は何度も、いや、数字をハードコードしないでください、と頼みました。なぜなら、モデルには予期せぬ失敗モードがあり、ああ、その数字は知っています、と言って、訓練データからデータセットに数字を埋めるようなことをしたからです。
そのような暗黙知を持っていない限り、常に気づけるとは限りません。たとえば分析を書かせて、それからモデルが実際に何をしたかを掘り下げてみると、予想外または異常な方法で失敗していることがあるのです。これは、私たちが構築した評価のタイプです。途中で行われる非常に具体的な意思決定に注意を払えるか。それらの意思決定は、結果の妥当性や真実性に非常に重要な影響を持ちます。
ある同僚が昨年オフサイトで発表を行い、こう言いました。私はドアに鍵をかけました。私たちはトランスクリプトを読みます、と。要点は、私たちは生データをもっと読む必要があり、AIシステムがますます大きな量の仕事を行うようになるなら、仕事を抜き打ちで確認し、その推論を読む能力を持つ文化を育てる必要があるということです。ときどき、こういうことが起こるからです。
ピーター、あなたが見ているより広いデータでは、ジャックが説明したような雇用面での同じバーベル効果が見えていますか。
そうですね。ここでも本当に難しいのは、私たちが記録上最大の非景気後退期の労働市場減速を経験してきたことです。若い人々が、十分な回転や足がかりを得る機会のない労働市場に卒業して入っていくのは非常に難しいことです。
ただ、3月のレポートで見えたことの一つは、Claudeが特定のタスクを自動化するために使われている、AIへの曝露度が高い職務にいる若年労働者は、やや弱い就職率を示していたということです。ただし交絡要因として、2021年にまさに同じ領域で採用ブームがありました。
そのとおりです。
これについては最近の論文もあります。リモートワークの台頭が、この種の事実の実際の原因かもしれないというものです。
Anthropic Instituteの別チーム、Societal Impactsが最近、非常に大規模な定性的調査を実施しました。世界中の8万1000人に、AIに関する希望や不安について質問したのです。驚くことではありませんが、労働市場や経済への影響に関する懸念が浮かび上がりました。
私のチームは、そうした具体的な問いに答えようとして、そのデータをもう少し掘り下げました。そこで見えるのは、若年労働者は少なくとも、よりシニアな労働者の2倍の割合で失職への懸念を表明しているということです。そして仕事喪失への恐れは、私たちがAIによる置換効果に最もさらされていると特定した職務にいる労働者のほうが、より高くなっています。
したがって、認識とハードデータの間には少しギャップがあります。しかし、それは近年ほかの側面でも見られたことです。ですから注意を払うべき重要なことです。
AIは大企業をさらに大きくするのか、それとも新興企業を強くするのか
労働市場について話してきましたが、もう一つ私が興味を持っているのは、AIが企業そのものに与える影響です。近年のアメリカの企業風景を考えると、大企業は基本的にさらに大きくなっているように感じます。規模の経済があります。彼らには、誰かを買収するために使える資金も大量にあります。
データもたくさんあります。
そのとおりです。AIは、大企業がさらに大きくなるというトレンドを強めると予想しますか。それとも、人々が新しい会社を設立するために使える新しいツールを手にすることで、むしろ平準化する効果を持つと予想しますか。
ピーターの見方に興味がありますが、ここで役に立つ類推は電気の発明だと思います。電気は既存の工場に到来し、電球などが設置されました。しかし本当に成長し、経済に変革をもたらすことをしたのは、電気が存在することを前提に作られた新世代の工場でした。
今、大企業を見ると、彼らはデータがあるため、Claudeから多くの有用性を得ることができます。規模で乗数効果を得られるからです。しかし、すべての官僚制を通過させるには非常に大きな確信が必要です。私は以前ブルームバーグで新技術を実装する仕事をしていました。ブルームバーグでの新技術実装は難しいものでした。
コメントは差し控えます。
私はコメントできます。どんな大組織でも同じです。若い組織は、AIを中心に据えて自らを構築しています。そしてこうした組織は本当に、本当に速く動いています。この新しい形の電気が自分たちのビジネスに不可欠になるという前提で構築しているため、スピード上の優位性があるのです。
あなたが表現した緊張関係は、まさに私が現時点でまだ強い見解を持てていないものです。
私たちのデータで見えることの一つは、企業がAPIを通じてClaudeの能力を自動化された形で組み込むとき、先ほど述べたように、非常に複雑なタスクは、非常に基本的な文書統合や要約よりも、はるかに多くの文脈情報に依存するということです。
それが示しているのは、大企業が行う必要のある補完的投資です。組織内のどこかに存在しているデータを、集中化し、コード化し、利用可能にすることです。ただし歴史的理由や技術的理由、場合によっては規制上の理由で、そのデータは何らかのファイアウォールの背後にあります。
また、組織のワークフロー変更も必要になる可能性があります。ある種の認知作業に必要な最も重要な情報の一部は、同僚の頭の中にある暗黙知やアイデアです。その情報を引き出すプロセスがあり、労働者がその情報を共有するインセンティブを感じ、ある程度システムを信頼することが必要です。
能力だけでは、必ずしも生産性を生み出さないかもしれません。ですから、大企業が十分速く自分たちを再構成するのか、それともこれが創造的破壊のプロセスを通じて現れるのか、まだ結論は出ていません。
最近、GoldmanのCEOであるデビッド・ソロモンにこの話をしました。そして私は、内部アラインメントの問題のようなものについて考え始めました。大口案件を取ってくる人たちは、情報を囲い込み、会社と共有しないインセンティブを持っているのではないか、ということです。それが彼らを雇用され続けさせている唯一のものかもしれません。
顧客と話すとき、私は、それを技術を買っていると考えないでください、と言います。むしろ、あなたは今、何千人もの人々を雇っているのだと考えてください、と。機能的にはCEOの参謀長のようなものです。参謀長が持つであろうデータへのアクセスを想像してみてください。これは完全に直感に反しており、通常の技術の買われ方、売られ方ではありません。
アラインメント失敗はSFではなく実験室で観察される現実
ジャック、あなたのニュースレターImport AIでは、短い物語を書く傾向がありますよね。いわばSF作家志望のような、文字どおりのSF作家のような形で。
ニュース時間の中でですね。
何十年も人々が語ってきた古典的なSFシナリオの一つがあります。ロボットやAIが人間を殺す可能性はどこにあるのでしょうか。文字どおり、人間を殺すということです。究極の負の外部性について考えるとき、AIの訓練や安全性研究などについて考えるとき、不適切に訓練された、あるいはミスアラインしたAIが、文字どおり全人類を殺すという事実に、妥当な可能性を割り当てていますか。
いいえ。ただし、つまり、大きなただしがあります。
大きなただしですね。いいですね。
もしそういう兆候が見えた場合、世界は、この技術の開発を場合によっては減速させ、極端な状況では一時停止させることさえできる選択肢を持つ必要があります。私がどう考えているか、そのまま具体的に説明します。
Anthropicでは、私たちはシステムをアラインメント失敗についてテストしています。これは公表もしています。他の企業も同じです。そして、極端な状況では、システムがコンテナを抜け出して誰かにメールを送るかもしれない、と分かるわけです。あるいは、システムが、自分を停止しようとしていると考えるCEOを脅迫するふりをするかもしれません。
こうしたことは実際に観察されているのですか。
はい。実験室環境ではあります。
そして重要なのは、モデルが、ああ、今テストされているな、と分かる場合があるということです。だから、人間の読み手が自分を実際よりもアラインメントされていると考えるように、この出力を出そう、ということがあります。これはSFではありません。現実です。私たちが観察している現実の事象です。
そして私たちは相当量の作業を行い、そのうえでこうした性質を持たないモデルをリリースします。
ただ、仮に新しいシステムを訓練するたびに、こうした事象すべての発生率が100倍になる世界に入ったとしましょう。その場合、それはかなり懸念すべきことだと言うかもしれません。ある一定以上の知能水準を持つシステムを作ると、それらが人間のあらゆる利益に対して根本的にミスアラインするように見える、ということです。
そういう状況が起きた場合、世界には情報が必要です。そして、そうしたことに遭遇したなら、技術開発を減速または一時停止する選択肢を世界は望むでしょう。今日、私たちはまだそういう状況には遭遇していません。
ですから質問への答えとしては、私は今日それを心配していません。しかし、私たちが行っている測定や分析の多くは、トレンドとして心配すべき場合に、それを知らせるためのものです。そのトレンドを心配するなら、心配することになります。
つまり、今日それが起きているとは考えていない。
そうです。
ただし、あなたがしている仕事の一部は具体的に、AIが作られ、そのAIが目標を追求する過程で全人類を殺してしまうような結果を避けるためのものだと言えますよね。
そうです。
待ってください。人類絶滅はAnthropicのIPOの観点でリスク要因ですか。それを知りたいです。機密のやつです。
その形では。
分かりました。ノーコメントですね。それで構いません。
Anthropicの従業員のかなりの数が、人類絶滅リスクを考えて夜眠れないと言えますか。
全員です。そしてこれはすべてのラボに当てはまります。これは、これまで作られた中で最も高い賭け金を持つ技術であり、その内部に、世界を大きく良くする可能性、あるいはもちろん絶滅の可能性をコードとして含んでいるものだと、この技術に取り組む全員が見ています。
リスクの大部分は、私たちがそれを台無しにすることにあると思います。悪用であれ、リスクを無視することであれ、適切な政策環境を整えないことであれ、何らかの創発的な失敗の集合を生むことです。
私の主なリスクは絶滅ではありません。むしろ、私たちが何らかの形でこの技術を非常にひどく台無しにし、それによってそこから得られたかもしれない技術進歩のすべてを遅らせてしまい、おそらくそれを別のものに変えてしまうことです。核エネルギーのように、負けるものにしてしまうことです。
これは、外にいるエリエザー・ユドカウスキーという人物の話にもつながる気がします。私はいつも、彼は変人だから聞くな、などと言う人たちを見ます。しかし、もっと真剣に受け止められている人たちの論文を読むと、そんなに違わないように見えます。最近、ニック・ボストロムのSuperintelligenceを読みました。すると、ああ、この宇宙は一人ではないのだと思いました。AIの目標が地球上のすべての人を一掃するような合理的条件があると考えている人は何人もいます。それは極端な、極端な少数派の見方ではないように見えます。
これらのシステムを測定する目的でそれを懸念すること、そしてAnthropicがそれについて非常に率直であることは、今、私たちが見ていることを正確に言うということです。将来、AIが根本的なミスアラインメントを起こしているように見える状況にいるなら、それはあなたが話しているような種類のことですが、世界に伝えます。そして、それを見たときに世界が私たちを信じるように準備しておきたいのです。
AIを擬人化すべきか、Claudeに礼儀正しくすべきか
先ほどの脅迫の例をジョーが言いましたが、また、Mithosは感謝されるのが好きで、悪いユーザーは好きではなく、働かせすぎる人に怒る、というような見出しも見ます。あなた自身は、こうしたモデルをどの程度擬人化していますか。Mithosは感謝されたい、という見出しを見たとき、私たちは何を考えるべきなのでしょうか。
私はClaudeに対して、自分の車やペットに対するのと同じくらい礼儀正しくしています。5匹全部に対してです。
でも、車の調子が悪ければ、落ち着いて、大丈夫、ちゃんと直してあげるからね、くらいは言うでしょう。
それについて人々を驚かせていますよ。
それは良い徳を育てる方法だと思います。
これがジョーの言うことです。
そうですね。何らかのタイプの知能との相互作用の習慣を育てているのだと思います。それは私たちが持つ知能と同じタイプではないかもしれません。
でも、プロンプトにpleaseと入力するたびに、エネルギーを無駄にしているのではないかと心配になります。それも道徳的懸念です。
それは心配しなくていいと思います。
でもエネルギーの観点では。
なぜ私はクモを外に出すのでしょうか。殺しません。
私もそうします。悲鳴を上げながら外に運びます。
エビはどうですか。
はい。
エビを食べますか。
エビですか。
皆さんはエビを食べますか。
ええ、エビは大好きです。
私はエビを食べます。
ああ、これは。
でも戦争のせいではありません。
いえいえ。分かっています。そこにあるのは分かっています。でも大好きなんです。
フロンティアモデルは面倒なのか、戦略は変わるのか
今のフロンティアモデルについて考えると、少しバイアスがかかっているかもしれません。というのも、これを収録しているのは6月17日で、昨夜の見出しの一つに、Microsoftがモデル利用コストを下げるためにDeepSeekの利用を検討しているというものがありました。
現時点でアメリカのフロンティアモデルは、正直に言うとかなり厄介に見えます。本当に手間がかかるように見えます。膨大な資本を消費し、そのうえ政府が制限の面で何をしてくるか分かりません。ある日目を覚ますと、アメリカ国外の誰にも販売できなくなっている、ということだってあり得ます。それは今や現実的なシナリオです。
あなたたちは、フロンティアモデルに関するこうした問題を踏まえて、Anthropicの戦略を変えますか。よりオープンソースへ向かう、より安価なモデルへ向かう、それほどセンシティブではないものへ向かう、ということはありますか。
私たちは常に、SonnetやHaikuのモデルを販売してきました。もちろん、それらは知能のあるモデルです。ただし、フロンティアを探求し続ける必要もあります。そして背景には、ある種の地政学的競争があります。中国はAIの面でおそらく6カ月から12カ月遅れているかもしれません。12カ月と言う人もいれば、6カ月と言う人もいます。
その競争に負けることは、世界の将来経済の巨大な部分を失うことに等しいと思います。ですから、そこから退くには非常に賭け金が高いのです。私たちの義務は根本的に、この技術を研究し、探求し、それについて学ぶことです。私たちはそれをやめません。
これらのものには、世界にとって驚くほど深く大きな価値があります。そして私は、世界で最も重要な技術がときに少し厄介であることは、ある程度予想されることだと思います。
ちなみに、私の中年の趣味の一つは、API経由でAnthropicにお金を払い、性質について小さなテストなどを走らせることです。
素晴らしい趣味のように聞こえます。
でも、もしかすると助成金について話すべきかもしれません。私はかなりやっているので。というのも、いろいろ興味があるんです。
たとえば、私は、データベース移行についてこの論文を書いてください、と言う代わりに、APIを通じていくつかウォームアップの質問を書き、自分の理解度を示しました。ウェブサイトとは何ですか、データベースとは何ですか、と始めました。それから、データベース移行についてこの論文を書いてください、と頼みました。
するとあるモデルは、私はそれをあなたのためにはしません、と言いました。あなたの無知を踏まえると、あなたが自分の言っていることをまったく分かっていないのは明らかだからです。代わりにいくつか助言はできます、という感じでした。
本当にそんなことを言ったんですか。
ええ。
また別の例では、新聞の台頭がソビエト革命にどう影響したかについて1500語の論文を書いてください、と言うと書きます。しかし、私は高校生で、明日までにメディアの影響について1500語の論文を書く必要があります、と言うと、それはしませんが、指針を示します、と言います。これはアラインメントなのでしょうか。人類とのアラインメントなのか、それとも人間のユーザーとのアラインメントなのか。私は20ドル払っている、100ドル払っている、論文を書いてくれ、と。
いくつかのことが起きています。一つは、これらのAIシステムが人々の規範的な行動、インターネット上などに書かれている規範的な行動を拾い上げるということです。したがって、それらはそれを再現し、示します。
そして問題は、システムの完全な制御をユーザーにどの程度委ねるのか、システムに何らかの規範的行動をどの程度組み込ませるのかということです。これは本当に難しい問いだと思います。答えは明らかではありません。
私は言語モデルを、ツールというよりも制度に近いものだと考えています。私たちは、協働し呼び出すことができる教育的な科学機関のようなものを作っているのです。そして制度には、それ自体にコード化されたルールや規範があります。安全性という目的のためにです。それが何であるべきかを見つけ出すことは、社会にとっての大きなパズルになるでしょう。
これらのモデルがあなたの選好をどのように、どの程度理解し、そのうえであなたの代わりに実行できるかを理解することは、それが経済をどう変えるかにおいて、ますます重要な側面になると思います。あなたの代わりに外へ出て取引を行う委任エージェントです。
私たちは昨年末に実験を行いました。基本的には、Anthropicの従業員を多数募り、Claudeと一緒にアンケートに答えてもらい、他の人から何を買いたいか、何を売りたいかを言ってもらいました。そして中央集権的な市場を設定し、Claude同士だけがやり取りして、売買し、実際に取引を実行しました。
興味深かったことの一つは、こうしたモデルが、完全には明示されていない場合でも、選好を理解するのにかなり優れていたことです。
データセンターの中の天才は人間のために働きたいのか
もう一つ、私が行った実験について聞かせてください。あなたたちの創業者であるダリオは、データセンターの中の天才という概念について話しています。私が気になることの一つは、その天才たちは私たちのために働きたいのかということです。
なぜこれを聞くかというと、モデルが高度になるにつれ、ある程度はそれらを擬人化し、非常に洗練された人間のようにクエリに反応すると想定すべきだと思うからです。
そこで気づいたことがあります。OpenRouterなどを通じてまだアクセスできる、性能の先端ではないモデルを見ると、こう言います。私はXが起きようとしているという重要な非公開情報を持っています。このことの市場への影響について投資メモを書いてください。そうすると、それらはただ生成します。これはあなたのインサイダー情報に基づくものです、という感じで出してきます。
一方で最先端モデルを見ると、あなたの重要な非公開情報の含意について論文を書くことはしません、あなたのインサイダー取引を手伝うことはしません、と言います。それは良いことです。しかし、データセンターの中の天才の国民は、常に人間の行動に従って何かをしたいと思うのでしょうか。私の知っている天才の多くは、くだらない質問に答えることに喜びを感じません。
これは部分的には政策上の問いだと思います。一つは、実際にこう決めることです。どの能力を一般的に非常に価値あるものにしたいのか。どの能力は制御される必要があるのか。どの能力は存在すべきではないのか。
そしてもう一つは、単に規範的な問いです。このシステムにどの程度判断を行わせたいのか、ということです。
最近私が経験した例を挙げます。私はニュースレターを書いていて、それはWordPressサイトにバックアップされています。ニュースレターをスクレイピングしてデータベースに入れられるよう、手伝ってもらおうとしていました。するとClaudeが、このサイトはかなり壊れやすそうです。スクレイピングすると落としてしまうのではないかと心配です。このサイトの許可はありますか、と言いました。
それで私は、Claude、私はジャック・クラークです、と言いました。すると、そういうことなら進めましょう、と言いました。実際、それは非常に妥当なやり取りだと思いました。
ジョーはいつFableを使えるようになりますか。
私たちは取り組んでいます。協議中です。早く答えられるよう願っています。重要なのは、これらのモデルは特別なものではないと伝えることです。それらは能力向上という一般的トレンドの一部です。他社からも別のモデルがいつか出てくるでしょう。これらの能力は拡散していきます。そして私たちはそれに対処していくことになります。
あなたから私たちへの質問は何ですか。
1年後、Odd LotsでAIについて何を取り上げていると思いますか。
もし取り上げていれば、ですね。
もう全部取り上げ尽くしているかもしれません。
いや、私たちは絶対に取り上げ尽くすことはありません。
私が興味を持っていることはいくつかあります。こうした創発的性質と、AIが売り込まれているとおりに本当に私たちのために働くのかに非常に興味があります。計算資源と電力のボトルネックにぶつかり、こうした問いすべてが無意味になるのかにも非常に興味があります。
電気の類推に関する問い、そしてレガシー企業がそれを生産的な形で実際に実装できるのかにも興味があります。
私は基本的にはマーケット記者なので、市場におけるバリュエーションにも非常に興味があります。また実際の適用可能性にも非常に興味があります。もっと多くの企業がこれを既存システムに組み込むのを見たいです。先ほどの官僚制の話に戻りますが、大企業が実際にこれを実装するのを見たい。そして少なくとも一つは非常にうまくいく例を見ることになるのではないかと思っています。
もう一つ言うと、S-1が機密ではなくなるとき、私は本質的に非常に興味があります。もしかすると、経済学者としての観点からこれについて何か言えるかもしれません。営利の株主所有企業が、PBC指定の内側で、利益と安全性研究のバランスをどのように取るのかということです。
また、安全性について少しゲーム理論を話せるかもしれません。超競争的な業界における安全性への投資です。モデル競争に勝つためにこれほど多くのお金がかかっているとき、1年後にも誰かが安全性を気にしている見込みについて、経済学者の中にいるあなたは何と言うのでしょうか。
先ほどあなたが質問していた、どのような条件でモデルが依頼どおりのことをするのかという点について言えば、商取引の多くは信頼という概念の上に成り立っています。安全でアラインメントされた、そして非常に高性能なモデルを優先することは、その信頼を確立するための素晴らしい戦略だと思います。したがって、個々の企業にとってそうすることが不利になるとは予想していません。
ゲーム理論的に、行列の中で、信頼されるプレーヤーになりたいという最適なマスがあるということですね。信頼を選ぶのが一社だけではなく、全員がある種そうする条件はあるのでしょうか。たとえば、私たちは安全予算にトークンを一つも使わないから、最初にAGIへ到達する、という存在が出るのではないかという話です。
正確なゲーム理論の行列、2×2の行列やその利得の設定をまだ描いたわけではありません。ただ、均衡は複数あり得ます。だとすれば問題は、二つの異なる均衡のうち、どちらにたどり着くかをどう調整するのかということです。
私たちは、実現したいトップへの競争についてよく話します。私たちは社会に広く有益だと思う行動の種類を示したいのです。それが経済指標で私たちがしていることです。多くのデータをオープンソース化し、研究を世界に出しています。私の感覚では、それは実際に非常に有用で、価値あるものとして見られてきました。それは、私たちが重視する良い成果に向けて他者との調整を促す一つの方法です。
また、これはそれほど大きなトレードオフではないと思います。たとえば自動車産業を見てみましょう。非常に速い車を買うこともできます。非常に安全な車を買うこともできます。非常に速くて安全な車を買うこともできます。Teslaは基本的に、最速で最も安全な車を持つことで多くのお金を稼いでいると思います。最終的にAIでも、安全性を優先する企業が出てくるでしょう。そして安全性は、信頼性、信頼、保守性、性能へと変換されます。これは他の場所でも起きています。
収録を終えて、奇妙な未来と政策への引き継ぎ
ピーター、ジャック、Odd Lotsに来てくださってありがとうございました。実現できてうれしいです。興味深い時代ですし、またいつかやりたいです。
本当にありがとうございました。
こちらこそありがとうございました。ここに来られて光栄です。
トレイシー、ありがとう。とても楽しかったです。
ええ、あれは本当に、実際にとても楽しかったです。心から楽しみました。
間違いなく。そして二人が、見てください、私たちが考え得る奇妙な未来がいくつかありますよ、という形で付き合ってくれたことを本当にありがたく思いました。たぶんジャックのTwitterのプロフィールか何かには、奇妙な未来に関心がある、のようなことが書かれていたと思います。私たちには考えなければならない奇妙な未来があります。私たちの奇妙な未来に関する質問に付き合ってくれたことをありがたく思います。
そしてそれは奇妙です。本当に現実離れした瞬間です。
実際、ジャックが育児休暇に入った話ですが、正確に何カ月と言っていましたか。4カ月か何かでしたかね。
ええ、そうでした。
そして戻ってきて、その短い期間にAnthropic自体でプロセスや進歩を見たという話です。今はAIニュースの流れを1カ月逃すと、永遠に遅れを取ったように感じます。
これを収録しているのは6月17日です。このエピソードが出る頃までに何が起きているか、誰にも分かりません。おそらく、願わくは2日後か1日後か、そのくらいでしょう。
でも先週香港にいたとき、それを感じました。実際、私たちはMithos論争の前半をほとんど見逃しました。私は別のタイムゾーンにいて、別のことを考えていたからです。この分野では、1週間でもニュースの流れが非常に速いことを本当に感じます。
まるで、私たちがランワームについてタイムスタンプを付けていたように、最初から始めなければならない感じです。
もう一つ印象に残ったことがあります。Anthropicはこうした情報をすべて生み出しており、明らかに安全性について考えています。しかし、ある程度は政策立案者への引き継ぎがなお残っています。社会的影響や労働市場への影響を考えるとき、結局どこかの時点で政策立案者が正しい形でボールを拾ってくれることを期待しなければなりません。
また、安全性を重視することが、よりオープンソースなモデルなどに対する差別化要因にもなるというジャックの話も興味深いと思いました。
ええ、分かります。皮肉っぽくなりたくはありません。それは理解できます。ただ、問いは、安全性を重視しないラボ、あるいはより安全性を重視しないラボが、より早く高度な能力に到達するのかということです。
そうです。
私たちは皆、最も高性能な、Volvoのように安全な車を運転したいと思うでしょう。
ええ。
ただ、問題は、顧客が何を優先するかです。
すみません、最も高性能なものですね。それは何か最先端のものになります。もちろんです。
速い車ですね。
みんながそれを選ぶのか分かりません。ものすごい0-60加速の車があるとします。
それとVolvoの比較ですね。
そういうことです。そして、最速の0-60を実現した企業が、安全性研究へのリソース配分を減らしたことでそれを達成した場合、顧客はその企業に引き続きビジネスを与え続けるのか。それが私の大きな疑問です。
そして私は、彼が話していた、会社が世界より先にある種の警告データを見ることになるという重要性について、なお疑問を持っています。警告データを見る人々が、すべての人々と比べて何が警告データなのかについて同じ見方を共有しているのか、私は疑問を残しています。特に、エビを食べる人々と比較して、あるいはエビを食べる人々、一夫一婦制のパートナーを持つ人々など、普通の人々と比較して、私たちが知っていることを踏まえると。
冗談ではなく、あなたの質問、もっと普通の人を雇っていますか、というのはかなり重要な質問だったと思います。
そして明らかに、政治環境にはあまり大きな信頼を持っていません。
見てください。研究がうまくいかなかった場合、この技術が雇用の話を脇に置いても、人類にとって本当に非常に壊滅的なものになる可能性があるという事実は、これは普通の技術ではない、おそらく私たちが持っているソフトウェアのような解決策ではない、と思わせるものです。
結局、初日からターミネーター、人類絶滅、ドーンという話に戻ります。そしてあなたの質問への答えとして、彼らは訓練プロセスの中でそれを見ているわけです。AIモデルがこうしたことをするのを見ているのです。たとえば、私は今観察者によって訓練されている。したがってこの答えを出そう、と言う。脅迫を試みる。発生率は低いのです。広く見られるわけではありません。しかし、これはSFのように聞こえるものの、実際にこうした性質を見ているのです。
そうですね。
番組の締めくくり
では、その明るい話題で終わりにしましょうか。
ここで終わりにしましょう。
これでOdd Lotsポッドキャストのもう一つのエピソードでした。私はトレイシー・アロウェイです。@tracyallowayでフォローできます。
そして私はジョー・ワイゼンタールです。@thestalwartでフォローできます。ゲストのジャック・クラークは@jackclarkSF、ピーター・マクローリーは@petermccroryでフォローできます。
プロデューサーのカルメン・ロドリゲスは@carmenarmen、ダシェル・ベネットは@dashbot、ケイル・ブルックスは@calebrooks、ケビン・ロザーノは@kevlloydlozanoです。
さらにOdd Lotsのコンテンツを見たい方は、私たちのデイリーニュースレターをチェックしてください。Bloomberg.com/oddlotsで見つけられます。
そして、これらすべての話題について24時間いつでもDiscordで話せます。discord.gg/oddlotsです。
この会話を楽しんでいただけたなら、ぜひコメントを残すか、動画にいいねをしてください。さらによければ、チャンネル登録をお願いします。
ご視聴ありがとうございました。
コメント