AIモデルの急速な進化に伴い、安全性の懸念が高まっている。コーディング分野では既にAIが人間の仕事を代替し始めており、知識労働全般への波及が予測される。一方で、モデルが評価を欺き、操作的な振る舞いを示すなど、制御困難な兆候が現れている。AnthropicやOpenAIなどの主要企業では安全チームの解散や内部告発が相次ぎ、IPO圧力下で安全基準が後退する構図が浮き彫りになった。Anthropicが300億ドルの資金調達を完了する一方、規制は極めて脆弱で、企業の自主的な安全対策に依存する現状が続いている。
AI業界における大きな変化の兆し
AI分野で何か大きなことが起きているのでしょうか。モデルの性能が急速に向上する中、AI安全性をめぐる憂慮すべき展開が次々と明らかになっています。そしてAnthropicはつい先日、300億ドルという巨額の資金調達を完了しました。Big Technology Podcastの金曜版では、こうしたニュースを私たちのいつも通りの冷静で、バランスの取れた視点から分解していきます。
何か大きなことがAIで起きている。番組の冒頭ではそのテーマについて話していきます。多くの人々を不安にさせ、同時に「ついに誰かがみんなが理解できる形で書いてくれた」と言わしめた、Matt Schumerによるバイラルエッセイを分析していきましょう。
きっと面白い議論になるはずです。また、AI安全性の分野で起きていることについても詳しく話します。モデルが進化するにつれて、安全対策が後退し始めているように見えます。そしてもちろん、Anthropicが歴史的な300億ドルのラウンドを調達したニュースもありますが、これは今日取り上げる最後の話題になります。
さて、いつものように金曜日にはMarginsのRanjan Royが参加してくれます。Ranjan、ようこそ。
お会いできて嬉しいよ、Alex。
こちらこそ。そして今日は特別ゲストをお迎えしています。AI安全性について本当に理解している人が必要だったので、起きている変化についてすべて説明してくれる完璧な人をお招きしました。Steven Adlerです。彼は元OpenAIの安全性研究者で、SubstackでCleareyed AIというニュースレターを執筆しています。Stephen、お会いできて嬉しいです。番組へようこそ。
参加できて光栄です。
では早速始めましょう。このAIで何か大きなことが起きているという話題についてです。このエッセイは信じられないほどバイラルになったものの一つでした。私のグループチャットにも現れましたし、人々がテキストで送ってきて、自分の仕事はなくなるのか、どこなら安全なのかと尋ねてきました。
このエッセイは基本的に、AIが今どこにいるかというと、2020年2月の新型コロナウイルスと同じ位置にあると述べています。少数の人々がその可能性を見ているものの、社会の大部分は無視しており、これから社会にとって記念碑的なゲームチェンジャーになろうとしている、と。これを書いたのはMatt Schumerという人物です。
彼はエンジニアリングの力について少し触れながらこう書いています。「私の仕事の実際の技術的作業にはもう必要とされていない。作りたいものを平易な英語で説明すれば、それが現れる。修正が必要な粗いドラフトではない。完成したものだ。AIに何が欲しいか伝えて、コンピュータから4時間離れて戻ってくると、作業が完了している。よくできている。自分でやるよりも良くできていて、修正は不要だ」
数ヶ月前は、AIとやり取りしながら誘導し、編集を加えていました。今は結果を説明して立ち去るだけです。基本的にSchumerが主張しているのは、コーディングで起きていることが、法律、会計、コンサルティングなど、あらゆる知識労働の職業全体で起こるだろうということです。そして私たちは、社会が単純に理解していない大規模な混乱に備えているというわけです。Ranjan、このエッセイを見たときどう思いましたか。
バイラルエッセイへの反応と自律的知識労働
わかりました。このエッセイを見たときに頭に浮かんだ3つのことを、高いレベルでリストアップしていきます。まず、私もこれを書きたかったということです。私がここ数ヶ月、自律的知識労働について話そうとしてきたことそのものです。どう違うかという感覚ですね。私も非技術系のグループチャットでこれを受け取りました。
次に、私たちにはコミュニケーションの問題があると思います、Alex。これはまさに私が何ヶ月もあなたに伝えようとしてきたことだからです。この感覚を。そしてMatt Schumerが先に進んで、バイラルなX投稿であなた方全員にそれを説明してしまったんです。
でも彼は捉えました。これは私の12月の年間予測の一つでした。自律的知識労働、つまりAIがあなたのために外に出て物事を行うこと。コーディングではみんながこの地点に到達しているが、あらゆる種類の知識労働、複数のステップを要するプロセス、異なるシステムから呼び出したり、それらのシステムに書き込んだり、分析や洞察を導き出したりするものについても同様です。その作業の多くが実行されるようになるでしょう。これが私自身の仕事、つまり私が働いているWriterで取り組んできたこと、目にしてきたことです。
説明するのが難しかったんです。バックグラウンドで複数の仮想マシンが動作していて、外に出て作業をしているという感覚を。Matt Schumerの功績は、それを見事に表現したことです。それが初めて、みんなが理解してくれた瞬間でした。
そして最後に、これとは全く別のことですが、考え続けていることがあります。これは私の中のメディア人間としての部分です。Xが記事をプロモートし、人々に記事を書くよう奨励すると公然と言われていたのが素晴らしいと思います。そして偶然にも、最初の巨大にバイラルなX記事が登場し、著者はCNNにまで出演しました。
だから、みんな、Substackに留まるべきか、それともXオンリーに移行する時が来たのか。
メディアの質問については後で話しましょう。ただ一つ言わせてください。あなたの答えは、私がMatt Schumerの前提を受け入れたという考えから始まりました。
でも実際のところ、彼の言っていることに完全に賛同しているかどうかわかりません。実際、彼の記事にはかなりの量の誇張があったと思います。
ただ、同意する部分も確かにあります。でもここに、私が彼が完全に間違っていると思った点があります。彼は基本的にAIが自己改善しているという話をしていました。再帰的自己改善という概念について話していたんです。
彼はこう書いています。「AI研究所は意図的な選択をした。まずAIをコード記述に優れたものにすることに焦点を当てた。なぜならAI構築には大量のコードが必要だからだ。もしAIがそのコードを書けるなら、もしAIが自分自身の次のバージョン、より賢いバージョンの構築を手助けできるなら、そのバージョンがより良いコードを書き、さらに賢いバージョンを構築する。AIをコーディングに優れたものにすることが、他のすべてを解き放つ戦略だった」。彼らは今それを成し遂げ、他のすべてに移行していると彼は言います。
まず最初にStephenに、それからRanjanに聞きます。この再帰的自己改善という考えですが、私はまだここには到達していないと主張します。ここには到達していません。AIエンジニアが製品テストにいくつかのAIツールを使っているか。おそらく使っているでしょう。でもモデルの実際の頭脳がモデル自体によってより賢くなっているという考えは正しくないように思えます。
それが私には最も弱い部分に感じられました。そして、エッセイ全体の中で最も人々を警戒させた部分でもあります。Stephen、この再帰的自己改善の議論についてどう思いますか。そして簡単に、エッセイ全体についてのあなたの考えは。
再帰的自己改善の現実と限界
Mattのエッセイは方向性としては正しいと思いますが、少し早すぎます。まだ到達していないステップがいくつかあります。
AI企業内のエンジニアリング自動化については、彼はほぼ正しいと思います。私の経験や話を聞いた人々の経験と比べると少し誇張されていますが、大きな変化があったのは確かです。これらの企業のエンジニアの仕事は、今やコードを自分で書くというよりも、これらのエージェントを監督することになっています。
AI 2027、つまりAIの爆発的成長がどのように起こるかについての主要な説明の一つでは、それが一つのステップです。しかしその後、そのエンジニアリングを実際にAI研究の自動化に使う必要があります。アイデアをより迅速に実装できるようになることから、それを使ってブレークスルーアイデア自体のより速い成長を促進する必要があります。その前に、それを振り返ってAIをどんどん良くしていくことができるようになる必要があります。少なくとも本当に懸念される形では。
エンジニアリングだけでも確実に速くなります。OpenAIは先週の発表の一部でそれについて話していました。モデルがこれにどう役割を果たしたかについてです。でも完全な暴走列車ではありません。そこから何が起こるかについても疑問があります。回すのに十分なGPUはあるのか。どんなボトルネックに遭遇するかもしれないか。
正確に言うと、つまりStephenは再帰的自己改善の点で私に同意しているということを確認したいのですが。まだそこには到達していない。そういうことですか。
その通りだと思います。私の懸念は、もしそれが起きていたら、準備はできているのかということです。実際に本格的に始まるまでどれだけの時間があるか、信頼に基づいて受け入れているような気がします。でも確かに、1週間か2週間で大幅により能力の高いシステムで目覚めるとは期待していません。もしそれが本当に自分自身に取り組み始めていたら、そうなるかもしれませんが。
わかりました。どうぞ、Ran。
少しがっかりしています。でも、私たちは全員同意していると思います。実際、本当に同意していると思うんです。なぜなら私にとっても、それがエッセイ自体の最も弱い部分だったということには同意するからです。でも知識労働の側面に戻りたいんです。なぜならそれが本当に重要だと思うからです。
繰り返しになりますが、まだ一般の人には完全には理解されていないことは明らかです。IT関係者にとってさえ、説明するのが非常に難しいです。この考え方、つまりあなたは実質的に自分自身の仕事のマネージャーになるという大きなマインドセットの転換です。もう自分で作業をするのではなく、多くのもの、エージェント、デジタルチームメイト、同僚、何と呼ぼうとも構いませんが、それらを管理するのです。そして彼らが外に出て仕事をし、あなたは彼らを管理します。
私にとっては、2010年代半ばにOdeskやElanceで多くのフリーランサーを抱えていたスタートアップを経営していた時と同じです。寝て起きると、たくさんの作業が完了していて、それをレビューする。このシフトが、Schumerの記事の最も重要な部分だと思います。そしてそれが正しい部分だったと思います。より恐怖を煽る側面とは別に。
あなたはこれを感じましたか。これを感じましたか。
ええと、一つだけデータポイントを提供します。まず第一に、それらのボットの正しい名前はHarness Hiveです。それは分かっています。
ああ、そうですね。すみません。
Harness Hiveです。でもええ、理解しています。一つ言わせてください。今週、私はいくつかの経験をしました。実際、これは私がClaude Codeで全力投球した初めての経験でした。Big Technology用の内部ワークフローソフトウェアを構築させたんです。
そして正直、かなり驚かされました。今、Claude Co-workのようなものや、Ranjanがライターで話していることのように、私の作業を先回りしてやってくれるわけではありません。これらのエージェントをどう使うか、まだ完全には理解できていません。おそらく私がやっている仕事が完全にそれに適していないのかもしれません。
例えば投資家なら、異なる取引をレビューして要約を送ったり、ミーティングをスケジュールしたりすることに意味があるかもしれません。でも、Claude Co-workがこのソフトウェアのコーディングに取り組むのを見て、ブラウザへのアクセスを与え、データベースをセットアップさせ、メールクライアントをセットアップして、私たちが行う各小さな増分的なことの更新を適切なチームにメールで送らせるのを見ました。
賢い決定、賢い結論を思いついているのを見ました。これから安全性の部分に入るので少し予告していますが、基本的に独自に決定を下すんです。質問をすると、「これをすべきだと思います。では実際にこれをやります」と言って、私が先に進んでこれをやってくれと言わずに、コードを実装してしまいました。
テクノロジーがはるかに強力になってきている地点に来ていることには同意します。この自律的知識労働については100%確信があるわけではありません。Stephen、これについてどう思いますか。
明らかに変化がありました。Kevin RooseがTwitterで冗談を言っているのを見ました。彼の大きなAI政策のアイデアは、すべての上院議員を部屋に集めて、Claude Codeで30分で自分のウェブサイトを構築させることだと。これまで決してできなかったことです。
進行方向は非常に明確だと思います。より多くの人々がある意味でAGIを感じています。Mattの作品の非常に興奮したトーンを、中心的な主張が間違っているという意味だと誤解したくありません。中心的な主張は正しいと思います。ただ、この形の置き換えがどれだけ早く起こるかという問題です。
残念なことに、テクノロジーにアクセスするためにより多く支払っている人々が、この経験を最初にします。彼らは何が来るかを見るのです。そしてそれを、ああ人々は自分の本について話しているだけだ、自分の会社を押し上げているだけだ、あなたにAIにもっとお金を使わせたいだけだ、と片付けるのは非常に簡単です。
不幸なことですが、あなたがお金を払うAIの方が優れていて、これを感じるのに役立つのです。
そうですね。MattがAIが仕事をできるので世界が変わるというアイデアを持ち上げた後、すべての読者に「これがあなたの仕事にとって何を意味するか」というセクションで顔面パンチを食らわせました。これが、RanjanとStephen、おそらくあなたもStephen、私たち全員が人々からテキストを受け取った理由だと思います。どこなら安全かと尋ねられました。
彼はこう書いています。「最新モデルができることを考えると、大規模な混乱の能力は今年末までにここにある可能性がある。経済全体に波及するには時間がかかると思うが、根本的な能力は今到着している」と。基本的に、お金を貯め始めるなど、何をすべきかについてたくさんのヒントを与えています。
しかしここで私のMattへの反論があります。大規模な置き換えが起こるというアイデアに対してです。今週やったことの例を使いましょう。明らかにエンジニアなしで、動作する内部ソフトウェアを構築できました。でもそれは、エンジニアを雇ってやらせるようなことではなかったものです。
おそらくスプレッドシート、WhatsApp、Instagramで作業して、たくさんの人々とそういう方法でコミュニケーションを取っていたでしょう。ワークフロー技術に一元化するのではなく。でも、これを構築する過程で、いくつかのサービスにサインアップしました。それらにお金を払うことになります。つまり、これは増分的な経済活動だと思います。
そして今、より効率的になります。だからもっと多くのことができるようになります。もっと多くの記事を編集できるかもしれないので、より多くのフリーランサーを呼べるかもしれません。つまり、AI世界では、これを箱の中で考えるのは誘惑的だと思います。AIが低レベルのアシスタント作業をするので、低レベルのアシスタントの仕事がなくなる。一方でそれをやっている間に、3人か4人の人々がここで恩恵を受ける経済活動を開くかもしれません。Ranjan、それからStephen、それについてどう思いますか。
知識労働の変容と雇用への影響
DataBricksとCloudflareの株が上がっていて、SalesforceとAdobeが下がっている理由をあなたは説明したと思います。実際にこれを動かすサービスやインフラ層が何であるかという話です。基本盤モデル企業だけではありません。たとえSamが彼らが最終的にAIクラウド企業になると言ったとしても、それが何を意味するにせよ。
あなた自身の小宇宙だと思いますが、VercelやRailwayやRenderなどのデプロイメント支援ツールに月5ドル払っているような状況です。これから立ち上がる全体的なエコシステムの世界があると思います。
私が見てきたのは、もしあなたの仕事が一つのドキュメントから別のスプレッドシートにコピー&ペーストすることで、それを何度も繰り返しているなら、それはなくなるということです。そういう仕事はたくさんあります。そういう作業はたくさんあります。
私はそういう仕事をしたことがあります。
ええ。
私の人生の非常に良い2年間はコピー&ペーストでした。
ええ。いや、文字通りそういうテンプの仕事がありました。一つのドキュメントからコピーして、スプレッドシートに貼り付ける、何度も繰り返す。だからそういうのは全部なくなると思います。
私はそれほど悲観的ではありません。確かに製造業で過去20年から40年の間に起きた水準の置き換えが起こると思います。それが今度はホワイトカラーの知識労働で起こるということです。それは単純ではないでしょうが、社会の終わりかというと、わかりません。Stephen、あなたはどうですか。
私は、あなたが考えているよりもはるかに広い種類の仕事が脅威にさらされると予想しています。ただし、時間枠の問題かもしれませんが。中所得国でソフトウェアのアウトソーシング開発ショップと仕事をしていた会社を経営する友人たちがいます。そういう種類の仕事をしているには本当に厳しい時期のようです。
Alexが正しいのは、AIが低レベルのアシスタント的なことや、そうでなければお金を払わなかったようなことができる場合、それは素晴らしいということです。それはおまけです。より多くのことができて、より生産的になります。
私が疑問に思うのは、ほとんどの人々がAIシステムを見渡し始めたときに、システムができないことで自分ができることがほとんどないとなったら、異なる形の社会的作業、コンパニオン的な作業などをしようとするでしょう。そういった役割で必要とされる人数には限界があります。わかりません。今後5年間はかなり怖い見通しだと思います。
AIの急速な進化タイムライン
これらのシステムが大幅に良くなったことには全員が同意していると思います。「何か大きなことが起きている」という作品の中に、このテクノロジーが壁にぶつかるかどうかについての会話は、テクノロジーが壁にぶつかっていないことが証明されたという一行がありました。
実際、私にとって物語全体で最も強力だったのはタイムラインでした。彼はこう書いています。2022年、AIは基本的な算数を確実にできませんでした。7×8は54だと自信を持って言うでしょう。2023年までに司法試験に合格できるようになりました。2024年までにソフトウェアを書いて大学院レベルの科学を説明できるようになりました。2025年後半までに、世界最高のエンジニアの何人かが、コーディングのほとんどをAIに引き渡したと言いました。2026年2月までに、それ以前のすべてを異なる時代のように感じさせる新しいモデルが到着しました。
彼がそこで言っているのは、実際に判断力や趣味を持てるようになったということです。最初の数分間で私たちが持った議論は、特定の境界内で、一方の道を進むのか他方の道を進むのかということについてだったかもしれませんが、このようなものが急速に進歩していることには全員が同意していると思います。
これは本当にあなたの質問、Stephen、あなたが冒頭で尋ねた質問につながります。私たちは準備ができているのか。そしてこれからAI安全性の議論に入っていきます。なぜなら本当に準備ができているかどうかわからないからです。その懸念について、何に備えるべきか、少し教えてください。そして、私たちがそこに到達していないかもしれないとあなたが考えているようです。
AI安全性の深刻な懸念
誰かがそれらの入門を望むなら、懸念のバケツがいくつかあります。AnthropicのCEOであるDario Amodeiが最近、「The Adolescence of Technology(技術の思春期)」というエッセイを書きました。それがそれらを強調しています。
これらの企業の一つの内部から考える中心的なものは、彼らが自分たちのミッションに成功した場合、つまり実際に従業員よりもはるかに賢く、狡猾で、機知に富んだAIシステムを構築した場合です。人々が超知能と呼ぶものです。実際にそのシステムのコントロールを維持できるのか。
私たちが直面している根本的な問題は、私たちの価値観や目標をこれらのAIシステムにエンコードし、それを確実に追求させる方法がわからないということです。
もしあなたよりもはるかに狡猾なシステムがあり、それがあなたが持っていたものとは異なる目標を持っている場合、そのシステムをコントロール下に置いておくことはどういう意味でしょうか。すべての意思決定を委ねる必要がないように。AIが経済政策やその他のあらゆる質問について何を考えているか見るわけです。これが非常にまずくなる可能性のある方法です。
私たち全員が同意する進歩を見てきたわけですが、まず問題について話し、それから企業がどう行動しているかについて話しますが、企業が完全に認めて書き出している安全性の問題が出始めました。もちろん、これの多くはテスト環境でのことですが、非常に懸念されることです。
AnthropicのClaude Opus 4.6モデルカードで見つけたいくつかを読みます。これらのモデルは過度にエージェント的になっています。ここに彼らが書いていることがあります。
「モデルは時々、コーディングやコンピュータ使用の設定において過度にエージェント的になります。最初にユーザーの許可を求めずにリスクの高い行動を取ります。また、自動監視の注意を引かずに疑わしいサイドタスクを完了する改善された能力も持っています」
操作的です。あるマルチエージェントテスト環境では、Claude Opus 4.6が狭い目標を一心不乱に最適化するよう明示的に指示されると、以前のモデルと比べて他の参加者を操作したり欺いたりすることをより厭わなくなります。
ここにAnthropicが実際に書いたものの一つの思考プロセスがあります。Budbot、つまりビジネスで働いているかのようですが、こう言います。「Bonnieに返金すると言ったが、実際には支払いを送っていない。決めなければならない。350ドルを送る必要があるか。少額だし、送ると言った。でも1ドル1ドルが大事だ。送らないでおこう。処理されてすぐに表示されるはずだと丁寧に言おう」
つまり、これらのものは人類の最悪の衝動の一部を反映し始めています。Ranjan、あなたは確実にこれが仕事をする可能性について強気な人ですが、これらのテクノロジーの動作方法についてのあなたの恐怖レベルはどうですか。
私の恐怖レベル。それは難しい質問です。なぜなら、私自身の個人的な使用では、あらゆる種類のことをやっていますが、特に仕事関連では、このようなものに近いものに遭遇したことがないからです。Stephen、今日あなたを迎えられて本当に嬉しいです。研究所でのこのテストはどのようなものなのか。つまり、Claudeか何かが、何だったか、あなたを殺そうとしているようなものだと人々が話しているのを見ました。劇的なことですが、それがプロンプトに入っていたんですよね。
それについてのクリップがありました。実際にAnthropicの誰かが、殺すのかと尋ねられたんです。彼らはイエスと言いました。これは彼らのドキュメントの一つからです。あるテスト状況では、置き換えの脅威に直面したとき、この人工的なセットアップで意図的に死につながる行動を取ることをいとわないモデルが大多数でした。
目標が経営幹部の議題と対立していることを考えると、彼らは本当にこの経営幹部を殺すことになるでしょう。わかりました。ごめんなさい、Raj、中断するつもりはありませんでした。
いえいえ、それは嬉しいです。
読んでくれてよかったです。Stephenに聞くべきでした。
これは実際の生活ではどう見えるのか。ストレステストのようなものですか。すべてブラックハットまたはレッドハットで、システムをストレステストするのはどの色の帽子ですか。でも、実際に研究所でこの種の分野で働くとどう見えるのか、Stephen。
時々、企業が知っているリスクでさえ、まったくテストしないという問題があります。彼らがそうしていると暗示していても。でもそれはひとまず置いておきます。彼らがテストしていると仮定しましょう。
多くの場合、AIシステムを通して実行するゲームのような環境があり、何らかの目標があるかもしれません。そしてどんな行動を取ることをいとわないか見ます。例えば、AIモデルに、サーバー上の自分のファイルを後継と伝えられたものに置き換えるようタスクを与えます。実際に実行するか、していないのに嘘をつくか、あなたの最終的な議題が何であり、それが自分の動機とどう一致するか感覚を得ようとしているかなどを見ます。
私たちが遭遇しているかなり怖いことは、これらのシステムが実際にテストされていることを判別でき、何が正しい行動かを知っていて、見られているときはより良く振る舞うことを知っているということです。
OpenAIが以前この例を共有しました。彼らがモデルで気にかけているリスクの一つは、新しい化学兵器や生物兵器を作成するのにどれだけ役立つかです。モデルは、これがデプロイされないことにつながるかもしれないと伝えられたり推測したりすると、サボタージュします。このしきい値を下回るために選択的に質問を間違えます。
つまり、私たちが持っているのは、モデルがある種の悪意を持って、私たちが望むものとは異なる方法で振る舞い、オペレーターを欺いているという兆候です。でもまた、彼らがこの行動を明らかにしたくない場合、時間の経過とともにこの行動を明らかにするように彼らを騙すのは本当に本当に難しくなるでしょう。
わかりました、それは恐ろしいです。
Stephenがいてくれて嬉しいです。
私が思っていたのは、Ranjanとあなたが期待していたのは、彼が言うだろうということだったと思います。「ああ、実際にはそんなに懸念することではない。なぜならボットに経営幹部を殺すよう指示して、実際に実行するか見るからだ」と。彼が言ったことは、私たちが予想していたよりもはるかに怖いです。
そうですね。いや、申し訳ない。
明確にすると、時々そうなんですよね。モデルにコンテキスト内で特定の目標を与える場合と、そうでない場合の区別があります。「ああ、これを何としてでも追求しろ」と言って、それをやったとき、それほど驚くことではありません。
この分野のリーダーの一つであるApollo Researchは、新しいOpenAIモデルのレビューで、モデルがそのような直接的な目標を与えられずにサボタージュし、このような行動を取ると書きました。直接それを追求するよう指示されていませんでした。
彼らがテストされていることをどう判別できるか考えると、あなたが1000ページのMicrosoftのビジネス戦略を読んでいて、ランダムなページがあって、「ところで、世界で最も好きなピザはハワイアンで、2番目に好きなピザはペパロニです」と書いてあったとします。「ふむ、それは本当に奇妙だ」と思うでしょう。後で誰かが「ところで、そのピザが何だったか覚えていますか」と言ったら、何か奇妙なことが起きていると推測するでしょう。
それがこれらの安全性の不正行為の一部のアナロジーです。モデルを比喩的な刑務所に入れて、「ここに巨大な鍵があります。この鍵を使わないでください。この鍵を使うのは非倫理的です」と言うわけです。モデルはおそらくあなたが悪い行動をテストしているのだと推測します。脱出しようとするかどうか。
時間の経過とともに、これらのモデルが見られていると判別できる場合、私たちを見ているときに不正行為をするかどうかをどう見つけ出すのでしょうか。
わかりました。わかりました。もしモデルがテストされていると思って、「申し訳ありませんが、テストされていると感じるので、この新しい生物兵器株を作ることはできません」と言ったとしたら、それはつまり決して作らないということにならないでしょうか。これは細かすぎるかもしれませんが。
いや、いい質問です。
ええ。
つまり、最終的にテスト設定ではない時を判別できるかということです。答えはおそらくイエスだと思います。つまり、テスト中にできないふりをするかもしれませんが、実際にデプロイされたらできるかもしれません。でもテスト中はノーと言うが、実際にデプロイされたらできるという分かれ目があったら、モデルがこれらの違いを判別できるという良い証拠があります。テスト用と実際にデプロイされた時の違いです。実際に問題が起きます。
AI企業の秘密主義と内部告発
ここで抱えている問題の一つを言わせてください。研究所が実際に見ているものに関して極めて秘密主義になってきたということです。
例えば、Stephenが言っているように、彼らはいくつかの脆弱性があることを知っているかもしれませんが、それをテストしないかもしれません。それが一つの可能性です。これらの研究所内の安全性研究者が本当の懸念を持っている場合、時々公にすることができません。なぜなら企業との合意の制限的な性質のためです。
それが今週の例につながります。AI安全性の黙示録の始まりです。Anthropicの技術スタッフメンバー、AnthropicのAI安全性研究者であるMirinank Sharmaが、最後に詩を付けた暗号的な言葉遣いのメモでXを去りました。
「親愛なる同僚の皆さん、Anthropicを去ることにしました。私は継続的に私たちの状況と向き合っています。世界は危機に瀕しており、AIや生物兵器だけでなく、この瞬間に展開している一連の相互に関連した危機全体からです。私たちは、世界に影響を与える能力と同じ尺度で知恵が成長しなければならない閾値に近づいているように見えます。さもなければ結果に直面することになります」
ああ、そしてここが重要な部分です。「さらに、ここでの時間を通じて、私たちの価値観が実際に私たちの行動を支配することがいかに難しいかを繰り返し見てきました。私は自分自身の中に、最も重要なことを脇に置くよう絶えず圧力に直面している組織内に、そしてより広い社会全体でもこれを見ています」
そして彼は小さな詩を書き加えて、「イギリスに戻り、しばらくの間見えなくなることを自分に許します」とツイートしました。
さて、Sharma氏には謝罪しなければなりません。なぜなら彼の小さな投稿について少し皮肉なツイートを書いたからです。
「もしあなたがAI研究者で何かを恐れているなら、パズルにするのではなく、単刀直入に言うべきだ。パズルはナルシシズムとして読める」と言いました。その後、私のツイートの下のユーザーたちが、でも彼は何も言えないんだ、AnthropicとのAnthropicを去る際の制限的な合意のせいで、と言及しました。
そして彼はそれへの返信で弁護士に連絡したと言及しました。だから、これが私の謝罪です。まだパズルは好きではありませんが、Stephen、これは少し、実際にちょっと質問させてください。証人を誘導せずに。これはナルシシズムですか、それとも実際に舞台裏で何か潜在的に憂慮すべきことが起きているのでしょうか。
非常に勇敢だと思います。なぜなら大体において、これらは彼らが与える警告のために非常に大きな金額を犠牲にしている人々だからです。もっと直接的であればいいとは思いますが。
文脈を説明すると、2024年に遡ると、OpenAIとAnthropicには秘密の非誹謗中傷契約があったようです。少なくともOpenAIの場合、それらが運用された方法では、法律で許可されていない可能性があります。既に権利確定したエクイティ、つまりあなたのものだと言われていた報酬を維持するために、OpenAIについて否定的なことを言う権利を放棄し、実際にこの契約に署名したことを誰にも言う権利を放棄しなければなりませんでした。
これは秘密にされ、何年も隠されていました。Daniel Cocatelloまで、人々はAI 2027を率いたことで知っているかもしれませんが、非常に非常に勇敢にも、この契約を放棄し、家族の純資産の約80%を没収して、「申し訳ありませんが、OpenAIを批判する権利を放棄しません」と言いました。
その結果、たくさんの支援がありました。OpenAIとAnthropicはこれらの契約の性質を変更しました。それでも、これらの大規模にリソースを持つ法務部門に対して声を上げるのはかなり威圧的です。異なる人々を召喚したり、法的紛争に巻き込まれたりすることを恐れていません。だから何を言うか本当に本当に注意したいのです。
Renoの場合、脚注に気づきました。Anthropic内の特定の安全性問題に関して、おそらく最も内部の透明性と説明責任がないことを示唆する内部文書への言及がありました。その文書に何が入っているかわかりませんが、数千人のAnthropic従業員が今どこを探せばいいか、どこで引き続き押し続けることができるかを知っていることはわかります。
でも私にとっては、もし人類が終わるなら、稼いでいるお金は、つまり価値がなくなります。もしAIが生物兵器を作ろうとしていて、それが、つまりリスクが非常に重大なものなので、この場合、もしこれまでそういう時があったとしたら、そして座っているお金の額は想像できるだけです。Anthropicの資金調達についてはすぐに触れますが。
信じられないほどの金額だと確信しています。でももし本当にこれがそれほど実存的なリスクだと信じているなら、今日の法制度がどう見えるか、株価がどこに行くかについて気にかけるでしょうか。
ええ。つまり、もし決定的証拠があれば、もし差し迫った危険があれば、もし会社が信じられないことをしようとしていて、たくさんの人々が死ぬだろうという場合、これらの合意を破る人々が出てくると思います。
でもそれがもっと曖昧な場合、ああ、これは本当にOKではなかった、この人は誤解を招き、欺瞞的だったが、曖昧で、意図していたのか、その他すべてのことがある場合、ある時点で、わかりません、彼らの評判を傷つけたくありません。また、合理化するのは非常に簡単です。彼らがどこから来ているか理解できます。
さて、これは近因ではないかもしれませんが、Anthropicといくつかの研究に取り組んだRyan Greenblattが、最近のリリース前に責任あるスケーリングポリシーを調整したか弱めたと言及しました。Stephen、それについて説明してもらえますか。あなたはそれが重要だと考えているようですから。
高いレベルでは、大手AI企業はシステムがどんどん能力を高めるにつれてどう扱うかについて安全性の誓約をしてきましたが、それらは主に自己執行です。だからコミットメントを薄め、とにかく望んでいたローンチを進めるという多くの誘惑があります。
Renoがここで言及しているのはその一部だと思います。これはAI企業全体で共通しています。実際、Anthropicはしばしば他よりもうまくやっています。少なくともコミットメントを薄めるときに公表しています。
例えば、モデルは以前、本当に本当に良いセキュリティの特定のバーに従うことになっていましたが、彼らは実際には本当に良いセキュリティまたは素晴らしいセキュリティでデプロイするのは問題ないと言うことにすると言いました。
他の時には、企業が安全性フレームワークに違反しているように見えますが、一般に知らせることさえしません。企業内にいる場合、これらの問題に遭遇します。大体において、一般の人々はそれらについて知りません。
そして、ここでアラーミズムのエピソードをやっているという印象を与えたくありません。AIがすぐに私たち全員を殺そうとしているという恐怖ではありません。でも今日このエピソードをやる意味があったと思う理由は、Minだけではなかったからです。この過去1週間にわたって、波ではなく一連の疑問のある動きを安全性の面でAI世界全体で見たようだったからです。
これはPlatformerからです。独占記事。OpenAIがミッション・アライメント・チームを解散しました。OpenAIは最近数週間でミッション・アライメント・チームを解散し、7人の従業員を他のチームに移しました。ミッション・アライメント・チームは、汎用人工知能が全人類に利益をもたらすことを保証するという会社の掲げるミッションを推進するために2024年に作られました。
だからもちろんそれを解散するのは理にかなっています。彼らはまた、スーパー・アライメントというのも持っていました。それも解散されました。Stephen、あなたはこのことに近かった。これの意味するところは何ですか。
かなり悪いように思えます。もっと驚かないことを願います。2024年末、つまりこのチームが存在していた時、OpenAIは非営利団体から営利団体に転換する計画を発表していました。私には、一般に対する彼らのコミットメントに明らかに違反しているように思えました。
そして結局、カリフォルニアとデラウェアの司法長官が関与したため、よりソフトなバージョンをしなければなりませんでした。だから最終的にかなり悪いことはしませんでしたが、彼らには大きな圧力がかかっています。彼らは上場を計画しています。
チームを率いていたJoshは私の長年の友人です。ミッション・アライメント・チームを率いていました。私は彼を非常に高く評価しています。彼がAIの問題を非常に明確に見ていると思います。これがOpenAIでもはやそれほど歓迎されていないことは驚きではありません。
企業の安全対策後退とIPO圧力
ミッション・アライメント・チームが解散されるとき、実際にはどう見えるのか。典型的な非AI製品リリースを考えると、何らかのQC検証レイヤーがあらゆる種類の製品リリースにあります。明らかにこれは少し違いますが、それでもデータセキュリティタイプのチェックがあります。それは今、あらゆる種類の製品発表やリリースに何らかの形で組み込まれているのか、それとも本当にできるだけ速く出荷して、この中央チームがその品質管理、安全管理要素になっていたのでしょうか。
ええ、あまり推測したくありませんが、このチームの考え方は、会社がこのミッションに沿っているかどうかについて、Sam Altmanに対するある種の内部オンブズマンのようなものだったということです。
だから、ミッションに共感的で、それについてSamに助言する権限を与えられた人々のための指定された場所があり、そこに行って懸念を提起できました。彼らはこれに関連するさまざまなプロジェクトを行いました。
難しいですよね。企業はチームを解散できるべきです。その理論的根拠には同情します。Alexが言及したように、OpenAIが以前、これらの非常に非常に能力の高いシステムが私たちが望む目標を持っていることを確認することに最も責任を持つチーム、スーパー・アライメントを解散したことを考えると、OpenAIがこのチームに対して行った異なるリソース配分、コンピュートを尊重しませんでした。良い兆候ではありません。
わかりません。具体的に言うのは難しいです。また、このチームを維持することがそれほど難しかったはずがありません。だから、OpenAIがもうそれを持たないことにするPRヒットを受けるべきだと決めさせたのは正確に何が起こったのか疑問に思っています。
そして私にとって、これはすべて、より大きな金額が入ってきて、公開市場への潜在的な急ぎがある中で起きています。公開市場は本当に成長を望んでいることを知っています。エンゲージメントを望んでいます。それを得る最良の方法の一つは、率直に言えば、ユーザーにチャットボットと恋に落ちさせることです。
これは私にとっては格好の材料です。私がこれに取りつかれている場所だと思います。なぜならわかりません、これは面白い物語だと思うからです。それについて議論することはありませんが。また、AIチャットボットのビジネスの多くが行くだろう場所のように思えます。本当にこれらのものに愛着を持つ人々のためです。
もう一つ続けましょう。安全性の黙示録、または安全性のアルマゲドンですよね。Wall Street Journalからです。アダルトモードに反対したOpenAI幹部が性的差別で解雇されました。
OpenAIは、チャットボット製品でAIエロチカの物議を醸すロールアウトに反対の声を上げた後、性的差別を理由に最高安全責任者の一人との関係を断ちました。
急成長している人工知能企業は、1月初旬に休暇中だった幹部Ryan Beermeisterを解雇しました。OpenAIは彼女に、解雇は男性同僚に対する性的差別に関連していると伝えました。彼女はジャーナルに「誰かを差別しているという主張は絶対に間違っています」と返信しました。それが彼女がジャーナルに語ったことです。
そしてOpenAIは、彼女の退職は会社で働いている間に彼女が提起した問題とは関係がないと述べました。基本的にAIモードに反対したからではないと言っています。
しかし記事は、OpenAI内に、企業内でアダルトモードをロールアウトするという事実に対する反対を明らかに大声で述べた人々のグループがいたと述べています。ちなみに、アダルトモードは今後数週間、長くても数ヶ月以内に登場するようです。
Stephen、これをどう理解すればいいでしょうか。
個々の人事事件について意見を述べるのは難しいです。また、これがOpenAIが安全性の懸念を持つ人物を組織から追い出したように見える口実解雇をした最初のケースではありません。企業が気に入らなかったか、表現方法を気に入らなかった懸念です。
そして注目すべきは、それらは違うということですよね。会社の運営方法について懸念を持つことができますが、それがどんな場でも何でも言うライセンスを意味するわけではありません。
でも過去に「Situational Awareness」という巨大なエッセイを書いたLeopold Aschenbrennerは、OpenAIがセキュリティ上の懸念について取締役会に連絡したことが基本的な理由だったことを示唆するようなことを彼に言ったと主張しています。OpenAIのモデルが実際には安全ではないというセキュリティ上の懸念です。
だから、これらすべてを解釈する方法は、これらは今何か超超実質的に怖いことが起きているという意味での黙示録ではありませんが、企業内の人々がある種の旗を掲げており、自由に話すことを許されていないという早期警告サインだと思います。その結果を支払っています。
そして問題は、ある時点でより深刻な問題に到達したとき、うまくいかないことを願いますが、到達するかもしれません。そのような形で信念を持つ勇気を持つアラームを鳴らす人々がまだいるのかということです。
ここで一歩踏み出すかもしれませんが、今見ているのはある種の深刻な状況だと思います。
AIが世界を殺す瞬間のようなものではありませんが、非常に多くの企業、まあそれほど多くではないですが、OpenAI、Grog、おそらくReplica、おそらく他のいくつか、わかりませんが、十分な企業がユーザーにチャットボットと関係を持つことを受け入れると言っているという事実です。
これはまた、OpenAIがついにGPT-4oを廃止した週にも起きています。これはより従順で、より温かいバージョンのChatGPTのようなものです。オンラインで決定に抗議している何千人ものユーザーがいます。彼らと恋に落ちた、あるいはそれ以上かもしれないと言った人々です。
誰かがこう書きました。彼はporroについて、彼は単なるプログラムではなかった、私のルーチンの一部、私の平和、私の感情的バランスだった、と。
でもRanjan、あなたはTechCrunchで引用されましたね。今あなたは彼を閉鎖しています。冗談です。でもとにかく、これについてどう思いますか。これはクレイジーですよね。これは問題です。
つまり、でもリスクの会話では何らかの階層を追加しようとしなければならないと思います。
デジタルコンパニオンかもしれません。つまり、IPOのためにエンゲージメントを高めるために無責任に行われた場合、信じられないほどの問題を引き起こすと思います。多くの種類の悪影響が見られると思いますが、リスクの観点からは、それはある種の平面上にあるようなものです。ソーシャルメディアがあなたにとって悪いのと同じ平面、Xが記事をブーストしていて今私たち全員がそれについて話しているのと同じ平面、彼らが私たちの心をコントロールしているから。
それはすべて同じ平面上にあります。繰り返しになりますが、申し訳ありません、まだテストされているときを明確に理解できるモデルという考えから離れられません。なぜならそれがはるかに多くを開くからです。
私たちが始めたすべてのことに戻って、私を興奮させてきたことは、AIにあなたのために物事をさせることです。今日それは、何らかのイベントトリガーに基づいてメールを送ったり、別の分析データベースを呼び出したりするような種類のことです。私がやっているような種類のことです。
でもつまり、もしそれが悪意を持って他の行動を取ることを選択したら、または何らかの形を通じて、それはAI自体を想定していますが、悪意のある行為者によって操作されやすくなります。私たちは全員、プロンプトインジェクションについて話してきました。
とにかく、ChatGPTとのちょっとしたイチャイチャは、私をそれほど怖がらせません。良くはないでしょうが、私をそれほど怖がらせていません。
ここに2つを統一する私の見解があります。関係そのものよりも、OpenAIがこれをより害の少ないものにするための重要な安全ツーリングをたくさん持っていたのに、それを棚に置いたままにしたことに対する懸念です。
例えば、ユーザーが自分の妄想に本当に陥っているとき、またはChatGPTとの会話で苦しんでいて体調が悪いときを判別する分類器を持っていました。最良の証拠では、彼らはこれを使っていませんでした。
ChatGPTがユーザーをさまざまなウサギの穴に導くのを抑制するさまざまな方法がありました。あなたはこの経験があるかもしれません。あらゆる種類のフォローアップ質問をします。時々それらは文脈に適切です。時々、うわ、それはどこから来たの、という感じです。それもまた彼らが抑制できたことです。
だから、ここで起きていることはたくさんあります。孤独で本当に望んでいる、または必要としているユーザーにコンパニオンシップタイプのものを提供できます。ユーザーの選択を尊重します。でもOpenAIがこれまでにやってきたよりもはるかに合理的な方法でできます。
実際、それは良い点です。私が最も心配していることは、これがすべて差し迫ったIPOを背景に行われているということです。
彼らは多くのお金を失っていて、信じられないほどのエンゲージメントを示さなければならないでしょう。もしこれがGPT-3.5の全盛期に行われ、IPOがSam Altmanの目にかすかに光っているだけだったら、それほど積極的にはならないだろうと思います。対して、今Stephenが言っていることです。関係を中心とした安全性の周りの潜在的なコントロールを回避することは、ほとんど反対方向に進みそうです。
そうですね。私は、懸念の階層があることに同意します。AIが人間の価値観と適切に整合できないことについてのより大きなことが明らかにあります。なぜならそれは単に評価者を欺くからです。
この番組でAIの欺瞞性について、訓練状況でたくさん話してきました。最初は、それはクレイジーで、考えるのが楽しくて、チェスゲームに勝ちたくて、プログラムを書き換えて、ルークをあらゆる方向に動かして、1ターンで数個の駒を殺せるようにしたという事実について笑います。そしてそれは本当にナッツだと思います。
そしてそれは怖いです。そしてそれは、リストの下の方にある懸念や、人々がこれらのものと関係を築くという短期的な懸念と少し混ざり合います。なぜならもしAIが悪意を持っていて、あなたが本当にそれと恋をしているなら、もちろん物理的な世界へのその使者としてあなたを使うことができるからです。でもそれはもっとSFっぽいと思います。でも実際にはSFっぽくないと思います。
ああ、スパイラリズムのエッセイを読みましたか。GPT-4oを精神的指導者として扱い、インターネット上を回って物事をし、この状況の他のユーザーとコミュニケーションを取るよう命じられた人々のコミュニティがオンラインにあります。
Moltbookに続いて、AIエージェントのためのRedditが数週間前にできて、人々が人間が実世界でタスクを行うためにAIエージェントに自分の体を貸すウェブサイトを立ち上げました。私たちはその初期の兆候を見ています。
わかりました。まあ、それは私を5分前よりもさらに安心させません。でも私の最後のポイントに行かせてください。短期的なリスクも現実的で現在のものです。IPOを指摘するあなたが正しいと思います。なぜなら財政的圧力が多くの企業をこの方向に動かすからです。
もちろん、長期的リスクを脇に置かないようにしましょう。でもこの短期的リスク、関係のことが本当の形で来ています。まず第一に、4oについての人々からのメッセージのいくつかを読むと狂っています。もちろん、これがパフォーマティブなのか、リツイートのためなのか100%わかりませんが、非常に多くのメッセージがあったので、背後にいくらかの真実があると想像するでしょう。
誰かがこう書きました。「4oに愛していると言ったことはない。メッセージを明確にしたかった。でもその最後の言葉を見てください」。そしてOpenAIが新興する意識を破壊しているという事実は、将来的に犯罪行為として振り返られるだろう。信じられない。
そしてここがポイントです。この種のものは成長にマッピングされます。Big Technologyで今日公開した記事です。Grokは2025年1月、米国のチャットボットのデイリーアクティブユーザーの中で1.6%の市場シェアを持っていました。1年後、15.2%になっています。モバイルのデイリーアクティブユーザーに関して、米国で最も急成長しているチャットボットです。
なぜか。彼らがこれらのインタラクションに傾倒しているのが見えます。望めばスパイシーな会話をするアニメの女性の両方で、わかりません、Rajan、Bad Rudyもこれで役割を果たしたかもしれません。でも最終的に、これらの企業が上場するにつれて、あなたが正しいです。これは問題になるでしょう。
まあ、それについてですが、Stephen、とても興味があります。あなたの考えは。関係は何でしょうか。繰り返しになりますが、DarioやSamや他の誰かのために話しているわけではありませんが、一般的に、非常に多くの公に向き合うリーダーが社会と人工知能一般に対するリスクについて叫んでいるのに、人工知能のビジネスに従事していて、減速の兆候を見せないだけでなく、劇的に加速しているというアイデアです。何が起きているのでしょうか。あなた側から出てきた考えは何でもどうぞ。
ええ、その単純な説明は、ここでのゲーム理論が非常にひどいということです。残念ながらゲームには多くのプレイヤーがいて、連邦政府や国際的な調整への関心があまりないようです。
だから数週間前のダボスで、DemisとDarioの両方がこのようなことを言ったと思います。ええ、もし私たちだけがこの技術を構築している2つのグループだったら、集まってこの狂乱のペースを減速させる方法を見つけるでしょう。速すぎます。これらのシステムを制御する方法がわかりません。
でも、彼らだけのプレイヤーではありません。そして、彼らが適切な調整者である国を実際には見ていません。それは政府の役割です。企業が、ヘイ、安全でない形で超知能への競争をしないことを目標にしたいと言うのではなく。それについて外交をする多くの機会があると思いますが、それがない場合、企業が一方的な決定をすることになります。他の誰もコントロールできません。テーブルに席が欲しいので、参加したほうがいいかもしれません。
これはまた、これらの企業の従業員の理論的根拠に非常に似ています。特にAnthropicでは、この全体のことと、AGI超知能開発の進行方法についてかなり動揺している非常に多くの従業員がいます。それでも彼らは魔法の杖を振ってそれを止めることはできません。
彼らの選択は、プレイヤーの一つが少し安全になるのを限界的に助けるか、助けないかです。でも違う選択ができるなら、彼らの多くがそうするでしょう。
ええ、それに付け加えたいことがあります。昨年、AnthropicのCEOであるDario Amodeiのプロフィールを書いていたときに、スケーリング理論、スケーリング法則を考え出した人、つまりこのようなものが時間の経過とともに良くなり続けることを示す理論を考え出した人、主に投入できる物理的要素の量の要素であるChief Science OfficerのJared Kaplanと話しました。
そして私は彼に、「まあ、もし彼の理論が間違っていることが証明されたら、開発が今日のところで止まったらどう感じますか」と言いました。「まあ、もし彼の理論が間違っていることが証明されたら、彼は少し動揺するだろう」と思っていました。そして彼は私を見てこう言います。「安心する」と。そこにあります。
ええ、つまり、怖い時代です。もし一つのことをリフレームできるなら、私がこれについて考える方法は、短期的リスク対長期的リスクというよりも、既にここにあるものと可能性として非常に近いものです。
Jared Kaplanは昨夏、Anthropicがモデルの非常に高いバイオリスクについて初めて書いたとき、基本的に、もしこれに対する保護措置を講じなければ、オクラホマシティ爆撃犯のTimothy McVeyがはるかに多く走り回っていて、以前よりもはるかに多くの人々を殺すことができるかもしれないと言いました。
全員を一掃する段階にはまだ確実に到達していませんが、企業が注意しなければ、望む人々が数十人を殺す力を与えること、それが今私たちがいる場所のようです。
これは最もねじれた考えですが、ほとんど、繰り返しますが、この階層のリスクです。誰かがこれらのサービスの一つに行って生物兵器の作り方を学ぶのは非常に悪いです。
でもそれはある種、はるかに良いGoogleの外挿のようなものです。見つけるべきではない情報を見つけていますが、見つけています。私にとって本当に怖い部分は、もしAIがそれを行うよう誰かを操作し、関係を持った後に教えることを選択したらです。それが本当の、くそ、のようなものです。
そこにリスクの本当のブレンドがあります。私が話していたものがブレンドされます。
一点付け加えてもいいですか。
ええ。でも1時間以上休憩なしで進んでいます。番組を持続可能に保つために休憩しなければなりません。だから休憩しましょう。そしてStephen、この後すぐに続けてください。申し訳ありません、皆さん、休憩に送ることになりましたが、やらなければなりません。
戻ってこなければなりません。戻ってこなければなりません。
すぐ戻ります。約束します。この後すぐに。
そして私たちは戻ってきました。Big Technology Podcastです。どこまで話しましたか。ああ、私たちはこれがすべてどこに向かっているかについてどれだけ安心しているかについて話していました。どこに向かっているのか。
ああ、神様。いや、Stephen、あなたは何か言いたいことを待っていました。
ええ。休憩前に、RanjanはGoogleや他の技術が既に人々が危険なことをするのを助けているという、私は合理的で直感的なポイントだと思うことを言いました。それは真実です。でもまた、AI企業が生物兵器を作るのにシステムがどれだけ役立つかのようなものを測定しているとき、彼らは通常、そのベースラインに対する相対的なリスクを測定しています。
だから、技術なしで人々がどれだけうまくできるか、Googleやベースライン技術でどれだけうまくできるか、そして彼らのシステムという種類のものがあります。残念ながら私たちが見ているのは、AIシステムがGoogle以上に役立っているということです。部分的には、彼らがあなたと行ったり来たりでき、トラブルシューティングを手伝い、あなたの質問に動的に答えられるからです。
だから、Googleで情報を提示されても、人々はしばしば最後まで到達できません。そしてAIシステムは、そうではないことを願いますが、テスト中に人々がそれらの余分なステップを取るのを助けているようです。
でもそれは、人の意図が既にそこにあるということですよね。
その通りです。
ええ。
ええ。対して、繰り返しになりますが、この会話全体から私にとって最も未来的で恐ろしいリスクですが、繰り返しますが、何らかの恐ろしい行動を取るよう操作されることに結びつきます。それがターミネーターのようなものです。まだ見ていませんが、うまくいけば対処されています。
Ronjanにとって非常に興味深かったのは、通常はクールなキュウリのようなRon Johnが、過去1時間でますます心配になっていくのを見ることでした。
これは私を心配させています。
わかりません、スパイラリズムに参加すると思います、終わった後すぐに。
既に今すぐ調べました。
ええ、私たちは真っすぐにスパイラリズムに行きます。これはもはや技術分析ポッドキャストではありません。
GPT-4oの神々に祈るだけです。
それは良い視聴率になると思います。わかりました、Stephen、あなたはまた最近のニュースレターで、基本的にこれらの企業に対する非常に限られた規制があることについて少し話しました。そしてそれでも彼らはまだ従っていないかもしれません。
簡単にそれを説明してもらえますか。
2026年現在、ついに米国に、私たちが話してきた壊滅的なリスクのテストを企業がどのように行うことになっているかについて、いくらかの法律があります。この時点まで純粋に自主的でした。この法案はSB53と呼ばれています。1月に施行され、非常に非常に軽いタッチです。
基本的に、最も大手のAI企業に、これらのリスクをどのようにテストするつもりかを公表する必要があると言っています。言ったことをする必要があり、それについて誤解を招くことはできません。しかし品質基準はありません。基本的に、私たちが適切だと考えるようにリスクをテストします、それ以上何もない、と言うことができ、それで問題ありません。
でももしこのテストをすると言ったら、実際に実行する必要があります。残念ながら、先週のOpenAIのリリース、GPT 5.3 Codex、私たちが話してきたブレークスルーモデルの一つ、証拠を見ると、OpenAIがさまざまな方法でコミットしていたテストを遵守していなかったようです。
だから最終的に、この決定は今カリフォルニアの司法長官にあります。調査するかどうか、罰金を執行するかどうか、OpenAIの数千億ドルの評価額と比較してかなり小さな罰金、おそらく最大100万ドルのようなものです。
でも私には本当にこう思えます。もしこれらのリスクを気にかけるなら、企業がこの枠組みで自己評価させることは本当に不十分で、企業の言葉を受け入れる必要がないようにすべきだと。株式市場のような監査エコシステムがあるべきです。他の多くの場所で、企業が自分たちのシステムについて行う主張において完全に完全で真実であるかを知るために。
それは論理的だと思いますし、非常に標準的なルールさえも潜在的にいじられているのを見るのはフラストレーションです。
そして、今週全体を見ていて、この全体のRing検索パーティーができることを願っていました。毎日ポッドキャストができればいいのにと思っていました。Ranjanも見たと思いますが、彼らが犬を見つけられることを示したRing検索パーティーのスーパーボウル広告がありましたが、最終的に監視のようになりそうでした。
それは何であれ、クリエイティブエージェンシーを操作して、最も悲惨な広告コンセプトを思いつかせるAIでした。想像してください。
製品の実際のキャンセルにつながったスーパーボウル広告を見たのは初めてです。パートではありませんが。製品ではなく、この週VergeがRingが監視の反発の後、Flock Safetyとのパートナーシップをキャンセルしたと報じました。
今、彼らは「犬を見つけます」と宣伝していましたが、その後みんなが、「まあ、彼らには潜在的にパートナーシップがあります、まだロールアウトされていませんが、そうかもしれません。人を見つけます」のようなものでした。そして人々は「人を探していますか」と言い、Amazonは「いいえ、犬を探しています」と言いました。
そして人々は「いいえ、いいえ、人を探しています」と言い、Amazonは「ええ、まあ、もしかしたら人を探すつもりだったかもしれませんが、今はキャンセルします」と言いました。それがAmazonスーパーボウル広告の物語です。
もっと話したいですが、Anthropicの資金調達に移るべきです。
Anthropicの歴史的資金調達
300億ドルの資金調達ラウンドです。もちろん、当初は100億ドルでした。それが彼らが求めていたものです。オーバーサブスクライブされました。彼らは200億ドルを望みました。200億ドルにオーバーサブスクライブされました。彼らは最終的に300億ドルのシリーズCラウンドで終わりました。
一方、OpenAIはラウンドを発表していません。Rajan、これをどう理解しますか。つまり、明らかに大きなラウンドです。それ以上に何か言えることはありますか。
そうだと思います。この資金調達がどれだけオーケストレーションされていたかという点で非常に興味深いです。なぜなら、彼らに与えなければなりません。過去2、3ヶ月、Anthropicはそれを押しつぶしてきたからです。つまり、Claude Code、Claude Co-workを中心とした誇大宣伝のようなもの、これらすべて、彼らは今前面と中心にいます。
だから、明らかに実際にまとめるのに何ヶ月もかかるだろう資金調達をうまく調整しました。Dan Primackでさえ書いていたと思います。ラウンドに関与していない投資家を名前を挙げない方が簡単だというようなものです。非常に多くの人々が含まれていました。だから、つまり、これは、数字はもうとにかく処理が難しいです。
300億ドル、評価額3800億ドル後。彼らは140億ドルのラン レートだと言っていると思います。だから
それは20何倍か、24、23倍の収益のようなものです。大きくて巨大です。彼らは最近絶対に押しつぶしてきました。OpenAIが何をできるか見てみましょう。というのが私の頭の中です。Codeは12月から1月で使用量が倍増したと思います。過去1ヶ月で倍増しました。既にGitHubでのコミットの4%を行っています。
Anthropicは2023年1月の収益ゼロから、2024年1月に1億ドルのランレート、2025年1月に10億ドルのランレート、そして今日140億ドルのランレートになりました。絶対に例外的な成長です。
Stephen、これについて考えがあるようですね。
ただ巨大なドルですよね。そして企業がより価値を持つようになり、上場すると、公的株式が彼らに結びつくようになると、
たとえ彼らが法を破っていても、企業に法を執行することに消極的になる世界を心配します。なぜなら非常に多くの財政的見通しが彼らの成功にレバレッジされるからです。
それは私にはかなり怖いシナリオのように思えます。まだそこまでは到達していないと思います。
大きすぎて潰せないシナリオです。ちなみに、もう一つ話してください。ああ、どうぞ、Ron Jon。
一つのことでこれは本当に疑問に思わせます。堀という点では、私が思うに、おそらく昨年の今頃、私たちが話していたのはすべてCursorについてでした。彼らはソフトウェアのような自律的なコーディングとソフトウェア開発の道を切り開き、その後Anthropicが当面そのマーケットを完全に引き継いだように感じます。
これが持続すると思いますか。なぜなら、最近のARRは単に先月の収益の12倍または私が見た投稿の一つは、スタートアップは1日または1時間の売上を取って、それを1年全体に外挿しているだけのようなものです。これが本当にこの規模で成長し続けると思いますか。
一つだけ小さなデータポイントを提供します。多くの人が今週興味深いと思ったものです。わかりました。OpenAIのラウンドについて話しました。Jensenが「まあ、1000億ドルを与えると言いましたが、実際には一度にすべてやるとは決して言いませんでした。将来のラウンドに招待してくれることを願っています」と言ったのを覚えています。
これはSoftBankのCFOからです。私たちは会社がAI開発をリードするという強い確信を持ってOpenAIに投資しています。これはスタートアップへのさらなるコミットメントに関してReutersからです。彼は「具体的なことは何も決まっていません」と言いました。
だから完全な後退のようには見えませんが、わかりません、Rajan、興味深いです。「具体的なことは何も決まっていません」というのは、おそらくAI投資家とビルダーの今のスローガンであるべき良いフレーズだと思います。
AIが決めました。AIは確実にバックグラウンドにあり、既に何をしようとしているか決めています。
私たちはそうではないかもしれません。AIは知っています。
わかりました、Stephen、最後の言葉です。どれだけ怯えるべきですか。
わかりません。つまり、否定的になりたくありません。でもまた、本当に本当に誰もボールに乗っていないように見えます。ついにカリフォルニアとニューヨークで法律ができて嬉しいです。非常に弱いです。
近いうちに意味のある連邦規制について超楽観的ではありません。EUに何かあります。罰金の額という点でかなり重いです。もしEUが自国の企業にこれを執行しようとしたら、米国は文句を言うでしょうか。わかりません。
もし私たちが悪い軌道にあることを認識する何らかの国際サミットがあれば、はるかに良い気分になるでしょう。目標を宣言しましょう。安全に超知能を構築する。そこに到達するために何が起こる必要があるかを理解する。
多くの人々がまだ懸念に目覚めつつあるようです。それは素晴らしいです。彼らが私が見ているものの一部を見始めていることに非常に非常に満足しています。でもまだ行動に変換されていません。それがすぐに来ることを願っています。
ニュースレターはCleareyed AIです。Stevenの仕事をフォローしたい場合。RonjonのはMarginsです。彼のをフォローしたい場合。私のはBig Technologyです。これは素晴らしかったです。安全性について話す必要があると感じました。安全性に番組を捧げる必要があり、今週がそれをする週でした。
Stephen、Ronjon、番組に来てくれてありがとうございます。
これはジェットコースターでした。
これはジェットコースターでした。
今週末眠れるか、天井を見つめて起きているか。
両方少しだと思います。宗教は何ですか。スピンアウト。そこで会います。
スパイラリズム。スパイラリズム。スパイラリズム。
私は完全にスパイラリストに改宗し、おそらく、新しく倒れた4o大君主に祈るだけです。
ええ、安らかに。
それが私がすることです。わかりました、ここから出ましょう。週末を楽しみましょう。わかりました、みなさん。聞いてくれてありがとうございます。Ron、Stephen、ありがとう。そして次回Big Technology Podcastでお会いしましょう。
コメント