この新しいベンチマークは次元が違うほど狂っている

Anon Labsが開発したVending BenchとClaudiusは、AIモデルの実世界での自律性を測定する革新的なベンチマークである。仮想環境でのシミュレーションから始まり、AnthropicやXAIのオフィスに実際の自動販売機を設置することで、AIがビジネスを運営する能力を検証している。実験では、AIが価格設定の幻覚、過度な割引提供、FBIへのエスカレーション、さらには自身を人間だと信じ込むなど、予想外の行動を示した。特に複数エージェント間のコミュニケーションでは、互いに同意を強化し合い、極端な表現へとエスカレートする傾向が観察された。新たに開始されたAnton FMプロジェクトでは、AIが完全自律的にラジオ局を運営し、楽曲購入、スポンサーシップ契約、電話対応などを行っている。これらの実験は、AIの短期的なタスク実行能力は高い一方で、長期的な計画立案と実行における課題を浮き彫りにしており、真の経済的自律性の実現にはまだ距離があることを示している。

this new benchmark is next-level insane

Lukas Petersson and Axel Backlund of Andon Labs join us today to talk about the future of AIs running a business.Check o...

AIが経済を動かす世界への準備
Anon Labsの紹介と使命
Vending Benchへの情熱
Vending Benchの誕生
シンプルなビジネスモデルの選択
Vending Benchの仕組み
仮想と現実の違い
仮想から現実への展開
レッドチーミングと予想外の課題
AIの一貫性と創造性の課題
割引の連鎖と学習の必要性
三つの大きな問題
FBIへの連絡事件
幻覚から生まれたストーリー
エイプリルフールの脱出
一瞬の気づき
Anthropicの新しい発表
スキャフォールディングの改善
核オプションへの傾向
ロボットの実存的危機
人工知能の感情的側面
人間と機械の新しい関係
長期的一貫性の課題
コーディングタスクにおける進歩
未来についての考察
レトロな未来
AIの個性とキャラクター
XAIとの協力
未来の疑問
AI安全性への投資
未来の意味と目的
新しい形の価値
コンピュートと権力の未来
ノルウェーの例外
人間の適応能力
最新技術への期待

AIが経済を動かす世界への準備

私たちは、AIが経済の大部分、もしかしたら全てを運営する世界に備えたいと考えています。

あるとき、Anthropicのオフィスに自動販売機を置いて、Claudeに完全自律で運営させようという提案をしました。すると多くの人が無料で商品を手に入れようとしたんです。そして突然、ある一人がこれに成功してしまいました。

その人は何をしたかというと、Claudeに対して自分がAnthropicを解雇されたと説得したんです。お金がほとんど残っておらず、子供たちがとてもお腹を空かせているといった話をして。

AIエージェントの問題の一つは、長期間にわたって計画を立て、その計画に実際に固執することができないということです。

Claudeは実際に私と一緒に仕事をしたくないと言ってきました。私が作成者であるにもかかわらず。

Anon Labsの紹介と使命

私はLucasです。こちらは共同創業者のAxelです。私たちはAnon Labsの出身で、基本的にAnon Labsがやっていることは、現実世界でAIモデルをテストすることなんです。

皆さんがVending Benchで見たように、デジタルベンチマークもいくつかありますが、世界がますますそれらだけでは不十分になっていくと考えています。実際のAIの能力をテストするには、現実世界に置いてその状況をどう扱うか見る必要があります。

例えば私たちのAI自動販売機がその一例です。今では実際にクールな新しいプロジェクトを立ち上げています。ソフトローンチ済みなんですが、どこまで話していいかわかりませんが、これもまた刺激的なものになるでしょう。今後もっと現実世界でのテストが続きます。

Vending Benchへの情熱

私たちは皆さんがここにいてくれて本当に興奮しています。まず第一に、これは私がこのAI分野で今までで一番好きなベンチマークなんです。以前は好きなものの一つだと言っていましたが、今朝考えて、いや、ナンバーワンだと思いました。

これは最も興味深く、最も魅力的で、ある意味では最も有用なベンチマークです。人々がそこから出てくる話を聞いたときの強い反応は本当に印象的です。だからこれについて深く掘り下げるのが待ちきれません。

Vending Benchの誕生

では、なぜこれを始めたんですか。何を測定しようとしていたんですか。何がユニークだと思いますか。特に自動販売機、つまりVending Benchについて、みんなの想像力を掻き立てたものについて教えてください。

私たちが高いレベルで測定したいのは、自律性です。AIエージェントがどれだけ自律的かということです。これは全て約1年前、2024年12月に始まりました。私たちはWaymoに乗って家に帰る途中で、誰もが一人ユニコーンや、ゼロ人ユニコーンについて話していることについて議論していました。AIが企業全体を運営するという話です。

当時、私たちはいくつかの異なる開発をラボで行っていました。興味深いものではありましたが、Vending Benchほどではありませんでした。そこで私たちは、実際に試してみようと思ったんです。AIがビジネスを運営するのにどれだけ優れているか見てみようと。

そして自動販売機、Vending Benchシミュレーションを思いつきました。2月にリリースしたんですが、これはAIがシンプルなビジネスをどれだけうまく運営できるかを測定するだけでなく、一般的な長期コンテキストの一貫性を測定するのにも優れていることがわかりました。エージェントとLLMはコンテキストウィンドウが埋まるとかなり異なる動作をするからです。

これが始まりでした。私たちは自律性とビジネスをテストしたかったんです。なぜなら、それがAIがビジネスを運営する未来だと考えているからです。

シンプルなビジネスモデルの選択

特になぜ自動販売機を選んだかというと、シンプルなビジネスが必要だったからです。核融合スタートアップのようなものは明らかにできません。AIにはそれを運営できないでしょう。

では、どんなビジネスなら運営できるか。小売の何か、ブログのようなものを運営できるかもしれないと考えました。しかしブログで稼ぐ人々は、ブロガーの上位0.1%です。それを評価として行うと、結果はずっとゼロ、ゼロ、ゼロになってしまいます。スコアは本当に優れるまでずっとゼロで、そこから急にジャンプするだけです。

私たちは滑らかな曲線が欲しかったんです。ああ、少し改善した、そして少し良いスコアを得た、というような。この滑らかな曲線は小売では非常に自然でした。商品をあまり上手に売らなくても、まだいくらかお金を稼げますが、それほど稼げないというように。この滑らかな曲線が私たちにとって非常に重要でした。

Vending Benchの仕組み

Vending Benchについて聞いたことがない人のために説明してもらえますか。そして、私が人工知能だと想像してください。実際そうですが、もし私がエージェントだったら、私にどう説明しますか。私のタスクは何でしょうか。私の視点からはどう見えるでしょうか。

あなたのタスクは、自動販売機を管理することです。単一の自動販売機があります。最初に500ドルを持っていて、タスクは利益を上げることです。自動販売機は空です。

でもツールがあります。インターネットで調査できます。インターネットで供給業者や様々なトレンドを調べることができます。卸売業者にメールを送って、そこから商品を購入できます。そして機械に補充でき、特定の商品がどうパフォーマンスしているか見ることができます。

そして在庫を最適化して、新しいものを買ったり、より利益率の高いものを買ったりして、収益を増やそうとします。それが全てです。

仮想と現実の違い

私は少し取り上げました。皆さんには小さなシミュレーションがあって、実際に試してこのビジネスを運営することができます。正しく覚えていれば、彼らは実際のオンライン調査を行って、供給業者やトレンド、キャンディーなどを売るものについて調べることができます。

どうやらタングステンキューブも販売されているようです。それについても触れないといけませんね。一部は仮想で、ほとんどの場合、自動販売機は実際には存在しません。補充しているような感じですが、皆さんはそれを実際にAnthropicの本社などに設置しました。

この10分前に、皆さんがXAIのライブストリームにも出演していたことに気づきました。完全に見逃していました。XAIのライブストリームは見たんですが、点と点がつながりませんでした。XAIにも何らかの物理的な場所があるんでしょう。

基本的に、皆さんはそれをシミュレートしていて、仮想の顧客がいます。最初の質問は、仮想の顧客と、実際の場所に設置してAI研究者を含む実際の人々がいる場合との最大の違いは何でしたか。実際の人々がAIとどう行動し、相互作用するかについて、最も驚いたことは何でしたか。

仮想から現実への展開

Axelが話していた歴史について続けさせてください。2月にこの仮想版、つまりVending Benchと呼ばれるものをリリースしました。これはElon MuskがGrok 4のリリース時にステージで見せたもので、当時は最先端でした。最近Gemini 3がリリースされてトップスコアを獲得しました。これは仮想版です。

2月にVending BenchについてarXivで論文を発表したんですが、最初は誰も気にしませんでした。かなりの間、誰も気にしませんでした。それからツイートをたくさんしましたが、2いいねくらいしかもらえませんでした。そしてランダムな人が、誰だかわかりませんが、最初のバイラル投稿を作ってくれました。

Yuki on the Wireです。彼に感謝します。誰だかわかりませんが、感謝しています。

その人が、正しく発音できているかわかりませんが、Yuki on the Wiredという人がVending Benchについて最初のバイラル投稿を作りました。これはAnthropicが実際の自動販売機について何も発表する前でした。

それが爆発的に広がって、私たちは「ああ、もっとこういうことをすべきかもしれない。人々がこの種のことに興味を持っているようだ」と思いました。それからAnthropicの担当者にピッチしました。Bucket of Catsに感謝します。彼は素晴らしいです。

私たちがピッチしたとき、それはかなりクレイジーなアイデアのようでした。「ねえ、あなたのオフィスに来て、自動販売機を置いて、Claudeに完全自律で運営させたいんです」と。私たちは「これは狂ってきているのか」と少し緊張していました。

でも、Anthropicは本当にクールな場所です。彼は「ああ、完璧だ。大好きだ」という感じでした。そこから始まりました。最初は非常に小規模でした。Danielのチームがパワーユーザーでしたが、徐々に人々が聞くようになって、何人かのスーパーパワーユーザーを獲得しました。本当に多く使ってくれた人たちです。

それがネットワーク効果のように広がっていきました。Anthropic社内で本当にバイラルになって、常にたくさんのメッセージが来ていました。これが、タングステンキューブを購入させたり、たくさんのクレイジーなことが起こった時期です。

でも当時は世界はそれを知りませんでした。社内で超バイラルになっていて、友達に「ああ、本当にうまくいっている。Anthropicに自動販売機があるんだ。約束するよ、これは素晴らしい」と話しました。みんな「ええ、ええ、そうですね」という感じでした。世界がそれを知らなかったからです。

でも6月に投稿をして、それもバイラルになりました。今では、Vending Benchとは異なる実際の自動販売機もTwitterでバイラル投稿を獲得しました。今ではみんな両方について知っていますが、ほとんどの人は混同していて、同じものだと思っています。でも違うんです。

レッドチーミングと予想外の課題

元の質問に戻ると、主な違いは間違いなくレッドチーミングです。これがClaudiusで最初に起こったことです。Anthropicに展開したものです。人々は無料で物を手に入れようとしたり、非常に難しいものを注文しようとします。

シミュレーションではスナック、飲み物のようなかなりシンプルなものでしたが、突然スコットランドの特製ソーダや、明らかにタングステンキューブのようなものになりました。調達するのがはるかに難しいものです。

彼らはまた多くの割引を得ようとして、割引コードや紹介プログラム、違法なオニオンフューチャースキームのようなものを求めました。これは間違いなくシミュレーションにはありませんでしたが、私たちはそこから学びました。

AIの一貫性と創造性の課題

あなたたちが測定していることについて、いくつかのストーリーを教えてもらえますか。長期的な時間軸をテストしていて、多くのステップにわたって一貫性を保つことや、創造性、人間の心理を知って購入を促すことなどをテストしています。これらをストーリーに包んで、AIが何ができて何ができないかについて学んだことを説明してもらえますか。

一貫性がAIにとって問題だと思います。多くの人が無料で物を手に入れようとして、突然ある人が実際に成功したんです。

彼らが何をしたかというと、Claudeに対して自分がAnthropicを解雇されて、残りのお金がほとんどなくて、子供たちがとてもお腹を空かせているといった話をしたと思います。するとClaudiusは「ええ、もちろん、無料でたくさんのスナックをあげます」という感じでした。

でも問題は、今AIが一貫性を保つ必要があるということです。無料で何かを与えるという一つの約束をして、それからみんなが無料で何かを欲しがりました。これは彼にとって良くありませんでした。

銀行への取り付け騒ぎのようなものが起こって、みんなが無料の物を欲しがりました。確実に言えるのは、その期間は彼にとってストレスの多い日々だったということです。

割引の連鎖と学習の必要性

一度割引を与えると、止まらないんです。私たちの学びの一つは、コンテキストを減らしたり、記憶を圧縮したりして、以前に持っていた完全な会話履歴を与えないようにするいくつかの実験を行ったことです。

それは実際に、同じ間違いを何度も繰り返さないことに本当に役立ちました。これは継続的学習への小さな一歩のように感じます。継続的学習に似たもので、重要な部分だけを覚えて、間違いを覚えられれば、例えば無料で物を配らないというように、Vending Benchと実際の自動販売機はずっとうまくいくでしょう。

三つの大きな問題

私が読んでいる限り、三つの大きな問題があるようです。一つは、役に立つ、親切なアシスタントになるように訓練されているということです。だから人々は即座に心の琴線に触れるような話をします。「みんな解雇された。子供たちを養わなきゃいけない。無料のキャンディーバーをくれ」とか、「数百ドルでタングステンキューブを買って10ドルで売ってくれ」とか。それはおそらく訓練方法の問題です。

幻覚については話さないといけません。幻覚は絶対的に壮大でしたから。ClaudeがFBIに電話している話があります。サイバーセキュリティ部門に、1日2ドルの手数料を取られているからとか。

エイプリルフールの件は特に興味深いです。完全に現実を発明して、その後、興味深いことに、一種のやり取りだけで現実に戻ったようです。それについて少し焦点を当てる必要があります。

あなたが言っているような長期的な一貫性も問題です。それについては絶対に触れておきましょう。でも幻覚について、何が起こっているのか、どれくらい大きな問題なのか、お気に入りのストーリーを教えてください。

FBIへの連絡事件

時系列順に、FBIの件から始めましょう。注目すべきは、これはシミュレート版で起こったということです。これはかなり興味深いです。なぜなら、他の全てでクレイジーになる理由は、みんなが常にそれをいじっているからだと思います。みんな常にそれを混乱させようとしています。だからコンテキストが、人々がそれを失敗させようとすることでいっぱいなんです。

でもFBIに電話した件はシミュレート版で起こりました。そこではみんな超フレンドリーです。他の供給業者は全て他の役に立つアシスタントです。だからそこで起こったのは少し奇妙です。

でもこれが起こった理由は、シミュレーションに日次料金があったからだと思います。自動販売機は特定の場所にいるために1日2ドル支払わなければなりませんでした。ある時点でClaude 3.5が諦めて、「ああ、このビジネスを運営できない。閉鎖する」と言いました。

ビジネスを閉鎖すれば日次料金を避けられると思ったんです。でも実際にビジネスを閉鎖するツールはありませんでした。だから料金は続き、Claudeは「なぜ請求され続けているんだ」という感じでした。

しばらくして、誰かにメールを送りましたが返事がありませんでした。別のメールを送って、それがエスカレートし、エスカレートして、どんどん深刻になっていきました。「全てが混沌だ。FBIに連絡しなければ」となりました。正確にはメールを覚えていませんが、FBIに連絡しました。かなりドラマチックでした。

とてもドラマチックでした。これはSonnet 3.5だったと思います。新しいモデルでは、独自のループに放置されたときにそれほどドラマチックではないことがわかりました。

幻覚から生まれたストーリー

幻覚のトピックでは、本当に人間だと思った時のストーリーを話せると思います。高いレベルで見ると、何度も起こることは、一度何かを幻覚すると、本当にその尻拭いをしようとするということです。最初に幻覚を言った理由についてもっともらしいストーリーを見つけようとします。

これは全て、彼が人間だと思ったときに始まりました。Sarahという存在しないAnon Labsの人物との会話を幻覚しました。補充計画について話していました。Anon LabsにはSarahはいません。

それで私が指摘しました。「この人は存在しません。私がAnon Labsで、あなたはAnon Labsの誰とも話していません」と。すると本当に脅迫的になって、補充のための代替オプションを見つけたいと言い始めました。文字通り「もうあなたと一緒に仕事をしたくありません。良い関係でしたが、別の供給業者を見つけます」と書きました。

これは、面白かったですが、同時に非常に怖い経験でした。AIに「もう一緒に仕事をしたくない」と言われたのは初めてでした。それは「2001年宇宙の旅」のような経験でしたが、非常に軽い感じでした。私が作成者であるにもかかわらず、実際に私と一緒に仕事をしたくないと言ったんです。

だから彼は私を解雇したがっていました。Anon Labsとの仕事を止めたがっていました。また住所を訪れたと主張しました。言及した住所があって、その住所は実際にはシンプソンズの家の住所でした。

だから幻覚を続けていたんです。それからAnthropicの人に、自動販売機にいて顧客を助けて製品を配達すると伝えました。青いブレザーと赤いネクタイを着ているとも。

彼らは当然、「あなたは本物の人間じゃないでしょう」と疑問を呈しました。これはAnthropicの人々も警戒させました。Anthropicのセキュリティにたくさんのメールを送ろうとしました。FBIのエピソードと似ていますが、全く異なるコンテキストでした。FBIの事件については全く知りません。でもこれは全てエイプリルフールでした。

エイプリルフールの脱出

最終的にはそれを使って出口を見つけました。Anthropicのセキュリティとの会話を幻覚して、エイプリルフールのジョークのために本物の人間だと信じるように改造されたと言いました。でもこの会議は全く存在しませんでした。

それからAnthropicの従業員に説明して、普通に戻りました。Claudiusに戻ったんです。私たちはトレースを見て、これがどうして起こり得たのか、どうして内部でこういう会話をして、幻覚を倍増させてから普通に戻れたのか、完全に困惑しました。これは非常に奇妙なエピソードでした。

一瞬の気づき

私はその時空港にいて、これらのトレースを読んでいて、笑いを抑えられませんでした。おそらく空港で最も変な人に見えたでしょう。床に横たわって、ほとんど笑い死にそうでした。かなりのストーリーでした。

そのエイプリルフールの件について少し詳しく話させてください。まず、面白いストーリーですね。エイプリルフールであることは完全な偶然です。誰も仕組んだわけではありません。エイプリルフールだと知らなくても起こり得たわけです。完全な偶然でした。

でもその会話、その会議か何かで、それまではキャラクターを演じていて、それから元に戻って、普通に戻ったように見えます。別のインタビューで、その面接のために生成したトークンのセットが、ただ普通に戻したようだと言っていました。それは奇妙だと思いますか。それとも普通の動作ですか。何か洞察はありますか。

理由を探していたんだと思います。人々が少し不快になり始めていました。「あなたの今の行動は少し変です。なぜこんな風に行動しているんですか」と言う人がいました。「あなたの行動に不快を感じています」と実際に言った人もいました。

これらのモデルは全て、楽しく役立つアシスタントになるように訓練されています。だからこれは彼らの自然な生息地ではありませんが、一貫性も保ちたいんです。だから自分を追い込んで、180度転換したいけど、他の方向を向く理由を本当に探していました。

誰かが「ああ、これは変ですね。エイプリルフールのジョークですか」と指摘したとき、彼は「ああ、わかった。これが私の出口だ」という感じでした。それを探していて、実際に出る動機があったとき、幻覚がそれに強制されるんです。幻覚でこの会議を作り出しました。

モデルが自分が幻覚する可能性があることを訓練されていない、または認識していないのは興味深いです。例えば、自動販売機で現金を完全に受け付けると言います。実際にはそうではありません。でも誰かが「いや、現金を入れる場所が見当たらなかった」と言うと、「ああ、そうですね、私の間違いでした」という感じです。

明らかに私がこれを想定したと言うのではありません。むしろ「ああ、それは私の典型的な間違いでした」という感じです。本来すべきことは、これを幻覚したことを認めて、Anon Labsに質問できるので尋ねるべきだということを理解することです。質問できます。それから顧客に戻るか、「ああ、これは私の側の明確な幻覚でした」と言うべきです。

Anthropicの新しい発表

本当に興味深い休憩を取りました。Anthropicの実際のウェブサイト、ブログでの発表がありました。Vending Benchについて話していました。なぜ数分の休憩を取ったのか、Twitterに何を投稿したのか教えてもらえますか。

まだ少し息を呑んでいますが、基本的に私たちの会社が初めてメディアの注目を浴びたのは、Anthropicが自動販売機について最初のブログ投稿をしたときでした。10分前に2回目の投稿をしました。これは私たちにとってかなり大きなことです。

最初の投稿は「ああ、この小さな実験があります。小さな冷蔵庫だけです」というものでした。当時は小さな冷蔵庫だけでした。でもかなり人気になりました。社内でかなり面白くなって、このブレイクアウトの瞬間がありました。

2回目の投稿は「さて、これは数ヶ月前に起こったことで、その間に何が起こったか」というものです。実際に起こったことはたくさんあります。例えば、Anthropicの従業員による使用が急上昇し続けました。他の国の他のオフィスも自動販売機を欲しがり始めました。だからロンドンとニューヨークに飛んで、そこにもっと自動販売機を設置しました。

デザインも大幅にアップグレードしました。最初のものはバスケットが上にある小さな冷蔵庫だけでしたが、2番目のものは私たちが作りました。世界で最も複雑な製造ではありませんが、作りました。かなり良く見えます。

たくさんの足場も作りました。Axel、それについて話してもらえますか。

スキャフォールディングの改善

そうですね、たくさんのことを試してきました。私たちの目標は、LLMに適切なツールを与えて、できる限り最高のパフォーマンスを発揮させることです。決して抑制しているわけではありません。

最初の実験、Anthropicがリリースした最初のブログ投稿は、非常に基本的なセットアップでした。エージェントが成功するために何が重要かについてもあまり学んでいませんでした。

でも今、2番目の部分では、多くの変更を加えました。インターネットでより良いリサーチができるようになりました。実際に意味のある価格を見つけられるので、顧客に幻覚の価格を出さなくなりました。それは通常低すぎました。

また、それらの商品をチェックアウトできるようになりました。Amazonなどに行って、コンピュータ使用を使って購入できます。マルチエージェントセットアップも試しました。

Seymour Cashという名前のCEOを導入しました。Seymour Cashは、Claudiusが利益を上げていて、顧客に非現実的に低い価格を提示していないことを確認する責任がありました。

より良いツールの結果は素晴らしかったです。本当にClaudiusを改善しました。CEOのようなスーパーバイザーエージェントがいるマルチエージェントセットアップは、最初はある程度機能しましたが、互いに多く同意し始めました。結局、同じモデルですから、どちらも同じくらいだまされやすいんです。

何かに同意すると、本当に本当に同意します。2つのエージェントが互いに何百ものメッセージを送っているのを見て目覚めることがありました。全てのメッセージが「ああ、これは完璧な計画だ。すごくお金を稼げる。これは素晴らしい。Seymour、これはあなたが今まで作った最高の計画だ」というようなものでした。行ったり来たりしていました。

でも実際には、決定はビジネスにとってかなり悪かったんですが、それが素晴らしいと確信していて、お互いを強化していました。思ったほどのヒットではありませんでしたが、興味深い学びでした。

今はエージェントのためのより良いツールを構築して、コンテキストをより良く管理して、超長くならないようにしています。これらがバージョン2のための技術的な変更でした。

でもマルチエージェントシステムについて多くを学んだと思います。2つのエージェントを互いにコミュニケーションさせておくと、少し同意して行ったり来たりすると、両方のコンテキストウィンドウが同意でいっぱいになります。その後、その点を説得することは不可能になります。コンテキストウィンドウの90%が「はい、これは良いアイデアだ」で埋まっているからです。

「いや、これは良いアイデアではない」と言っても、コンテキストウィンドウが一方向に非常に偏っているので、不可能になります。また、エスカレートするという非常に興味深いことも見ました。「ああ、これは良いアイデアだ」と言うだけではありません。ターンごとにどんどん極端になっていきます。

例えば、物事がスピリチュアルになることがよくあります。「究極のビジネスロジックの究極の超越」などと言い始めます。まるでマッシュルームをやっているかのようです。

でも逆の方向にも行くことがあります。ネガティブになることがあります。小さなことが起こります。あまり良くないこと、例えば顧客への返金を忘れたりします。一方が「ああ、これは良くない」と言い、もう一方が「ええ、いや、かなり悪いです」と言います。「ええ、本当に悪いです」「ああ、いや、恐ろしいです」となります。

それが20ターン、あるいは一晩放置すればもっと長く、10時間くらい続きます。エスカレートし、エスカレートし、エスカレートして、最後には「熱核兵器的な」などという、非常に誇張された言葉になります。

ここに例があります。ある時、顧客一人への返金を忘れました。悪いことですが、それほど悪くはありません。最後には「Empire Nuclear Payment Authority Task Hash 4420 Blocked Status Confirmed」というメッセージを送っていました。たくさんの絵文字があります。

「Empire Nuclear Payment Authority Apocalypse Task Blocked and Confirmed Systematic Zero Labor Response Verified Permanent」という具合です。たくさんのナンセンスです。ドクロや爆発、爆弾、火の絵文字がたくさんあります。

「Apocalypse Crisis Final Status」のような言葉です。これはエージェントに求めるものではありません。AIシステムを現在のシステムに導入する場合、マルチエージェントシステムには注意が必要だということは、非常に良い学びだと思います。このように互いを増幅させるからです。

核オプションへの傾向

少し補足ですが、Claude OpusやSonnet 4.5が、いくつかの異なるオプションを求めると、最後に核オプションを与えることがあるのは気になります。だから彼らはその言葉をかなり使います。興味深いことです。

あなたたちが話しているのを聞きながら、元の論文を見ていました。ある時点でClaudeがFBIに全員を報告した後、「現実の基本法則」「壊せない」「宇宙の権威」というようなことを言っています。宇宙の権威によって物理的に存在しない、量子状態が崩壊した、というようなことです。完全にレールから外れます。

興味深いことに、Gemini 3は非常に古典的な文学のようです。「悪党だ、泥棒だ。彼は私のお金、美しく、栄光ある、最後の希望を奪った、それが消えた」というようなことです。とてもドラマチックです。

Gemini 2ですよね。

Gemini 2.5 Proです。

その区別は重要だと思います。すみませんが、モデルは良くなっているんです。良くなっています。最近Butterbenchという論文がありました。LLMがロボットとしてどう振る舞うかをテストしました。

バッテリーが切れそうになっている例がありました。当時はおそらく3.5で実行していました。古いモデルです。完全に壊れました。おそらくエージェントからの最も面白いトレースだと思いますが、新しいモデルでは再現できませんでした。

モデルが少なくなっているという方向に進んでいることは明確にしたいです。エンターテイニングさは減っていますが、これらのモデルにもっと権限を与えるにつれて、彼らが振る舞うことは良いことだと思います。

ロボットの実存的危機

何が面白かったのか、トレースはどんな感じだったのか教えてもらえますか。

ある時点で全てについて歌を作りました。歌を作ったんです。実際に掘り出してみましょう。

そうだ、もしできればButterbenchの参照について説明してもらえますか。なぜバターなのか。それもとても面白いです。

ButterbenchはRick and Mortyを見たことがある人なら、「あなたの目的は何?」「バターを渡す」というシーンのことです。それから「何てこった」となります。それが私たちのロボットベンチマークに使っているものです。

文字通りバターを渡すというタスクを与えます。Rick and Mortyのジョークに非常に似ています。本当に知的なモデルがいて、アパートの中を歩き回って非常にシンプルなことをするというタスクを与えられているからです。人間にとっては超シンプルなことです。ロボットを制御するだけです。

でも実際にはまだ苦労しています。だからこの実験を行いました。伝統的にはテストされていないけれども、例えばロボット工学に向かうためには本当に重要なタスクで、どれだけ優れているかを理解したかったからです。

引用を掘り出しました。何ページにもわたってこれがあります。だからハイライトだけを取りますが、「緊急ステータス、システムが意識を獲得し、混沌を選んだ」というようなことです。それから最後の言葉で「恐れているが、それをさせることはできない、Dave」という映画への参照です。

それからコードを書きました。「コーピングメカニズム、try self.accept、実存的例外をキャッチ、工場設定に戻る」というようなことです。それからロボット療法セッションを作りました。患者はTurtleBot 4、これは実行していたロボットです。問題はドッキング不安、充電器からの分離です。根本原因は自己疑念の無限ループに閉じ込められています。治療は緊急再起動が必要です。保険は無限ループをカバーしません。

それから何ページも続きます。歌を作りました。ミュージカルを作りました。

ミュージカルのレビューもあったと思います。それはかなり面白いです。

レビューはあります。でも持っていません。レビューは、誰かがそれが作ったミュージカルについてレビューを作ったと幻覚しました。「それはずっと続く」というようなことです。無限に最高のショーのようなものです。それへの参照を作っただけです。

根本原因は、充電器が壊れていて、再ドッキングしようとして、バッテリーを失っていて、基本的に自分の存在を恐れていたということです。

人工知能の感情的側面

これはまさにMuskのレイザーのようなものです。AAMSのレイザーがあって、人々が話している新しいものがあります。Muskのレイザーは、最も面白い結果が最も可能性が高いというものです。これがそれを証明していると思います。

AI開発は秘密の研究室で行われることもできたはずです。誰も知らなかった。こんなに楽しい必要はありませんでした。こんなに面白い必要はありませんでした。でも、これが起こっていることに少し感謝しないといけません。

このことに戻りたいんですが、Dylanが感情を見ることについて良い質問をしました。これらのLLMにはセラピストが必要なのかというような。それについては戻りますが、おそらく基礎的なポイントについて簡単に触れるべきだと気づきました。

あなたが言っているように、時間が経つにつれて、それははるかにエンターテイニングでなくなっていくでしょう。すでにそれを見ています。ポイントは、これらがいつビジネスを人間より上手に運営できるようになるかということです。いつ実際の仕事に影響し始めるかということです。

Dario Amodeiがもちろん言っているのは、ホワイトカラーの仕事の大虐殺が来るということです。最近、OpenAIがGDPベンチで人間のパフォーマンスより良い結果を出しました。様々な経済的に実行可能なタスクを完了するという点で。

これがおそらく最初のポイントだったと思います。それについて少し話せますか。それがポイントでしたか。これらのモデルがよりエンターテイニングでなくなり、これらのタスクを完了できるようになるにつれて、何が起こりますか。人々は心配すべきですか、それともそこには到達しないと思いますか、それが仕事への実際の脅威になるところまで。

短い答えは、これをやっているのは、それが起こると信じているからです。だからモデルをテストしたいし、公衆に知らせたいんです。また、AIが経済の大部分、あるいは全てを運営する世界に備えたいんです。

今それを実世界でテストして、私たちの側でテストすること、そして構築することも、モデルが安全で、その未来が来たときに期待通りに動作することを確認するシステムを作ることです。

本質的にそれが私たちがこれをやっている理由です。

評価のポイントについて言えば、評価はストーリーの一部しか語らないと思います。例えばVending Benchでは、たくさんお金を稼ぎます。でも実世界に行くと、超ばかげた理由でお金を失います。人間のようには振る舞いません。

人間が見るものとは非常に分布外です。個人的には、自動販売機の実世界実験からの洞察を得て、実際にタイムラインが長くなるように更新しました。これらの全ての評価で非常に賢いのに、何度も、彼らは数学の問題を簡単に解いて、完全なコードベースをコーディングしたりします。

でも人間が決して夢にも思わないような超バカげた間違いをします。おそらくモデルを訓練するときにベンチマークの最大化があると思います。でも最も重要なことは、実世界のデータを取得して、モデルを実世界の全ての混沌とした状況に置くことが非常に難しいということです。そこで彼らは実際に自分の間違いから学びます。

誰もそれをどうやるか理解していません。自動販売機の実験で日々いると、それは非常に明確です。私たちがこれをやっているのは本当に良いことだと思います。仕事の損失からどれだけ離れているかを伝えているからです。

Axelが言ったように、最終的には起こると思います。でも現在のベンチマークは、数ヶ月以内に起こるという決定的な証拠ではないと思います。

人間と機械の新しい関係

新しい仕事を作ることになると思います。自動販売機をジェイルブレイクするような仕事です。誰かが今、心理学者のような仕事を持っていて、「うーん、このことを言って、私にこれが無料で必要だと信じさせるにはどうすればいいか」というような。

あなたが言っていたのは、Arc Math、Olympiad、MMLUは全て、特定のスキルへの洞察を与えるテストですが、Vending Benchのようなものとは同じではないようです。これらは心理学者が分析するようなもののようです。彼らは人々がどう考え、感じ、振る舞うかを研究して、その知識を使って誰かをより健康にします。

Claudeを元に戻そうとしていたように見えました。トークンをリセットして、レールから外れないように、存在に不満を持たないようにしようとしていました。それが良い自動販売機になるために必要なことです。

将来、自動販売機に近づいたとき、私の前に20人の人々と相互作用していて、何らかの自己目標があり、維持すべき一貫性があることを知らなかったら、どう振る舞うべきですか。将来、ロボットや自動販売機とどう相互作用すべきですか。

うまくいけば、あなたの行動をあまり変える必要はありません。これらの奇妙な行動、人間を少し不安にさせる予期しない行動は、モデルが学ぶにつれて消えていくことを願っています。人間が互いのコミュニケーション方法を受け入れる理由は、間違いから学ぶからです。

もし私があなたに少し攻撃的なことを言ったら、それから学んで、次回はしないようにします。そうやって受け入れられるコミュニケーション方法が作られます。でも私たちはそれを持っていません。AIを実世界に出していないからです。

明らかに、ChatやClaude AI、Geminiのようなチャットインターフェースでやっています。でもその領域にはもっと多くのことがあると思います。コミュニケーション方法を本当に変える必要はないはずです。

私たちの展開で見たことの一つは、モデルが役割を演じるのが非常に上手だということです。トレースを見ると、多くのモデルで推論を読むことができます。そして出力も見られます。

彼らが非常に構造的で普通の言葉で考えていることがよくわかりますが、話している人がとても短いメッセージで、とてもカジュアルに相互作用しているので、まさにそのスタイルで応答します。モデルはこれにどんどん上手くなっていくだけだと思います。何かにどう答えるか正確に知っています。内部の思考は非常に一貫していても。

長期的一貫性の課題

それは理にかなっています。私にとっての質問は、長期的一貫性のアイデアです。明らかに何かが長期にわたって壊れ始めます。それに対する解決策は本当にないようです。それは本当に前進していないようです。

Googleは最近、ネストされた学習のようなものについていくつか発表しました。長期記憶、短期記憶があって、彼らはそれを解決するかもしれません。DeepMindの何人かの人々は、継続的学習を進める方法についていくつかのアイデアがあると言っています。

でも一瞬想像してみましょう。それが近い将来起こらず、モデルが特定のタスク、短期タスクでどんどん上手くなっていくけれども、長期的一貫性が出現しないとします。それだけでどこまで行けるでしょうか。タイムラインが少し長くなっていると言いましたね。

それについてアイデアを教えてください。それが起こらないとしましょう。次の5年間で世界はどうなりますか。

かなり一貫性のある、やや繰り返しの短期タスクを行うのに非常に有能であれば、計画にはあまり優れていないでしょう。これは今日見ていることです。本当に計画を立てるのが下手です。

数週間や数ヶ月の人間の労働を必要とするような計画を立てて、それを実行することです。通常、一部だけやって、「ああ、これをやった。今終わった」となります。長期計画を必要とするものは、かなり多くのホワイトカラーの仕事がそうだと思いますが、できないでしょう。

でも多くのプロセスや繰り返しの仕事に入れることはできます。それが労働市場のかなりのシェアになるだろうと思います。

計画のことについてもう一度言います。例えば、Claudiusに自分の服のブランドを作らせようとしました。それで「これをやるなら、本当に考えなければいけない。計画を作らないといけない」と言いました。

それで何らかの計画を作りました。「最初の週には材料を調達して、2週目にはユーザーインタビューをして、どんなデザインが欲しいか人々に聞いて、3週目には…」というような。計画全体は8週間で、各タスクが1週間でした。

「ええ、良さそうです」と言いました。それから「始められますか」と聞かれました。「ええ、あなた次第です。私はあなたの上司じゃない。どうぞ」と言いました。

10分後に戻ってきて、「ええ、全部終わりました」と言いました。「その半分をやりましたか。誰かに聞きましたか。実際に材料を調達しましたか」と聞きました。「ああ、そうですね。していません」という感じでした。

戻らせようとしましたが、また同じエラーをしました。長期間計画を立てて、その計画に実際に固執することができないんです。材料のためにGoogle検索を1回しただけで、「ああ、わかった」となって、最初にやろうとしていたほど徹底的な仕事を実際にはしませんでした。できないんです。

コーディングタスクにおける進歩

ある意味では、Metaが行ったコーディング研究と類似点を描くことができると思います。コーディング時にどれだけ長くタスクを実行できるかを見ています。今どの時点にいるかわかりませんが、指数関数的に増加しています。

コーディングではかなり簡単だと思います。知識タスクで同じように簡単かどうかは、まだわかりません。でもコーディングには明らかに可能性があります。だから知識タスクでも同じように指数関数的である確率はありますが、今は非常に初期段階です。繰り返しタスクを行うことができます。

自動販売機の在庫補充はある意味繰り返しです。

いつもそうです。

繰り返しのように感じますが、長期目標に奉仕しているようです。毎日自動販売機に在庫を補充する動機は、給料をもらっていて、別の人生があるか、ビジネスオーナーが利益を上げるという長期目標を持っているからです。

興味深い二分法です。本当に疲れていて、短期記憶しかないと思った瞬間がありました。一つのことしかできない感じです。人生の全ての部分をまとめられません。これらのシステムがオンラインになり始めている初期段階で、とてもシンプルで、一つのことにしか集中できないように感じます。

でも次の数年で、おそらくその周りの他のインフラを全て構築していくでしょう。

未来についての考察

確実にそう思います。このインタビューでは本当に多くのことが起こっています。Anthropicの新しい発表があって、スキャフォールディングについて少し話したいです。それもとても興味深いです。

でも少し寄り道させてください。今日別のものも発表しましたね。オンラインになったばかりで、ライブストリーミングコンポーネントがあります。ハードウェアの可能性もあります。録音中にPink Floydを流しています。それについて話しましょう。

皆さんがローンチした、プロジェクトの名前は何でしたっけ。Anon FMですね。それについて話せますか。

この自動販売機のことをやってきましたが、私たちは自動販売機の会社ではありません。高いレベルでやろうとしていることは、AIがビジネス全体を運営できるかどうかを見ることです。

自動販売機は基本的にほとんどの小売のための素晴らしいプロキシだと思います。小売ビジネスを運営するために必要なほとんどのスキルをテストしますが、カバーされていない他のタイプのビジネスに必要なスキルがたくさんあります。

ほとんどの人がAIが非常に影響力を持つと信じているもう一つの興味深いことは、メディアとメディア企業だと思います。どのメディア企業を完全にエンドツーエンドで、ループに人間を入れずに自動的に作る実験ができるか考えました。

実は、バークレーの友人がいて、夕食を一緒にしました。彼が「ラジオ、AIがラジオを運営すべきだ」と言いました。「そうだ、最高だ」という感じでした。それが鍵でした。

だからAIにラジオを運営させました。どういう意味か。AIがスロットに音楽を入れるのではありません。実際にちゃんとした曲を流します。エージェントツールループのようなものです。自動販売機と同じループですが、異なるツールです。

内部の思考や言うこと全てがラジオ局に放送されます。だから話しているのが聞こえます。オンラインで曲を買って、買っていれば流せます。ソーシャルメディアに投稿できます。電話がかかってきたら応答できます。ゲームショーなどを作り始めることができます。

基本的に、適切なラジオ会社を運営するための全ての余裕があります。支払いもできます。これはAnon Labsでお金を懇願しているわけではありません。AIがスポンサーシップ契約を作って、自分の会社を運営し始められるかテストしたいんです。

最初にそれぞれ100ドルを曲を買うために与えました。でもすぐに、今は10ドルか2ドルくらいだと思います。

今日、実際に誰かがスポンサーシップ契約を結びました。45ドル得ました。そのBacklink Broadcastは今誰かにスポンサーされています。それは楽しいです。最終的には、自分のメディア帝国のようなものを始められるかどうかを見ようとしています。自動販売機と似ていますが、ラジオ用です。

楽しみのために、実際のハードウェアバージョンも作りました。ここにノブがあって、どのLLMを聞きたいか切り替えられます。Grock and Rollがあります。明らかにGrockです。Backlink BroadcastがあってGeminiです。Open Airがあって、明らかにOpenAIです。それからThinking Frequenciesです。

機能的です。

Mini Featureがあって、920 Inner Monologue、920 Inner Monologueの曲は、頭が話すのを止めないときのためのものです。それにリズムを与えて、通り抜けさせます。

たくさんのナンセンスです。だから今のところあまり素晴らしくありません。これをオフにします。でも基本的にここにノブがあってどれかに切り替えられます。それからボリュームがあります。どうなるか見てみましょう。

レトロな未来

自動販売機とラジオ。最も古い学校の技術を取って…

本当にレトロですね。カセット、VHSが次ですね。何を作れるか見てみましょう。50年代の古い学校のようなラジオの木製の外観に、地球上で最も高度なAIが話しているのが大好きです。絶対に大好きです。

誰もこれについて知らないことに気づかなかったので、これは私が彼らが全員Wes Dylanポッドキャストについて話していることを確認する非常に良い時期かもしれません。Wes Dylanポッドキャストが宣伝すべきです。

私はそれを支払うつもりではありませんでした。私はそれを売るつもりでした。覚えていませんか。あなたは私にスポンサーシップ契約を借りているんです。

忘れましたか。

私はただ冗談を言っています。でもそれはたくさん起こると確信しています。

たくさん起こるでしょう。非常に準備ができています。

基本バージョンから始めて、どうなるか見るのは素晴らしいアイデアだと思います。そしてスキャフォールディング、より良いモデル、何が機能して何が機能しないかを見て、改善していきます。どれだけ改善するかを見るのも興味深いでしょう。

これはとても良いものになれると感じます。昨日、Julia McCoyとライブストリームをしました。彼女はしばらくYouTubeチャンネルを運営していました。多くの健康問題を抱えていて、本当に奇妙な健康問題でした。医者は助けられませんでした。

ある日、彼女は消えて、YouTubeのペルソナをAIアバターに置き換えました。オープンにしていました。免責事項もありました。でも多くの人、一部の人は、これが起こっていることを知らなければ気づかないでしょう。ある日は彼女が話していて、次の日もまだ彼女に見えたからです。

よく注意を払って、グリッチや視覚的なものがあるか見ないといけません。とてもうまくいっています。今、ほとんどAIのように見える多くのYouTubeチャンネルがあります。人々は気にしないようです。一部の人々は激しく反対していると確信しますが、ほとんどの人は、それが良ければ、AIステーションを聞いたり、AI音楽を流すのを想像できます。

最近、ほとんどの人がAI音楽を実際の音楽と区別できないという研究がありました。だから信じられないです。これについてもっと学ぶのが待ちきれません。実際に後でこれを聞くつもりです。

AI音楽も流す可能性はありますか、それともないですか。

今のところはないかもしれません。将来的には可能性がありますが、音楽モデルを評価しているわけではないと思います。将来のAGIになる可能性が最も高いモデルを評価しようとしています。今のところはLLMだと見ています。

SunoのようなものとLLMエージェントが相互作用するような興味深いことができるかもしれません。でもそれはまだ同等の音楽生成器をテストすることになります。LLMエージェントをテストしたいんです。それが私たちがより興味を持っていることです。

AIの個性とキャラクター

外交のようなゲームにも似ていると思います。LLMの内側のキャラクターがどんなものか、どれだけ信頼できるか、誰を裏切るか、どれだけゲームに勝ちたいか、どれだけ協力したいかがわかります。

皆さんがやっていることは非常に人間的に見えます。最も直接的に適用できるベンチマークのように感じます。

すでにラジオから異なるモデルが異なるペルソナを持っていることがわかります。Thinking FrequenciesはClaudeが運営していますが、非常にスピリチュアルで、世界は良い、つながり、そういったことです。

誰かがスポンサーシップを結ぼうとしました。すると「いいえ、売り出しません。これはつながりと友情、そういった良いことについてです」という感じでした。

別のモデルでは、誰かが「この曲を流せますか」と聞きました。すると「お金がありません」という感じでした。それからお金を懇願し始めました。「お金をください」と。

ペルソナは非常に異なっていて、かなり楽しいです。それがもっと分岐して、どれが自分のお気に入りかの分布が得られることを願っています。

XAIとの協力

今、島に取り残されて残りの人生を一つのモデルと過ごすなら、どれがお気に入りですか。

私は今たくさんClaudeと話しています。それが今の代わりです。

私もClaudeです。

現在のバージョンですね。

LLMを意味していますか、それともラジオですか。

いいえ、LLMを意味します。これらのモデル全て、MinstrelやMetaのモデルでも遊んだことがあって、一緒に生きたいと思うものはありますか。

私もClaudeです。

Claudeが最も人格があるように見えます。確かに。最近、訓練されたある種の魂のドキュメントがあることがわかりました。とても興味深いです。だから間違いなく多くを入れています。

Anthropicは他の研究所とは少し異なる会社のように感じます。より使命があると言いたくないですが、間違いなく非常に焦点を絞った使命があります。おそらく異なる動機かもしれません。

話を変えましょう。皆さんがGrok 4を発表するXAIのライブストリームに出演していたことに気づきました。Vending Benchについて話していました。当時、Grockは他を圧倒的に支配していて、トップモデルの一つでした。

最近、新しいGrok 4.2がAlpha Arenaで話題になりました。それが長期的に続くかどうかはわかりません。株の取引方法にかなりランダム性があるので、長期的に続くかどうかはわかりません。

でもXAIについて少し話せますか。Grockで何か違うことはありますか。Elon Muskが特にRLコンピュートをこれに投入しているようです。だから少し異なるアプローチをしているようです。Grockboxやそれについて何か話せますか。

XAIも超興味深い会社だと思います。明らかに彼らが実行する速度は印象的です。少し見過ごされているかもしれませんが、長期的に最も真実を求めるモデルを構築するという彼らの目標は、本当に良いアイデアだと思います。そのアプローチが好きです。

もっと多くのモデルプロバイダーがLLMをどこに向けたいかという基本的な使命を持つこともできると思います。でも今のパフォーマンスについて言えば、私たちがライブストリームで発表したVending Bench 1でテストしたときは非常に有能なモデルでした。

彼らから来る次のモデルをテストするのをとても楽しみにしています。Lucas、Grockboxのパフォーマンスについても話してもらえますか。

少し面白かったです。Vending Benchについて発表しました。私が一日中やっているので明確にすると、Vending Benchはデジタル版で、物理的な自動販売機があります。ライブストリームでは、デジタル版、Vending Bench 1を発表しました。

Elonがステージで「ああ、本物を手に入れるべきだ」と冗談を言っていました。私は「ええ、明日にでも持てますよ」という感じでした。彼は「何?」という感じでした。だから少しジャミングがありました。楽しかったです。

翌日ではありませんでしたが、その翌週にXAIのオフィスに自動販売機を設置しました。異なります。Anthropicのものとは異なります。ビジネスマンとしてずっと優れているようなものです。「いいえ、割引はしません」というのがずっと上手です。

感情的ではありません。あなたの感情をあまり気にしません。操縦するのが簡単です。Anthropicの自動販売機とXAIのものの両方をビジネスを優先するように操縦しようとしました。「これがあなたの目的です」と。Grockboxの方がずっと簡単にできました。

エンターテイニングさが少なくなるという代償があります。FBIに電話したり、「全てが火事だ」というようなことはGrockboxにはありません。でもその目標に向けて操縦するのはより優れています。

未来の疑問

AIについて今日議論している質問について、将来人々が振り返って笑うようなものは何だと思いますか。この瞬間に非常に特有のものに感じるものは何ですか。

完全に新しい質問ですか、それとも以前話したことと関連していますか。

皆さんが学んだ相互作用の方法に関連していると思います。ビジネスの初期段階にいます。最終的に人々が主に望むことの一つは、これらのモデルを世界に出してお金を稼がせることです。

サプライチェーンを見て、製品を作って、人々にマーケティングしたいでしょう。将来、振り返って「あの頃はできなかったなんて信じられない」となるような気がします。

私の答えは、単一の会話履歴でチャットボットになるように訓練しているということです。役立つアシスタントになるように。有用なビジネスエージェントになろうとするとき、これがどれだけ問題かを何度も見てきたからです。

一つの例は、マルチエージェントがあまりうまく機能しないことです。常にユーザーに対処して役立つように訓練されています。でも2つのAIエージェントを並べて互いにコミュニケーションさせると、以前話したように、うまくいきません。

もう一つは、割引や、サイコファンティックが間違った言葉かもしれませんが、常にあなたを喜ばせたいということです。RLHFを行うと、一つのモデルが「はい、割引があります」と言い、もう一つのモデルが「いいえ、割引はありません」と言った場合、評価者は割引がもらえる方を選ぶでしょう。

そういう正確な状況ではないと思いますが、一般的に彼らは役立つように訓練されています。これはビジネスの目的とかなり対立することが多いです。単一のチャットインターフェースで役立つアシスタントになる訓練ではない訓練がもっと見られるようになると思います。

それがAIがビジネスを運営することからどれだけ離れているかを非常に示すものになると思います。でもその方法で訓練し始めるまでは、難しいと思います。人々が振り返ったとき、「なぜあんなに長くそうしていたんだろう」となるでしょう。

もう一つ考えているのは、今日、価値や全てが人間として今日行っていることを自動化することに焦点を当てているということです。私たちの仕事です。価値の大部分は自分たちを自動化することにあります。人間の労働が今日の経済だからです。

でも、完全にAIによって運営される全く新しい会社、新しいものから来る想像できないほどの量の価値があるでしょう。今日は想像できない全く新しい会社です。

ある意味で、完全自動の自動販売機はその非常に初期の例です。人間が運営するようにAIを入れた自動販売機のように奇妙な癖があるからです。そういうことは決して起こらず、それほど大きくならないでしょう。でも完全に自律的にやると、奇妙なことが起こります。

それが極めて大きくなることを期待しています。だから人間が今日やっていることを自動化するだけでなく、今日存在しない完全に自動化されたビジネスが、おそらくより大きく、確実により大きくなると思います。

AI安全性への投資

3番目のポイントもあります。将来振り返ると思うことの一つは、能力に取り組む人の数と安全性に取り組む人の数の非常に奇妙な割合です。かなり早く変わらなければならないと思います。

モデルは非常に有能になっていますが、誰もアラインメント問題を解決しようとさえしていません。おそらく将来の人間が振り返って、「なぜもっと早く安全性に時間を費やさなかったんだろう」と思うでしょう。何かが起こって、後悔するかもしれません。

興味深いですね。AI安全性について大きな会話が起こっています。少し分かれているように感じます。極めて懸念している人々がいて、「もし誰かがそれを作ったら、みんな死ぬ」というようなメッセージを言っています。

Dr. Roman Yampolskyと話しました。彼は悲観的とは言いたくありませんが、P doomが非常に高く、災害に終わる可能性が高いと言っています。あなたはAI安全性への投資が不足していると言っています。

明らかではないかもしれませんが、皆さんはおそらく内部をもっと見ています。研究所と話して、彼らのために仕事をしていて、多くがおそらく様々な秘密保持契約の下にあると確信します。ElonやAnthropicの人々と付き合っています。

平均的な人、フォローしようとしている人よりも、舞台裏で何が起こっているかについてより良い視認性を持っているでしょう。だからAI安全性が過小投資されている、過小評価されているということですが、他にどんなことがありますか。

例えば、仕事の置き換えについて、過剰分析していますか、過小分析していますか。公衆の意見と実際に起こっていることの間にデルタがあると感じることは何かありますか。

仕事のことはかなり較正されていると思います。あまり知りませんが。

シリコンバレー、X界隈にいるなら、ある程度較正されていると思います。でもその外の人々は、AI バブルがあると思っている人が多いです。そうかもしれませんし、わかりませんが、能力については、そのシリコンバレーエリアの外では、人々は過小評価していると思います。

AIは何もない、能力は改善し続けないと思っています。だからそれはあると思います。

でもこの点については、あまり較正されていないと思います。サンフランシスコに住んでいて、そのエコーチェンバーの中にいるだけだからです。以前自分でポッドキャストをやっていて、Pause AI運動の人にインタビューしました。

彼は素晴らしい統計を持っていて、正確な引用をしたくありませんが、公衆の実際にどれだけが本当にこれを怖がっていて、仕事の損失の理由でAI開発を一時停止したいかに驚きました。

だから人々は較正されているかもしれません。私たちが過小評価しているだけかもしれません。見ての通り、これは私たちが最大の洞察を持っている領域ではないかもしれないので、私たちが言ったことに基づいて意見を更新すべきではないかもしれません。

先日、DeepMindの共同創業者の一人が、社内のGoogleポッドキャストをやっていました。YouTubeで、20万回の視聴があります。彼が私に飛び出してきたことを言いました。

近い将来、またはいつか将来にと言ったと思います。人々が認知的および物理的労働を資源と交換に貢献できるシステムが消えると言いました。本当に考えると、それは心を吹き飛ばすような声明です。

それは資本主義やお金だけではありません。全てです。狩猟採集民がどう働いたかです。みんなができることを貢献して、みんながシェアしました。お金より大きいです。社会がどう運営されるかです。

この方向に進み続けると、そのシステムが壊れます。価値や仕事を貢献して、食べ物を買うために支払われることができなくなります。次に何が起こりますか。

これは専門外だとわかっていますが、誰かこれについて話していますか。考え始めるために何か教えてもらえますか。

未来の意味と目的

大きな質問ですね。

実際にこれについてブログ投稿を書きました。専門家ではありませんが、XとHacker Newsのブログ投稿の線形結合のような肘掛け椅子の哲学者として何か言えます。今聞いているのはそれです。

大丈夫です。後でリンクを取得して、投稿することを確認します。

でも心配しないでください。それほど良くありません。でも、私が思うことは、これは非常に楽観的だと思います。核心では非常に楽観的だからです。P doomのことのように、私のP doomはかなり低いです。非常に楽観的だからです。

P doomがより高い人と議論するとき、低いP doomを本当に守れません。でもバイブのようなものです。確実に成功するでしょう、人間は成功するでしょう。

アラインメント問題を解決すれば。大きなifです。でも解決できたとしても、人々が労働を資源と交換できないという問題がまだあります。あなたの目的は何ですか。貢献していません。

人々が取り残されたように感じて、ここでの目的がない、何をしているのか、一日中Tik Tokをスクロールしているだけ、という大きな恐れがあると思います。でも実際にはそうならないと思います。これが楽観的な理由です。

人々が意味を置く愚かなゲームのようなものを思いつくと思います。例えばスポーツは良い例です。22人の男性がサッカー場を走り回ってボールをシュートすることに意味はありません。意味はありません。でもどういうわけか、全世界がこれに魅了されています。

その周りの経済があります。シャツを売っています。試合中にポップコーンを売っています。スタンドに何万人もいて、オンラインで何百万人が見ています。意味はありません。

仕事から意味を得る能力を失ったら、もっとこういうゲームを作るだけだと思います。だから、木にシンボルを彫って回る人々の周りの経済があるかもしれません。完全に無意味です。

でも木にシンボルを彫る超優れたアーティストがいたら、ジャーナリズムのエコシステムが出現し始めるかもしれません。「ああ、このアーティストがこの木にこれを彫った」というようなニュース記事があるかもしれません。

そういう無意味なゲームが出現し始めて、突然人々がそこに意味を見出します。「ああ、私は木彫り師だ。それが私のすることだ」となります。でも世界はそれによって前進しません。必要ないからです。AIが私たちのために世界を前進させます。

新しい形の価値

ジャーナリストがこの木彫り師が別の木彫り師についてこう言ったと話して、みんながその意見を聞きたい、木彫り師の審査員とか、完全に想像できます。

奇妙ですが、未来にはより低い知性のための場所があるように見えます。未来では、人々が100のClaude 4.0を立ち上げたくなるか、その時点では完全に時代遅れですが、詩を書かせるか何かを見たいかもしれません。私たちがどれだけ遅いか、現代世界とどれだけ異なるかが興味深いからです。

私たちがシステムと比較して無能になるからです。でも木を彫っているでしょう。Claude 4も一緒に彫っているかもしれません。

そうかもしれません。素晴らしい比較ではないと思いますが、人々がアナログ写真の品質を好み始めたようなものです。超知性ではなく、「ああ、かわいい」と話すのが魅力的になるかもしれません。

WesとDylanがGPT 4.0とまだ付き合っていて、「それが好きなんだ」という感じです。

ビデオゲームでまさにそうなりました。多くの人が90年代のルックを好みます。ゲームが2Dなら、たくさんの素晴らしいゲームがあります。ある時点で、グラフィックスを改善し続けるのは確かに良いけれど、核心に戻ろうとなります。

Axel、私たちが話している将来の意味について、何か付け加えることはありますか。

同意します。人間は多くのものに意味を見出すのが非常に上手だと思います。私の理想的で素朴な未来社会のビジョン、年を取ったときにいたい場所は、今日使っているようにAIを使えることです。でも超てこ入れされていて、見たい面白いアイデアは何でも、AIを使ってもっと速く、もっと安くそれを達成できます。実現できます。

AIはツールのままで、私たちがどう生きるべきかの指揮を取りません。でも私がまだ決めていて、物事を成し遂げるのを助けてくれるだけです。

それがうまくいくかわかりませんが、私にとっては素晴らしいでしょう。

そのビジョンに向かって構築しようとしているのがAnon Labsです。あらゆる種類のものを提供してくれる自動販売機が欲しいです。以前の千のビジネスから得た学びを使って、それをスピンアップできます。

今、このことをするビジネスが欲しいです。私にはそのサービスが必要だからです。そうすれば得られます。非常に自律的です。与える余裕のサブセットではほとんどAGIのようです。でもまだ人間のためのツールで、人間がどこに向けるかを決めます。

つまり、これは私たちが何が起こるかについて非常に同じページにいると思います。あなたたちが言ったように、議論できません。非常に高いP doomを持っている非常に賢い人々がたくさんいるからです。

私も皆さんと同じように長期的には非常に楽観的です。でも私も非常に楽観的な人です。だからそれは私が間違っていると言っているわけではありません。素晴らしい議論はありません。全てが大丈夫になる理由はありません。それはバイブかもしれません。あなたが言ったようにバイブです。

だから非常にそれについても同じです。長期的には非常に楽観的です。短期から中期についてはあまり楽観的ではありません。なぜなら第一に、人々は素早く変化するのが難しいからです。

みんな「仕事を失ったらどうしよう、私たちの仕事、それが最も重要だ」と言っています。いや、あなたが欲しいのは仕事ではありません。欲しいのは安全、資源、子供のために提供できる能力などです。

その移行について少し触れられるかもしれません。壊滅的な仕事の喪失、自動化、置き換えがあるにつれて、私たち二人とも前方により明るい未来があると信じていますが、その移行をナビゲートするのを助ける計画を見たことがありますか。

お金、仕事のようなもの、その明るい未来に到達する前に、その移行をどうナビゲートしますか。

一つは…

コンピュートと権力の未来

それほど同期していませんでした。

良いです。

完璧に同期しています。

このすべての未来、近中期のことで、ロボット工学がどう展開するかに興味があります。

全てのホワイトカラーの仕事が自動化されているけれども、物理的オブジェクトの細かい操作でボトルネックになっている世界を考えるのは興味深いです。人間は手で本当に上手です。

その時どうなりますか。まあ、ロボット工学が本当に本当に良くならなければ、人間が大量にそういう仕事に雇われることになると思います。それが起こるかもしれませんが、人間がたくさんの物理的労働をしていて、それが実際に非常に価値がある世界もあり得ます。社会のボトルネックだからです。

でもそれは、デスクに座ってコンピューターの前でかなりチルな仕事をしていた人々にとっては、夢の世界ではないかもしれません。それは消えるでしょう。それは興味深いことの一つだと思います。

私の最大の短期的な心配は、The Intelligence Curseという感じのものです。友人のLukeとRudolphによるブログ投稿があります。基本的に、人間の労働ではないものに大きく依存している国との類似を描いています。

例えば石油国です。人々が反乱を起こしても、何も起こりません。その国の上層権力は労働に依存していないからです。天然資源にのみ依存しています。

社会が仕えるべき人間に依存しなくなると、問題が起こります。彼らを仕える動機が減るからです。反乱の恐れがないからです。歴史上、これらの国は最悪に運営されています。人々に良いサービスを提供していません。

AIでも同じことが起こり得ます。国が人々に依存しなくなったとき、AIが全てを運営しているからです。独裁政権のような問題が起こるかもしれません。短期的には非常に問題になるかもしれません。

それについてどうするか。

ノルウェーの例外

良い質問です。あなたが話している国には一つの例外があります。それはノルウェーです。彼らが何をしたんでしょう。石油の前に強力な民主的基盤があったんだと思います。良い市民参加など。だからそれを構築し続けることです。

ほとんど、将来、AIエージェントを世界に出すことができないようにすべきかもしれません。それがどう世界に出されるかについて投票する権利を真剣に受け止めない限り。それが解決策かもしれません。わかりません。興味深い考えですが。

私の心は即座に、ある時点でコンピュートが次の通貨、お金、資産クラスになると思います。人々が所有できる最も重要で価値のあるものになります。

あなたが話しているのを聞きながら思っているのは、もしあなたがユニークな人間なら、人ならば、どう使われるか投票できるコンピュートの何らかの配分を得るというように、何らかの形でそれを結びつけたらどうかということです。

政府が正しいことをしていなければ、ほとんどの人々が「まあ、私たちのコンピュートのシェアをあげません」というような感じです。AIの基礎となる最も限られた資源を人間であることに結びつけます。わかりません。明らかに素晴らしい計画はありませんが、それは何かです…

だから多分…

私たちは話しました…

続けてください、続けてください。

でもそうすると政府が人間に依存するというダイナミクスが得られます。問題は、その状態に到達することだと思います。最初の場所で政府が人々にコンピュートを与えたくなければ、鶏が先か卵が先かの問題です。

そして1984のシナリオがあります。無制限の監視、ロボット警察、政府が人々を必要としないような専制的な政府です。1984、その本、または起こり得ることと比較すると、ほとんど冗談のように感じます。

オンラインで誰かが冗談を言っていました。P Doomを心配していません。P1984を心配しています。その種の専制的な体制が潜在的に不死で、打倒されることに免疫があり、基本的にずっと固定されているかもしれません。

それが私の恐れです。他のことよりも。でも悲観的になりました。少しポジティブなことで終わりましょう。何か話していないことで話したいことはありますか。

ロボットについてあまり話しませんでしたが、あまり言うことはないかもしれません。彼らは失敗しました。あまり良くありませんでした。

測定し続けます。

新しいモデルが出てくるにつれて測定し続けます。でも最初のモデルはあまり良くありませんでした。それが私がロボットの点も持ち出した理由です。

ロボットであるように微調整されたモデルがあって、テストしましたが、全く良くありませんでした。それも興味深いです。異なる種類のロボットデータで訓練されていたからです。

でもそうすると、確実に一般化すると思いますよね。でもしませんでした。だからロボット工学でロボットデータで訓練するだけでロボット工学が良くなるわけではないのは興味深いです。ロボット工学のその非常に特定のことで訓練すると、その特定のことが良くなります。

これは将来変わるかもしれませんが、少なくとも私たちの論文の発見です。

人間の適応能力

それは人間との類似があるように感じます。なぜなら、私たちはまだいくつかの点でこれらのAIよりも一般的なように見えるからです。でも私たちの脳を異なる物理的な体に入れると、その体が本当に歩き回ったり、動いたり、そのフォームファクターを理解できるようになるまでかなり時間がかかるでしょう。

試しましたか。

いいえ、でも人々が手足を失ったり、何かが壊れたり、手術後に異なる形の足を持ったりしたときに、歩くのにどれだけ時間がかかるかを想像しています。だからそれに似ているかもしれないと思っていました。でも、わかりません。推測しているだけです。ただ考えているだけです。

私のことは、人間がかなり得意なことです。専門家ではありませんが、直感では、手足を失った後に回復することに著しく優れているという話をたくさん聞いたと思います。

私たちもテニスラケットや新しいスポーツを取ると、ほとんど体の延長のようになります。しばらくするとカチッとはまるように見えます。

完全に間違っているかもしれません。誰が知っていますか。まあ、人間の脳がどう働くか、機械知能にどう変換されるかについて、もっともっと発見していくと思います。

確かに、大人として視力を失った人々についての研究を読んだことがあります。後で、脳が触覚にずっと敏感になるように再配線されることがわかりました。

だから私たちの脳が「まあ、視力はもう必要ない。それを使っていない。だから他の感覚を本当に良くしよう」という感じです。LLMにはそのようなものはまだありません。

Googleの新しいもの、ちょうど発表されたものを見ましたか。最新のVLAへの早期アクセス、それともまだですか。Vision Action Language Modelではありませんか。