AnthropicのClaude MythosとOpenAIのSpudモデルは、スケーリング仮説の継続を示す次世代の大規模事前学習モデルである。GPT-4以降、業界は主にポストトレーニングとテスト時スケーリングに注力してきたが、これらの新モデルは再び事前学習の規模拡大に回帰し、予想を超える加速を見せているとされる。投稿者は、AGIの定義を「コンピュータ定義」「経済定義」「種レベル定義」の3段階に分類し、最も基本的な「コンピュータ定義」—つまりAIが自身のハーネス(実行環境)を自律的に構築できる状態—が2027年半ばまでに実現すると予測している。また、OpenAIのAPI提供形態が、モデル単体ではなく実行環境・メモリ・ツールを含む統合パッケージへと進化し、これがAGI展開の中核になるとの見方を示している。
スケーリング仮説の継続とMythos・Spudの登場
どうも皆さん、Neilです。チャンネルへようこそ。今回の動画では、AnthropicとOpenAIから登場する新モデルについてお話ししたいと思います。皆さんも噂を耳にしたかもしれませんが、Claude MythosとOpenAI Spudモデルという新しいモデルの話です。
これらのモデルで重要なのは、スケーリング則の継続だということなんです。覚えている方もいらっしゃると思いますが、GPT-2の時代に遡ると、スケーリング仮説に関する論文が書かれていました。これらのモデルはどんどんスケールしていくという内容です。コンピュート(計算資源)をスケールアップすればするほど、データをスケールアップすればするほど、アルゴリズムを効率化すればするほど、これらのモデルをどんどんスケールできるようになるという話でした。
さて、これから登場しようとしているフロンティアモデル、MythosとOpenAI Spudモデルは、スケーリング仮説の継続なんです。これは事前学習パラダイムに関するものです。ここに小さな例がありますね。事前学習パラダイム、ポストトレーニング、そしてテスト時スケーリング、つまり長時間の思考というものがあります。
事前学習スケーリングパラダイムは勢いがなくなっていると噂されていました。それが昨年の大きな話題でした。GPT-5がリリースされたとき、人々は「ああ、見てください、スケーリング則は終わりました。スケーリング仮説は死にました。モデルは最悪です。大きな飛躍はありません」といった具合でした。
スケーリング仮説は終わっていない
そして、何が起こっているのか理解している人たちは「いや、これは非常に小さなモデルです。彼らはスケールしようともしませんでした。それがこのモデルの意図ではなかったんです」と言っていました。
今、MythosとSpudで登場しようとしているモデルは、スケーリング仮説の継続なんです。そして繰り返しますが、噂では実際に当初の予想を超えて加速しているとのことで、これはすべてを変えます。
YouTubeで誰もが嫌いな言葉がありますよね。このモデルのリリースはすべてを変えようとしている、という言葉です。でも違うんです、AIに関して言えば、文字通りすべてを変えるんです。必ずしも一夜にして世界を変えるわけではありませんが、私たちがこれらのツールを使う方法を根本的に変えると信じています。実際に登場したときに分かるでしょう。
確実なことは誰にも分かりません。これは全部でたらめで、皆さんに嘘を吹き込んでいるだけかもしれません。実際に証拠を見るまで待ってください。でも、これがこれまで私たちに提示されてきた情報なんです。分かりますか?
では、話していきましょう。まず、なぜこれが大きな出来事なのか、これは実際に何を意味するのかについて話したいと思います。そして、これらのモデルがどのように展開されると思うかについてお話しします。
AGIの定義とその段階
具体的には、次に何が起こるのか、大きなAGIの瞬間とは何なのかについて話したいと思います。明らかに、AGIという用語は非常に曖昧です。定義が非常に不十分です。誰も定義に同意できないんです。ジェンスン・フアンは「私たちはAGIを持っています」と言いました。そして別の誰かは「いや、私たちはAGIにまったく近づいてさえいません。AGIは50年先のことかもしれません」と言います。
その話に入ったときに、もう少しきちんと定義していきます。でもまず、これについてもう少し話したいと思います。GPT-3、GPT-4、GPT-5といったモデルがあります。そして、OpenAIのこのSpudモデルで登場すると思うのは、GPT-6です。そしてAnthropicからは、Claude Haiku、Claude Sonnet、Claude Opusがあり、今この新しいカテゴリのモデルが登場しようとしています、Claude Mythosです。
これは全く新しいカテゴリのモデルなんです。はるかに大きなモデルになるでしょう、事前学習モデルの新しいパラダイム、おそらく本当にこれらのモデルを使用する新しい方法になると思います。どれだけパワフルになるか、どれだけ強力になるかという理由だけで。
誇張しようとしているわけではありません。これは何年もこれを見てきた後の純粋な期待なんです。これは本当に大きなモデルになるでしょう。誇張しようとしているわけではありませんが、今日私たちが慣れているものとは全く異なるものになるでしょう。すべての大きな事前学習のジャンプを見れば分かります。大きな事前学習のジャンプというのは、GPT-3からGPT-4への間だけなんです。それが私たちが本当に経験した唯一の大きな事前学習のジャンプです。
事前学習とポストトレーニングの統合
GPT-4以降、他はすべてポストトレーニングでした。GPT-4以降、大きな事前学習のジャンプは一切経験していないんです。モデルは小さくなっていて、より長く推論させるようになっています。それが起こっていることです。より大きなモデルは見ていません。
これから起こることは、ポストトレーニングからのすべての学び、テスト時コンピュートのスケーリングからのすべての学び、これらのエージェント的ハーネスを構築することからのすべての学び、これら全てが、この新しい大きな事前学習モデルが登場したときに再び一緒になり、私たちはこれら全てをそれに適用するんです。これは誰もが今考えているよりもはるかに大きな出来事です。これは本当に大きな出来事なんです。ほとんどの人は分かっていません。
大きな事前学習モデルは、その… 繰り返しますが、登場したときに分かるでしょう。もしかしたら私が誇張しすぎているのかもしれません。もしかしたら大きな事前学習モデルはそれほど大きくないかもしれません。もしかしたら効率性の向上がメインかもしれません。でも私は大きな事前学習モデルになると思っています。
Claudeが「OpusからMythosに移行します」と言っているとき、そしてOpenAIがリリースしようとしているとき、私はGPT-6になると思います。もしかしたらGPT-5.0かもしれません。はっきりしません。でも、OpusからMythosに移行すると言っているとき、それは大きなモデルになると私に教えてくれます。
モデルの価格をかなり上げると言っているとき、それは大きなモデルになると私に教えてくれます。だから私の仮説はこうです。本当に優れたポストトレーニング技術を持った本当に大きなモデルが見られるでしょう。これらは最適化されます。実世界のタスクに対して非常によく最適化されるでしょう。
モデルの最適化と価値創出
今私たちがいるポストトレーニングスケーリングの時代では、これらのモデルの成長方法は、事前学習で成長させてから、事前学習されたモデルを物理的な問題空間に適用するんです。かつては単にモデルをベンチマークしていました。ベンチマーク用に最適化していました。ベンチマークを本当に良くしていました。ユーザーのドーパミンを満足させて、プラットフォームに中毒になってもらおうとしていました。
もうそういうことではないんです。今は全て、この問題空間内でどれだけの価値を実際に解決しているか、どれだけの複雑性を食べているかということです。経済において実際に価値を生み出しているかということです。
OpenAIからの大きな噂は、このモデルが経済的価値を根本的に加速するモデルになるということです。それが大きなことです。
だから私たちが見ることになるのは、ソフトウェアエンジニアリング、生物学や物理学といった科学、そしておそらく他の科学にも適用される大きな事前学習モデルです。最終的には、おそらくすでに始まっていると思いますが、金融にも本当に適用されるようになると思います。
それはすでにGPT-5.2やGPT-5.4で起こったと思います。これの継続が見られるでしょう、明らかに。大きな新しい事前学習モデルを持つことの素晴らしい点は、GPT-5.2とGPT-5.4がうっとうしいのを知っていますよね? そしてOpus 4.6はちょっと楽しいですか? まあ、うっとうしさはなくなると思います。
OpenAIからの次のモデルは、前のものよりも少し楽しくなると思います。もしかしたら私が間違っているかもしれません。もしかしたら彼らが再び失敗するかもしれません。彼らが何度も連続で失敗するとは思いません。
その点については教訓を学んだと思います。彼らのモデルがあまりにもうっとうしいという理由だけで、多くのユーザーを失いました。そしてそれはうっとうしいんです。エンジニアリングには本当に優れていますが、会話するのがうっとうしいんです。Opus 4.6は会話するのにそれほどうっとうしくありませんが、エンジニアリングにはそれほど優れていません。でも、トレードオフはそれだけの価値があるようなものです。なぜなら「オーケー、会話するのに面倒ではない」というだけで。
加速の継続とモデルのジャンプ
でも本当に、私が期待しているのは、いつも通りの加速の継続です。事前学習モデルはスケールするでしょう。噂が本当なら、これがスケーリング仮説で予想していたものを超えているなら、それは本当に本当に本当に大きな出来事です。それにポストトレーニング技術を適用します。
ここのOpus 4.6を見てください。これは以前のサイズの事前学習モデルです。大きなモデルではありません。全く大きくありません。つまり、比較的大きいですが、これから手に入れようとしているものと比較すると、おそらくかなり小さいでしょう。
ポストトレーニング技術を大きなモデルに適用すると、これはここまで上がるでしょう。ペンを出させてください。ペンはどこだ、くそ? こっちに来い。これらの小さな点は「オーケー、これは可愛い。これは可愛い。ああ、Opus 4.6、何をしているんだ? それは実際かなりすごい。ああ、待って。Mythos、こんなところで何をしているんだ?」という感じになるでしょう。
そして人々はこれを見て「ああ、そうだね。くそ食らえNeil」と言うでしょう。私は「指数関数を理解していますか? 指数関数が何か知っていますか? それが何をするか知っていますか? もし知っているなら、これはおそらく低めだと分かるでしょう」と言います。
Opus 4.5からOpus 4.6へのジャンプを見ると、狂っています。文字通り狂ったジャンプです。以前のOpusはこの辺りの1つでした。そしてその前のOpusはこの辺りのようなものでした。加速は垂直になります。つまり、Opus 5またはMythos、失礼、Mythos 5.6を手に入れると、おそらく画面外のどこかになるでしょう。
人々が加速の継続を本当に理解しているとは思いません。それが全て本当なら、この辺りのどこかに何かが見えると期待しています。それは本当にクールだと思います。正直に言って、私は興奮しています。
AGIの3つの定義
さて、私が見たい大きなことは、ここで私がAGIに定義を割り当てる部分です。私にとって、繰り返しますが、これはゴールポストを動かすようなものになるでしょう。このチャンネルではすでに多くの異なるAGIの定義を持っています。
でも、いくつかの異なる定義があります。経済的定義、コンピュータ定義、そして種の定義のようなものがあります。これはコンピュータ定義です。これがコンピュータ定義です。生物学は独自のハーネスをブートストラップします。LLMも同じことをするでしょう。これがAGIのコンピュータ定義です。
コンピュータ上のAIが、コンピュータのあらゆる部分を操作するために独自のハーネスをブートストラップできるとき、それがAGIです。それができない限り、AGIではありません。それがコンピュータに対する私の限界線になります。
AGIの異なる定義をランク付けするとしたら、コンピュータ定義のAGIがあります。これは最も原始的な形態のようなものです。これはAGIシステムに求められる基本的な骨格です。そして経済的なものがあり、これは物理的なものを含め、経済の大部分を自動化するようなものです。
そして種のものがあり、「オーケー、もう脳をアップロードして、彼らが何であるかの一部になった方がいいかもしれない」というようなものです。この連続体を真っ直ぐ進むと思います。種のものまで到達するかもしれませんし、しないかもしれません。それが可能かどうかさえ分かりません。
それについて言えることはそれだけです。まだ非常に哲学的です。でも待ってみましょう。もしかしたらそうなるかもしれません。もしかしたら本当にクールかもしれません。でも、これらは確実に起こると思いますし、誰もが思っているよりもはるかに速く起こるでしょう。
ハーネスのブートストラップ
コンピュータのもの、LLMがコンピュータ全体を操作するために独自のハーネスをブートストラップするというのは、おそらく非常に近いうちにここにあるでしょう。今日話しているモデルの1つかもしれません。MethosまたはSpudは実際に独自のハーネスをブートストラップできるかもしれません。
還元不可能なシンプルなハーネスを与えれば、つまりコンピュータ上で何でもコードを書き、そのコードをコンピュータ上で実行するのに十分なもの、おそらくWeb検索ツールとコンピュータ使用ツール。
コンピュータ使用ツール、Web検索ツール、リスト、書き込み、読み込み、grep、そして編集。実行とバックグラウンドターミナルを提供します。これらのツール、コンピュータ使用ツール、Web検索ツールがあれば、他のすべての部分を自分自身からブートストラップできるでしょう。
ハーネスエンジニアリングパラダイムはAGIまたはAIシステム、AGIたちに与えられることになります。AGIたちは独自のハーネスを構築することになります。彼らはあなたよりもはるかに優れているでしょう。
ハーネス構築パラダイムはAGIたちに与えられることになります。あなたが得意とすることは、たくさんのデータをまとめるアプリを構築することです。そしてあなたはAGIたちを使ってそれらのアプリを構築することになります。
彼らはおそらく味のこと、判断のことをいつも知らないだけです。それがあなたが価値を提供する部分になるでしょう、分かりますか? そこに戻ると、味のこと、判断のこと、あなたがそこで価値を提供することになります。
OpenAIの2028年ビジョン
グレッグ・ブロックマンでさえ最近、実際にこれだと思います。そう、グレッグ・ブロックマンはこのポッドキャストで話していました、アレックス何とかという名前の人と。Big Technology Podcastです。彼は今年登場するモデルについて話していました、いや、2028年、すみません。
2028年に登場するモデルは、OpenAI内部では100%自律的な研究者になるとのことで、それがOpenAIの主要な推進力になるでしょう、100%自律的な研究者です。それは2028年に来ます。
そして彼はグレッグに、それについてどう考えているか、OpenAI内部でどのように展開されるかを尋ねました。グレッグは「それは彼らが指示するものですが、まだ判断力に欠けています。まだギザギザしています。まだ判断力に欠けています。大局的な観点では、まだ多くの異なることが得意ではありませんが、タスクを実行すること、エンジニアリングを行うことに関しては、ソフトになるでしょう」と言いました。
それを指示することがすべてです。それを放って独自のことをさせて、恣意的なものを最適化させることではありません。それはあまり得意ではありません。味や判断のこと全体が得意ではありません。目標に到達するための独自の目標を特定することが得意ではありません。
ブレインストーミングをして、あなたと行ったり来たりして、あなたと行ったり来たりして、そしてあなたが最終的なゴーサインを出して、それからあなたの代わりに実際の狭い問題空間を最適化するというのは得意かもしれません。コンピュータはあらゆる狭い問題空間であなたを打ち負かすでしょう。
あらゆる狭い問題空間で、コンピュータが非常に近いうちに勝ちます。これは数学の人々にとって良いニュースではありません。エンジニアにとって良いニュースではありません。他のみんなにとっては良いニュースです。なぜなら、英語を話すだけでみんながエンジニアレベルの能力を持つことになるからです。
英語を話せるなら、あなたは今やくそエンジニアです、それは本当にそれだけシンプルです。
永続的下層階級は生まれない
だから、永続的下層階級は生まれないと思うんです、ちなみに。みんなが「ああ、永続的下層階級は大きなことになるだろう。ひどいことになるだろう」と話しています。私は「私が本当に心配しているのは数学の人々とエンジニアの人々だけです」と言います。
ちなみに、それらはすべて今お金を稼いでいる人々です。そしてみんなは「ああ、お金を稼ぐ必要がある」とか色々言います。「そう、明らかにお金を稼いでください。金を手に入れてください」と。でも結局のところ、脳で物事について推論でき、英語を話せる限り、大丈夫でしょう。
AIは数学の人々を傷つけます。エンジニアの人々を、言語的な人々よりも、創造的な人々よりも、より神経質で感情が多い人々よりもはるかに傷つけます。そういう人々は将来的にうまくやっていくと思います、私の意見では。
それが私の考えです。だからこれら、繰り返しますが、これらはかなり近いうちに解決されるでしょう。コンピュータAIは実質的にすでにここにあります。経済的AGIが来るでしょう。種のものはその後です。
でも大きなことは、これらのモデルが独自のハーネスをブートストラップする必要があるということです。そして、それは今年の終わりまでに起こり始めると思います。本当に今年の終わりまでに、もしかしたらもっと早く、これらのものはほとんどのエンジニアが彼らのためにハーネスを構築できるよりもうまく、ゼロから独自のハーネスをブートストラップするでしょう。
それは奇妙になるでしょう。すみません。そしてそれはもう少し長いかもしれません。もしかしたら2027年半ばのようなものかもしれません。でもそれを超えるとは本当に思いません。
2027年半ばには、それは確実にここにあると思います。そしてそれが私が「オーケー、AGIはここにあります。正式に作っています」と言うときです。クールです。
Spudモデルとスーパーアプリ
さて、これがSpudモデルについて登場する大きなことの1つです。これは繰り返しますが、GPT-5のようなより効率的なモデルではなく、大きな事前学習モデルであるというさらなる証拠です。
GPT-5シリーズは単に効率的なモデルでした。GPT-6シリーズが大物になるでしょう。1つには、彼らはSoraを殺しています。ここのどこにそう書いてありますか? もしかしたら次のものかもしれません。もしかしたらすでに通り過ぎたかもしれません。この辺りのどこかです。ここです。
彼らはSoraを殺しています。Soraはなくなります。彼らはまたエロティックチャットボットとかそういうものも全部殺しています。そして今、彼らはそのコンピュートをすべてスーパーアプリとAGI展開のために再配分しています。文字通りそう呼ばれています。スーパーアプリとAGI展開です。
さて、サマ、サム・アルトマン、あなたが知る必要があるのは、独自のハーネスをブートストラップできない限り、それはAGIではない、ということです。ただ言っておきます。独自のハーネスをブートストラップできない限り、ああくそ、独自のハーネスをブートストラップできない限り、あなたはAGIをリリースしていません。
あなたが何を言おうと気にしません。でも、独自のハーネスをブートストラップできるなら、それは私のベンチマークに合格するので、私たちは大丈夫です。そしてできるかもしれません、正直に。独自のハーネスをブートストラップできるかもしれません。驚かないでしょう。全く驚かないでしょう。クールです。
でもスーパーアプリ、本当に繰り返しますが、それはChatGPT、Codex、そしてAtlasを組み合わせたものになるでしょう。
ユニバーサルインターフェースとしてのスーパーアプリ
もう1つ。もう1つ。みんな、私たちがユーザーインターフェースの最終版を構築しているということを考えようとしています、分かりますか? コンピュータのユニバーサルインターフェースが今まさに構築されているんです。
AGI展開、スーパーアプリを見ると、スーパーアプリは本当にすべてのアプリのためのユニバーサルインターフェースのようなものです。そしてスーパーアプリはすべてのアプリにわたって統合できるようにします。AGI展開がそれです。
だから大きな質問は「まあ、私がその周りで構築しているとき、AGIはどのように見えるのか?」ということです。そして2つの考え方があると思います。1つには、APIが変わると思います。今、OpenAIはChatGPTとAPIを単にモデルとして提供しています。
または時々、モデルプラス圧縮、モデルプラス推論レベルのようなことができます。でも主に単にモデルです。非常に近いうちに、そのモデルとそのモデルがそのコンピュート環境で動作できるいくつかのツールを持つコンピュート環境を手に入れることになると思います。そして、それが彼らがAPIでモデルを提供する方法になるでしょう。
開発と実行と実行とコンピュータ使用のすべてをそのスペースで、すべて1つのパッケージでAPIで提供される、モデルとそのために必要なツールを持つこの開発環境全体を手に入れることになるでしょう。それがAPIの姿になるでしょう。そのAGIのパッケージ取引が本当にそれになるでしょう。
開発者向けのAGI展開は、最終的には個人のLLMまたは個人のChatGPTアカウントのメモリのようなものになると思います。ツールの使用になるでしょう。OpenAIのサーバーになるでしょう。コンピュート、メモリ、ツールのバンドルを手に入れることになります。そして、ChatGPTアカウントの実行環境、推論されたモデル、ツール、そしてメモリです。
すべてがあなたにとってまだプライベートな方法でサンドボックス化されています。そして、それがAPIでAGIを提供する方法になるでしょう。そして、それを構築している任意のアプリと統合できます。それは巨大なことになるでしょう。そしてそれは非常に多くの異なる企業を可能にするでしょう。それは考えるだけでも心を吹き飛ばすようなものです。ええ。
APIでのAGI提供の未来
でも、それが私にとって大きなことです。それがAPIでAGIが提供される方法になると思います。これは完全に間違っている可能性があります。でも、それを行う論理的な方法のように思えます。単にモデルを送って、それからみんなにバックエンド部分をやらせる代わりに、単にモデルのためのAPIを持つことができます。単に検索のためのAPIを持つことができます。モデル、圧縮、推論レベルのためのAPIを持つことができます。
でも、モデル、実行環境、メモリ、そしてツールのためのAPIも持てないでしょうか? そして、それらも分離できます。異なるモデルのバリエーションやその他のものの中で、必要に応じて。でも、それがOpenAIが取る道になると思います。APIで、AGIコンピュータ全体を手に入れるんです。
それが手に入るものです。分かりましたか? それでは、次の動画でお会いしましょう。さようなら。
コメント