元OpenAIの上級研究者が新たなAIスタートアップを立ち上げ、5億ドルから10億ドルの資金調達を目指している。このスタートアップは、OpenAIやAnthropicが注力していない手法でAIモデルを開発し、リアルタイムで経験から学習する「継続学習」の実現を目指す。現在の大規模言語モデルは静的であり、新しい情報を長期的に記憶できないという根本的な限界がある。同社は、トランスフォーマーを超える新しいアーキテクチャを開発し、従来の100分の1のデータで学習できるモデルを構築する計画である。最終的には産業自動化、自己複製工場、さらには惑星のテラフォーミングまで視野に入れた極めて野心的なビジョンを掲げている。業界では現在の学習手法の限界が指摘され始めており、AGI実現には新たな開発技術が必要だという声が高まっている。
元OpenAI研究者による革新的スタートアップの誕生
元OpenAIの研究者が新しいスタートアップに資金を提供していて、これについて話さなければなりません。新しいタイプのAIが登場しようとしているんです。この元OpenAI研究者のスタートアップ、しかもこれは上級の上級の人物なんですよ。GPT-o1の初期形態や他の重要なモデルに取り組んでいた人物です。この人が開発しているんですが、彼の新しいスタートアップで達成しようとしていることは本当にクレイジーなんです。
これを見てください。彼は5億ドルから10億ドルの資金調達を目指す新しいスタートアップを立ち上げようとしているという事実について語っています。これは非常に重要な金額ですよね。というのも、イリヤ・サツケヴァーがSafe Superintelligenceを率いるために独立したときも、確か320億ドルの評価額で資金調達したと思います。
主要企業が注力していない新しい手法への挑戦
基本的に彼らが実際に行おうとしているのは、OpenAIやAnthropicといった大手企業があまり注力していない手法を使ってAIモデルを開発することです。潜在的な投資家に見せられた資料によるとそうなっています。そして彼らは、現実世界の経験からその場で学習できるAIモデルを作りたいと考えています。
これは継続学習として知られる能力で、もちろん私たちは皆、今日のモデルにはそれができないことを知っています。このようなスタートアップは非常に興味深いと思います。なぜなら、彼らはLLMの道を追求していないからです。彼らはLLM推進派ではありません。成功する可能性が高いとは限らないかもしれませんが、潜在的に完全に異なるパラダイムとなる可能性のある学習の領域や手法に焦点を当てています。
私たちが慣れ親しんでいる静的なLLMの従来の方法とは違うんです。継続学習という言葉を聞いたことがあるかもしれませんが、過去1年ほどで企業が継続学習に関心を示し始めているのを見てきました。Googleがネスト学習というものを行ったことを覚えておく必要があります。確か3〜4ヶ月前だったと思いますが、彼らはネスト学習を導入しました。
Googleのネスト学習と継続学習の課題
この論文の背後にある考え方は基本的に、ニューラルネットワークを一つの単一のものとして見るのではなく、互いに入れ子になった多くの小さな学習バブルとして考えるというものです。各バブルはタスクの一部を学習し、それぞれ独自の速度で自分自身を更新します。つまり、一部は素早い反応を学習し、一部は長期記憶を学習し、それらすべてが協力して機能し、互いの知識を上書きしないんです。これが今日の現在のモデルで抱えている問題ですよね。
もちろん覚えておいてください、これは確かに有望な研究ではありますが、完成したものではありません。彼らはすべてを解決したわけではないんです。Demisが継続学習は実行するのがかなり難しいものだと述べています。ですから、継続学習を達成することはかなり難しいということを認識しておくことが重要です。
もちろん、この記事は続いていきます。彼らは、今日最も人気のあるモデル開発技術は、生物学や医学で大きな画期的進展を達成できる高度なAIを開発する可能性は低いように思われ、同時に愚かなミスを犯すことも管理できるという事実について話しています。つまり彼らが話していることは、業界のほとんどの人々のように、そしてこれが業界のほとんどの人々なのかどうかわかりません。
現在のAI技術の根本的な限界
私はただこう言っているだけですが、なぜ業界のほとんどの人々がこれを信じ始めていると私が考えるのか、その理由をお見せします。それは、今日のAI技術はそれらの画期的進展を達成する可能性が低いということです。なぜなら、それは主に根本的に生成AIだからです。生成AIが完全に不適切だという意味ではありません。もちろんそうではなく、数学的な画期的進展やクレイジーなことができます。
しかし私が言おうとしているのは、今日の開発技術には深刻な限界があり、それを克服したいのであれば、潜在的に完全に異なる方法で問題について考えなければならないということです。もちろん、間違いを犯すことや、生成AIが特定の分野ではあまり役に立たない部分であることは、いくつかの分野では役立つかもしれませんが。
The Informationのこの記事では、NeurIPSという新しいAI研究やそれらの画期的進展について議論するAI会議について語っています。AmazonのAI研究部門を率いる人物が、今日モデルをトレーニングしている方法は続かないことを保証できると述べたのがわかります。それはDavid Luanが言ったことです。
業界のパラダイムシフトの兆候
これは本当に興味深い発言だと思います。そしてどうやらこれはThe Informationの別の記事からのものでした。彼らは、先週サンディエゴで開催されたNeurIPSに参加した他の研究者たちもその意見を表明し、しばしば汎用人工知能と呼ばれる人間のようなAIには新しい開発技術が必要かもしれないと主張したと述べています。
もちろんAGIは私たち全員が達成しようとしている最終目標であり、そこに到達する方法はLLMを通してではないかもしれないようです。ヤン・ルカンのような人々は、LLMはAIにつながらないと言っています。彼は批判を受けました。彼は一人でそのポディウムに立ってそれを言い続けています。しかし今では、ヤン・ルカンは広範な同僚からもう少し支持を得始めているようです。なぜなら、より多くの人々がより多くの研究を行うにつれて、おそらく特定のロードブロックが現れ始めていると思うからです。
今日のモデルがどのようにトレーニングされているかを理解したいなら、なぜ人々が異なる方法を探しているのかを理解する必要があると思います。問題は、今日のモデルをトレーニングする方法が、人間の知能が実際に何であるかにあまり効果的ではないということです。考えてみてください。LLMに何か新しいことを伝えると、それは一時的に理解し、会話にのみそれを使用し、その後完全に忘れてしまいます。試験中は素晴らしい成績を収めている学生がいるのに、何も書き留めることも次回のために覚えることも許されていないようなものです。
静的モデルの根本的な問題点
これらのモデルは静的であることを忘れないでください。そして静的であることが致命的なんです。トレーニング中はデータがあり、モデルがあり、出力があります。そしてトレーニング後は入力があり、モデルがあり、出力があります。
学習は起こっていません。フィードバックループはありません。脳の更新はありません。新しいスキルの形成はありません。長期記憶はありません。経験からの改善はありません。こう考えてみてください。私たちと比較すると、私たちがチェスを学んで負けたら、調整して改善します。
しかしLLMにチェスの戦略を教えても、それがうまく機能するのは既にパターンを知っていたからに過ぎません。改善できないんです。これらのシステムは静的であり、それが最大の問題なんです。この記事では、トランスフォーマーを超えたものを探していることについて語っています。ここにあるように、TORICは訓練に必要なデータとサーバーが少ないモデルを開発したいと考えています。
ある人物は、今日最も人気のあるモデルの基盤となっているトランスフォーマーを超えた新しいモデルアーキテクチャを考案することでこれを実現すると述べました。資料によるとそうです。そしてTORICは、モデルトレーニングのさまざまなステップを単一のプロセスに統合したいとも考えています。これは非常に興味深いことです。なぜなら、トランスフォーマーを超えることは難しいとは言いたくありませんが、新しいものを開発することはかなり難しいからです。
トランスフォーマーを超える新アーキテクチャへの挑戦
もちろんそれが彼が資金を持っている理由であり、私はそれができないと言っているわけではありません。間違いなくできると思いますが、どのような方法やどのような新しいアーキテクチャを達成しようとするのかを見るのは興味深いでしょう。そしてもちろん、ここでの鍵は、サンプル効率の良い方法を得ようとしているということだと思います。なぜなら、何かを学ぶのに1000万の例を必要としないような、データを効果的にサンプリングできる人間のような方法を得ることができれば、それは本当に本当に効果的になるからです。
もちろん、彼らは大規模なニューラルネットワーク、ほとんどの最先端AIモデルの基盤となる脳のような数学を使用するつもりだと述べているのがわかります。しかし会社は、ニューラルネットワークをトレーニングするための標準である勾配降下法を含め、これらのモデルの一部がどのように開発されるかを再考するつもりです。勾配降下法は基本的に、現在のAIを得るために使用する段階的な調整方法です。
しかし彼は、これが人間のような知能に到達するための効果的な方法ではないかもしれないと考えています。つまり、業界標準を使用しないのはかなり野心的です。なぜなら、それは物事を行う方法全体を再考するようなものだからです。もちろん、それこそが実際に画期的進展を達成する方法なんです。なぜなら、全員が同じ方法で考えているなら、彼らが言うように、誰も全く考えていないことになるからです。
もちろん、これは信じられないほど野心的だと言わざるを得ません。AIハイプトレインに乗ろうとしているわけではありませんが、ここで起こっていることのいくつかを読めば、明らかに信じられないほど野心的なものです。ここにあるように、TORICが開発するモデルは、現在の最先端モデルの100分の1のデータで済むことを目指していると書かれています。その後、会社は会社の製品開発を自動化するAIエージェントを開発します。これは狂気です。
自己複製工場からテラフォーミングまでの壮大なビジョン
そして彼らが会社の最初の製品が何に取り組むかを想定しているかを見てください。産業自動化、そして最終的には自己複製工場の構築、そして潜在的にはカスタムデザインを自動的に作成するバイオマシンの構築、あるいは惑星のテラフォーミングまでだと述べています。資料にはそう書かれていました。私たちはAIで行き過ぎていないか確信が持てません。
つまり皆さん、惑星を変換してテラフォーミングするAIを開発することは可能です。なぜなら、知能には本当に考えてみると限界がないからです。しかしそれを声に出して言うだけで、超超SF的に聞こえます。自己複製工場。つまり、それは信じられないほど野心的です。そしてテラフォーミング惑星は、私たちの現在の能力から非常に遠いものです。
つまり、それは単にワイルドなんです。つまり、これは明らかに明らかに明らかに野心的な会社です。だから彼らはこれほど多くの資金を調達しているのだと推測します。そして彼らの目標は明確に述べられています。そして、この会社がどのように機能するかを見るのは非常に興味深いと思います。どうやら、会社が何と呼ぶかというと、彼らは準惑星の名前であり、単一のアルゴリズムを持つローマの女神の名前であるCeresという名前のモデルに取り組んでいると言うつもりです。
つまり、何が起こっているのかを見るのは非常に興味深いでしょう。私の意見を聞きたければ、懐疑的だと言いますが、これは投資家の資本を燃やすつもりなら取るべき正しい種類のムーンショットです。なぜなら、彼らが克服しようとしている方法について考えるとき、勾配降下法について考えるとき、それはあまりにもうまく機能するからです。
現在のパラダイムの成功と新手法への挑戦
失敗しているわけではないんです。私たちはGPT-3からGPT-4、GPT-o1へと進化し、現在のパラダイムはまだうまく機能しています。まだ画期的進展があります。Opus 4.5が新たな高みを達成したと言っています。GPT-5.2が数学を解いています。そしてもう一つは、賢い人々がすでに試みているということです。勾配降下法は1960年代から存在し、人々はそれを置き換えようとしてきました。
多くの優秀な研究者がいます。今日でもこのツールを使用している理由があります。そしてそれはうまくいくかもしれません。トランスフォーマーには限界があります。彼らはその場で学習できません。彼らは信じられないほどデータに飢えています。彼らは愚かな間違いを犯します。そして業界で人々がどのように勝つかを考えると、通常アウトサイダーが勝ちます。
トランスフォーマー自体は、まったく異なることを試してみようというアプローチから生まれました。アテンション機構も、明白な次のステップではありませんでした。だから考えてみてください。もし彼がこれをやり遂げることができれば、それはAIの経済全体を変えることになります。現時点では、最先端モデルをトレーニングするだけで数十億ドルが必要です。
ですから、これが実際にうまくいくかどうかを見るのは非常に興味深いでしょう。
コメント