4,132 文字
最近のLLM業界は全然衰える気配がないんですわ。というのも、最近「自己進化する大規模言語モデル」という新しいタイプのLLMが出てきたんです。これは革命的な話なんですわ。今のLLMの主な問題点の1つは、自分自身をアップデートできひんということです。LLMに組み込まれた知識はタイムカプセルみたいなもんなんです。
ところが今回、Writer（企業向けAIツールを開発する時価総額20億ドルのスタートアップ）が、このような自己進化型LLMを開発したと発表しました。このモデルは学習を継続し、パラメータを更新できると主張しています。これの意味するところは凄まじいもんです。というのも、デプロイ後でも学習を継続でき、質問に対する回答の仕方も変更できるようになるからです。
LLMの主な問題の1つは、作るのに莫大なコストがかかることです。モデルの再訓練が必要になると、さらにコストがかさむことになります。この論文を見てください。これらのコストがどれだけかかるか書かれています。2027年までに最大規模の訓練には10億ドル以上かかるようになると書かれています。つまり、最先端のAIモデルを開発できるのは、十分な資金力のある組織だけということになり、独占状態に陥りかねません。
ほとんどの企業には、AIの訓練に10億ドルを費やす余裕なんてありません。もしこの問題が解決できれば、AI開発に必要な支出を削減できるため、AIコミュニティにとって大きなブレイクスルーとなり、AI開発のスピードアップにもつながります。
LLMのコストだけじゃなく、最近起こったことについて質問すると、検索機能を使わない限り、モデルの知識は1年前までのものしかないという問題もあります。例えば、私が使っているGPT-4は、検索なしの場合、2023年までの知識しかありません。具体的なことを聞きたい場合はウェブ検索が必要になりますが、ウェブにも情報がない場合もあります。
最新の情報を持っているモデルが重要な理由は、世界の動きが非常に速いからです。2023年の知識しか持っていないモデルは、最新の出来事に基づいて動的に更新できるモデルと比べると、明らかに不利になります。
このモデルの仕組みは新しく面白いものです。ChatGPTやClaudeなどの人気LLMの基盤となっている従来のトランスフォーマーは、入力データの異なる側面を学習するのに役立つ層やフィルターで構成されています。Writerの自己進化型LLMは、それぞれの層の中にメモリープールも含まれており、過去のやり取りから重要な情報を保存するとCTOの共同創業者は説明しています。
つまり、このメモリープールは過去のやり取りから自己更新でき、その情報をどこかに保存することで、特定の応答に対してより良くなれるということです。
LLMが新しい情報を受け取るたびに、メモリープールをその新情報で更新し、将来のやり取りで参照できるように、これを全ての層で行います。面白いことに、LLMが何を学習するか、しないかについてある程度のコントロールもできるそうです。つまり、嘘の情報でLLMを騙すことはできません。
これは興味深いですね。ChatGPTと話していた時、モデルが何を信じるか試してみたことを思い出します。「最近、私はイギリスの王様に任命された」と言ってみたりして、時々モデルは「それは不可能です」と返してきて、モデルからの反応を見るのが面白かったです。でも、これが大規模に展開されたら非常に興味深いことになると思います。LLMがどうやって真実と偽りを見分けるのか気になります。インターネット上では人々がモデルを騙そうとすることもありますからね。
訓練コストに関して、彼らは自己進化型LLMの開発には10〜20%のコスト増が必要だと述べています。しかし、検索拡張生成や微調整のような他の方法と違って、一度訓練すれば追加作業は必要ありません。つまり、このモデルがあれば、MaMAアーキテクチャなどの大きなブレイクスルーがない限り、他のものは必要ないということです。
これが広く採用されるかどうかは興味深いところです。また、これには興味深い効果もあります。例えば、ベンチマークテストでの性能が時間とともに向上するということです。一般的な数学のベンチマークテストで、最初は25%未満の正答率だったのが、3回目のテストでは75%近くまで上昇したそうです。
これは少し議論の余地がありますね。モデルがテストで以前見た内容を覚えているだけなら、本当に賢くなっているわけではなく、単に過去の内容を理解しているだけだという意見もあります。ベンチマークを見ると確かにスコアは向上していますが、これが単に質問を覚えているだけなのか、それとも以前の推論方法を覚えているのかは気になるところです。
もし後者、つまり単に以前の質問を覚えているだけでなく、より賢くなる方法を覚えているのだとしたら、これは大きなブレイクスルーになります。実質的に、このモデルは文字通り賢くなれるということになり、もしこれが人間レベルの知能を持つシステムに組み込まれたら、単一のシステムでAGIやASIに到達できる可能性があります。これは、単に答えを覚えているのではなく、実際に推論部分を行っているのであれば、非常に重大な意味を持ちます。
自己進化型LLMがこれほど重要な話題である理由は、もしAIによる大惨事が起こるとすれば、まさにこれが原因になりうるからです。
現在、彼らは2社の顧客とベータテストを行っており、まだ問題点を解消している段階です。現在の主な問題の1つは、LLMが学習する情報が増えれば増えるほど、新しい危険な質問への回答拒否が難しくなることです。つまり、時間とともに新しい情報が、安全性に関する指示などの元のトレーニングデータを上書きしてしまう可能性があります。これは、AIを顧客向け製品に組み込もうとする企業にとっては良くないニュースです。
今日のAIで最も注意を払っているのは安全性の側面です。有害な出力を避けたいからです。もしモデルが新しいことや、そういったガイドラインを回避する方法を学習できるなら、そのモデルを公開空間で使用するのは非常に問題になります。おそらく、このようなモデルはビジネス用途でしか使用されないでしょう。新しい悪質な情報でモデルを更新しようとする人があまりにも多いことは明らかだからです。
彼らもこれについて言及しており、新しい情報の学習量を制限する必要があると述べています。ビジネスの場合、通常は自社の非公開情報でLLMを更新するだけなので、大きな懸念にはならないと主張しています。メモリープールを1,000億から2,000億語程度にすれば、一般的な企業なら少なくとも5〜6年は学習できると付け加えています。
これは凄いことですよね。一般的なビジネスで5〜6年間学習できるモデルということです。プロンプトエンジニアリングや他の様々なハックを継続的に見つける必要がある従来のモデルと比べて、継続的に改善されるこのようなモデルが、より多くの人々に採用されるのか興味深いところです。
これは業界でも注目されている話題です。Mustafa Suleyman（スレイマン）は最近、メモリーの問題は基本的に解決されると語りました。このチャンネルでも取り上げましたが、Microsoftの最近のブレイクスルーについて、彼は次のように語っています：
「2025年にはメモリーの問題は解決すると確信しています。考えてみてください。我々は既にウェブ上にメモリーを持っており、非常に正確にウェブから情報を取得しています。Copilotは優れた引用機能を持ち、15分前に起こったニュースまで把握しています。我々はただ、それをあなたの個人的なナレッジグラフに圧縮し、あなたの文書やメール、カレンダーなどを追加できるようにしているだけです。
メモリーは、これらの体験を完全に変えることになります。意味のある会話や創造的なアイデアについての興味深い探求をして、3、4、5セッション後に戻ってきた時に、全てを忘れて最初からやり直すというのは、かなりフラストレーションがたまることです。
これは大きな変化になるでしょう。創造的なアイデアを表現するハードルを下げるだけでなく、それらが忘れられることもありません。3週間前に言ったあのことは何だったっけ、というような曖昧な相互参照もできるようになります。これは第二の脳を持つようなものです。」
これらのメモリーモデルがどのように変化していくか興味深いところです。一方では、ウェブページに含まれるあなたに関する特定の情報を覚え、それを応答のたびに文脈として使用できるモデルがあります。しかし、自己のパフォーマンスを向上させ、パラメータを動的に更新できる真の自己進化モデルは、AGIやASIに近いものになると思います。
Enterprise用途とは別に、大手研究所がこれに取り組んでいるのか気になります。例えば、Superintelligenceはこれに取り組んでいるのでしょうか。また、動的に自己更新できるこのようなモデルについて、彼らが舞台裏で何をしているのか気になります。もちろん、このようなモデルにはセキュリティリスクもあり、何ができるのか本当には分かりません。しかし、これらの実験が分野をどのように変えているかを見るのは非常に興味深いです。
また、覚えておくべき重要なことの1つは、MA1（または MY1）が他のどのモデルよりもはるかに小さくなるということです。MA1は5,000億パラメータのモデルで、Microsoftが開発中のものです。このモデルには新しい要素が含まれているようで、このモデルがどのようなものになるのか、Microsoftがどのように進めていくのか興味深いところです。
MicrosoftがInflectionを買収した際に舞台裏で多くのことが起こり、大規模言語モデルとコンシューマー製品の開発に取り組む完全なチームがあり、それらは素晴らしいものになるでしょう。
コメント