この動画では、AI研究者が「知能最適化」という概念について解説している。人間の脳が一定のIQ閾値を超えると全ての認知プリミティブを生成できるようになるのと同様に、AIモデルも一定の能力に達すると全ての表現と操作が可能になり、それ以降の性能向上は主に速度と効率性の問題になるという理論を展開している。グラフィックスの三角形数による例を用いて、AIの能力向上も同様の飽和点に達する可能性を示唆している。
知能最適化という概念について
わしはこの「知能最適化」っちゅう概念について、もうかなり長いこと話してきてんねん。動画でも何回か触れたし、インタビューでも言うたし、ブログ記事でも書いてきた。でも今また改めて話す価値があると思うねん。特に今、どんどんベンチマークが飽和状態になってきてるのを見とるとな。
でも同時に、大半の人らの主観的な体験、つまりチャットボットから得られる知能っちゅうもんは、減ってきてるんかどうかはよう分からんねん。確実に言えるのは、モデルの能力に飛躍的な向上があるたびに、わしらはそれを使ってできることをどんどん見つけて、より自律的になってきてるっちゅうことやな。
グラフィックスの三角形数による類似例
でも同時に、こんなことを投稿してる人らもようけおるねん。90年代から2000年代にかけて、グラフィックスが急激に向上してた時期に、グラフィックスの向上に対する認識っちゅうもんは、数万個の三角形に達したあたりで実際にはなだらかになってしもたんや。
知らん人のために説明すると、三角形っちゅうのは基本的にメッシュを定義する方法なんや。ビデオゲームやCGIでな。十分高い解像度になってしまうと、人間の目にはもう違いが分からんようになってしまうねん。
60個の三角形やったら、何なんか全然分からんレベルや。600個になったら「ああ、これはなんとなくトーマス・ジェファーソンやな」って分かる。6000個になったら「よし、これはかなりしっかりしたメッシュやな」って思う。でも質的には、6万個と60万個、いや600万個の間にはそんなに大きな違いは感じられへんねん。これは実際には数桁の飛躍なんやけどな。
LLMにも同じことが起こるのか
それで人らは疑問に思い始めてるねん。LLMがもっともっと大きくなった時も、同じことが起こるんやろうかって。わしはその答えはイエスやと思ってる。その理由を説明するわ。
LLMの能力について話す時、これは明らかにりんごとオレンジを比べるようなもんやねん。トランスフォーマーの動作方法は人間の脳の動作方法とはちょっと違うからな。でも同時に、ある程度の収束も見られるねん。つまり、タスクを処理する方法、タスクを表現する方法が、人間の脳と似たような部分があるっちゅうことや。
知能の構成要素
知能って実際何から成り立ってるんかって話になると、問題解決なんか？自由エネルギーを減らすことなんか？って考えるかもしれん。でもそれは結果を見て、結果から特徴づけようとしてるだけや。
知能の構成要素を見てみると、認知プリミティブとか認知タスクって呼ばれるもんがあるねん。基本的には、情報をどう表現するか、そしてその情報をどう操作するかや。それが根本的に知能っちゅうもんの本質なんや。頭の中で情報を表現する能力と、その情報を有用で効率的な方法で操作する能力やな。
第一原理に分解して考えると、知能っちゅうのは表現と操作に関するもんや。これが わしらが話してる認知プリミティブやねん。
人間のIQと認知プリミティブの関係
人間を見てみると、ある閾値があるねん。だいたいIQ130から140あたりで起こるんやけど、測定方法とかにもよるで。みんな「IQは悪い測定方法や」って言うけど、確かにIQは悪い測定方法や。でもGDPが悪い測定方法やけど何かを測ってるのと同じで、IQも何かを測ってるねん。
歴史を通じて賢い人らを見てみると、IQ130から140を超えたあたりで興味深いことが起こるみたいやねん。脳があらゆる認知プリミティブを生成できるようになるんや。つまり十分な時間と努力があれば、量子物理学でもチェスでもコンピュータープログラミングでも、心に決めたことはほぼ何でも学習できるようになるっちゅうことや。
速度と知能の関係
「なんでIQはそれ以上も上がり続けるんや？」って思うかもしれん。また、これも測定方法によるねん。速度がよくG因子や流動性知能の代理指標になるからや。つまり同じことを達成できるけど、他の人より速くできるっちゅうことやな。だからチェスのELOスコアは大まかにIQと相関があるねん。
ELOスコアが高いほどIQも高い傾向がある。これはグランドマスター同士の比較でほぼ一対一の関係やからな。もちろん常により複雑な要素があるけど、これは大まかな経験則やねん。
機械における知能最適化
機械で知能最適化を越えたら、まだそこまで到達してないと思うけど、基本的にはトランスフォーマーでもエージェントモデルでもワールドモデルでも、ロボット用でも何でも、汎用モデルが必要なあらゆる表現を実行できて、その表現に対してあらゆる操作を実行できるようになるっちゅうことや。
その段階に到達したら、すべてのモデルは根本的に同じ能力を持つようになるねん。特定のタスクに特化したモデルはあるかもしれん。小説執筆用、医療問題解決用、ロボット制御用とかな。
でもそれ以上になると、知能最適化に到達したら、つまりすべての閾値を越えたら、それが真の汎用知能やって言う人もおるやろうな。文字通りすべての認知プリミティブを表現してるからな。わしはそれは人工超知能やと思うけどな。
人間の限界と機械の可能性
なぜなら大半の人間は、本当に高いIQの人でも、あらゆるプリミティブを表現する能力があっても、実際にあらゆる認知プリミティブを表現できる人間は一人もおらんからや。十分賢いから、十分な時間と訓練があれば理論的には可能やけど、学習できる時間は数十年しかないし、脳も石灰化してしまう。
文字通りの石灰化やなくて、チェスの用語で、神経可塑性を失うから新しいことを学ぶのがどんどん難しくなるっちゅうことや。
その段階に到達したら、それをAGIと呼ぼうがASIと呼ぼうが、どうでもええねん。その段階を越えたら、基本的には見栄のためのポイントを稼いでるだけや。つまりパラメータ数を増やしたり、深くしたり、密に接続したりできるけど、もう関係ないねん。
速度と効率性の重要性
なぜなら神経ネットワークは今やあらゆる認知プリミティブを表現する能力を持ってるし、その認知プリミティブに対してあらゆる操作を実行できるからや。つまりボトルネックは速度と効率性に切り替わるねん。これはわしが長いこと言ってきたことや。
その認知的地平線に到達したら、すべての認知プリミティブとすべての操作を飽和させた時点で、それが知能最適化や。わしらのモデルに十分高いG因子相当のものがあって、設定したことは何でもできるようになったっちゅうことや。
その時点で本当に重要になるのは、どれくらい速いか、どれくらいエネルギー効率が良いかや。これは基本的に、実行にどれくらいのRAMが必要かと相関するねん。巨大なモデルがあって、メモリのフットプリントが小さいっちゅうことは、処理のフットプリントも小さいっちゅうことで、エネルギーのフットプリントも小さくて、より速くより効率的やっちゅうことや。これらは全部高い相関があるねん。
もちろんもっと複雑な数学があるのは知ってる。アテンション・アルゴリズムとかもあるしな。だから単純にモデルサイズだけの問題やないけど、良い代理指標やねん。メモリ上で小さいモデルの方が速く動作する。これに異論を唱えるのは難しいやろ。
知能最適化は最大知能ではない
この考えを提起したかっただけやねん。これはわしがずっと考えてきたことで、他の人らもこれに気づいて疑問を持ち始めてるのは嬉しいことや。
わしは知能最適化に到達すると思ってる。でもこれは必ずしも最大知能やないねん。これは明確にしておきたいポイントで、「実は」みたいに聞こえるかもしれんけど。
実際はもっと賢くなり続けることは可能やと思う。つまり認知プリミティブとして、どんどん高次の抽象化を表現し続けることは可能やろうな。
例えば、人類全体のタイムラインを記憶上の単一オブジェクトとして表現できるかっちゅう話や。それにはたぶん10兆パラメータよりもはるかに多く必要やろうな。数百兆パラメータが必要かもしれん。完全な推測やけどな。
専用システムとの役割分担
でもポイントは、少なくともそのより良い表現を持つシステムを構築したり使用したりするのに十分な認知プリミティブと認知操作を表現できるようになったら、自分の頭の中にその表現を持つ必要はないっちゅうことや。
映画『デューン』のギルド・ナビゲーターみたいなもんやな。彼らが何千年もスパイスを大量摂取したのは、すべての可能性空間を表現して、ハイパースペースやったかな？『デューン』では何て呼んでたかは忘れたけど、とにかくそこをより効率的に移動するためやった。それは文字通りすべての可能な未来を頭の中に単一の表現として保持できる例やねん。
それは基本的に時間のためのガウシアン・スプラットみたいなもんやな。それにはたぶん10兆パラメータ以上が必要やと思う。新しい効率性を見つける可能性もあるけどな。
でもそれは人間には本当に保持できない、より大きくより洗練された認知プリミティブの例や。でも「何の意味があるんや？」って思うやろ。専用に作られた機械、ASICに委任できるなら、その汎用目的の汎用知能、AGIでもASIでも、その非常に専用に作られた機械をプログラムするだけでええねん。
技術の分化と特化
星図用のAlphaFoldみたいなもんやな。だからどんどん分化が進むのを見ることになる。これは現段階で期待されることや。深層学習みたいな汎用目的技術が本当に飽和し始めた時に起こることやねん。「ああ、これはロボットモデルとして使える、これはタンパク質発見に使える、これはエージェントモデルに使える」ってな具合にな。
だから一つのモノリシックなモデルになるとは期待してない。でもたぶんモノリシックな基盤モデルを汎用知能として持つことにはなるやろうな。それらが他のエージェントや他の専用ツールを管理することになる。人間がやるんやなくて、より速くより良くより賢くより安くできるからやねん。
今後の展望と不確実性
とにかく、この考えについてどう思うか聞かせてくれ。これの多くはまだ人間の脳との類推に基づいてるねん。だから実際に作ってみるまでは分からんやろうな。でもこれがわしが現在予想して期待してることや。時が経てば分かるやろ。
機能的知能に上限はないって分かるかもしれんし、もしかしたらわしらが間違ってて、無限により洗練された抽象的な認知プリミティブがあって、トランスフォーマーや深層学習ネットワークがその潜在空間で発見できるかもしれん。
でもそうやないかもしれんな。確実に、時間と空間のすべてを単一の認知プリミティブとして表現する能力について、「何の意味があるんや？」って思うかもしれん。
でもたぶん、それがウルトロンがやってたことなんかもしれんな。ちなみにアベンジャーズ映画のウルトロンやで。ウルトロンはモデル化して「よし、人類の運命を表す認知プリミティブを頭の中に保持できる。さっさと結論に行こう」って言えたんやな。
誰にも分からんけどな。これの多くはフィクションやし、一部は類推やし、一部は神経科学とコンピューター科学の間の代理指標や。その代理指標はやっぱり代理指標でしかないねん。
っちゅうことで、だらだら喋るのはここで終わりにして、見てくれてありがとう、乾杯や。元気でな。
コメント