この動画では、階層的推論モデル、国際数学オリンピックでの金メダル獲得、モデルアーキテクチャ発見におけるAlphaGoモーメントという3つの革新的な進歩を取り上げ、これらが人工超知能への急速な進歩の証拠であると論じている。強化学習による自己学習能力の向上により、データの壁が取り払われ、数学をマスターすることで宇宙の根本原理を理解できるようになると主張している。
人工超知能への急速な進歩
よっしゃ、これはちょっと構造化されてない雑談みたいになるかもしれんけど、頭の中で何かがまとまったんや。この1週間で考えとったことがあるんやけど、いくつかの発表があったんや。個別に見ても十分すごいもんやった。
ほんで、これから話すことを簡単に予告しとくわ。まずは階層的推論モデルの論文や。それから、Google DeepMindとOpenAIの両方が国際数学オリンピックで金メダルを取ったっちゅうことや。最後に、ASIアーキテクチャ、つまりモデルアーキテクチャ発見におけるAlphaGoモーメントやな。
これが動画を作る理由やし、共有したかったことなんや。なんでかっちゅうと、俺の直感では、これはまあ話半分に聞いてもらってもええけど、俺らが見とるのは新しいクラスのプリミティブのブートストラップやと思うんや。
深層学習の進化とプリミティブの変遷
深層学習の分野にしばらくおった人やったら、LSTMのことを覚えとるかもしれん。長短期記憶っちゅうやつや。これは直接的な前身かどうかは分からんけど、今あるGPTの前身やな。その頃は冗談で「脳はただのLSTMや」なんて言うとったけど、その後トランスフォーマーが出てきて、そんな感じで進化してきたんや。
「attention is all you need」みたいな論文を見ると、方向性として次がどこに向かうかが分かってくるんや。そんで俺らが見始めてることの一つ、包括的なパターンの一つは、データに必ずしも依存しない強化学習やねん。
モデルがブートストラップされて、今度は自分で自分を訓練できるようになる段階に来とるんや。特に数学みたいな問題にアプローチする方法について考えてみると、数学は証明可能やし、決定可能やねん。公式や証明があったら計算できるっちゅうことや。いつもそんなに単純やないけど、同時に人がどうやって数学を練習するかを考えてみてや。
自己学習による能力向上
数学の天才が黒板と紙とペンと鉛筆を持って、自己練習、自己対戦によって数学がうまくなれるんや。数学をこうやってマスターできるだけやなくて、階層的推論とかニューラルアーキテクチャの発見もマスターできるんや。
ここは慎重に言わんとあかんけど、全部が全く同じパラダイムで動作するとは言うてない。けど言いたいのは、俺らが本当にブートストラップしとるのは、強化学習でできることの次のレイヤーやっちゅうことや。
やから、これが人工超知能への離陸の始まりやとか、人工超知能に直接つながる人工的な認知プリミティブをもう発明したんやとか言うのは、決して誇張やないと思うで。
人工超知能は間近
今年の初めに動画をいくつか作って、人工超知能が近いって言うたんや。その時は主にグラフとチャートを見て、「ほら、全部右肩上がりで指数関数的やで」って言うとっただけやった。それから数か月たって、実際にその結果の一部を見られるようになったんや。
人々に残したい一番の教訓は、壁なんてないっちゅうことや。壁がないって言うと、「もう従来のLLMスケーリングは使い果たしたやろ。もっとデータ、もっとトークン、もっと訓練っていう、あの手のやつは得られる結果という点で自然減衰に従ったやん」って言うかもしれん。
けど、そこで推論時間計算、つまり推論による新しいスケーリング法則を見つけたんや。そして今度は強化学習で他にできることによる別のスケーリング法則を見つけとるんや。データの壁はほぼなくなったようなもんや。
数学の重要性と宇宙の言語
次は数学や。数学が得意になったら、他の動画でもさんざん言うたけど、数学は文字通り俺らがやってる他の全てのことの基盤やねん。物理学から化学、暗号学、コーディング、機械学習まで、文字通り他の全部が数学やねん。
個人的に知ってる物理学者らがおるんやけど、数学は宇宙の基本的な言語やって信じとる人らがおるんや。数学をマスターしたら宇宙をマスターするっちゅうことや。だからって神みたいな力を手に入れて現実をプログラムし直せるっちゅう意味やないで。少なくともそうならんことを期待しとるわ。
その可能性を否定するつもりはないけど、ただ言いたいのは、数学が俺らが知ってる現実の最も原始的で最も低レベルなオペレーティングシステムやっちゅうことや。
パラダイムシフトのパターン
これは全部めっちゃワクワクすることや。この雑談の最後に、こういうパターンに注意を払い続けてくれって話をしたいんや。「このパラダイムは枯渇してきとるし、次のパラダイムを思いつくのに5年か10年かかる」って人が言うんやけど、文字通り数週間か数か月後に新しいパラダイムを思いついてまうんや。
この数年で前に言うたことがあるんやけど、金が行くところに結果がついてくるんや。「いつもそうやないやろ」って人は言うけど、反例はいつでも見つけられる。けど、たいていそういう反例は規則を証明する例外やねん。
ここでの規則っちゅうのは、こういう新しい領域があって、ゴールドラッシュがあるときや。ゴールドラッシュが起きとることに異論はないと思うで。時にはNvidiaの株価を見たら文字通りそうやし、ゴールドラッシュが起きとるんや。やからたくさんの金が流れ込んでくる。
AIの冬は来ない
多くの人が次のAIの冬が始まるのを待っとるか、次の制限が始まるのを待っとるんやけど、実際にはそんなんは見えてない。1年ほど前に動画を作ったんやけど、「特異点はキャンセルされた、壁に備えろ、減速に備えろ」って言うたんや。
その動画を作ったのは、アイデアをテストするためやった。実際に全部を使い果たす可能性があるんかどうかをな。けど分かったのは、この可能性空間、このアルゴリズム的で数学的な可能性空間には、新しいアプローチと最適化のための余地がめちゃくちゃあるっちゅうことや。機能的な限界が本当に見えてないんや。
ガラスの天井は俺らが予想できるよりもずっとずっと高いんや。やからないのと同じようなもんや。過去にAIが息切れしとるとか特異点がキャンセルされるかもしれんとか言うたことがあるけど、それらは破滅的に間違うとったみたいやな。
人工超知能への急速な接近
その後、今年の初めに作った動画で人工超知能が近いって言うたんやけど、近いだけやなくて、めっちゃ近いみたいやな。もちろん、汎用人工知能があるかどうかについてはまだ議論しとる人がおるけど、俺はもうその議論はせん。
俺らには汎用的な汎用知能があって、経済的に価値のあることの多く、もしかしたらほとんどにおいて、俺らより賢いんや。ロボットに入れるだけやねん。やから俺らが実際に向かっとるのは人工超知能やねん。
もうすぐこれらのモデルを手に入れることになるんや。もうすぐって言うのは、今年の終わりまでにっちゅう意味や。今年の終わりまでやなかったら、来年、次の反復で、この階層的推論モデルとGeminiの同等品の次の反復で、それにOpenAIも忘れたらあかんけど、これらの次の反復では、人間ができへんことか、人間には手に負えんことができるようになるみたいやな。
認知速度の違いと専門家の限界
必要な専門家が多すぎるとか、持っとる専門家より多くの専門家が必要で、持っとる時間より多くの時間が必要やとかいう感じでな。異なるレベルでの認知の違いの一つは、できるかできへんかやなくて、どんだけ速くできるかやねん。
AlphaFold 2と3を見てみ。基本的に数か月で500億年分のタンパク質研究をやったんや。それが俺らが話しとる加速やねん。けど、いつかは違いが出てくると思うで。人間が仮説的にはいつかこの問題を解けるかもしれんっちゅうのと、次世代のモデルが解く問題を人間は絶対に解けへんっちゅうのとでな。
それが俺の個人的な人工超知能のリトマス試験紙みたいなもんや。汎用知能っちゅうのは、人間と競争しとるんや。人間より速いかもしれん。人間の上位n%より速いかもしれん。けど人工超知能っちゅうのは、この問題は人間には解けへんってことや。人間のアーキテクチャでは解けへんのや。
ASIの閾値を越える
それが俺らがもうすぐ見ることになると思うことや。ASIの閾値を越え始めるところで、人間の能力の100パーセンタイルを越えたって感じになるんや。なんでかっちゅうと、AGIは技術的には人間の能力の99パーセンタイルで終わるからや。
それが俺が個人的に予想することや。茶葉を読んだ直感やな。俺の実績を見てみ。当たる時もあれば外れる時もある。けどこれはかなり確信しとる。
見てくれてありがとうな。どう思うか教えてくれや。じゃあな。
コメント