この動画では、AI研究者が自律的に自己改良するAIシステムを開発したという画期的な研究について解説している。研究チームは囲碁のAlphaGoにおける「第37手」のような革新的な発見をモデル架構の分野で実現したと主張しており、1,773回の自律実験を通じて106の新しい最先端線形注意架構を生成した。この技術は自己対戦学習メカニズムを用いており、計算資源を投入するほど性能が向上する特性を持つ。人間を大幅に上回る速度でモデル架構を発見するこの技術が再現可能であれば、AI開発の加速化と未来の前倒しが実現される可能性がある。
AI界の転換点：自己改良するAIの登場
過去数週間で、AI分野でかなり興味深い、そして極めて重要な出来事がいくつか起こったんや。例えば、大規模言語モデルが何のツールも使わずに国際数学オリンピックで金メダルを獲得したことや、イーロン・マスクとサム・アルトマンが2030年までに5000万個以上のGPUをオンラインにしたいと言ったこと、またサム・アルトマンが100万GPUクラスターを100倍にして1億GPUにしたいと言ったことなんかがある。
それからGoogleが100万個目のGPUをオンラインにして、似たようなことをやろうとしてることもあった。この数週間で、こんな色んなことが起こってるんや。文字通り、これらの2つの発言や出来事があってから2週間くらいしか経ってないと思う。
そして今度は、これらすべての中で最も重要かもしれない出来事が起こった。もしこの研究が再現可能で、このチームのこの大きな主張が実際に言ってる通りの規模やったら、わしらは非常に興味深い時期におることになる。
当然ながら物事は非常に速く動いてるし、これからも更に加速し続けるやろう。でももしこれが正しくて、この研究が再現可能やったら、これはおそらくAI分野にとって最も重要な瞬間の一つになるかもしれん。
AlphaGoの第37手の再来
このチームは、モデル架構発見において「AlphaGoの瞬間」を持ったと主張してて、AlphaGoの第37手を直接参照してるんや。知らん人のために説明すると、囲碁は古代のボードゲームで、ゲーム内の手数が宇宙の原子の数より多いゲームなんや。そして人類は何千年もこのゲームをプレイしてきた。
第37手っていうのは、特に今まで見たことがない新しいゲームの手で、AIが自己対戦っていうメカニズムを通じて開発したもんや。自己対戦って何かって？自己対戦っていうのは、モデルをこの容器の中、この空間の中に置いて、自分自身と対戦させるんや。そしてその背後により多くの計算資源を追加していく。
長くプレイすればするほど、より多くの計算資源を投入すればするほど、それはより良くなっていく。そして何千年も存在してきたこのゲームで、全く新しいゲームの手を発明して、その分野の世界最高のプレイヤーを打ち負かしたんや。これは明らかにかなり深遠なことやった。
このチームは、モデル架構発見において、それと非常に似たものを持ってると主張してるんや。もしこれが正しいなら、その含意は本当に測定不可能や。特に人々がこれを再現し始めて、これを改良し、AI分野の異なる領域に似たようなことを適用し始めたらな。
自己対戦のメカニズム、つまり基本的にボタンを押すだけで、より多くの計算資源を投入すればするほど、より多くのGPU時間を投入すればするほど、より多くの計算を経るほど、より良くなって、より多くのことをするっていうのは、かなり深遠なことや。
驚異的な実験結果
いくつか例を示すけど、時間を無駄にはせん。今起こったことから最も重要な例を示すで。彼らは20,000GPU時間で1,773の自律実験を実行し、最終的に106の新しい最先端の線形注意架構を作成したんや。
人間のベースラインとして何を使ったか知りたいやろうけど、彼らはDelta-netアーキテクチャを使った。これは超有名なアーキテクチャではない。トランスフォーマーアーキテクチャのように文字通り誰もが知ってるようなもんではないけど、トランスフォーマー以降に出てきたもんや。それは良いアーキテクチャや。
つまり、良い人間のベースラインやったってことや。狂ったようなもんではない。最前線にあるようなもんではないけど、確実に笑い物にされるようなもんでもない。
このモデルは、今読んだ通り、20,000GPU時間で1,773の自律実験を通じて、106の新しい最先端線形注意架構を作成した。これは人間ができることよりもはるかに、はるかに、はるかに、はるかに速い。
本当に比較にならない。考えてみると、ちょっと笑えるくらいや。これの興味深いところは、これが最前線を置き換えてるって事実ではない。これらのものが最前線を置き換えるかどうかは明らかではない。全く置き換えないかもしれん。
興味深いのは、これが全く起こってるってことや。つまり、より多くの計算資源を投入すればするほど、より長く、より長く考えるほど、より多くの計算資源でスケールするほど、より良くなるような自己対戦モデル架構発見メカニズムの証拠を今持ってるってことや。
それは人間を上回る。じゃあ超知能って何や？超知能っていうのは超速度知能、実際に定量化できるのはそれや。確かにより多くの計算をするやろうけど、AlphaFoldを見ると、人間がAlphaFoldがやることをできないわけではない。
AlphaFoldはただ10億年を節約してくれるだけや。超知能っていうのは超圧縮、超時間蒸留なんや。それがここでの大きなことや。それが超知能や。
未来の前倒し
モデル架構発見におけるAlphaGoの瞬間っていうのは狂ってる。この研究が再現可能やったら、わしらは劇的に加速してる。わしらは未来を現在に引き込んでるんや。言葉で表現できないような深遠な方法でな。
そしてこの特定の実験がその一つやってことではない。これが何かが起こってることの証拠やってことや。そしてこれはより良くなるやろう。それについてのすべてがより良くなる。より多くの問題空間に適用されるやろう。
そして興味深いことに、今これを持ってるから、Alpha Evolveを持ってる、異なる計算アーキテクチャを設計するモデルを持ってる、これらすべてのことが再結合的爆発を作り出してるんや。情報の空間、データの空間、証拠の空間、次のパラダイムを加速するために使えるアルファの空間が指数関数的に成長してる。
わしらみんながアクセスできる情報、または研究者がアクセスできる情報、これらの研究所がアクセスできる情報は、文字通りカンブリア爆発が起こってるようなもんや。特により多くのこれらの自己対戦アーキテクチャがより多くの問題空間に入っていくにつれてな。
その時点で、基本的にすべてのデータ、すべての情報、すべての異なる結果、すべての異なる出力を取得して、その問題空間内のすべてのノードを見て、それらすべての間の相互接続性を見つけて、もう少し新しいものを開発できる大きなモデルに入れるようなもんや。
それが来る。人々は本当にそれを理解してないと思う。それは非常に近い将来に来る。それは今日のパイプラインにある。しばらくの間、わしはそういうことが起こることに少し懐疑的やった。でも今、このような論文や、大規模言語モデルが国際数学オリンピックで金メダルを獲得するようなことで、これがわしらが進んでる軌道で、再結合空間が成長してることがより明らかになってきた。
現実となった科学的可能性
遠くない将来、すべてのこの情報を大きなモデルに入れることができるようになって、それがわしら自身では見つけられなかったこの問題空間内の相互接続されたものを見つけるのを助けることができるようになるやろう。
これはサイエンスフィクションではない。理論でもない。仮説のようなもんでもない。まあ、まだ起こってないから理論的やと言えるかもしれんけど。
でもわしらはこれらのことが可能やっていう証拠を持ってる。そしてそれが重要なすべてや。そして今、それらは今日起こってる。今日起こってるんや。
だからこの含意はかなり深遠や。もしこれが再現可能で、もしこれが実際に彼らが言う通りの規模やったら、彼らはそれをAlphaGoの第37手と比較してる。わしは部分的に懐疑的や。
もっと多くの人々がこれについて話すのを見たい。もっと多くの作業がここで行われるのを見たい。これが異なる空間に適用されるのを見たい。これが改良されるのを見たい。そしてそうなると思う。そうなると思う。
変化の時代
それを言った上で、わしらはここにいる。あんたもここにいる。画面に写真を出すから、何のことを言ってるかわかるやろう。
集中する時や。集中する時や。物事は今速く変化してる。そう、そこで終わりにする。何を言ったらええかもわからん。そこで終わりにしたい。過去数本の動画でそうやったように、わしは言葉を失ってる。
物事は非常に速く起こってる。文字通り毎日、わしの心は吹き飛ばされる。最近は日常的に心が吹き飛ばされるような感じや。そしてこれは極めて心を吹き飛ばすようなことや。そしてそれが近いうちに止まるとは思えない。
そういうわけで、また次の動画で会おう。
コメント