この動画は、AI自身が新しいモデルアーキテクチャを発見する「AlphaGo型」のアプローチについて解説している。人間がボトルネックとなっている現状のAI開発から脱却し、AIが仮説立案・コーディング・テスト・分析を自律的に行うシステム「ASI Arch」の画期的な成果を紹介する。1,700回の自律実験を通じて106個の優秀なモデルを生み出し、科学的発見の指数関数的な加速可能性を示している。
自己改善AIの時代の到来
わしらは今、自己改善する人工知能の時代の入り口に立っとるんや。毎週のように、AIが新しい知識、新しい数学、新しい科学を発見して、それを自分自身に適用するプロジェクトが出てきとる。まだ始まったばっかりやけどな。
でも今日は、モデルアーキテクチャ発見においてAlphaGoモーメントやと主張する真新しい論文があるんや。
それはどういう意味なんや？AlphaGoって何やねん？全部説明したるから。こんな時代に生きとるなんて、めっちゃワクワクするやろ？
人間がボトルネックになっとる現状
よし、最初から説明したるわ。今のところ、科学的発見、特にAI発見の最大のボトルネックは人間なんや。人間がAIの動作方法に関する新しいアイデアを思いついとるんや。
OpenAIがモデルの思考能力を導入した時、それは人間のアイデアやった。Transformerアーキテクチャが発明された時も、それは人間のアイデアやった。でもAIイノベーションが人間に制限されとったら、AIイノベーションは線形にしかスケールできへんのや。でもわしらはそんなん望んでへん。指数関数的なスケールが欲しいんや。
この場合、人間をループから取り除いて、これらのモデルに新しいアイデアを仮説立てし、そのアイデアをテストし、検証する遊び場を与えたいんや。そうすることで、人工知能のAlphaGo型イノベーション曲線の時代に突入するんや。
AlphaGoで何が起こったのか
AlphaGoで何が起こったんか説明したるわ。AlphaGoはGoogleのプロジェクトで、囲碁で世界最高の人間を打ち負かす人工知能モデルを訓練したんや。
これはAI界にとって信じられへん瞬間やった。そして本当に特別やったのは37手目や。これはAlphaGoが打った手で、その瞬間、すべての専門家がそれを見て言うたんや。「まあ、AlphaGoは失敗したな。もう絶対負けるわ」って。それはめっちゃ驚きの手やった。わしは間違いやと思ったんや。
でもゲームが進むにつれて、それが人間には理解できへんような絶対に重要な手やったことが明らかになったんや。そして、それが本当に重要なポイントなんや。AIが自己対戦できて、基本的に無制限の計算リソースを投入されて、勝ち手と負け手のあらゆる組み合わせを試せるようになると、自分で遊び方を学ぶんや。
人間の専門家が何が良い手で何が悪い手かを教えることに基づいてへん。単純に自分で試して、自分自身と何百万回もゲームをして、毎回少しずつ上達していくんや。そして、それがこの新しいシステムを特別にしとる重要な要素なんや。AIが人間の入力なしに自分で学習できるようになると、人間ができなかった、少なくともしてこなかったことを発見できるんや。
新しい方法で物事を見ることができる。人間がいつもやってきた方法の重荷に縛られることなくな。
Box AIの紹介
Boxはわしらにとって素晴らしいパートナーやから、Box AIについて話したるわ。Box AIを使えば、OpenAI、Anthropic、さらにはオープンソースモデルの最新のフロンティアモデルの力を活用して、すでにBoxに保存されとるすべての文書の上に素晴らしいワークフローを構築できるんや。
文書から重要なメタデータフィールドを抽出するんでも、レシートを解析するんでも、請求書をレビューするんでも、何千、何十万の文書に質問するんでも、すべてBox AIで可能なんや。そして最高なのは、独自のRAGアーキテクチャを構築する必要がないことや。
全部やってくれるんや。そしてBoxやから、エンタープライズレベルのセキュリティ、コンプライアンス、ガバナンスがあるのは分かっとる。Boxは10万以上のエンタープライズ組織に信頼されとるから、良い仲間がおるってことや。
ぜひチェックしてみてや。下の説明欄にリンクを貼っとくわ。本当に素晴らしいパートナーやから、最新モデルを彼らと一緒にテストしてみてや。Box AIの上で構築してみてや。
ASI Archシステムの仕組み
では、この論文に戻るで。同じアプローチ、つまりAIに自己対戦をさせるAlphaGoアプローチを取って、それを新しいAIアーキテクチャの発見に適用したんや。そしてこの新しいシステムでは、全く新しいモデルアーキテクチャを完全に自分で仮説立て、コーディング、テスト、分析できるんや。
唯一の制限は、与えられる計算量だけや。
よし、これが実際にどう動くのか説明したるわ。このシステムは「ASI Arch」と呼ばれとる。ちょっと気になることが一つあるのは、これをASI（人工超知能）と呼んどることや。そのカテゴリーに分類するかどうか分からんし、その言葉は確実に重い意味を持っとる。
まず研究者や。過去のすべての実験のデータベースを使用する。arXivのようなウェブサイトからの過去のデータと人間の文献の両方にインスパイアされた、全く新しいニューラルネットワークアーキテクチャを提案するんや。数週間前にレビューした「Darwin Girdle Machine」という論文と非常に似とって、これは上位パフォーマーを親として選び、他の強力なエントリを新しいアーキテクチャを設計する際の参考として使用するんや。
つまり、最良のものを選んで、以前の成功したものに基づいて新しい提案を考え出すんや。
次にエンジニアが働く。研究者のアイデアをコードで実装する。コードを実行し、モデルを訓練し、エラーを自動的にキャッチして修正する。そして、これにより、新しい新規アプローチがコードにバグがあるという理由だけで捨てられることがないようにしとる。
実際にコードを自己修復し、実行されることを確認してから、これが良いアプローチかどうかを判断するんや。
そして分析者がおる。分析者はテストと訓練結果、ログ、ベンチマークに対するパフォーマンスをレビューする。モデルがなぜうまくいったか、いかなかったかを考えて、将来の世代のモデルに適用できる洞察を学習し、実際にこれらすべての洞察と学んだ教訓の記憶を維持するんや。
そしてその進化ループが何度も何度も起こって、これがこの種の自己学習システムの好まれるアーキテクチャのようやな。
システムの成果
よし、成功したんか？実際にアーキテクチャの新しいアイデアを生み出すことができたんか？まあ、そうや。見てみよう。
2万GPU時間で1,700回の自律実験を実行したんや。
それが多く聞こえるなら、確実に多いで。でも覚えとって、コードを書き、仮説を作り、それを考え抜くのに必要なすべてのトークンを出力するだけやなく、実際にモデルを作成し、モデルを実行し、ベンチマークに対して実行しとるんや。そのうち106個のモデルが実際に公開されとる以前のバージョンのモデルより優れとった。
でも、このシステムと、このシステムにおいて人間をボトルネックから取り除くことがなぜこんなにワクワクするかはここにある。2万GPU計算時間ではなく、2千万があったと想像してみてや。そして、それをすべて並列で実行できると想像してみてや。突然、人工知能を改善する新しいイノベーションを発見する能力が指数関数的になるんや。
今後の展望
よし、これは全部何を意味するんや？自己改善する人工知能システムがどんなものかのヒントを得た今、わしらはそれを改善するだけでええんや。そして計算量を投入するだけでええ。それが現時点でのわしらの唯一の帯域制限なんや。そしてAI発見でうまくいくなら、なぜ生物学の発見や医学の発見や基本的に他のあらゆるタイプの科学でうまくいかへんのや？理由はない。
そしてその時点で、もう一度、わしらは計算量を投入するだけでええんや。そして最高なのは、論文、コード、実験、すべてをオープンソース化したことや。すべてがオープンソース化されとる。
だから、これは超ワクワクする論文で、多くの含意があって、複数の会社が自己改善AI論文を発表しとるようや。
AlphaGo を作った同じチームによるAlpha Evolve。この論文。Darwin Girdle Machine。Sakana AIのAI Scientist。ワクワクすることがたくさんある。
この動画を楽しんでもらえたら、いいねとチャンネル登録を検討してくれたら嬉しいわ。
コメント