レオポルド・ブレナーは、状況認識に関する論文で「インテリジェンス・エクスプロージョン」と呼ばれるものについて述べました。彼はAI安全性研究者であり、AIが世界に大きな影響を与えるためには、すべてを自動化する必要はなく、ただ1つのことができればよいという主張でした。その1つとは、AI研究です。もしAIが研究を行い、自己改善できるようになれば、急速な進歩が指数関数的に加速する「インテリジェンス・エクスプロージョン」が起こるというのです。
そして今日、その論文が発表されてからそれほど時間が経っていないにもかかわらず、私たちはこれを手にしています。Sakana AIによる「AIサイエンティスト：完全自動化されたオープンエンドな科学的発見に向けて」です。彼らはAI研究で忙しく、複数のLLMの知識を自動的に統合する方法を見つけ、LLMを活用して他のLLMを調整するための新しい目的関数を発見しました。そして、これらの複雑なタスクにおけるLLMの優れた性能に驚かされました。
これにより、彼らはさらに大きな夢を抱くようになりました。GPT-4oやGemaなどのファウンデーションモデルを使用して、研究プロセス全体を自動化できるのでしょうか。現在、多くのAIモデルが科学者を支援していますが、それらはまだ大量の監督下にあり、自律的にタスクを完了しているわけではありません。むしろ補助的な役割を果たしているのです。
しかし今日、この会社は「AIサイエンティスト」を発表しました。これは、完全自動化された科学的発見のための包括的なシステムであり、LLM（大規模言語モデル）などのファウンデーションモデルが独立して研究を行うことを可能にします。彼らは、オックスフォード大学のForester AI研究所やブリティッシュコロンビア大学の研究者たちと提携し、「AIサイエンティスト」という論文を発表しました。
彼らが作成したものを見てみましょう。そして、AIが完全に自律的に研究を行うことにどれだけ近づいているのか、AIそのものや他の科学分野において、人間の監督なしに科学的発見を進めることがどれだけ可能になってきているのかを考えてみてください。
この報告書では、機械学習研究に適用された、完全にAI駆動の自動化された科学的発見システムを提案し、実行しています。AIサイエンティストは、新しい研究アイデアの生成、必要なコードの記述、実験の実行、実験結果の要約、可視化、そして完全な科学論文としての発見の提示まで、研究サイクル全体を自動化します。
また、自動化された査読プロセスもあり、フィードバックを書いて結果をさらに改善します。生成された論文を人間に近い精度で評価することができます。そして驚くべきことに、それほど高価ではありません。各アイデアは、1つの論文あたり約15ドルのコストで実装され、完全な論文に発展させることができます。これは驚くほど安価です。まだいくつかの欠点があると言及していますが、全体的には実験は肯定的なものであるようです。
AIサイエンティストの概要、その実際の仕組みについて簡単に説明します。すべてはアイデア生成から始まります。アイデアを生成し、革新性をチェックし、そのアイデアがすでに論文化されていないかを確認し、どれほど新しいものかを見極めます。そして、それを評価し、どれほど良いか悪いか、追求する価値があるかどうかを判断します。LLMとAER（AIアシスタントコーダー）を使用してコードを作成し、実験を実行します。実験を行い、計画を更新し、さまざまなデータ、数値データ、プロットなどを取得します。
そして、すべてが完了し、実験とデータが揃ったら、テンプレートから始めて実際のテキストを書き、スクリプトを完成させ、査読に回します。人間の科学者にこの種の作業のフローチャートを書いてもらっても、おそらく非常に似たものになるでしょう。
ステップ1はこのアイデア生成です。彼らは開始テンプレートを与えられ、AIサイエンティストは多様で新しい研究の方向性をブレインストーミングします。LLMは、このブレインストーミング能力において非常に優れていることが示されています。人間と比較してテストされた場合、LLMはより多くのアイデアを生み出す傾向があります。疲れることなく、創造性が低下することもなく、人間よりもはるかに多くのアイデアを常に生み出すことができます。
次に実験を実行し、結果を可視化し、論文を書き、そして自動化された論文査読を行います。ここに、AIサイエンティストによって生成された実際の論文の例があります。拡散モデリングに関する論文です。ご覧のように、AIサイエンティストによって作成されたという透かしがあります。彼らが行っている画像もいくつかあります。この要約が意味をなすかどうか見てみましょう。これは非常に人間の論文のように読めます。最後に参考文献もすべてあります。これは確かに私を騙すでしょう。
スタイルフュージョン、Q学習を通じたトランスフォーマーの適応学習率、グロッキングの解明など、他の論文もあります。彼らは、独自のモデルとオープンソースの両方、多くの異なるモデルを試してきたと言及しています。例えば、GPT-4oとSonetを使用していますが、DeepSeekやLlama 3も使用しています。独自のモデルがより高品質の論文を生成すると言っていますが、それは将来変わる可能性があります。オープンモデルが追いつき、より良くなる可能性があります。
私たちはそれをますます目にしています。多くのオープンソースモデルがオリジナルのGPT-4とほぼ同等になり、場合によってはより優れているのを見ています。もちろん、この場合のオープンソースAIモデルは、ほぼ無料または非常に安価な研究を意味し、24時間365日実行できるものです。より大きな透明性、柔軟性、保証された可用性などがあるでしょう。
彼らは、将来的にはオープンモデルを使用して、閉ループシステムで自己改善するAI研究を生成するために提案された発見プロセスを使用することを目指していると言っています。私にとって興味深いのは、これがレオポルド・アシェンブレアの状況認識論文にどれほど似ているかです。彼は、すべてを自動化する必要はなく、ただAI研究だけを自動化すればよいと言っています。そして、AI研究者のレベルが2027年までに人間の能力を超える可能性があるとしています。
一部の人々はこれが早すぎると批判しましたが、実際にこのような例が起こっているのを見るのは興味深いです。私たちはまだそこまで達していませんが、人々が取り組んでおり、いくつかの良好な結果を得ているのが分かります。
彼らの論文に戻りますが、状況認識論文からいくつかのポイントを指摘したいと思います。なぜなら、彼は、これらのAI研究者のコピーを何百万も、おそらく1億人の人間研究者相当を昼夜問わず実行できると指摘しているからです。オープンモデルを使えば、コストはかなり低くなるでしょう。計算能力さえあれば、これらの一部はローカルデバイスで実行できる可能性さえあります。
これは私にとって少し奇妙に感じます。なぜなら、彼が言及しているこれらのことの一部は、当時、実世界で見たことがなかったからです。しかし、ここでは、これらのAIサイエンティストが、これまでに書かれたすべての機械学習論文を読むことができ、研究室で行われたすべての過去の実験について深く考えることができると言っています。彼らはコピーから並行して学習し、急速に千年分の経験を蓄積することができるでしょう。彼らは人間よりもはるかに深い機械学習の直感を発展させることができるでしょう。
このAIサイエンティスト論文で彼らが話しているのは、実際に自動化された論文査読、LLM査読者エージェントです。彼らはGPT-4oベースのエージェントを設計し、特定の既存の査読ガイドラインに基づいて論文査読を行います。いくつかのスコア、弱点と強みのリスト、そしてその論文を受理するか拒否するかを含んでいます。
彼らは論文の中で、AIサイエンティストによって生成された論文の1つを詳しく分析しています。全体的に、AIサイエンティストの性能は初期段階の機械学習研究者のレベルであると判断しています。アイデアを適切に実行できるが、アルゴリズムの成功の背後にある理由を完全に解釈するための十分な背景知識を持っていない可能性がある人のようです。彼らは、AIサイエンティストの現在の多くの欠点は、基盤モデルが劇的に改善し続けるにつれて、改善されるか、完全に排除されるだろうと言っています。
結論として、このプロジェクト「AIサイエンティスト」の導入は、科学研究におけるAIの可能性を完全に実現するための重要な一歩であると言っています。最終的に彼らは、AI駆動の研究者だけでなく、査読者、エリアチェア、そして会議全体を含む、完全にAI駆動の科学エコシステムを想像しています。それを想像できますか？
彼らは、人間の科学者の役割が減少するとは考えていないとも言及しています。彼らはただフードチェーンを上に移動し、より高度なタスクを行うでしょうが、この種の科学エコシステム、この研究エコシステムの多くの作業はAIによって完全に処理されるでしょう。
このモデルの現在のイテレーションでさえ、既に確立されたアイデアの上に革新する強い能力を持っています。つまり、すでに良いアイデアがあれば、それに革新を加え、新しいものを追加することができるのです。彼らは、そのようなシステムが最終的に本当にパラダイムシフトをもたらすアイデアを提案できるかどうかはまだ未知の問題だと言っています。
果たして彼らは、本当に画期的なもの、まったく新しいもの、特定の科学分野に対する私たちの認識を完全に変えるようなものを生み出すことができるでしょうか？例えば、トランスフォーマーアーキテクチャのような画期的なものを考え出すことができるでしょうか？2017年にGoogleがトランスフォーマーアーキテクチャを発明し、それが現在のAIブーム、このAIの波の多くを引き起こしたのです。
AIがそのレベルのアイデアを生み出すところまで到達するかどうかはまだ分かりません。しかし、現状でも人間のアイデアの上に革新を加えることができます。私たちがアイデアを思いつけば、彼らはそれを最適化し、改善し、その上に革新を加えることができます。確かにそこには多くの可能性があります。
状況認識論文に戻ると、レオポルドは「アレック・ラドフォードを自動化したものを想像してください」と書いています。彼は非常に才能があり、多産な研究者で、OpenAIのSLエンジニアで、多くの重要な進歩の背後にいますが、彼の名前はそれほど知られていません。彼の1億人の自動化されたバージョンを想像してください。もしそれらすべてが人間の10倍か100倍のスピードで昼夜を問わず実行されていたら、10年分のアルゴリズムの進歩を1年に圧縮することが可能になるでしょう。確かにそれはかなり可能性があるように思えます。
彼は、AGIからスーパーインテリジェンスへの移行が非常に速く、おそらく1年以内に起こる可能性があると言っています。グラフ上では、2018年から2024年までのAIの改善、発展を示しています。私たちは今ここにいます。つまり、就学前レベルから小学生、賢い高校生レベルへと改善してきたのです。それはどんどん改善され続けています。そして、理論的なものですが、AIサイエンティストのようなものを見始めているのかもしれません。
どこかでAIが自己改善、AI研究、自身のアルゴリズムの最適化を行うのに十分な能力を持つようになります。それだけでなく、NVIDIAがAIにチップの改善を提案する競争を提案しているのも見ています。AIを動かすハードウェア、チップの設計方法を改善できるでしょうか。
これらのことの全て、あるいはほんの一部でも、今後3〜5年以内に実現すると仮定してみましょう。確かに、AIの進歩の速度が急激に加速する変曲点が訪れるように思えます。AIがすでにAI研究を行っているのであれば、それは確かにAGI（汎用人工知能）と呼べるでしょう。少なくとも人間と同じくらい優秀で、研究を行い、分野を前進させているのですから。
もちろん、それを100万回クローン化し、昼夜を問わず実行し、それぞれの改善を自身に適用して徐々に自己改善できるとしたら、AGIからスーパーインテリジェンスへの移行にどれくらいの時間がかかるでしょうか。20年でしょうか、10年でしょうか、5年でしょうか、それともこの発展の速度のために信じられないほど短い期間なのでしょうか。
この先どうなっていくのか、そして他の人々が同様のAIサイエンティスト、AI研究者を生み出すのか、非常に興味深いところです。なぜなら今、それが機能する可能性があると思われるからです。
今日の動画をお楽しみいただけたでしょうか。私の名前はウェス・ロスです。ご視聴ありがとうございました。
コメント