4,794 文字
Sakana AIのAIサイエンティストが、登場からわずか数ヶ月で初めての査読付き論文を発表し、受理されました。これは完全にAIによって書かれ、研究され、テストされ、そして完全に発表された論文です。そして今、人間と同じ査読プロセスを経ました。
それでは詳しく見ていきましょう。これはSakana AIによる「AIサイエンティストが初の査読付き科学論文を生成」というものです。この論文はAIサイエンティストV2を使用して生成されました。AIサイエンティストは完全にオープンソースであることを覚えておいてください。自分でダウンロードして実行することができます。これがGitHubのリポジトリで、すべての指示と、AIが書いた多くの論文例が提供されています。とても素晴らしいです。
そしてもちろん、AIサイエンティストが実際に研究し発表したのは何かというと、自分自身を改善する方法です。「構成的正則化：予期せぬ障害とニューラルネットワークの一般化の強化」という論文です。これは自己改善する人工知能であり、確かに刺激的です。もちろんこれはまだほんの始まりで、完璧からはほど遠いですが、何が可能かを垣間見せてくれます。
そして当然ながら、私が百万回目くらいに言及することになりますが、知能爆発です。AGI（汎用人工知能）に達し、AGIが自己改善の研究を行い、その改善を適用し、そのループで継続的に繰り返すことができるようになると、突然、知能爆発が起こります。そして私たちはそれがどのようなものになるかをますます垣間見ています。
AIサイエンティストの仕組みを思い出しましょう。これは元のAIサイエンティストのブログ投稿からのものです。最初に、LLMがアイデアあるいはイノベーションの計画を立てます。次に新規性をチェックします。これは新しいのか、すでに発見されたのか、テストされたのかを確認します。そしてアイデアを評価します。複数のアイデアがあれば、どれが最も実用的で有用かなどを評価します。次に実験テンプレートを考案します。「このアイデアをどのようにテストするか」というものです。
それからコードを書き、LLMとAER（AI Explorative Research）を使用します。AERについては、このチャンネルで何度も話しています。AERは素晴らしいです。そして実験をコード化し、実験を実行し、実験を繰り返し、テストし、繰り返し、テストする、というように何度も何度も繰り返し、実質的な何かを生み出すまで続けます。データを出力し、原稿テンプレートを作成し、テキストを書き、原稿を作成し、別のLLMに論文をレビューさせます。そしてこれを何度も何度も繰り返し、十分に質の高い論文ができるまで続けます。
AIサイエンティストV2は、研究を行うべき幅広いトピックを与えられた後、この論文を生成しました。この論文は、ニューラルネットワークの構成的一般化を改善できる新しい正則化手法について革新しようとする中で、AIサイエンティストが遭遇した否定的な結果を報告しています。これは興味深いことで、後ほど少し触れます。
この原稿はLRワークショップで平均レビュアースコア6.33を獲得し、平均受理しきい値を上回りました。では、その否定的な結果について話しましょう。明らかに多くの研究者は単に否定的な結果を避けます。否定的な結果とは何を意味するのでしょうか。それは私たちが何かを試みたが、うまくいかなかったということを意味します。
研究者は当然、肯定的な結果を望みます。「何かを試して、それは素晴らしく、うまくいき、価値を提供した」と言いたいのです。しかし否定的な結果も同じように重要です。特にそれを発表することは、科学コミュニティ全体の時間を節約するからです。「そのアプローチはうまくいかなかった。知っておくべきことだ。私はそれを試みないだろう」ということです。しかし繰り返しになりますが、多くの人間の研究者は否定的な結果につながる可能性のあるものを避けようとします。なぜならそれはそれほど価値がないと考えるからです。
しかし今、AIを使って否定的な結果を証明できれば、一つには、人間の研究者がより否定的な結果を発表することに問題がないと感じるようになるかもしれませんし、そうでなければ、肯定的な結果への道を見つけるために使用できる多くの否定的な結果を与えてくれるでしょう。
しかしレビュー後、このAI論文は通常の論文と同じようには扱われませんでした。それについて少し読んでみましょう。彼らはこれがすべてAIによって行われたという事実を隠すことなく進めました。実際、ICLRと直接協力し、「はい、これはすべてAIによって行われる予定です」と伝えました。
「AIが生成した研究の質を科学コミュニティが研究することは重要だと考えています。そして最良の方法の一つは、人間が生成した科学を評価するのと同じ厳格な査読プロセスにサンプルを少数提出することです。前述したように、私たちはICLRのリーダーシップとこのICLRワークショップの主催者の両方の完全な協力を得てこの研究を行いました。さらに、私たちのAIが生成した論文はオープンレビューの公開フォーラムでアクセス可能にはされません。これは、この特定の実験の目的のために、ICLR会議主催者、ワークショップ主催者、そして私たち自身が、AIが生成した論文は査読プロセスが完了した後、さらなる検討のために撤回され、自動的にデスクリジェクト（机上却下）されることに合意したからです。」
彼らは本当に様子を探っています。査読を通過し、厳格な査読プロセスを経ることができることを確認したいのですが、査読後のプロセスを続ける準備はまだできていません。
[中略：スポンサーに関する部分]
しかし完璧ではなく、完璧でないだけでなく、いくつかのニュアンスに注意すべき点があります。まず第一に、「AIサイエンティストが査読付きの仕事を成功裏に生成したが、その仕事が発表される場は主要な会議トラックではなく、ワークショップトラックにある」と述べています。私はそれが正確に何を意味するのか、なぜそれがメインのトラックの一部ではなく、このオフトラックの一部であることが重要なのかわかりませんでした。そこで調べたことをお伝えします。
論文はメインの会議トラックではなく、ワークショップトラックで発表されました。学術会議では、メインの会議トラックは通常、非常に選択的で厳格にレビューされた論文が特徴とされ、より権威があります。一方、ワークショップトラックは専門的なトピックに焦点を当てており、受理基準がそれほど厳しくないことがあります。したがって、ワークショップトラックでの発表は、AIサイエンティストの仕事が価値あるものであっても、メインの会議トラックに求められるより高い基準を満たしていない可能性があることを示唆しています。
彼らはブログ投稿でもそれを明確に述べています。「ワークショップ論文は、メインの会議提出物と比較して洗練されていない予備的な発見を提示する」と。彼らは何も隠そうとしておらず、すべてを公開し、革新し、繰り返しています。そしてこれらすべてのことは、私たちが想像できるよりも速く進んでいくでしょう。
彼らはさらに明確にしています。メインの会議トラックの受理範囲は20〜30%であるのに対し、ワークショップトラックは60〜70%の範囲です。そしてもう一つ重要な側面があります。「AIサイエンティストは主に最先端の大規模言語モデルに基づくシステムであり、したがってAIサイエンティストのパフォーマンスはこれらのLLMのパフォーマンスに直接結びついていることにも注目したい」と述べています。
つまり、LLMが良ければ良いほど、パフォーマンスも良くなります。そしてオープンソースであることを覚えておいてください。自分でさまざまなモデルを試すことができます。Grock 3やClaude 3.7 Thinking、GPT-4.5などを試してみたいかもしれません。すべてを試して、どれが最も効果的かを確認できます。
そして論文はミスを犯しました。それは完璧ではなく、引用で間違いがありました。間違った参照を引用し、ここに「Goodfellow et al. 2016」とありますが、これは「Hochreiter and Schmidhuber」（発音が間違っていたらすみません）であるべきで、このコメントはもっと正確であるべきだと述べています。ですから、確かにこの論文にはいくつかの問題があり、修正が必要でした。
彼らはここでも「私たちがワークショップに送った論文には、さらに発展させることができる興味深い、独創的ではあるが予備的なアイデアが含まれていると信じています」と述べています。そして再び、多くのミスがあったとしても、ワークショップトラックに行ったとしても、これらの点があったとしても、私にとっては信じられないほど印象的です。
AIサイエンティストは新しい知識を発見しています。それを十分に強調できません。そしてそれを拡大できることを想像してみてください。プロセスの荒い部分を滑らかにし、より良いモデルを導入できれば、小さな改善の一つ一つが他の側面で指数関数的に増加します。これが科学的発見の未来がどのようなものになるかについての本当に素晴らしく興味深い垣間見だと思います。
それでは未来はどのようなものでしょうか。「AIサイエンティストの次世代は、AIがトップティアのMLワークショップで査読に通過する科学論文全体を生成できるという科学の新時代をもたらすと信じています。これは進歩の非常に有望な初期の兆候を示しています」と彼らは述べています。
彼らがMLつまり機械学習に焦点を当てていることが気に入っています。なぜなら、AIサイエンティストが新しい革新的な技術、革新的な発見を発見することができるようになると、それを自分自身に再実装し、指数関数的に改善することができるからです。本当に刺激的なことです。
「AIは将来、潜在的に指数関数的に改善し続けると予想しています。将来のある時点で、AIは人間レベルで、さらにはそれを超えて論文を生成できるようになり、最高レベルの科学出版物も含まれるでしょう。AIサイエンティストやそれに類似したシステムは、トップMLカンファレンスだけでなく、科学の最高ジャーナルでも受理される価値のある論文を作成すると予測しています」と彼らは述べています。
GitHubページで論文をチェックできます。リンクは下に貼っておきます。AIが発表したさまざまな論文、ILRワークショップのスコア、Sak AI人間レビュアー、AIレビュアーがあります。また、これを自分で動かすためのフルコードも提供しています。ダウンロードして自分のAIサイエンティストを持つことができます。
そして最先端のAIだけがこれを行えると思うなら、約1ヶ月半前、Deep Seekが登場したばかりの時、Simon WillisonがブログでAIを使用してDeep Seekの速度を2倍にし、99%がAIによって書かれたことを詳細に説明したことを忘れないでください。
AIが世界でより多くのコードを書き、AIが新しい知識を発見し、理論をテストする能力が高まるにつれて、これをますます目にすることになるでしょう。Leopold Ashenbrennerの論文「状況認識」で予測されているように、この信じられないほどの知能の爆発を目の当たりにすることになります。
この動画が気に入ったら、「いいね」と「購読」をお願いします。次回の動画でお会いしましょう。
コメント