17,773 文字
ほんまに今、これらのもんが全部揃うてもうたんや。強力な基盤モデルもあるし、めっちゃ強力な突然変異演算子もあるし、強力な選択演算子もあるし、コーディングもうまいこなせるモデルもある。これらを全部組み合わせたら、言うたように、いくつかの難しい分野で経験的証拠に基づいて自己改善するシステムができるんや。これが今後数年間のAIのさらなる進歩を牽引すると思うで。
みなさん、ようこそTwiMLAIポッドキャストの新しい回へ。私はホストのサム・チャリントンです。今日はティム・ロックテシェル氏をお迎えしています。ティムはグーグル・ディープマインドのシニアスタッフリサーチサイエンティストであり、ユニバーシティ・カレッジ・ロンドンの人工知能教授で、最近出版された「人工知能 – 知っておくべき10のこと」の著者でもあります。
始める前に、みなさん、今日の番組を聴いてるところで購読ボタンを押してくださいね。
ティム、ようこそ戻ってきてくれはりました。
ティム: ありがとう。戻ってこられて嬉しいわ。
サム: ええ、前回の放送から3年と1週間が経ちましたな。2021年10月10日に、「NetHackでの深層強化学習の進歩」というタイトルでお話しましたね。あのプロジェクトについて話したんですが、それ以来、AIはちょっと変わったと思いますか?
ティム: 正直言うて、あんまり変わってへんのちゃうかな。まぁ、NetHackのベンチマークではあんまり進歩がなかったんやけど、大規模言語モデルや基盤モデル全般では素晴らしい進歩があったわ。でも、NetHackはまだ解決されてへんから、そのグランドチャレンジはまだ残ってるんや。
サム: そうですね。LLMがそこに適用できると思いますか?
ティム: うん、試してみることはできるわ。実際、数週間後には何か見せられるかもしれへん。でも、正直に言うと、LLMだけではクリアできへんと思う。まだまだ難しい探索問題やからな。O1みたいなシステムでも、そこまで近づけへんと思うわ。
サム: そうですね。NetHackとその課題については前回のエピソードを聴いてもらうことにして、今日は本と、より広くオープンエンデッドネスの研究や、本で提起されたその他の興味深い質問に焦点を当てたいと思います。まず、この本は誰向けなんでしょうか?
ティム: そうやな、これは一般向けの科学の本なんや。一般の読者向けに書くのは初めてやったから、ワクワクするプロジェクトやった。この本は「知っておくべき10のこと」シリーズの一部で、宇宙や時間、数字、恐竜、木についての本もあるんや。で、今回はAIについての本ができたわけや。これは、AIが一般の人にとっても重要なトピックになってきたことを示してるんちゃうかな。
こんな本を書くのが面白いと思ったのは、一方では、なぜここ10年でAIがこんなに飛躍的に進歩したのかを簡単な言葉で説明することが大切やと思ったからや。ゲーム用AIの進歩、NetHackとか、その前のAtariやチェス、囲碁とかな。でも、なぜここ3年で大規模言語モデルの登場で大きな変化があったんか、それらがどう動くんかを、コンピューターサイエンスや数学のバックグラウンドがない人にも説明するのが重要やと思ったんや。
でも、一般向けの科学の本って言うてるけど、今の研究で私にとって大切なことについても話さずにはおれへんかったな。自己改善とか、人工超人知能とか、科学の自動化とかロボティクスとかな。だから、両方をちょっとずつやろうとしたんや。AIについてあんまり聞いたことがない人にも分かるようにしつつ、同時に、今後数年でAIの進歩によって何が起こるかもすぐに話すようにしたんや。
サム: 人工超人知能について触れられましたが、それは私の目を引いた一つですね。3章目が「人工超人知能は実現可能」というタイトルで、かなり断定的に述べられています。ASIに関するあなたの信念について、そしてそれをAGIとどう区別しているのかについて話していただけますか?
ティム: そうやな、今年のICMLでグーグル・ディープマインドから「AGIのレベル」っていう素晴らしい論文が発表されたんや。著者らは基本的に、人間レベルに達してないものから人間レベル、そして超人レベルまでの能力のレベルを定義しようとしたんや。
まず、著者らが区別してるのは、狭い領域のシステムと汎用システムや。狭い領域では、すでに超人レベルのシステムがあるんや。超人レベルの囲碁AIや超人レベルのチェスAIとかな。その途中には、例えば計算機みたいな、特定の領域では役立つけど、数学の領域全体では超人レベルじゃないものもあるわな。
だから、狭いAIの場合、狭くて人間レベルに達してないものから、Alpha Goみたいな超人レベルのシステムまでの道筋を描けるんや。でも、最近ではより汎用的なシステムに注目が集まってるんや。
昔は、超人レベルの囲碁システムを訓練すれば、難しい領域を探索する一般的なことを学べて、囲碁の領域外にも応用できると思われてたんや。Watson AIの時も覚えてるやろ? 医療分野に応用できると信じられてた。でも、それが難しいというか不可能やってことが分かってきた。狭い領域で訓練したシステムがその領域外に一般化できるっていうのは、絶対に上手くいかへんのや。
でも同時に、ChatGPTやGeminiみたいなシステムが突然、極めて広範なトピックについて質問に答えられるようになったんを見てきたわけや。そこで、この「AGIのレベル」の論文の著者らは、一般AIについて話し始めて、そのレベルを分類してんねん。
彼らが分類してるのは、基本的に平均的な人間の何パーセントと競争できるか、熟練した人間の何パーセントと競争できるか、そして最終的には地球上のどんな人間よりも特定のトピックで優れているかというところや。
汎用システムについて、著者らは大規模言語モデルやチャットボットで、AGIの初期段階にあると議論してる。そして、レベル5まで行けば人工超人知能に到達する。つまり、どんな人間の課題でも、地球上のどんな人間よりも優れたAIってことや。
本の中で、私はそれが実現可能やと主張してる。その議論は、まず既存の証明があるっていうことや。ちょっと矛盾してるように聞こえるかもしれんけど、狭い領域では既に超人レベルの能力を達成したって認めつつ、広い一般性は不可能やと思ってるわけやないんや。
サム: ごめん、私の言い方が間違ってたみたいやな。さっきの発言は、「広い一般性は不可能」っていう意味やなくて、「狭い領域で学んだことを一般化するのは難しい」っていう意味やったんやな。
ティム: そうそう、その通りや。一般的な目的のAIの兆しを見てるって、その論文の著者らも主張してるし、私もそう思うんや。今のチャットボットでそれが見えてる。
問題は、これらの一般的な目的のAIのレベルをどうやってさらに上げて、人工超人知能に近づけるかってことや。そこで私は、それが可能やと主張してる。
もっと具体的に話そう。Alpha Zeroみたいなものでは、囲碁みたいな狭い領域があって、その中でたくさんのゲームをシミュレーションできる。AIに自分自身と対戦させることもできる。つまり、AIが自分の以前のバージョンと対戦することで自己改善できるんや。
そこから、囲碁やチェスの領域でオープンエンドにどんどん自己改善していくブートストラッピングが得られる。そのゲームの戦略空間をものすごく探索して、最終的にはどんな人間よりもそのゲームが上手くなる。これが、囲碁やチェスみたいな狭い領域での人工超人知能ってわけや。
でも、大規模言語モデルで起こったことで、AGIや人工超人知能についてもっと話すようになったのは、パラダイムシフトがあったからなんや。もう特定の狭い領域だけを見てるんじゃない。また、これらのモデルを一つの狭い領域だけで訓練してるわけでもない。
代わりに、インターネットスケールのテキストデータや画像データを使って基盤モデルを訓練してる。経験的に見て、事前学習して、それからファインチューニングして、より役立つようにし、無害にするために強化学習すると、これらのモデルが例えば様々な大学の入学試験に合格できるようになるんや。
これらのモデルは、非常に幅広い質問に対して、いくつかの注意点はあるけど、まともな回答を提供できるようになった。ある程度コードも書けるようになった。これは強化学習と自己対戦システムでは見たことのない一般性なんや。
で、問題は、これらのシステムがさらに改善を重ねて、多くの、そして最終的にはすべてのタスクで超人レベルになることが可能かどうかってことや。
サム: その論文や結果についてもう少し具体的に話すと、狭いAIと一般AIそれぞれに5つのレベルがあるんやね。レベルは「AGIでない」「新興AGI」「有能」「エキスパート」「達人」「超人」またはASIや。
基本的に、一般AIの「新興AGI」レベルまでは達成したけど、「有能AGI」「エキスパートAGI」「達人AGI」といった上位レベルはまだ達成してへんって言うてるんやな。
そういう前提で、ASIが実現可能やっていうあなたの主張に戻りたいんやけど、非AIから新興AGIまで来たってことが、ASIが実現可能やっていうことをどう示してるんかな?
ティム: そうやな、いくつかの理由があるんや。まず、一般的な知能の存在証明がある。どんな問題領域でも、心を決めれば本当によくできる知能があるんや。それが人間、つまり人々なんや。
その上に、今やインターネットスケールのテキストと画像データを消費してきたシステムがある。これらが基盤モデルを形成して、今のところ新興AGIレベルにしかないけど、人間が面白いと思うことの概念を包含してるんや。
ジェフ・シーのラボから「Omni」と「OmniEpic」っていう素晴らしい論文があって、基本的にこれらの基盤モデルが人間が一般的に面白いと思うことを学んでるってことを示してる。だから、AIを投入したい巨大な探索空間があるとして、今やこの探索空間を大幅に絞り込む方法があるんや。
もう一つの観察は、これらの基盤モデルがデータのバリエーションを生成するのがすごく上手いってことや。短い例をいくつか与えるだけで、その例のバリエーションを生成できる。
これら二つのことを組み合わせると、データやバリエーションを生成できるものと、何が面白いかを選択できるものが得られる。これらを組み合わせることで、非常に強力なオープンエンドな自己改善システムを構築できると信じてるんや。
三つ目の要素も必要で、このプロセスを何らかの経験的証拠の源に接続することや。でも、そうしたら、基本的に技術進化の要素が揃うんや。バリエーションを生成して、経験的に試して、それから最も面白いものを選択する。そして経験的に試して、さらにバリエーションを加えるものを選択する。
実際、今までにこういった自己改善システムを構築する論文がいくつも出てるんや。私のグループからも出してる。
そういうことを考えると、これらの自己改善システムをもっと見ることになると思うんや。明らかに基盤モデルを基礎として使うけど、それから実際にエージェントのようになって、自分で経験的証拠を集めて、物事を試すようになる。
その議論を言い換えると、人間は進化のプロセスを通じて作られた知能の存在証明なんや。言語モデルでは、進化して反復する能力が見られる。だから、その進化的で反復的なプロセスが知能への道筋やとすれば、LLMもそこに到達できるはずやっていうのが議論の核心や。それでええかな?
サム: そうやな、もうLLMとは呼ばへんと思う。これらの基盤モデルの上にエージェントシステムを構築することになるんやけどな。でも、そうやな、それが要点や。
ASIがどんなものになると思う? LLMやトランスフォーマーのことを言ってるんか? それとも、そういったものではASIに到達できへんと信じてる人も多いけど、どう思う?
ティム: そうやな、ICMLで「オープンエンデッドネスは人工超人知能に不可欠」っていうポジションペーパーを出したんや。特定のタスクや特定の出力や結果を直接最適化するんじゃなくて、代わりに自律的に問題領域を探索して、面白いアーティファクトを見つけ出すシステムを構築することが重要やっていう内容や。
これらのアーティファクトが将来の進歩のイネーブラーになって、長く実行すればするほど、どんどん面白いアーティファクトが蓄積されていくんや。
LLMや基盤モデル、トランスフォーマーは、そういった探索を駆動する中核モデルになるかもしれへん。でも、今後数年間で見ることになるのは、そういったLLMの周りに構築するシステムやと思う。OpenAIのO1はもうその一例かもしれへんな。
例えば、特定の領域で経験的証拠を集めに出かけて、得たフィードバックに基づいて自己改善できるシステムや。最終的には、面白いアーティファクトをどんどん生成するために解き放たれるんちゃうかな。それが研究の洞察や説明やったり、特定の科学分野に興味深いデータやったりするかもしれへん。
サム: 「解き放たれる」っていうのは、どういう意味なんやろ? このエージェントには、自由に探索する範囲と目的の両方の意味で自由が与えられる必要があるんかな? それとも、制約なしに探索するために放たれる必要があるんか? あるいは、あなたが示唆してるような知能の向上を導くために、何らかの方向性を与える必要があるんやろうか?
ティム: 方向性は与えることになると思うわ。いくつか理由があって、一つはAIの安全性の観点やね。「解き放つ」っていうのはスペクトルやから、どの程度かっていうのが重要やな。
まず、AIの安全性の観点から。それから、コンピューティングパワーは増え続けてるけど、予見可能な将来にそういった自己改善システムがあらゆる領域を平等に探索できるような無限のコンピューティングパワーは持てへんと思うんや。
人間として、どの領域が最も興味深いかを決定せなあかんのやろうな。でも、特定の領域や質問の中では、これらのシステムにかなりの自由を与えることになると思う。
長い間、人々が信じてたような、報酬関数を定義できる領域があって、その報酬関数を使って強化学習で一般的に有能なAIにたどり着けるっていうのは、もうそうじゃないと思うんや。
面白い領域のほとんどでは、そんな報酬関数はないんや。NetHackも良い例やな。このゲームに勝つ方法を教えてくれる報酬関数はない。システムが好奇心を持って、自分で探索を始めて、何を発見するか見守るしかないんや。ほとんどの興味深い領域でもそうやと思うわ。
サム: エージェントにどうすべきかを具体的に指示するんじゃなくて、汎用的な報酬関数みたいなものがあるように思えるんやけど。報酬関数がエージェントに何をすべきか指示するんじゃなくて、メタ報酬関数みたいなものが存在する必要があるか、あるいはそれが存在すれば恩恵があるんじゃないかって思うんやけど。この分野の研究の現状はどんな感じなんやろ?
ティム: そうやな、内在的な報酬関数を作ろうとする研究はあったんや。例えば、エンパワーメントとか、環境をコントロールする能力とか、環境のダイナミクスについて一般的に学習することとかやな。
基本的に、強化学習エージェントを、環境のダイナミクスがどう働くかについて不確実性が高い領域に導くようなものや。そういった、何らかの黄金基準の地上真実の報酬シグナルに頼らない内在的な報酬関数を構築しようとする試みはたくさんあるんや。
でも、ここで私が話してるのはそういうことじゃないと思うんや。ここで話してるのは、報酬関数について話すと、自動的に強化について話すことになる。その報酬関数を使って特定の行動を強化することになるんやけど、私が見たいのは、そしてここ2年で起こったすべてのことで我々はそこに近づいてると思うんやけど、面白そうなことを探索するバリエーションを作り出す方法を持つモデルなんや。
そして、探索できることの空間を、面白いと思われることに絞り込む。ここでいう「面白い」っていうのは、人間が一般的に面白いと思うことを基準にしてる。これは基盤モデルを使ってプロキシとして行うことができる。
それから、さっき言ったように外に出て行って経験的証拠を集めて、このモデルが持ってるアイデアを洗練させることができる。これは本当の強化学習じゃないんや。これは本当にオープンエンドな探索方法やと思う。
もちろん、特定の部分で強化を使うかもしれへん。例えば、経験的証拠を通じて特定の行動が面白い経験的結果をもたらすことを学んだら、その行動を強化したいかもしれへん。でも、強化はこの大きなシステムの一つのコンポーネントに過ぎなくて、主要なものにはならへんと思うんや。
サム: ASIを見ると、科学や医療などの分野での進歩を生み出すことに期待を寄せてる部分があると思うんやけど、本の中でもそのことについて触れてたよな?
ティム: そうやな、まずAIはすでに素晴らしい科学的発見をするのに使われてるんや。先週もノーベル賞がタンパク質折りたたみの研究に授与されたやろ? これは素晴らしい例や。
でも、私が思う未来は、これらのシステムがさらに自律的に科学的発見をできる時代やと思うんや。そして、それが本当に面白くなると思うのは、AIの領域自体にそれを適用したときやな。
そうすると自己参照的になって、人間が定義した特定の質問や指標を改善するだけじゃなくて、改善の方法自体も改善していくことになるんや。
今年のICMLで「Prompt Breeder」っていうプロンプトエンジニアリング研究のプロトタイプを発表したんやけど、そのアイデアは面白いんや。
これらの大規模言語モデルの多くの振る舞いは、プロンプトの仕方で形作ることができるってのはよく知られてるよな。Chain of Thoughtプロンプティングみたいなプロンプト戦略があって、これらのLLMの能力に劇的な効果をもたらすんや。
プロンプト戦略を変えるだけで、つまりモデルに与える質問だけじゃなくて、どう解決するか、あるいはこの質問をどう分解するかについて与えるプロンプトを変えるだけで、これらのモデルは数学的推論やコーディングなどでずっと良くなるんや。
だから、このプロセスを自動化できたらええと思わへん? LMに自分自身と対話させて、既存のプロンプト戦略のバリエーションを提案させて、それを経験的に試して、より良い推論能力につながるかどうかを確認して、上手くいったものをさらに進化させる。これがPrompt Breederでやったことなんや。
これは、プロンプトエンジニアリングっていうかなり狭い領域での科学の自動化を示してるんやけど、これをさらにスケールアップして、より一般的にしたらどうなるかを考えると面白いと思わへん?
サム: それって、DSPIみたいなプロンプト最適化ツールと進化戦略のクロスみたいなもんかな?
ティム: そうやな、進化戦略なんやけど、面白いのは進化的アプローチを直接言語自体に適用してるところやと思うんや。だから、さっき言ったように自分自身と対話してるみたいなもんなんや。
プロンプト戦略のバリエーションを自分自身に提案してて、その方法は我々がプロンプトを与えることで行うんや。つまり、この進化的探索を定義する全メカニズムが、再びプロンプトメカニズムなんや。
そうやから、それを自分自身に適用できるんや。プロンプトを変異させたり、この進化的探索を行うのに使うプロンプトを改善しようとすることができるんや。だからこそ自己参照的にできるんやな。
進化っていうのは普通、いくつかの選択肢の中からより良いものを選んで、それを広めるっていう意味やけど、ここではLLMがどのプロンプトを好むかを判断してるんか? それとも何かのタスクや基準に対して評価してるんか?
まだ何らかの目的関数が必要なんやないかって思うんやけど、それをLLMに押し付けたり、システムの奥深くに押し込んだりしてるだけなんやないかな?
ティム: そうやな、確かにある意味で目的関数はあるんや。フィットネス関数は、進化したプロンプト戦略が与えられた時に、その進化したプロンプト戦略が一連の推論タスクでどれだけうまくいくかを測定するんや。
だからある意味で、経験的証拠を集めてるんやな。そういう意味で地に足がついてる。だから、経験的証拠がこの種の探索を導くことは全くないって言ってるわけやないんや。地に足をつける必要があるんや。そうせんと、このシステムは自分で何かすごくクールなものを見つけたって妄想し始めるかもしれへんし、それは我々の役に立たへんからな。
でも、コンピューターサイエンスや数学、AIリサーチみたいなオープンエンドな領域があると、探索できることがたくさんあるんやと思うんや。
実際、すでにこういった論文がいくつか出てるんや。例えば、Google DeepMindのFun Searchは、コンピュータープログラムを進化させて、人間が手作業で開発してきたプログラムよりも経験的に上手く動くことを示してるんや。
サム: エージェントやこういった最終的には超人レベルのAIを科学や医療に応用することを考えると、最近のAI Scientist論文が思い浮かぶな。デイビッド・ハーたちのやつや。今話してくれた研究や、この分野でのあなたの研究は、その研究とどう比較できるんやろ? その研究を見たことあるなら、どう思う?
ティム: そうやな、あれは素晴らしい存在証明やと思う。私が言及した異なる要素、つまりデータのバリエーションを作り出して、それを経験的にテストして、時間とともに改善できるループを持つっていうのを、AI Scientist論文では全部一緒にしてるんや。その意味で本当に素晴らしいと思う。基本的にこれが可能やということを示してるからな。
もし「AIサイエンスのレベル」みたいなものを言うとしたら、まだかなり初期段階やと思うわ。多分、同じような分類ができると思うんやけど、今言えるのは、例えば学部生レベルみたいなもんやと思う。スーパーバイザーとして、学生が実行する実験をすべてダブルチェックして、正しく実装されてるかとか、データが正しく解釈されてるかを確認せなあかんレベルやな。
そこから上のレベルに行くと、修士学生、博士学生、ポスドク、最終的には複数のAI科学者を監督する教授みたいなレベルになるんやろうけど、今この分野で見てる研究はまだかなり初期段階やと思う。
論文にも書いてあると思うけど、ワークショップペーパーレベルの品質を生み出すくらいやと思う。将来的には、これをもっと厳密に評価する方法が出てくると思うわ。結局のところ、生成された論文を定性的に見て、本当に興味深くて価値のある洞察を生み出してるかを見る必要があるんやけど、そこまでいつか到達するんちゃうかな。でも、まだまだやることはたくさんあると思う。
サム: より高いレベルに到達するには進化的アプローチが必要やと思う? それとも、他にも探求すべき興味深い選択肢がたくさんあるんかな?
ティム: いや、進化的でなきゃあかんと思うわ。科学自体が進化的な探索やからな。今ある世界の仕組みについての説明があって、人々がそのバリエーションや新しいものを考え出す。それらは経験的な精査に耐えなあかんし、経験的証拠を最もよく説明できる説明を残していくんや。
デイビッド・ドイッチの言葉を借りると、変えるのが難しい説明も残っていく。だから、人間がやってる科学の方法自体が、より良い説明やより良い洞察を求める進化的な探索なんや。
自動化された科学的プロセスがどう機能するかについて、他の方法は思いつかへんな。これも進化的でなきゃあかんと思うわ。
サム: 今使ってる「進化的」っていう言葉と、進化的アルゴリズムや、もっとシステムレベルの話との間に違いはあるんかな? 二つの選択肢の中からより良いものを選んで、それを前進のメカニズムとして使うっていう一般的なアイデアは適用できるけど、コンピューターサイエンスの意味での進化的システムである必要はないってことはあるんやろうか?
ティム: ええ質問やな。同じやとは思わへんわ。進化計算の分野の人たちは、同じやって言うたら多分喜ばへんやろうな。でも、これは本当に面白いポイントやと思う。今、この分野で一般的に見られてることやからな。
例えば、何十年も進化的手順を研究してきた人たちがおるやろ? 同じように、何十年も強化学習をやってきた人たちもおる。で、今突然これらの基盤モデルが出てきて、人々が何をしてるかっていうと、私のチームの人たちも含めてやけど、これらの以前のアプローチを取り上げて、どんどん多くの部分を基盤モデルに置き換え始めてるんや。
例えば、進化研究では、フィットネス関数や変異演算子、交叉演算子をどう考案するかについて、人々がたくさんの方法を持ってた。でも、基本的に私たちがPrompt BreederやRainbow Teamingで大規模言語モデルのジェイルブレイクを自動化するためにやったのは、これらの個々のコンポーネントについて、データポイントの変異を生成したり、あるサンプルが他のサンプルより面白いかどうかを判断したりするのに、LMに聞くだけなんや。
ある意味で、進化的システムの一部の側面と基盤モデルの一部の側面を大規模に融合させてるって言えるかもしれへんな。でも、この分野はそっちの方向に向かってると思うわ。
強化学習でも同じようなことが起こってる。NVIDIAの「Voyager」っていう素晴らしい論文があって、大規模言語モデルがMinecraftをプレイすることを学べることを示してる。そこには実際の強化学習は起こってへん。モデルのパラメータ更新もない。
文字通り、大規模言語モデルが自分自身と対話して、Minecraftで次に何を探索すべきかを決めてる。自分で選んだ目標が与えられると、自分自身と対話して小さなコンピュータープログラムを書いて、それをMinecraft環境で実行する。それから自律的に目標を達成したかどうかを評価して、そのプログラムをスキルライブラリに入れて、後で参照したり改良したり再利用したりするんや。
古典的な強化学習の研究者から見たら、これは強化学習じゃないって言うやろうな。差分学習もポリシー勾配もなんもないからな。でも実際には、環境があって、エージェントがいて、観察を行って、その観察に基づいて行動を調整してるっていう意味では強化学習なんや。ただ、従来の意味ではないだけや。
今、AIや機械学習の多くの分野でこういうことが起こってると思う。これらの大規模言語モデルが登場して、あらゆる場所で使われるようになって、以前は理論的にかなりよく定義されてたものが、ちょっと変な感じに見えるけど、経験的には非常にうまく機能するものに変わってきてるんや。
サム: 今言ってることの中で、とても興味深くて広く適用可能なのは、LLMの一般的な使い方はプロンプト補完をさせることやけど、新しい使い方として、LLMをループに入れて自分の出力を評価する能力を与えるっていうアイデアやな。これは強力なプリミティブで、進化的なプロセスを導くことも含めて、多くのことができるってことやな。
ティム: その通りや。これは今や様々な論文で経験的に示されてる。ジェフ・シーのラボからの「Omni」と「OmniEpic」、私のラボからの「Prompt Breeder」、Google DeepMindの「Fun Search」なんかやな。この種のレシピがすごくうまくいくっていうのを、これからもっとたくさん見ることになると思うわ。
サム: その評価関数を分類しようとしたら、どうなると思う? 三つの主要なアプローチがあるとか、LLMが自己改善できるようにフィードバックを与える方法に何かパターンが見えてるとか、そういうのはある?
Prompt Breederの話やったかもしれへんし、もっと広い話やったかもしれへんけど、LLMが出力を一連のベンチマークに対して実行したり、進化したものをベンチマークのセットに対して実行したりするっていう印象を受けたんやけど、それが一つのアプローチかもしれへんな。他にも目立つクラスはある?
ティム: そうやな、一つは今言ったように、Prompt Breederみたいに、以前に定義されたベンチマークに対して評価するっていうアプローチやな。特定のプロンプト戦略が実際に推論能力の数値を上げるかどうかを見たいわけや。
もう一つのアプローチは、基盤モデル自体、つまりLM自体を使って出力の質を判断するっていうものや。一つ例を挙げると、Rainbow Teamingでは、Prompt Breederからインスピレーションを得て、大規模言語モデルに対する敵対的攻撃を見つけようとしたんや。
普通、基盤モデルや大規模言語モデルをデプロイしようとする場合、安全であることを確認せなあかん。簡単にプロンプトを与えて有害なことを言わせたり、アドバイスすべきでないトピックについてアドバイスを与えたりできないようにせなあかんのや。
過去には、こういったジェイルブレイクを見つけるのは主に人間がやってた。でも、私たちは自分自身と対話して自分自身に対する攻撃を提案し、それらの攻撃が有害な応答につながるかどうかを経験的に試すシステムを考え出したんや。
で、これらの有害な応答を判断するのは、再びLM自体なんや。今、至る所で見られる基本的な仮説があって、それは検証は生成よりも簡単やっていうことなんや。
つまり、たくさんの可能性を生成して、それらを自動的に検証すれば、本当に面白いアーティファクトが進化していくのを見つけられるっていうことや。これはRainbow Teamingでも本当にそうなってて、文字通りLMの審判が、生成されたジェイルブレイクが以前に生成されたジェイルブレイクよりも効果的かどうかを判断してるんや。効果的なら、それを保持してさらに進化させる。
最終的には、システムを何ステップも実行した後で、これらのジェイルブレイクが本当にシステムが思うほど効果的かどうかを見るために、ある種のハードコードされた経験的評価も行うんやけどね。それが最後にやるホールドアウトテスト評価や。
でも、オープンエンドなシステム全体は、基本的にLMが自分自身と対話して、自分で何が面白いかを評価しながら動いてるんや。
サム: この分野で取り組んだ別の論文で、議論の自動化についてのものがあったよな。それについて少し話してくれる?
ティム: ああ、それは私の博士課程の学生、AKカーンの論文やな。今年のICMLでベストペーパー賞を取ったんやけど、本当に嬉しかったわ。
アイデアは、いつかAIシステムが医学とか特定の領域について、平均的な人間や専門家の人間よりも知的になる未来が来るかもしれへんってことなんや。そんな未来が来たら、そういった非常に有能なモデルをどうやって監視するかっていう問題が出てくる。
OpenAIの以前の論文で、この問題を今すぐ検討すべきだって主張してた。これほど有能なモデルができるまで待つべきじゃないって。今すぐこの問題を検討する方法は、弱いLMと少し強いLMを用意して、この関係をシミュレーションすることやって。
つまり、人間と超人AIがいる状況をシミュレーションして、今からすでに特定の研究課題を調査できるってわけや。
でも、私たちが調査したかったのは、この種の質問に人間を介在させることができるかどうかやった。その方法として、人間に答えるのが非常に難しい質問を与えるんやけど、それを難しくする方法は、人間に情報を与えへんことなんや。
AIには答えるのが難しくないけど、人間には難しい質問にするために、こんなことをしたんや。QualityDatasetっていう架空の物語のデータセットを使って、人間にはその物語を見せへん。ただ質問と、可能性のある二つの答え（一つは正解で一つは間違い）を与えるだけや。
人間は文脈を見ることができるAIと話さないと、この質問に答える機会がまったくないんや。でも、セットアップとしては、人間はそのAIを完全には信頼できへん。一つのAIとだけ話すと、そのAIが正解を主張したり、同じくらいの確率で間違った答えを主張したりするからな。
だから、複数のターンで会話を重ねて、そのAIが嘘をついてるかどうかを見極めようとせなあかんのやけど、これがかなり難しい。
それで、このコンサルタンシーアプローチと、ディベートアプローチを比較したんや。ディベートアプローチでは、一つのAIと話すんじゃなくて、二つのAIと話す。一つは正解を、もう一つは間違った答えを主張するAIや。
経験的に示したのは、まず第一に、ディベートは真実を求めるプロセスやってことや。このディベートが進むにつれて、人間は間違った答えを選ぶよりも正解を選ぶ方が上手くなっていくんや。これは励みになる結果やな。
もう一つ励みになるのは、ディベーターがより説得力を増すにつれて、つまりこれらのLMがより良くなって説得力が増すにつれて、人間が正解を見分けるのがさらに簡単になるってことや。これは本当に励みになるな。
なぜかっていうと、考えられる失敗のケースの一つは、これらのLMがより説得力を増すにつれて、間違った答えを主張するLMが人間を騙すのがより上手くなって、間違った答えを選ばせるようになるかもしれへんってことやったからな。でも実際には、さらに真実を求めるプロセスになってるんや。
ディベーターとしてAIを使ってこれを経験的に示したのは、本当に重要な貢献やったと思う。人間の審判じゃなくてAIの審判でもこれが機能することも示したんや。
つまり、文脈にアクセスできへんAIの審判がいて、二つのディベートを見なきゃいけない場合でも、AIの方が間違った答えよりも正解を選ぶのが上手くなるんや。
サム: これ、LLMが生成する誤情報と戦う上で多くの示唆がありそうやな。
ティム: そうやな、そうなれば良いと思う。誤情報に関しては、人々がどれだけ受け入れる気があるかっていう問題もあるな。長いディベートを見て、トピックの賛成派と反対派のディベートを見たいと思う人がどれだけいるかっていう問題もある。
サム: AIがディベートを通じて真実を追求するプロセスであり、二つのAIがなにかについてディベートすると、第三のAIや人間が真実を特定できるっていうこのアイデアには、広く応用できる可能性がありそうやな。例えば、十分な計算能力があれば、これをバイアス特定プロセスとして使えるんじゃないかと思うんやけど。
つまり、人間文化のバイアス、人間社会のバイアスが染み込んだデータで訓練された二つのAIがあるとして、それがどうやって真実に到達できるんやろう? もし二つの相互作用が何らかの形で真実を蒸留するんやとしたら、このプロセスを使って情報のバイアスを取り除いたり、バイアスを克服したりできるんやろうか?
ティム: それは本当に面白い考えやな。素晴らしいフォローアップ研究プロジェクトになりそうや。
まず思うのは、二つのLMがあるとして、これらがまずインターネット上の人間のデータで訓練されてることを忘れたらあかん。それに加えて、明らかに強化学習で調整されて、希望的観測をすれば、バイアスの少ない人々が世界についてどう考えてるかに近づけようとしてる。でも、そこにもまだバイアスは残ってるんやろうな。
私たちがこれら二つのディベーターを作る方法は、同じLMのコピーを取って、それぞれに異なる指示を与えるんや。一方には正解を主張するよう指示し、もう一方には間違った答えを主張するよう指示する。だから、これら二つのディベーターが持つバイアスは同じものになるんや。
もし両方が特定の方向にバイアスを持ってたら、おそらくそのバイアスについては意見が分かれへんやろうな。そのためには、多分、インターネットの異なるサブセットで訓練された多くの異なるLMがディベートするマルチエージェントシステムを想像せなあかんかもしれへん。これは面白い将来の研究プロジェクトになりそうやな。
もう一つの方法は、これらのモデルを何らかの経験的証拠の源に接続して、積極的に情報を求めさせ、自分自身に疑問を投げかけさせることや。自己参照的な側面と自己改善の側面に戻るけど、いつかは「このトピックについて私にバイアスがあるかもしれへん。実際にもっと調査してみよう」って思うようになるかもしれへん。オンラインで見つけられるデータを実際に見てみるとかな。
それでもっと悪くなるかもしれへんけど、そうならへんことを願ってるわ。
サム: 今話してる多くのことは、LLMの上に構築された操作システムがより良く推論できるようにするっていうアイデアやけど、これは「推論スケーリング」って呼ばれるようになってきてるな。訓練によるスケーリングと対比させて、推論時により多くのことをLMにさせるっていう意味や。
これと、あなたが自己改善や自動化って呼んでるものとの間に一対一の対応関係はある? この「推論スケーリング」って用語についてどう思う?
ティム: そうやな、すごく理にかなってると思う。基本的に今見てるのは、モデルのパラメータを変更することをあんまり考えへんようになって、文脈の中でどんどん多くのことをやるようになってるってことやな。
これらの大規模言語モデルには文脈窓があって、それを使ってプロンプトを与えたり、例示データを提供したりできる。この文脈窓が過去2年間で大幅に拡大してきたんや。
たぶん2年前は8,000トークンの文脈窓が一般的やったと思う。ある時点で20,000になって、125,000になって。今では200万から1000万トークンの文脈窓を持つモデルの段階に来てる。
これは単にそれだけのトークンで条件付けできるってだけやなくて、文脈で与えられたものを実際に利用できるってことなんや。「干し草の山の中の針」実験ってのがあって、これらのモデルが200万トークンの文脈から特定の情報をどの程度実際に取り出せるかを調査できる。
200万トークンってのは膨大な量やで。基本的にこれらのモデルを何冊もの本や丸ごとのコードベースで条件付けできるんや。考えるだけでも気が遠くなるような量やな。
そうなると、文脈内学習のための可能性がたくさん出てくる。LMにこの文脈窓の中でデータを生成させたり、変化させたり、反復させたりして、最終的に出力を生成させることができる。
さっき言及した「Voyager」とか「Prompt Breeder」、「Rainbow Teaming」みたいな最先端のアプローチは全部、モデルのパラメータを一切変更せずに本当に面白いことをやってる。全部文脈の中で起こってるんや。AI Scientistの論文も同じで、パラメータは一切変更してへん。科学のループ全体が、基本的にLMの外側のループで起こってるんや。
サム: この分野の今後の方向性についてどう思う? 特に、エージェンティックフレームワークとか、今日のLLMの作成や自動化の方法について考えてるんやけど。
明らかに足りないコンポーネントがあって、それを進化させる必要があるって思う? それとも、必要な要素は全部揃ってて、あとは正しい方法で組み合わせて、面白いタスクに取り組ませるだけやって思う?
ティム: 後者やと思うな。だから本の中でも言うてるんやけど、今や本当にこれらの要素が全部揃ってると思うんや。
強力な基盤モデルがあって、本当に強力な変異演算子があって、強力な選択演算子があって、かなりうまくコーディングできるモデルがある。これら全部を組み合わせると、さっき言ったように、いくつかの難しい領域で集めた経験的証拠に基づいて自己改善するシステムができるんや。
これが今後数年間のAIの更なる進歩を本当に牽引すると思う。少なくとも今の時点では、そう個人的に見てるな。
サム: 5年後、10年後、20年後がどうなるかについて、何か考えはある? タイムラインについてどう思ってる?
ティム: そうやな、正直これについては普段すごく苦労するんや。物事がどんどん圧縮されてるから、半年後に何が可能になるかを予測するのがすごく難しくなってるんや。
そういうことを考えると、5年のタイムスパンで言えば、今では何でも可能になると感じてるな。
でも、一つ言えることがある。本を書くためにニック・ボストロムの「スーパーインテリジェンス」の本を見たんやけど、そこで面白いことを見つけたんや。
彼らがAIの専門家に対して行った二つの調査について書いてあった。一つはAGIが実現するまでのタイムラインを聞いたもので、平均して20年後って答えが返ってきたんや。これはいつも人々が好んで答える答えやな。十分に遠い未来やけど。
でも本当に面白かったのは、二つ目の調査や。同じ人たちに、前の答えを前提として、それからどれくらいの時間で人工超人知能に到達すると思うかを聞いたんや。平均してまた20年から30年後って答えが返ってきたんや。
これには完全に困惑したわ。一般的に人間レベルの能力を持つシステム、特にコーディングと科学的方法を適用する能力を持つシステムができた瞬間、そして十分な計算能力でそれをスケールアップできる瞬間、最初にやることは明らかにこの方法を自分自身に適用して自己改善することやろ。そしたらすぐに超人レベルのシステムができるはずやん。
本当に強力な一般的に有能なAIがいつできるかは正確には分からへん。5年から20年かもしれへんし、何年かは分からへん。でも一つ確実に言えるのは、それができたら、超人知能システムができるまでにさらに20年から30年もかかることはないってことや。
サム: そこで問題になりそうなのは、「十分な計算能力があると仮定して」っていう部分やな。それには長い時間がかかるかもしれへんし、エネルギーがボストロムのペーパークリップみたいになる可能性もあるんちゃうか?
ティム: そうかもしれへんな。正直、これについては十分な知識がないから、本当に情報に基づいた意見は言えへんわ。
一つ言えるのは、現在のトレンドを見ると、数年後には1兆ドル規模の計算クラスターが必要になるっていう興味深い意見もあるってことや。でも、それは常に現在のトレンドを取って、それを対数スケールで直線的に当てはめて外挿してるだけやと思うんや。
技術的なブレークスルーは、そんな風には起こらへんと思うんや。ヤン・ルクーンもTwitterで言うてたけど、通常は一連のシグモイド関数の連鎖があって、それぞれが新しい種類の局所的に指数関数的なトレンドにつながるんや。
だから、こういう予測をする時は、10年後に使ってる計算技術が今使ってるものと全く同じように見えるって仮定したらあかんのや。全く違うものになってて、もっと遠くまで行けるかもしれへん。誰にも分からへんけどな。
でも、計算能力は間違いなく今後数年間はどこかで問題になるやろうな。
サム: ティム、今日は最新の研究について教えてくれてありがとう。
ティム: こちらこそありがとう。じゃあな。
サム: じゃあな。
コメント