6,897 文字
過去10年間のAI分野で一体何が起きたのでしょうか。私たちの惑星に奇妙な新しいタイプの知性が現れましたが、それは人間の知性とは異なります。素晴らしい能力を持っていますが、私たちが決して犯さないような重大な誤りも犯しますし、私たちができるような深い論理的思考もまだできません。能力と脆弱性の両方を持つ、非常に不思議な表面を持っていて、その仕組みについてはほとんど何も理解できていません。私は知性についてより深い科学的理解を得たいと思っていますが、AIを理解するためには、生物学的知性の歴史的文脈に位置づけることが有用です。
人間の知性の物語は、このちっぽけな生き物から始まったと言えるでしょう。これは全ての脊椎動物の最後の共通祖先で、私たち全員がこれから進化してきました。約5億年前に生息していました。その後、進化は脳を作り上げ、それが今度はニュートンからアインシュタインまでの5年間で、素粒子から宇宙論まで、宇宙を理解するために必要な深い数学と物理学を発展させました。そしてこれは全て、ChatGPTに相談することなく行われたのです。
そして当然ながら、過去10年間の進歩もあります。AIで何が起きたのかを本当に理解するためには、物理学、数学、神経科学、心理学、コンピュータサイエンスなどを組み合わせて、新しい知性の科学を発展させる必要があります。この知性の科学は、生物学的知性の理解と、より良い人工知能の創造の両方を同時に助けることができます。そして私たちは今この科学を必要としています。なぜなら、知性の工学は私たちの理解能力をはるかに超えてしまったからです。
私は、AIが改善できる5つの重要な分野について、私たちの知性の科学における研究の旅にご案内したいと思います。それは、データ効率、エネルギー効率、進化を超えること、説明可能性、そして心と機械の融合です。これらの重要なギャップについて、一つずつ見ていきましょう。
まず、データ効率についてです。AIは人間よりもはるかにデータを必要とします。例えば、私たちの言語モデルは約1兆語で訓練されていますが、人間が得る語数はわずか1億語です。それは中心にある見えないほどの小さな赤い点です。残りの1兆語を読むには24,000年かかることでしょう。
「それは不公平だ」と言うかもしれません。確かにAIは人間換算で24,000年分読みましたが、人間には5億年の脊椎動物の脳の進化があったではないかと。しかし、ここに落とし穴があります。進化の遺産全体はDNAを通じて与えられ、そのDNAはたった700メガバイト、つまり6億語相当に過ぎません。学習と進化から得られる情報を合わせても、AIが得る情報量と比べれば微々たるものです。皆さんは信じられないほど効率的な学習マシンなのです。
では、AIと人間のギャップをどのように埋めればよいのでしょうか。私たちは有名なスケーリング則を再検討することから始めました。これはエラーが訓練データ量のべき乗則で減少するというスケーリング則の例です。これらのスケーリング則は産業界の想像力を捉え、エネルギー、計算能力、データ収集への大きな社会的投資を動機づけてきました。
しかし問題があります。これらのスケーリング則の指数は小さいので、エラーを少し減らすために訓練データ量を10倍にする必要があるかもしれません。これは長期的には持続不可能であり、短期的には改善につながるとしても、もっと良い方法があるはずです。
私たちはなぜこれらのスケーリング則がそれほど悪いのかを説明する理論を開発しました。基本的な考え方は、大規模なランダムデータセットは非常に冗長だということです。すでに数十億のデータポイントがある場合、次のデータポイントは新しい情報をほとんど教えてくれません。しかし、もし他のすべてのデータポイントと比較して新しいことを教えてくれるように慎重に選ばれた各データポイントから成る、冗長性のないデータセットを作ることができたらどうでしょうか。
私たちはちょうどそれを行うための理論とアルゴリズムを開発しました。データを10倍にするのではなく、わずかなデータポイントを追加するだけでエラーを減らせる、はるかに良い指数関数へとこれらの悪いべき乗則を曲げることができることを、理論的に予測し、実験的に検証しました。
では、この結果を得るためにどのような理論を使用したのでしょうか。私たちは物理学的な考え方を使用し、これらが方程式です。この講演の残りの時間で、これらの方程式を一つずつ説明していきます。冗談だと思っていますね。その通りです。私はそれほど意地悪ではありません。でも、私がそう言ったときのTEDの主催者の表情を見るべきでしたね。
さて、もう少し視野を広げて、AIをデータ依存度の低いものにするために何が必要かについて考えてみましょう。もし私たちが子供たちを、大規模言語モデルを事前訓練するのと同じ方法で、次の単語を予測することで訓練したらどうなるでしょうか。子供にインターネットのランダムな一部を与えて「これが次の単語だよ」と言い、また別のランダムな一部を与えて「うん、これが次の単語だよ」と言う。もしそれだけをしていたら、子供たちが何か有用なことを学ぶのに24,000年かかるでしょう。
でも私たちはそれ以上のことをしています。例えば、私が息子に数学を教えるとき、問題を解くために必要なアルゴリズムを教えます。そうすれば彼は、どんなAIシステムよりもはるかに少ない訓練データで、すぐに新しい問題を解いて一般化することができます。数百万の数学の問題を投げかけるだけではありません。
つまり、AIをより効率的にするためには、現在の訓練アルゴリズムをはるかに超えて、機械学習を機械教育の新しい科学に変える必要があります。そしてここで、神経科学、心理学、数学が本当に役立つのです。
次の大きなギャップ、エネルギー効率に移りましょう。私たちの脳は信じられないほど効率的です。消費電力はわずか20ワットです。参考までに、古い電球は100ワットでした。つまり私たちは文字通り電球より暗いわけです。しかしAIはどうでしょうか。大規模モデルの訓練には1,000万ワットもの電力を消費する可能性があり、10億ワットのデータセンターを動かすために原子力発電所を使うという話もあります。
なぜAIは脳よりもはるかにエネルギーを必要とするのでしょうか。その原因は、計算の各中間ステップで高速で信頼性の高いビット反転に依存するデジタル計算そのものの選択にあります。熱力学の法則は、高速で信頼性の高いビット反転には多くのエネルギーが必要だと要求します。
生物学は非常に異なる道を選びました。生物学は、可能な限り遅く、信頼性の低い中間ステップを使用して、ちょうど必要なときに正しい答えを計算します。本質的に、生物学は必要以上にエンジンを回転させないのです。さらに、生物学は計算を物理学によりよく適合させています。
例えば加算を考えてみましょう。私たちのコンピュータは、非常に複雑でエネルギーを消費するトランジスタ回路を使って加算を行いますが、ニューロンは単に電圧入力を直接加算します。なぜなら、マクスウェルの電磁気学の法則がすでに電圧の加算方法を知っているからです。本質的に、生物学は計算を宇宙の本来の物理学に適合させているのです。
したがって、よりエネルギー効率の高いAIを構築するためには、電子からアルゴリズムまでの技術スタック全体を再考し、計算のダイナミクスを物理のダイナミクスによりよく適合させる必要があります。例えば、与えられたエネルギー予算で、任意の計算の速度と精度に関する基本的な限界は何か、そしてどのような電気化学コンピュータがこれらの基本的な限界を達成できるのでしょうか。
私たちは最近、すべてのニューロンが行わなければならない感知の計算について、この問題を解決しました。エネルギー予算の関数としてのエラーの基本的な下限（赤い曲線）を見つけることができ、これらの限界を達成する化学コンピュータを見つけることができました。そして驚くべきことに、それらは各ニューロンが外部信号を感知するために使用するGタンパク質共役受容体によく似ていました。
これは、生物学が物理学の法則自体によって設定された基本的な限界に近い効率を達成できることを示唆しています。レベルを上げると、神経科学は今や神経活動だけでなく、例えばハエの脳全体にわたるエネルギー消費も測定することができます。エネルギー消費は、すべてのニューロンを動かす化学燃料であるATP使用量を通じて測定されます。
ここで質問があります。ある脳領域で神経活動が上がった場合、ATPは上がるでしょうか、それとも下がるでしょうか。自然な推測では、神経活動にはエネルギーがかかるので、燃料を消費するためATPは下がるだろうということでしょう。私たちは正反対のことを発見しました。神経活動が上がるとATPも上がり、予想される将来の神経活動に必要な電力を供給するのにちょうど十分な時間だけ上昇したままになります。
これは、脳がエネルギー予測配分原理に従っていることを示唆しています。つまり、いつ、どこで、どれだけのエネルギーが必要かを予測し、適切な場所に適切な量のエネルギーを適切な時間だけ供給することができるのです。
明らかに、よりエネルギー効率の高いAIを構築することについて、物理学、神経科学、進化から学ぶべきことがたくさんあります。しかし、私たちは進化に制限される必要はありません。進化によって発見された神経アルゴリズムを活用しつつ、進化には決して見つけられなかった量子ハードウェアで実装することができます。
例えば、ニューロンを原子に置き換えることができます。ニューロンの異なる発火状態は、原子の異なる電子状態に対応し、シナプスを光子に置き換えることができます。シナプスが2つのニューロンの通信を可能にするように、光子は光子の放出と吸収を通じて2つの原子の通信を可能にします。
これで何を作ることができるでしょうか。原子と光子から量子連想記憶を構築することができます。これは、J・ジョン・ホップフィールドが最近ノーベル物理学賞を受賞した同じ記憶システムですが、今回は原子と光子で構築された量子力学的システムです。その性能を分析し、量子ダイナミクスが記憶容量、堅牢性、想起を向上させることを示すことができます。
また、光子から直接作られた新しいタイプの量子オプティマイザーを構築し、そのエネルギー景観を分析して、根本的に新しい方法で最適化問題を解決する方法を説明することができます。神経アルゴリズムと量子ハードウェアのこの結婚は、量子ニューロモーフィックコンピューティングと呼ぶべき全く新しい分野を切り開きます。
しかし、説明可能なAIが脳の仕組みを理解するのに役立つ脳に戻りましょう。現在、AIを使用することで、非常に正確だが複雑な脳のモデルを構築することができます。これはどこに向かっているのでしょうか。私たちは単に理解できないもの（脳）を、別の理解できないもの（その複雑なモデル）に置き換えているだけなのでしょうか。科学者として、私たちは単にモデルを渡されるだけでなく、脳がどのように機能するかについての概念的な理解を持ちたいと思います。
基本的に、網膜に適用した説明可能なAIの研究の例をお見せしたいと思います。網膜は、光受容体から隠れニューロンを経て出力ニューロンに至る多層回路です。それはどのように機能するのでしょうか。私たちは最近、世界で最も正確な網膜のモデルを構築しました。20年にわたる網膜の実験を再現することができました。これは素晴らしいことです。私たちは網膜のデジタルツインを手に入れました。しかし、そのツインはどのように機能するのでしょうか。なぜそのように設計されているのでしょうか。
これらの質問を具体的にするために、先ほど言及した20年分の実験のうちの1つについて議論したいと思います。皆さんにも今から実験に参加していただきます。私の手に注目して、それを追跡してください。素晴らしい。もう一度やってみましょう。私の手が方向を変えたときに少し驚いたかもしれません。そしてそれは当然です。なぜなら、私の手はニュートンの第一法則に違反したからです。運動中の物体は運動を続ける傾向があると述べているのです。
では、ニュートンの第一法則の違反は脳のどこで最初に検出されるのでしょうか。答えは驚くべきことに、網膜にあります。ニュートンの第一法則が違反された場合にのみ発火するニューロンが網膜にあるのです。私たちのモデルはそれを行いますか？はい、行います。それを再現します。しかし、ここにパズルがあります。モデルはどのようにしてそれを行うのでしょうか。
私たちは、ニューロンを発火させる任意の刺激を取り上げ、その発火に責任のある本質的な下位回路を切り出し、それがどのように機能するかを説明する説明可能なAIの手法を開発しました。これをニュートンの第一法則の違反だけでなく、私たちのモデルが再現した20年分の実験全てについて行うことができました。そしてこの1つのモデルは20年分の神経科学を再現し、さらにいくつかの新しい予測も行います。
これは、AIを使用して神経科学の発見を加速する新しい道を開きます。基本的に、脳のデジタルツインを構築し、説明可能なAIを使用してそれがどのように機能するかを理解するのです。私たちはスタンフォードで、霊長類の視覚系全体のデジタルツインを構築し、それがどのように機能するかを説明する大きな取り組みを行っています。
しかし、それ以上のことができます。デジタルツインを使用して、それらとの双方向コミュニケーションを可能にすることで、心と機械を融合させることができます。例えば、脳があり、そこから記録を取り、デジタルツインを構築するというシナリオを想像してください。次に、制御理論を使用して、デジタルツインを制御するために直接書き込むことができる神経活動パターンを学習します。そして、それらと同じ神経活動パターンを脳に書き込んで、脳を制御します。本質的に、私たちは脳の言語を学び、直接それに話しかけることができるのです。
私たちは最近、マウスでこのプログラムを実行し、AIを使ってマウスの心を読むことができました。上の行では、実際にマウスに見せた画像が表示されており、下の行では、マウスの脳から解読した画像が表示されています。私たちの解読した画像は実際の画像よりも解像度が低いですが、それは私たちのデコーダーが悪いからではありません。マウスの視覚解像度が悪いからです。実際、解読された画像は、もしあなたがマウスだったら世界がどのように見えるかを示しているのです。
さらに進んで、マウスの脳に神経活動パターンを書き込むこともできるようになりました。そのため、特定の知覚を幻覚させることができます。そして私たちはとても上手くなり、マウスの脳のたった20個のニューロンを制御するだけで、確実に知覚を幻覚させることができるようになりました。制御すべき適切な20個のニューロンを見つけることで。つまり、脳に直接書き込むことで、マウスが見るものを制御できるのです。
脳と機械の間の双方向コミュニケーションの可能性は無限です。脳を理解し、治療し、増強するために。脳と機械にまたがる統一された知性の科学の追求が、生物学的知性をよりよく理解し、より効率的で説明可能で強力な人工知能を作り出すのに役立つことを願っています。
しかし、この追求がオープンに行われ、科学が世界と共有されることが重要です。そして、非常に長期的な視野を持って行われなければなりません。これは、アカデミアが知性の科学を追求するのに完璧な場所である理由です。アカデミアでは、四半期決算報告の圧力から解放され、企業の法務部門の検閲から解放され、どの企業よりもはるかに学際的になることができ、私たちが学んだことを世界と共有することが私たちの使命なのです。
これらすべての理由から、私たちは実際にスタンフォードに新しい知性科学センターを設立しています。産業界では知性の工学に関して信じられないような進歩があり、今では increasingly閉じられた扉の向こうで行われていますが、私はオープンな場所で知性の科学が達成できることにとてもワクワクしています。
前世紀には、人類が外側の宇宙を覗き込んでそれを理解する、素粒子から宇宙論まで、という最も偉大な知的冒険の一つがありました。私は、今世紀の最も偉大な知的冒険の一つは、人類が自分自身の内側と、私たちが作り出す目の中を覗き込んで、知性についてのより深い新しい科学的理解を発展させることにあると思います。ありがとうございました。
コメント