現代のAIは膨大なデータを学習し出力予測誤差を最小化するが、人間の脳が持つ階層的な予測と誤差説明のメカニズムを欠いている。本講演では、脳の視覚野における情報処理の仕組みを再現する計算モデル「予測符号化」の原理と、それが現代AIの抱える課題—エネルギー効率の悪さ、巨大化への依存、不確実性の扱いの不備—をいかに解決し、有益なAGIへの道筋を示すかが論じられる。予測符号化は脳が冗長な情報を圧縮し、予測可能な信号を抑制して未知のものだけを学習する仕組みを模倣し、よりエネルギー効率が高く、適応的で信頼性の高いAIを実現する可能性を秘めている。
言語と思考の壁
皆さん、こんにちは。お集まりいただきありがとうございます。2週間前、私はこの講演の準備をしていて、壁にぶつかりました。英語は私の第二言語で、プレゼンテーションについて英語で考えていたんです。2日間、進捗はゼロでした。科学的な内容は一つ一つ理解していました。すべての点は頭の中にあったのですが、それらを結びつけることができなかったんです。
AとBはつなげられる、確かに。でもAからZまで英語で? 無理でした。そこに黄金のつながりがあることは分かっていたのに、どうしても見えなかったんです。しばらくフラストレーションを感じていたところ、友人が電話をかけてきて、プレゼンテーションについて尋ねてきました。すると突然、私の脳はペルシャ語、つまり私の本来の第一言語に切り替わったんです。5分もかからずに、彼女にアイデア全体を最初から最後まで説明することができました。
すべてのピースが美しく相互につながっていました。水晶のように明確でした。これはまさに、私には隠されていた同じアイデアだったんです。それがただ光の下に現れただけです。でもなぜ、ペルシャ語では全体像が見えるのに、英語では見えなかったのでしょうか? ここで気づいたことがあります。問題は英語そのものや、それが第二言語であることではありませんでした。問題は、そもそも私が英語を学んだ方法にあったんです。
私は英語を、自分の考え—ペルシャ語での考えを英語で伝えようとするときのエラーを最小化することで学んできました。そして難しくなると、語彙のサイズを増やすことで修正していました。脳内の辞書をどんどん大きくして、記憶を使って言いたいことを説明できるようにしていたんです。私は英語で知覚することを学んでいませんでした。英語の意味から本来の思考を生成することを学んでいなかったんです。そしてこれこそが、今日のAIがまさに振る舞っている方法なんです。
現代AIの学習メカニズムとその限界
今日のAIは何百万もの文章を学習します。インターネット上のテキストという世界全体を学習し、出力予測誤差を最小化します。ただどんどん大きくなっていくだけです。この世界に存在するあらゆる情報を保持して、適切な出力を生成しようとします。深い高レベルのつながりを形成する能力や、パターンを超えた推論能力の不足を修正しようとして。
ただどんどん大きくなっていくだけです。彼らは私と同じなんです。英語の単語の内的概念を構築することなく英語を学ぼうとしている私と。でも人間はもっとうまくできます。今日、私は皆さんに人間の脳がどのように働くかの計算モデルについてお話しするためにここにいます。今日、私は予測符号化についてお話しするためにここにいます。私の名前はファ・ハビビです。
私は神経適応計算研究室から来た研究者として、予測符号化に焦点を当てています。実際、過去2年間、私は完全に予測符号化の学習と理解に集中してきました。今日、私たちには20分の時間があります。この旅の間に学んだレッスンのいくつかを共有する機会を持てることをとても嬉しく思います。
まず、あなたの脳が実際にどのように働くかの簡単な絵をお見せします。それから、予測符号化のダイナミクスと、それがどのように脳の内的ダイナミクスを説明できるかを非常に簡潔にお話しします。そして最後に、今日のAIに欠けているもので予測符号化が提供できるものは何かという質問につなげます。これが、有益なAGIを構築する上で予測符号化—略してPCと言いますが—がなぜそれほどエキサイティングなのかを説明します。結局のところ、私たちはAGIのために集まっているのですから。
脳の予測メカニズム
では、脳がどのように働くかの簡単な絵から始めましょう。たとえば、連続する8つのピクセルがすべてピンク色で与えられ、9番目のピクセルがまだ来ていないとしましょう。あなたの脳は入力を待ちません。予測するんです。そして最もシンプルな予測をして、ピンクだと予測します。しかし、起こり得るシナリオは2つあります。
脳が正しくてピクセルがピンクである場合、または間違っている場合です。どちらのシナリオでも、脳は同じ予測をしていましたが、結果は異なるかもしれません。現実が予測と一致する最初のシナリオがあったとしましょう。網膜、つまり脳の入り口は予測の誤差を測定し、それはゼロです。
でも、予測が現実と一致しなかったらどうでしょう? そうすると誤差信号が生じます。これはさらなる処理に値する有用な情報です。そこで網膜はその情報を脳に送ります。完璧な予測にはゼロ、誤差には1を割り当てましょう。そしてこれが、最小の情報を持つ入力画像やシーンの例だとしましょう。
しかしこれは、脳にとってより多くの情報を持つ例としての画像です。より多くの情報は、さらなる処理のためにより多くのエネルギーを必要とします。そして網膜の仕事—脳への入り口としての仕事は、エネルギーを節約するために、予測可能な信号にエネルギーを無駄にしないために、有用な信号だけを効率的にエンコードして脳に伝達することです。
スパース符号化から予測符号化へ
さて、網膜が脳に効率性をもたらしていることが分かりました。でもそれは実際にどういう意味でしょうか? 1962年、ヒューベルとヴィーゼルは実験を行い、私たちの一次視覚野の異なる単純細胞が、さまざまな方向の棒に反応していることを示しました。これは、網膜が神経活性化にスパース性をもたらしたことを意味します。
これが脳のエネルギー使用の効率性をもたらします。しかし話はここで終わりません。彼らには予期しない観察がありました。エンドストッピング現象、または停止細胞の振る舞いと呼ばれる、説明できないものを観察したんです。ニューロンを最も活性化させる可能性が高い刺激への活発な反応が、ある長さを超えて延長されると減少または消失したんです。
これは単に、より長い線があると、ここにあった活性化が消失または減少するということを言う非常に派手な言い方です。さて、これで脳が内部でどのように働いているか、またはいくつかの手がかりが分かりました。効率的であることが分かっています。スパースであることが分かっています。スパースな活性化を持っています。そして、もし脳をモデル化するなら、これらすべての特性を持つべきだというエンドストッピングという現象があることを知っています。
でも、脳のダイナミクスを全体として統一されたシステムとしてどのように説明できるでしょうか? ここで、PCがどのように生まれたかを説明する簡単でシンプルな物語をお話しします。1996年、オラウセンとフィールドは、脳の内的ダイナミクスを説明しようとする計算モデルを提案しました。それはスパース符号化と呼ばれました。
これは、少数の活性化だけで入力ベクトルをうまく表現できる小さなスパースモデルでした。スパース符号化が自然画像にさらされると、さまざまな方向の線を検出するフィルターを学習し、一次視覚野の単純細胞に非常に近いものになります。スパース符号化は、脳がどのように働くかの計算的説明を提供します。
それはスパースで効率的でした。エッジ検出フィルターを持っていましたが、エンドストッピング現象を説明することができませんでした。だからより良いモデルが必要でした。当時、私たちはまだ脳が実際にどのように働くかを説明できませんでした。なぜなら不完全だったからです。これは新しいモデルを持ってくる必要があるという合図です。そしてこれが、私の講演の核心アイデアである予測符号化につながります。
予測符号化の仕組み
スパース符号化モデルでは、エッジ検出フィルターを学習する単層ネットワークがあり、スパース符号化のニューロンは入力を説明または再構成するために使われていました。1999年、まさに私が生まれた年です。つまり私はPCと一緒に生まれたんです。ラオとバラードは、脳を説明する方法のためのより一般的なフレームワークを提案しました。
それは、これまでに得たすべての観察を説明するための単一のメカニズムを採用していました。そしてそれは、網膜が冗長な情報を減らす方法に着想を得ていました。予測符号化は簡単に言うと、脳の各レベルのニューロンは次のレベルのニューロンの活性化を予測できるべきであり、予測できるものは予測誤差または驚きになるということです。
PCが言おうとしているすべては、効率性は脳全体にあるべきであり、脳を説明するために作っている計算フレームワーク全体にあるべきだということです。説明された信号は抑制またはキャンセルされるべきであり、説明されていない信号だけが脳領域の上位レベルに前方伝播されるべきです。
これは、脳の各層で行っていることすべてが、予測誤差を説明し去ることだということを意味します。そしてこれが、予測符号化のダイナミクスが働く数学的な方法です。ここにいる多くの人が数学を好きではないことは確かです。でも視覚脳と同様に、簡単な言葉で言えば、予測符号化は、手元にあるすべてのリソースを階層的な方法で使って感覚入力を予測する最良の方法を見つけることによって、シーンや画像の中に何があるかを説明しようとしているんです。
それはスパースでエネルギー効率の良いモデルを提供しています。スパース符号化と同様のエッジ選択的フィルターも提供しています。そして最も重要なのは、エンドストッピング現象の計算的説明を提供していることです。エンドストッピング現象は、階層的な方法で脳全体に及ぶ拡張されたエネルギー効率だと言っています。
これらの手がかりをすべて合わせると、生のピクセル信号が脳に行くのではないと言っています。脳や脳のモデルは冗長性を圧縮し、階層的な方法で予測誤差を説明し去ろうとし、すべてを学習するのではなく未知のものを学習しているんです。現代の深層学習モデルは、しばしば出力予測誤差だけを最適化し、人間の脳が実際にどのように働くかを説明するのに役立つ中間項を無視しています。
有用なすべての項を取り除いて、過度に単純化されてしまいました。実際には、最初から最後まで生のピクセル情報をモデルに送っています。そして良い出力を予測することだけ、ただそれだけを学習しています。それは英語を学んでいる私のようなもので、英語を使って深く考え、点と点をつなごうとしたときにあまり役に立たないことが判明しました。
現代AIの問題点
私たちはAIを過度に単純化し、私の語彙サイズと同様に、学習のためにより多くのデータを必要とします。その情報を処理するために増加し続けています。ただどんどん大きくなっていくだけです。そしてより多くのパラメータを持つモデルには、より多くのリソース、より多くの計算リソースが必要で、それには多くの欠点があります。
たとえば、その一つは機械学習プロセスのカーボンフットプリントです。これはあまり有益ではなく、私たちは有益なAGIのためにここにいます。さて、最後に、AIには問題があることが分かりました。予測符号化がAIの未来と有益なAGIをもたらすために何を提供するかをお話しします。最初はグリーンAIです。
予測符号化はよりエネルギー効率が良く、カーボンフットプリントを大幅に削減します。2つ目は、すべてのレベルの抽象化で不確実性を明示的にモデル化することによる計画です。予測符号化は、信頼度が増すにつれてより効率的になる適応的な計画を可能にします。だから人間がより情報に基づいた意思決定をするのを助けます。
そしてより信頼性があります。今日のAIはすべてを作り上げています。あなたのために物事を作り上げるように訓練されています。そして正しいことだけを言わせることができるかどうか、私には分かりません。私たちの代わりに仕事をさせることに頼ることはできません。でも予測符号化は、不確実性を測定するように明示的に設計されたモデルを提供し、あなたのために行っている、またはあなたに与えているすべての出力と決定についてあなたに知らせます。
だから、より情報に基づいた決定、より良い決定を下すことができます。より信頼性があるんです。このプレゼンテーションで、脳の簡単な絵をお見せしました。内部がどのように見えるか。予測符号化が脳のメカニズムをどのように映し出すことができるかをお見せしました。そして予測符号化がAIの分野に提供する実際の利点のいくつかについてお話ししました。
結論と今後の展望
この写真を載せたのは、かっこいいと思うし、気に入っているからです。でも私のプレゼンテーションは、他のものよりも技術的だったと思います。科学と数学を含んでいて、このイベントの他のプレゼンテーションとは異なっています。でもこれをやったのは、私がこれを愛していて、これが私の言葉だからです。そして私が取り組んできたことを皆さんと共有する機会を持てたことをとても嬉しく思います。私は本当に、予測符号化がAIの未来に向けた正しいステップだと信じています。
ここにいる全員、この部屋にいる全員が、現在のAIには問題があり、限界があることを知っています。そして今日のAIは私たちをAGIやBGIに連れて行くつもりはありません。私たちの多くがこれを信じていると確信しています。そして私たちは新しいソリューションを探しています。新しい機会を探しています。今日の私のプレゼンテーションの後、予測符号化が何であり、AIの未来に何を提供するかをよりよく理解するお手伝いができたことを願っています。
予測符号化の分野とこの分野の研究について、皆さんの中に興味を喚起できたことを願っています。そして何よりも、これがAGIに向けた次のもっともらしい正しいステップであることを皆さんに納得させることができたことを願っています。ありがとうございました。
コメント