脳科学のための計算モデル

みなさん、おはようございます。この技術講演にご参加いただき、ありがとうございます。本日は、トロント大学のブルーク・ラジコフスキー教授をお迎えして、「脳にインスパイアされたアルゴリズムから脳機械インターフェースまでの計算神経科学」というタイトルでお話しいただきます。プロフィールについては会議案内に記載されておりますので、詳細は割愛させていただきます。

それでは、ラウスラフさん、お時間をお使いください。

ありがとうございます、イーサン。えっと、画面を共有させていただきます。画面が見えていますでしょうか。はい。ちょっと待ってください。これを最小化します。ちょっと待って。これをどかします。はい、完璧です。こっちに移動させます。よし、素晴らしい。

まず何よりも、ご紹介いただきありがとうございます。そしてお招きいただき、本当にありがとうございます。直接伺いたかったのですが、妻が2番目の娘アンナを出産したばかりで、今後数ヶ月は出張を控えることにしました。

おめでとうございます。

ありがとうございます。ありがとうございます。

研究室紹介

さて、先ほどご紹介いただいた通り、私はブルークです。カナダ最大の研究病院の一つであるUniversity Health Networkの研究員兼主任研究者を務めています。また、トロント大学の助教授でもあり、神経科学と機械工学の両方に所属しています。本日は、私の研究室と脳科学のための計算モデル開発について、比較的高水準な概観をお話しします。

研究室のディレクターとしての活動に加えて、私はトロント大学でウクライナからの学生難民を対象とした夏季研究プログラムのディレクターも務めています。参加学生の大部分は女性です。このプログラムは、コンピュータサイエンス部門とVector Institute for Artificial Intelligence、そしてロボティクス研究所との提携により資金提供を受けています。これらすべては、コンピュータサイエンス部門の副学部長であるマイケル・ブルドノ博士との共同創設なしには実現できませんでした。このアウトリーチ活動についてもっと知りたい方は、多数のニュース記事が公開されていますのでご覧ください。

計算神経科学の基本概念

研究に関して、私の研究室は計算神経科学を専門としています。これは単に、計算ツールと原理を使って脳を研究するということを表す洒落た表現です。考えたことがないかもしれませんが、人間の脳は情報処理システムとして捉えることができます。

コンピュータのようなものですが、生物学的コンピュータで、感覚情報を事前知識とベイズ推論を使って統合し、環境での意思決定や行動を行います。このように、脳を理解を超えた神秘的なものではなく、機械として捉えています。

このような計算フレームワークは1950年代に遡ることができます。アラン・チューリングが有名なチューリングテストと人間の知能を計算として捉える概念を導入しました。

研究の動機と応用

このような計算フレームワークを使って人間の脳を研究する動機と応用は数多くあります。例えば、脳の計算モデルを構築することで人間の知能の理解を深め、脳を支配する基本原理をリバースエンジニアリングして発見できます。人間の知能や心とは何かを理解することは、おそらく史上最大の科学的問題の一つでもあります。

もう一つの応用は、次世代人工知能の開発です。例えば、人間の脳は現在の最先端人工知能よりも桁違いに電力効率が良いのです。脳をリバースエンジニアリングすることで、より電力効率が良く、実用的なAIアルゴリズムを開発できるかもしれません。これは神経形態コンピューティングやスパイキングニューラルネットワークといったトピックに関連しています。

脳の計算モデルを構築するもう一つの理由は、パーキンソン病、てんかん、アルツハイマー病、脊髄損傷、脳卒中など、現在世界で数千万人が罹患している様々な脳疾患や神経疾患をより良く理解し、治療するのに役立つことです。この研究は幅広い臨床応用の可能性があります。

最後になりますが、これらの計算モデルはロボットシステムの自動化と制御に使用できます。これは私たちの研究の主要な応用の一つで、脳をリバースエンジニアリングすることで、人間のように見て、思考し、動くロボットにこの知能をプログラムできます。

この特定の応用についてもっと知りたい方は、私たちの病院が発表した「ロボットの脳を構築する」という最近の記事をお勧めします。私たちのロボティクス研究は、ForbesやBBCで特集されるなど、広く国際的に認知されており、NVIDIAの社長兼CEOの基調講演でも紹介されましたが、ロボティクスは私たちの研究のただ一つの応用、一つの下流応用に過ぎないことを強調することが重要です。私たちが実際に行っているのは、脳と人間の知能を研究するための計算モデルの構築なのです。

研究プログラム1: 計算運動制御

トロント大学の私の研究室は現在、3つの研究プログラムに分かれており、今日はそれらをまとめてお話しします。まず、計算運動制御と呼ぶ研究から始めます。このプログラムの使命は、人間の運動制御をリバースエンジニアリングするための新しい計算・機械学習モデルを開発することです。

つまり、運動皮質での神経計算がどのように運動のような複雑な行動を生み出すかをモデル化し、理解したいのです。これはリチャード・ファインマン博士の「私が作ることのできないものは、理解していない」という名言と密接に関連しています。ここでは人間の脳をよりよく理解するために人工脳を構築しようとしています。

この研究をフレーム化するために、娘ソフィアが初歩を踏む写真をご覧ください。神経科学者として、彼女の脳と中枢神経系でどのような驚くべき計算が起こっているのか、疑問に思わずにはいられません。脳はどのように人間の動きを制御し、最適化するのでしょうか？答えは、私たちには本当に分からないということです。

これは、人間のように動く機械をプログラムし、教える私たちの能力、あるいはその欠如において最もよく示されています。例えば、身体化制御に深層強化学習を使用するGoogle DeepMindの最新ロボティクス研究がここにあります。ご覧の通り、ロボットは私の友人マクシムのようなプロのサッカー選手の敏捷性や協調性にまったく及びません。

さらに、人間の脳は桁違いに少ない訓練データと計算で、この高いパフォーマンスを達成でき、議論の余地なく汎用知能を持っています。一方、これらの機械学習アルゴリズムは特定のタスクのために訓練され、最適化されています。

それでも約30年前、IBMは世界チェス選手権者やグランドマスターを上回るAI駆動コンピュータープログラムを開発できました。では、なぜチェスのような認知タスクでは超人的知能を構築できるのに、サッカーのような運動制御を含むタスクではできないのでしょうか？

一つの潜在的な理由は、チェスのルールを知っているため、ゲームをプレイして勝つために必要なアルゴリズムが分かることです。対照的に、脳が動きを制御するために使用するアルゴリズムや基本原理は実際には分からないのです。これが計算神経科学における主要な未解決研究課題の一つであり、私の研究の焦点でもあります。

最適制御理論によるアプローチ

私の研究室では、人間の運動制御をリバースエンジニアリングする2つの方法を試しています。1つ目は最適制御理論に基づくもので、生物学的にインスパイアされた目的関数を、連続モデル状態や制御などの変数に関する制約やシステム動力学の制約下で最小化または最大化します。ここでは目標駆動最適化を使用して、実験データを必要とせずに脳の根本的制御政策をモデル化することで、シリコン内で人間の動きを予測しています。

しかし、まず脳が動きを制御するために何を最適化する可能性があるかを数学的に述べる必要があります。進化生物学の主要理論の一つは、人間を含む動物が移動などのタスクでエネルギー効率を最適化するよう進化したというものです。

例えば、ハーバードの科学者による現在では有名な研究で、馬は自然に輸送コストが最小となる速度に対応する歩調速度を選択する傾向があることが発見されました。これは生物学的脳の最適化目的関数がエネルギー効率の最大化であることを示唆しています。

神経科学から取られたこの最適性の原理は、実際に今日の多くの人型ロボットの設計にインスピレーションを与えています。脳が動きを制御するために何を最適化しているかをリバースエンジニアリングするプロセスは、制御理論で逆最適制御として知られる概念に関連しています。

例えば、ここでは人間の運動制御の新しい数学モデルを開発し、異なる個別目的関数を最適化することでシミュレーションでニューロメカニカルモデルを制御しました。ここでは直接配置法を使用して最適化を解きました。その後、これらの目的関数のうちどれが実験的運動行動を最も正確に予測し、したがって脳の根本的制御政策を最もよくモデル化するかを研究できました。

この研究はCanadian Sport InstituteとDr. John McIと協力して行われました。彼はバイオメカトロニクスシステムダイナミクスのカナダ研究チェアです。さらに、この研究の被験者は何人かのチームカナダパラリンピック車椅子選手でした。シミュレーションと身体化制御に使用される人間コンピュータモデルの設計を個人化するために医用画像も使用しました。

これが人間が最適に行動するという仮定の下で、人間の運動制御を数学的にモデル化するために最適制御を使用する私たちの研究の一部です。

強化学習によるアプローチ

最適制御理論に加えて、私のプログラムは人間の運動制御をモデル化するために強化学習も使用し、これは行動心理学と脳でのドーパミン報酬ベース学習からインスピレーションを得ています。これは時間的差分学習のようなアルゴリズムに特に当てはまります。

一般的に言って、強化学習では、目標はエージェントが環境を探索し相互作用することで経験から学習し、累積報酬を最大化できる最適政策を学習することです。各時間ステップで、エージェントは環境の状態を観察し、その観察に対する応答として政策にアクションを問い合わせます。

エージェントは環境でこのアクションを実行し、新しい状態と報酬をもたらし、これが政策を更新するために使用されます。この閉ループフレームワークは人間の動きのコントローラーを設計・最適化するために使用でき、報酬動機行動をシミュレートできます。

例えば、私たちの研究の一つでは、物理シミュレーターで動くが生体模倣的方法で動く神経筋骨格モデルのための予測コントローラーを構築しました。これを行うために、数千の人工動作を生成し、これらの「専門家実演」を模倣することで最適政策を学習するようエージェントを訓練しました。

この模倣学習フレームワークは、人間の脳が他者を観察し、模倣することで学習する方法からインスピレーションを得ています。私たちのアルゴリズムの最初の層はモデルフリーQ学習を使用し、ここでは解釈可能で効率的な政策表現のためにKDツリーをQテーブルとして使用しました。その後、エージェントが連続状態アクション決定のシーケンスを学習できるよう2番目の層を追加しました。

この新しい強化学習アルゴリズムを使用して、私たちのエージェントは実験的運動行動を正確に予測することを学習し、深層決定的政策勾配に基づく従来の最先端と比較して87倍少ない計算と7倍少ないメモリーしか必要としませんでした。これは高レベルで人間の脳の効率性とよりよく一致しています。この研究は、私がウクライナで遠隔指導する大学院生の一人によって主導されました。

これが私たちの計算運動制御の研究の一部です。繰り返しになりますが、このプログラムの使命は、人間の運動制御をリバースエンジニアリングする新しい計算・機械学習モデルを開発することです。理想的には、運動皮質でのニューロ計算が人間の動き、いわゆる身体化物理知能をどのように制御し最適化するかをモデル化したいのです。

今後の展開

今後数年間、実験的運動行動を予測するだけでなく、脳により神経解剖学的に一致した深層強化学習アルゴリズムを開発するためにこのプログラムを拡張する計画です。ここでは、脳内の生物学的ニューラルネットワークとより直接的に比較するために、人工ニューラルネットワークを使用して強化学習制御政策をモデル化し、人間の運動制御のより良い機構的理解を得ます。

これは以前紹介した古典的なチューリングテストとは異なり、人間と機械間の出力行動のみを研究するのではなく、内部神経回路も研究します。これはより広範なメカニスティック解釈可能性の分野に影響を与え、ニューラルネットワーク内の内部メカニズムを人間の脳と比較することで、より説明可能な計算にリバースエンジニアリングできます。

私たちが探求に興味を持つもう一つの分野はデータ効率性です。例えば、大規模データを生成して深層学習と強化学習アルゴリズムを訓練するために使用されるGoogle DeepMindのロボットとは異なり、人間の脳は極めてデータ効率が良く、新しい行動を学習するのに最小限の例しか必要としません。

これは娘ソフィアでも見ており、彼女は時々ワンショット模倣学習を達成できます。これは、経験や進化から獲得された脳の強い帰納バイアスによるものかもしれません。かなりデータ非効率な人工ニューラルネットワークの訓練と人間の脳の生物学的ニューラルネットワーク訓練の間のこの基本的格差は、私たちが将来研究することを計画しています。

研究プログラム2: 脳機械インターフェース

次に、脳機械インターフェースでの私たちの研究についてお話しします。このプログラムの使命は、認知プロセスと行動、例えば運動制御に関する情報を表現し符号化する脳からの神経活動をデコードする新しい計算・機械学習モデルを開発することです。

これらの神経デコーディングアルゴリズムを開発するために、私のプログラムは脳機能の間接的測定からより直接的測定まで、様々な神経生物学的信号を使用します。例えば、私たちの研究の一つでは、表面筋電図またはEMGを使用して記録された脳からの下降運動指令をデコードするために、教師あり学習を通じてリカレントニューラルネットワークのアーキテクチャとシナプス重みを最適化しました。

ここでは、様々な運動制御タスクを実行する100人以上の被験者にわたって94%を超える分類精度で神経信号をデコードできました。これは私たちの最適化された深層学習モデルの汎用性を物語っています。この研究はウクライナのコンピュータサイエンス学生との国際協力の一部でした。

これらの結果に動機づけられて、私たちは現在、研究コミュニティに大きな事前訓練されたニューラルネットワークを提供するオープンソースEMG基盤モデルの構築過程にあります。これは転移学習と領域適応、臨床集団への編集された分布汎用化を含めて使用できます。

この神経デコーディング研究をさらに一歩進めて、私の研究室はリアルタイム組み込み神経コントローラーの開発にも関与しています。ここにその一例があります。このシステムでは、閉ループ制御を3ミリ秒未満に最適化できましたが、その後、神経筋活動を筋肉と関節動力学により迅速かつ確実に変換するために神経筋骨格モデルを使用するようデザインを更新しました。

これらの高速処理速度を達成することに加えて、私たちの神経コントローラーは幅広い意志運動にわたって運動制御の比較的高度な精度と精密性を一貫して実証してきました。ここにトロント大学の私の研究室でのその一例があります。単に脚を動かすことを考えるだけで、私の学生はこのロボットアクチュエーターを神経制御できます。

ここではリアルタイム閉ループ制御のためにコンピューター上でビジュアルフィードバックを提供しています。EMG神経インターフェースに加えて、私のプログラムは新しい神経デコーディングアルゴリズムを開発・テストするために非侵襲的脳波記録またはEEGも使用します。計算神経科学者として、私たちは脳で記録された神経活動のパターンに基づいて意図された行動をデコードまたは予測するために使用されるこれらのアルゴリズムの開発を特に専門としています。

例えば、私たちは最近、EEG神経デコーディングの最適な組み合わせを決定するために、異なる信号処理アルゴリズム、特徴抽出器、機械学習分類器を体系的にテストする最大規模の比較研究の一つを実施しました。これは脳機械インターフェース分野でまだ未解決の問題です。

ここでは、脳活動と出力運動行動間の非線形マッピングを自動学習するために教師あり学習を使用して、すべての被験者とアルゴリズムにわたって一貫して95%を超える分類精度を達成できました。この研究もウクライナの複数のコンピュータサイエンス学生との協力でした。

この研究の神経デコーダーは個々の被験者に対して最適化されましたが、私のプログラムの長期目標の一つは、複数のユーザーとタスクにわたって汎化でき、反復的なデータ収集とニューラルネットワーク再訓練の必要性を最小化する汎用神経デコーディングアルゴリズムを開発することです。

この長期目標に向けて、私たちは最近、領域適応のための識別的表現を学習する新しい教師なし深層対比学習アルゴリズムをプロトタイプ化しました。ここでは、その個人に対するラベル訓練データを一切必要とせずに、運動イメージ中の対象被験者の脳動力学をデコードできました。

これはゼロキャリブレーション神経デコーディングとして知られており、同じクラスター内に該当すると独自に決定されたソース被験者からの脳記録を使用して対象被験者デコーディングモデルを訓練しました。少量のラベル訓練データがある場合にも従来の最先端を大幅に上回ることができ、これはローキャリブレーション神経デコーディングと呼ばれます。

これらの開発の結果、私たちは最近Toronto Robotics Conferenceでベストペーパー賞を受賞し、この研究は多数のトロントニュースネットワークで特集されました。

今後の脳機械インターフェース研究

これが私たちの脳機械インターフェースでの研究の一部です。繰り返しになりますが、このプログラムの使命は、運動制御などの認知プロセスと行動に関する情報を符号化する脳からの神経活動をデコードする新しい計算・機械学習モデルを開発することです。

私たちの目標は、計算神経科学的観点から脳機械インターフェース研究を前進させることです。今後数年間、神経デコーディングアルゴリズムが脳の神経可塑性と運動学習に継続的に適応する閉ループ脳機械インターフェースにこのプログラムを拡張する計画です。

この共適応パラダイムでは、人間の脳は人工脳から学習し、人工脳は人間の脳から学習します。相互学習と共有制御のこの課題に対処するために、新しい強化学習モデルを開発することを計画しています。

これまでの私たちの研究の大部分は非侵襲的EEG神経インターフェースの使用に焦点を当ててきました。しかし今後、神経集団動力学を研究するために他の電気生理学的センサーと脳画像技術を探求することを計画しています。その一例が埋め込みマイクロアレイで、高時間・空間解像度を提供し、脳内の何百もの個別ニューロンのスパイク応答を同時に記録できます。これは高次元神経データです。

ご存知でない方のために、私たちの病院は最近、カナダでNeuroLinkの最初の臨床試験を実施するために選ばれました。これは私が脳インプラントを持っている写真です。

最後に、以前述べた離散分類タスクに加えて、私たちの神経デコーディングアルゴリズムは、脳で記録された神経活動に基づいて四肢運動学を連続的に前方予測するような回帰タスクにも使用できることを述べたいと思います。

研究プログラム3: コンピュータビジョン

次に、コンピュータビジョンに焦点を当てた3番目で最後の研究プログラムについて述べます。私たちの使命は、脳の視覚情報処理ニューラルネットワークからインスピレーションを得た視覚知能の新しい深層学習モデルを開発することです。

コンピュータビジョンの深層学習には大きな進歩がありましたが、その大部分は自動運転での研究開発によって促進されており、ほとんどのカナダ人が経験しているように、実世界環境での視覚知覚にはまだ多くの未解決課題があります。

さらに、多くの深層学習モデルは、右に示されているこれらの物理的ステッカーのような軽微な敵対的攻撃にも苦戦しています。一方、人間の脳はこれらの摂動に容易に適応し、停止標識を認識できます。この頑健性の欠如は、自動運転車などの応用における安全性と性能に重大な影響を与える可能性があります。

そのため、機械学習コミュニティはまだ人間レベルの視覚知能の達成に向けて取り組んでいます。神経科学者として、人間の脳はこれらのタスクをどのように解決するのかからインスピレーションを得ています。

視覚皮質には腹側流と呼ばれる経路があり、これは主に物体認識を担当しています。視覚刺激を受け取る皮質下領域から始まって、腹側流はニューロンのネットワークを通じて階層的表現を学習することでこの情報を処理し符号化します。

エッジや向きなどの本当に単純な特徴を検出するV1領域から、IT皮質での顔や場面などのますます複雑な抽象化パターンまで進みます。この全プロセスは刺激から出力行動まで約100ミリ秒かかります。

脳でのこの神経解剖学と情報処理は、コンピュータビジョンでの深層学習モデルのインスピレーション源となってきました。有名な例の一つは、私たち自身のジェフリー・ヒントン博士によって開発されたAlexNetモデルで、大規模訓練データと計算により、畳み込みニューラルネットワークが画像分類タスクで最先端性能を達成できることを初めて示しました。

この貢献や他の画期的貢献により、ヒントン博士は最近ノーベル賞を受賞しました。これは私たちトロント大学コミュニティ全体にとって誇らしい瞬間でした。

これらの畳み込みニューラルネットワークは脳の機能的・構造的モデルの両方として捉えることができ、視覚認識タスクを実行でき、多層階層アーキテクチャで構成されています。これが私のコンピュータビジョンプログラムにつながり、これまでは性能最適化深層学習モデルと呼ぶものの開発に焦点を当ててきました。

これは単に、視覚刺激に対する脳内の神経表現を明示的に模倣するのではなく、画像分類などの大規模視覚認識タスクでの速度や精度などの性能のためにニューラルネットワークを最適化することを意味します。

私たちの研究の出発点は、最初にMITからの興味深い研究によって動機づけられました。それは、ニューラルネットワークが画像分類などのタスク性能に対して最適化されると、少なくとも一定点まではより高い神経予測性も示す傾向があることを示しており、これはより脳らしいということを意味します。

2018年に遡って、私たちは実世界歩行環境の視覚知覚のための最初の畳み込みニューラルネットワークを開発しました。比較的単純でしたが、この予備研究はこの新しいコンピュータビジョン応用のために深層学習モデルをエンドツーエンドで最適化する実現可能性を実証し、95%を超える画像分類精度を達成しました。

それでも、私たちのニューラルネットワークが環境を傾斜階段として誤分類した興味深い例がここにあります。私たちはしばしばこの左上の画像を、人間の視覚システムにとっても特に挑戦的なものとして参照しています。この研究の結果、私たちはInternational Conference on Rehabilitation Roboticsでベストペーパー賞にノミネートされました。

この研究は人工知能と医用画像のカナダ研究チェアであるアレクサンダー・ウォング博士との協力でした。それ以来、私たちは様々なコンピュータビジョンタスクのために数十のニューラルネットワークを開発してきました。例えば、ある研究では視覚シーン認識のための新しい深層学習モデルを開発しましたが、モバイル展開とリアルタイム推論をサポートするためにモデルの効率性も最適化しました。

ここではより脳らしい神経形態コンピューティングのためにニューラルプロセシングユニットまたはNPUを使用しました。韓国大統領にこのシステムを披露する招待も受け、この研究は写真にも写っているAgewellの科学ディレクターであるアレックス・ミハイリデス博士との協力でした。

モバイルコンピューティングに加えて、スマートグラスを作成するために低電力組み込みシステムにニューラルネットワークを展開もしました。この新しいデザインは実世界環境での身体化視覚知能により実用的だと考えています。

年月を経て、私たちは様々なコンピュータビジョンタスクのために数十の深層学習モデルを開発してきました。教師あり学習を使用してこれらのニューラルネットワークを最適化するために、私のプログラムは大規模画像データセットの開発も主導してきました。

実際、私たちは実世界環境の一人称視点画像のオープンソースデータセットの中で最大のものの一つを作成しており、人間の注釈を含む560万枚を超える画像があります。このデータセットには屋内と屋外の両方のシーンが含まれています。雪、草、多色葉などの異なる天候表面を捉えるために、複数の季節にわたってこれらの画像を独自に収集しました。

とはいえ、人間の脳は必ずしも大規模データセットでの教師あり学習を通じて視覚認識を学習するわけではありません。娘ソフィアに異なる物体や動物の名前を教えるとき、コンピュータビジョンで行うような高レベルセマンティックラベル付きの数百万の訓練画像を提供するわけではありません。

教師あり学習に加えて、私のプログラムは脳でのより生物学的にもっともらしい学習モデルの探求にも関与しています。例えば、私たちの研究の一つでは、ニューラルネットワークモデルの訓練に必要なラベル画像数を最小化するために、大量の非ラベルデータを使用して視覚表現を学習する新しい半教師あり学習アルゴリズムを開発しました。

この新しいアルゴリズムを使用して、教師あり学習に基づく従来の最先端と比較して35%少ないラベル画像を必要としながら、約99%の高い画像分類精度を達成でき、訓練効率を大幅に改善しました。

この研究は、私がウクライナで遠隔指導する大学院生の一人によって主導されました。畳み込みニューラルネットワークに加えて、私のプログラムは視覚知覚のためのリカレントニューラルネットワークの研究にも関与しており、これは時間情報を統合するために使用される脳内のリカレントフィードバック接続からインスピレーションを得ています。

これらのニューラルネットワークは動画などの連続入力を処理できます。例えば、私たちは以前、独立した静的画像を使用する畳み込みニューラルネットワークと比較して、時間動力学を持つニューラルネットワークは分類精度を向上させるが、計算とメモリ記憶要件が不釣り合いに高くなることを示しました。

この性能トレードオフを、分類精度とニューラルネットワークパラメータ数と数値演算のバランスを取るこの効率メトリックを使用して定量化しました。これは人間の脳のリアルタイム処理と計算制約を考慮すると神経科学研究に関連しています。

この研究もウクライナのコンピュータサイエンス学生との協力でした。これまで議論したすべては、視覚情報を2つの空間次元で符号化するRGB画像を使用しています。しかし、深度知覚も視覚知能において重要な役割を果たします。神経科学からインスピレーションを得て、私たちは深層学習を使用して2D画像から3D環境を再構築する新しい単眼深度推定アルゴリズムを構築してきました。

例として、ここに自然シーンのRGB画像があります。ここに深度カメラを使用した対応する深度測定があります。そしてここに私たちの新しい深度推定ニューラルネットワークを使用した深度推定があります。これらの結果はまだ予備的ですが、これまでのところ最先端深度カメラに比較的匹敵する精度で物体の高さと距離パラメータを推定できています。

コンピュータビジョン研究の今後の方向性

これは私たちのコンピュータビジョン研究の一部のスナップショットです。繰り返しになりますが、このプログラムの使命は、脳の視覚情報処理ニューラルネットワークからインスピレーションを得た視覚知能の新しい深層学習モデルを開発することです。

今後数年間、性能最適化深層学習モデルを超えて、脳内の神経表現も予測するより神経解剖学的に整合したモデルにこのプログラムを拡張する計画です。

ここでは、視覚物体認識などの同じタスクを実行する人間と機械の間の出力行動を比較します。しかし、ニューラルネットワーク内の内部計算も比較し、例えば層ごとにニューロン集団のスパイク率を比較します。

これは再び、人間と機械の間の出力行動の研究だけでなく、知能のより良い機構的理解を得るために内部神経表現も研究することで、古典的チューリングテストを拡張するという考えに戻ります。

研究室の全体像と今後のビジョン

これがトロント大学の私の研究室のかなり高水準な概観でした。繰り返しになりますが、現在3つの主要研究プログラムに組織されており、運動皮質での神経計算が人間の動きをどのように制御し最適化するかをリバースエンジニアリングするために強化学習モデルを開発しています。

脳機械インターフェースのためにユーザー意図を予測する神経デコーディングアルゴリズムも構築しています。そして視覚皮質の視覚情報処理ニューラルネットワークからインスピレーションを得た視覚知能の深層学習モデルも開発しています。

脳内の感覚・運動システムのこれらの計算モデルは広範囲の応用を持つことができ、その一つがロボティクスであることを再強調することが重要です。

私の研究室は神経科学と機械学習の交差点を探求しており、脳を研究するためにAIと機械学習を使用します。しかし、新しいAIアルゴリズムを構築するためのインスピレーションとしても人間の脳を使用します。

確かに、私たちの過去の研究の大部分はAI駆動脳科学に焦点を当ててきました。しかし、脳にインスパイアされたAIアルゴリズムの開発には巨大で比較的未開拓の潜在能力があります。例えば、多くの主要テック企業は世界初の汎用人工知能またはAGIの開発で軍拡競争を行っており、これはおそらく史上最大の工学的挑戦の一つです。

しかし、汎用知能の私たちの唯一の既知例は人間のそれです。脳をリバースエンジニアリングすることで、人間レベルの人工知能を構築できる新しい基本原理を発見できるかもしれません。これは飛行にいくらか類似しており、飛行機は必ずしも鳥のように見えるように設計されたから飛ぶのではなく、両方が同じ基本原理と物理法則を使用するからです。

私の研究プログラムの長期ビジョンは、生物学的脳と人工脳の両方に適用できる知能の類似した基本原理を発見することです。

謝辞と質疑応答

とはいえ、この機会を使って学生たちに感謝したいと思います。コンピュータ科学者、エンジニア、数学者、神経科学者からなるこの信じられないほど才能があり創造的なチームを率いることは光栄です。この多様性は、高度に学際的な計算神経科学での私たちの研究にとって本当に不可欠でした。

私たちの研究に資金提供し支援してくれる様々な学術、産業、政府組織にも感謝します。そして今日私の話を聞いてくださりありがとうございました。

ありがとうございます。質問をどうぞ。チャットに質問を入力するか、直接マイクをオンにして話してください。後者の方が好ましいです。どうぞ。

こんにちは。とても興味深い講演でした。私の質問はハードウェアについてです。現在のコンピュータシステムはペアワイズ相互作用に基づいていますが、ニューロンは非ペアワイズで統合的です。あなたの目標を達成するために、現在のハードウェアの革新または変革が必要だと思いますか？

良い質問ですね。私の研究室では、人工ニューラルネットワークと脳内の計算を理解することで、アルゴリズムに重点を置くよう本当に努めていることを申し上げます。

しかし現実は、これらのモデルの推論を行うハードウェアとシナジスティックにペアにする必要があるということです。私がウォータールー大学で修士と博士を行った際の研究を思い返すことがよくあります。ウォータールー大学には理論神経科学センターがあり、そこで行われる研究の大きな構成要素は共設計と共最適化の分野で、神経形態チップがあり、スパイキングニューラルネットワークも開発しています。

高レベルで脳内の計算を模倣するスパイキングニューラルネットワークのようなモデルを開発することは一つのことです。しかし、脳の効率性を何らかの形で再現または何らかの方法で脳と同じ効率性を達成するために、これらのモデルを推論を実行するハードウェアと共設計・共最適化することが重要です。私たちの現在の研究室ではそれを行っていません。

多くの研究室が必ずしもこれを行わないことを発見しています。彼らは脳からインスピレーションを得てスパイキングニューラルネットワークのようなモデルに取り組むか、神経形態チップを開発しているかのどちらかです。しかし、同時に両方を行わない限り、より多くの証拠があることを思います。これは畳み込みニューラルネットワークを神経形態チップに展開することや、スパイキングニューラルネットワークを従来のGPUアクセラレーターに展開することと同じではありません。

脳により近い効率性を達成するという最終目標がある場合、理想的には同時に両方を行うか、少なくとも同時に両方を行う必要があります。長い答えは、私たちが現在主にモデルに焦点を当てているが、脳を理解し人間レベル知能に匹敵するAIモデルを開発する長期的追求において、研究室の将来方向の一つが神経形態コンピューティングの共設計と共最適化を取り入れ始めることだということです。

ありがとうございます。他に質問はありませんか、同僚の皆さん。その間、私から質問があります。個人的に、あなたの講演で最も興味深い部分は脳コンピュータインターフェースでした。これは少なくとも私のチームが取り組んでいることです。95%精度の運動イメージャリーデコーダーに興味を持ちました。

これは人物非依存、セッション非依存モデルでしょうか？非侵襲電極でそのような高精度を持つことは非常に稀だからです。ハードウェアは何で、モデルは何でしょうか？

ハードウェアですが、これは展開されたハードウェアではありません。私たちがこれまで行った脳コンピュータインターフェース研究はオープンループであることを強調することが本当に重要です。マウスがどこにあるか少し迷子になっています。現時点では、神経デコーディングアルゴリズムを閉ループ制御設定で展開していません。

つまり、フィードフォワードの意味で意図をデコードしているだけです。私たちが行っている主張について少し注意深くなければなりません。これをコンピュータカーソルやロボットアームのリアルタイム神経デコーディングと制御に使用できるという主張ですが、今後その分野で取り組んでいます。

以前、私たちが開発していたアルゴリズムは、すべての推論がクラウドで行われます。少なくとも脳機械インターフェース研究では、リアルタイム計算について報告することはあまりありませんが、閉ループ制御を行ったEMG関連は除きます。これがあなたの計算に関する質問への答えです。

このような高性能を達成する方法について、これは一個人のためのものです。私たちが行うことは、本質的にソース被験者のクラスターを形成し、これらの各クラスターのためのモデルを持つことです。新しい参加者を連れてくると、どのクラスターの一部になれるかを非常に迅速に特定できます。どのクラスターが特定の動きに対する脳動力学で見られる表現を最もよくカプセル化するでしょうか。

このような高精度を達成する方法について、少し注意点がありますが、神経動力学は動きの関数です。本当にタイトな実験と制御を持つために、非常に選択的で限定された動きを行います。これらは自由に行動する個人ではありません。

そうでなければ、物事は信じられないほどノイズが多く、異なる運動タスク間や被験者間で運動タスクを実行する被験者間を識別することが本当に困難になります。その特定のスライドで言及しなかった注意点と部分は、これが非常に制御された環境での非常に低次元動作のためのものであることです。

実世界設定ではありません。非常に制御されているからです。そして非常に選択的な動作タスクのためです。これは潜在的解決策のサーチスペースを最小化する一つの方法です。

実際に展開された設定に向けて動き始め、行っている動作と私たちがデコードし人間に適応する方法を拡張するとき、そして彼らがタスクまたは複数のタスクを実行している時、私たちのアルゴリズムがどのように実行しているかを再較正し再評価する必要があります。

あなたが言及しているこの非常にスライドの特定のものについて、すべての注意と質問を取りたくありませんが、このヒューマンインザループ閉ループ脳コンピュータインターフェースで強化学習を使用する予定だと言いました。それは遅いです。超遅いです。

強化学習はユーザーを更新するために使用されます。強化学習は私たちが持つビジョンではオンライン制御に使用されるのではなく、リアルタイムでではなく、ある時間の粗さでモデルを適応させるためです。おそらく日ベース、時間ベースで、時間の関数としてニューラルネットワークの重み、神経デコーダーを更新することです。

しかし注意点はその時間とは何かということです。どの時間スケールについては言及しませんでした。ここでの動機は、私のトロントでの所属の一部が私がリハビリテーション病院と提携していることです。私が関連している病院は、このような技術がリハビリテーションプロセスの関数としてどのように適応すべきかを知ることに興味があります。人が運動行動を変化させながら、リハビリテーションプロセスを経て変化している時のように。

その時間スケールは日や週や月、場合によっては年の経過でです。アイデアは、ミリ秒や秒の時間スケールでの関数としてではなく、リハビリテーションプロセスの関数として神経デコーダーを適応させるために強化学習を使用することです。あなたは正しいです。

適応制御の関数として使用されないのではなく、私が言及している時間スケールに関する詳細に悪魔が潜んでいるということです。

他にもっと質問はありませんか。同僚の皆さん、マイクをオンにして質問することを遠慮なくどうぞ。どなたか？

質問がこれ以上ないようでしたら、ブルークスさんに興味深い講演をありがとうございました。そしていずれ直接いらしてディスカッションと会話をすることについて考えていただければと思います。

ありがとうございます、マーカス。ありがとうございました。そして講演にご参加いただいた親愛なる同僚の皆さん、ありがとうございました。これで録画を停止します。ありがとうございました。皆さん、ありがとうございました。