4,088 文字
これは私がこのチャンネルで初めて行うコメンタリービデオで、他の方のYouTubeビデオに反応するものです。このような内容をもっと見たい方は、ぜひいいね、登録、コメントをお願いします。私はCharles Simonで、長年AIの研究者、ソフトウェア開発者、マネージャーをしています。AI関連の仕事に加えて、いくつかの神経学的検査機器やニューロシミュレーターのソフトウェアを開発してきました。その過程で、生物学的ニューロンの能力と限界、そして脳がどのように機能しているかについて多くを学びました。
最近、Artam Kofのチャンネルで「樹状突起：なぜ生物学的ニューロンはディープニューラルネットワークなのか」というタイトルのビデオを見て、優れたビデオではあるものの、いくつか誤解を招く点を修正したいと思いました。このビデオは明確な説明と素晴らしいアニメーションがあり、神経科学に興味がある方にはぜひ見る価値があります。
しかし、まずそのタイトル「樹状突起：なぜ生物学的ニューロンはディープニューラルネットワークなのか」について、これは単純に誤りです。これから説明しますが、幸いなことにビデオの内容自体はタイトルを裏付けるものではないので、25万回以上の再生数を稼ぐクリックベイトだったと考えられます。Aramの弁護をすれば、参考文献のリストを見ると、タイトルは基礎となる研究論文から直接流れてきたものかもしれません。
Aramのイントロの後、彼はほとんどの人工ニューラルネットワークの基礎となるパーセプトロンモデルの説明をしています。初期のニューラルネットワークは確かに、当時正確だと思われていた生物学的ニューロンの記述に触発されました。実際、私たちが知っている機械学習の誕生は1943年にWalter PittzとWarren Mullockがパーセプトロンの概念を導入したことに遡ります。派手な名前にもかかわらず、アイデアは非常にシンプルです。パーセプトロンは個々の神経細胞のように機能するために作られました。このドクトリンでは、単純な加算器と比較器のように動作します。これは、入力の数値セットを受け取り、それらに係数（重みとも呼ばれる）を掛け、すべてを合計し、その結果をしきい値と比較することを意味します。結果の値がしきい値を超えると、パーセプトロンは出力として1を隣接するものに送信します。
彼は実際のニューロン機能の最も単純なモデルである「積分発火モデル」が1907年に発表されたことや、パーセプトロンモデルが時間領域を無視するため大幅に能力が低下していることを言及していません。例を挙げることもできます。パーセプトロンベースのモデルは数学がはるかに単純なため、ニューラルネットワークで広く使用されています。
Artumは生物学的ニューロンの基本的な説明に進みます。神経科学の教科書を開くと、最初に見るのは典型的なニューロンの構造で、通常は樹状突起、細胞体（ソーマ）、軸索で構成されています。Artumはニューロンの働きの化学的な詳細を説明し、私はそれが非常に興味深いと思いました。要約すると、信号はシナプスを通じて樹状突起に入り、イオンを供給します。入力信号が細胞体のしきい値電荷を超えると、細胞体はニューラルスパイク（活動電位）を生成し、それが長い軸索に沿って伝播し、他のニューロンの樹状突起に接続するシナプスに到達します。
Aramのビデオの全体的な主旨は、樹状突起が単なる信号集約器ではなく、それ自体で興味深い計算を行えることを示しており、彼はそれを明確に実証しています。これまでは良いのですが、ここから問題が始まります。
樹状突起の計算の一部は、ニューラル信号の通常の細胞体への伝播だけでなく、逆方向の信号にも依存しており、これは「バックプロパゲーション」とラベル付けされています。信号は樹状突起内ではどの方向にも進むかもしれませんが、このバックプロパゲーションはニューラルネットワークの勾配降下アルゴリズムのバックプロパゲーションとは何の関係もありません。同じ単語を使って全く異なる2つのことを意味しており、どちらを指しているのか混乱しています。
勾配降下アルゴリズムが生物学に存在し、ニューロンがディープニューラルネットワークとして機能するためには、信号がシナプスを通じて逆方向に、そして軸索に沿って進む必要があります。これが起こるという証拠はなく、起こらないという実質的な証拠があります。あるニューロンから別のニューロンへ接続するシナプスは本質的に一方通行のデバイスであり、エラー信号が複数層の生物学的ニューロンを逆方向に伝播して初期のシナプス重みに影響を与える既知の方法はありません。
ニューロンが発火すると、スパイクが軸索を下る間に、信号も樹状突起を通って入力シナプスまで戻る必要があります。これによりシナプスがリセットされ、シナプス重みの調整が行われます。しかし、これをバックプロパゲーションと呼ぶのはやめてください。そして、もしそう呼ぶなら、勾配降下アルゴリズムのバックプロパゲーションと混同しないでください。
Artumはその後、私が詳しく述べないNMDAチャネルを紹介します。樹状突起によって実行される興味深い計算の中には、複数の入力信号の到着順序を決定したり、排他的論理和関数として機能したりするものがあります。Artumはこれが起こる神経化学の優れた説明を提供していますが、2つの入力の順序を検出することは、すでに積分発火モデルで表現できます。さらにいくつかのモデル化されたニューロンを追加すれば、任意の数の入力にまで拡張できます。
Artumは次に論理関数と排他的論理和関数を作成する問題の説明に進みます。例えば、ANDゲートは2つの入力を受け取り、両方の入力が1の場合にのみ1を出力します。一方、ORゲートは少なくとも1つの入力が1に等しい場合に1を出力します。これは包含的ORとも呼ばれます。なぜなら、両方の入力が真の場合も出力が真になるからです。入力をベン図で見ると、交差部分が含まれています。
排他的論理和（XOR）と呼ばれる別の便利な操作もあります。名前が示すように、XORゲートは入力のうち正確に1つが真である場合（両方ではない場合）に真を出力します。ちなみに、これは私たちの日常的な「または」という言葉の解釈と一致しています。「コーヒーか紅茶はいかがですか？」と言うとき、「または」は通常、排他的な意味で理解されます。コンピュータでは、XORは2つの数値を比較するなどのことに使用できます。
歴史的な観点から言うと、1980年代の最初のAIウィンターの1つは、Roger Penroseが個々のパーセプトロンが排他的論理和関数を表現できないことを示したときに引き起こされました。彼は3つのパーセプトロンがその機能を表現できるという事実を無視しましたが、ダメージは与えられてしまいました。
ここでArtumは、個々のニューロンの樹状突起がどのようにこの排他的論理和関数を形成できるかを説明します。これは魅力的ですが、革新的とは言えないかもしれません。私自身、多くのニューラルシミュレーションを行ってきましたが、これらの計算はより単純なモデルで常に実装できました。単一の生物学的ニューロンの樹状突起を2つか3つのより単純な積分発火ニューロンでモデル化すれば良いのです。
ビデオは続いて、樹状突起を正確にシミュレーションするには8層の畳み込みニューラルネットワークが必要だったという説明をしています。「最新の神経科学とディープラーニングからのアイデアの統合には有望な未来があります。特に、「単一皮質ニューロンがディープ人工ニューラルネットワークとして機能する」という非常にエレガントな論文について説明したいと思います。著者らは様々な層数を持つディープ畳み込みニューラルネットワークをトレーニングし、生物物理学モデルの複雑な入力-出力関係を学習できるかどうかを調べました。ネットワークが生物物理学モデルと同一の一連のシナプス入力を受け取った結果、詳細なモデルの出力スパイクと電圧値を正確に予測するには5〜8層が必要であることがわかりました。」
私はそれを疑いませんが、これは樹状突起の機能自体がニューラルネットワークを代表するということではありません。複雑な振り子のような機械的システムをシミュレーションするためにディープニューラルネットワークを使用することもできますが、そのメカニズムがビデオの副見出しが主張するようにディープニューラルネットワークとして機能するとは決して提案しないでしょう。
ニューロンは驚くべきものですが、ビデオの結論に達すると、再びAramの言うことすべてに同意します。「さて、まとめましょう。このビデオでは、電圧依存性イオンチャネルの存在により、樹状突起が単なる受動的な電気の伝導体から能動的な計算ユニットに変わることを見てきました。さらに、個々の樹状突起の分枝は、入力に対して排他的論理和操作を実行する能力を持っています。これは以前、多層ネットワークを必要とすると考えられていた計算のタイプです。最後に、生物学的ニューロン内の情報の複雑な入力-出力変換には、畳み込みディープニューラルネットワーク全体の計算能力が必要であることを見てきました。
ですから、単一細胞のレベルでさえ、脳が信じられないほど複雑で魅力的であること、そして次に「個々のニューロンは本質的に線形カテゴライザーのように機能する」という主張を聞いたとき、あなたがそれらの主張を疑うようになることを願っています。ここまで見ていただけた方は、同様のコメンタリービデオを作成すべきかどうか、ぜひ教えてください。また、未来AI協会に参加して、私たちのニューロモデリングと強化されたグラフベースAIプロジェクトに参加することも検討してください。いつもご視聴ありがとうございます。」
コメント