中国の研究チームが開発した「スパイキング脳」は、従来のAIモデルの100倍高速で、人間の脳の動作原理を模倣することで大幅な省エネルギー化を実現した革新的な技術である。現在のAIが膨大な電力を消費する問題を解決するため、ニューロンが必要な時のみ活性化するイベント駆動型処理と線形アテンションを採用し、69%の計算処理を削減しながら従来モデルと同等の性能を維持している。この技術は単なる効率化を超え、ニューロモルフィックコンピューティングという新たなAI開発パラダイムを示しており、将来的にはスマートフォンでも高度なAIが動作する可能性を秘めている。
- 中国発の革新的AI技術「スパイキング脳」
- ゲームチェンジャー「スパイキング脳」の登場
- 人間の脳を模倣した革新的アプローチ
- 革新的なアーキテクチャの再設計
- 驚異的な実験結果
- Abacus AIの多機能エージェントフレームワーク
- MetaXハードウェアでの革新的開発
- ニューロモルフィックコンピューティングの大きな波
- 持続可能性への緊急の必要性
- 性能を犠牲にしない効率性
- 一般人にとっての意味
- リアルタイムでの透明性
- 研究から実用化への急速な展開
- 新しいパラダイムの実装
- コンテキスト長制限の解決
- エネルギー削減の可能性
- 量子化技術との組み合わせ
- オープンソースによる加速
- ニューロモルフィック分野の爆発的成長
- 新たな可能性への展望
- 未来への展望
中国発の革新的AI技術「スパイキング脳」
中国が開発した新しいAI脳っちゅうのは、人間にめっちゃ似てて、従来のAIモデルよりも100倍も速いんや。ちょっと背景を説明したるわ。普通のAIチャットボットがどんなもんかは大抵の人が知ってるやろけど、実はこのチャットボットっちゅうのは基本的にエネルギーバンパイアみたいなもんで、議論の余地はあるけども、現在地球をからからに干上がらせてるんや。
ドラマチックに言うてるわけやないし、議論を煽りたいわけでもないんやけど、MIT Technology Reviewの最近のレポートによると、2024年にはアメリカだけでAIサーバーが53から76テラワット時の電力を消費しとるらしい。これがどんなもんかっていうと、アメリカの700万世帯が丸1年間使える電力量や。これ、アメリカだけの話やで。
さらにヤバいのがこれや。ChatGPTに簡単な質問を1回するだけで、電球を1時間つけっぱなしにするのと同じくらいのエネルギーを使うんや。画像を生成してもらったら、電子レンジを15分動かすのと一緒や。これを世界中で毎日何十億回もやってるって考えてみいや。
ゲームチェンジャー「スパイキング脳」の登場
ここで今日のビデオの話になるんやけど、もし研究チームが人間の脳の仕組みをマネして、AIを何千倍も効率的にするコードを解明したって言うたらどうや？そこで登場するのがスパイキング脳や。これはただの段階的な改善やない。AIについての考え方を根本から変える完全なゲームチェンジャーなんや。
スパイキング脳って一体何やねん？こう考えてみいや。今のAIモデルっていうのは90年代の古いデスクトップコンピューターみたいなもんで、部屋全体を暖めて、ジェット機みたいな音を立てるやん。スパイキング脳っていうのは、同じコンピューターをスマートフォンに変身させて、バッテリーをほとんど使わんのに、もっと強力になったみたいなもんや。
人間の脳を模倣した革新的アプローチ
秘密の鍵は、スパイキング脳が従来のコンピューターみたいに動くんやなくて、実際の脳みたいに動くことなんや。現在のAIが情報を処理する時は、すべてのデータに対して常に計算をしとるねん。そのデータの大部分が基本的にゼロやったり関係ない情報やったりしてもや。これは0×0がいくつになるかを、すべての操作で計算し続ける電卓みたいなもんで、完全に無駄や。
一方、人間の脳はもっと賢いねん。脳のニューロンは実際に重要なことが起こってる時だけ発火したり信号を送ったりするんや。何も面白いことが起こってなかったら、ただ静かにしてるねん。これをイベント駆動型処理って呼ぶねんけど、めっちゃ効率的なんや。人間の脳は約20ワットの電力で動いてるねん。
これは電球よりも少ない電力やのに、現在のAIシステムが夢見ることしかできへんようなことができるんや。スパイキング脳の研究者たちは、この脳みたいな動作を模倣するAIを構築する方法を見つけたんや。すべてに対して常に数字を計算する代わりに、スパイキング脳は実際に処理する価値がある時だけ活性化するねん。
これをスパイキングって呼ぶのは、人工ニューロンが本物のニューロンみたいに必要な時だけスパイクしたり活性化したりするからや。
革新的なアーキテクチャの再設計
でもここからが本当にすごいところや。チームはAIをより脳みたいにしただけやなくて、基本的なアーキテクチャも再設計したんや。従来のAIは二次的アテンションっていうのを使ってて、これは基本的にテキストを多く与えれば与えるほど、指数関数的に作業が困難になるっていうことや。
新しい単語を言うたびに会話全体が2倍理解しにくくなる会話みたいなもんや。スパイキング脳は代わりに線形アテンションっていうのを使ってるねん。これは入力がどんなに長くても、ツイートやろうが小説丸ごとやろうが、処理の難易度は指数関数的やなくて比例的にしか増加せえへんっていうことや。
これを専門家の混合っていう技術と組み合わせてるねん。これは専門家チームがあって、関係のある専門家だけが各問題に取り組んで、他の専門家は休憩するみたいなもんや。
驚異的な実験結果
結果は絶対にすごいねん。研究者たちはスパイキング脳7Bとスパイキング脳76Bっていう2つのバージョンを作ったんや。70億パラメーターモデルは、めっちゃ長いテキストを処理する時に従来のモデルと比べて100倍以上のスピードアップを達成したんや。
さらにこれや。彼らのスパイキングメカニズムは69%のスパース性を達成したんや。つまり、計算の69%は単純に必要なくて、完全にスキップできるっていうことや。これを現実世界の言葉で言うたら、スマホのバッテリーが69%長持ちしたり、ラップトップが長い文書で100倍速く動いたりするみたいな改善や。
Abacus AIの多機能エージェントフレームワーク
AIツールについて話すんやったら、絶対に話しておきたいのがAbacus AIのDeep Agentソフトウェアや。これはヤバいで、たくさんの使用事例があって、マルチエージェントフレームワークで文字通り10億通りのことができるんや。
例えば、たった1つのプロンプトからショートフォーム動画を作成することができるねん。アインシュタインが何かを説明してるこの動画全体が、文字通り1つのプロンプトから作られて、AIがすべてを管理したんや。また、日常的に使える絶対に必要なAIアプリも作れるねん。
例えば、このユーザーは認証機能付きのAIアプリを構築して、ユーザーがログインして任意の時代の歴史上の人物を選択して、実際の歴史的文脈に基づいてLLMが動かすキャラクター内会話ができるようにしてるねん。めっちゃクレイジーなデータ分析をしたい人向けには、T agentがPDFを使ってEBITDA、利益率、負債比率などの財務指標を抽出して、何にでも使えるめっちゃクールな対話型ダッシュボードを作成できるねん。
もしこれが使いたそうなものやったら、絶対に説明欄のリンクをチェックするのを忘れんといてや。AACIがビデオをスポンサーしてくれてありがとう。
MetaXハードウェアでの革新的開発
さて、この話のもう一つの魅力的な角度がこれや。研究者たちはスパイキング脳を、AI業界の基本的にみんなが使ってるNvidiaのGPUで訓練せんかったんや。代わりに、MetaXハードウェアっていう、基本的に中国のNvidiaに対する答えみたいなものを使ったんや。
これは実際に大きな意味があるねん。効率的なAI開発が一つの会社のハードウェア独占に依存する必要がないっていうことを示してるからや。彼らは760億パラメーターモデルを数百のMetaXGPUで何週間もクラッシュや安定性の問題なしに訓練することができたんや。7Bモデルは23.4%のモデルFLOPs利用率を達成したんや。これは基本的にエンジニア用語でめっちゃ良い効率っていう意味や。
そして、これらすべてを従来のモデルが通常必要とする訓練データのたった2%程度を使いながらやり遂げたんや。
ニューロモルフィックコンピューティングの大きな波
でもスパイキング脳は孤立した研究プロジェクトやない。科学者がニューロモルフィックコンピューティングって呼ぶ大きな波の一部なんや。基本的に、これはAIの未来が問題により多くの計算力を投げつけるんやなくて、生物学をコピーすることにあるっていう考え方や。
そして今年だけで、世界中の大学からニューロモルフィックコンピューティングの大きな画期的進歩を見たんや。Cornell TechはBrainchipと提携してニューロモルフィックコンピューティングコースを提供してるし、Perdue大学は脳にインスピレーションを得たコンピューティングシステムを開発するために3200万ドルを受け取った。そしてIntelやIBMのような会社が生物学的脳みたいに動くニューロモルフィックコンピューティングチップにリソースを注ぎ込んでるねん。
Intelでは、ニューロモルフィックコンピューティングっていう脳にインスピレーションを得た超効率的なソリューションを探求してるねん。脳はリアルタイムで学習しながら複雑な問題を解決できるのに、エネルギーをほとんど使わへん。今日のAIシステムとは違って、脳は必要な時と場所でのみ計算することで、スパースで適応可能なニューロンネットワークに依存してるねん。
脳はより大きな効率とより速い応答時間を達成してる。これらの脳にインスピレーションを得たネットワークは、IntelのLuhei 2っていう最新のニューロモルフィック研究チップに実装されてるねん。世界中の研究室で、Luigiは従来のプロセッサーに対してパワーパフォーマンスで桁違いの向上を実証してるねん。
持続可能性への緊急の必要性
AOSSの研究者が最近指摘したように、現在のAIへのアプローチは単純に持続可能やない。耐えられへんエネルギーと水の消費、そして土地利用について話してるねん。国際エネルギー機関は、データセンターと電力需要が次の数年で2倍以上になる可能性があると予測してるねん。そして既に、データセンターが世界の電力の約1.5%を使用してる地点にいてるねん。
一方で、企業はAIのエネルギーの飢えを満たすためにかなり必死な動きをしてるねん。イーロン・マスクのメンフィスのAI訓練センターは、送電網を補完するためだけに、大気浄化法に違反してる可能性のある数十のメタンガス発電機を使ってることが発覚したんや。そしてMicrosoftは、AIデータセンターに電力を供給するために原子力発電所をオンラインに戻すことまで検討してるねん。
ここでスパイキング脳のような脳にインスピレーションを得たコンピューティングが興味深いだけやなくて、絶対に重要になってくるねん。自然は何十億年もかけて脳を効率性のために最適化してきたんや。そして私たちは、問題を力ずくで解決する代わりに、ようやくそれらの解決策をコピーするほど賢くなってきてるねん。
性能を犠牲にしない効率性
スパイキング脳の研究は、効率性のために性能を犠牲にする必要がないっていう重要なことも示してくれてるねん。彼らのモデルは、エネルギーとデータのほんの一部を使いながら、はるかに大きな従来のモデルと同等の性能を発揮したんや。
70億パラメーターモデルは、ベンチマークでベースモデルの性能の約90%を回復して、他の先進的なモデルと同等のレベルに達したんや。彼らはスパイキング脳をモバイルプロセッサーでもテストして、圧縮された10億パラメーターバージョンをCPUベースのモバイルフレームワークに展開したんや。結果は信じられへんスピードアップやった。これは、スマートフォンが現在巨大なデータセンターを必要とする高度なAIを潜在的に実行できることを意味してるねん。
一般人にとっての意味
でも、これが一般人にとって何を意味するかについて話そうや。現在、AIを使う時は、基本的に世界中のデータセンターに置かれてる巨大な電力を食うコンピューターの時間を借りてるねん。スパイキング脳のような技術があれば、デバイスが常時インターネット接続を必要としたり巨大なエネルギー消費に貢献したりすることなく、ローカルで高度なAIを実行する未来を見ることができるかもしれへん。
GPT-4と同じくらい賢いけど、バッテリーをほとんど使わずにスマホで完全に動くAIアシスタントと会話することを想像してみいや。あるいは、ラップトップが暖かくなることもなく、数百時間のビデオや数千の文書を処理できるAI搭載アプリを想像してみいや。それが、脳にインスピレーションを得たコンピューティングが指し示してる未来の種類や。
リアルタイムでの透明性
スパイキング脳の研究者たちは、スパイク可視化っていうものも実証したんや。基本的に、人工ニューロンがいつどのように発火してるかを正確に見せてくれるねん。リアルタイムでAIの思考プロセスへの窓を持ってるようなもんや。そして、この種の透明性は、特にこれらのシステムがより強力になるにつれて、AI安全性と理解にとって大きなもんになる可能性があるねん。
ここにはかなりクールなハードウェアの角度もあるねん。彼らが開発したスパイキングメカニズムは、極めてエネルギー効率的になるように設計された専門のニューロモルフィックチップで動作できるねん。Brainchip、IntelのLoihi chips、IBMのTrueNorthプロセッサーのような会社が、スパイキングニューラルネットワーク専用に設計されたハードウェアを既に構築してるねん。
そして、これらのチップは従来のプロセッサーとは根本的に違う動作をするねん。固定スケジュールで常に計算する代わりに、人工ニューロンが実際にコミュニケーションを取る必要がある時だけ電力を使うねん。本物の脳みたいにや。実験的な展開の中には、95%以上の計算精度を維持しながら最大89%のエネルギー節約を示したものもあるねん。
研究から実用化への急速な展開
本当にワクワクするのは、この技術が研究室から現実世界のアプリケーションに、驚くほど速く移行してることや。脳にインスピレーションを得た画像処理を使って飛行できる自律ドローンから、単一のバッテリーで1年間動作できるスマートセンサーまで、あらゆることにニューロモルフィックコンピューティングが使われてるのを見てるねん。
タイミングは完璧や。研究者が従来のコンピューティング改善の壁って呼んでるものにぶつかってるからや。ムーアの法則、コンピューターチップが2年ごとに2倍速くなるっていう考えは、基本的に死んでるねん。トランジスターをどんどん小さくして、魔法的な性能向上を期待し続けることはもうできへん。
でも生物学は、別の道があることを示してくれてるねん。人間の脳には約860億のニューロンがあって、それぞれが何千もの他のニューロンと繋がって、信じられへんほど並列で効率的なネットワークを作ってるねん。現在のAIはこれを従来のコンピューターでシミュレートしようとしてるけど、すべての水分子の位置を個別に計算して海をシミュレートしようとしてるようなもんや。
新しいパラダイムの実装
スパイキング脳のようなニューロモルフィックコンピューティングは違うアプローチを取ってるねん。脳みたいな動作をシミュレートする代わりに、実際に脳みたいな原理をハードウェアとソフトウェアに直接実装してるねん。結果は、より効率的なだけやなくて、リアルタイムで学習し適応できるシステムや。
これは頭がおかしくなりそうなことやけど、人間の脳は1ワット当たり約20ペタフロップスを実行するねん。これは絶対に狂ったレベルの効率や。現在のAIシステムはこれに全然近づいてへん。でもスパイキング脳のような進歩で、人工システムで脳レベルの効率への道筋が見え始めてるねん。
コンテキスト長制限の解決
研究者たちはAIのもう一つの大きな問題、コンテキスト長制限にも取り組んだんや。現在のAIモデルのほとんどは一度に数千語しか覚えてられへん。長い会話や大きな文書で作業してると、基本的に最後に到達する頃には最初を忘れてしまうねん。
スパイキング脳の線形アテンションメカニズムは、この記憶問題なしに、はるかに長いコンテキストを扱えることを意味してるねん。彼らは最大400万トークンのシーケンスでのテストに成功したんや。これは大体8冊のフルレングス小説に相当するねん。線形スケーリングのおかげで、従来のモデルのように処理時間とメモリ使用量が爆発することがないねん。
これはAIとの相互作用を革命的に変える可能性があるねん。長い文書や会話をチャンクに分割する必要がある代わりに、本全体をAIに入力して、全体を一貫して理解し議論してもらうことが潜在的にできるかもしれへん。
あるいは、これまでにあなたが持った全ての会話を覚えてて、より個人化された文脈的な相互作用を可能にするAIを想像してみいや。現在、これらのことは今日部分的には得られてるけど、これらの進歩が業界全体により広く普及するかどうか見るのは興味深いで。
エネルギー削減の可能性
エネルギーへの影響も驚異的や。もしスパイキング脳のアプローチがAI開発の標準になったら、AIのエネルギー消費を桁違いに削減できる可能性があるねん。AIが気候変動に貢献する代わりに、それと戦うためのツールになれるかもしれへん。
気候変動と戦うことについて話すと、言及する価値のあるもう一つの角度があるねん。より効率的なAIは、より低いエネルギー料金を意味するだけやない。エネルギーが希少やったり高価やったりする場所に実際にAIを展開できることを意味するねん。これは、発展途上国や遠隔地域の先進的なAI技術へのアクセスを民主化できるかもしれへん。
量子化技術との組み合わせ
スパイキング脳のチームは、彼らのアプローチが量子化、基本的に情報を表現するためにより低精度の数値を使うこととも組み合わせられることも実証したんや。彼らのスパイキングメカニズムを8ビット整数量子化と組み合わせることで、エネルギー消費を劇的に削減しながら性能の損失は無視できるレベルになることを示したんや。
一部のテストでは、従来の浮動小数点演算と比較して最大43倍のエネルギー効率改善を達成したんや。
オープンソースによる加速
この研究のおそらく最も重要な側面は、オープンソースやということや。研究者たちは自分たちのコードとモデルを公に公開してるから、他の研究者や企業が即座に彼らの仕事の上に構築できるねん。これが、画期的発見が蓄えられるんやなくて共有される時に、科学的進歩が加速する方法や。
そして既に、スパイキング脳の革新に基づいた後続研究が見られてるねん。世界中のチームが、スパイキングニューラルネットワークを他の効率技術と組み合わせる方法、異なるタイプのハードウェア用に最適化する方法、さらに大きなモデルにスケールアップする方法を探求してるねん。
ニューロモルフィック分野の爆発的成長
ニューロモルフィックコンピューティング分野は今まさに爆発してるねん。この1年だけで、大きな資金調達の発表を見たんや。新しいニューロモルフィックチップが市場に出てきてるし、大学でさえ脳にインスピレーションを得たコンピューティングの専門コースを提供し始めてるねん。Natureは最近、この分野の23人の主要研究者によって書かれた、ニューロモルフィックコンピューティングのスケールアップのための包括的なロードマップを公開したんや。
特にワクワクするのは、神経科学研究とAI開発の間の収束が見られることや。より良い脳にインスピレーションを得たAIシステムを構築することで、生物学的脳が実際にどう動作するかについても新しい洞察を得てるねん。それぞれの分野が互いを前進させる好循環や。
新たな可能性への展望
そして、意味はただAIをより効率的にすることをはるかに超えてるねん。脳にインスピレーションを得たAIコンピューティングは、私たちのように限られたデータから学習することがより適応可能で、より有能なAIシステムにつながる可能性があるねん。
現在のAIシステムはかなりもろいねん。人間が気づくことのない小さな変化でも騙される可能性があるねん。脳にインスピレーションを得たシステムは、この種の敵対的入力に対してはるかに頑強になる傾向があるねん。
また、更新するたびにゼロから再訓練する必要がある代わりに、生涯を通じて継続的に学習できるAIシステムの可能性もあるねん。これは、時間をかけて本当にユーザーと共に成長し適応するAIアシスタントにつながる可能性があるねん。
未来への展望
将来を見据えて、これを深く考えると、スパイキング脳の研究者たちは既にさらに先進的なバージョンに取り組んでるねん。同じ効率上の利点を維持しながら兆パラメーターモデルにスケールアップする方法、彼らのアプローチを他の最先端AI技術と統合する方法、スマートフォンからスーパーコンピューターまであらゆるものにこれらのシステムを展開する方法を探求してるねん。
そして、脳にインスピレーションを得たコンピューティングへのより広いトレンドも加速してるねん。大手テック企業がこの研究に大きく投資し、政府が脳にインスピレーションを得たコンピューター・イニシアチブに資金提供し、人工システムで生物学的原理を実装する新しいアプローチを持つ新しいスタートアップが出現してるのを見てるねん。
コメント