6,634 文字
シンギュラリティーネット、True AGI、そして人工超知能アライアンスのCEOを務めるベン・ゲルツェルです。ここ1週間ほど、多くの人々から新しい大規模言語モデルであるDeepSeekについて質問を受けていましたので、少し時間を取って私の考えを共有したいと思います。
私も他の多くの人と同様にDeepSeekを試してみましたし、その研究論文も読みました。とても興味深く、重要な進歩だと思います。もちろん、AIにおける途方もない革命というわけではありませんし、ずっと前にGoogle Brainが行ったTransformerニューラルネットの発明ほどの大きな進歩でもありません。しかし、確かに大きな一歩前進であり、なぜそれがどのような前進なのかについて少しお話ししたいと思います。というのも、私が目にしている多くの反応がかなり的外れだと感じているからです。
DeepSeekは、LLM分野における大きな効率性の向上をもたらしました。これは素晴らしいことで、LLMアプリケーションの性質や経済性に大きな影響を与えるでしょう。しかし、この効率性の向上は、AGIに向けた根本的なブレークスルーでも、AI革新の重心を根本的に変えるものでもありません。むしろ、私たちが既に進んでいると分かっていた道筋の上で、予想よりも速い飛躍を遂げたというべきでしょう。破壊的なパラダイムシフトというよりは。
これは私たちが何度も目にしてきた現象によく似ています。私は1990年代初頭にコンピューターグラフィックスの仕事をしていましたが、その当時、画像をレンダリングするには高性能なスーパーコンピューターが必要でした。今では携帯電話でレンダリングができます。顔認識も以前は高価なニッチなアプリケーションでしたが、今では低価格のスマートフォンでも当たり前の機能になっています。
大規模言語モデルでも同じことが起こることは分かっていました。最初は高価で、膨大な計算能力を必要としますが、最終的には安価でコモディティ化されます。驚くべきことは、それがいかに速く、そして突然に起こったかということです。
しかし、待ってください。私たちは技術的特異点の夜明けにいるはずですよね。レイ・カーツワイルは2029年に特異点が訪れると予見しました。特異点の概念とは、そこに近づくにつれて技術的進歩がどんどん速くなり、最終的には人間の目には理解不可能なほど速く進むということです。これはまさに特異点に近づくにつれて見られるはずの現象です。私たちの直感では予想できないほど速く進歩が起こるのです。
私たちの直感は進化の過程で線形的な思考に適応してきました。指数関数的な思考には適応していないのです。今私たちが目にしているのは、特異点に近づくにつれて見られる指数関数的な進歩なのです。DeepSeekはそのような興味深い瞬間の一つに過ぎません。特異点前の最後の数年間で、私たちはこのような瞬間をたくさん目にすることになるでしょう。
DeepSeekの内部で何が起きているのか。主な成果は、基本的なTransformerアーキテクチャを再定義するのではなく、効率性を最適化するための非常に賢い技術です。DeepSeekは専門家の混合モデル（Mixture of Experts）を使用しています。これは確立されたアンサンブル学習技術で、機械学習で長年使用されてきましたが、DeepSeekは他の効率化の技術と組み合わせて、非常に賢い方法で計算コストを最小限に抑えています。
専門家の混合モデルでは、それぞれが異なることを得意とする多くの内部エージェントを持ち、それらの結果を組み合わせて答えを得ます。これはTransformerや言語モデルでも使用されてきましたが、DeepSeekの使用方法では、大規模なネットワークのごく一部だけを任意の時点で使用することができます。
例えば、6,710億のパラメータがあっても、特定の質問に答えるには370億のパラメータだけが必要かもしれません。つまり、18分の1の計算能力で済むということです。質問に答えるために実際に必要のないニューラルネットワークの部分を使用しないことで、計算能力の無駄を大幅に削減しているのです。
DeepSeekは強化学習という学習技術を大幅に活用しています。これは、望ましい行動に対して報酬を与え、望ましくない行動に対してある種の罰を与え、その報酬と罰がネットワーク全体に伝播してニューロン間の重みを全て修正する技術です。全ての大規模言語モデルは、この種の報酬ベースの強化学習と、他の種類の教師あり学習やデータセットでの訓練を組み合わせて学習していますが、DeepSeekは強化学習に重点を置き、特に推論の訓練に強化学習を他のLLMアプローチよりもはるかに多く使用しています。それが非常にうまく機能したようです。
また、マルチトークントレーニングを使用し、一度に複数のテキストを予測するようDeepSeekを訓練することで、訓練効率を向上させています。これらの最適化を全て組み合わせることで、OpenAIやAnthropicなどと比べて、訓練と推論のコストを1桁ほど削減することができました。
これは本当に強力で意味のあるエンジニアリングの改良です。AGIに向けた概念的な飛躍でも、物事を行う全く異なる方法でもありませんが、10倍から20倍ほど速くて安価になったことは驚くべきことです。LLMで何ができるかという経済性全体を見直すことができます。
DeepSeekのもう一つの興味深い点は、オープンソースアプローチを採用していることです。これは例えばOpenAIの囲い込み戦略とは対照的です。OpenAIは名前に「オープン」とありながら、実際にはあまりオープンな戦略を取ってきませんでした。実際、OpenAIの設立当初のウェブサイトを見ると、主にオープンにするが、適切でないと判断した場合はそうしないかもしれないと言及していました。結果的に、彼らはほとんどの場合オープンにすることが適切ではないと判断しました。
AnthropicをはじめとするアメリカのAI企業のほとんどがそれに倣いましたが、ヤン・ルカンの指導の下でのFacebookは注目すべき例外で、彼らのLlamaAIモデルやその他の素晴らしいものを公開しています。
DeepSeekは彼らのモデルをオープンにし、何をしたのかを説明する研究論文を公開しました。これは素晴らしい前向きな取り組みだと思います。オープンソースAIは、急速なイノベーション、より広い採用、集団的な改善を促進します。ビジネス的には、プロプライエタリなモデルは企業がより直接的な収益を得ることを可能にする面もありますが、オープンなアプローチでも多くのビジネスの道が開かれており、より広いコミュニティが開発に貢献することを可能にし、より多くの研究者、企業、独立開発者にツールを提供します。
DeepSeekを開発したヘッジファンドのハイフライヤーは慈善団体ではありません。オープンソースAIは単に哲学や世のため人のためだけではないことを彼らは知っています。サービス、エンタープライズ統合、ホスティング、自社のモデルを使って市場で利益を上げるなど、オープンソースと共に成り立つ十分に有効なビジネスモデルがあることを彼らは知っています。
LLMの効率性における大きな前進がオープンソースで公開されたことは素晴らしいと思います。また、この大きなオープンソースの動きが中国から出てきたことも非常に興味深いです。中国は過去数十年間、AIで多くのことを行ってきましたが、オープンソースではそれほど大きな動きはありませんでした。政府の行動ではなく民間企業を通じてですが、中国のAIエコシステム全体からオープンソースの方向に大きく動いていることを見るのは本当に興味深いことです。
オープンソースと中国の組み合わせはそれほど有名でも一般的でもありませんが、このような科学レベルのブレークスルーが中国から出てきたことは全く驚きではありません。私は10年間香港に住み、中国本土を行き来していたので、中国本土のAI研究への巨大な投資規模、多くの優秀なAI博士号保持者、そして強力で費用対効果の高いAIを作り、国全体で大規模に展開することへの強い焦点を直接目にしてきました。
明らかにAIだけでなく、これは中国が西洋のイノベーションを取り入れ、効率性とスケールのために最適化し、前例のない方法でスケールアップした最初の例ではありません。中国は実際、効率的なスケールアップが非常に得意なのです。
これを地政学的な競争という観点で見ることもできます。中国はAIレースで後れを取らないということですが、私はこれをより世界的に統合されたAIの景観に向けた一歩として見ています。有益なAGIから有益な超知能へと導くのは、国家主義的なサイロで行われる独占的な作業からではなく、世界中の当事者からのオープンな協力とオープンソースツールから生まれる可能性が遥かに高いと思います。
単一の国や企業による独占ではなく、分散化された世界的に分散したAGI開発の取り組みの方が、人類とすべての知覚存在に奉仕するAGIシステムを作る上で、はるかに良い機会を与えてくれるでしょう。
より広い意味合いは何でしょうか。まず、LLMは強力ですが、そもそもAGIの未来ではありません。より良く、より安価なLLMがAGIに与える影響は限定的です。ゲイリー・マーカスらが詳しく指摘しているように、DeepSeek、ChatGPT、Llamaなどの大規模言語モデルの基盤技術であるTransformerニューラルネットは、核となる認知能力が欠けています。
自身と世界との関係の理解に基づいて自身の推論を導く能力が欠けており、基礎的な組み合わせ抽象化の能力も欠けています。彼らは経験を超えた大きな飛躍ができる自律的な人間のような心に本当に成長することはできません。LLMは訓練データが非常に一般的であるため一般的に見えますが、人々が行うような野生的で創造的な飛躍のように、訓練データを遥かに超えて飛躍することはできません。
とはいえ、LLMは膨大な数の経済的タスクを自動化し、おそらくあらゆる産業を変革することができます。より低コストで高速なLLMはそのプロセスを加速することができ、これは素晴らしいことです。しかしAGIへの道筋という観点では、より速くより安価なLLMはそれほど役立たないと私は考えています。LLMがAGIに到達するのを助ける足場の一部になる可能性があるため、少しは役立つかもしれません。
しかしAGIを超えて、専門的なAIの異なる産業への影響やAI投資という観点から見ると、DeepSeekが象徴するLLMのコモディティ化は、様々な方法でAI投資をシフトさせる大きな可能性を持っています。DeepSeekの効率性の向上は、LLMがコモディティになるという傾向を加速させます。LLMのコストが下がるにつれて、まず投資家は他のものに、AIイノベーションの次のフロンティアに目を向け始めるでしょう。
LLMがコモディティになったなら、ニューロモーフィックチップや人型ロボット、ニューロシンボリックや進化的AI、Transformerを超えた異なるアーキテクチャーに向かうかもしれません。また、より小さく、より速く、より安価なLLMを手に入れたことで、分散ネットワークに展開したり、エッジに配置したりすることができます。シンギュラリティーネットや人工超知能アライアンスのような分散型ネットワークにAIモデルを展開することがはるかに容易になります。
私はDeepSeekと、それに続くであろう同様のモデルが、分散型AIエコシステム、すべてのAIブロックチェーンプロジェクトにとって本当に良いものだと思います。なぜなら、ノードにLLMを持つ大規模な分散型ネットワークを展開することがはるかに容易になるからです。
これらの点を総合すると、DeepSeekは私が「AIのカンブリア爆発」と考えるものへの道筋における興味深いマイルストーンだと思います。カンブリア爆発は、地球上の生命の歴史において、様々な形や大きさの生命形態が大量に増殖した時期でした。より速く、より安価なLLMを持つことで、ある意味でそれが可能になります。
高品質なAIがより身近で手頃な価格になり、AIにおける指数関数的な進歩の必然性と、最先端のAI開発の国際的な範囲を強化します。つい最近まで、サム・アルトマンは「わずか100万ドルではスタートアップは何もできない」と言っていましたが、今ではそれが真実ではないことが明らかです。より多様なスタートアップ、研究プロジェクト、非営利の取り組みがAIで実質的な進歩を遂げることができます。
私自身のOpenCog Hyperonやシンギュラリティーネット、ASIアライアンスでの研究プロジェクトについて、以前は「あなたは相当大きなプロジェクトだが、何千億ドルもない。たとえAGIを構築するためのより良いアイデアやアルゴリズムを持っていたとしても、何十億ドルもの中央集権的なサーバーを持たないのに、どうやって競争できるのか」と言われていました。
しかしDeepSeek以降、その考えは人々にそれほど理にかなったものとは思えなくなりました。市場価値がわずか数十億ドルの暗号資産プロジェクトでも、大手企業と競争してAIや超知能への突破口を開くことができるという可能性を、人々はより現実的に考えるようになりました。
私はDeepSeekには実践的な役割があると思います。LLMをより安価で、より良く、より広く利用可能にします。また心理的な役割もあります。DeepSeekは、最先端のAIに携われるのは数社だけではなく、それよりもはるかにオープンな領域であることを示しています。私はそれが非常に強力なメッセージだと思います。
私は常にそれがオープンな領域だと知っていました。だからこそ、ASIアライアンスの同僚たちと共に、有益な思考機械を構築するために懸命に取り組んでいるのです。しかしDeepSeek以降、その点がより多くの人々にとってはるかに明確になったと思います。
DeepSeek発表後のAI株式や暗号資産の市場暴落は、ある意味で少し馬鹿げています。市場のダイナミクスの観点からは理解できます。NVIDIAの株価は、大企業がGPUを大量に購入する必要があり、それを購入するために競争するため、GPUに大きな不足が生じると人々が考えたため大幅に上昇しました。
その後、その馬鹿げた不足が考えられていたほど深刻ではないかもしれないと人々が気付いたとき、NVIDIAの株価は下落しました。他のAI企業やトークンプロジェクトに投資していた多くの投資家もNVIDIAに投資していて、損失を被ったため、他のAIプロジェクトからも資金を引き揚げました。このような市場のダイナミクスがDeepSeek後の暴落につながったことは理解できます。
しかし根本的に、DeepSeekがAIの株式市場や暗号資産市場に与える合理的な影響は素晴らしいものです。より少ない資金でより多くのAIができるようになったのです。これはAI市場に関わるすべての人にとって非常に良いことです。特異点が急速に近づいているというもう一つの証拠です。
そして特異点が有益なものとなるためには、それが分散化され、グローバルで、オープンであり続けることを確実にする必要があります。DeepSeekが近年のAIイノベーションの大半とは異なる世界の側、中国から来て、それがオープンソースであるという事実は、AGIが分散化され、グローバルで、オープンになる可能性があるため、特異点が有益なものとなる可能性があるという美しい証拠です。
確かに、DeepSeekはAGIではありませんし、革命でもありません。効率性の最適化であり、道筋に沿った一歩です。しかし、それは特異点が私たちにAGIとASI、そして他の素晴らしい結果をもたらす前の最後の数年間に、私たち全員が踊っているこの全体的なダンスにおける興奮する一歩なのです。
コメント