NVIDIAのブライアン・カタンザロ: なぜ計算資源を増やすだけでは不十分なのか

Anthropic・Claude・ダリオアモデイ
この記事は約57分で読めます。

NVIDIAのブライアン・カタンザロが、オープンソースAIの進展、米中のAI競争、Nemotronモデル群の設計思想を語る。計算資源を増やすだけでは限界があり、4ビット学習、ハイブリッドアーキテクチャ、Mixture of Experts、マルチトークン予測などの効率化が知能向上の鍵であると論じる。さらに、AI研究組織の運営、安全性、外部の脳としてのAIが社会にもたらす変化にも踏み込む内容である。

NVIDIA’s Bryan Catanzaro: Why More Compute Isn’t Enough
NVIDIA is a chip company. So why does it put hundreds of researchers on building AI models — and then give them away for...
www.youtube.com

計算資源の限界と外部の脳

私たちは限界ぎりぎりで走り続けるのだ、ということを真実として受け入れるなら、より多くの知能を得る方法は、より効率的になることだという意味になります。すでに限界にいるなら、さらに力を加えることで知能を増やすことはできません。今あるものをどう使うかについて、もっと思慮深くならなければいけません。

私たちは道具を作ります。問題解決を助ける外部器官を作るんです。たとえば、私たちには外部の胃があります。それをキッチンと呼んでいます。今、私たちは外部の脳を作っています。外部の脳がもたらす影響は何なのか。かなり深いものです。実際のところ、誰にも本当にはわかっていません。

こんにちは、マット・タークです。Mad Podcastへようこそ。オープンソースAIは、またしても大きな盛り上がりを見せています。強力な新モデルがほぼ毎週のように登場しているからです。そして今日のゲストは、その全体像を解きほぐすのに最適な人物の一人です。

ブライアン・カタンザロは、NVIDIAのオープン基盤モデル群であるNemotronを率いています。NVIDIAがフロンティアAIモデルの構築に大規模に取り組んでいることは、必ずしも広く知られていません。しかし同社は数百人のAI研究者を抱えており、Nemotron 3 Ultraは数週間前に公開されるや否や、米国のオープンウェイトモデルでナンバーワンになりました。

この会話ではまず、オープンソースAIの現状と、米国と中国の競争について話します。その後、Nemotronの内部に深く入り、4ビット学習、ハイブリッドなMamba・Transformerアーキテクチャ、Mixture of Experts、マルチトークン予測、マルチティーチャー蒸留を、すべて平易な言葉で説明していきます。そして最後に、現代のAI研究組織が実際にどのように運営されているのか、つまり、100本の論文ではなく1つのモデルを作るために、多くの優秀な頭脳をどうまとめるのかという、めったに聞けない話も伺います。

ブライアン・カタンザロとのすばらしい対話を、どうぞお楽しみください。

オープンソースAIの現在地

ではブライアン、今日は楽しみにしていました。オープンソースにとって、今年は大きな当たり年のように見えます。NVIDIAはつい先日、Nemotron 3 Ultraを公開しました。これは重要な瞬間で、米国で最高のオープンソース、オープンウェイトモデルです。本当に数日前のことです。そしてさらに最近、GLM 5.2も出てきて、これもまた重要な出来事でした。オープンソースAIの動きは加速しているように感じます。ここから始めるのがよさそうです。今どこにいるのか、そしてクローズドソースとオープンソースの差は現在どのくらいあるのか、どう見ていますか。

AIのためのオープン技術に、これほど多くのエネルギーが注がれているのを見るのは、本当にワクワクします。なぜなら、オープン技術は人々がイノベーションを起こせるようにするものだと私たちは知っているからです。インターネットはその非常に良い例です。実際、かつては閉じたインターネットもありました。昔のAmerica OnlineやProdigyのようなものを覚えているかどうかわかりませんが、あれらも素晴らしいものでした。そしてオープンなインターネットもまた、驚くほど素晴らしいものでしたよね。非常に多くの企業が、オープン技術のおかげで自分たちの仕事をどう変革するかを見出せました。インターネットを小売に応用する方法は、医療や製造に応用する方法とはまったく違います。しかしそれらはすべて、インターネットによって完全に変わりました。AIもまた、私は非常に変革的な技術だと思っています。そして非常に多様な形で適用される必要がある技術でもあります。だからこそ、AIのためのオープン技術は本当に根本的に重要だと考えています。世界中のさまざまな組織から、AIのためのオープン技術への投資と開発が続いているのを見るのは、とても刺激的です。そして、それが続くことを願っています。

オープンソースはクローズドソースに比べて、どれくらい遅れていると感じますか。ここ数年の大きな流れは、その差が狭まっているというものでした。オープンソースはほぼ追いついていると思いますか。それとも、クローズドソースモデルがハードルを上げ続けているのでしょうか。

この質問は、たぶん魅力的な質問だと思います。競争の構図を作るのは面白いですからね。でも私は、AIコミュニティ全体が非常に速く動いている、ということのほうが重要だと感じています。たとえば、ここ3か月だけのAIの進歩を見ても、クローズドかオープンかに関係なく、信じられないほどです。ですから、本当に速く動いている分野にいるなら、特定のモデル間に存在するかもしれない差よりも、そのことのほうが重要だと思います。一番重要なのは、AIという分野がどう発展しているのか、ということです。

オープンソースAIの進歩を続けさせる原動力は何だと思いますか。コミュニティでしょうか。NVIDIAのような大企業が後ろにいることでしょうか。中国とのグローバル競争でしょうか。何がオープンソースAIを前に進めているのでしょう。

AIのためのオープン技術を前進させているものはいくつかあると思います。ひとつは単純に需要です。AIをカスタマイズしたい、そして自分たちの仕事に深く統合したいと考える組織が非常にたくさんあります。そのためには、AIのためのオープン技術が本当に必要になります。ですから需要は間違いなくあります。

もうひとつは、それが技術を開発する最良の方法だということです。私たちは何十年にもわたって、オープンに開発される技術のほうが速く進むのを見てきました。お互いから学べるからです。そして今、AIの開発と展開によって、私たちの生涯で最も刺激的な技術上の出来事が起きています。コンピューター科学者が、AIをすばらしいものにすること以外に何に取り組みたいと思うでしょうか。そして、コミュニティとして一緒に取り組むことがその最良の方法なら、それもまた、技術をオープンに開発する方向へコミュニティを押し出す原動力になります。

少し皮肉な質問をすると、少なくともコミュニティの一部には、オープンソースというエコシステムは、NVIDIAのことではなく一般論としてですが、クローズドソースモデルを蒸留できることに一部支えられて進歩してきたのではないか、と考えている人たちがいます。そして、AnthropicやFable 5のような企業が蒸留を抑制し始めている世界で、その文脈や結果として、オープンソースAIの進歩が遅くなる可能性はあると思いますか。

私の考えでは、技術コミュニティが私たちの時代で最も変革的な技術に巨額の投資をすると決めたとき、急速な進歩が起こることは疑いありません。そして、その技術が少数の人々に支配されることもありません。なぜなら、それはこの業界の動き方ではないからです。私たちは、それぞれが自分なりに考え、自分なりに適用できるときに、最良の仕事ができます。私たちの仕事が最も大きな影響を持つのは、そういうときです。

Anthropicであれ他社であれ、クローズドなAI APIは大好きです。本当に素晴らしいと思います。そうしたラボの仕事には非常に感銘を受けています。でも、世界にラボはそこだけではありません。世界中にたくさんのラボがあり、たくさんの人が良いアイデアを持っています。すべての良いアイデアを独占しているラボが数か所だけ、ということはありません。それは事実ではありません。人類はそういうふうに動くものではありません。この地球上には、非常に優れた人々がたくさんいます。

そしてもちろん、コミュニティはこの技術を深く気にかけています。明らかに非常に変革的で、非常に多くのことに深い影響を与えるものですから、多くの人が関わりたいと思うのは当然です。ですから時間とともに、AIの開発と展開におけるコミュニティ志向のアプローチは、さらに強くなり、広く採用されていくと思います。なぜなら、それが人類という種として、私たちが物事を作ってきた歴史だからです。

中国、蒸留、そして世界のAIコミュニティ

それは世界的にも真実だと思いますか。特に中国について言うと、世界中に良いアイデアを持つ人がたくさんいるのは確かだが、中国モデルの多くの進歩は、クローズドソースモデルから直接着想を得た、あるいは蒸留によって生み出されたものではないか、という見方があります。それは単なるメディアの炎上狙いのようなものなのでしょうか。それとも、第一線のAI研究者の立場から見ても、中国から出てくる新しいアイデアには非常に感銘を受けていますか。

少し珍しいかもしれませんが、私は実際に中国企業で2年半ほど働いたことがあります。Baiduで働いていました。シリコンバレーAIラボで、アンドリュー・ングやダリオ・アモデイと一緒に働いていました。私たちは全員、中国企業で働き、Baiduの他の同僚たちがどれほど賢く、勤勉で、創造的で、発明家精神にあふれているかを見ました。その経験は今でも強く残っています。

どこか他の国の成果はすべて、いわば模倣精神によって作られているのだ、と言うのは完全に誤りだと思います。それは本当に違います。もちろん、技術コミュニティではお互いから学び合います。当然です。もちろん、お互いから学びます。でも私は、中国のAIコミュニティが自分たちの作っているものをこれほどオープンにしてきたことは、世界にとって非常に良いことだったと言いたいです。それによって非常に多くの企業が、そのコミュニティなしには作れなかったものを作れるようになりましたし、AIエコシステム全体の技術的進歩も促されました。

ですから、長年にわたって中国の同僚たちがしてきた貢献には本当に感謝しています。そして、中国以外の世界中のAIラボにも、オープンさの精神を広げることを勧めたいです。少し前にOpenAIがGPT OSSモデルを公開したときは本当にうれしかったですし、もちろんGoogleもGemmaで素晴らしい仕事をしています。それを見るのは本当に刺激的です。そしてNVIDIAでも、私たちはNemotronを前に進めています。ですから、世界の他の地域にも中国に追いつくチャンスはあると思います。つまり、AI技術を構築するためにコミュニティとして協力することの利点を理解するという意味で、率直に言って中国が先導してきた部分に追いつくチャンスがあると思います。

顧客がオープンソースモデルを使う理由

今の時代、顧客がオープンソースモデルを使う理由は何でしょうか。根本的な優位性は何ですか。

どの企業も秘密を中心に作られています。その秘密は、知的財産だけでなく、その企業のプラットフォームにも関わっています。つまり、問題や顧客とどう関わるのか、顧客が必要とするものへの解決策をどう考えるのか、ということです。そして、AIの価値は、それらの秘密とより密接につながるほど、常に大きくなります。なぜなら、AIはデータに決定的に依存するからです。入力されるデータの価値が高いほど、解決策の価値も高くなります。

さて、どの企業もAIをどう展開するかを考えるとき、自社の中核的な秘密にどのような影響があるのかを考え抜かなければなりません。そして、営業秘密やビジネスモデルの検討、あるいは規制上の要件によって、法律上非常に慎重に扱わなければならないデータがある状況はたくさんあります。それは自分たちで考え抜き、自分たちで実装できるほうがはるかに良いのです。

AIの統合、AIが顧客とどう関わるか、どのようなガードレールを置くかを考えると、どの企業にも顧客についての固有の理解があり、したがって顧客が何を必要としているかについての固有の理解があります。そしてAIのためのオープン技術の素晴らしい点は、カスタマイズを可能にすることです。企業はこれを考え抜き、自分たちにとって本当に重要なものを作れます。

先ほど私はインターネットの話から始めました。インターネットの展開は、産業ごとに非常に異なる形で行われてきました。そしてAIが経済全体で私たちの働き方や遊び方を変えていく中で、それと同じことをしたいという強い需要があります。これが、AIのためのオープン技術への大きな需要を生み出しているのです。

NVIDIAに至るまでの道のり

Nemotronについて少し深掘りしたいのですが、その前に数分だけ、あなたの経歴について伺わせてください。今日の立場に至るまで、どのような道を歩んできたのでしょうか。Baiduへの寄り道も含めてお願いします。

私は2008年にNVIDIAで働き始めました。当時は大学院生で、人工知能のための並列コンピューティングをどうするかを考えていました。そして、NVIDIAにはコンピューターの動き方を変えるチャンスがあると思ったんです。

AIにとって、2008年にそれをやるのは孤独な、おそらくかなり孤独な探求だったでしょうね。

当時は本当に混沌としていました。人々は私のことをおかしいと思っていました。2008年にICMLへ行ったことを覚えています。GPUでモデルを訓練するという私の最初の論文を発表したのですが、人々から、なぜここにいるんだ、と聞かれました。これはICML向けの良い論文ではない、と言われました。ここでは高度な数学をやるんだ、と。私は、でもコンピューティングはAIにとって本当に重要だと思うんです、と言いました。もっと大きく、学習能力の高いモデルを訓練できれば、もっと多くの問題を解けるはずです、と。すると彼らはうなずきながらも、あなたがここにいる理由はよくわからない、という感じでした。

GPUはゲーム用のものでもありますよね、おそらく。

そうです。そこもありますよね。私たちは今でもその考えに出会います。実際のところ、GPUとはNVIDIAがそう言うものなんです。私たちが作っているのですから。GPUとは、世界で最も重要な計算を加速するために私たちが作るものです。1995年にはそれがグラフィックスでした。そして長い間、今ではそれがAIになっています。

とにかく、私はNVIDIAに入り、研究グループにいました。GPU上のAIのために、コンパイラやライブラリを作るという、少し変わったことをしていました。それがまずCopperheadの作成につながりました。これはPythonに組み込まれた言語で、GPU向けにコンパイルされるものでした。TensorFlowやPyTorchの多くを先取りしていたと思います。その後、それがcuDNNの作成につながりました。これはGPU上のディープラーニングのためのNVIDIA初の製品でした。私はそれに取り組むのが本当に楽しかったです。

ただ、AIの応用について、もっと直接見たいという思いが常にありました。NVIDIAでは主に、AIのためのライブラリやコンパイラに取り組んでいました。ですから、アンドリュー・ングからBaiduで一緒にシリコンバレーAIラボを作らないかと誘われたとき、これは素晴らしい機会だと思いました。というのも、その当時でさえ、Baiduは自社の中核事業へのAI応用に非常に進んでいたからです。私にとっては本当に素晴らしい機会でした。BaiduのシリコンバレーAIラボは、懸命に働く優秀な人々でいっぱいの、素晴らしい場所でした。

若い頃のダリオと働くのはどんな感じでしたか。彼が今のような人物になる兆しはありましたか。

ダリオは最初から非常に優秀でした。彼を面接したことを覚えています。私は面接パネルにいました。当時、彼はバイオインフォマティクスに取り組んでいて、ディープラーニングや、今私たちがAIと呼ぶようなものには取り組んでいませんでした。しかし、彼が非常に速く学ぶこと、そして非常に深く考えることは明らかでした。

ダリオについて私が最も尊敬しているのは、信念の強さだと思います。私はこの分野で長く働いてきましたし、AIが世界を変えるとも信じてきました。でも、ダリオほど完全には信じていなかったと思います。それはおそらく、博士課程での学問的訓練が多くの慎重さに満ちていたからかもしれません。覚えているかわかりませんが、2005年にはAIは古くてダメなもの、決してうまくいかないものと見られていました。コンピューターで人々がやっていたことは、1945年から始まっていたんですよね。そして何年にもわたり、大げさな約束がたくさんありながら実現しないことが続きました。だから私は、かなり慎重な姿勢でAIに入っていきました。

実際、当時はそれを機械学習と呼んでいました。基本的にはごまかしです。AIに取り組んでいると知られたくなかったんです。そう言うと、ああ、それは聞いたことがある、うまくいかないやつだよね、と言われてしまうからです。ですから私は、ある種の学問的な慎重さを持ってAIに入りました。少しヘッジしたほうがいい、今がその時かどうかわからない、という感じです。

一方でダリオは、信念の強さと、その瞬間の理解、つまり技術がどう発展していて、今回は本当にうまくいくのだという理解、そしてそれが技術をどう開発すべきか、どのような制度を作るべきかに与える意味を理解していました。彼は本当に見事な仕事をしてきたと思います。ですから、彼と働くのはいつも楽しい経験でした。

その後、NVIDIAに戻ったわけですね。その歩みを教えてください。

はい。10年前、正確には2016年に、ジェンスンから電話がありました。戻って応用研究ラボを作らないか、と言われたんです。私は、それは素晴らしい機会だと思いました。私はずっとNVIDIAが好きでした。会社の働き方や、会社が持つ信念が好きでした。NVIDIAは非常にユニークな会社です。長い時間軸でやり切る会社です。CUDAでもそれを見ました。ディープラーニング技術でも見ました。レイトレーシングのグラフィックス技術でも、グラフィックス向けAIでも見ました。NVIDIAは、世界を変えるために5年、10年分の研究を投じることを恐れません。そのような信念の強さと、やり切る力を持つ会社で働くことは、私にとって理想に近いことでした。未来を発明するために、会社が研究者に与える支援が本当に好きなんです。

それで戻ることにしました。最初に取り組んだプロジェクトは、実際にはDLSSになりました。聴いている方の中にはご存じの方もいるかもしれませんが、DLSSはリアルタイムのグラフィックス向けAIです。小さなGPUを大きなGPUのように動かします。約10倍効率的です。なぜなら、各フレームの各ピクセルの色をすべて計算するのではなく、AIを使って色を推論するからです。今では、DLSSを使ってゲームをプレイすると、24ピクセル中23ピクセルが私たちのAIモデルによって生成されています。ゲーマーはそれを気に入っています。反応がずっと良く、美しくなるため、ゲームをプレイする標準的な方法になりました。私たちは巨大なデータセットでAIをオフライン訓練しています。そしてそれはリアルタイムで、従来手法よりも美しくグラフィックスをレンダリングできます。

最近、実際にDLSS 5も発表しました。これはDLSSの完全生成型バージョンで、私は非常に興奮しています。リアルタイムグラフィックスをはるかに美しくする方法について、10年分の研究の集大成です。ですから、私にとっての道のりの一部は、リアルタイムのグラフィックス向けAIでした。

ただ同時に、私たちは言語モデルのプロジェクトも始めました。これは2017年のことです。Transformerが大きくなる前、言語モデルが世界を席巻し始める前でした。でも、Baiduで働いていたときに見たいくつかのことに基づいていたのかもしれませんが、私には直感がありました。テキストを扱い、テキストを理解することが、より良い推論につながり、それがあらゆる領域でのAIのより良い応用につながるだろう、という直感です。

そこで私たちはMegatronというプロジェクトを始めました。Megatronは、最大で最強のTransformerという意味です。だからそう名付けました。これは本質的には、NVIDIAのハードウェア上で最大級のTransformerモデルを訓練する方法を世界に示すためのシステムプロジェクトでした。当時のことを覚えている方も、そうでない方もいるかもしれませんが、大きなTransformerモデルを訓練する唯一の方法はTPUを使うことだ、という主張がありました。そもそもTransformerはGoogleで発明されたものですからね。

私たちはTransformerの論文を読み、本当に気に入りました。これはすごい可能性があると思いました。自分たちの言語モデルタスクで試してみると、それまで使っていたRNNよりもはるかによく機能しました。そして同時に、GPU、ネットワーク、そしてTransformerベースの言語モデルを劇的にスケールさせるためのすべてのコンパイラやソフトウェアを共同最適化する、非常に大きなシステム上の機会があることがすぐにわかりました。これは本当に大きな影響を持ち得るものだと思いました。

そこでMegatronプロジェクトを始めました。それが、業界全体が極めて大規模なLLMを訓練する方法を理解する助けになったと思います。そしてそれは、今日のNemotronプロジェクトの基礎にもなりました。NVIDIAが自社の目的のために自社のLLMを訓練する、というものです。だいたいそれが歴史です。

NVIDIAが自社モデルを作る理由

素晴らしい道のりですね。では、Nemotronに関するあらゆることに入っていきましょう。具体的な話に入る前に、おそらく何度も聞かれているであろう明らかな質問があります。そもそもなぜNVIDIAはモデル構築に関心を持ち、自社のフロンティアモデル群を作るために非常に大きな努力を投じているのでしょうか。

Nemotronには2つの仕事があります。最初の仕事は、未来のシステムをどう作るかを理解する手助けをすることです。NVIDIAはアクセラレーテッドコンピューティングの会社です。それは、世界で最も重要な計算上の課題を第一原理から考え、標準的なコンピューティングでは決して実現できなかったものを人々が発明し、展開できるようにするシステムを設計することを意味します。そしてそこには多くのソフトウェアが含まれます。

しかしそれを行うには、NVIDIAはAIがどう機能するのかを深く理解しなければなりません。私たちが主要製品ラインのすべてのシステムとソフトウェアを共同設計するのは、その理解があるからです。ですからNemotronの最初の仕事は、NVIDIAが存在し続けられるようにすることです。ムーアの法則が死んだ時代に、意味のある加速を提供し続けられるようにするためです。今日私たちが得ている加速は専門化によって生まれます。しかし専門化もまた、理解から生まれます。これがNemotronの最初の仕事です。NVIDIAが中核製品をどう作るべきか理解するのを助けることです。

NVIDIAの2つ目の、あるいはNemotronの2つ目の仕事は、エコシステムを支えることです。NVIDIAが長年にわたり築いてきた最も価値あるもののひとつは、NVIDIAの技術を使って素晴らしいAIを構築し、展開する世界中の人々です。私たちは、それを支えるために、NVIDIAからAIのためのオープン技術が存在し続けることが必要だと考えています。

Nemotronは、AIのための唯一のオープン技術になろうとしているわけではありません。私たちはAIのためのあらゆる技術を歓迎しています。理由は非常に単純です。AIがさらに開発され、さらに展開されるたびに、それは私たちの事業機会になるからです。ですから私たちは、非常に明確に自分たちのエコシステムを発展させようとしています。それが私たちにとって良いビジネスだからです。ただし、このエコシステムの技術の唯一の提供者になろうとしているわけではありません。他の企業が貢献するのを見るのも大好きです。Nemotronの2つ目の仕事にとって最も重要なのは、あらゆる規模や形の企業が、自分たちのAIを構築し、展開できる状態を維持することです。

ところで、ムーアの法則は死んだということですが、それは公式にそうなんですか。

もう何年も前から死んでいます。何年も前からです。

なぜそう言えるのでしょうか。

半導体製造の進歩を見ればわかります。ムーアの法則の元の主張は経済的なものでした。つまり、同じチップ上に載せられるトランジスタ数を、24か月ごとだったか、その期間ごとに2倍にしても費用的に成り立つ、という話でした。今では、それはまったく成り立ちません。おそらく現在までの5年から10年は、そうではありません。

もちろん私たちは今でもシステムをスケールさせています。いくつかの方法があります。ひとつは、単純により多くのシリコンを投入することです。トランジスタも引き続き小さく、効率的になっています。ただしそのペースは遅くなっています。そして同時に、かなり高価にもなっています。

ムーアの法則が生きていた時代には、未来のシステムを作る最良の方法は、現在のシステムを取り、それを小さくして、場合によっては同時に倍にすることでした。しかし、私たちがしばらく暮らしているこの時代では、既存設計を縮小しても経済的な利益は得られません。ですから、システムのあらゆる部分をどう使うかについて、より賢くならなければなりません。これは、アクセラレーテッドコンピューティングがこれまで以上に価値を持つ時代です。問題を第一原理から考え、トランジスタからアルゴリズム、アプリケーションに至るまで、すべてを共同設計して無駄を減らし、意味のある加速を提供する仕事が、かつてないほど価値を持っているのです。

素晴らしいです。少し前におっしゃっていたことを言い換えると、NVIDIAがモデル事業にいることはビジネス上理にかなっている。ひとつはより良いチップ設計に役立つから。もうひとつは、AIにとって良いことは最終的にNVIDIAにとって良いことだから。非常に納得できます。

Nemotronの歴史とモデル群の進化

Nemotronの取り組みは比較的新しいですよね。2023年に始まったと思います。主要なリリースを手短にたどっていただけますか。2023年にはNemotron 38Bが重要なリリースとしてあったと思いますが、何か抜けていますか。

はい。そうですね。番号付けは、ある意味では時の彼方に失われています。ロード・オブ・ザ・リングの中にいるような気分になります。古い鉱山から古代の遺物を掘り出しているような感じです。かなり前の話です。

もともと私たちがNemotron 1と呼んでいたものは、実際にはMicrosoftと一緒に行ったプロジェクトでした。私たちは共同で5300億パラメータのモデルを訓練しました。公開されたのは2021年だったと思います。GPT-3の時代です。当時はMegatron-Turing NLGと呼んでいました。Turingは、当時Microsoftが自社の言語モデルの取り組みに付けていた名前でした。ただ、振り返ってみると、それをNemotron 1と呼んでいます。

その後、いくつか作り、Nemotron 3まで進みました。そしてLLaMAが登場し、私たちは非常に興奮しました。MetaがオープンAI技術空間を支援していることを非常に喜んでいました。そこで私たちは、自分たちの言語モデル技術をLLaMAモデルに加え始めました。それがLLaMA Nemotron 1につながりました。それはLLaMA上に構築された最初の推論モデルでした。私たちはそれをとても誇りに思っていました。それは2025年でした。もしかすると2024年だったかもしれません。正確には覚えていません。そのあたりです。

その後も開発を続けました。そして番号がまた最初から始まったような形になりました。昨年だったと思いますが、Nemotron 2を公開しました。そしてすぐにNemotron 3でそれに続きました。なぜなら、サポートを入れる必要があったからです。Nemotron 2にはそのサポートがなく、GPT OSS 20Bのような他のモデルに対して競争力が少し落ちていました。あれは非常に速かったからです。それで、これは入れなければならない、となりました。それがNemotron 3になりました。

今は少し難しい状態にあります。Nemotron 4に取り組んでいるのですが、私たちはすでにNemotron 4を公開しているんです。2024年に340BのモデルをNemotron 4という名前で公開しました。ですから、このマーケティング上の問題をどう解決するか、正直よくわかっていません。私がこのマーケティング問題を作ったわけではありません。できる限り、今後いつか公開するNemotron 4が、2024年のNemotron 4とは違うものだと明確にするよう努めます。

いずれにしても、私たちはこの取り組みを長く続けてきました。特定の世代よりも重要なのは、NVIDIAがこれらのモデル開発に継続的にコミットしていることだと思います。私たちはしばらく前からこれをやっています。私たちのモデルは、この1年で劇的に有用になったと思います。それには主に2つの理由があります。ひとつは、会社全体が一体になったことです。NVIDIAのさまざまなチームが、これがNVIDIAの未来にとってどれほど重要かを理解するようになりました。その結果、Nemotronに投入される人材も、良いアイデアも、劇的に増えています。

もうひとつは、それに伴って投入する計算資源をスケールできたことです。AIを構築するには、優れたコンピューティング基盤が非常に重要であることは明らかです。私たちは最近、投資を大幅に増やしました。これが会社の未来にとって本当に重要だと信じているからです。

興味深いですね。

ただ、この流れを続けると、皆さんに知っておいてもらうことは本当に重要だと思います。私たちはこれを長い間やってきました。投資を大幅に増やしています。そしてNVIDIAはやり切る会社です。私たちはCUDAで10年以上やり切りました。そしてNemotronでもそれをやっています。

それはとても参考になります。広い世界は、非常に本格的なオープンソースのフロンティアAI研究の取り組みが存在しているという事実に、ちょうど追いつき始めているところだと思います。ですから、その進展があり、これから話すモデル群ができていると聞くのは本当に興味深いです。

もうひとつ重要な出来事は、3か月前の3月にNemotron Coalitionが作られたことだと思います。それが何なのか、簡単に説明していただけますか。

Nemotronはエコシステムを支えるために存在しています。そこで私たちは、これは業界の他のプロジェクトとは違う種類のAIプロジェクトだと考えました。なぜなら、私たちは実際には何かを支配しようとしているわけではないからです。支援しようとしているだけです。AIがこれらすべての企業にどう統合されるかを支配しようとしているのではありません。ただ、良いAIが存在するようにしたいのです。

でも、開発中に人々と一緒に取り組めば、その人たちにとってもっと役立つものになるのではないか、と考えました。最初から彼らが必要とすることを考慮するので、統合もしやすくなります。Nemotronは常に協調的でした。かなり昔、私たちが最初に訓練した大きなモデルはMicrosoftと一緒に行ったと話しましたよね。NVIDIAとMicrosoftの研究者が肩を並べて構築した共同の取り組みでした。それは結果的にNVIDIAにもMicrosoftにも役立ったと思います。私たちはその経験から多くを学びました。

ですから、Nemotronは他社と競争することを目的としているのではなく、支援することを目的としています。そしてどうせオープンに公開するのなら、作る前から協力すればいいのではないか、ということです。NVIDIAが単独でNemotronを作り、インターネット上に投稿して、これを試してみませんか、良いものかもしれません、と言うよりも、関心のあるパートナーにとって良いものになるよう、Nemotronが作られる前から一緒に作ればいいのではないか。フィードバック、評価、環境、ベンチマーク、その他他の人たちが持ち込みたいあらゆる技術を取り込めばいいのではないか、ということです。

エコシステム全体を見ると、オープンモデルに成功してほしいと強く望んでいる企業がたくさんあります。彼らには自己利益があります。オープン技術が優れたものであることを確実にしたいという、自分たち自身の強い利害があります。ならば、彼らと一緒に取り組み、Nemotronをより良くするために、彼らが望む形で貢献してもらえばいいのではないか。これがNemotron Coalitionの考え方です。

これは排他的な連合ではありません。私たちは唯一のモデルになろうとしていません。一緒に働く企業はすべて、自分たちにとって意味のあるやり方で仕事を続ける自由があります。それでも、これらの企業は私たちと一緒に働きたいと思っています。AIのためのオープン技術が引き続き速く発展し、自分たちがその進み方に影響を与えられるようにしたいからです。

Nano、Super、Ultraとエージェント用途

現在のNemotronファミリーはどのような状態ですか。Nano、Super、Ultraがありますよね。これらのモデルは何をするもので、どのようなユースケースがありますか。

Nanoは総パラメータ300億、アクティブパラメータ30億のモデルです。Superは1200億と120億です。Ultraは5500億と550億です。これらは基本的に、小、中、大の展開シナリオに合うように設計されています。Nanoは、それほど多くの知識や推論を必要としないものに対して非常に有能になれます。一方で、最も能力の高いモデルが必要なら、当然Ultraを選びます。Superは多くの意味で私たちの最も人気のあるモデルです。コストと知能の非常に良いバランスを表しているからです。私たちはこの小、中、大のアプローチでファミリーを作るのが気に入っています。顧客がそれによく反応しているように見えるからです。

ただNVIDIAの観点から見て、LLMで人々がやっている最も重要なことはエージェントです。つまりエージェント的ワークフローを構築し、あなたの代わりにエージェントが昼夜を問わず問題を解決してくれることです。私たちが解かなければならない問題に取り組む方法として、非常に刺激的です。そして私たちの夢は、Nemotronをその目的にとって素晴らしいものにすることです。それが私たちの目標です。

そこを高いレベルで少し深掘りすると、Nemotronファミリーはエージェント的推論に焦点を当てていて、特に効率化に重点を置いている、という見出しで合っていますか。

その通りです。Nemotronはモデル構築において常に速度優先のアプローチを取ってきました。NVIDIAはアクセラレーテッドコンピューティングの会社だからです。先ほど言ったように、ここにある計算上の問題は何なのかを第一原理から考えようとしています。Nemotron 3ファミリーには、私たちが非常に誇りに思っているものがたくさん入っています。たとえば、Nemotron UltraとSuperは4ビット演算を使って事前学習されました。MVFP4で事前学習したんです。これは簡単なことではありません。このように粗い演算を使って、モデルが優れた結果に収束できるようにするアルゴリズムを発明するには、多くの発明が必要でした。そこは本当に誇りに思っています。

4ビットとは何なのか、たとえば16ビットとの違いについて説明していただけますか。

実は昨日、Hacker Newsですごく良い投稿を見ました。写真をアップロードすると、それをいわばポスタライズして、NVFP4やMXFP8など、いろいろな数値形式に合わせて色数を減らしてくれるものでした。スライダーを動かしながら、それが写真の色に何をするか見られるんです。非常に劇的です。4ビットというのは多くのビットではありません。たった16個の値しかありません。

もちろん、これらはすべてブロックスケールド形式と呼ばれるものです。つまり、数値のグループには8ビットのスケーリング係数も付いています。この詳細はかなり複雑になり得ますので、そこまで重要ではないかもしれません。ただ、私たちがこれをやりたい理由は、第一にGPU上でこれらの形式のスループットが劇的に高いからです。特にBlackwell Ultraでそうです。第二に、膨大なエネルギーを節約できることがわかっているからです。

AIの計算問題を考えるひとつの方法は、私たちは限界で走ることになる、というものです。その限界が何であれです。経済的な限界かもしれません。サーバーを買うのに何十億ドルしかない、という限界です。電力の限界かもしれません。モデル訓練に使えるのは何ギガワットまで、という限界です。限界が何であれ、私たちはその限界で走ることになります。どの組織もそうです。なぜなら、知能の価値が非常に高いからです。人々は投資します。リターンが得られるとわかっているからです。知能の価値は巨大です。

ですから、私たちは限界で走ることになるということを真実として受け入れるなら、より多くの知能を得る方法は、より効率的になることだという意味になります。すでに限界にいるなら、さらに力を加えることで知能を増やすことはできません。今あるものをどう使うかについて、もっと思慮深くならなければいけません。

4ビットの数値形式は、移動させるコストが劇的に低くなります。メモリ内で占める空間が少なくなります。メモリから、あるいはチップ上でチップ内を移動させるときに必要なピコジュールも少なくなり、計算時のエネルギーもずっと少なくなります。ですから、それが4ビット形式への投資を本当に推進しています。

今日では、展開用の4ビット形式は非常によく確立されていると思います。展開できる良い量子化4ビットチェックポイントを作るのは、かなり普通にできるようになっています。それによって推論コストと速度に大きな利点が得られます。しかし事前学習に4ビット形式を使うのは、かなり難しいことです。重みを最適化している数値ソルバーがあり、それは非常に敏感になり得ます。数値を正しく扱わないと、モデルは発散します。そして事前学習でモデルを完成させる代わりに、その実行は発散しました、という結果になってしまいます。それはいつも怖いことです。ですから、Nemotronを4ビットで事前学習できるようにするには、多くの発明が必要でした。私たちはそれを本当に誇りに思っています。

ハイブリッドアーキテクチャと状態空間モデル

よくわかりました。では、少し技術的な話に入ると、Nemotronのアーキテクチャはハイブリッドですよね。TransformerとMamba状態空間という、少し珍しい形のアーキテクチャの組み合わせです。そこを説明してください。

はい。私たちは2024年に論文を出し、状態空間モデルとTransformerを組み合わせることで、実際により賢いモデルが得られることを示しました。モデルのどれくらいをフルアテンションにし、どれくらいを状態空間モデルにすべきかについてスイープも行いました。目的は、最も低いパープレキシティ、つまり得られる中で最高の言語モデルを得ることでした。その結果、基本的には大部分を状態ベースのモデルにし、少しアテンションを入れるのが望ましいとわかりました。

その背後にある直感としては、状態空間モデルは、系列に対する直感的、印象派的な理解のようなものに優れているように見える、ということです。状態空間モデルは系列全体を一定の空間に要約します。それが動作の仕組みです。つまり、系列全体をランダムに見に行く能力を持つ代わりに、各ステップで全体を一定サイズのキャッシュ、あるいは小さなスクラッチパッドに要約します。そしてその制約が、グローバルな理解のようなものを必要とする一部のタスクで、実際により賢くしているように見えます。

一方で、フルアテンションの利点は、非常に具体的な情報の断片を選び出し、それを正確に見ることができる点です。何も失いません。損失のある圧縮は起きません。実際に全体を見ることができます。そこで私たちは、この2つを一緒に使うほうが、どちらか一方だけを使うよりも優れていることを見出しました。これは速度上の利点とは独立した話です。単純にモデルがより賢くなるのです。

その論文を公開して以来、他の多くのラボもこれが真実だと見出していると思います。最近は多くのモデルがハイブリッドSSMアプローチで作られています。たとえばQwenもそうしています。Kimiは今、Kimi linear attentionと呼ぶものを使っています。ですから、ベースアーキテクチャとして、何らかの状態ベースモデルをフルアテンションと組み合わせて使うことは、かなり広く採用されるようになっていると思います。

また、それには速度上の利点もあります。状態空間キャッシュを保持するために必要なメモリ量が、系列長に対して一定だからです。つまり、一般的に訓練や推論のとき、GPU上でより大きなバッチを載せることができます。メモリ要件が低くなり、GPUをより満たし、より忙しく保てるからです。したがって、かなり重要な効率上の利点も得られます。

Mixture of ExpertsとBlackwellの設計

モデルはMixture of Expertsアーキテクチャにも基づいていますよね。それについて説明しつつ、そもそも何なのかも思い出させてください。

Mixture of Expertsはスパース性の一形態です。考え方はこうです。モデルをインターネット全体で訓練したい。あらゆるものの歴史について、絶対にすべてを覚えてほしい。でも、ある特定の質問に答えるとき、その質問に答えるために本当に宇宙全体について考える必要があるでしょうか。実際にはありません。非常にスパースに見えますよね。私たちは質問に答えたり問題を解いたりするために、言語モデルを使って非常に小さなアイデア空間を探索しているように見えます。

モデルには宇宙全体から引き出せるようになってほしい。可能な限りあらゆることを理解するよう訓練したい。しかし実際に動くときには、その情報すべてを見る必要はありません。この性質を活用しようとするスパース性へのさまざまなアプローチがありましたが、Mixture of Expertsが最も成功しています。

仕組みとしては、ニューラルネットワークに学習されたルーターと呼ばれるものがあります。このルーターは、モデルの各層を流れる各トークンについて、活性化をエキスパートの一部へ送ることを決めます。そのトークンを理解し、問題の表現を構築し、次に出力するトークンを生成しようとする過程で、モデルのどの部分がそのトークンと実際にやり取りするかを選択しているのです。

たとえるなら、550人の社員がいる会社があって、そのうち55人がエンジニアだとします。エンジニアリングに関する会議には、会社全体ではなく、その55人の専門家に来てほしい、というような感じですね。

その通りです。あるいは図書館として考えてもよいです。調査のために図書館へ行くとき、図書館にあるすべての本を読むわけではありません。最初の仕事は、自分の質問への答えを見つけるために、どの本を見る必要があるかを見極めることです。それが背後にある考え方です。

そしてこれは、私たちが作るシステムにとって非常に興味深い意味を持ちます。たとえばBlackwellでは、NVIDIAは全面的にそれに賭けました。だからNVL72を作ったのです。NVL72は最大72個のGPUが互いのメモリを非常に高速かつ低レイテンシで読み書きできるようにします。なぜそれが重要なのでしょうか。トークンを層のスタックに通していくと、各層でルーターがそのトークンをどこか別の場所へルーティングするからです。

エキスパートを分割して、すべてのGPUにすべてのエキスパートを置くのではなく、各GPUにエキスパートの一部を割り当て、トークンをネットワーク内に押し込むにつれてGPU間で非常に動的にルーティングすればよいのではないか、ということです。ここで、トークンがどこへ行く必要があるかを事前に予測することはできません。その特定のモデルにとって、その特定のトークンに非常に固有だからです。

だから私たちはNVL72を作りました。そして、Blackwellが今日のAIモデルの推論にとって非常に素晴らしいのはそのためです。Blackwellを作るときに、私たちはMixture of Expertsについて深く考えたからです。これはNemotronの最初の仕事に関わっています。もし私たちがAIを理解する仕事をしていなければ、Blackwellを適切に作ることはできなかったでしょう。そしてそれは、Blackwellの展開拡大に直接つながっています。私たちはそれを非常にうれしく思っています。

今説明されたものはLatent MoEと呼ばれるものですか。それとも別の概念ですか。

Latent MoEは、Nemotron 3ファミリーにある特定のイノベーションです。これは基本的に、計算中にNVLinkを通じて送らなければならない通信量を、ダウンプロジェクションによって減らすものです。各トークンはベクトルを生成します。そのベクトルを圧縮する方法を学習し、圧縮されたものをネットワークに送り、反対側で展開するという考え方です。その結果、ネットワーク帯域を節約できます。そして同じ推論コストで、4倍の数のエキスパートを持てます。つまり、図書館の本が4倍に増え、同じ推論コストで4倍多くの本を読めるようになる、というふうに考えられます。この特定のイノベーションのおかげです。

一般に、MoEはフロンティアAIのデフォルトアーキテクチャになりつつあるのでしょうか。

はい。私は、MoEはフロンティアAIでは長い間デフォルトだったと思っています。推論コストと知能の組み合わせとして本当に優れているからです。

素晴らしいですね。

ただし欠点もあります。より多くのメモリを必要とします。非常に少ないメモリしかない場合は、密なモデルのほうが賢くなります。また、MoEは、バッチサイズ1で走らせる場合、つまり基本的に単一のジョブを実行している場合か、あるいは巨大なデータセンターで無限のようにクエリが入ってくる場合に最もよく機能する傾向があります。その中間では少し扱いが難しくなり得ます。

100万トークンコンテキストとコンパクション

Nemotron 3 Ultraのもうひとつの重要な特徴は、100万トークンのコンテキスト、つまり長いコンテキストウィンドウです。全体の中でこれはどれほど重要で、モデルに何を可能にするのでしょうか。

コンテキスト長が長いほど、言語モデルでより難しい問題を解けるようになります。それによって、クエリにさまざまな情報を追加できるようになります。それはコードベースかもしれませんし、指示かもしれません。長期的には、自分専用のLLMがあり、それが私のすべてのメールを読んで、それについての質問に答える手助けをしてくれることを期待しています。特定のクエリに結びつけられる情報が多いほど、モデルはより有用になります。

もちろん、大量の入力データについて推論するのは、どんどん高価になり得ます。ですから通常、コンテキスト長がどれだけ大きくできるかには限界があります。しかしNemotron 3では、私たちは行けるところまで押し広げようとしました。100万トークンは非常に多いトークン数だと考えています。それでできることはたくさんあります。

特にマルチステップのエージェント的ワークフローで役立ちますよね。そして、モデルがあまりにも多くのトークンの中で迷子にならないようにするためのコンテキストコンパクションについては、別の議論があります。皆さんはこれをどう考えていますか。

まったくその通りです。コンパクションは、エージェント的ワークフローを使うなら常に扱うものです。そしてコンパクションはかなりうまく機能する傾向があります。言語モデルは、最も関連性の高いものを特定し、要約するのがかなり得意だからです。コンパクト化するときは、基本的にコンテキストを要約しようとしているわけです。ですから、コンパクションは悪いアプローチではありません。

ただ、大量のデータについてネイティブに推論できるモデルを持つことは、本質的により有用だと思います。ですから当然、その境界も押し広げたいと考えています。

マルチトークン予測と推論高速化

マルチトークン予測について話していただけますか。これは低いバッチサイズで走らせる場合にも非常に興味深いものです。

データセンターで最も高いインタラクティブ性を得ようとしているときがそうです。モデルにできるだけ速く応答してほしい。そして、より高価になっても構わない。トークンあたりのコストは高くなるかもしれませんが、とにかくできるだけ速く結果がほしい。あるいはローカルで実行している場合もそうです。自分だけが使っているため、バッチサイズ1で実行しているかもしれません。

実は、GPUには使われずに余っている実行能力があります。このようなシナリオで作業の大部分を占めるのは、実際にはメモリから重みを取り出すことです。そしてトークンをその重みに通し、また次の重みをメモリから取り出します。しかし、同じ重みに2つのトークン、あるいは5つのトークンを通しても、基本的には同じ時間しかかからないことがわかっています。高価なのは、トークンを重みに通す数学そのものではないからです。高価なのは、それらすべての重みをメモリから読み込むことです。すべてのパラメータを持ってこなければなりません。

そこでマルチトークン予測の考え方は、モデルに複数のトークンを一度に予測させることで、これを活用することです。たとえばモデルが5トークンを予測するとします。最初のトークンは正しいとわかっています。次の4トークンは正しいかもしれないし、そうでないかもしれません。そこで次のパスでは、その4トークンをモデルに入れて実行し、最後に確認します。モデルはまた別のトークン群を予測します。そのとき前回予測した追加トークンが正しかったかどうかを確認します。正しければ、それらをそのまま受け入れます。すると4倍の高速化のようなものが得られます。間違っていれば、正しかったものだけを受け入れ、そこから進みます。

この利点は、精度をまったく下げないことです。モデルを使って二重確認しているからです。すべての推測は、次にモデルに通すトークンの時点でチェックされます。ですから、マルチトークン予測をオンにしても精度は下がりません。しかし高速化は得られます。そしてそれは、予測器の受け入れ率に依存する確率的なものです。予測器の精度が高いほど受け入れ率が上がり、より高い高速化が得られます。

最近のNemotronモデルでは、私たちの受け入れ率をかなり誇りに思っていますが、常にさらに良くしようとしています。常にその受け入れ率を改善しようとしています。これはアクセラレーテッドコンピューティングの非常に良い例です。マルチトークン予測では、得られる速度はモデルの精度の関数です。モデルが正確であるほど、推論は速くなり、推論は安くなります。より正確であるほど、より速く、より安くなるのです。通常はそういうふうには機能しませんが、この場合はそう機能します。

これは、NVIDIAという会社として、世界で最も重要な計算ワークロードに意味のある加速を提供しようとするなら、私たちがそれを考えるうえで重要な部分でなければならないということを意味します。2026年に最も重要な計算ワークロードである推論について、もし3倍のコスト削減や速度改善が可能で、それがマルチトークン予測ネットワークの精度に依存しているなら、それはNVIDIAが非常に深く理解する必要があるものです。なぜなら、それは私たちのビジネスに直接影響するからです。

マルチティーチャー蒸留とチームをまとめる技術

興味深いです。このツアーを続けると、マルチティーチャー蒸留があります。冒頭で蒸留について少し話しましたが、Nemotron 3の文脈ではそれは何を意味しますか。

Nemotron 3 Ultraでは、マルチドメイン・オンポリシー蒸留と呼ばれるものを使って事後学習を行いました。それが意味するのは、モデルの改善したい側面がたくさんあるということです。たとえば科学理解は、数学の定理証明とは違います。コーディングとも違います。エージェントハーネスとのやり取りとも違います。Nemotron 3では、たしか10から15くらいの教師モデルがありました。

考え方としては、これらの教師モデルを取り、特定の領域で可能な限り押し上げます。すべてにおいて優れたものにすることは気にせず、そのひとつの領域で本当に非常に賢くすることだけを考えます。そして、そうしたモデルの集合を持ち、すべてに優れることを学ぶ1つのモデルを作りたいわけです。私たちはそれを、最近多くのラボが使っている特定の強化学習技術で行います。MOPDと呼ばれるものです。

これの良い点は、教師が監督しているため、生徒モデルに非常に密な報酬を与えられることです。基本的にすべてのトークンが監督されます。そのため生徒は非常に速く学習し、すべてのことについて、すべての教師にほぼ匹敵するようになります。

この利点のひとつは、チームがよりうまく一緒に働けるようになることです。もしこうした技術がなく、たとえば500人がひとつのモデルを良くしようとしているとします。あるチームは、私はこれを良くしようとしている、と言い、別のチームは、私はあれを良くしようとしている、と言う。すると綱引きが起きます。誰が勝つのか、という話になります。もし、この一方を優先することにする、と選ばなければならないなら、もう一方のチームには、自分たちの仕事は重要ではないと感じさせてしまいます。

2026年にAIを構築する上での課題のひとつは、最終的に作っているものは1つであるにもかかわらず、人々をどう協力させるかを考えなければならないことです。この特定の技術は、より多くの人が一緒に働き、Nemotronを強くするうえで本当に重要な役割を果たしてきました。

興味深いですね。これは技術の問題であると同時に、人間組織の問題でもあるわけですね。

その通りです。

素晴らしいです。ここはいったん留めておき、あとで戻りましょう。今触れられた事後学習の観点でも、とても興味深い話題です。Nemotronの文脈で皆さんが行った刺激的なことのひとつに、データ、訓練データの公開もあります。それには、特定の強化学習タスク向けの業界別データも含まれているのでしょうか。

そうです。今日のような会話の素晴らしさは、皆さんがそうしたことについて実際に話せる点です。事後学習や強化学習に焦点を当てた取り組みのためのデータは、どこから得ているのでしょうか。今日の世界における重要な問いのひとつは明らかです。LLM、あるいはAIシステムは、コーディングや数学では非常に優れたものになりました。次の大きな問いは、法律やコンサルティング、そしてさまざまな異なる領域でも優れたものになれるのか、ということです。クローズドモデルのブラックボックスの一部は、人々がこれをどう行っているのかです。彼らはどこからデータを得ているのか。話せる範囲で、皆さんがそれにどう取り組んできたのか、とても興味があります。

これはかなり複雑なので、答えるのは簡単ではありません。ただ、いくつかのものに依存していると言えます。ひとつは、購入可能なデータセットを作っている企業からデータを購入することです。そして、再配布したりオープンにしたりする権利がある範囲では、Nemotronデータの取り組みの一部としてそれを行います。

Nemotronでは、公開するデータについて最大限オープンにしようとしています。私たちの目標はエコシステムを支えることだからです。私たちの目標は、唯一のモデルになることではありません。業界内の他のモデルが私たちのデータセットを使って自分たちのAIを強くしていると聞くと、私たちはとても嬉しく思います。それは、エコシステムを繁栄させ、成長させ続けるという私たちの仕事に成功していることを意味するからです。

また、私たちは合成データ生成を強く信じています。自社システム上で言語モデルを実行するために膨大な計算資源を使い、それによって特定領域の問題解決においてモデルをより良くする合成データを作成しています。そしてそのデータの多くも公開しています。

もちろん、これはまったく単純ではありません。AIは常に、ゴミを入れればゴミが出る、です。ですから、作成する合成データが実際に価値を加えていること、モデルがより知的に汎化し、問題を解く助けになっていることを確実にするために、本当に懸命に取り組む必要があります。しかし、これらが私たちのデータセット構築の主な方法です。

強化学習、汎化、コーディング以外の領域

事後学習やさまざまな領域でのRLについて話しているので、ここから汎化の面でどこへ向かうのかについて、あなたの考えを聞きたいです。先ほどの話に重ねると、業界は、検証可能な報酬がある領域であるコーディングや数学から、異なる業界へ進もうとしているように見えます。これは本当に今後の方向性だと思いますか。そして業界全体として、コーディングや数学と同じくらい効率的に、次のいくつかの領域をカバーできるようになると思いますか。

コーディングは本当に特別です。非常に知的な営みでありながら、多くの経済的価値を生みました。その結果、私たちが学習できる膨大なトークンが存在するようになりました。さらに、モデルが実際に問題を解いているかどうかを検証できるツールもあります。ですからコーディングは、常に私たちの心の中で特別な位置を占めるでしょう。そしてAIが今後もはるかに良くなり続けるものだと思います。私たちには、それとの特別な関係があるからです。

他の領域について言えば、私がワクワクしているのは、強化学習の中でAIが学ぶ環境が、はるかに多様になっていくことです。強化学習は、AIに問題解決方法を教える非常に一般的な形式です。私たちは、それをどう適用するかを理解し始めたばかりです。そして環境がより洗練されるにつれて、AIは解こうとしている問題について、また自分が取れる行動の意味について、より多く理解するようになります。すると実際にその問題を解く能力がずっと高くなります。

今日私たちが使っている環境を見ると、すべてを考慮してもまだかなり単純です。今後数年で、それははるかに複雑で多様なものになっていくと思います。

NVIDIAの研究組織はどう動くのか

500人を一緒に働かせるという話がありました。そこに戻ると言いましたが、本当に面白い話です。少し引いて、NVIDIAの研究組織について教えてください。どう構成されているのですか。どのように機能しているのでしょうか。

NVIDIAは組織図に従って構成されているわけではありません。組織図はありますが、私たちの働き方を理解する最良の方法ではありません。たとえば私のチームは、公式のNVIDIA Researchチームの一部ではありません。私のチームは、実際にはGPUを作る組織の一部です。そしてNemotronを作っているのは私のチームだけではありません。会社中に、おそらく10ほどのチームがNemotronの構築に大きく関わっています。企業向けソフトウェアの部門にも、AIソフトウェア部門にも、実際にGPUを設計しているNVIDIAの部門にも、Nemotronの構築に大きく関わっている人たちがいます。ですから、一緒に働かなければならないチームは非常に多いのです。

私たちはよく、組織ではなくミッションが上司だ、と言います。ただ、それが意味するのは、人々が一緒に働く方法を見つけなければならないということです。これは難しいことです。人間は本来、部族的な生き物だからです。よく知らない人と親しくしたり、過去に成功体験を共有していない同僚を信頼したりするのは、自然なことではありません。

実際、Nemotronという名前はそれを反映しています。AIのためのソフトウェアを作っていたNeMoチームと、大規模言語モデル構築のためのシステム研究を主に行っていたMegatronチームがありました。私たちは一緒に働くことを決め、そのプロジェクトをNemotronと呼び始めました。これは、これらのチームの協力を反映したものです。

それ以降、Nemotronは劇的に拡大しました。この取り組みに参加するチームは非常に増えています。そして、それをNVIDIAの中でオープンな形に構成していることが本当に重要です。私たちは、会社中からボランティアを招き、NVIDIAのAI構築を手伝ってもらっています。これは会社の未来にとって非常に重要だと考えています。そしてそのビジョンが発展し続けるにつれて、参加したい人はどんどん増えています。それは素晴らしいことです。私たちは本当にワクワクしています。

その一方で、全員が貢献する機会を得て、意見を聞いてもらい、自分のアイデアが影響へ向かう道の中で公平に評価されていると感じられるように、仕事をどう組織するかを考えなければなりません。私たちにはそれを行う正式なプロセスがあります。社内ウェブサイトがあり、人々がアイデアを共有します。そしてそれらのアイデアは、Nemotron構築のさまざまな部分を担当する25人のリードのうちの1人に割り当てられます。そのリードがアイデアとやり取りします。さらに発展するアイデアもあります。次に新しいモデルを作るときまで先送りされるアイデアもあります。

しかし私たちは、NVIDIAとして本当に一体になって構築できるよう、Nemotronをオープンで包摂的な形で作ろうとしています。AIを構築するために協力する方法を見つけた組織は成功すると思います。誰がAIを所有するのかという支配をめぐって苦労する組織は、多くの努力を無駄にする傾向があります。ですから、NVIDIAの成功とNemotronの成功は、私たちが協力できる能力に正比例していると思います。それは私が深く大切にしていることです。

素晴らしいです。ただ、先ほどおっしゃっていたように、皆さんはGPUにおいて誰もが認めるナンバーワンのリーダーで働いているにもかかわらず、研究組織として、世界中で欲しいだけのGPUを持っているわけではありません。ではGPUや計算資源の配分はどう行われるのでしょうか。アイデアがどれほど有望か、あるいは初期の成功に基づいているのでしょうか。成功に応じてGPUを与えたり、引き上げたりするのですか。

これは本当に複雑な質問で、業界の誰にとっても、自分たちの計算資源をどう配分するかを考えるのは明らかに難しい問題です。Nemotronの内部では、Nemotronのための予算があります。そしてNemotronの中で、プロジェクトのニーズだと思うものに基づいて計算資源を配分します。階層があります。プログラム群があり、それぞれのプログラムの中にプロジェクト群があります。それぞれが要求を出します。そして2週間ごとのサイクルで要求と予算をレビューし、階層的な形で意思決定をします。そのように計算資源が決まります。

ただし、これはまだもっと良くできることだと思っています。計算資源の配分について意思決定するのは難しいです。すべての研究者が、自分のアイデアはGPUを1000倍多く付けてもらえれば世界を変えられる、と確信しているからです。そして彼らは正しいかもしれません。本当にそうかもしれません。しかし私たちは限界で走っています。私たちの持つすべてのアイデアに対して1000倍多くのGPUがあるわけではありません。与えられた制約の中で運用しなければなりません。ですから、それは難しいプロセスです。

私たちは、できる限り多くの人の視点を取り込もうとしています。可能な限り、それが共有された理解になるようにするためです。必ずしも合意ではないかもしれません。あるプロジェクトが、本当にもっと多くのGPUに値していた、その影響は非常に大きかったはずだ、と感じることもあるでしょう。でも得られなかった。その場合でも、なぜ別のプロジェクトがより多くのGPUを得たのか、そしてなぜその特定の配分ラウンドで会社にとってより優先度が高いと見なされたのかを理解してもらえることを願っています。少なくとも、自分たちの配分には理由があると理解できるようにするためです。

とはいえ、このプロセスは常に改善されています。より透明で、より公平にするために、まだやるべきことは常にあります。そしてもちろん、私の一番の願いは、もっと多くのGPUを手に入れることです。そうすれば、もっと多くのものに資金を出せますから。私もそうしたいのです。

有用な研究と、大きな探索的研究のバランスはどう取っていますか。

私の信念では、研究はブートストラップされる必要があります。研究は鶏と卵の問題です。すべての研究者は、自分にもっと多くのリソースがあれば、自分のアイデアは世界を変えられると信じています。実際、研究者がそう感じることは重要です。そう感じなければ、クレイジーで新しいことに取り組むために必要な信念を持てないからです。だから信じなければなりません。そして当然、その信念から始まります。

しかし、その信念を他の人が理解できるものにどう変えるのか。ほかの人が投資したいと思うものにどう変えるのか。これを私は鶏と卵の問題と呼んでいます。研究アイデアが明らかに良く、影響力があるものになったら、リソースを得るのは簡単です。でも、そのリソースなしに、どうやってそれを明らかに良く、影響力のあるものにするのでしょうか。

鶏と卵の問題は、ブートストラップによって解決します。これは反復的な問題解決アプローチです。小さなことをやります。これは良いアイデアだという何らかのシグナルを得ます。それを人々に伝えます。そしてほんの少しだけ追加を求めます。人々が、ああ、その実験はかなり良い結果だったね、かなり興味深いから、もう少しやるべきかもしれない、と見れば、軌道に乗っています。時間をかけて、たくさん反復し、素早く反復し、何度も反復すれば、自分のアイデアに対して大きなリソースを見つけるところまでブートストラップできます。そして通常、その途中でより多くの人も引きつけます。彼らはこのアイデアが世界を変えるのを見る機会を得て、それに参加したいと思うからです。

NVIDIAのムーンショットも、AIかそれ以外かを問わず、長年にわたってそのように始まったのでしょうか。つまり、ジェンスンが、これをやる必要がある、と言うのではなく、誰かが良いアイデアを出すボトムアップだったのでしょうか。

もちろん、ジェンスンにも良いアイデアがたくさんあります。会社は彼のアイデアに非常に反応しますし、それも重要です。ただジェンスンは非常に明確に、いつも、ここはボランティアの会社だと言っています。私たち一人ひとりは、自分で選んでここにいます。人生で他のことをすることもできたのに、ここにいることを選んでいます。ですから特に初期段階の研究では、意思決定はかなりボトムアップになりがちです。最高のアイデアを持ってきてください、私たちの最高のアイデアが何なのかを一緒に見つけ、そこから一歩進みましょう、という招待のようなものです。

会社戦略にとって重要なトップダウンのアイデアがあることもありますか。もちろんあります。NVFP4事前学習はそのひとつです。会社のリーダーシップとして、FP4ハードウェアに本格的に投資すると決めました。次は、それを使って成功する最適化アルゴリズムを発明する番です。そこでチームに、NVFP4事前学習に取り組まなければならない、とは言いませんでした。私たちが言ったのは、機会があります。私たちは大きな投資をしています。もしこれを解決できれば、会社にとって重要なものになります、ということでした。そして、その仕事に関心を持つ人たちに取り組んでもらいました。その結果、私たちは成功しました。

ですから、ボトムアップとトップダウンのバランスです。ただ、NVFP4のように戦略的なトップダウン要素が大きいものでも、常にブートストラップの感覚があります。実際の技術的解決策は、非常に込み入っていて複雑で、多くの可動部分を持っています。それは研究者自身から生まれました。私の信念では、研究は常に研究者自身から生まれるものです。研究に対して、問題をどう解くかを正確に指示することはできません。もしそれができるなら、それは研究ではなくエンジニアリングです。しかしAIの世界では、私たちが解かなければならない最も重要な問題にはすべて研究要素があります。進歩するためには、研究者がイノベーションを起こす自由が必要です。

NVIDIA文化と起業家精神

お話を聞いていると、NVIDIAの文化が今でも非常に起業家的であることに驚かされます。非常に大きな会社ですから、政治的な駆け引きもあるでしょうし、部族的本能にも触れていました。そういうことは当然起きているのだと思います。しかし、会社が長い歴史を持ち、驚異的な成功を収め、社内の人々が多くのお金を得てきたことを考えても、今なお非常に起業家的で、ボトムアップ主導で、もしかすると実力主義的に見えます。それが正しい受け止め方でしょうか。

はい。NVIDIAで非常に珍しいことのひとつは、リーダーシップの在任期間です。ジェンスン・フアンは33年間会社を率いています。しかし彼だけではありません。会社には他にも、30年以上在籍している非常に上級のリーダーがたくさんいます。私の上司もそうです。彼らは、非常に小さかったNVIDIAで働くのがどんな感じだったかを覚えています。そして非常に大きくなったNVIDIAで働くのがどんな感じかも知っています。彼らには会社に対する共有された所有意識があります。

NVIDIAではよく、誰も一人では失敗しない、と言います。その意味は、単なる事実の表明です。会社で働くということは、ひとつの会社で働くということです。全員で一緒に成功し、全員で一緒に失敗します。アクセラレーテッドコンピューティングで働くということは、アクセラレーテッドコンピューティングが何千もの技術の合成であるということです。そのうちのどれかひとつでも加速を実現できなければ、価値は破壊されます。

チップが素晴らしいかどうかは関係ありません。コンパイラがひどければ、最終的に売っているものは、AIの未来を築こうとしている研究者に対する時間と能力なのです。そして彼らがそれを得られないなら、それがトランジスタだったのか、数学ユニットだったのか、コンパイラだったのか、ライブラリだったのか、ネットワークだったのか、途中の何かが期待に応えられなかったのかは関係ありません。全体が合成として失敗し、価値全体が破壊されます。NVIDIAには、そのことへの深い文化的理解があります。そしてそれが、私たちの協働の仕方を動機づけています。

シンギュラリティではなく、多面的な知能としてのAI

会話の締めくくりに少し視野を広げて、こうしたことすべてに極めて深く関わっている人の視点から、今後どこへ向かうのかについて伺いたいです。数年後にどうなるかは誰にもわかりませんが、今後1、2年なら少し見通しがあるかもしれません。どこかで、あなたは必ずしもシンギュラリティを強く信じているタイプではないと読みました。それは公平な見方ですか。

本当です。

なぜですか。

知能は信じられないほど多面的だと思うからです。私はいつもこの問いについて考えます。ある会社が次のCEOを探しているとしたら、国際数学オリンピックの優勝者を探して次のCEOにするでしょうか。おそらくしないでしょう。もちろん、国際数学オリンピックに出る人たちは驚異的です。私はどんな形でも競える気がしません。彼らは本当に信じられないほど優秀です。でも、それは会社を経営するための正しい種類の優秀さではありません。

たとえば、私たちの文化の他の重要な側面を見てみましょう。音楽家です。ヒットするミュージシャンになるには、どんな知能が必要でしょうか。すべて運だと思ってはいけません。そうではありません。彼らは懸命に働いています。そして、博士号を持つ私には理解できないような形で、とても賢いのです。私にはその種類の知能がないかもしれません。

ですから知能について考えるとき、それは非常に多面的で、非常に文脈的だと思います。状況に本当に依存します。単なる生の知能ではありません。生の知能はエンジンの馬力のようなものです。しかし車輪のないエンジンが動いても、どこにも行けません。知能の影響は、その知能が置かれた文脈、ハーネス、プラットフォームに大きく関係します。

そう考えると、シンギュラリティは魅力的な考えではあるものの、本当に見当違いの考えだと思います。これら他の要因を実際には考慮していないからです。

私は人工知能が今後も急速に発展し続けると信じています。世界経済のあらゆる側面で、あらゆる種類の仕事をしている人々に対して、重要な能力を解き放つでしょう。それがもたらす機会には非常に興奮しています。一方で、その移行を私たちがどう管理するかについては、少し心配もしています。一般に、人間にとって移行は難しいものだと思うからです。私たちは一般的に保守的です。そして多くの変化が起こるでしょう。これは、私たちの考え方、働き方、学び方における深い変化です。

最終的には、人間として私たちがそれを理解し、乗り越える能力を信じています。私たちは過去にもそうしてきました。これが私たちであり、私たちはそういう存在です。私たちは道具を作ります。問題解決を助ける外部器官を作ります。私たちには外部の胃があります。それをキッチンと呼んでいます。キッチンは私たちに巨大な価値を生み出しています。キッチンがなければ食べられなかったものを食べられるようにしてくれます。

今、私たちは外部の脳を作っています。外部の胃の影響は、種としての私たちにとってかなり深いものでした。それは農業につながり、組織化された社会につながり、都市が作られるあり方につながりました。では、外部の脳の影響は何なのかと考えると、かなり深いものです。実際のところ、誰にも本当にはわかっていません。

しかし私が信じているのは、人類が問題を解決し、学び、新しい技術を自分たちに利益をもたらす形で取り込む力です。また、私たちが地球規模で直面している問題は、すべてより多くの知能を必要としているとも信じています。ひとつ残らずです。それが不平等であれ、気候変動であれ、私が非常に懸念しているその他の構造的問題であれ、それらの解決策には発明と知能が必要になります。

そしてそれが私にとって意味するのは、前に進むために私たちが本当に作れる道具はAIになる、ということです。私たちが直面する問題は、すべて知能に関わるものだからです。そして、それらの問題を解決するための技術的アプローチが何であれ、その解決策は常にAIと呼ばれることになるでしょう。だからこそ私は未来に希望を持っています。同時に、この新しい外部の脳とともに新しい生き方を見つけようとする中で、それが私たちにもたらす課題にも、ある種の敬意を抱いています。それでも私は、私たちが学び、変化する能力を信じています。そして最終的には、これは私たちの生活をより良くすると思っています。

AIへの反発と社会の受け入れ

社内で、形成されつつあるように見えるAIへの反発を感じますか。それは皆さんが認識し、考えていることですか。もしそうなら、私たちの業界にコミュニケーション上の問題があると思いますか。特に、今おっしゃったAIの明らかな可能性を踏まえるとどうでしょうか。

私はいつも、一般の人々が技術をどう考え、どう関わるかを心配しています。それは非常に重要です。そして、技術的進歩を望む社会は、変化を望まない社会よりも多くの技術的進歩を持つ、というのは間違いなく事実です。ですから、それについて考えることは実際に重要だと思います。

AIについて興味深いことのひとつは、日常生活の一部になったとき、AIははるかに受け入れられやすくなると私は考えていることです。そしてその時点で、人々はそれをAIだとは考えなくなります。ああ、これは自分が使う道具だ、となるだけです。地図アプリにどこかへ運転する手助けを頼むとき、車のルート案内を助けているのがAIかどうかを気にしますか。実際には、そこには高度なAIが使われています。でも、あなたはそれをそうは考えていませんよね。ただ道具を使っているだけです。

ですから、人々のAI受容は経験とともに起こるのだと思います。AIと一緒に働く経験が増えれば増えるほど、それを生産的に使う方法を学べば学ぶほど、私たちはそれにより安心感を持つようになると思います。

安全性、オープン技術、多様性

ブライアン、本当に興味深い会話でした。最後の質問として、必ず触れておきたいのが安全性です。現在、安全性はどのような状態にあるのでしょうか。そして今日の安全性の議論において、オープンソースとクローズドソースはそれぞれどのような位置づけになるのでしょうか。

安全性は今、誰もの頭にあります。Fableのリリースと、それに対する政府の関わり方を見ると、これらのモデルに対する安全性の懸念の結果だと思います。モデルはどんどん強くなり、悪用される可能性もあります。安全性について考え、それを定義しようとするさまざまなアプローチがあります。

私は少し型破りな意見を持っているかもしれません。それは、オープン技術は一般により安全だと思う、というものです。より多くの光が当たるからです。より多くの人が技術の安全性について考え、評価し、それをより安全にすることに貢献するなら、それは少数の人々が他の全員のために安全性を担当するよりも、本質的に安全だと思います。

また、人工知能については、それが本質的にアイデアに関するものだとも思っています。アイデアをさまざまな形で探索することに関するものです。だから多様性はモノカルチャーより安全です。そしてそれは、異なる信念が存在することを意味します。多様性とは簡単なものだけではありません。難しいものに関わるものです。人々が深く感じられた意見の相違を持ち、本当に、完全に、お互いに同意しないときです。人々が自分のアイデアを多様な形で探求できるようにすることは、ある種の壁に囲まれた庭を作り、特定のアイデアを安全、特定のアイデアを危険と見なすよりも安全だと思います。

これは今日のAI環境では議論を呼ぶものですが、そこが興味深いと思います。なぜなら、私たちにはこれに直接関わる何百年もの伝統があるからです。たとえば米国には、良心の自由と言論の自由に関する法律があります。そしてそれは、何千年もの間、それがないほうが安全だったのではないかと考えなかったからではありません。私たちはそれを試しました。実際にモノカルチャーを試したんです。こういうアイデアは話しても安全、こういうアイデアは信じても安全、という形です。そしてそれは、どのアイデアが安全かについて公式には立場を取らない多元主義よりも、はるかに安全ではないことがわかりました。私たちは社会として、上から全員を安全に保とうとするよりも、多様性を支えるほうがはるかに安全だと実際に見出したのです。ですから私は、AIのためのオープン技術は、AIを構築するうえで本質的に最も安全な方法だと信じています。

終わりに

会話の締めくくりに、議論を呼ぶ見解をありがとうございます。ブライアン、本当に素晴らしかったです。今日はお時間をいただき、本当にありがとうございました。

招いていただきありがとうございました。

再びマット・タークです。Mad Podcastのこのエピソードをお聴きいただき、ありがとうございます。楽しんでいただけたなら、まだ登録していない方はぜひ登録をご検討いただけるとうれしいです。また、このエピソードを視聴または聴取しているプラットフォームで、良いレビューやコメントを残していただけると大変ありがたいです。それがポッドキャストを育て、素晴らしいゲストを迎える大きな助けになります。ありがとうございました。次回のエピソードでお会いしましょう。

コメント

タイトルとURLをコピーしました