本動画は、Lex FridmanによるNVIDIAのCEOであるジェンスン・フアンへのインタビューである。NVIDIAがどのようにしてAI革命の原動力となり、チップ設計からデータセンター規模の「極限のコデザイン」へと進化を遂げたのかが語られている。さらに、CUDAを世に送り出した際の存亡をかけた決断、AIの未来を形作る4つのスケーリング則、電力やサプライチェーンの課題、TSMCとの強固な信頼関係、そしてAIが人間の仕事や社会に与える影響について深く掘り下げられている。最終的に、知能がコモディティ化する時代において、真に価値を持つのは人間性や思いやりであるという哲学的なメッセージで締めくくられている。
NVIDIAの極限のコデザインとAIの未来
これからお届けするのは、人類の歴史上最も重要で影響力のある企業の1つであるNVIDIAのCEO、ジェンスン・フアンとの対話です。NVIDIAはAI革命を推進するエンジンであり、その成功の多くは、ジェンスンの凄まじい意志の力と、リーダー、エンジニア、そしてイノベーターとしての数々の素晴らしい賭けや決断に直接的に起因していると言えます。
Lex Fridman Podcastへようこそ。それでは親愛なる皆さま、ジェンスン・フアンの登場です。
あなたはNVIDIAをAIの新たな時代へと押し上げ、チップレベルのデザインに注力していた時代から、今ではラックレベルのデザインへと移行させましたね。かつてNVIDIAにとっての勝利とは、可能な限り最高のGPUを構築することだったと言っていいと思いますし、今でもそれは続いていますが、現在ではGPU、CPU、メモリ、ネットワーキング、ストレージ、電力、冷却、ソフトウェア、ラック自体、発表されたポッド、さらにはデータセンターに至るまでの極限のコデザインへと拡張されています。そこで、極限のコデザインについてお話ししましょう。これほど多くの複雑なコンポーネントや設計変数を伴うシステムをコデザインする上で、最も難しい部分は何でしょうか。
ええ、その質問をありがとう。まず第一に、なぜ極限のコデザインが必要なのかというと、解決すべき問題がもはや1つのコンピューターの中に収まりきらず、1つのGPUで加速できるようなものではなくなったからです。解決しようとしている問題は、追加したコンピューターの数以上のスピードを出したいというものです。
つまり、1万台のコンピューターを追加したとして、それを100万倍の速さにしたいわけです。そうなると突然、アルゴリズムを取り出し、それを分割し、リファクタリングし、パイプラインを分割し、データを分割し、モデルを分割しなければならなくなります。
さて、このように問題を分散させると、単に問題をスケールアップするだけでなく、分散させることになりますが、そうするとあらゆるものが障壁となります。これはアムダールの法則の問題で、ある処理のスピードアップの度合いは、それが全体のワークロードのどれくらいを占めているかに依存するというものです。つまり、計算が問題の50％を占めているとして、私が計算を無限に、例えば100万倍にスピードアップしたとしても、全体のワークロードは2倍にしかならないのです。
今や突然、計算を分散させなければならないだけでなく、パイプラインをどうにかして分割しなければなりません。さらに、これらのコンピューターはすべて繋がっているので、ネットワーキングの問題も解決しなければなりません。私たちがやっているような規模の分散コンピューティングでは、CPUが問題になり、GPUが問題になり、ネットワーキングが問題になり、スイッチングが問題になります。
そして、ワークロードをこれらすべてのコンピューターに分散させることも問題です。これはとてつもなく複雑なコンピューターサイエンスの問題なんです。だから、あらゆる技術を結集させなければなりません。そうでなければ、線形にスケールアップするか、ムーアの法則の能力に基づいてスケールアップすることになりますが、デナード・スケーリングが鈍化しているため、それも大きく減速しています。
そこには間違いなくトレードオフがあるでしょうね。それに、ここにはまったく異なる専門分野が存在しています。高帯域幅メモリ、ネットワーク、NVLink、NIC、あなたが取り組んでいる光学技術や銅線、電力供給、冷却、これらすべてにおいて、それぞれの世界的な専門家がいるはずです。どうやって彼らを同じ部屋に集めて、解決策を見つけ出すのですか。
だからこそ、私のスタッフはとても多いんです。
どのようなプロセスなのでしょうか。専門家とゼネラリストのプロセスについて教えてもらえませんか。ラックに詰め込まなければならないコンポーネントのセットが分かっているとき、どのようにしてラックを組み立てるのですか？すべてを一緒に設計するプロセスはどのようなものなのでしょうか。
ええ。最初の質問ですが、極限のコデザインとは何かということです。私たちは、アーキテクチャからチップ、システム、システムソフトウェア、アルゴリズム、そしてアプリケーションに至るまで、ソフトウェアのスタック全体を最適化しています。それが1つの層です。あなたが今言った2つ目のことは、CPUやGPU、ネットワーキングチップ、スケールアップスイッチ、スケールアウトスイッチを超えたものです。
そしてもちろん、電力や冷却なども含めなければなりません。なぜなら、これらのコンピューターは非常に、非常に電力を消費するからです。彼らは多くの仕事をこなし、非常にエネルギー効率が高いのですが、全体としてはやはり多くの電力を消費します。それが1つ目です。
最初の質問は、それは何かということです。2つ目の質問は、なぜそれが必要なのかということで、コンピューターの数を増やすだけのメリットを上回るようにワークロードを分散させたいからだという理由は先ほど話しました。そして3つ目の質問は、それはどのようなものか、どうやってそれを行うのかということです。それこそが、この会社の奇跡のようなところなんです。
コンピューターを設計するときには、コンピューターのオペレーティングシステムが必要です。会社を設計するときには、まずその会社に何を生み出してもらいたいかを考えるべきです。私は多くの会社の組織図を見ますが、どれも同じように見えます。ハンバーガーチェーンの組織図も、ソフトウェア会社の組織図も、自動車会社の組織図も、みんな同じように見えます。
私にはそれが全く理解できません。会社の目的とは、アウトプットを生み出すための機械であり、メカニズムであり、システムであるべきです。そしてそのアウトプットとは、私たちが創り出したい製品のことです。また、会社のアーキテクチャは、それが存在する環境を反映したデザインであるべきです。
それは、組織で何をすべきかを間接的に物語っています。私の直属のスタッフは60人います。彼らと1対1の面談をすることはありません。不可能だからです。仕事を進めようと思うなら、スタッフに60人も抱えていては面談なんてやっていられません。
それでも60人の部下がいるのですね。
それ以上ですね、ええ。
それ以上ですか。そしてほとんどのスタッフは、少なくともエンジニアリングの分野に足を踏み入れていると。
ほぼ全員がそうです。メモリの専門家がいて、CPUの専門家がいて、光学の専門家がいます。すべて…
それは信じられないことですね。
ええ、GPUや…アーキテクチャ、アルゴリズム、デザインなど…
つまり、常にスタック全体に目を配り、スタック全体の設計について激しい議論を交わしているのですね。
そして、決して誰か1人との会話で終わることはありません。だから私は1対1の面談をしないんです。私たちは問題を提示し、全員でそれに取り組みます。極限のコデザインを行っているからです。文字通り、会社は常に極限のコデザインを行っています。
つまり、冷却やネットワーキングといった特定のコンポーネントについて話しているときでも、全員が耳を傾けているということですか。
ええ、その通りです。
そして彼らは、「これでは配電にうまくいかない」「これではメモリに合わない」と意見を言うことができるのですね。
その通りです。そして、耳を傾けたくない人は、聞かなくていいんです。分かりますか？その理由は、スタッフの中にいる人たちは、いつ注目すべきかを知っているからです。もし彼らが貢献できたはずのことに貢献しなかったら、私は彼らを名指ししますよ。「おい、こっちに来て参加しろよ」ってね。
先ほどおっしゃったように、NVIDIAは環境に適応していく会社です。では、環境が変化したと判断し、密かに適応を始めたのはどの時点だったと言えますか。初期のゲーム用GPUから始まり、おそらく初期のディープラーニング革命を経て、今ではAIファクトリーとして考え始めるようになったのはいつ頃でしょうか。NVIDIAは何をしているのか？AIを生み出している。AIを作る工場を建てよう、と。
ええと、それを体系的に理屈で説明することができます。私たちは当初、アクセラレーターの会社としてスタートしました。しかし、アクセラレーターの問題点は、アプリケーションの領域が狭すぎることです。
その仕事のために信じられないほど最適化されているという利点はあります。どんな専門家でもその利点を持っています。極端な専門化の問題は、もちろん市場のリーチが狭くなることですが、それ自体は構いません。問題は、市場規模が研究開発の能力を決定づけてしまうことです。
そして、あなたの研究開発能力が、最終的にコンピューティングにおいてあなたが持ち得る影響力とインパクトを決定します。ですから、私たちが最初、非常に特殊なアクセラレーターとしてスタートしたとき、それが私たちの第一歩になることは常に分かっていました。私たちは、アクセラレーテッド・コンピューティングになる方法を見つけなければなりませんでした。しかし問題は、コンピューティングカンパニーになると汎用性が高くなりすぎて、専門性が失われてしまうことです。
私は、根本的な緊張関係にある2つの言葉を結びつけました。私たちがより良いコンピューティングカンパニーになればなるほど、専門家としては劣っていく。専門家になればなるほど、全体的なコンピューティングを行う能力は低下する。そこで私は…
意図的にそれらの2つの言葉を結びつけたのです。会社は、コンピューティングの視野を広げつつ、私たちが持っていた最も重要な専門性を諦めないという、その非常に狭い道を、一歩一歩進んでいかなければならないと。さて、私たちがアクセラレーションの先へ進んだ最初のステップは、プログラマブルなピクセルシェーダーを発明したことでした。それがプログラマビリティに向けた第一歩でした。
それは、私たちがコンピューティングの世界へと踏み出す最初の旅でした。2つ目に私たちがしたことは、シェーダーにFP32を導入したことです。そのFP32のステップ、IEEE準拠のFP32は、コンピューティングの方向への巨大な一歩でした。それが、ストリームプロセッサや他の種類のデータフロープロセッサに取り組んでいたすべての人たちが、私たちを発見した理由でした。
そして彼らは言いました。「おい、突然だけど、信じられないほど計算集約的で、しかもIEEEに準拠したこのGPUを使えるかもしれないぞ」と。以前CPUで書いていたソフトウェアを持っていって、それにGPUを使えるかどうか試してみることができる。それが、FP32の上にC言語を乗せたもの、私たちがCgと呼んだものを作るきっかけになりました。
そのCgの道が、最終的にCUDAへと私たちを導きました。CUDAです、一歩一歩。私たちは…そう、GeForceにCUDAを搭載すること、それは非常に、非常に難しい戦略的な決定でした。なぜなら、それは会社に莫大な利益の損失をもたらし、当時の私たちにはそれだけの余裕がなかったからです。
しかし、とにかく私たちはそれをやりました。なぜなら、コンピューティングカンパニーになりたかったからです。コンピューティングカンパニーにはコンピューティングアーキテクチャがあります。コンピューティングアーキテクチャは、私たちが構築するすべてのチップ間で互換性がなければなりません。
CUDAの誕生とNVIDIAの存亡をかけた決断
その決定に至るプロセスを教えていただけますか。GeForceにCUDAを搭載する余裕がなかったにもかかわらず、なぜあえてそれを行うという大胆な選択をしたのですか。その決定について説明していただけますか。
ええ、素晴らしい質問です。それは…それは最初の…存亡の危機に最も近い最初の戦略的決定だったと言えるでしょう。
ご存知ない方のために言っておきますが、結果的に、それは一企業が下した最も信じられないほど素晴らしい決断の1つになりましたね。CUDAは、このAIインフラストラクチャの世界において、計算のための信じられないほどの基盤であることが判明しました。
ありがとう。
ただ文脈を設定しただけです。結果的に良い決断だったということですね。
ええ、結果的には良い決断でした。私が思うに…そう、こういうことでした。私たちはこのCUDAと呼ばれるものを発明し、それは私たちがアクセラレーターで加速できるアプリケーションの視野を広げました。
問題は、どうやって開発者をCUDAに惹きつけるかということでした。なぜなら、コンピューティングプラットフォームは開発者がすべてだからです。そして開発者は、何か面白いことができるかもしれないという理由だけでコンピューティングプラットフォームに来るわけではありません。インストールベースが大きいから来るのです。他の誰とも同じように、開発者は多くの人々に届くソフトウェアを開発したいと思っていますから。
したがって、インストールベースは事実上、アーキテクチャの最も重要な部分なのです。アーキテクチャは、莫大な批判を集める可能性もあります。例えば、x86ほど批判を集めたアーキテクチャは他にありません。エレガントとは言い難いアーキテクチャですが、それでも今日の決定的なアーキテクチャです。
世界で最も優秀なコンピューターサイエンティストたちによって美しく設計された多くのRISCアーキテクチャが、そのほとんどが失敗に終わったという事実は、良い例です。今、2つの例を挙げましたが、1つはエレガントで、もう1つは辛うじて美的感覚を保っているようなものですが、それでもx86は生き残りました。その理由は…
インストールベースがすべてなのですね。
インストールベースがアーキテクチャを定義するのです。他のすべては二次的なものです。いいですか？当時、他のアーキテクチャもありました。CUDAが登場し、OpenCLもありました。競合するアーキテクチャは他にもいくつかありました。しかし、私たちが下した良い決定とは、「最終的にはインストールベースがすべてであり、新しいコンピューティングアーキテクチャを世に送り出すための最良の方法は何か」と考えたことです。その時期までに、GeForceはすでに成功を収めていました。私たちはすでに
年間何百万個ものGeForce GPUを販売しており、私たちは言いました。「顧客が使うかどうかにかかわらず、すべてのPCにGeForceと一緒にCUDAを搭載し、それをインストールベースを育成するための出発点として使うべきだ」と。その間に私たちは開発者を惹きつけるために動き、大学へ行き、本を書き、授業を行い、あらゆる場所にCUDAを広めました。そして最終的に人々は発見するのです…
当時のPCは主要なコンピューティングの手段でした。クラウドは存在せず、私たちは学校のすべての研究者、すべての科学者、すべての工学部、すべての学生の手にスーパーコンピューターを届けることができました。そして最終的には、何か素晴らしいことが起こるだろうと。しかし問題は、コンシューマー製品であるGPUのコストをCUDAが著しく上昇させ、会社の粗利益を完全に食いつぶしてしまったことでした。
当時の会社の価値はおそらく、分かりませんが、80億ドルくらいだったでしょうか？いや、60億から70億ドルくらいだったかもしれません。CUDAを発表した後、私はそれが多大なコストを追加することになると認識していましたが、私たちが信じていることでした。時価総額は15億ドルくらいまで下がりました。
私たちはしばらくその底にいて、そこからゆっくりと這い上がってきましたが、GeForceにCUDAを乗せ続けました。私はいつも、NVIDIAはGeForceが建てた家だと言っています。なぜなら、CUDAをすべての人に届けたのはGeForceだったからです。研究者や科学者たちは、GeForce上でCUDAを発見しました。なぜなら彼らは皆…彼らの多くはゲーマーだったからです。
彼らの多くは、とにかく自分でPCを組み立てていました。大学の研究室で、彼らの多くはPCのパーツを使って自分たちでクラスターを構築していました。そうやって私たちは軌道に乗り始めたのです。
そしてそれが、ディープラーニング革命のプラットフォームとなり、基盤となったのですね。
それもまた、もう1つの素晴らしい、素晴らしい観察でした。ええ。
その存亡をかけた瞬間、会社の全てを危険に晒すと決断した会議や議論がどのようなものだったか、覚えていますか。
取締役会には、私たちがやろうとしていることを明確に伝えなければなりませんでしたし、経営陣は粗利益率が押し潰されることを分かっていました。GeForceがCUDAの負担を背負い、ゲーマーの誰もそれを評価せず、誰もその代金を払わないような世界を想像できたはずです。
彼らは一定の価格しか払わず、あなたのコストがいくらであろうと気にしません。私たちはコストを50％増加させ、それが消費しました…私たちは粗利益率35％の会社でしたから、それは…それは下すのが非常に難しい決断でした。しかし、いつの日かこれがワークステーションに入り、スーパーコンピューターに入り、それらのセグメントでなら、もっと高いマージンを獲得できるかもしれないと想像することはできました。
だから、これを支払う余裕があると自分自身を理屈で納得させることはできたでしょう。それでも…10年はかかりました。
しかし、それは取締役会を説得するための対話に近いものですね。あなた自身の心理的な面についてお聞きしたいのですが…NVIDIAが未来を予測し、特に今では未来を定義するような大胆な賭けをし続けている中で。
そうですね、どうやってそうした決定を下し、企業としてそのような飛躍を遂げることができるのか、その知恵を探しているようなものです。
まず第一に、私は多くの好奇心から情報を得ています。ある時点で、この結果が間違いなく起こるのだと私を納得させる推論システムが存在します。これが起こるのだと。
だから私は頭の中でそれを信じ、頭の中で信じたときには、分かっているでしょう、あなたは未来を具現化し、その未来はあまりにも説得力があるので、それが起こらないはずがないのです。その間には多くの苦しみがありますが、自分が信じるものを信じなければなりません。
つまり、あなたが未来を思い描き…
そして本質的に、エンジニアリングの観点からそれを具現化するわけですね。
ええ。そして、そこにたどり着く方法について推論します。それがなぜ存在しなければならないのかについて推論します。そして、私は推論し…ここでは皆が推論します。経営陣もそれについて推論します。私が…私たちは推論に多くの時間を費やします。次に…その次の部分は、おそらくスキルの問題で、よくあるリーダーシップでは、リーダーシップが沈黙を保つか、何かについて学び、そしてマニフェストを発表し、新しい年が始まり、来年の年末にはどういうわけか
真新しい計画が出来上がっている。「こちら側で大規模なレイオフ、こちら側で大規模な組織変更、新しいミッションステートメント…真新しいロゴ」といった具合に。私はそういうやり方をしたことがありません。何かについて学び、それが私の考え方に影響を与え始めたら、近くにいる全員にそれをはっきりと伝えます。「これは面白いぞ。
これは違いをもたらすぞ。これはあそこに影響を与えるぞ」と。私は物事を一歩一歩推論します。多くの場合、私の心はすでに決まっていますが、あらゆる可能な機会、外部の情報、新しい洞察、新しい発見、新しいエンジニアリングの、ご存じの通り啓示、開発された新しいマイルストーンなどを捉えて、それを他の全員の信念システムを形作るために使います。私はそれを文字通り毎日行っています。
取締役会でも、経営陣でも、従業員でも同じです。彼らの信念システムを形作ろうとしているので、私がある日「Mellanoxを買収しよう」と言ったとき、私たちが絶対にそうすべきだということが全員にとって完全に明白になるのです。「みんな、ディープラーニングに全力投球しよう。その理由を教えよう」と言った日にも。
私はすでに、社内のさまざまな組織にレンガを敷き詰めていました。すべての組織、そして誰もが、多くの人はそのすべてを聞いていたかもしれません。ほとんどの社員は、もちろんその断片を聞いています。そして私がそれを発表した日には、皆がすでにその多くの部分に納得しているのです。多くの点で、私はこうしたことを発表するのが好きで、想像するに、社員たちは「ジェンスン、どうしてそんなに時間がかかったんだ？」と言っているような気がします。実際のところ、私はしばらくの間彼らの信念システムを形作ってきており、それゆえに
リーダーシップなのです。後ろから率いているように見えることもありますが、私が宣言した日には100％の賛同が得られるところまで形作ってきたのです。しかし、それこそがあなたが望むことです。全員を一緒に連れて行きたいのです。
そうしないと、私たちがディープラーニングについて何かを発表したとき、皆が「何を言っているんだ？」となってしまいます。「これに全力投球しよう」と発表したとき、経営陣、取締役会、従業員、顧客が「これはどこから来たんだ？狂ってる」となってしまいます。だから、GTC効果です。過去を振り返り、基調講演を見てみてください。私は業界のパートナーの信念システムも形作っており、それを使って自社の従業員の信念システムを形作っているのです。
だから私が何かを発表する頃には、例えば、私たちは最近Grokを発表しました。私たちは遅れて…私は2年半前から、その足がかりとなるものについて話してきました。振り返ってみれば、「なんてことだ、彼らは2年半も前からその話をしているじゃないか」と思うでしょう。だから私は一歩一歩基礎を築いてきて、いざ発表の時が来ると、皆が「どうしてそんなに時間がかかったんだ？」と言うのです。
しかし、それは社内だけではありません。あなたは革新の風景、つまりイノベーションのより広いグローバルな風景を形作っています。そうしたアイデアを世に送り出すことで、あなたは本当に現実を具現化しているのです。
私たちはコンピューターを作っていません。クラウドも作っていません。私たちは…結果として、私たちはコンピューティングプラットフォームの会社です。だから誰も私たちから何も買うことはできません。そこが奇妙なところです。私たちは垂直方向に設計し、垂直に統合して設計と最適化を行いますが、その後、プラットフォーム全体をあらゆる層でオープンにし、他の会社の製品やサービス、クラウド、スーパーコンピューター、OEMコンピューターに統合できるようにします。
だから驚くべきことに、私はまず彼らを納得させなければ、私がしていることを行うことはできないのです。GTCの大部分は未来を具現化することであり、私たちが…私の製品の準備ができた頃には、彼らが「どうしてそんなに時間がかかったんだ？」と言うようにすることです。
AIの4つのスケーリング則と未来のボトルネック
ええ。あなたが長い間信じてきたことの1つに、広く定義されたスケーリング則があります。今でもスケーリング則を信じていますか。
ええ、ええ。そうですね、今ではもっと多くのスケーリング則があります。
事前学習、事後学習、テスト時の計算、そしてエージェントのスケーリングという4つの法則を概説されましたね。遠い未来や近い将来について考えるとき、スケーリングを続けるために克服しなければならない、夜も眠れなくなるほど懸念しているブロッカー（障壁）は何だと思いますか。
そうですね、人々が障壁だと考えていたものを振り返ってみましょう。最初は、事前学習のスケーリング則でした。人々は、当然のことながら、私たちが持っている高品質なデータの量が、到達できる知能の限界になると考えていました。そしてそのスケーリング則は、重要で、非常に重要なスケーリング則でした。
モデルが大きければ大きいほど、対応するデータの量が多くなり、結果として…結果としてより賢いAIになるというものです。それが事前学習でした。そしてイリヤ・サツケヴァーは「データが尽きた」とか、「事前学習は終わった」とか言いました。業界はパニックに陥りました。これがAIの終わりだと。
そしてもちろん、それが事実でないことは明らかです。私たちは訓練に必要なデータの量を拡大し続けるでしょう。そのデータの多くはおそらく合成データになるでしょうが、それも人々を混乱させました。人々が気づいていないのは、私たちが互いに教え合い、情報を与え合っている訓練データのほとんどが合成データであることを忘れているということです。私が…
それは自然界から出てきたものではないので合成なのです。あなたがそれを作り出した。私がそれを消費する。私はそれを修正し、拡張し、再生成し、他の誰かがそれを消費する。だから今、私たちはAIがグラウンドトゥルース（正解データ）を受け取り、それを拡張し…強化し、膨大な量のデータを合成的に生成できるレベルに達しています。
そして、その事後学習の部分は拡大し続けているため、人間が生成した訓練に使えるデータの量はどんどん小さくなっていくでしょう。モデルの訓練に使用するデータの量は、私たちがもはや制限されなくなる地点まで拡大し続けます…訓練はもはや制限されません…データは今や計算能力によって制限されています。
その理由は、データのほとんどが合成データだからです。次のフェーズはテスト時（推論時）ですが、人々が私に「推論？ああ、それは簡単だ。事前学習、それは難しい」と言っていたのをまだ覚えています。人々が話しているのは巨大なシステムです。推論は簡単でなければならないと。
だから推論チップは小さなチップになって、彼らは…彼らはNVIDIAのチップのようではないと。ああ、あれは複雑で高価になるし、私たちは作れる…そしてこれは、将来的には推論が最大の市場になり、それは簡単で、私たちはそれをコモディティ化するだろう。誰もが自分のチップを作れるようになると。
私にとって、それは常に非論理的でした。なぜなら推論は「考える」ことだからです。そして考えることは難しいと思います。考えることは読むことよりもはるかに難しい。事前学習は単なる記憶と般化であり、パターンや関係性を探すことです。あなたは読んで、読んでいます。それに対して、考え、推論し、問題を解決し、未踏の経験や新しい経験を取り入れて、
それを分解し…解決可能なピースに分解し、第一原理の推論や過去の例、事前の経験を通じて、あるいはただ探索と検索を行い、いろいろなことを試しながら解決していくのです。テスト時のスケーリング、推論のプロセス全体は、まさに考えることについてなのです。
そしてそれは推論についてであり、計画についてであり、検索についてであり…それがどうして計算量が少なくて済むでしょうか。私たちはその点について絶対に正しかったのです。テスト時のスケーリングは激しく計算集約的です。では問題は、推論とテスト時のスケーリングの先に何があるのかということです。当然ながら、私たちは今、1つのエージェントとしての存在を作り出しました。その1つのエージェントは、私たちが開発した大規模言語モデルを持っています。しかし、テスト時に、そのエージェント
システムはリサーチに出かけ、データベースを叩き、外に出てツールを使用します。そして最も重要なことの1つは、多数のサブエージェントをスピンオフして生み出すことです。これはつまり、私たちが今、大きなチームを作っていることを意味します。私自身をスケールさせるよりも、従業員を雇ってNVIDIAをスケールさせる方がはるかに簡単です。
だから、次のスケーリング則はエージェントのスケーリング則です。それはAIを増殖させるようなものです。AIを増殖させれば、エージェントをスピンオフさせたいだけ速くスピンオフさせることができます。だから、私には4つのスケーリング則があるんです。私たちがエージェントシステムを使えば使うほど、彼らはもっと多くのデータを作り出し、多くの経験を作り出すでしょう。
その中には、「うわー、これは本当に良い。これを記憶すべきだ」と言うものもあるでしょう。そのデータセットは、事前学習にすべて戻ってきます。私たちはそれを記憶し、般化します。次に、それを洗練させ、微調整して事後学習に戻します。さらにテスト時やエージェントシステムを使って強化し、業界に送り出します。
そして、このループ、このサイクルはどんどん続いていくでしょう。結局のところ、知能はたった1つのこと、つまり計算能力によってスケールしていくのです。
しかし、そこには予測しなければならない厄介な問題があります。それは、これらのコンポーネントの中には、最適に機能させるために異なる種類のハードウェアを必要とするものがあるということです。
ですから、AIのイノベーションがどこに向かうのかを予測しなければなりません。例えば、スパース性を持たせたMixture of Experts（MoE）のように。
完璧です。
ハードウェアでは、1週間の予告で方向転換することはできません。それがどのようなものになるか予測しなければなりません。それには…
その通りです。
…それはとても恐ろしく、難しいことですよね？
例えば、こうしたAIモデルのアーキテクチャは、だいたい6か月に1回発明されています。一方で、システムアーキテクチャやハードウェアアーキテクチャはだいたい3年に1回です。ですから、2、3年後に何が起こりそうかを予測する必要があります。それを行うにはいくつかの方法があります。
まず第一に、私たちは社内で独自に研究を行うことができます。それが私たちが基礎研究と応用研究を持っている理由の1つです。私たちは独自のモデルを作成します。ですから、ここに実践的な実生活の経験があるのです。これは私が話しているコデザインの一部です。私たちはまた、世界中の文字通りすべてのAI企業と協力している、世界で唯一のAI企業でもあります。ですから、可能な限り、人々がどのような課題に直面しているかを感じ取ろうとしています。
つまり、業界全体やAIラボでのささやき声に耳を傾けているのですね。
その通りです。全員から話を聞き、学ばなければなりません。そして最後に重要なのは、風に乗って適応し、動くことができる柔軟なアーキテクチャを持つことです。CUDAの利点の1つは、一方で信じられないほどのアクセラレーターでありながら、他方で本当に柔軟であることです。
CPUを加速できなくなるほどの専門化と、変化するアルゴリズムに適応できるような汎用化との間の信じられないほどのバランス、それが本当に、本当に重要なのです。それが、CUDAが一方で非常に弾力性がありながら、私たちがそれを強化し続けている理由です。私たちは今、CUDA 13.2です。ですから、最新のアルゴリズムについていけるように、非常に速いスピードでアーキテクチャを進化させているのです。例えば…Mixture of Expertsが登場したとき、
それがNVLink 8ではなくNVLink 72を採用した理由です。これにより、4兆や10兆パラメータのモデル全体を、まるで1つのGPUで実行しているかのように1つのコンピューティングドメインに収めることができました。
おそらく気づいていない人もいるかもしれませんが、私は言いました。Grace Blackwellラックのアーキテクチャを見ると、それはLLMを処理するという1つのことに完全に焦点が当てられていました。突然、1年後にはVera Rubinラックを見ています。そこにはストレージアクセラレーターがあります。Veraと呼ばれるこの信じられないほどの新しいCPUがあります。
LLMを実行するためのVera RubinとNVLink 72があります。さらに、Rockと呼ばれる新しい追加のラックもあります。つまり、このラックシステム全体が以前のものとは完全に異なっており、これらすべての新しいコンポーネントが入っているのです。その理由は、前のものがMoEの大規模言語モデルの推論を実行するように設計されていたからです。
そして今回のものはエージェントを実行するためで、エージェントはツールを叩き、そして…
明らかに、このシステムの設計は、Claude Code、Codex、OpenClawの前に完了していなければならなかったはずです。つまり、あなたは本質的に未来を予測していたのですね。それはどこから来るのでしょうか。ささやき声からですか、最先端の技術がどういうものかを理解することからですか。
いや、もっと簡単なことです。ただ理屈で考えるんです。まず第一に、理屈で考える。
何が起ころうとも、ある時点でその大規模言語モデルがデジタルワーカーになるためには…その比喩を使ってみましょう。LLMをデジタルワーカーにしたいとします。そのためには何をしなければならないでしょうか。グラウンドトゥルースにアクセスしなければなりません。それが私たちのファイルシステムです。リサーチができなければなりません。それはすべてを知っているわけではありません。私たちにはありません…そして私は、このAIが過去、現在、未来のすべてについて普遍的に賢くなるまで待ってから役に立つものにするつもりはありません。だから、研究に行かせるべきなんです。もし私を助けたいのなら、私のツールを使わなければならないのは明らかです。多くの人は「AIはソフトウェアを完全に破壊するだろう。私たちはもうソフトウェアを必要としない。ツールさえ必要ない」と言うでしょう。
それは馬鹿げています。思考実験をしてみましょう。ウイスキーでも飲みながら、こうしたことすべてについて考えてみれば、完全に明白になります。例えば、私が今後10年間で想像し得る最も素晴らしいエージェントを作るとしましょう。それがヒューマノイドロボットだとします。
もしそのヒューマノイドロボットが作られたら、そのヒューマノイドロボットが私の家に入ってきて、彼がやるべき仕事をするために私が持っているツールを使う可能性の方が高いでしょうか？それとも、片方の手が10ポンドのハンマーになり、次の瞬間にはメスに変わり、お湯を沸かすために指からマイクロ波を放射するでしょうか？電子レンジを使う可能性の方が高いですよね。初めて電子レンジの前に立ったときは、おそらく使い方を知らないでしょう。でも大丈夫です。
インターネットに繋がっていますから。電子レンジのマニュアルを読み、一瞬で専門家になります。そしてそれを使うのです。つまり、私は今、事実上OpenClawのほぼすべての特性を説明したことになります。ツールを使うこと、ファイルにアクセスすること、リサーチができること。それにはI/Oサブシステムがあります。
そして、そのように理屈で考え終わったとき、あなたは「なんてことだ、コンピューティングの未来への影響はとてつもなく深い」と言うでしょう。なぜなら、私たちはコンピューターを再発明したのだと思うからです。そして今、「さて、私たちがそのことについて推論したのはいつだっただろうか？OpenClawについて推論したのはいつだったか？」と考えます。私がGTCで使用したOpenClawの概略図を見れば、2年前のものだとわかるはずです。
文字通り2年前のGTCで、私は今のOpenClawを正確に反映するエージェントシステムについて話していました。そしてもちろん、多くのことの融合が起こる必要がありました。第一に、ClaudeやGPTなどのすべてのモデルが一定の能力レベルに達する必要がありました。ですから、彼らのイノベーションとブレイクスルー、そして継続的な進歩が本当に重要でした。
そしてもちろん、誰かが十分に堅牢で、十分に完全で、私たちが仕事に使えるオープンソースのプロジェクトを作る必要がありました。そして、OpenClawはChatGPTが生成システムに対して行ったことを、エージェントシステムに対して行ったのだと思います。これは非常に大きなことだと思います。
ええ、本当に特別な瞬間です。なぜこれほど世界中の注目を集めたのか正確にはわかりませんが、Claude CodeやCodexなどよりも注目を集めましたね。
消費者がアクセスできたからです。
確かに、そうです。でも、これの多くは「バイブス（雰囲気）」でもあります。ピーターと私はポッドキャストをやりましたが、彼は素晴らしい人間です。だから、その対象を代表する人間の要素も一部あるのでしょう。
ええ、間違いありません。
一部はミームでもあり…なぜなら私たちは皆、それを理解しようとしているからです。このような強力なテクノロジーを手にしたとき、データを渡して役に立つことをしてもらうにはどうすればいいのかという、本当に深刻で複雑なセキュリティ上の懸念があります。しかし、そこには恐ろしいことも伴います。
私たち一人一人が、そして文明として、その適切なバランスを見つける方法を模索しているのですね。
ええ、私たちはすぐにそれに飛びつき、多くのセキュリティ専門家をこちらへ送り込みました。そしてOpenShellというものを作りました。これはすでにOpenClawに統合されています。
そしてNVIDIAはNemoClawを提案しましたね。
はい、その通りです。
インストールが超簡単で、安全であることを確認してくれます。
私たちは3つの権限のうち2つを提供します。エージェントシステムは機密情報にアクセスでき、コードを実行でき、外部と通信できます。これら3つの機能のうち、常に2つを提供すれば安全を保つことができますが、3つすべてを提供することはしません。
そしてその3つのうち2つの機能については、企業から与えられた権限に基づくアクセス制御も提供します。そして、すべての企業がすでに持っているポリシーエンジンにそれを接続します。私たちは、OpenClawがより良いものになるよう最善を尽くします。
さて、あなたが雄弁に説明してくれたように、私たちには障壁だと思っていた過去の歴史があり、それを乗り越えてきました。しかし未来に目を向けると、エージェントが至る所に存在するようになることが明らかになった今、障壁になるものは何だと思いますか。計算能力が必要になることは明らかですが、そのスケーリングの障壁となるものは何でしょうか。
電力は懸念事項ですが、それだけではありません。しかし、だからこそ私たちは極限のコデザインを強力に推し進め、1ワットあたりの1秒間のトークン数を毎年何桁も向上させようとしているのです。
過去10年間で、ムーアの法則はコンピューティングを約100倍進歩させたでしょう。しかし私たちは、過去10年間でコンピューティングを100万倍にスケーリングし、進歩させました。ですから、私たちは極限のコデザインを通じてそれを続けていくつもりです。エネルギー効率、1ワットあたりのパフォーマンスは、企業の収益に完全に影響します。工場の収益に影響します。
私たちはトークンのコストを可能な限り早く引き下げるために、それを限界まで押し上げようとしています。コンピューターの価格は上がっていますが、トークンの生成効率はそれよりはるかに速く上がっているため、トークンコストは下がっています。毎年一桁ずつ下がっているのです。
電力、それは興味深いですね。電力の障壁を乗り越えようとする方法は、1ワットあたりの1秒間のトークン数を使って、それをより効率的にすることです。もちろん、どうやってより多くの電力を得るかという問題もあります。
もっと多くの電力を得るべきです。
それは本当に複雑な問題です。あなたは小型モジュール炉（SMR）について話しましたね。エネルギーについてはあらゆるアイデアがあります。夜も眠れなくなるほど悩まされることはありますか。AIのサプライチェーンにおけるボトルネック、例えばEUVリソグラフィー装置のASML、CoWoSのような高度なパッケージングのTSMC、そして高帯域幅メモリのSKハイニックスなどについて。
サプライチェーンの制約と電力問題の解決策
いつも考えていますし、常にそれに取り組んでいます。私たちが成長しているような規模で、成長を加速させながら成長した企業は歴史上存在しません。信じられないことです。人々がこれを理解することさえ難しいのです。AIコンピューティングの世界全体で、私たちはシェアを拡大しています。だからこそ、川上と川下のサプライチェーンは私たちにとって非常に重要です。私は、私と一緒に仕事をしているすべてのCEOたちに、この成長が続く、あるいは加速するようなダイナミクスとは何かを伝えるために多くの時間を費やしています。それが理由の一部です。私の右側には、IT業界の川上のほぼ全員、そしてインフラ業界の川下のほぼ全員のCEOたちがいました。数百人のCEOがいました。数百人のCEOが集まる基調講演など、これまでにあったとは思えません。その一部として、私は彼らに私たちの現在のビジネス状況について話しています。
ごく近い将来の成長ドライバーと何が起きているかについて伝えています。また、次にどこへ向かうのかについても説明し、彼らがこうしたすべての情報やここにある力学を利用して、投資の仕方を決定できるようにしています。だから私は、自分の従業員に伝えるのと同じように彼らにも伝えているのです。
そしてもちろん、私は彼らのところへ出向き、「聞いてください、今四半期、今年、来年、こういうことが起こりますよ」と確認します。DRAM業界のCEOたちを見てみると、世界ナンバーワンのDRAMはデータセンターのCPU向けDDRメモリでした。
約3年前、私は何人かのCEOを説得することができました。当時はHBMメモリはほとんど使われておらず、スーパーコンピューターでかろうじて使われている程度でしたが、これが将来データセンターの主流メモリになるだろうと。最初は馬鹿げているように聞こえましたが、何人かのCEOは私を信じ、HBMメモリの構築に投資することを決めました。
もう1つ、データセンターに導入するには少し変わったメモリがありました。携帯電話で使われている低電力メモリです。私たちは彼らに、それをデータセンターのスーパーコンピューター向けに適合させてほしいと頼みました。彼らは「スーパーコンピューターに携帯電話のメモリ？」と言いました。私はその理由を説明しました。これら2つのメモリ、LPDDR5とHBM4を見てください。そのボリュームは信じられないほどです。
3社とも歴史上最高の年を記録しました。これらの会社は45年の歴史を持つ企業です。ですから、情報を提供し、形作り、インスパイアすることが私の仕事の一部なのです。
つまり、あなたは未来を具現化し、おそらくNVIDIAや会社の様々なエンジニアをインスパイアしているだけでなく、未来のサプライチェーンをも具現化しているのですね。TSMCやASMLと会話をしていると。
川上と川下です。
川上と川下。それが重要なんですね。
GEV、Caterpillar。ええ、彼らは私たちの川下にいます。その通りです。
ええ、全体ですね。しかしそれは本当に…半導体業界全体で行われている信じられないほど困難なエンジニアリングがあり、サプライチェーンがいかに複雑で、どれほど多くのコンポーネントがあるのかを考えると恐ろしくなりますが、どういうわけかうまく機能しているのですね。
その通りです、深い科学です。深いエンジニアリング、信じられないほどの製造技術、そして製造の多くはすでにロボット化されていますが、私たちが持つ130万個のコンポーネントからなるラックには、数百のサプライヤーが技術を提供しています。各ラックは130万、150万のコンポーネントで構成されています。
Vera Rubinラック全体で200のサプライヤーが関わっています。
あなたが挙げた障壁のリストの中で、それがあなたを眠らせないものとして挙げていないのは興味深いですね。
でも私は、必要なすべてのことを行っていますから。
なるほど。
ええ、ほら。チェックをつけたから眠れるんです。「よし」と言って眠りにつきます。「さて、これについて理屈で考えよう」と。
私たちにとって何が重要か？なぜなら、私たちが以前のDGX-IのシステムアーキテクチャからNVLink-72ラック規模のコンピューティングに変更したとき、それがソフトウェアに何を意味するのか？エンジニアリングに何を意味するのか？私たちの設計やテストに何を意味するのか？そしてサプライチェーンに何を意味するのか？その1つは、データセンターでのスーパーコンピューターの統合を、サプライチェーンでのスーパーコンピューター製造へと移したことでした。もしそれをしているなら、
同時に認識しなければならないのは、もし建設しようとしているデータセンターの総フットプリントが、例えば50ギガワットのスーパーコンピューターを同時に稼働させたいとして、その50ギガワットのスーパーコンピューターを製造するのに1週間かかるとしたら、サプライチェーンでは毎週1ギガワットの電力が必要になるということです。
だから、サプライチェーンに、私が出荷する前にスーパーコンピューターを製造してテストするための電力を増やしてもらう必要があるのです。NVLink-72は文字通りサプライチェーン内でスーパーコンピューターを作り、ラックごとに2、3トンずつ出荷します。以前は部品の状態で届き、私たちがデータセンター内で組み立てていました。しかし、NVLink-72は非常に高密度であるため、今ではそれは不可能です。
それが一例です。そして私は、サプライチェーンに飛んで行き、パートナーに会って「ねえ、推論のためにこれが必要になるから、これがどんなに素晴らしいかを説明するよ」と言わなければなりません。推論の市場は来ています。推論の変曲点が来ています。大きな市場になるでしょう。だからまず、何が起きているのか、なぜそうなるのかを彼らに説明し、その後、それぞれ数十億ドルの設備投資を彼らにお願いするのです。
なぜなら彼らは私を信頼しており、私は彼らをとても尊重し、私に質問するあらゆる機会を与え、人々に物事を説明する時間をかけ、理屈で考えるからです。絵を描いて、第一原理で理屈を説明します。私が話し終える頃には、彼らは何をすべきか分かっているのです。
つまり、その多くは関係性であり、未来に対する共通の見解を築くことなのですね。しかし、特定のボトルネックについて心配することはありますか？サプライチェーンにおける最大のボトルネックは何でしょうか？ASMLのEUV装置について心配していますか？TSMCのCoWoSパッケージングがどれだけ早くスケールできるかについて心配していますか？先ほどおっしゃったように、あなたは信じられないほど速く成長しているだけでなく、成長を加速させています。
だから、サプライチェーンの誰もが、そしてそれらは確実にボトルネックですが、スケールアップしなければならないように感じます。彼らと、「どうすればもっと早くスケールアップできるか」といった会話をしているのですか？心配になりますか？
いいえ。
なるほど。
なぜなら、私は自分が必要なものを彼らに伝えたからです。彼らは私が必要としているものを理解しました。彼らは自分たちが何をしようとしているのかを私に伝え、私は彼らがやろうとしていることを信じています。
興味深いですね。それは素晴らしい。では、電力について少しだけ掘り下げてみましょう。エネルギー問題をどう解決するかについての希望は何ですか。
レックス、私がぜひ話したい、メッセージとして発信したい分野の1つは、私たちの送電網はマージンを持たせた最悪の状況を想定して設計されているということです。
しかし、99％の時間は最悪の状況には程遠いのです。なぜなら、最悪の状況というのは、冬の数日間、夏の数日間、そして極端な天候のときだからです。ほとんどの時間は最悪の状況には程遠く、おそらくピーク時の60％程度で稼働しています。
つまり、99％の時間は送電網に余剰電力があり、それはただアイドル状態（待機状態）で置かれているのです。しかし、いざというときに病院に電力を供給しなければならないし、インフラを動かさなければならないし、空港を稼働させなければならないので、アイドル状態でそこに存在していなければなりません。
そこで私が抱いている疑問は、社会インフラのために最大の電力が必要になったときに、データセンターへの電力供給を減らすような、そうした契約上の合意やコンピューターのアーキテクチャシステム、データセンターを設計することができないかということです。そもそもそんなことは非常に稀なケースです。
そしてその間、データセンターのその小さな部分にバックアップ発電機を用意するか、コンピューターのワークロードを別の場所に移すか、コンピューターの動作を遅くするかするのです。性能を落とし、消費電力を減らし、誰かが答えを求めたときの応答時間をわずかに長くすることができます。
だから、コンピューターの使い方、データセンターの構築方法として、100％の稼働率を期待するのではなく…
そして、こうした非常に厳格な契約が、送電網にプレッシャーを与えています。今、彼らは最大値からさらに増強しなければなりません。私は彼らの余剰電力を使いたいだけなのです。ただそこにあるのですから。
ええ、それについては十分に語られていませんね。では、何がそれを阻んでいるのでしょうか？規制ですか？官僚主義ですか？
3つの方向からの問題だと思います。まずエンドカスタマーから始まります。エンドカスタマーはデータセンターに対して、決して利用できなくなることがないような要件を課します。つまり、エンドカスタマーは完璧を期待しているのです。
さて、その完璧さを提供するためには、バックアップ発電機と送電網の電力供給業者の組み合わせで完璧を実現する必要があります。だから誰もがシックス・ナイン（99.9999%の稼働率）を求めます。まず第一に、顧客がこうしたことを求めるとき、データセンターの運用チームにはCEOと切り離された誰かがいることを全員が理解すべきだと思います。CEOはおそらくこれを知らないでしょう。
すべてのCEOと話をするつもりです。CEOたちはおそらく署名される契約に全く注意を払っておらず、そしてもちろん誰もが最良の契約に署名したいと考えています。彼らはクラウドサービスプロバイダーの元へ行き、契約を交わします。交渉している2人の担当者の姿が目に浮かびますよ。
この複数年契約を交渉しているんです。両者とも最良の契約を望んでいます。結果として、CSPは電力会社の元へ行き、シックス・ナインを期待します。だから第一に、すべての顧客、CEOや顧客が自分たちが何を求めているのかを確実に認識することです。
第二に、私たちは優雅に性能を落とす（graceful degradation）データセンターを構築しなければなりません。もし送電網が「聞いてくれ、電力を80％に落とさなければならない」と言ってきたら、私たちは「全く問題ない」と答えるのです。ワークロードを移動させるだけです。
データが失われないようにしつつ、計算速度を下げてエネルギー消費を減らすことができます。サービスの品質は少し落ちます。重要なワークロードについては、すぐに別の場所に移すので問題はありませんし、100％の稼働率を保っているデータセンターもあるわけですから…
データセンターでの動的な電力割り当てをスマートに行うというのは、エンジニアリングの問題としてどれくらい難しいのでしょうか？
仕様さえ決まれば、エンジニアリングは可能です。美しく言えばね。
それが物理学の法則や第一原理に従っている限り、大丈夫だということですね。
あなたが言っていた3つ目のことは何でしたか？ええと…
2つ目はデータセンターです。そして3つ目は、電力会社もこれがチャンスであることを認識する必要があるということです。
「送電網の能力を上げるには5年かかる」と言う代わりに、「もしこれくらいの保証レベルの電力を受け入れてくれるなら、来月からこの価格で提供できますよ」と。つまり、電力会社がもっと多様な電力供給のセグメントを提示すれば、皆がそれをどう使うかを考え出すと思います。
ええ、今の送電網には無駄が多すぎます。私たちはそれに取り組むべきです。
あなたは、イーロン・マスクとxAIがメンフィスにColossusスーパーコンピューターを建設した偉業を高く評価していますね。おそらくわずか4か月という記録的なスピードで。現在20万個のGPUを擁し、急速に成長しています。
その種の偉業を可能にした、エンジニアリングや建設の管理全体に対する彼のアプローチについて、データセンターの制作者全般にとって教訓となるようなことを話していただけますか？
まず第一に、イーロンは非常に多くのトピックに精通しています。
それでありながら、非常に優れたシステム思考の持ち主でもあります。彼は複数の分野にまたがって考えることができ、当然のことながら、物事を突き詰め、すべてを疑います。「第一に、それは必要なのか？第二に、この方法でやらなければならないのか？そして第三に、こんなに時間をかけなければならないのか？」と。
そして、すべてを疑う能力を持っています。必要なものを最小限にまで削ぎ落とし、これ以上何も削れないというところまで持っていきます。それでも、
製品の必要な機能は維持されるのです。彼は考え得る限り最もミニマリストであり、それをシステム規模で行います。私はまた、彼が現場に存在し、行動の場にいるという事実も大好きです。彼はただそこに行きます。
もし問題があれば、ただそこへ行き「問題を見せてくれ」と言います。これらすべてを組み合わせて行うと、「これが私たちのやり方だ」「彼らを待っているんだ」「あー」といった過去の多くの言い訳を乗り越えることができます。皆、多くの言い訳を持っています。そして最後に、個人的にそれほど切迫感を持って行動すると、他の皆も切迫感を持って行動するようになります。すべてのサプライヤーには多くの顧客がいます。
すべてのサプライヤーには多くのプロジェクトが進行中で、彼は自分のビジネスが他の誰のプロジェクトよりも最優先されるようにするのです。彼はそれを行動で示します。
ええ、私もそうした会議に何度か出たことがあります。見ていて本当に面白いです。なぜなら、「なるほど、じゃあこれをもっと早くできるか？どうやって？なぜこんなに時間がかかるんだ？」という質問をする人が十分にはいないからです。
ええ、その通りです。
そしてそれはしばしばエンジニアリングの質問になります。ええ、実際の真実にたどり着いたとき…覚えているのは、私が彼と一緒にいたとき、彼は文字通りラックにケーブルを接続する方法のプロセス全体を確認していました。彼はそのタスクを実行している現場のエンジニアと一緒に作業し、ミスを減らすためにそのプロセスがどのようなものか理解しようとしていたのです。そして、すべての個別のタスクから直感を築き上げていき、
データセンターを組み立てるプロセスの中で…どこに非効率があるのかを詳細なレベルから広範なシステムレベルで直感的に把握し始め、どんどん効率化していくことができるのです。それに加えて、「全く違う方法でやろう」と言える大きな力を持っています。
ええ、その通りです。
そして、考え得るすべての障壁を取り除くことができると。
その通りです。
イーロンがシステムエンジニアリングにアプローチする方法の中に、NVIDIAの極限のシステムコデザインのアプローチとの共通点は見られますか。
まず第一に、コデザインは究極のシステムエンジニアリングの問題です。だから私たちは、私たちが行っている仕事を第一にその観点からアプローチしています。もう一つ私たちがしていることは、これは哲学であり、思考、心の状態、あるいは手法と呼べるかもしれませんが、
私が30年前に始めたもので、「光の速度」と呼んでいます。光の速度は単なる速度のことではありません。光の速度というのは、物理学ができることの限界は何か、という私の略語です。だから、すべてのこと、私たちがすることはすべて、光の速度と比較されます。メモリ速度、
計算速度、電力、コスト、時間、労力、人員数、製造サイクルタイム。
レイテンシー（遅延）とスループット（処理能力）について考えるとき、コストとスループット、コストと容量について考えるとき、これらすべてのことにおいて、
別々の制約を達成するために、光の速度を基準にテストします。そして、それを一緒に考えたとき、妥協しなければならないことがわかります。なぜなら、極めて低いレイテンシーを達成するシステムと、非常に高いスループットを達成するシステムは、アーキテクチャが根本的に異なるからです。
しかし、高いスループットを達成するシステムの光の速度とは何か、低いレイテンシーを達成するシステムの光の速度とは何かを知りたいのです。そしてシステム全体について考えるとき、トレードオフを行うことができます。だから私は全員に、第一原理とは何か、
物理的な限界とは何かを考えさせます。私たちが何かを行う前に、すべてのことについて。そして、すべてをそれに対してテストします。これは良い心構えです。私は他の手法、つまり継続的改善は好きではありません。継続的改善の問題点は…まず第一に、第一原理から光の速度の思考で何かをエンジニアリングすべきです。
物理的限界、物理学の限界のみによって制限された状態で。もちろん、その後は時間をかけて改善していくでしょう。でも、問題に直面したときに誰かが「ねえ、今はこれに74日かかっているんだ。
今はね。でも、72日でできるようになるよ」と言うのは好きではありません。それよりも、すべてをゼロに戻して…
「第一に、なぜ最初から74日もかかっているのか説明してくれ。そして、今日何が可能なのか考えよう。もし私が完全にゼロからこれを構築するとしたら、どれくらいかかるのか？」と。驚くことも多いでしょう。6日になるかもしれません。残りの6日間、74日というのは、非常によく考えられた妥協やコスト削減、様々な要因によるものかもしれませんが、少なくともそれが何であるかは分かります。
そして、6日間が可能だと分かれば、74日から6にするという会話は驚くほど効果的になります。
そのような信じられないほど複雑なシステムを扱っている中で、「シンプルさ」は目指すべき良いヒューリスティック（経験則）になることがありますか。つまり…あなたが発表したVera Rubinのポッドは本当に驚異的です。
7つのチップ、7種類のチップタイプ、5つの専用ラックタイプ、40台のラック、1.2京個のトランジスタ、約2万個のNVIDIAダイ、1,100個以上のRubin GPU、60エクサフロップス、1秒あたり10ペタバイトのスケール帯域幅。それがたった1つの…
それがたった1つのポッドです。
それがたった1つのポッドなんですよね。
ええ、たった1つのポッドです。
つまり…だから…NVL 72のラックだけでも130万個のコンポーネント、1,300個のチップがあり、幅19インチのラック1つに4,000個のポッドが詰め込まれている。
そしてレックス、私たちは週に200個のポッドを生産しなければならないでしょう。規模感を伝えるためですが。
これほど多くの異なるコンポーネントがある中で、シンプルさは不可能だとは思いますが、それは物事を設計する際に目指す指標になるのでしょうか。
私が最もよく使うフレーズは、「必要なだけ複雑で、可能な限りシンプルであるべきだ」というものです。
だから問題は、そのすべての複雑さが必要なのかということです。私たちはそれをテストすべきですし、挑戦すべきです。そしてその後、それを超えるものはすべて無意味です。
それでも信じられないほどです。半導体業界全般にも言えますが、NVIDIAがやっていることは歴史上最も偉大なエンジニアリングの1つです。
これらのシステムは本当に、本当にエンジニアリングの驚異ですね。
それは世界がこれまでに作った中で最も複雑なコンピューターです。
ええ、エンジニアリングチームは…
競争ではありませんが、もしエンジニアリングチームのオリンピックがあったとしたら、TSMCは信じられないようなエンジニアリングを行いますし、ASMLもあらゆるスケールでそうですが、NVIDIAは彼らに引けを取らないでしょう。
本当に信じられないチームです。
まあ、あらゆるスポーツの金メダリストたちが全員ここに集まっているようなものです。
しかも一緒に働かなければならない。そしてあなたに直接報告する。これは素晴らしいですね。あなたは最近中国を訪れましたね。
中国がテクノロジー部門を構築する上で信じられないほど成功していることについてお聞きするのは興味深いです。過去10年間、中国がこれほど多くの素晴らしい世界クラスの企業やエンジニアリングチーム、そしてテクノロジーエコシステムを構築し、多くの素晴らしい製品を生み出すことができたのはなぜだと理解していますか。
さまざまな理由がありますが、まず事実から始めましょう。世界のAI研究者のプラスマイナス50％は中国人で、彼らの多くはまだ中国にいます。アメリカにも多くいますが、中国には依然として素晴らしい研究者がいます。
彼らのテクノロジー産業はまさに適切なタイミングで登場しました。モバイルクラウド時代の技術貢献の方法はソフトウェアだったので、この国の素晴らしい科学と数学が活きました。本当によく教育された子供たちです。彼らのテクノロジー産業はソフトウェアの時代に作られました。彼らは現代のソフトウェアに非常に慣れています。
中国は1つの巨大な経済国家ではありません。多くの省や都市があり、市長たちが互いに競争しています。だからこそ多くのEV企業が存在するのです。だからこそ多くのAI企業が存在し、想像し得るあらゆる企業がそれぞれで作られているのです。
その結果、彼らは内部で狂気のような競争を繰り広げています。そして残ったものが素晴らしい企業になるのです。彼らにはまた、家族が第一、友人が第二、会社が第三という社会文化があります。だから、会社間で行き交う会話の量は…彼らは本質的に常にオープンソースのようなものです。
だから彼らがオープンソースに多く貢献するのは理にかなっています。なぜなら彼らはおそらく「何を守る必要がある？」と思っているからです。私のエンジニアたちの兄弟はあの会社にいて、友人たちはあの会社にいて、皆同じ学校の出身だ、と。学友という概念です。学友であれば、一生の兄弟です。
だから彼らは知識を非常に早く共有します。テクノロジーを隠しておく意味がないのです。それならオープンソースにしてしまった方がいい。そしてオープンソースコミュニティがイノベーションのプロセスを増幅し、加速させます。だから、この急速で信じられないほど優秀な才能、オープンソースによる急速なイノベーション、そして友人同士の性質や狂気のような競争が生まれるのです。
企業の間で、素晴らしいものが現れます。今日、ここは世界で最も速くイノベーションを起こしている国であり、私が今言ったすべてのことは、子供たちがどのように育てられたか、彼らが素晴らしい教育を受けていること、親が彼らに学校で良い成績を収めてほしいと願っていること、そして彼らの文化がそうであることなど、国の基盤に関わっています。
これらはこの国についての事実であり、彼らはテクノロジーが指数関数的に成長するまさにその時期に現れたのです。
さらに文化的に、エンジニアになることがクールだということもありますね。あなたが言及したすべての要素に繋がりますが…
ビルダー（作る人）の国です。
ビルダーの国ですね。
ええ、ビルダーの国です。
私たちの国のリーダーたちは素晴らしいですが、ほとんどが弁護士です。彼らの国のリーダーたちは、彼らは私たちを安全に保とうとし、法の支配や統治を行っていますが、彼らの国は貧困から抜け出して作られました。だから彼らのリーダーの多くは素晴らしいエンジニアであり、最も優秀な頭脳の持ち主です。
中国の急速な技術発展とオープンソースの重要性
少し話題が変わりますが、オープンソースについて言及されたので、あなたが長年のファンであるPerplexityについて触れなければなりません。
大好きですよ。
そして、Perplexity内で調べ物をするのにも使える、オープンソースのNemotron 3 Superをリリースしてくれてありがとうございます。1200億パラメータのオープンウェイトMoEモデルですね。オープンソースについてのあなたのビジョンは何ですか。DeepSeekやMiniMaxといった企業を持つ中国がオープンソースAIムーブメントを本当に推し進めていると言及されましたが、NVIDIAはほぼ最先端のオープンソースLLMで本当にリードしています。
そこでのあなたのビジョンは何でしょうか。
第一に、私たちが偉大なAIコンピューティング企業になろうとするなら、AIモデルがどのように進化しているかを理解しなければなりません。Nemotron 3について私が気に入っていることの1つは、純粋なTransformerモデルではなく、TransformerとSSMの組み合わせであることです。私たちは、最終的に拡散モデル（Diffusion）へと一歩一歩繋がったプログレッシブGANや条件的GANの開発において初期から関わっていました。
ですから、私たちがモデルアーキテクチャやさまざまな領域で基礎研究を行っているという事実は、将来のモデルにどのようなコンピューティングシステムが適しているかについての見通しを与えてくれます。ですから、これは私たちの極限のコデザイン戦略の一部なのです。第二に、
私たちは、世界クラスのモデルを製品として持ちたいし、それはプロプライエタリ（独自技術）であるべきだと正しく認識しています。その一方で、AIがあらゆる業界、あらゆる国、あらゆる研究者、あらゆる学生に普及していくことも望んでいます。すべてがプロプライエタリであれば、研究を行うことも、その上に、その周りで、それを使ってイノベーションを起こすことも難しくなります。
だから…オープンソースは多くの産業がAI革命に参加するために根本的に必要なのです。NVIDIAには規模があり、スキルや規模だけでなく、私たちが生きている限りこれらのAIモデルを構築し続ける動機があります。だから私たちはそれをすべきなのです。私たちはすべての人を解放し、あらゆる業界、あらゆる研究者、あらゆる国がAI革命に参加できるよう活性化させることができます。
3つ目の理由があります。そこから、AIは言語だけではないという認識に至ることです。これらのAIは、他のモダリティの情報で訓練されたツールやモデル、サブエージェントを使用するようになるでしょう。それは生物学や化学、物理法則、流体力学や熱力学かもしれません。そしてそのすべてが言語構造になっているわけではありません。
だから誰かが、天気予報や生物学のためのAI、物理AIなどのすべてが限界まで押し上げられ、フロンティアへと進んでいくことを確認しなければなりません。私たちは自動車を作りませんが、すべての自動車会社が優れたモデルにアクセスできるようにしたいと考えています。私たちは薬を発見しませんが、イーライリリーが世界最高の生物学AIシステムを持ち、それを薬の発見に使えるようにしたいのです。
ですから、これら3つの根本的な理由、つまりAIは言語だけではなく非常に幅広いものであるという認識、すべての人をAIの世界に参加させたいという思い、そしてAIのコデザインという理由からです。
Nemotron 3を本当に真の意味でオープンソース化してくれたことに、改めて感謝します。
ええ、そう言ってくれて感謝します。モデル、ウェイト、データ、そしてその作成方法までオープンソース化しました。ええ、かなり素晴らしいことです。
ええ、本当に素晴らしいです。あなたはもともと台湾の出身で、TSMCと親密な関係にありますね。TSMCもまた、エンジニアリングチームや彼らが行う信じられないほどのエンジニアリング作業の点で伝説的な企業だと思います。
半導体に関わるすべてのことにおいて、彼らが比類なき成功を収めることができている理由として、TSMCの文化やアプローチについてどのように理解していますか。
TSMCとの絶対的な信頼関係とNVIDIA最大の強み
まず第一に、TSMCに関する最も深い誤解は、彼らが持っているのは技術だけだというものです。
どういうわけか彼らは本当に優れたトランジスタを持っていて、誰かが別のトランジスタを持って現れればゲームオーバーになる、というような。彼らの技術、もちろんトランジスタだけでなく、メタライゼーションシステム、パッケージング、3Dパッケージング、シリコンフォトニクスなど、彼らが持っているすべての技術のことです。
その技術こそがこの会社を特別なものにしています。技術が会社を特別なものにしているのです。しかし、世界中の何百もの企業の動的な需要をオーケストレーションする能力、それが上昇したり、シフトしたり、増減したり、延期されたり、前倒しされたり、顧客から顧客へ変更されたりする中で、
ウェハの製造開始、停止、緊急のウェハ製造開始など、世界が常に形を変える中での世界の複雑な力学に対して、どういうわけか彼らは高いスループット、高い歩留まり、素晴らしいコスト、そして優れたカスタマーサービスを備えた工場を運営しているのです。彼らは自分たちの仕事を、約束を真剣に受け止めています。彼らはあなたが会社を運営するのを助けていると知っているので、
約束したウェハは時間通りに届きます。だからあなたは適切に会社を運営できるのです。彼らのシステム、彼らの製造システムは完全に奇跡的だと私は言いたいです。2つ目は彼らの文化です。この文化は同時に、
一方で技術に焦点を当て技術を進歩させ、もう一方で同時にカスタマーサービス指向でもあります。カスタマーサービス指向の企業は多くありますが、技術的に優れているわけではありません。彼らは技術の最先端にはいません。技術の最先端にいる企業も多くありますが、彼らは最高のカスタマーサービス指向の企業ではありません。
どういうわけか彼らはこの2つをバランスよく保ち、その両方で世界クラスなのです。そしておそらく3つ目は、私が彼らの中で最も評価している技術、彼らが作り出した「信頼」と呼ばれる無形のものです。私は自分の会社を彼らの上に置くことを信頼しています。
それは非常に大きなことです。
彼らが信頼するとき、そこには長年のパフォーマンスに基づいて確立された非常に緊密な関係がありますが、同時に人間関係も関わっていますよね。
30年間です。彼らを通じて何百億、何千億ドルのビジネスをしてきたか分かりませんが、私たちは契約書を交わしていません。
それは素晴らしいですね。
驚きです。さて、こんな話があります…2013年に、TSMCの創業者であるモリス・チャンからTSMCのCEOになる機会をオファーされ、
あなたは「もう仕事がある」と言って断ったというものです。この話は本当ですか。
話は本当です。私はそれをただ退けたわけではありません。
私は深く光栄に思いましたし、もちろん私は、今もそうですが当時も、TSMCが歴史上最も重要な企業の1つであることを知っていました。そしてモリスは最も高く評価されているエグゼクティブの1人であり、私の人生においてビジネスでも個人的にも友人です。
彼から頼まれたことは…私は身の引き締まる思いでしたし、本当に光栄でした。しかし、私がここでしている仕事は本当に重要であり、NVIDIAがどうなるか、私たちがどのようなインパクトを与えられるかということを心の中で思い描いていました。
そしてそれは本当に重要な仕事であり、これを実現することが私の責任、私の唯一の責任なのです。だから私は辞退しました。
それが素晴らしいオファーではなかったからではありません。信じられないようなオファーでしたが、私は単にそれを受けることができなかったのです。
NVIDIAとTSMCは共に、人類文明の歴史上最も偉大な2つの企業だと思います。
どちらかを経営することは信じられないほど複雑な努力であり、CEOレベルだけでなく、あらゆる規模の全員が本当に全力を尽くさなければならないと思います。
ええ。ええ、間違いありません。
このような複雑さを達成するためには。
だから今、私は両方の会社を助けることができます。
その通りですね。今やNVIDIAは世界で最も価値のある企業になりました。
そこでお聞きしたいのですが、IT業界の人々が言うように、NVIDIAの最大の「堀（モート：競争優位性）」は何でしょうか？競争からあなたを守っている強みは何ですか。
企業としての私たちの最も重要な財産は、コンピューティングプラットフォームのインストールベースです。今日の私たちにとって最も重要なものは、CUDAのインストールベースなのです。
20年前にはもちろんインストールベースはありませんでした。しかし…もし誰かがGUDAやTUDAのようなものを思いついたとしても、何の違いももたらさないでしょう。なぜなら、それは決して技術だけのことではなかったからです。技術はもちろん信じられないほど先見の明がありました。
しかし、会社がそれに専念し、それに固執し、そのリーチを拡大したという事実です。CUDAを成功させたのは3人ではありません。CUDAを成功させたのは4万3000人の人々です。そして、私たちを信じてくれた数百万の開発者たちです。私たちがCUDAの1、2、3、13を作り続けると信頼し、彼らのソフトウェアを、彼らのソフトウェアの山をその上に移植し、捧げることを決めた人たちです。
ですから、インストールベースが最も重要な強みです。そのインストールベースが、私たちが話しているような規模での実行のスピードによって増幅されるとき、これほどの複雑さを持つシステムを構築した企業は歴史上存在しません。そしてそれを年に1回構築するというのは不可能です。そのスピードとインストールベースが組み合わさって、開発者の頭の中では…今、開発者の視点に立ってみてください。
開発者の視点から見れば、もし私がCUDAをサポートすれば、明日は10倍良くなる。平均して6か月待つだけでいいのです。それだけでなく、CUDAで開発すれば、数億人の人々、コンピューターに届く。あらゆるクラウドに、あらゆるコンピューター企業に、あらゆる産業に、あらゆる国に届くのです。
だから、オープンソースのパッケージを作ってまずCUDAに乗せれば、これら両方の属性を同時に得ることができるのです。さらに、NVIDIAがCUDAを存続させ、維持し、改善し、ライブラリの最適化を私たちが生きている限り続けてくれると100％信頼しています。これは確実なことです。そしてこの最後の部分、信頼です。
これらすべてを合わせれば、もし私が今日開発者だとしたら、まずCUDAをターゲットにするでしょう。最もCUDAをターゲットにします。それが最終的な分析において、私たちの最初の、核となる優位性だと私が考える理由です。2つ目は私たちのエコシステムです。私たちがこの信じられないほど複雑なシステムを垂直統合し、それをあらゆる企業のコンピューターに水平統合しているという事実です。
私たちはGoogle Cloudに入り、Amazonに入り、Azureに入っています。今AWSを猛烈に立ち上げています。CoreWeaveやNscaleのような新しい企業にも入っています。イーライリリーのスーパーコンピューターにも入っています。エンタープライズコンピューターにも入っています。基地局のエッジにも入っています。もう狂っていますよ。
1つのアーキテクチャがこれらすべての異なるシステムに入っているのです。車にも、ロボットにも、人工衛星にも入り、宇宙にも出ています。1つのアーキテクチャが存在し、エコシステムが非常に広範であるという事実が、基本的に世界のあらゆる産業をカバーしているのです。
トークンファクトリーとしてのAIと無限の経済成長
CUDAのインストールベースは、モート（堀）として将来AIファクトリーへとどのように進化していくのでしょうか。将来のNVIDIAはAIファクトリーのすべてになる可能性があると思いますか。
そうですね、私たちにとってコンピューティングの単位はかつてGPUでした。その後コンピューターになり、クラスターになり、今ではAIファクトリー全体になりました。コンピューターを見るとき、NVIDIAが作るものを見るとき、昔はチップを思い浮かべていました。そして新しい世代の製品を発表するとき、「皆さん、本日Ampereを発表します」と言ってチップを持ち上げていました。それが私のメンタルモデルでした。
自分が何を作っているかについての。今日では…チップを持ち上げるのはまだ愛らしいことですが、それは愛らしいだけです。それは私がやっていることのメンタルモデルではありません。私のメンタルモデルは、送電網に接続された発電設備を持つこの巨大なギガワットの物体です。冷却システムがあり、信じられないほどの巨大なネットワークがあります。
1万人の人々がそれを設置しようとしており、何百人ものネットワークエンジニアがそこにいて、何千人ものエンジニアが背後でそれに電力を供給しようとしています。ご存知のように、それらの工場の1つに電力を供給するのは、誰かが「スイッチオン」と言うようなものではありません。それを立ち上げるには何千人もの人が必要なのです。
つまり、頭の中では…あなたが単一の計算単位について考えるとき、夜寝るときには、個々のチップではなく、ラックの集合体、つまりポッドについて考えているのですね。
インフラ全体についてです。そして次のステップとしては、コンピューターを構築することを考えるとき、それが惑星規模になることを願っています。それが次のステップになるでしょう。
イーロンが話している宇宙からのアプローチ、宇宙でコンピューティングを行い、エネルギーの拡張に関する問題を解決するという考えについてどう思いますか。
冷却の問題は簡単ではありませんよ。ええ。
冷却ですか。それには多くの複雑なエンジニアリングが関わってきます。NVIDIAもすでにそのことを考えていると発表していますね。
ええ、すでにやっています。NVIDIAのGPUは宇宙に初めて行ったGPUです。そして私は気づきませんでしたが、とても面白いので…多分発表すると思います。私たちは宇宙にいます。私たちのGPUの1つに小さな宇宙服を着せてね。でも私たちは宇宙にいるんです。多くの画像処理を行うのに適した場所です。
なぜなら、それらの衛星は非常に高解像度の画像システムを持っていて、今や地球を継続的にスキャンしているからです。そして、地球を継続的にセンチメートル単位の画像で捉えたいのです。そうすれば基本的にすべてのリアルタイムのテレメトリー（遠隔測定）データが得られます。そのデータをすべて地球に送り返したくはありません。それは何ペタバイトものデータですから。
エッジでAI処理を行い、不要なもの、見たことがあるもの、変わっていないものはすべて捨てて、必要なものだけを保持しなければなりません。だからAIはエッジで行う必要があったのです。明らかに、極地に置けば24時間365日の太陽エネルギーがあります。
しかし、伝導も対流もありません。だから基本的には放射冷却しかありません。でも、宇宙は広いですからね。巨大なラジエーターをそこに置くことになるでしょう。
それはどれくらい突拍子もないアイデアだと思いますか。5年後ですか、10年後ですか、20年後ですか？AIスケーリングの障壁について話しているわけですが。
私はもっと現実的です。まずは、次のチャンスのバケツがどこにあるかを探します。その一方で、宇宙を開拓しています。だからエンジニアを派遣してその問題に取り組ませているのです。私たちは…多くのことを学び始めています。
放射線にどう対処するか？性能劣化にどう対処するか？継続的な欠陥のテストと証明にどう対処するか？冗長性にどう対処するか？そしてどうやって優雅に性能を落とすか？などです。ソフトウェアについてはどうでしょう。宇宙でのソフトウェア、冗長性、性能についてどう考えますか。コンピューターが決して壊れず、ただ遅くなるだけのようにする。
私たちは事前に多くのエンジニアリングの探求を始めることができます。しかしその一方で、私のお気に入りの答えは無駄をなくすことです。アイドル状態の電力がたくさんあるので、それをできるだけ早く逃したいのです。
ええ。AIスケーリングに活用できる、手の届きやすい低空の果実（容易な解決策）が地球上にはたくさんありますね。
短いポーズです。スポンサーへの30秒間の感謝をさせてください。概要欄をチェックしてください。これがこのポッドキャストをサポートする最良の方法です。lexfridman.com/sponsors にアクセスしてください。好奇心駆動の知識探求のためのPerplexity、オンラインで物を売るためのShopify、電解質のためのLMNT、カスタマーサービスAIエージェントのFin、ビジネスのための通話、テキスト、連絡先などの電話システムを提供するQuoがあります。賢く選んでくださいね。
それでは、ジェンスン・フアンとの対話に戻りましょう。
NVIDIAがいつか10兆ドルの価値を持つようになると思いますか。こういう聞き方をしましょう。それが現実となる未来の世界はどのようなものでしょうか。
NVIDIAの成長は極めて可能性が高く、私の心の中では避けられないものだと考えています。
なぜそうなのか説明させてください。私たちは歴史上最大のコンピューター会社です。それだけでも、「なぜ？」という疑問が湧くはずです。もちろんその理由は…2つの理由があります。まず、2つの基礎的な技術的理由です。1つ目の理由は、コンピューティングがファイル検索ベースのシステムから変化したことです。
ほとんどすべてのものがファイルです…私たちは事前に何かを書き、事前に何かを記録します。何かを描き、ウェブに置き、ファイルに入れます。そしてレコメンダーシステム、つまり賢いフィルターを使って、あなたのために何を検索するかを決定します。つまり、私たちは人間が事前に記録したファイル検索システムだったのです。コンピューターとは主にそういうものでした。それが今では、AIコンピューターは文脈を認識しており、リアルタイムでトークンを処理し生成しなければなりません。
つまり、私たちは検索ベースのコンピューティングシステムから、生成ベースのコンピューティングシステムへと移行したのです。この新しい世界では、古い世界よりもはるかに多くの処理が必要になります。古い世界では多くのストレージが必要でした。この新しい世界では多くの計算が必要です。それが第一の部分です。
私たちはコンピューティングを根本的に変え、コンピューティングのやり方を変えました。元に戻るようなことが起きるとすれば……文脈に関連し、状況を認識し、情報を生成する前に新しい洞察に基づいているような、この計算集約的なコンピューティングのやり方が、効果的でない場合だけです。
ディープラーニングに取り組んできたこの10年、15年の間、私がもし「これはうまくいかないだろう。これは行き止まりだ」とか「これはスケールしない、このモダリティは解決しない、このアプリケーションでは使われない」という結論に達していた瞬間があったとしたら、
もちろん私は全く違った感じ方をしたでしょう。しかし、過去5年間は、それ以前の10年間よりも多くの自信を私に与えてくれました。2つ目のアイデアは、コンピューターは記憶システムだったので、主に倉庫だったということです。今、私たちは工場を建てています。倉庫はあまりお金を生み出しません。工場は会社の収益に直接相関します。
そして、コンピューターは2つのことをしました。やり方を変えただけでなく、世界におけるその目的が変わったのです。それはもはやコンピューターではなく、工場です。工場であり、収益を生み出すために使われます。私たちは今、この工場が製品、つまり人々が消費したいコモディティを生み出しているだけでなく、そのコモディティが非常に面白く、価値があり、非常に多くの異なる聴衆にとって価値があるため、iPhoneのようにトークンがセグメント化し始めているのを目の当たりにしています。
無料のトークンがあり、プレミアムなトークンがあり、その中間にいくつかトークンがあります。そうですね。そして知能は、結果的にスケーラブルな製品なのです。非常に高い知能の製品、専門的な用途に使われるトークンがあり、人々は喜んでお金を払うでしょう。
誰かが100万トークンあたり1000ドルを喜んで支払うというアイデアは、すぐそこまで来ています。「もし」ではなく「いつ」の問題です。つまり、私たちは今、この工場が作るコモディティが実際に価値があり、収益を生み、利益を生むものであることを見ています。さて、問題は、世界にはこの工場がいくつ必要なのかということです。世界にはいくつのトークンが必要なのか。
社会はこれらのトークンにいくら支払う意志があるのか。もし生産性がそれほど大幅に向上したら、世界経済はどうなるのか。私たちは新しい薬や新製品、新しいサービスを発見するのだろうか。これらを組み合わせて考えたとき、私は世界のGDPの成長が加速すると完全に確信しています。
そして、そのGDPのうち計算に使われる割合が、過去の100倍になることも完全に確信しています。なぜなら、それはもはや記憶ユニットではないからです。製品生成ユニットなのです。
それをその文脈で見て、NVIDIAが何をしているのか、そして私たちがその新しい経済、新しい産業の恩恵をどれだけ享受しなければならないかを逆算すると、私たちははるかに大きくなると思います。そして残りの部分は、私にとって、NVIDIAが近い将来に3兆ドルの収益を上げる企業になる可能性があるかということです。答えはもちろんイエスです。
なぜなら、それは物理的な限界によって制限されていないからです。3兆ドルは不可能だと言えるようなものは何も見当たりません。結果として、NVIDIAのサプライチェーンの負担は200の企業で共有されています。私たちがこのエコシステムとのパートナーシップに背を乗せてスケールアウトするという事実から、問題はそれを行うエネルギーがあるかということです。そして確実に、私たちはそれを行うエネルギーを持つでしょう。
これらすべてのことを合わせると、その数字はただの数字に過ぎないのです。NVIDIAが初めて10億ドルを超えたとき、あるCEOが私に「ジェンスン、ファブレス半導体企業が10億ドルを超えるのは理論的に不可能だ」と言ったのを今でも覚えています。その理由は退屈なので省きますが、もちろんそれは非論理的であり、私たちがそうではないという証拠がたくさんあります。
その後、誰かが私に「ジェンスン、君は決して250億ドルを超えることはないだろう、なぜなら別の会社が…」と言いました。そう、それらは第一原理思考ではないのです。それについて考える簡単な方法は、私たちが何を作っていて、私たちが作り出せる機会がどれだけ大きいかということです。NVIDIAは市場シェアを奪い合うビジネスをしているわけではありません。
私が今話したことのほとんどはまだ存在していません。そこが難しいところです。もしNVIDIAが100億ドルの会社で市場シェアを奪おうとしているなら、株主にとっても「ああ、10％のシェアを取ればこれだけ大きくなれる」と簡単に分かります。しかし、私たちがどれだけ大きくなれるか想像するのは難しいのです。なぜなら、シェアを奪う相手がいないからです。
だから、世界の課題の1つは、未来を想像することだと思います。でも私には十分な時間がありますし、推論し続け、話し続けるつもりです。そしてGTCのたびに、それはますます現実味を帯びてくるでしょう。より多くの人がそれについて語るようになり、いつの日か、そこにたどり着くでしょう。私は100％到達すると信じています。
ええ、このトークンファクトリーという見方、1ワットあたりの1秒間のトークン数、そしてすべてのトークンが価値を持つという考え方。トークンが実際に価値をもたらし、価値を持つ様々な人々に異なる種類の価値、異なる量の価値をもたらす。実際の製品はトークンだと大まかに考えることができる。だから、トークンファクトリーがたくさんある。
そして、AIが解決できるすべての潜在的な事柄を考慮すれば、指数関数的に多くのトークンファクトリーが必要になる未来を第一原理から想像するのは非常に簡単ですね。
そして本当に興味深いのは、私がそれほど興奮した理由は、トークンのiPhoneが登場したからです。
なんと呼んでいますか？待ってください、OpenClawがiPhoneだと言っているのですか？それは興味深い。
エージェントです。
ええ、エージェント。確かに。
一般的にエージェントです。トークンのiPhoneが登場したのです。それは歴史上最も急速に成長しているアプリケーションです。一直線に上昇しました。一直線に。
それは何かを物語っていますね。
ええ、OpenClawがトークンのiPhoneであることに疑いの余地はありません。
12月頃から何か本当に特別なことが起こっていて、人々がClaude CodeやCodex、OpenClawの力に本当に気づき始めたということですね。
ここに来る途中の空港で、恥ずかしながら白状しますが…公の場でこれをしたのは初めてでした。私は自分のノートパソコンに話しかけて、いわゆるプログラミングをしていました。人間の同僚に話しかけているようなふりをしていたので恥ずかしかったですが。誰もが自分のAIに話しかけながら歩いている未来についてどう感じるかはわかりませんが、物事を成し遂げるには信じられないほど効率的な方法です。
そしておそらく、あなたのAIが常にあなたに話しかけてくるようになるでしょう。なぜなら、AIは仕事をあっという間に終わらせ、「終わりました。次は何をしましょうか？」と報告してくるからです。私が思うに、
ほとんどの人が気づいていないのは、彼らが最もよくおしゃべりしたりテキストメッセージを送ったりする相手は、彼らのClawやロブスターになるだろうということです。
なんて素晴らしい未来でしょう。
あなたは自身の成功の多くを、誰よりも一生懸命働き、誰よりも苦しみに耐える能力にあると考えていると読みました。そこには多くのことが含まれると思います。失敗への対処、コストやエンジニアリングの問題についてはすでに話しましたね。
人間関係の問題、不確実性、責任、疲労、恥、会社が死にかけた瞬間など。しかしプレッシャーもあります。今や、経済や国家がAIインフラの計画や財務の割り当てを戦略的に依存しているこの企業のCEOとして、これほどのプレッシャーにどう対処しているのですか。多くの国や人々があなたに依存している中で、何があなたに力を与えているのでしょうか。
私は、NVIDIAの成功がアメリカ合衆国にとって非常に重要であるという事実を意識しています。
私たちは莫大な税収を生み出しています。私たちは自国のテクノロジーリーダーシップを確立しました。テクノロジーリーダーシップは国家安全保障にとって重要です。国家安全保障の1つの側面だけでなく、あらゆる側面において。私たちの国がより豊かになれば、国内政策や社会福祉をより良くすることができます。
私たちがアメリカの再工業化をこれほど生み出しているため、山の雇用を創出しています。私たちは、さまざまな工場、チップ、コンピューター、そしてもちろんこれらのAIファクトリーをアメリカに持ち帰り、製造する方法を転換する手助けをしています。私は完全に認識しています。
そして私には、これが本当の贈り物なのですが、一般の投資家、教師、警察官など、何らかの理由でNVIDIAに投資した人々や、ジム・クレイマーを見て株を買い、今ではミリオネアになった人々がいるという恩恵があります。私はその状況を完全に認識しています。NVIDIAが、私たちの背後や川下にいるエコシステムパートナーの非常に大きなネットワークの中心であるという状況も認識しています。
だから、私への対処法はまさに先ほどお話しした通りです。私は、私たちがやっていることは何なのか？それが何を引き起こしているのか？それが他の人々に、肯定的にせよ、あるいはサプライチェーンへの大きな負担のように否定的にせよ、どのような影響を与えているのか？を理屈で考えます。そして問題は、それに対して何をしようとしているのか？ということです。私が感じるほぼすべてのことについて、それを分解し、理屈で考えます。「よし、
状況はどうなっている？何が変わった？何が難しい？そしてそれに対して自分はどうするつもりだ？」と。問題を分解し、これらの状況を分解することで、自分が実行可能な管理しやすいものに変えるのです。その後で私にできる唯一のことは、「それをやったか？自分でやったか、誰かにやらせたか？もしやっていなくて、やらなければならないと理屈で分かっていたのに、やらなかったし誰もやらせなかったのなら、
それについて泣き言を言うのはやめろ」ということです。わかりますか？だから…
だから私は自分に対してかなり厳しいです。でも同時に、パニックにならないように物事を分解します。やらなければならないことのリストを作り、会社を危険に晒す可能性のあること、パートナーを危険に晒す可能性のあること、業界を危険に晒す可能性のあることすべてについて、誰かに伝えたことを確認したからこそ、眠りにつくことができるのです。
誰かを危険に晒す可能性があると感じたことはすべて、誰かに伝えてきました。そして、それについて何かできる誰かに伝えたのです。だから私は胸のつかえを下ろしたか、あるいはそれについて何か行動しているのです。だからその後は、レックス、他に何ができるというのですか。
NVIDIAを構築する旅の中で、それほどの狂気じみた激しい苦しみを経験してきた中で、心理的にどん底に落ちたことはありますか。
ああ、もちろん。もちろんありますよ。しょっちゅうです。しょっちゅうです。
そこで—
しょっちゅうですよ。
…ただ問題を部品に分解するのですか？
ええ。ええ。
自分に何ができるかを見る？
ええ、そして、その一部は、レックス、その一部は「忘れる」ことです。AIの学習における最も重要な属性の1つは、ご存知の通り、体系的な忘却ですよね。
何を忘れるべきかを知る必要があります。すべてを記憶することはできません。すべてを保持することはできず、すべてを背負うことはしたくないはずです。私が非常に素早く行うことの1つは、問題を分解し、理屈で考え、その負担を分かち合うことです。全員に伝えると言うのは、本質的にその負担を共有しているということです。できるだけ早く。
何が心配でも、他の誰かに伝えます。ただ持ち続けないでください。彼らをパニックにさせないで。問題を小さな部分に分解し、人々が何か行動を起こせるようにインスパイアするのです。でも、その一部はただ忘れることです。自分に厳しくならなければならない部分が大きいです。
「おいおい、泣き言を言うのはやめろ。さあ行こう」と。そしてベッドから出ます。もう1つの部分は、次の輝く光、次の未来、次の機会に惹きつけられることです。「よし、あれはもう過去のことだ。次は何だ？」というように。偉大なアスリートを見ているとよくわかります。
彼らはただ次のポイントのことだけを心配しています。最後のポイントはもう過去のことなのです。恥、挫折。そして、私は自分の仕事の多くを公の場で行っているからです。レックス、あなたも自分の仕事の多くを公の場で行っていますよね。
だから私は多くの仕事を公に行っています。
だから、その時には理にかなっているように思えたり、面白く思えたりすることをたくさん言います。ほとんどの場合、その時に私にとって面白いからですが。後で振り返ると、それほど面白くないこともありますが…
ええ、私もよくわかります。でもあなたは基本的に、未来の光に引っ張られることを自分に許しているんですね。過去を忘れて、ただ…
その通りです。
…それに向かって働き続ける。あなたはかつて、NVIDIAを作ることがどれほど難しいか、つまり予想の100万倍も難しいとわかっていたら、やらなかっただろうと有名な発言をされましたね。
ええ、そうです。
でも、それって…私がそれを聞くと、やる価値のあることすべてに当てはまる真実ですよね？
その通りです。私が説明したかったのは、子供のような心を持つことには信じられないような超能力があるということです。私は何かを見たとき、ほとんどすべてのことについて、「どれくらい難しいだろうか？」と最初に考えます。だから自分自身をそのモードに入れるのです。どれくらい難しいだろうか？
誰もやったことがない。巨大に見える。何千億ドルもかかるだろう。こんなに時間がかかるだろう。それでもただ「でも、どれくらい難しいだろうか？」と思うのです。その精神状態に自分を持っていかなければなりません。すべての挫折や苦難、失望を事前に行き過ぎるほどシミュレーションしたくはないはずです。それを事前にすべてシミュレーションしたくはないのです。それは知りたくない。
新しい経験に入っていくときは、それが完璧で、素晴らしく、信じられないほど楽しいものになると信じて入っていきたいのです。そしてそこにいる間は、忍耐力とグリット（やり抜く力）を持つ必要があります。そうすれば、実際に挫折が起こったとき、そしてその挫折や失望はあなたを驚かせ、恥や屈辱があなたを驚かせたときでも、
ただ…別のスイッチを入れればいいんです。それはただ忘れることです。前に進み、動き続ける。未来についての私の仮定と、なぜ未来が具現化されるのかという理由、その仮定と入力情報が実質的に変わっていない限り、出力も変わらないと期待すべきです。
だから、私がシミュレーションした未来の出力は依然として起こるのです。もしそれが依然として起こるなら、私はまだそれを追い求めます。私はそれが起こると信じています。だから、新鮮な心で経験に入っていく能力、挫折を忘れる能力、自分自身を信じる能力、自分が信じるものを信じ、その信念に忠実であり続ける能力、これら2つか3つの人間の特性の組み合わせがあります。
しかし、常に再評価しています。この3つ、4つ、5つの組み合わせが、回復力（レジリエンス）にとって本当に重要だと思います。そして…そして、どのような人生経験がこれをもたらしたにせよ、私がそれらの4つ、5つのものを持っていることは幸運です。私は常に好奇心を持ち、常に学んでいます。
常にすべての人から学んでいます。そして私はすべてのことについて謙虚なので、常に「うわあ、彼らはあんなにうまくやった。あんなに素晴らしくやった」と思っています。「彼らは何を考えているのだろう？どうやって…」と。だから私は全員をシミュレーションしているのです。
多くの点で、私は観察し尊敬するほぼすべての人をエミュレートしているのです。彼らが行うすべてのことに対して共感を持っています。そうやって常に学び続けているのです。
あなたは今や地球上で最も裕福な人物の一人であり、地球上で最も成功した人間の一人です。謙虚であり続けることや…お金、権力、名声の影響を感じて、自分の頭の中で「自分が間違っている」と認めるのが難しくなることはありますか？意見が合わない人の意見を聞き入れ、そこから学ぶのが難しくなるようなことは。
驚くべきことに、ありません。むしろその逆だと思います。私は自分の仕事の多くを公の場で行っているので、間違ったときにはほぼ全員がそれを見ることになります。
謙虚にさせられるということですね。なるほど。
そして私が間違っているとき、間違っていたり、そうならなかったり、あるいは…私が外で言うことのほとんどはかなり確信を持っています。その理由は、それが他の誰かに影響を与えるからです。私はそのことをとても心配し、慎重になりたいと思っています。
会議の中で推論していることについては、多くのことが違う結果になる可能性があります。でもだからといって推論をやめることはありません。私がマネジメントし、リードする方法は、人々の前で常に推論することです。あなたと話しているときでさえ、私が物事を通して推論しているのがわかるでしょう。私が言っていることを理解してほしいのは、私がそう言ったからではなく…私がこれから言うことに対して私がとても謙虚だからです。そこにたどり着いたステップをお見せします。そして最後に私が言ったことを信じるかどうかはあなたが決めればいいのです。私はそれを会議で一日中やっています。すべての従業員に対して、常に推論しています。「私がどう見ているか話しましょう」と。そして推論します。
そうすることで、全員が「その部分には同意できません」と割って入る機会が生まれます。物事を推論して人々とやり取りすることの素晴らしい点は、彼らが結果に反対する必要がないということです。彼らは推論のステップに反対できるのです。彼らは私を別の方向に引っ張ることができ、そこから推論を進めることができます。
だから私たちは集合的な経路探索のメソッドのようなものです。本当に素晴らしいですよ。
ええ、あなたにはそういうところがあります。説明しているとき、常にオープンマインドで、その場で推論しているのが感じられます。あなたの考えを私が導けるような気がします。
長年の成功と苦痛を経ても、それを維持できているのは本当に美しいことだと思います。苦痛は時として人を閉ざしてしまうことがあると思うので。
うーん、ええ。
そしてそれを維持するためには…
ええ。恥ずかしさに対する耐性、それが…
ええ、その耐性…それは本当に重要なことです。
何年にもわたって自分自身を恥ずかしい目に遭わせてきたということですよね。会議の中でさえ、周りに人がいる中で1つのアイデアを宣言し、そのアイデアが間違っていたと示され…それを認め、そこから成長することができる。それは人間レベルでは非常に難しいことです。
ええ。まあ、ご存知の通り。
彼らは最近、私の最初の仕事がトイレ掃除だったことを知りましたから。
デニーズでの、その仕事の精神を維持しているのは嬉しいですね。デニーズから始まったあなたの道のり全体は美しいものです。ビデオゲームについて聞かせてください。私は大のゲームファンなので、長年にわたる素晴らしいグラフィックスに対してNVIDIAに感謝しなければなりません。
ちなみに、GeForceは今でも私たちのナンバーワンのマーケティング戦略です。人々は10代の頃にNVIDIAを知ります。そして大学へ行き、NVIDIAが何者であるかを知り、最初はただ『Call of Duty』や『Fortnite』をプレイしているだけです。
そして後になってCUDAを使い、さらに後にはNVIDIAを使い、BlenderやDassault、Autodeskを使うようになるのです。
ええ。私があなたと話すと友人に伝えたら、彼は「ああ、素晴らしいゲーム用GPUを作っている会社だね」と言っていました。
ええ、その通りです。
まるで…
その通り。
ご存知の通り、それ以上のものがあるわけですが、ええ、ええ、人々は本当に…それは多くの人々に多くの喜びをもたらしました。
ハードウェアがこれらの世界に命を吹き込んでいるのです。DLSS 5について論争がありましたね。これについてのドラマを説明してもらえませんか？オンラインのゲーマーたちは、これがゲームを「AIスロップ（質の低いAI生成物）」のように見せてしまうのではないかと懸念していたようですが。このドラマについてどう思いますか。
ええ。
彼らの視点は理解できますし、どこから来ているのかも分かります。私自身もAIスロップは好きではありませんから。すべてのAI生成コンテンツがますます似通ってきており、どれも美しいのですが、だから私は…彼らが考えていることに共感できます。ただ、それはDLSS 5がやろうとしていることではありません。いくつか例をお見せしました。
しかし、DLSS 5は3Dコンディショニング、3Dガイドです。グラウンドトゥルースの構造データによってガイドされています。だからアーティストがジオメトリ（形状）を決定します。私たちはジオメトリに対して完全に忠実であり、すべてのフレームでそれを維持します。それはアーティストの芸術性であるテクスチャによって条件付けられています。だからすべてのフレームで、強化はしますが何も変えません。
さて、強化に関する質問ですが、DLSS 5はシステムがオープンであるため、独自のモデルを訓練して決定させることもできますし、将来的にはプロンプトを出すこともできるようになります。「トゥーンシェーダーにしたい。こんな風に見せたい」と、例を与えることさえできます。
すると、そのスタイルで生成されますが、すべてはアーティストの芸術性、スタイル、意図と一致しています。だからこれらすべてはアーティストのために行われ、彼らがより美しいものを、それでも彼らが望むスタイルで創り出せるようにするためなのです。ゲームがこれまで通り出荷され、その後私たちがポストプロセス（後処理）をするという印象を持たれたのだと思います。それはDLSSが意図していることではありません。
DLSSはアーティストと統合されています。つまり、アーティストにAIというツール、生成AIというツールを提供することなのです。彼らはそれを使わないと決めることもできます。
人々は人間の顔に非常に敏感だと思います。私たちは今、美しい瞬間を生きていると思います。それは人々がAIスロップに敏感だということです。それは私たちが何を求めているか、不完全さを求めていることを気づかせてくれる鏡のようなものです。完璧なグラフィックではないこともあります。私たちが創り出す世界の中で何に惹きつけられるのかを理解する助けになります。それは美しいことです。そしてそれが、私たちがそうした世界を創り出すのを助けるツールである限り…
ええ、その通りです。
…それは素晴らしいことです。
その通りです。もう1つのツールです。そして彼らは生成モデルに写真のようなリアルの正反対のものを生成させたいと望むでしょう。それもやってのけます。だからこれもまた1つのツールに過ぎません。ゲーマーの皆さんも評価してくれると思いますが、過去数年間で、私たちはゲーム開発者にスキン（肌）シェーダーを導入しました。
そして多くのゲームが、肌をより肌らしく見せるサブサーフェス・スキャタリング（表面下散乱）を含むスキンシェーダーを持っています。業界は、ゲーム開発者は自分たちの芸術を表現するためのますます多くのツールを探しています。だからこれはもう1つのツールに過ぎず、彼らが何を使うか決めることができるのです。
馬鹿げた質問ですが。NVIDIAの視点から見て、これまでに作られた中で最も偉大で影響力のあるゲームは何だと思いますか。
『Doom』ですね。
『Doom』。間違いありません。あれが3Dの始まりでしたから。
『Doom』だと言えるでしょう。文化的な影響と産業が交差する点から、PCをオフィス自動化のツールから家族やゲーマーのためのパーソナルコンピューターへと変えたという意味で。あれは非常に重要な瞬間でした。
もちろん、フライトシミュレーションの会社はそれ以前からありましたが、PCをゲームデバイスに変えるほどの人気は『Doom』には及びませんでした。だから『Doom』の影響は本当に大きかったです。実際のゲーム技術の観点から言えば、『Virtua Fighter』ですね。
私たちは両者ととても仲の良い友人です。
そして最近のゲームでは、『Cyberpunk 2077』など、GPUアクセラレーションによるグラフィックスが本当に素晴らしいですね。
フルレイトレーシングです。
フルレイトレーシング。個人的には『Skyrim』、『The Elder Scrolls』の大ファンで、かなり昔にリリースされたゲームですが、人々がMODをリリースして…
私たちはMODが大好きです。
…彼らは信じられないようなものを作り出します。まるで違うゲームのようで、何度もゲームをリプレイしたくなります。自分がすでに愛している世界を、全く新しい方法で再体験できることに気づかせてくれます。
その通りです。
私はいつもやっています。一番好きなことの1つは、ただ『Skyrim』の中を歩き回ることです。
私たちはRTX Modというものを作りました。ええ、モッディング（改造）ツールです。
素晴らしい。
コミュニティが古いゲームに最新技術を注入できるようにするものです。
もちろん、素晴らしいビデオゲームを作るのはグラフィックだけでなく、ストーリーやキャラクターの成長でもありますが…
その通りです。
…美しいグラフィックは没入感を高めてくれます。別の場所に転送されたような感覚を。
先ほどおっしゃったように、AGI（汎用人工知能）のタイムラインに関する質問は、AGIの定義に依存するというのは正確だと思います。そこで、可能なタイムラインについてお聞きします。AGIとは何かという少し馬鹿げた定義かもしれませんが、本質的に「あなたの仕事」ができるAIシステムだとしましょう。テクノロジー企業を立ち上げ、成長させ、成功裏に経営できるという。
良い会社ですか、それとも1つの会社ですか？
いや、価値が10億ドル以上にならなければなりません。10億ドル以上の価値がある会社です。これらすべての要素を行うのがどれほど難しいかご存知ですよね。
だから、それからどれくらい離れているのでしょうか。私たちはOpenClawについて話していますが、これは、まず第一にイノベーションを起こし、顧客を見つけ、彼らに売り込み、管理し、エージェントや人間のチームを構築するなど、信じられないほど複雑なことをすべて行うものです。これは5年、10年、15年、20年先のことでしょうか。
私は「今」だと思います。私たちはAGIを達成したと思います。
このようなAIシステムによって経営される会社が存在し得ると思いますか？
可能です。その理由はこうです。あなたは10億ドルと言いましたが、「永遠に」とは言いませんでした。だから例えば…
Clawが何か面白い小さなアプリであるウェブサービスを作り出し、突然数十億人が50セントでそれを使い、その後まもなくして倒産したとしても、問題外ではありません。インターネット時代にはそうしたタイプの企業を山ほど見ましたし、それらのウェブサイトのほとんどは、現在のOpenClawが生成できるもの以上に洗練されたものではありませんでした。
面白いですね。バイラル（拡散）性を達成し、そのバイラル性を収益化すると。
ええ。それが何なのかはわかりませんが、当時も私にはそうした企業のいずれも予測できませんでした。
その発言で多くの人を興奮させるでしょうね。「どういうことだ？ただエージェントを立ち上げれば、大金が稼げるのか」と。
まあ、ちなみに、今まさにそれが起きていますよね。中国に行けば、人々が自分のClawに仕事を教えたり、仕事を探しに行かせたり、仕事をさせてお金を稼がせようとしているのをたくさん見ることになるでしょう。
そして私は…何か社会的な出来事が起きたり、誰かがデジタルインフルエンサーを作ったりして、それが超絶可愛かったり、たまごっちに餌をやるようなソーシャルアプリケーションだったりして、それが突然の即席の成功を収めても驚きません。
多くの人が数ヶ月使い、そして消えていく。今、10万個のそのようなエージェントがNVIDIAを作る確率は0パーセントです。そして私がしないこと、
私が絶対にしないし、私たち全員にしてもらいたいのは、人々が自分の仕事について本当に心配していると認識することです。そして私は彼らに、あなたの仕事の目的と、その仕事を行うために使用するタスクやツールは関連しているが、同じではないことを思い出させたいのです。
私は33年間この仕事をしています。私は世界で最も長く続いているテックCEOです。34年になります。そして私が仕事をするために使ってきたツールは、過去34年間で継続的に変化してきましたし、時には非常に劇的に、2、3年の間に変わることもありました。そして私が皆さんに絶対に聞いてほしい1つのストーリーは、コンピューターサイエンティストやAI研究者が最初になくなるだろうと言った職業は放射線科医だったというストーリーです。
なぜならコンピュータービジョンが超人的なレベルに達しようとしており、実際に達したからです。コンピュータービジョンは2019年、2020年、あるいはもう少し後、2020年には超人的なレベルになりました。だから、コンピュータービジョンが超人的になってから長い時間が経ちます。そして予測では、放射線科医の画像診断は過去のものになるため、放射線科医はいなくなるだろうというものでした。AIがそれを行うからと。
ええ、彼らは完全に正しかったです。コンピュータービジョンは完全に超人的です。現在のすべての放射線プラットフォームやパッケージはAIによって駆動されています。それにもかかわらず、放射線科医の数は増えました。では問題はなぜかということです。そして今、私たちは世界で放射線科医が不足しています。
つまり、第一に、警告を鳴らす声が行き過ぎて、社会にとって非常に重要なこの職業に就くことを人々から遠ざけてしまったのです。
だから害をもたらしました。さて、なぜそれは間違っていたのでしょうか？その理由は、放射線科医の目的は病気を診断し、患者や医師が病気を診断するのを助けることだからです。そして私たちははるかに速く画像を調べることができるようになったので、より多くの画像を調べ、より良く診断し、患者をより早く入院させ、より多くの患者を診ることができます。病院はより多くのお金を稼いでいます。
病院にはより多くの患者がいます。だからより多くの放射線科医が必要なのです。驚くべきことは、これが起こることはあまりにも明白だったということです。NVIDIAのソフトウェアエンジニアの数は増えるでしょうし、減ることはありません。その理由は、ソフトウェアエンジニアの目的と、コーディングというソフトウェアエンジニアのタスクは関連していますが、同じではないからです。
私はソフトウェアエンジニアに問題を解決してほしかったのです。彼らがコードを何行書いたかは気にしませんでした。しかし彼らの仕事、彼らの仕事の目的は変わりませんでした。問題を解決し、チームとして働き、問題を診断し、結果を評価し、解決すべき新しい問題を探し、イノベーションを起こし、点を結びつける。それらのどれも消え去ることはありません。
AIが奪う仕事、生み出す仕事、そして未来への適応
コーディングでさえ、世界中のプログラマーの数が減るのではなく増える可能性があると思いますか。
はい。その理由はこうです。コーディングの定義とは何でしょうか。私はこう信じています…現在のコーディングの定義は、単に仕様を指定すること、そしてもしかなり指示的になりたいのなら、書きたいソフトウェアのアーキテクチャを与えることさえあります。
では問題は、コンピューターに何を作るべきかを指示する仕様書を書くことができる人が何人いるかということです。私はそれが3000万人からおそらく10億人に増えたと思います。だから将来、すべての大工がコーダーになるでしょう。ただし、AIを持つ大工は建築家でもあります。彼らは顧客に提供できる価値を高めたのです。
彼らの芸術性は驚くほど高まりました。私はすべての会計士が、財務アナリストでもあり、財務アドバイザーでもあると信じています。つまり、これらすべての職業が向上したのです。
もし私が大工でAIを見たら、完全に夢中になるでしょう。配管工だったら、クライアントに提供できるサービスを考えて完全に夢中になるでしょう。
そして、現在プログラマーやソフトウェアエンジニアである人々は、最高のソフトウェアを設計するために、自然言語を使ってエージェントとどうコミュニケーションを取るべきかを直感的に理解する最前線にいると思います。
その通りです、まさに。
だから時間が経てば収束していくでしょうが、私はプログラミングを学ぶこと、つまりプログラミング言語とは何かを学ぶことには依然として価値があると思います。
古い種類のプログラミング、プログラミング言語の良い実践とは何か、大規模ソフトウェアシステムのためのプログラミング言語の設計原則とは何か？
その通りです。
その理由は、レックス、視聴者の皆さんのためにあなたが言っているように、仕様を決めることの目標、仕様の芸術性というのは、
あなたが解決しようとしている問題に依存するからです。
私が会社に戦略を与え、企業の方向性や私たちがすべきことを策定するとき、私は人々が一般的に方向性を理解し、行動可能な程度に具体的に説明します。
彼らが行動を起こせるほどには具体的ですが、私は意図的に指定を少なくし、4万3000人の素晴らしい人々が私が想像した以上のものを作れるようにします。だから私がエンジニアたちと働くとき、人々と働くとき、私は「どんな問題を解決しようとしているのか？誰と働いているのか？」を考えます。そして仕様のレベル、アーキテクチャ定義のレベルはそれに関連しています。
だから誰もが、コーディングのスペクトルのどこにいたいかを学ばなければなりません。仕様書を書くことはコーディングです。だから、あなたが求めている非常に具体的な結果があるため、かなり規範的になることを決めるかもしれません。あるいは、この領域はもっと探索的でありたいと決め、AIとの間でやり取りできるように指定を少なくし、自分自身の創造性の限界を押し広げるかもしれません。
だから、あなたがスペクトルのどこにいるかというこの芸術性、これがコーディングの未来なのです。
コーディング以外の話に戻りますが、多くの人々が自分の仕事について心配し、不安を抱いているのはもっともなことだと思います。特にホワイトカラー部門で。
自動化や新しいテクノロジーが到来するときには必ずやってくる激動の時代において、私たち全員がどうすればいいのか分からないのだと思います。そして私はただ…まず第一に、私たち全員が思いやりを持ち、職を失う個人や家族の実際の苦しみがどのようなものかを感じ取る責任があると思います。
AIによる変革的なテクノロジーが登場するときには、必ず多くの痛みが伴うでしょう。その痛みにどう対処すればいいのかわかりません。願わくば、ツールが進化し、プログラミングで起きているように、より生産的で楽しいものになることで、同じ人々により多くの機会が生まれればいいのですが。
私は最近プログラミングがとても楽しくて。これほど楽しかったことはありません。だから彼らの仕事の退屈な部分を自動化し、人間が責任を持つ創造的な部分をより楽しくしてくれることを願っています。それでも、多くの痛みや苦しみが伴うでしょう。
私が最初の推奨事項をお話しする前に…これは私が不安にどう対処しているかということです。実際、先ほど話しましたね。未来に対する巨大な不安、プレッシャーに対する巨大な不安、不確実性に対する巨大な不安。私はまずそれを分解します。そして自分に言い聞かせます。「よし、自分に何かできることと、何もできないことがある。
でも、何かできることについては、理屈で考えて実行しよう」と。もし私たちが今日、大学の新卒者を採用するとしたら、そして私に2つの選択肢があるとします。1人はAIについて全く知識がなく、もう1人はAIを使う専門家です。私はAIを使う専門家の方を採用します。もし私が会計士、マーケティング担当者、サプライチェーン、カスタマーサービス、営業担当者、事業開発、弁護士などを採用するなら、私はAIを使う専門家を採用します。
だから私は、すべての大学生、すべての教師が学生にAIを使うよう奨励すべきだとアドバイスします。すべての大学生は卒業時にAIの専門家になっているべきです。そして誰もが、大工であれ、電気技師であれ、AIを使ってください。それがあなたの現在の仕事をどう変革し、自分を高められるか見てください。もし私が農家だったら、絶対にAIを使います。
薬剤師だったらAIを使います。それが私の仕事をどう高め、私自身がこの業界に革命を起こすイノベーターになれるかを見たいのです。だからそれが私が最初にするであろうことです。そしてもう一つ、私は彼らを助けたいと思います…テクノロジーが置き換えをもたらし、多くのタスクを排除するのは事実です。
なぜなら自動化されるからです。もしあなたの仕事がタスクそのものであるなら、あなたは非常に高い確率で破壊されるでしょう。もしあなたの仕事の目的に、あなたと特定のタスクが含まれているなら…
それらのタスクを自動化するためにAIの使い方を学ぶことが不可欠です。そしてその中間には広大なスペクトルの世界があります。
ちなみに、チャットボット版のAIの素晴らしい点は…問題を分解できることです。不安があっても、それと話すことで問題を分解できます。私は最近…人生の問題をどれほど深く考えられるか、本当に驚くばかりです。セラピーのような問題という意味ではなく、非常に現実的に、「よし、私の仕事が心配だ。
どんなスキルが必要か？どんなステップを踏むべきか？どうすればAIが上手くなるか？」と。あなたが今言ったことすべて、文字通り質問すれば、ポイントごとに計画を出してくれます。つまり、単に素晴らしいライフコーチなのです。これは…
私はAIの使い方がわかりません、と言うと、AIは「では、お見せしましょう」と答えるのです。
その通り。非常にメタ的ですが…少し信じられないようなことです。だから人々は絶対に…
Excelに向かって「Excelの使い方がわかりません」とは言えません。それで終わりです。
それがまさにAIが私の生活のあらゆる面でしてくれたことです。初めて何かを使う初心者の最初の摩擦。どんなことでも、「最初に踏むべきステップは何ですか？」と文字通り質問できます。
その通りです。
そして、世界が提供するすべての経験の摩擦を取り除いてくれるその手助けは…先ほどオフラインでお話ししたように、あなたは「中国と台湾に行く」と言っていましたね。
とても素晴らしいです。
あなたが興奮しているのを知って嬉しいです。
「どこへ行けば…」
「どこに行けばいい？どうやって…」これらの質問すべてが…すぐに答えられます。美しいですね。
あなたが台湾に行くときは、AIに聞いてみてください…
「ジェンスンのお気に入りの台湾のレストランはどこ？」と。すると実際に…
自分で知らないんですか？
ああ、知ってますよ。
正確ですか？なるほど。
台湾中にあります。
まあ、あなたは向こうではロックスターですからね。
そしてオフラインでも言いましたが、もしかしたら私たちの道が交差するかもしれません。コンピューティングにおいて素晴らしいことですね。
COMPUTEXですね。NVIDIA GTC Taiwanです。
知能のコモディティ化と人間性の価値
人間の本性や人間の意識について、チップがどれほど強力になっても決して複製できないような、根本的に計算不可能だと思われるものはありますか。
チップが緊張するかどうかはわかりません。
そしてもちろん、不安や緊張などの感情を引き起こす条件についても。私はAIがそれらを認識し、理解できるようになると信じています。ただ、私のチップがそれらを感じるとは思いません。したがって、その不安、その感情、その興奮が…
それらの感情がどのように人間のパフォーマンスに現れるか。例えば、極めて素晴らしい人間のパフォーマンス、運動能力、平均的あるいはそれ以下のパフォーマンス。全く同じ状況から異なる人々に生まれ、異なる結果、異なるパフォーマンスとして現れる人間のパフォーマンスのスペクトル全体。
私たちが構築しているものの中で、全く同じ文脈を与えられた2つの異なるコンピューターが…もちろん統計的に異なる結果を出すでしょうが、それは「感じ方」が違ったからではありません。
ええ、主観的な…人間が感じる主観的な経験には、何か本当に特別なものがあります。先ほどお話ししたように、あなたと話すのはかなり緊張しました。
先ほど言ったように、希望、恐怖、不安、そして人生そのもの。人生の豊かさ。すべてがいかに素晴らしいか。私たちがどれほど深く恋に落ち、どれほど深く心が砕け、死をどれほど恐れ、愛する人が亡くなったときにどれほどの痛みを感じるか。そのすべてです。
それをコンピューターデバイスができると考えるのは非常に難しいとわかっています。しかし、これ全体にはまだ解明されていない謎がたくさんあるので、私は驚かされることに対してオープンです。過去数ヶ月、数年で何度も驚かされてきました。スケーリングは知能の領域で信じられないような奇跡を起こすことができます。
それを見るのは本当に素晴らしいことだったので、私は驚かされる用意があります。
そして、「知能」とは何かを分解することが本当に重要です。私たちがいつも使っているその言葉は、神秘的な言葉ではありません。知能には意味がありますよね？それはシステムであり…それは私たちがしていることで、知覚や理解、推論、計画する能力を含みます。
そして、そのループ、そのループが根本的に知能とは何かということです。知能とは、「人間性」と完全に等しい1つの言葉ではありません。そしてそれは、その2つを切り離すことが本当に重要だと思います。私たちにはそのための2つの言葉があります。私は…私は知能を過度に幻想したり、過度にロマンチックにしたりはしません。
知能とは…皆さんも聞いたことがあるかもしれませんが、私は実際に知能はコモディティ（日用品・汎用品）だと考えています。私は知能の高い人々に囲まれています。彼らがいるそれぞれの分野において、私よりも知能の高い人々に囲まれているのです。それなのに、私はその輪の中で役割を持っています。実際、とても面白いことです。
彼らは私よりも教育を受けています。私よりも良い学校に行きました。彼らがいるどの分野でも、私より深く理解しています。全員がです。私には60人の彼らがいます。私にとって彼らは全員超人です。それなのに、どういうわけか私は真ん中に座って、その60人全員をオーケストレーション（指揮）しているのです。
だから、自分自身に問わなければなりません…超人たちの真ん中に座ることを食器洗い機に許しているものは一体何なのか？意味がわかりますか？だから、それが私のポイントです。私のポイントは、知能は機能的なものだということです。人間性は機能的に指定されるものではありません。それはずっと、ずっと大きな言葉です。そして、私たちの人生経験、痛みへの耐性、決意、これらは知能とは別の言葉なのです。
だから、視聴者の皆さんに理解してもらいたいこと、1つだけ伝えられるとしたら、知能とは私たちが時間をかけて非常に高い形に引き上げた言葉に過ぎないということです。
私たちが本当に高めるべき言葉は「人間性」ですね。
キャラクター、人間性です。
そのすべてですね。
そのすべてです。
思いやり、寛大さ、あなたが今言ったことすべて、私はそれらが超人的な力だと信じています。そして今、知能はコモディティ化されようとしています。私たちが話したように、最も重要なのは教育です。あなたが学校に行ったとき、「最も重要なのは教育だ」と言われたときでさえ、あなたが知識以上に得たものがあったはずです。
しかし残念ながら、私たちの社会はすべてを1つの言葉に集約してしまいましたが、人生は1つの言葉以上のものです。そして私はただ、私の人生が、周りの誰よりも知能の曲線が低いことが、私が最も成功しているという事実を変えないことを示唆していると伝えているだけです。私は、この知能の民主化、知能のコモディティ化が、皆さんに不安を引き起こさせないようにインスパイアできればと思っています。皆さんはそこからインスピレーションを受けるべきです。
ええ。AIは私たちが人間をもっと称賛する助けになると思います。そして確実に人間性や人間第一という考え方を。この世界を素晴らしいものにしているのは、人間が永遠にそうであり続けるからだと思いますし、AIは私たち人間をより強力にしてくれる信じられないほどのツールに過ぎません。
まさにその通りです。
…人間をより強力に。
まさにその通りです。
NVIDIAの成功と、私が言及した何百万もの人々の生活はあなたにかかっています。
しかし、あなたは1人の人間であり、私たち皆と同じように死すべき存在です。自分の死について考えますか？死を恐れていますか。
私は本当に死にたくありません。私には素晴らしい人生があります。素晴らしい家族がいます。本当に重要な仕事があります。これは一生に一度の経験ではありません…一人の人間ではなく、多くの人々が経験してきたことを示唆しています。私が経験していることは、人類にとって一度きりの経験なのです。
NVIDIAは歴史上最も重要なテクノロジー企業の1つです。私たちは非常に重要な仕事をしています。私はそれを真剣に受け止めています。
そしてだから、もちろん現実的な問題として、後継者計画（サクセッション・プランニング）をどう考えるかということがあります。私は後継者計画を信じていないと言うことで有名です。
ええっ。
そしてその理由は、私が不死身だからではありません。その理由は、もしあなたが後継者計画を心配し、その後継者計画の不安をすべて抱えているなら、それに対して何をすべきか？それを一番下まで分解してみましょう。もしあなたが自分の後の会社の未来を気にかけているなら、今日すべき最も重要なことは、知識、情報、洞察、スキル、経験を可能な限り頻繁に、そして継続的に伝えることです。それが理由です。
だから私は常にチームの前ですべてを推論しているのです。すべての会議は推論の会議です。会社の中や外で過ごす一瞬一瞬が、人々に知識を可能な限り早く伝えるためのものなのです。私が学んだことが私の机の上に置かれたままになるのは、ほんの一瞬以上の時間はありません。
私はその情報、その知識を伝えています。「うわー、これはかっこいいな」。自分で全部学び終える前に、すでに誰かにそれを指し示しています。「これに取り掛かって。これはすごくかっこいいよ。君もこれを学びたくなるはずだ」と。だから私は常に知識を伝え、人々に力を与え、私の周りのすべての人の能力を引き上げているのです。私が求める結果、私が望む結果は、仕事中に死ぬことです。そして願わくば、即死したいですね。長い苦しみの期間がないように。それは…
一人のファンとして、あなたが文明に与えた計り知れないポジティブな影響を考えれば、もちろんあなたがこの先も活動を続けることを願っています。しかし同時に、NVIDIAが何をしているかを見るのはただただ楽しいのです。イノベーションのスピードが。私はエンジニアリングの大ファンです。NVIDIAが継続的に行っている信じられないようなエンジニアリングがたくさんあります。それを見るのはただただ楽しい。
それは人類の称賛であり、偉大なビルダーたちの称賛であり、偉大なエンジニアリングの称賛です。それは特別な何かを象徴しています。だから、あなたとNVIDIAが前進し続けることを願っています。私たちが取り組んでいること全体について、人類について、人類の未来について、何があなたに希望を与えてくれますか。あなたが未来について、10年、20年、50年、100年先を思い描くとき、何が希望を与えてくれるのでしょうか。
私は常に、優しさ、寛大さ、思いやり、人間の可能性に対して大きな信頼を抱いてきました。
私は常にそれを極めて強く確信してきました。時にはそうすべき以上に。そして利用されることもありますが、だからといって私を止めさせることはありません。私は常に、人々は良いことをしたい、他の人を助けたいと思っているという前提から始めます。
そして、圧倒的に、私は正しかったと証明されます。常に正しかったと。そしてしばしば、それは私の期待を超えます。
だから私は人間の能力に完全な信頼を置いています。私に信じられないほどの希望を与えてくれるのは、
私が今可能だと見ているものを外挿し、私たちがやっていることに基づいて、将来非常に高い確率で何が起こるかを予測することです。そして、私たちが解決したいことがたくさんあるということです。
解決したい問題がたくさんあります。私たちが作りたいものがたくさんあります。私たちがやりたい良いことがたくさんあり、それらが今、私たちの手の届くところにあるのです。私の人生の手の届くところに。それについてロマンチックにならないわけにはいきませんよね。
今生きているということが、なんてエキサイティングな時代なんでしょうか。本当に…
どうして…
…本当にそうです。
どうして、それについてロマンチックにならずにいられるでしょうか。病気がなくなることを期待するのは理にかなったことです。公害が劇的に減ることを期待するのは理にかなったことです。光の速度で移動することが実際に私たちの未来にあると期待するのは理にかなっています。
長距離ではなく、短距離ですが。そして人々は私にどうやって、と尋ねます。まず第一に、私はもうすぐ宇宙船にヒューマノイドを乗せるつもりで、それは私のヒューマノイドになります。できるだけ早くそれを送り出し、飛行中に改善と強化を続けるでしょう。
そして時が来れば、私のすべての意識はすでに…私の人生の多くはインターネットにアップロードされています。私の受信箱すべて、私がやったことすべて、私が言ったことすべて。それは収集され、私のAIになっています。そして時が来れば、それを光の速度で送り出し、私のロボットに追いつかせるのです。
ああ、それは素晴らしいですね。でも私にとっては、それはアプリケーションに焦点を当てたものです。同時に、好奇心という観点から見ても、これらすべての謎があります。そこには本当に…魅力的な科学的疑問がたくさんあるのです。
生物学的な機械を理解することはすぐそこまで来ています。10年ではなく、おそらく5年でしょう。
そしてあなた方の生物学的な機械、人間の心、そして理論物理学を解き明かすこと。それはとてもエキサイティングです。
意識を説明する、それは素晴らしいことでしょうね。
そしてそれはすべて私たちの手の届くところにあります。ジェンスン、あなたが長年にわたってしてくれたすべてのことに感謝します。
あなたが世界のためにしているすべてのことに感謝します。あなたという存在に感謝します。あなたが素晴らしい人間であることが分かります。今年があなたにとって信じられないような成功の年になることを願っています。一人のファンとして、あなたが次に何をするのかを見るのが待ちきれません。台湾でお会いできることを願っています。今日は本当にありがとうございました。
ありがとう、レックス。素晴らしい時間を過ごせました。それから、もう1つだけ言わせてください。
はい。
あなたが行っているすべてのインタビュー、その深さ、あなたが貫く敬意、そして私たち全員のために、あなたが長年にわたってインタビューしてきた素晴らしい人々を明らかにするために行うリサーチに感謝します。私は楽しませてもらいました。
私はそれらを大いに楽しんできました。そしてイノベーターとして、この長編で信じられないような、しかも魅惑的なものを作り上げたことに。
とにかく、あなたがしているすべてのことに感謝します。
とても意味のある言葉です。ありがとう、ジェンスン。
ありがとう、レックス。
ジェンスン・フアンとのこの対話をお聴きいただきありがとうございます。このポッドキャストをサポートするには、概要欄のスポンサーをチェックしてください。そこには私への連絡先、質問、フィードバックのリンクなどもあります。
それでは、アラン・ケイの言葉を残してお別れしましょう。「未来を予測する最良の方法は、それを発明することだ」。お聴きいただきありがとうございました。また次回お会いしましょう。
コメント