久しぶりに登場の齊藤元章さんです。よろしくお願いします。
よろしくお願いいたします。
はい、話題をいただけるということですけども。
はい。計算資源主義というお話を前回4ヶ月前の収録の時にさせていただいておりました。これが、あの早くももう具体的な形で、こんなことも起きるんだなっていう状況が生じてきておりました。
計算機資源主義ということでしたね。ちょっとどういう意味かっていうところをちょっと復習していただけますか。
そうですね。もう一度じゃあお話をさせていただきますと、あの今の貨幣を中心とした資本、これが資本主義というところで、何をやるにも貨幣が必要であり、これが広く世の中に、ドルであったり円であったり、元であったりユーロであったりということで広く使われていて、そこに対して仮想通貨みたいなもの出てきたりはしておるわけなんですが、そういった希少性のある価値を持った物質として新しくそのGPGPUに代表される計算機資源、これが非常に価値があって重要で、希少なものである。これこそがむしろ貨幣を上回る力を持ってくる世の中、それにどれだけの計算機資源を保有しているかが国力であったり企業の力であったり個人の力であったりというところに移り変わっていく時期がそう遠くないんではないかというなお話を前回ちょっとさせていただいてました。
うん、そうでしたね。
目から鱗っていう感じで、なるほどと思った人も多いんじゃないかと思います。
はい。そこに関しては、あのサム・アルトマンがワールドコインと紐づけてですね色々やるとされていたり、ベーシックインカムもですね、ユニバーサルベーシックインカムをそのいわゆる貨幣や仮想通貨といったものではなしに、その計算機資源を配るというようなお話もされていたりもするところではあったんですが、もうちょっと手前のところで割と分かりやすい形でですね、1ヶ月前ほどのあのニュースになっておりましたが、a16zと言われる、これはアンドリーセン・ホロウィッツというアメリカの非常にシリコンバレーの有名なベンチャーキャピタルなんですけれども、これはマーク・アンドリーセンの創業者であった方でございますが、その方がホロウィッツさんと組んで今ベンチャーキャピタル非常に大きなものをやってるんですけれども、なんとNVIDIAのH100を2万台確保いたしまして。
うん。
でベンチャー投資をする時に、これまでですと何百万ドル何千万ドルという資金を注入して株式を受け取るという出資の仕方だったわけなんですが。
うん。
それに変わってですね、計算機資源であるGPGPUを拠出する。GPGPUで出資を行うっていう戦略を代表的に打ち出してきております。であのベンチャーキャピタルの方もですね、そういうスタンスなんですが、ベンチャー企業側もですね、要は特にシリコンバレーで生成AI関連で起業を起こす時には、基盤モデルを開発するのか、インフラストラクチャーを開発をするのかというので違いはあるかと思うんですけれども、お金があってもですね、実は計算機資源が確保できないがために開発ができないとか、開発したサービスアプリケーションをローンチできない、提供できないという非常に大きな問題に突き当たってるケースが多々見られます。
そうするとですね、同じじゃあ例えば1000万ドル、15億円を出資してもらいますという時に、普通のベンチャーキャピタルが現金で出資をしてくださるというところに、このa16zがあの出てきてですね、いや僕らは1000万ドル分のGPGPUを、H100を200枚、何百枚とかっていう形で提供するよということになると、そちらに飛びついていく。お金はあっても、GPGPUは買えない、見つからないわけなんですが、お金の代わりにGPGPUを出してくれる。
おそらくはですね、これもしかしたら既にそうかもしれないんですが、a16zは現金の価値を何倍かにしてH100とかですね、これからB100、200とかっていうものをVCからベンチャー企業に提供する。その代わりVC側にとってのいい条件で提供をする。なんてことがこれからあの動きとしては盛んになってくるのかな、顕著になってくるのかなという気がいたしております。
実はこれはあのベンチャーキャピタルという意味ではa16zの話が今回非常大きく取り上げられたんですが、同じことをすでにもうやっていたプレイヤーがおります。
他ならぬですね、これは実はNVIDIAでございます。NVIDIAはあの相当の実は今生成AI周りのあのベンチャー投資をやってるんですが、もう隠れた巨大なベンチャーキャピタルと言われることあるなんですが、彼らはあの現金での出資もしてるかもしれませんが大半はGPGPUのハードウェアそのものなのか、彼らが構築しているGPGPUベースのクラウドサーバーですね。クラウドのデータセンターのノードなりその時間なりというところの使用枠を提供することで、キャッシュを使わずに、キャッシュアウトせずにベンチャー投資をやっている。
しかもそれはベンチャー企業側にとってはですね、NVIDIAに出資をしてもらうんだ、しかも計算機資源付きであるということで、もうこれ以上にいい条件はないということで非常に喜んで受け入れているというなお話も聞いております。あのこれはあの聞いた話なのでちょっと正確性の裏取りができてないんですけれども。
今シリコンバレーのベンチャー投資、特に生成AI界隈での投資というのは、以前はベンチャーキャピタルが束になってですね、ベンチャー企業のオーナーのドアをたたくようにして出資していったところが、今はそのGPGPUでベンチャー企業にこうアクセスをしてくる。ということで、これはまさに計算機資源主義が非常に分かりやすい形であの目の前に展開されてる事例なんではないかな。第一歩としては本当にこういうことが起こってきたなというような思いを持ちながら見ておる状況でございました。
NVIDIAがなんかあれですよね、世界を牛耳りつつあるというのは非常に興味深いところですね。
うん。あの日本もね、松尾先生がおっしゃるには戦略的にここ1年間ぐらいですかね、NVIDIAのGPUをたくさん買った。それを使ってですね今サーバーを立てて、それを使えるという形で、なんて言うんですかね、この競争的資金、競争的研究、AIの研究開発ですね、というのを進めていて、応募してですね、それに当たればその計算資源が使えるというようなことをやっておりますね。
だから割とビジョンとしては、GPUが使えるってのがこのビジネスやっていくに上では、もう1番のポイントになってくるんだっていうところを、なんか皆が認識しつつあるということじゃないかなっていう気がするんですけども。
そうですね。あのこれも昨日のお話だったと思うんですが、国のABCIというまさに計算機基盤の話ですが、これも今まではNVIDIAのV100ベースだったわけですが、H100を6000台、ちょっとタイミングがちょっとギリギリ間に合わなかったのかもしれなく、ブラックウェルではないだろう。ただ、ちょっと6000台か。a16zが1ベンチャーキャピタルが2万台を確保してるところで、国を代表するその計算機基盤が6000台っていうところで、ちょっと残念なところもあるんですけれども。
あのちなみにこのa16zの2万台は今回のLlama 3の40.5Bの基盤モデル、フロンティアモデルはあのH100が1万6000台でトレーニングされたということなので、1ベンチャーキャピタルがフロンティア基盤モデルの1番大きなものをトレーニングできるぐらいの計算資源を手にしている、保有しているというのは非常にすごいことだと思います。
おそらく去年1年間で日本に入ってきたGPGPUはやっぱり1万台ぐらいだったんであろう。今年はそれからもうちょっと増えるのかもしれませんが、1万5000、2万台ぐらいであのとまるとすれば、日本に匹敵するだけの計算機資源を確保できるアメリカのベンチャーキャピタル、非常に羨ましくも思いますし、それに対抗しなくてはいけない日本のベンチャーキャピタル様も、そしてベンチャー企業様もですね、非常に厳しい戦いになっていくのかなというちょっとあの懸念を持ったところでございます。
いやすごいですね。で日本はそうなんだけど他の国はどうなんでしょう。
あの局所的なところ、そのアメリカを中心に、GAFAプラスアルファみたいなところでやっぱりNVIDIAが生産しているGPGPUの9割まで行くかどうか分かりません、8割がたはもう持っててしまって、残りの少ない数量を分け合うということになる。そういう水量になってしまうのかなと思うんですが。
それにしても日本ちょっと少なすぎる。GDPであったり人口の比率であったり、アメリカとの関係性の深さ、近さを考えると、10倍、100倍ぐらいないといけないんじゃないかな。
100倍？うん、確かイーロン・マスクがなんか10万台とか言ってませんでしたっけ。
ラマの方で10万台、あるいはそれをXの方でも、xAIの方でも10万台とか、いろんな話がますが。
そうですね。あのGAFA系はもう10万というか30万、Microsoft含め、メタも含め数10万台規模で、おそらくは積み上げるともうあの今年来年で100万台とかに届くところが出てくるんだろうと思うんですが。
なるほど。それを結局買っただけじゃなくて、それを使って新しいAIを作っていくわけですからね。それがまた次のこの世の中の進歩っていうのに繋がっていくっていうことを考えると、ちょっといや、これ見てるとね、僕前々回言ってたんだけど、まさに軍拡で、戦前のね、日本とか、日米の軍拡競争っていうのがあったわけ。戦艦の作りあいね。それに非常に似てるわけ。
うん。ただ日米だったんだけど、今日本はもう完全に蚊帳の外になってしまって。まあ言うならどうですかね、今は米中でしょうけどね。
いやだからあんまり重要性に気づいてないっていうことなんでしょうか。重要だと言いながらもその規模がちょっとイメージできてない。
日本がですか？
日本が。ねえ、前々回ね、僕はお話したんで、これ評判ちょっと悪いかもしれんが、日本の人工知能学会がね、全然その重要性に気がついてなかった。でまでも今まあ気がついたのかもしれんが、もう時遅しですよね。ていうか、今は今でもっと大きなこのうねりを感じないといけない。
うん、うん。
なのが今ちょっと1年ぐらい前の状況に追いついたというかね。
日本全体としてはおそらくは国の上層部の方々も少しずつお気づきになられている方が出てきてらっしゃるとは思いますし、松尾先生とか初め、たくさんの方々がやっぱり問題意識持たれてらっしゃると思うんですが、民間の人たちはむしろ逆にあのすごくそこを深刻に捉えていて、ただもう無理なものは無理なので、今あるところ、できるところの範囲内で頑張るということで、相当にあの本当に頑張ってらっしゃる方々もたくさん見受けられたりしてですね。その上であのちょっと非常に感銘を受けてる方がいらっしゃるんですが、元木大輔さんなんかが今本当に開発にもう寝てらっしゃらないんじゃないかっていうような感じで開発に取り組まれてるのをですね、X上で拝見していて、いや本当すごいなと。元木大輔さん、元々量子コンピューティングなんかの研究者だった方が今生成AIのところでですね、本当にお1人でとんでもない規模の開発をとんでもない速度でやられてらっしゃるんですけれども。ああいう方々、他にもたくさんあのいらっしゃるんだろうと思うんですが、やっぱり彼らに計算機資源を宅に提供することができれば日本はですね、まだまだ勝ち筋ってのが多分描けると思うんです。
元木さんがすごく私あの印象に残ってるのが、日本人でその日本語でLLMっていうものが出てきた時に、その日本語がどれだけ情報圧縮された、非常に深く凝縮された、たくさんのものの中に含有しているのか。そこをうまく活かしながら日本から日本発でというなところでやられてらっしゃる、頑張ってらっしゃるのをちょっとお姿をあの横から拝見させていただいていて、感銘を受けておりまして。
後半の話にもつながるんですが、私どもの方であの推進の冷却それから国産のGPGPUを本当に10万台と言わず100万台ぐらい作りたいと思ってるんですけれども、作るだけではなくてそれをきちっとデプロイして、データセンターとして立ち上げた時にはですね、こういう方々にもう率先してお使いをいただいて、もちろん国の研究機関とかそういうところにもなんですが、個人レベルで皆さんやってらっしゃるところにはあのできる限りの、こういったもの早期に、無償でもいいと思ってますが、アクセスしていただいて、彼らが計算機資源を潤沢に持つことでアメリカのこう今の先ほどのa16zみたいなあの動きに十分対抗できるだけの動きを、流れを、勢いを作ってあの行くことに少し貢献させていただけたらななんてことをね思います。
うん。あのね、今ハードの話ですが、ソフトのソフトというか理論面でいってね、日本もねちょっとね本気になってきたかなっていうのは最近のニュースとして、京都大学の橋本浩司先生って理論物理学者ね、統計物理学者ね。彼がね、学習物理という分野を立ち上げて、それに対するねあのお金がね、初年度でねちょっと僕正確な数字はちょっと3億かな、それが5年間かな。
おお。
うん。物理の研究室ですよ。それにそれだけの金がついたということは、それ出したのは国でしょうから、国もそういうことの重要性っていうことに気がついただろうというのは、今日今日の話題ですね。
うん。
というかあの、ネット、天文台のネット見てたら、研究員募集って書いてあったからね。橋本浩司先生の。
橋本先生っていうね、前々からそのAGIというか、あれがなんでねあんな頭がいいのかっていうことを、それを物理的に解明しようという話です。
で、それが1つね。それからね、もう1つね今日勉強会、これ後であの時間があればお話したいんだけど、Google DeepMindが最近あの出したんで、国際数学オリンピックの問題を解いた。それで銀メダルに相当するものを獲得したというペーパーというかブログをね、読んだわけ。
で、僕がね1番そん中でね印象付けられたのは何かというと、1番最後のねアクノレッジメント。そこにはね、誰は何をやったかっていうのはずらっとこう人の名前が書いてあるわけ。それねコンピューターに読ませて、それをAIにかけて、これで何人おるんやって聞いたらね、109人だって言うわけ。
で、名前を見る限りですね、いわゆる純粋のねあのアングロサクソン的な名前よりもね、なんか中東だとかね中国だとかなんか外国人の名前。
うん。
が多いんですよね。
うん。
でDeepMindって1000人ぐらいおると思うんだけど、そん中の109人ほど。さらにあの、それは他のそこでメンションされてるチームは含む含まないから、この109名は最低だってこう書いてあるわけよ。つまりね何を思ったかっていうたらね、こういうね、PHDクラスでしょ、ドクタークラスの頭のいいピカイチの人をね、その1つのプロジェクトのために最低109人投入してるわけよ。
うん。
日本はそれだけの人材がおるかってのが僕は疑問になってるわけです。
うん。
やっぱりねそれだけ育てるかね。アメリカとかイギリスならね金で呼び集めるわけじゃないですか。
うん、うん。
だからそこがね、純粋の日本人だけでねそんな人材がまずいないよねって。これね、もし潤沢な金があって集めたらね、僕みんな中国人になるんじゃないかっていう気がしてるんです。
うん。
というの自分がね京都大学であの、これちょっと前の話だけど、中国人のあの準教授の先生に呼ばれてね、ゼミやってくれっていうわけよ。AIに関する勉強会やってくれって。参加者見渡したらですね、日本人は僕1人で、来たのみんな中国人の学生。
うん。
だからこれほどねなんというか、今はもうそうじゃないかもしれませんがね、日本人は内向きになってるなっていう気がしたけどね。
コメント