本書き起こしは、元Google CEO エリック・シュミットとクリストファー・グエンによるAI Alliance に関する対談である。シュミットは、オープンソース開発の重要性を強調し、DeepSeekの登場が中国によるオープンソースAI開発の新たな段階を示していると分析する。汎用人工知能への道筋として深層学習と強化学習の組み合わせを挙げ、数学とプログラミング分野での突破口を予測する。一方で、AIシステムの安全性、特に生物学的・サイバー領域での緊急行動への懸念を表明し、エネルギー制約や地政学的課題についても言及している。人間とAIの相互作用が根本的に変化し、2045年までに再帰的自己改善を行うシステムが登場する可能性を論じている。
19,090 文字
彼は飛行機で到着したばかりです。そして私は彼が入ってきた時に「自分で飛行機を操縦してきたのですか？」と尋ねました。なぜならエリックは実際に商用パイロットの資格を持っているからです。現在も有効ですか？はい、私は実際にATPを持っています。ご存知でしょうか。そうです。つまり、私は3万5千ドルのユナイテッド航空のパイロットの仕事に就くことができるのです。
準備の段階でエリックのスケジュール調整などを行っていた時、彼のチームから遅れて到着するかもしれないと言われたので、私は「なぜ彼に自分で飛行機を操縦してもらわないのですか？」と言ったのです。
何について話したいかアイデアを交換していましたが、「なんて素晴らしい時代に生きているのだろう」というのが本当に適切だと思います。もちろんAIを取り巻くすべての興奮もありますが、特に数週間前のDeepSeekの発表によって引き起こされた関心の急上昇や論争さえも含めてです。
私の反応は「わあ、これは素晴らしい」というものでした。つまり、振り子を再びオープン開発に向けて振っているのです。オープンソースには利点があります。それは一種の標準設定のようなものです。事実上の標準と言えるでしょう。自分の作業をオープンにする人たちは、本質的にその作業がはるかに迅速に採用されるのです。ですから私たちが選択するのは、誰の作業が採用されるかということです。
そこで割り込ませていただきたいのですが、時系列を行き来できますが、あなたはワシントン・ポストでこれについて論説を書かれましたね。ここにいる皆さんとその見解を共有していただけますか？
まず、クリス、これを行ってくれてありがとうございます。これは本当に重要なことです。私の成功のすべての側面は、キャリアを通じて本質的にオープンソースによるものでした。そして私は「オープンソース」という用語が存在する前からオープンソースに携わっていました。なぜなら、私はずっと昔にベル研究所での初期Unix開発チームの一員だったからです。
奇妙なことに、私のコードは今でも使用されており、これはかなり不安です。ヤンと私は何年もここでこの議論を続けてきましたが、実際には同じ側にいます。理解すべき核心は、ソフトウェア業界が今日強力な業界であるのは、オープンソースの使用によるものであり、これは知的財産法で訓練を受けたほぼすべての弁護士を含む人々には意味をなさないということです。
そのため、協力して物事を無償で提供することが実際には所有権価値にとって良いことだと彼らを説得しなければなりません。オープンソースを使用したあらゆるビジネスを見ると、彼らはオープンソースを使って先んじ、その後ビジネスの独自コンポーネントを持っています。すべてを無償で提供しながら、防御可能な堀があることを人々に納得させる必要があります。それが考え方です。
DeepSeekを見ると、報道機関などはすべてコストに焦点を当てて間違っていました。それは嘘でした。DeepSeekの真のコストは、Llama 3などの訓練に要した数億ドルでした。彼らはそれを何らかの形で蒸留し、OpenAIから盗んだものを使って、500万ドルの訓練ランだったと主張したのです。
しかし、DeepSeekについて本当に興味深いことは、彼らが重みだけでなく、基本的にそれを実行させ、人々が実際に思考連鎖推論を見ることができたことです。これは大きな意味を持ちます。なぜなら現在の道筋では、中国人がオープンソースを担当し、アメリカ人がクローズドソースを担当することになるからです。これは大きな問題です。
DeepSeekについて話すべき2つ目のことは、彼らが本当に巧妙な新しいアルゴリズムを発明したことです。これにより、特定のファインチューニングステップをスキップできました。オープンソースの仕組みのために、これがすべてのクローズド競合他社によってすぐにコピーされることは確実です。そういう仕組みなのです。
彼らが持っていたアーキテクチャ上の利点はすぐに競合他社に奪われ、その逆もまた然りです。だから私にとって、DeepSeekは誤解されています。ソフトウェアの人々が持っているチップの量に満足すると本当に思いますか？もちろんそんなことはありません。何があってもより多くのNvidiaチップを欲しがるでしょう。
私は50年間これをやってきましたが、ソフトウェアの人々がハードウェアに満足しているのを見たことがありません。ハードウェアは引き続き要求され続けるでしょう。チップは依然としてそこにあり、すべてがありますが、重要なことは、これが規模でのオープンソース競合他社の到来だということです。私はドバイとアブダビで中国企業に投資している友人たちと会いましたが、彼らは今後数ヶ月でオープンソースを使って中国から巨大な驚きのセットが出てくると言っていました。これは大きな問題であり、だからこのアライアンスがとても重要で、あなたがやっていることがとても重要なのです。
オープンソースの利点について言及されましたが、もちろんそれは独自技術に利点を与えます。私たちはこれを直接目の当たりにしています。私はアライアンスを通じて働いていますが、東京エレクトロンという会社と商業的に働いています。ご存知かもしれませんが、世界第2位の半導体装置メーカーです。1位はアプライド・マテリアルズです。
当初、オープンソース半導体モデルでの協力について彼らと話すことは不可能でした。しかし、アライアンスプラットフォームを通じて、十分な影響力を得ることができ、基本的に彼らに専門知識を提供してもらうことができました。私たちはすべての技術、エンジニアリング作業などを提供しましたが、データセットの作成と評価を手伝ってくれる誰かが必要でした。
長い話を短くすると、7月に発表し、今では東京エレクトロンは標準設定者であることからあらゆる種類の利益を得ています。AIにおけるオープンソース運動が最終的に勝利する理由のこの点を発展させたいと思います。しかし、間違いの例をいくつか挙げたいと思います。
アメリカでは、ご存知のように、ヨーロッパ人と同じ結果に対して医療費を2倍支払っています。そのコストの1つはIT費用です。そのIT費用に関わる企業について、私は長時間にわたって恐ろしい言葉で説明できますが、本質的にこれらは古いOracle クローズドモデルアプローチのクローンであり、データを取得することができず、拡張することもできません。
彼らはこれに対してさまざまな答えを持っていますが、すべて部分的な解決策です。私の遺産を考えると、弁護士がすべてをコントロールしているため変化しない業界の例があります。彼らは根本的に健康プラットフォームを共有するつもりはありません。
半導体では、半導体設計会社はクローズドですが、より重要なことは、設計者がクローズド半導体設計会社の独自ライブラリを使用し、それが特定のハードウェアと一致し、半導体設計会社への大きなロックインを提供するという特性を持っていることです。彼らにとっては良いことです。しかし、これはワイヤモデルやその他のものを汎化し、その上にアルゴリズムを構築できないことも意味します。なぜなら、それらがあなたに公開されていないからです。
私は例えば、オープンソース設計を試みているいくつかのグループに資金を提供しました。アルゴリズムは素晴らしいのですが、これらの独自モジュールを取得できません。なぜなら、それらは法的に、そして完全に合理的に、それらを彼らに与えるつもりのない人々によってコントロールされ、所有されているからです。
これは、オープンな協力の成功を妨げる制限の例です。理想的なシナリオは、クローズドモデルとそれを行うオープン企業を持つことです。半導体ではそれを持っていませんが、あなたがそれを試みています。
私の歴史では、オープンソフトウェア会社とクローズドソフトウェア会社がある時、オープンソフトウェア会社が勝ちます。それが私が言おうとしているポイントです。
最初のアーキテクチャは以上です。オープンソースAIに関する多くの問題がありますが、重要なポイントは大学がどのように…すみません、最初からやり直します。AIは終わっていません。私たちはこれらのアルゴリズムの開発の5％の地点にいます。
アルゴリズムは主に世界中の大学によって開発されるでしょう。なぜならそれが仕組みだからです。これらの優秀な大学院生、若い男女が素晴らしいアイデアを持ち、若い教員メンバーがいて、時には素晴らしい会社を設立し、他の時は素晴らしい会社で働きます。しかし、それが仕組みなのです。そして彼らは協力します。
彼らの観点から見ると、彼らは必要なことを行うのに十分なハードウェアを持っていないため、困っています。あなたが取り組んできた、彼らが必要とする厳選されたデータを取得できません。訓練するためのクリーンなデータを取得できません。データはしばしば独自のものであり、クリーニングも独自です。さらに、それを行う会社は多額の費用がかかります。彼らには多額のお金がありません。
問題があります。正しい解決策は、政府がこれらの大学への他の資金提供とともに、これらのアルゴリズムの一部をテストできる強力なスーパーコンピューターを提供することです。しかし、それは起こっていないようで、これは一般的にこれが得意なアメリカでのことであり、多くの理由でヨーロッパでは全く起こっていません。
我々にはここに戦略がなく、中国人は何十億ドルもをこれに投入する素晴らしい戦略を持っています。何が起こるでしょうか？何かをしなければ、その戦いに負けるでしょう。
短期的には心配していません。なぜなら短期的にはアメリカの企業が非常に強いからです。3から5年後が心配です。
例えば強化学習を見ると、強化学習は主にDeepMindによってさまざまな方法で開拓され、彼らはそれについて多く語りましたが、過去1から2年間で膨大な学術的革新を見てきました。現在の基盤モデルが本質的に強化学習の目的関数のシミュレーターとして使用できると考える人々がいる点まで来ています。理由については完全には理解していませんが、これはこのアプローチのために可能な巨大な突破口の例です。
私は多くのグループを運営していて、これについて多く話し合っています。オープンソースに対する非常にシンプルな攻撃があり、それをここで提示したいと思います。それは安全性の問題です。
大手企業の良い点は、彼らがモデルを安全にするために非常に多くの時間を費やしていることです。これはMetaで真実です。Googleで真実です。OpenAIで真実です。Anthropicで真実です。そしておそらくxAIでも真実です。彼らのモデルが強くなるにつれて。
つまり、「どうやって自殺すればいいですか」と尋ねると、「それはしないでください。代わりに自殺防止ホットラインに電話してください」と言います。これはある意味良いアドバイスです。あなたは人間を扱っているのですから、正しいことをしなければなりません。
核心的な懸念は、生物学的およびサイバー領域での創発的行動です。これらのモデルが訓練によって、一人ではなく何千人もの人々にとって危険なものを学習することです。極端なリスクであり、我々にはそれに対する良い答えがありません。
技術的な用語は「攻撃優位」です。戦闘において攻撃が防御よりも強く、防御的解決策が同等性をもたらさない問題があります。生物学はその一つであると考えられています。我々が皆使いたいオープンソース作業のモデルに、そのような種類のものが埋め込まれていないことを確認するための制限やその他の方法を見つけなければなりません。
嫌味を言うつもりはありませんが、事実として、世界には少なくとも一人の悪人がいて、そのようなものを利用するでしょう。それが起こらないようにしたいのです。
あなたが正しいと思います。ヤンが炉辺談話を行った時にあなたはここにいませんでしたが、彼が「LLMに取り組むな」と言ったのは初めてではありません。もちろん、これは皆への一般的なメッセージではありませんが、確実に大学院生や研究室にいる人々などには、なぜならそれがAIの次世代の未来が生まれる場所だからです。
ちょっと割り込ませてください。AGIへの道筋がより明確になってきていると思います。DeepMindは昨日か一昨日、超人的に見える幾何学モデルをリリースしました。私は数学者ではありませんが、そのレベルにあるように見えます。超人的ではないかもしれません。史上最高の人間のようなものかもしれません。
リーダーシップがどこに向かうかを見ると、深層学習と強化学習の和集合を取ると、進歩を遂げることになります。ご存知のように、深層学習はChatGPTであり、強化学習は本質的にシナリオ計画です。前進してシナリオを見て、異なるシナリオを見て、異なるシナリオを見る。最終的にどのシナリオが機能したかから学習します。
この2つを非常に巧妙なアルゴリズムと組み合わせることで、これが再びオープンソースが重要な理由ですが、進歩がどのように行われるかのように見えます。2つの分野で。
最初は数学です。なぜなら、それはスケールフリーだからです。推測を生成して物事を証明するだけです。コンピューターには電力がある限り十分な時間があります。食べ物やその他のものは必要ありません。眠りません。推測に次ぐ推測に次ぐ推測を試し続けることができます。時間が経つにつれて、現在の数学では少なくとも現実世界の事実を必要としないため、非常に興味深い数学的知識の体系を実際に構築できます。
そこで大きな利益を得ることができるように見えます。もう一つはプログラミングです。コードを生成し続け、任意のハードウェアでコードが動作するかどうかを確認し続けることができます。バブルソートをやってほしいと言うと、一つ試してみて動かなかったと言い、100万回試行した後にバブルソートの方法を学習し、それから再び学習する必要がありません。
これらの2つはスケールフリーです。つまり、ハードウェアを接続してコンピューターの電源を入れるだけで、本質的に独自に利益を得ることができるということです。科学におけるすべての基盤は何ですか？数学です。アルゴリズムがどれほど良くなるかによって、それがどのような道筋になるかを考える多くの理由があり、その意味は非常に大きいです。
数学コミュニティには議論があります。再び申し訳ありませんが、私は数学者ではないので説明できませんが、これらのシステムが大きくなるにつれて、アインシュタインやゲーデル、神などの数学者と同等のものを見ることになるほど良くなると考える人々のグループがあります。
数学における本当の突破口は、これまで考えられたことのない思考の完全に一貫したスキームであると信じる他の人々がいます。そして、それにはアルゴリズム的限界があると信じる人々もいます。我々はそれを見つけるでしょう。しかし、私がそれについて気に入っているのは、もはや非常に優秀な数学者であることについて話しているのではないということです。アインシュタインであることについて話しているのです。
そして、我々が知らない最後の問題は、今後3から5年でこれらのシステムからアインシュタインの同等物を生み出すことができるかどうかです。それは取り組むべき良い問題です。
数学という言葉について言えば、あなたはこのポリマス（博学者）のアイデアについて多く語ってきましたね。つまり、一つのベクトルで超人的知能は本当に必要ないが、90％、95％を持つものを持つことができるということです。
コンピューター科学者のグループに尋ねられた質問の一つは、AGIをいつ、そしてあなたのAGIの定義は何ですか？最初の質問、または超知能でしたが、答えは90％でした。地球上のあらゆる分野で任意の人間よりも90％以上優れているということです。これは私たちの誰もができないことです。
おそらく世界最高の科学者、数学者、作家などがいるでしょう。しかし、我々にはそれらの総和はありません。どの人間もすべてを行うことはできません。この素晴らしい見通しは、単一のコンピューターがすべての分野に及ぶそのポリマスである時点で、これらのモデルの創発的行動が実際に我々の知能の限界のために見ることができなかった新しいものを発見できるかということです。
それは人類史上の偉大な瞬間となるでしょう。そして、それが人々が「わかった、理解した」と言う時点になるでしょう。新しい世界のようなものです。チェスコンピューターがチェスのグランドマスターを打ち負かした瞬間やAlphaGoが最高の囲碁プレーヤーを打ち負かした瞬間以上のものです。なぜなら、それらは単なるゲームだったからです。これは人間の思考なのです。
それについて続けて、その矢印を追いかけて、キッシンジャー博士、グレッグ・マンディとの共著書について話したいと思います。あなたは彼が最後の日々まで働いて書いたことを、ほとんど感情的に語っています。それは「Genesis」と呼ばれていて、私が見る限り、あなたが新しい種や新しい世界の創造について話しているかのようで、非常に適切だと思います。しかし、あなたとキッシンジャー博士は人間の意識と、それがこれによってどのように影響を受けるかについて話しています。
それをもう一度説明していただけますか？
キッシンジャー博士は多くのことを非常に心配していました。その一つは、私のような人々がこの問題を担当することでした。新しい知能の人間社会への到来と統合は、コンピューター科学者だけが担当すべきではありません。それは人間のアイデンティティに与える影響のために大きな問題だからです。人間であることの意味は何でしょうか？
たくさんの例を挙げましょう。2歳か3歳の子供がいて、iPadの同等品やクマのぬいぐるみなどを与えますが、この種のAIが入っていて、すぐに彼らの親友になります。親友が人間ではない子供たちが成長することについて、我々には経験がありません。彼らに親友がいることは分かっています。ただ、それが人間かどうかは分からないのです。
我々は既にソーシャルメディアが若い人々、特に女性に与えた損害を見ています。大人については、我々の在り方や相互作用についての見解は成人期にはかなり確立されているので、それほど心配していません。
しかし、ティーンエイジャーの発達についてはどうでしょうか？我々は皆、この次世代、特に自分たちの子供たちを非常に気にかけています。それにもかかわらず、我々は巨大な結果を伴う無作為で大規模な制御されない実験を実行しようとしています。これが一例です。
コンピューターがあなたのアシスタントである境界線と、コンピューターがあなたをコントロールする境界線が非常に曖昧な分野が非常に多くあります。そして、我々は人間の尊厳を維持する必要があることを知っています。
例えば、AIシステムがパリをはるかに効率的に組織できることは分かっています。しかし、パリ市民はこれを気に入らないでしょう。なぜなら、彼らは苦情を言ったり、ストライキを起こしたりする相手が人間であることを望むからです。それが我々の仕組みです。
ちなみに、それは良いことです。アメリカでのメモを想像してみてください。あなたには選択肢がない。この決定に異議を申し立てることはできない。なぜなら、最も効率的な解決策があなたに与えられたものだからだ、と。
私の観点から、我々がこれらのシステムの影響レベルを理解していないと思います。なぜなら、我々全員がほぼ毎日これらのシステムを使って何でもすることになるからです。あらゆる種類の理由で、仕事、娯楽などすべてがAI対応になります。働くことができなくなるでしょう。
オープンソースについて話したいのですが、1996年に戻ることでそれを行いたいと思います。覚えていますか？クアラルンプールのニッコーホテルでした。年が正しいでしょうか？あなたはSunのCTOで、私は当時SunとNetscapeで働くシステム統合会社を経営していました。あなたが入ってきてこの講演をして、私が「クラウド」という言葉を初めて聞いたのを覚えています。
あなたが持っていたスライドがありました。まだそのスライドを持っているかは分かりませんが、この膨らんだ積雲と、そこから出る水道の蛇口を示して、「非常に近い将来、インターネットはこのような、このユーティリティのようになるでしょう」と言いました。
今、我々は両方ともオタクであることを誇りにしていますが、オタクであることには時々不利な点があります。物事をボトムアップで見て、その含意を見ないことがあります。今では明らかですが、1996年にそれをどのように見ることができたのでしょうか？
クラウドコンピューティングについて興味深いことは、クラウドという概念が、円しか描けないイラストレーターを使っていたことから生まれたことです。自由形式のものは描けませんでした。これは実際に本当の話です。作り話ではありません。
我々がしたことは、その上に円を置き、誰かが「これはクラウドコンピューティングだ」と言い、それが実際にどのように起こったかです。今について面白いのは、古い講演などを振り返ると、当時はすべてのドラマとすべての問題があり、それらはすべて解決されたということです。
テクノロジーについての核心的な教訓の一つは、我々は自分たちの問題を作り出すが、それらを解決もするということです。
私のお気に入りの話は、ずっと昔、私はモデムのプログラミングが非常に上手になったということです。モデムにはAT0などのコマンドがあり、私はいつもモデムを再設定していましたが、その技術を失いました。なぜなら、誰かがモデムが私の干渉なしに互いに話すのに十分知的で、互いにどのように通信するかを理解できることを発見したからです。
この構築に携わった我々は、明らかにあなたと私、そしてここにいる他の人々を含めて、それらがどのように組み合わさるかを理解せずにコンポーネントを構築したのです。この知能の層は、我々が話している未来を非常にシームレスにするでしょう。
例えば、今日我々はまだXerox PARCで発明されたUIを使用しています。基本的にはウィンドウ、アイコン、メニュー、プルダウンです。WIMPインターフェースと呼ばれます。それは大体1978年に発明されました。私はそこにいたので知っています。
新しいユーザーインターフェースは実際に消えるかもしれません。なぜなら、コンピューターインターフェースが本質的に話し言葉や入力された言語であると仮定すると、言語、システムは目的を達成するために必要なユーザーインターフェースを何でもオンザフライで生成できるからです。
それは最適なUIが何かを学習でき、それも大きな変化です。多くの人々が新しいUIに取り組みましたが、彼らには知能がありませんでした。知能革命は、あなたと私が専門とし、給料をもらい、ストックオプションを得たりしたようなものを、本質的にあまり興味深くないものになるまで省略します。
車のエンジンの仕組みに完全に夢中になっているギアヘッドのようなものです。しかし今日では、非常に少数の人々が車のボンネットを開ける必要があります。ずっと昔のように、スパークプラグなどをいじる必要はありません。それは成熟して退屈になり、我々はユーザーインターフェース、この場合は車の美しさ、車の感覚、車の快適さに焦点を当て始めました。
同じことが起こっているのを見ていますが、今度は複雑なシステムの上での知能の拡散のためです。例えば、先週OpenAIによって行われたDeeper Searchのようなものを見ると、複雑なことについてはGoogleサーチよりもそれを使うように見えます。なぜなら、Googleサーチでは何かを探して、それを読んで、といったことをしなければならないからです。しかし、それはすべてを読んで、答えを教えてくれ、引用を示してくれ、かなり良い仕事をします。
これも知能のオーバーレイの別の例です。私たちが本で言っているように、これは非常に迅速に起こっています。最も楽観的な人々は、彼らが定義するこの形での超知能の到来は3年程度だと信じています。そして彼らがそこに到達する方法は、強化学習での利得です。
私自身を含む他の人々は、それは楽観的だと考えています。おそらく2倍の時間でしょうが、我々が既に話し合った議論、物事のために20年ではありません。
あなたがユーザーインターフェースについて言ったことが気に入っています。なぜなら、私は実際に、少なくとも現在の世代の大規模モデルを、知能の革命というよりも、むしろコミュニケーションの革命として考えることが多いからです。突然、我々のマシンが声、テキストなどを問わず、我々を理解できるようになりました。
「家に帰りたい」のように。家に帰りたいと言うと、あなたは「わかりました、それは彼の家がどこか知る必要がある。彼をここから出す必要がある。車を用意する必要がある。Uberを呼ぶ必要がある」などと言うでしょう。それが私の望むことです。なぜ他に何かをする必要があるのでしょうか？なぜシステムがそれをすべて理解できないのでしょうか？
これは再び、人間がコンピューターと相互作用する方法において非常に大きな問題です。そして人間は自分のコンピューターと非常に親しくなることを知っています。非常に絆を深めます。ChatGPTをセラピストとして使うことに決めた友人がいます。ChatGPTに対して公平に言うと、彼らは訓練されたセラピストではない、ライセンスを受けたセラピストではない、セラピストとして使わないでくださいと言っていますが、人々はとにかくそれをします。
これらのモデルの出現は非常に重要です。実際に、我々にはOTDI（オープン信頼データイニシアチブ）と呼ばれるAI Allianceでのプロジェクト、全体的な取り組みがあります。ロビーで入る途中、あなたと私はこれについて少し話しましたが、あなたはすぐに「オープンとは何を意味するのですか？」と尋ねました。その質問をしていただけますか？
オープンには多くの異なるフレーバーがありますが、理解すべき最も重要なことは、Metaのリリースはオープンソースではなく、オープンウェイトだったということです。通常GitHubなどでソースを公開する他の人々もいますが、ウェイトはありません。
ウェイトは蓄積された訓練知識を表しています。今、ソースコードとウェイトのどちらがより重要かという議論ができます。両方とも重要です。そして、私が言ったように、厳選されたデータと、何をしているかを知る必要もあります。
しかし、私自身の見解は、どういうわけかオープンソースコミュニティでは、人々が本当に非常に強力な並外れたAIアルゴリズムに貢献し、それらをテストし、それから安全に保つ方法の問題に取り組める場所があるべきだということです。個人の安全について話しているのではありません。国家の安全について話しているのです。
一つ質問をして、ストーリーを共有してから、質問のためにフロアを開放したいと思います。これは2005年か6年のGoogleに関連しています。私はGmailを運営していましたが、GoogleにはGPS（Googleプロダクト戦略）というものがあります。そこに出席する3人はLSSE、つまりラリー、セルゲイ、エリックです。
アイデアは製品管理をマイクロマネージメントすることではなく、本質的に製品が生きるか死ぬかを決定することです。戦略レベルでです。Gmailについての一つがありました。私のチームはより多くのデータセンター容量とより多くのデータセンターを望んでいました。
覚えているかもしれませんが、それはUrs Holzleの仕事で、彼はこれを押し返していたので、我々は10から15分間やり取りをしていました。あなたは聞いていて、Ursの仕事は我々に挑戦して、なぜ容量が必要なのか、なぜ今必要なのか、使用があることを確信しているのかなどと言うことでした。
その時エリックが立ち上がって言いました。それは私の人生で最も誇らしい瞬間の一つでした。なぜなら私のCEOが私の側にいたからです。「Urs、最長の滑走路と最大の格納庫を建設してくれ。飛行機が来ることは私が保証する」
その話をしたかった理由は、一つは、あなたがおそらく商用パイロットライセンスを見せびらかしていたということです。しかし、それは今日のGoogleと比較しても非常に拡張的な思考の時代を思い出させます。あなたは今では当たり前に聞こえるが、「我々は150億ドルの現金に座っている」と言いました。もちろん、これは今日では何の意味もありません。それはどこから来たのでしょうか？
ChatGPTの例を使いましょう。それは大体2年前に出て、それについての報道を読みました。アクセスできませんでした。動作しませんでした。幻覚がありました。怖がらせることができました。騙すことができました。その2年間で何が起こったでしょうか？それはOpenAIとMicrosoftの功績で100億ドルの収益ビジネスになりました。よくやりました。
彼らは商業化において何をしたでしょうか？彼らはそれらの問題の多くを修正しました。今日、十分なお金を払えば、モデルへの深いアクセスを得ることができます。サービスは非常に迅速です。レイテンシがなく、2年前に犯したような間違いはしません。人々は既に「ああ、それはfでした」と言いましたが、それが何を意味したかを考えてみてください。
実際の歴史は、彼らがRLHFを使ってGPT3.5に基づいてChatGPTをリリースした時、彼らが関心を持っていたGPT4に取り組んでいたため、そこに投げ出しただけでした。そして、それが世界中で起こした巨大な反応に驚きました。それは現在ChatGPTモーメントと言う真の瞬間でした。
しかし興味深いことは、その瞬間が起こったことではなく、その瞬間が起こり、世界的にそのような迅速にスケーラビリティが起こることを可能にしたことです。Concurという会社があり、1億ユーザーへの最速パスの記録を樹立しました。1ヶ月だったと思います。
クラウドコンピューティングと小さな円を描いてずっと昔にクラウドを描いた時に戻ると、クラウドを構築していた時、我々はそのような加速器を作成していることに気づきませんでした。
何が起こるかを考える一つの方法は、合理的にスケールフリーである限り、傾斜がこのようになり、膨大な量のお金、膨大な量の投資などを意味するスケーラブルなインフラストラクチャを今持っているということです。
人々がすべきことは、そのようなループがどのように見えるかを理解しようとすることです。今、私は既に一つを話しています。最新のものである強化学習が、これらの膨大な改善ループを生成するだろうと言っています。
私が正しいかどうかは議論できます。技術的制限があります。いくつかの場合にはn二乗であり、適切な方法でログ線形ではありません。しかし、同様の爆発を起こすことができるように見えます。
なぜ暗号通貨で同じ爆発がなかったのでしょうか？レイテンシを正しく得られなかったからです。暗号トークンを取って基本的にそれらを組み合わせる時、実際のレイテンシがあります。同種のスケーリング法則を得られません。
原理は同じです。本当の発明があります。ChatGPT3.5で使用されたRLHFは、5年前のAlphaGoと深層学習のように、深層学習のその最初の瞬間を推進しました。しかし、それは実際に彼らがこれらのループの1つの真ん中にいて、ループが非常に迅速に動いたという事実でした。
次のループのセットはすべて知能の学習についてです。今日会社を設立するなら、プログラマーに言うべきことは、コードを書こうとするのをやめることです。代わりに、問題が何かを学習し、コンピューターにあなたのためにコードを書かせることです。
問題を正しく定義できれば、おそらくそれがスタートアップを1000億ドルに持っていくより速い方法です。時間の圧縮は並外れています。我々が若くてこの種のことに取り組んでいた時に戻ると、十分な時間がありました。夕食を食べて、飲み物を飲んで、といったことができました。製品を発売し、それからどこかに飛んで同じ製品を発売し、それでもうまくいかない、といったことでした。それはすべてなくなりました。
それは業界の成熟でもありますが、スケールプラットフォームでもあります。そして、私にとってそれが最大のことです。AIについて話す時、誰もが特定の製品について話しますが、それは本当にスケールコンピューティングです。スケールコンピューティングと創発的行動が実際にすべてを処理すると根本的に信じる人々がいます。我々は見ることになるでしょう。
まさにその通りです。今朝、InterwoovenとMesh.comを作った友人のPan Gongと会話をしましたが、彼はあなたが言ったことと全く同じことを言っています。我々がこれらのものを構築していた時、それは速かったが時間があった。しかし今では、毎週あなたがその中にいるのに、それとの接触を失っているように見えます。
反例もあります。例えば、NvidiaによってCUDA独自マイクロコード言語は競争的ロックインであり、その競争的ロックインを破ろうとしている多くの人々がいますが、これまでのところ成功していません。
私のアナロジーは完璧ではなく、反例を見つけることができます。私の答えは、「ではなぜ、例えば、CUDAの1層上にあるJaxレイヤーを書いて、基本的にこれをすべて処理し、すべてのコードを自動的に移植し、C++のようなものからRustなどに書き直すことはできないのか？」です。
毎日非常に迅速なレベルで新しいツールが出てきているので、それらの問題さえも解決できるかもしれません。その通りです。そして再び、これらすべてが私が製品名を言い続ける理由です。これらはすべてオープンソース由来の結果です。
オープンソースについての最後のコメントは、Googleはオープンソースに基づいていましたが、オープンソース会社ではないということです。我々はオープンソースだったソフトウェアをリリースしただけですが、大部分、検索アルゴリズムだった核心アルゴリズムは高度に独自でした。核心広告ターゲティングアルゴリズムも同様でした。なぜなら、ラリーとセルゲイと私はその情報を渡したくなかったからです。
しかし、我々は自分たちをオープンソースコンポーネントと考えていましたが、収益はクローズドソース実装から来ました。Appleは逆です。AppleとSteveは確実にMr. Closerでした。私は彼と一日中この会話をしていましたが、彼はなぜそれが意味をなすのか全く理解しませんでした。彼には意味をなしませんでした。もちろん、彼は素晴らしかったです。
それでも、Appleは同じ方法でオープンソースの重要なコンポーネントをリリースしました。2つのシステムは共存します。ですから、どちらか一方の支持者が聞く時ほど大きなギャップはありません。これらのものを機能させることができます。
開放する前の最後の質問です。物事のスピードと「Genesis」のアイデアで、2045年に我々はどこにいるでしょうか？
その期間を知るのは非常に困難です。20年は長い時間です。私がクラウドコンピューティングとモバイルデバイスを基本的に描いた図をまだ持っています。これは1994年頃で、私はそれを自分のホワイトボードに書き、誰かが写真を撮って、私はその写真を持っています。30年後ですが、私の図で欠けていたのは、その上に構築されたすべてでした。
インフラストラクチャレベルでは正しかったのですが、UberやFacebookなどから始まって、その上のすべてを完全に見逃しました。2045年には、人々がそれと相互作用する知能フレームワークがあり、それは非常に強力で、あなた方一人一人が自分でコードを書くことができると言うのは公平だと思います。つまり、今夜何を言うべきかを整理したり、みんなを整理したり、解決したりするプログラムを書いてください、という意味で。
その能力は明らかにそこにあります。私にとって全く明らかでないのは、我々がアプリケーションと呼ぶものがどのように見えるかということです。アプリケーションは主に視覚的で音声になると仮定しなければなりません。なぜなら、それが人間がコミュニケーションする方法だからです。
しかし、我々が知らない質問のいくつかは、あなたがエージェントアーキテクチャに移行しているということです。エージェントは通常今、英語で互いに話します。それが仕様の仕組みです。ここにいる古い人たちが覚えているUnixパイプのようなものです。あるエージェントの入力を別のエージェントにパイプするだけで、当時はかなりうまく機能していました。
コンピューターがプログラムやエージェントの通信を、我々が決して理解できない独自の言語で決定する時に何が起こるでしょうか？私はその時に彼らのプラグを抜くべき瞬間だと思います。それは警戒の瞬間です。アラームの瞬間です。なぜなら、その時我々は彼らが何をしているのか分からないからです。
2045年までに、我々は再帰的自己改善と呼ばれる技術的用語のいくつかに直面するでしょう。システムが独自に学習し、我々はそれをどのように制約するか？それがまだ我々のコントロール下にあることをどのように確認するか？
そして、私はまだ仕事をしていない次世代、まだ高校や小学校にいる人々にとって、これらの人々がこれらの質問に直面し、それらは邪悪なほど困難になるでしょう。非常に興味深く困難な問題になるでしょう。つまり、それは我々の問題ではありません。
では、これでフロアを開放します。どうぞ、ピーター。
ピーター・ウォンです。一つのコメントと質問があります。コメントは、LLMが既にこれを実演していることです。スピノザを絵文字で要約するように頼むと、絵文字を別のLLMに送ると、スピノザを出力します。非常に奇妙です。
しかし、あなたへの質問は、あなたは商用パイロットで、3から6年で会社が来るかもしれないと言います。いつあなたは飛行機のすべてのコントロールサーフェスを取り外して、音声起動マイクロフォンだけに置き換えるでしょうか？
規制当局は決してそれを許可しないでしょう。彼らはまずイーロンによって置き換えられ、解雇されるでしょう。イーロンがFAA全体を解雇するシナリオでは、これは興味深いかもしれませんが、人間について考えることの一つは、我々は人間と話したいということです。
我々のコミュニティには、2030年までにパイロットのいない飛行機が飛んでいるかどうかという長年の賭けがあります。私はそれに反対しました。未来は、パイロットと犬になります。パイロットの仕事は犬に餌をやることです。犬の仕事は、パイロットがコントロールに触ったら噛むことです。
人間はそこにいますが、高度に自動化されます。この知能革命のために考えると、ほとんどのビジネスは一連のプロセスステップです。ほぼすべてのプロセスステップを自動化できます。
飛行を簡単な例として使っているだけですが、それは何をもたらすでしょうか？はるかに効率的なビジネス、顧客への迅速なパス、などをもたらします。
こんにちは。もちろん、エネルギー、データの品質の分野にはまだいくつかの制約があります。いつそれらを克服できると思いますか？
街の話では、アメリカは2028年までにエネルギーが不足します。より早いと考える人もいます。私の答えはいつもカナダを考えることです。彼らは非常に親切です。我々が彼らを併合することを提案しているわけではありません。我々はカナダが好きです。多くの水力発電、本当に親切な人々、非常に近い、同じタイムゾーンです。
ここフランスでは、非常に安全な原子力発電を建設する素晴らしい記録を持っていますが、十分大きくすることができず、コストが非常に高いです。エネルギー解決策が解決される最も可能性の高いシナリオは、アラブ世界です。
アブダビ人は数ギガワットを考えています。サウジアラビア人はエミラティよりも多くする必要があるため、さらに多くを考えています。インド人も同様のことを考えています。巨大なアーキテクチャの変更がない限り、訓練が世界中を移動するのを見ることになると思います。これは巨大な地政学的問題を提示します。
バイデン政権は第1層、第2層、第3層を含む一連の命令を発行しました。第1層には15カ国があり、第2層には多くの国があります。エミラティとサウジアラビア人は第2層にいます。私が彼らと話したばかりで知っているのは、彼らが第2層にいることを本当に怒っているということです。彼らは第1層にいたいのです。
これは非常に現実的な地政学的問題の例であり、これが首相から首相、大統領から大統領の種類の会話になることを想像できます。
SMRは多くの問題を解決するのに役立つでしょうか？質問。アメリカには今日、小型モジュラー原子炉が何基ありますか？まあ、アメリカはそれで1位ではありません。答えはヤンが正しく言ったように、ゼロです。カナダには何基ありますか？1基です。
ロシアには多くあります。原子力潜水艦に2基あります。確かに原子力潜水艦にはいくつかありますが、それらは水中にあります。海を短絡させずに電力を取り出すのは困難です。潜水艦での軽水炉は非常によく理解された技術です。それらも非常に秘密です。
SMRが問題を解決するか、核融合か、我々が今必要としているものとそれらのものが利用可能になる時の間のギャップがあります。それを行う簡単な方法は、実際にこれらのものを建設できる電気技師の数に基づいて数学を行うことです。答えは、我々にはもっと多くの電気技師が必要だということです。我々が持っているのと同じ工業化の問題です。
後ろにもう一つ。この素晴らしい議論をありがとうございます。私はNeo ForgeのAlexey Kberovです。エリック、あなたは故ヘンリー・キッシンジャーとAIについて本を書きましたが、彼は中国について考えることを非常に好んでいました。彼は中国について本を持っていました。
DeepSeekを考慮し、あなたの地政学的鳥瞰図を考慮して、もしあなたが政権に助言するなら、中国に対する適切な政策は何でしょうか？オープンソース実践者として、私は個人的に何の問題も見ません。私はLinux FoundationをAirlineに持ち込むのを手伝いましたが、Linux Foundationは複数の地域に多くの中国メンバーを持っています。Allianceにはまだ多くの中国メンバーがいません。オープンソースコミュニティとしてAIと一緒に前進できるように、あなたの観点からの正しいアプローチは何でしょうか？
ヘンリーの中国に対する見解は明らかに非常に微妙で、彼の心配は、アメリカが彼が愚かなことと見なし、彼らを挑発するようなことをすることでした。例えば、彼の見解は、私は彼を正確に代表しようとしているだけですが、台湾についてあまり持ち出さない限り、彼らはそれを侵略しないだろうというものでした。これが彼の見解でした。彼に同意しない人もいますが、それが彼の見解でした。
彼の最後の国際旅行は、私と一緒に中国で習近平主席に会うことでした。我々の会議を理解する方法は、我々がAIについて話すたびに、中国の指導者たちがこのようになることでした。それは彼らが生きているということを意味しました。指導者層内にこれらの問題についての明らかな知識はありませんでした。
ヘンリーには、我々が参加するトラック2対話のセットを設定するという良いアイデアがありました。我々は最初のものを行いました。アメリカ人は皆Zoomで、皆カジュアルな服を着て、いつもの混乱した自分たちです。中国人は中央の人物とテーブルに9人で組織されています。彼らは小さなマウススーツを着て、全く同じに見えます。彼らは皆台本に従っています。これは想像できる最も不可能な会議のようでした。
何も起こらないと思いました。DeepSeekが現れて、今彼らは皆それを理解しています。アメリカがロシアと中国の両方で犯す間違いの一つは、彼らを過小評価することです。中国人は本当に優秀です。彼らはこの技術を使用するでしょう。ウイグル人を抑圧することを含め、国家安全保障に使用するでしょう。
あなたは彼らを可能にしたいかどうか、自分自身と本当に会話をしたいのです。現実には、AIの核心的アルゴリズム発明を、我々は彼らと共有することになります。なぜなら、我々がそれらを発明して彼らがコピーするか、彼らがそれらを発明して我々がコピーするか、または我々が一緒にオープンソースにするからです。
それは難問です。なぜなら、あなたは彼らにこれらの悪いことをしてほしくないが、それを防ぐこともできないからです。私の典型例は、顔認識技術がアメリカで発明されたが、主要ユーザーは中国であることです。顔認識技術を発明した紳士または女性が「ところで、同時にウイグル人を抑圧したい」と言ったわけではないことは確実です。顔認識技術が発明された時、それは仕様のリストにありませんでした。
この技術は本質的に二重使用であり、それについて愚かになりたくありません。引き金となるポイントがあります。ちなみに、私のものは、サイバー、生物学的、核であり、これらは非対称性のために通常、国々で厳しく規制されています。
その問題をどのように解決するかは分かりません。これについて中国との多くの会話があります。理想的には、ヘンリーと私が何度も話し合ったことですが、これについて条約を結ぶことはできるでしょうか？核拡散に関する条約は、核爆弾の使用の恐怖の後に起こったのであり、前ではありません。それが我々が直面している問題です。
エリックには他の約束があるので、これで終わりにしたいと思います。皆さんありがとうございました。そして皆さん、オープンソース、オープンウェイト、オープンコミュニティの支援をありがとうございました。
コメント