11,088 文字
皆さん、Metaの創業者兼CEOであるマーク・ザッカーバーグとMicrosoftの会長兼CEOであるサティア・ナデラをお迎えします。
皆さん、また会えて嬉しいです。今日は素晴らしい一日だったと思います。たくさんの刺激的なことがありました。サティアと一緒にここに来られて本当に感謝しています。彼は紹介するまでもない方ですね。彼は、史上最高のテクノロジー企業の素晴らしい変革を実現した伝説的な人物です。
ありがとう、マーク。基本的に、AIやクラウドなどの重要な分野への推進をリードしています。あなたは常に私から見ると、オープンソース活動における友人であり、同盟者でした。これまでのパートナーシップと、Llamaエコシステムとその周辺のインフラをどのように構築すべきかについてのアドバイスに本当に感謝しています。
ここに来てくれてありがとう。もちろん、喜んで、マーク。私の最も古い記憶は、2008年頃にBingに取り組んでいた時にあなたに会ったことです。そして私が間違っていることについてあなたから大きな講義を受けたことです。今から振り返ると、さらに恥ずかしいことですが。そうですね、覚えています。
いつも覚えているでしょう。あなたは「ウェブには人が必要だ。人々を見る必要がある」と言いました。それは忘れられません。どこへ行ってもプロフィールページを持つ能力。それが私の記憶です。私を許してくれたことに感謝します。でも、ウェブには確かに人が必要なので、その点では正しかったと思います。でも今はエージェントかもしれませんね。そうですね、おそらく両方でしょう。ありがたいことです。
では、テクノロジーにおける現在のAIの成長の瞬間が、クライアントサーバーへの移行やウェブの始まりなどの過去の重要な変革を思い出させると何度か言っていましたね。それについて興味があります。
私にとっては、クライアントが生まれようとしている時に育ちました。Windows 3の直後にMicrosoftに入社し、クライアントサーバーの誕生、そしてウェブ、モバイル、クラウドを見てきました。そして今回が4番目か、数え方によっては5番目の変革といえるでしょう。面白いのは、こうした移行が起きるたびに、スタック全体が再検討され、原点に戻って構築し始めるということです。例えば、2007年頃から構築し始めたクラウドインフラストラクチャの形は、トレーニング用のコアストレージシステムとは異なります。またトレーニングのデータ並列同期ワークロードは、Hadoopなどとは非常に異なります。こうしたプラットフォームのシフトごとに、テクノロジースタック全体を再考する必要があるというのが、私たちが時々直面するものです。
それは既存のものから成長します。ウェブはWindowsの上に生まれましたが、それをはるかに超えていきました。今回のことも同様に考えています。そうですね、理解できます。あなたは、物事がより効率的になるにつれて、それがどのように機能するかが変わり、人々はそのサービスをより多く消費するようになるという点を何度も指摘していましたね。私が興味があるのは、あなた方は素晴らしいエンタープライズビジネスを展開していて、私たちはそれほど見えていないので、これがAIモデル全体でどのように展開されているかということです。世代ごとにはるかに効率的になり、前の世代よりも多くの知能を提供しているのを見ていますね。明らかにすべてが非常に速く起こっているので、何が見えているのか分かりませんが。
考えてみてください。数年前、私たちは皆「ムーアの法則はどうなったのか、終わったのか、どうすればいいのか」と言っていました。そして今、私たちは狂ったようなハイパードライブのムーアの法則の中にいます。いつもそうでしたが、こうしたテクノロジープラットフォームのシフトは1つのS字カーブだけでなく、複数のS字カーブが組み合わさったものです。チップが良くなっていることだけを考えても、JensenやLisaのような人々が素晴らしいイノベーションを行い、サイクルタイムが速くなっています。それがムーアの法則ですが、その上にフリート、システムソフトウェアの最適化、モデルアーキテクチャの最適化、推論用のカーネル最適化、アプリケーションサーバー、プロンプトキャッシングの改善など、すべてが加わっています。これらをすべて合わせると、6ヶ月、12ヶ月ごとに性能が10倍向上する可能性があります。そのような能力向上のレートと価格低下のレートがあれば、根本的に消費量は増加します。
私は、深いアプリケーションが構築できる段階にあると非常に楽観的です。エージェントと複数のモデルによるオーケストレーション層を持つこれらのものは、私たちがその場所にいると感じています。最初の世代のアプリは、一つのモデルに非常に密接に結びついていましたが、今ではようやく複数モデルのアプリケーションに到達しています。そこでは、1つのモデル上に構築されたアプリエージェントが別のエージェントと対話するような決定論的ワークフローをオーケストレーションできます。MCPやA2など、これらのプロトコルは役立っており、標準化できれば、これらの能力を活かし柔軟性も持つアプリケーションを構築できます。ここでオープンソースが非常に大きな役割を果たすと思います。
確かに、複数のモデルをどのように一緒に使うかについて議論したいと思います。「蒸留工場」という概念と、その周りのインフラについて、Microsoftが提供できる立場にあると考えていることについて、後ほど話し合いましょう。
その前に、Microsoftはオープンソースに関して興味深い旅をしていますね。あなたのリーダーシップの下で早期に行った大きなことの一つがオープンソースを受け入れることでした。OpenAIとの初期のパートナーシップもありましたが、クローズドモデルと協力するだけでなく、Microsoftがオープンモデルにもしっかりと対応したいという明確な意志を持っていました。そのことをどう考えていて、オープンソースエコシステムがどのように進化すると思うか、なぜそれがあなたの顧客にとって重要なのか、構築しているインフラストラクチャすべてとどのように考えているのか興味があります。
興味深い質問ですね。私はMicrosoftでの重要な仕事の一つとして、NTと様々なUNIXフレーバーとの相互運用性を確保することがありました。それが私に教えてくれたのは、相互運用性は顧客が求めるものであり、それをうまくやれば、ビジネスにとっても良いということです。明らかに顧客がいる場所に対応することになります。これが私のオープンに関する考え方を形作っています。クローズドソースやオープンソースについて独断的ではなく、両方が世界に必要です。実際、顧客はそれらを要求するでしょう。私たちの誰かが独断を持っていても関係ありません。なぜなら、最終的に世界はそのように分かれるからです。
例えば、SQLサーバーがあり、MySQLやPostgresがあり、LinuxとWindowsがあります。実際、Windows上にLinuxがあります。私のお気に入りはWindows上のWSLです。なぜなら多くの開発ツールを簡単にWindows上に展開できるからです。全体として、これら二つのものを組み合わせることができる姿勢を持つことは非常に役立ちます。また、先ほど話したことにも合っています。多くのエンタープライズ顧客は、自分たちが所有するモデル、つまり自分たちのIPをディスティルしたいと考えています。そこでは、オープンウェイトモデルがクローズドモデルと比較して大きな構造的利点を持っています。
したがって、私は世界が今、優れたクローズドソースのフロンティアモデルと優れたオープンソースのフロンティアモデルによってより良く機能していると感じています。ハイパースケーラーとしての私たちにとって、これは素晴らしいことです。結局のところ、私たちの仕事はAzureに行けば素晴らしいPostgresやSQLサーバー、LinuxやWindows VMが手に入るように、選択肢を提供し、素晴らしいツールを提供することです。
では基本的に、Azureがオープンソースに対して果たす役割や、開発者が始める際のピッチはどのようなものですか？どのような分野で差別化を図り、最高のものを目指していますか？
まず、AIワークロードはAIアクセラレータとモデルだけではありません。実際には、AIワークロードの下にはストレージ、AIアクセラレータ以外のコンピュート、ネットワークへの依存性などがあります。そこでAzureでは、次世代のエージェントを構築したい人のために、コンピュート、ストレージ、ネットワークにAIアクセラレータを加えた世界クラスのインフラストラクチャをサービスとして構築したいと考えています。
その上に、Foundryを使ってアプリケーションサーバーも構築しています。すべてのプラットフォームシフトにはアプリケーションサーバーがあります。検索やメモリ、安全性、評価など、開発者が必要とするすべてのサービスをパッケージ化する方法です。これらのサービスをフレームワークやツールで包むことが核心だと思います。また、GitHubコパイロットにも非常に注力しています。素晴らしいツール、アプリケーションサーバー、そしてインフラストラクチャを組み合わせることが、アプリケーション開発を加速するために必要だと考えています。
エージェントや生産性向上について話されましたが、それはエコシステム全体のテーマですね。Microsoft内でこれがどのように展開されているのか、また開発で見られる最も興味深い例は何か知りたいです。
最も役立ったのはソフトウェア開発で起きていることです。GitHubコパイロットの進化を見ても、コード補完から始まり、チャットを追加してRedditやStackOverflowに行かなくても流れの中にいられるようになりました。それは良いことです。次にエージェントワークフローができて、タスクを割り当てられるようになりました。これら3つのことは、私たちがそれを使う時に常にすべてを使っています。一つが他に取って代わるのではなく、今ではプロトエージェントさえあります。PRをスイートエージェントに割り当てることさえできます。
そこから学んだ最大の教訓は、現在のリポジトリと開発者ワークフローに統合する必要があるということです。新しいグリーンフィールドのアプリを構築することは一つですが、私たち全員が常に完全なグリーンフィールドで作業できるわけではありません。大規模なコードベースと一連のワークフローで作業しているので、ツールチェーンを統合する必要があります。それが生産性を見るときのシステム作業です。
知識労働の残りの部分にも同じことが当てはまります。私たちのコパイロット展開では、例えば顧客との会議の準備をする方法は、1992年にMicrosoftに入社して以来変わっていません。基本的に誰かがレポートを書き、それがメールで届くか文書で共有され、私は前日の夜にそれを読みます。今はリサーチャーとコパイロットに行くだけで、ウェブ上の情報、内部情報、さらにCRM内の情報が組み合わさったものをリアルタイムで得られます。誰かが何かを準備する必要はなく、すべてがすぐに利用可能です。
これは作業成果物とワークフローの変化を必要とし、それは大きな変化です。最初はゆっくりと起こり、それから突然変わります。PCでもそれを見ました。メールとExcelの前に世界がどのように予測をしていたかを考えてみてください。ファックスやオフィス間のメモで回っていました。
あなたはその世界を経験していないでしょうね。私は中学生でした。そう、人々がファックスを送り、オフィス間のメモを回していた世界がありました。そして誰かが「スプレッドシートをメールで送ろう」と言い、人々が数字を入力すると、それが人々の予測方法を変えました。それが今私たちがまさに始めているところであり、カスタマーサービス、マーケティング資料の作成、コンテンツ作成でそれを見ています。そこが現在の段階であり、具体的な進歩と生産性の向上が見られています。
コーディングとその改善について、どれくらいのコードがAIによって書かれているのか、Microsoftのコードの何パーセントがエンジニアではなくAIによって書かれているか感じはありますか？
私たちが追跡している2つのことがあります。1つは受諾率そのものです。それは30～40％程度で単調に増加しています。長い間の大きな課題の1つは、私たちのコードの多くがまだC++であることでした。C#はかなり良いですが、C++はそれほど良くありませんでした。Pythonは素晴らしいです。言語サポートが増えるにつれて、コード補完が良くなりました。エージェントコードの場所はまだ非常に新しいグリーンフィールドです。しかし、多くの場合、何も完全にグリーンフィールドではないので、おそらく現時点では私たちのリポジトリ内のコードの20～30％が、一部のプロジェクトではおそらくすべてソフトウェアによって書かれています。
あなたたちはどうですか？実は今すぐには数字が思い浮かびませんが、人々が言う多くの統計はまだこの自動補完の種類のものだと思います。しかし、フィード・ランキング実験や広告ランキングなど、非常に限定されたドメインで作業しているチームがいくつかあり、行われたすべての変更の履歴を調査し、変更を加えることができます。それは私たちにとって興味深い領域です。しかし、私たちが集中しているのは、Llama開発自体を進めるAIと機械学習エンジニアを構築することです。私たちの賭けは、来年までにおそらく開発の半分がAIによって行われ、人間によってではなくなり、それからそこから増加するだろうということです。あなたが何か違うものを見ているかどうか興味がありました。
私にとって、SWエージェントは最初の試みです。私たちにとっての質問は、来年までにカーネル最適化のようなものができるかどうかです。新しいモデルアーキテクチャの変更を思いつくかどうかはおそらくないでしょう。問題はどのタスクかということです。
最適化、セキュリティの改善、そのタイプのことは機会が非常に高いと思います。私たちも異なる問題を解決しようとしています。あなた方は多くの開発者やエンジニアにサービスを提供していますが、それはあなたのコアビジネスです。一方、私たちはこれを内部開発を改善するものとして、そしてLlamaモデルを改善するものとして考えています。他の人が使用できますが、あなたのように端から端までのワークフローを行うものではありません。あなたがどのように考えているか聞くのは常に興味深いです。
私たちにとってのもう一つのことは、ビル[ゲイツ]が会社をツール会社として始めたことです。私たちにとって興味深いのは、ツールとインフラストラクチャをエージェントが使用するためのものとして再概念化すべきかもしれないということです。エージェントもツールの束を必要とし、それらの形や、インフラストラクチャやサンドボックスはどうあるべきかを考えています。多くの私たちの取り組みは、GitHubリポジトリの構成がSuiエージェントにとってどのようなものになるかを進化させることです。
それは非常に興味深い概念です。私は、将来的にはすべてのエンジニアが基本的に、彼らが一緒に働く小さなエンジニアリングエージェントの軍団を持つテックリードのようになると考える傾向があります。
それを念頭に置いて、AIを使用するあなたの個人的なワークフローがどのように変わったのか興味があります。また、Microsoftがどのようにこれに取り組み始めたのかについても興味があります。もし今日、開発者として何かを構築し始めるなら、どのツールを使うと考えますか？
ビルが私たち全員に浸透させた最大の夢や追求や疑問の一つは、ドキュメントとアプリケーションとウェブサイトの違いは何かということでした。今、MetaやChatGPT、コパイロットなどを使っていると、チャットセッションとの違いが私には不明確です。文字通り、Llama 4やすべてのモデルについて調べていたときも、基本的にはチャットセッションをたくさん行い、それを効果的にPagesに文書として追加し、永続化していました。そして、コード補完があるので、それをアプリにしたりすることができます。
高レベルの意図から始めて、過去にアプリケーションと呼んでいたような生きた成果物になるというこのアイデアは、ワークフローに深遠な影響を与えると思います。私たちはその始まりにいると思いますし、それが私の夢です。インフラストラクチャとツールの構築者として、またその利用者として、これらの人工的なカテゴリーの境界、あるいはソフトウェアの機能制限によって作られたカテゴリーの境界を超えるかもしれません。
私たちが常に考えていたもう一つのことは、なぜWordとExcelとPowerPointが異なるのか、なぜそれが一つのものではないのかということです。そして、今ではそれを考えることができます。Wordで始めて、Excelのようなものを視覚化し、それを提示することができ、それらはすべて一つのデータ構造として永続化されるかもしれません。以前はそれほど堅牢ではなかった柔軟性が今はあります。
理解できます。長年の会話の中で私に印象に残っていることの一つは、あなたが技術トレンドの展開の見方が非常に合理的だということです。AIの周りには多くのハイプがありますが、あなたはそれを見抜き、各段階で非常に合理的な投資をすることができています。あなたが指摘したポイントの一つは、ハイプはあるが、最終的にこれが大幅な生産性向上につながるならば、それはGDPの大幅な増加に反映される必要があり、これが実現するには数年、多くの年月がかかるということです。現在のあなたの見解と、この進歩を理解するために私たちが何を見るべきか、そして3年、5年、7年の期間でどこまで期待しているのかについて、お聞かせください。
そうですね、それは正しいと思います。私たちにとっては、世界が直面している多くの課題に対処できるような、新しい生産要素や入力を必要としているので、かなり実存的な優先事項です。
考え方としては、例えば、先進国が10％で成長するには何が必要かということです。これは産業革命時のピーク数値だったかもしれません。そしてそれが起こるためには、ヘルスケア、小売、広い知識労働、あらゆる産業でのあらゆる機能で生産性向上が必要です。そのためにAIは約束していますが、今や実際に生産性の実質的な変化をもたらす必要があり、それはソフトウェアと管理の変化を必要とします。なぜなら、ある意味で、人々はそれと違った方法で働く必要があるからです。
人々は常に電気について引用します。電気が存在してから50年経って、人々は電気を本当に違った方法で使うために工場を変える必要があるとようやく気づきました。それが有名なフォードのケーススタディです。私たちはその中間のどこかにいると思います。50年もかからないことを願っていますが、これを馬のない馬車のように考えるだけでは、私たちは向こう側に行けないと感じています。技術だけではありません。技術は進歩する必要がありますが、実際に新しい仕事の成果物とワークフローを提供するシステムにそれを入れる必要があります。
私たちは皆、50年もかからないことを期待して投資していますので、そうであることを願っています。
さて、技術的な質問を先に行い、大局的な話に移っていましたが、蒸留工場のことと、オープンソース向けに構築されているさまざまなAIモデルをすべて組み合わせる方法、そしてその構築に必要なインフラストラクチャについて、詳しく話し合うのを忘れていました。これはあなたが話していたことで、私は興味があります。
私にとって、それはオープンソースの最大の役割の一つだと思います。例えばLlamaファミリー内での大きなモデルを取り、それを同じモデル形状を持つがより小さなモデルに蒸留する能力は、大きな使用例だと思います。そのためのツールをサービスとして構築し、その障壁を下げることは重要です。これらの大きなモデルを立ち上げるには多くのインフラが必要で、誰もがそれをする必要はありませんが、クラウドとしてそれを行い、ツールを整え、結果として蒸留されたモデルを得ることができます。
例えば、Microsoft 365の各テナントが、エージェントやワークフローとして作成できる蒸留されたタスク固有のモデルを持ち、それをコパイロット内から呼び出すことができれば、それは画期的なシナリオです。人々はすでにそれを多く行っており、私たちはそれをより簡単にしたいと考えています。蒸留工場と言うとき、1つの大きなモデルとそれらの蒸留されたモデルの間の多対多または一対多の関係を求めています。それらは次にGitHubコパイロットやコパイロットのような製品内の多くの他のワークフローと組み合わされます。なぜなら、それらはMCPサーバーなどで他のエージェントの呼び出しをサポートしているからです。
これには常に魅了されています。蒸留はオープンソースの最も強力な部分の一つだと思います。私たちがここで行っているそれぞれの部分に関して、私たちは初期のLlamaモデルをトレーニングしていますが、私たち自身は開発者インフラストラクチャのほとんどを構築していません。あなたのような会社がこの複雑なインフラストラクチャを構築することは重要です。私たちは「ビヒーモス」のようなモデルに取り組んでいますが、それをどのように使用するか、より合理的な形に蒸留する以外には不明確です。
自分たちで使用するだけでも、それを後処理するだけでも、内部的に多くのインフラを構築する必要がありました。インフラを運用する方法はありません。マーベリックは蒸留されていますね。マーベリックのパフォーマンスをその水準にする方法は基本的に、それがマルチモーダルであることです。テキストパフォーマンスでマルチモーダルをリードし、他の主要なテキストモデルと同等ですが、より小さいです。DeepSeekはそれよりも大きなモデルですが、テキストでは基本的に同等で、画像やマルチモーダルでは存在し、他のモデルはありません。そのようにして得たのは、ビヒーモスの事前トレーニングが完了し、後処理に取り組んでいますが、蒸留は魔法のようです。
基本的に、20倍大きなものの知能の90％または95％を、はるかに安く、より効率的に使用できる形で得ることができます。そこで問題は、自分のインフラを構築できない、技術的に洗練されていない人々にそれをどのように利用可能にするかです。現在、世界にはそのような蒸留や、そのスケールのモデルを操作できる研究所は比較的少数です。あなたが持っているこのビジョンが構築され、世界中の大部分の開発者が単一のモデルから蒸留するだけでなく、時間の経過とともに異なるモデルからそれらがより強い場所での知能の異なる側面を組み合わせることができるようになれば、それは構築される最もクールなことの一つだと思います。
それは正しいと思います。したがって、複数のモデルから蒸留している場合、この蒸留されたモデルの周りの評価はどうなるのかというのが、私たちがツール作業、インフラ作業を多くできる場所です。人々がその柔軟性を持てるように障壁を減らすことができます。良いニュースは、すでに始まっていることです。すべてのこの存在証明があります。問題は、構築のための障壁をどれだけ減らせるかということです。
もう一つの課題は、人々が動くスピードです。これまでの課題の一つは、一つのモデルで何かをして、それを微調整し、新しいサンプルが登場すると、新しいサンプルに迅速に移行する必要があることです。それは私たちが上手くなる必要があるもう一つのことです。なぜなら、世界があまりにも速く動いているので、あなたが行ったことに縛られることはできません。
そうですね。また、開発者は物事を異なる形で必要としています。Llama 4の形状である17ビリオンパラメータ/エキスパートは、私たちがMetaで持っている原子単位がH100だからです。それらをその上で非常に効率的に実行できるようにしたいのです。他のオープンソースモデルの一部を見ると、それらは良い知能を持っていますが、規模のためにインファレンスするのは少し扱いにくいです。彼らはおそらく異なる種類のインフラストラクチャを対象としていますが、私たちはこれをサーバー生産向けに構築しました。しかし、オープンソースコミュニティの多くはさらに小さなモデルを望んでいます。
最も人気のあるLlama 3モデルは8Bでした。私たちはより小さなバージョンに取り組みます。以前に言及したように、内部では「little llama」と呼んでいますが、実際に何を出荷するかはまだわかりません。しかし、より大きなモデルからどのような知能を持っていようと、それをノートパソコン、電話、何であれ実行したい形に蒸留できることは、私にとって最も重要なことの一つです。
また、あなたたちがこれに取り組んでいることは明らかで、それが良いことだと思います。ハイブリッドモデルに到達できれば、ミニやシンキングモデルが組み合わさったもので、望むレイテンシーやシンキングタイムを得られ、柔軟であれば、それが私たちが皆行きつきたい場所だと思います。
では、最後のポイントとして、すべてが進行している中で、今後数年間で開発者が行うことについて、最も楽観的なことや最も興奮していることは何ですか？
私は常に、ボブ・ディランの言葉「あなたは生まれることに忙しいか、死ぬことに忙しいかのどちらかだ」からインスピレーションを得ています。生まれることに忙しい方が良いです。特にこのような時期に、様々な制約があっても、AIという新しい形のソフトウェアは、これらの難しい問題を解決するために使用できる最も柔軟なリソースであることがわかります。それが私に楽観主義を与えるものであり、また部屋の人々と私たち全員へのアクションコールだと思います。この機会を活かして解決策を構築することです。
企業のITバックログや実世界の未解決の問題を見たとき、両方とも何か新しいものを必要としており、そこがこのすべてのテクノロジーの最大の利点だと思います。それは特に開発者が恐れずに取り組めるかどうかによって決まります。
素晴らしい。
サティア、ありがとう。そして皆さん、来てくれてありがとう。これは興奮する一日でした。私たちが皆で構築しているものに非常に興奮しています。
コメント