AWS CEOのMatt Garmanが、企業におけるAI導入の現状と課題について語った対談である。AI実験から本番環境への移行における障壁として、明確な成功指標の欠如やセキュリティ懸念が挙げられる。AWSは「AI First Cloud」戦略の下、全てのアプリケーションに推論機能が組み込まれる未来を見据え、Bedrockプラットフォームやカスタムチップ「Trainium」を通じて顧客に選択肢とコストパフォーマンスを提供している。データセンター構築における物理的制約、AIコーディングツールの進化、各国のソブリンクラウド要求への対応など、クラウドインフラの最前線における戦略的判断が詳細に語られている。
AI導入における実験と本番展開のギャップ
まず、実験段階にある企業と実際に本番環境で成功を収めている企業との間で、最も大きなギャップは何だと思いますか?特にAI導入に関して、どのような特徴的な違いが見られるでしょうか。
そうですね、AI導入に関してですか。多くの企業が直面している課題の一つは、AIの概念実証を始めた際に、最初の段階で適切な成功基準を定義していなかったことだと思います。単なる学習の旅のようなものだったんですね。皆さんの多くも経験があると思いますが、チームに何百もの異なる実験を行うよう依頼して、それらを展開していったわけです。しかし実際には、何を達成しようとしているのか、何を成し遂げたいのかという明確な目標がありませんでした。それを理解し、定義することが、これらの取り組みのうちどれを本番環境に移行すべきかを本当に理解するための最初のステップだと思います。
面白い例をお話ししましょう。数週間前、ここサンフランシスコで開催されたJPモルガン・ヘルス・カンファレンスに参加したんです。そこで人々が興奮していた大きなテーマの一つが「アンビエント・リスニング」でした。AIが医師の会話を聞き取り、自動的に診療記録をEpicシステムに入力し、保険会社に情報を送信するというものです。皆さん本当に興奮していました。
そこである病院の管理責任者と会ったのですが、彼はこう言いました。「ええ、これらすべてを導入しました。素晴らしいです。医師たちは夜に家族と夕食を取る時間が増えました。でも私は一ドルも節約できていません。つまり、私は何を得たのでしょうか?文字通り、医師を一人も解雇していないし、何も節約できていないんです。
その2時間後、別の病院管理者と会ったのですが、彼も全く同じ話をしました。同じようなことが起きていて素晴らしいと。彼はこう続けました。「私は本当に離職率を心配していたんです。看護師や医師の30%が今後12ヶ月で離職するリスクがありました。でも今は家族と過ごす自由時間がずっと増えて、その離職率が下がったんです。だから本当に嬉しいです。病院全体に展開しているところです」と。
つまり、その取り組みから本当に得たい価値が何なのか、その指標を持つことが非常に重要なのです。これが多くの企業をブロックしている要因だと思います。最初は「これでお金を節約できていない」と言うかもしれませんが、それは確かにそうかもしれませんが、それが目標ではないこともあるんです。
現時点で、適切なレベルの確固たる指標を持っていると感じる企業は何パーセントくらいだと思いますか?
それは、実際には展開している分野によることが多いと思います。例えば、カスタマーサービスに展開している場合、そこでは通常かなり良い指標を持っています。コーディングに展開し始めている場合も、例えば先ほど皆さんが話していたような内容ですが、そこには多くの指標がありますよね。提出されたコード行数などです。しかし、一般的な生産性というやや曖昧な指標となる、その他の労働力については、人々は本当に良い感覚を持っていないと思います。
そうですね。それが一つの要因です。ちなみに、私たちはそこに到達すると思いますが、これが課題の一部だと思います。もう一つ、人々が展開を妨げているより根本的な要素があります。これは特にエージェントに関係してくるのですが、エージェント的なワークフローに入っていくと、人々はセキュリティについて非常に心配しています。
エージェントが勝手に行動して、すべきでないことをするのではないかと心配しています。エージェントの急増、エージェントのアイデンティティ、そういった多くのことを心配しています。率直に言って、スケーリングの方法についても心配しているんです。概念実証を行ったので、GPU付きのEC2インスタンスを1台購入してテストしました。そして今、それを世界中に展開したいと考えています。しかし、そのGPUは比較的活用されていません。どうやってこれをスケールするのか?どう考えればいいのか?
つまり、概念実証を製品化するという一般的なこと、セキュリティの観点、運用の観点、スケーリングの観点から、人々はまだそれをどう実行すればいいのか理解していないのです。皆さんはこの「AI First Cloud」という概念について多く話されていますよね。
AI First Cloudの意味とAWSの戦略
実際、それは何を意味するのでしょうか?AWSがどう考えているか、少し話していただけますか。
もちろんです。少し前に戻りますが、私たちはAI、特に推論が世界中のすべてのアプリケーションにとって重要な部分になると考えています。つまり、AIアプリケーションと非AIアプリケーションという区別はなくなるのです。
アプリケーションがあって、それらすべてに推論機能が統合されることになります。そしてそれはすべてのビジネスを変え、すべての業界を変えることになります。私たちの視点から見ると、それはAWSインフラのあらゆる部分に統合されなければならないということを意味します。AIとエージェントがストレージとどう会話するか、VPCやセキュリティ設定内でどう機能するか、権限についてどう考えるか、本番環境に到達した際のモデル間のテストやトレードオフについてどう考えるかを、ネイティブに考慮する必要があります。
私たちはBedrockというプラットフォームを構築していますが、その考え方は、多くのモデル選択、多くの機能、そして顧客がVPC内で展開できるように期待するすべてのセキュリティを備えた真のプラットフォームを作りたいということです。
そして、それを補完するために、世界最大の他のパートナーもすべてAWS上で、AWS内で運用しているという観察があります。だから私たちはそれをオープンにし、すべてのパートナーとAWSエコシステムのすべての部分が、顧客が構築しているものの大きな部分になれるようにしています。なぜなら、私たちがすべての部分を構築するとは思っていないからです。
そして、顧客が構築するものを成功させるには、そのエコセイステム全体が必要だということを知っています。しかし、あなた方はそのスタックの中で非常に高利益率の製品の一つを構築しています。それがTrainiumチップで、実際に tremendous な成功を収めています。おめでとうございます。
ありがとうございます。
Trainiumチップとマージン構造の変化
AWSの経済性が変化していくと見ていますか?すべてのアプリケーションに推論機能があり、構築したスタック内に推論機能を持つことになれば、マージン構造がさらに良くなると思いますか?時間とともにマージンが改善されるでしょうか?
わかりません。それは良い質問ですね。それは銀行家たちが推測することです。しかし、Nvidia GPUだけを使用する場合と比較すると、確実にマージンは改善されると思います。彼らは常にその大きな部分であり続けますが、必然的にマージンの大部分はJensenとそのチームに行きます。
私たちは彼らの製品を愛していますし、彼らは素晴らしい実行をしています。
しかし、70%、80%のグロスマージンがあるとき、誰かがより少ないマージンを取り、より高性能な部品を持ち、顧客に選択肢を提供する余地があります。私たちは顧客により良い価格性能を提供でき、さまざまなオプションから選択できるようにし、他では得られないAWS独自の最も豊富な機能セットを提供できると考えています。
これが、私たちがシリコンに10年以上投資してきた理由の一部です。そしてそれは私たちが提供するものの大きな部分であり、シリコン層まで差別化されたパフォーマンスです。パートナーとともに、人々が構築できる本当に豊富な機能セットを提供しています。Trainiumは私たちにとってその大きな部分です。
それが最終的にマージンを増やすことを可能にするか、マージンを現状に保ち顧客向けに価格を下げるかは、正直なところ、おそらく後者に賭けます。なぜなら、それがAWSの運営方法だからです。だから、おそらくそちらの方だと思います。私たちはより速く成長しようとしていて、価格を下げるたびに、通常は顧客に還元し、顧客が新しいワークロードを構築するための予算が増え、私たちにとってそれは一般的に良いフライホイールにつながるからです。
Jevonsのパラドックスが完全に発動しているわけですね。では、インフラ構築の制約について話しましょう。あなたと私はこれについて話したことがありますし、あなたは多くのハイパースケーラーと話をしています。彼らが抱える課題の一つは、資本が配分されればいいという問題だけではないということです。文字通り、物理的に建物を建てるのに非常に時間がかかります。
そうですね。
宇宙データセンターの可能性と現実性
許可を取得し、電力を確保し、スタック全体が構築されるようにする必要があります。宇宙のデータセンターは方程式を変えると思いますか?宇宙のデータセンターは実際にこれらの制約を取り除くと思いますか?なぜなら、太陽光は宇宙で30%効率的になりますから。それが起こると見ていますか?それとも、まだかなり先のことだと感じていますか?
それはすべて、私にとってのタイムラインによります。あなたの言う通りです。これの大部分は、単純に難しいんです。これらのものを建設するのは実際にかなり難しい。そして、人々はソフトウェアをほんの少しの時間で構築できることに興奮していますが、コンクリートを流すのには同じ時間がかかり、建物を建てるのにも同じ時間がかかります。
まだそれを行えるAIエージェントは構築していません。いずれはロボットができるかもしれませんが、宇宙のデータセンターについては、宇宙にあるデータセンターについて多くの説得力のあるアイデアがあると思います。常に利用可能な無限の電力、それは素晴らしい。簡単な冷却、それも素晴らしい。
最近、サーバーラックを見たことがありますか?重いんです。
そうですね。
私が最後に確認した限り、人類はまだ宇宙や月、その他の場所に永久的な構造物を建設したことがありません。
だから、もしかしたらできるかもしれませんが、Elonが100万個の衛星を打ち上げると言っているのは知っています。でも、100万個の衛星を打ち上げるのに十分なロケットはまだありません。だから、私たちはそれからかなり遠いところにいます。そしておそらく、効率性とコストにいくつかの改善が必要になると思います。今日の宇宙へのペイロード輸送コストを考えると、それは莫大です。はるかに高いです。全く経済的ではありません。
Blue New Originが実際に役立つかもしれませんが。
それは素晴らしいことですが、彼らはコストをはるかに下げる必要があります。今日は単純に経済的ではありません。だから、そのコスト曲線がどこに向かうかによって興味深いことがあると思います。おそらく、もっと安いロケット燃料を見つけるでしょう。多くのことがあり、宇宙輸送をはるかに経済的にすることに投資している人が膨大な数います。でも、それはまだ先のことです。
宇宙での大きなボトルネックは輸送だけです。
輸送だけです。つまり、それは絶対的に、今日のボトルネックは、物を宇宙に運ぶコストと利用可能性です。
物を宇宙に運ぶということですね。では、地上のデータセンターに話を戻しましょう。
いくつかのレイテンシーの懸念もありますが、単純に遠いだけです。
はい、少し遠いですが、地上のデータセンターに留まりましょう。ハイパースケーラーにとってフルスタックの定義が変わると思いますか?電力事業にもっと参入し始めたり、建設事業にもっと参入したりすると思いますか?フルスタックをコントロールすれば、これをより速く加速できるように感じますが。
フルスタックへの拡大と電力への投資
この質問をするのに私は最適な人間ではありません。なぜなら、20年前にAWSがチップを作るかと聞かれたら、確実にノーと答えていたでしょうから。でもここにいます。そして、その答えはほぼ確実にイエスになると思います。
それは必然的に、これらの異なる業界の経済性を見ると、必要とするレベルまでスケールしないからです。例えば公益事業は、時間の歴史のほとんどにおいて固定価格ですよね。そして規制された価格です。これが彼らにとっての制限要因です。投資に対して固定のリターンを得られます。
だから、業界全体が年間3〜5%成長するように構築されているんです。なぜリスクを取るのでしょうか?低いリターンしか得られないのに。だから、それから抜け出すのは非常に難しい。私たちが電力を所有するか、電力に資金を提供するかに関わらず、私は本当に発電所のようなものを運用したくありません。それは確実に私がやりたくないことです。システム全体がグリッドに接続できればはるかに効率的です。おそらく、ここから世界が追いつくまでの間に、メーター裏の電力やその他のことをしなければならない段階があると思います。なぜなら、その立ち上がりに資金を提供しなければならないからです。
そのトピックに留まりますが。
あるいはTurkのような人々に頼ることもできます。
はい、もちろんです。では、チップを構築し続けることを確実にしているとしましょう。18ヶ月ごとに新しいバージョンのチップが出るという平均サイクルタイムですか?
18〜24ヶ月です。場合によります。
でもそれは圧縮されていますか?
時々圧縮されます。一般的にはそうですが、18〜24ヶ月のどこかと言えるでしょう。
でも時には、プロセス世代にも制限されることがあります。はい、そういったことです。だから、TSMCがどれだけ速くプロセス世代を改善するかにも制限されます。また、これらのシステムを実際にどれだけ速く生産に投入できるかにも制限されます。最初のチップを印刷してから、これらの本当に大規模なAIシステムのために本当にスケールするまで、実際には9〜12ヶ月かかります。
つまり、製造は実際にかなり難しいということですが。
でも一般的には、サイクルタイムが圧縮されてきていることに同意しますか?
キャパシティプランニングの課題
AWSの規模でキャパシティプランニングをどう行うのですか?その方程式は少し変わりますか?例えば、18ヶ月後に陳腐化するチップを大量に購入したくないでしょうが、さまざまなワークロードがそれらを使い始める長い尾が確実にあるようにしなければなりません。キャパシティプランニングはどう機能しますか?
私たちに有利に働くいくつかのことがあります。それが課題であり、顧客がその課題を負わなくていいように私たちが引き受ける課題の一部です。
私たちに有利に働くことがいくつかあります。一つは、需要が供給をはるかに上回っているため、通常は古いチップにも依然として需要があるということです。実際、今日、私たちはA100サーバーを完全に売り切っていて、一度も廃棄したことがありません。
完全に売り切れています。ちなみに、それには構造的な理由もあります。
A100サーバーを廃棄したことがないんですね。
故障して返却する以外はね。でもそれ以外はありません。なぜなら、まだ需要があるからです。そして、次世代ごとに業界が今日AI側で多くの利益を得ている部分には構造的な理由があります。それは浮動小数点精度を減らすことです。
最近、何人かの顧客と話していたのですが、彼らは「実際、私は本当にBlackwellには移行できません。Hopperを使わなければなりません。なぜなら、私はHPCスタイルの計算を行っていて、精度が十分ではないからです」と言っていました。だから実際、彼らは難しい立場にいます。AMDの新しいプロセッサでもそれは可能ですが、世界の多く、そして古いアプリケーションの一部は、そのレベルの精度に依存しています。
とにかく、それらの用途があります。小さなモデルはまだA100で素晴らしく動作します。そういったことがあります。だから、そこには長い道のりがあると思います。これらの大規模なラボの一部にとっても、彼らはこの容量に対して5年のコミットメントを喜んで行う場合もあります。これも私たちのリスクを軽減し、潜在的に顧客にそれを押し付けることになります。でも、そういうことがあります。
でも、私たちはここで多くの計画を立てています。多くの時間軸について考えなければなりません。例えば、昨年、私たちはデータセンターのために約4ギガワットの新しい容量をAWSに追加しました。データセンターは20〜30年の償却タイムラインです。電力は長期間のコミットメントが必要です。だから、データセンター計画について本当に長期間考える必要があります。なぜなら、私はこの資産を20年または30年持つことになるからです。
そして、5〜6年持つサーバーについて考えます。6〜10年かもしれないネットワーク機器があります。さまざまな異なるコンポーネントです。それらすべてについて考えなければなりません。だから私たちは、サプライチェーンについて、そしてそれらすべての投資レベルでリスクレベルについてどう考えるかについて、非常に多くの時間を費やしています。
AIコーディングの現状と成果
さて、AIコーディングに話を切り替えましょう。あなたと私が前回話したとき、私があなたのオフィスにいた時、内部でかなり素晴らしい結果が見られていると言っていましたね。何がうまく機能しているか、何がうまく機能していないかについて話してください。
特に私たちが大きな加速を見ているもの、10倍の改善、時には100倍の改善と言えるのは、チームが最初からAI駆動のコーディングについて考え始めたときです。実際、今では一行もコードを書かないというマンデートを持つチームがあります。彼らがやることはすべて、モデルやシステムにプロンプトを送ることだけです。
それにはいくつかの利点があります。一つは、AIシステムが構築しているものについて大量のコンテキストを構築し、それらのものすべてがどのように連携するかも知っているということです。また、書いたすべてのコードを文書化しています。だから、本当のフライホイールが始まるんです。それがすべてのコードをテストできるようになります。なぜなら、それを知っているからです。ドキュメントを知っています。テストする必要があることを知っています。そして、そのすべてのカバレッジを持っています。
ただし、まだそこに到達していないこと、そしてそれは「まだ」です。なぜなら、おそらく今後6〜9ヶ月以内にこの問題を解決するでしょうが、本当に複雑な統合されたレガシーシステムに対しては、まだそのスピードアップを見ていません。メインフレームという意味でのレガシーではなく、S3のような本当に大規模な分散システムでも、それは少し前からあるもので、何度も再構築してきましたが、ゼロから始めているわけではありません。
すべてのコンテキストをモデルに与えて、同じスピードアップを得られるようにすることです。まだいくつかのスピードアップは見られますが、10〜50倍のスピードアップにはなっていません。でも、私たちはAIコーディングシステムがレガシーコードを理解できるようにする、いくつかの新しい方法を構築し、考えています。そして、それが人々が大きなスピードアップを得始めることができる分野の一つだと思います。実際、ほとんどのコードはレガシーコードなのです。
実際、スタックの下に行けば行くほど難しくなることがわかっています。
そうですね、おそらくそれもあります。S3はその良い例で、メモリ管理について本当に考えています。
メモリ管理ははるかに難しいです。
メモリ管理とオブジェクトの耐久性の正確性などは、エージェントが今かなり得意にしているウェブサイトを構築するというエンドユーザーアプリケーションとは少し異なります。
ソブリンAIインフラストラクチャとセキュリティ
ソブリンAIインフラストラクチャと各国がどのようにナショナリスティックになっているか、それぞれが独自のインフラストラクチャを持ちたいと考えていることについて考え始めると、Outpostのようなアーキテクチャがさらに興味深くなると思いますか?
そうなっています。これは非常に興味深いトピックだと思います。2週間前にダボスにいたのですが、ヨーロッパ企業とのほぼすべての会話が「あなたを信頼しています。でもあなたの国を信頼できるかわかりません」というところから始まりました。
私たちは彼らに、それは本当に考えるべきトレードオフではない理由を説明しようとします。そして彼らも、世界最高の技術と競争しないように自分たちの手を後ろで縛ることはできないと理解しています。
だからこれらの企業は現実的ですが、苦悩しています。そして、「米国政府が私をシャットダウンすることを決めたらどうするか」という質問を文字通り何度受けたかわかりません。多くの人が持っている懸念であり、私たちは「それが起こる可能性は非常に低い」と保証しますが、彼らが持っている懸念なのです。
レジリエンスがある時点で生の知能を上回るということですね。
ある意味ではそうです。銀行システムやその他の分野を考えると、国の観点から、国々は今そのレバーが必要だと感じているか、私たちが彼らに対するレバーになるリスクがあると感じています。だから、私たちは世界中でこれを解決するための多くの異なるメカニズムについて考えています。
2週間前、私たちはEUソブリンクラウドを立ち上げました。EUにとって、これは実際に素晴らしいものになると思います。あなた方はパートナーで、立ち上げパートナーです。ありがとうございます。EUソブリンクラウドのアイデアは、EU内に組み込まれた完全に独立した子会社であり、EU法に従い、実際に独立した統治委員会を持っているということです。メタデータやアカウントログインを含むすべてのデータがEU地域内にあることを確認しています。実際に、その地域全体をAWSバックボーンから切り離してテストも行い、機能することを示しました。
ドイツのBSIや他のEU諸国と共同でこのモデルを設計し、彼らがこのモデルを気に入っていることを確認しました。そして、EUはそれ自体が非常に大きな経済圏なので、それがうまく機能すると思います。
しかし、私たちは世界中の多くの企業がこれに取り組むのを助けるために、多くの異なることを探求していると思います。明らかなトレードオフがありますが、難しい質問です。でもうまくいけば、そこで私たちが助けられます。
CIOとCISOへのアドバイス
Matt、30秒以下で。CIOとCISOの聴衆に、社内のAI採用を加速するために何をする必要があるか、アドバイスをいただけますか。
そうですね、私が使いたいアナロジーがあります。巨大な峡谷があって、峡谷を横切る板があるとします。その板の上を本当にゆっくり歩きますよね。本当にゆっくりと。もしかしたら這って渡るかもしれません。ところが、手すりを立てて、壁やガードレールを設置すると、その上を走って渡ることができます。奇妙なことに、同じ板なのに、走って渡ることができるんです。
そしてそれはそれほど違いません。ガードレールが必要なんです。人々を遅くさせている要因の一部は、彼らが心配しているということです。私たちには社内で例がありました。誰かがコードを書いていて、エージェントに何かをするよう依頼したところ、エージェントはそれが最速の方法だと思ったので、インフラストラクチャを削除しようとしていました。「いやいやいやいや、それは本番の問題を引き起こします」と。私たちには他のコントロールがあったのでそうではありませんでしたが、多くの企業がエージェントを企業に解き放ったら悪いことが起こるのではないかと心配していることを浮き彫りにしました。本番がダウンし、セキュリティの問題が発生するでしょう。
だから私が言いたいのは、私たちがやろうとしているのは、顧客が速く進めるようにビルディングブロックを構築することです。私たちにとってのAgent Coreのようなものは、速く進めるためのガードレールを持つことを可能にします。
そして、チームに本番環境で速く走れる安全な場所を提供できればできるほど、利益が得られると思います。
Matt、また来てください。素晴らしかった。ありがとうございました。ありがとうございます。
コメント