Scale AI構築記：エージェントによる労働変革と中国との競争

Scale AIのCEOアレクサンダー・ワンが、同社の創業からAI業界最前線企業への変遷、そして未来のエージェント技術と国際競争について語る包括的なインタビューである。MITを中退してYコンビネーターで創業した初期の混乱から、自動運転車向けデータラベリング事業、そして現在の大企業・政府向けAIアプリケーション事業への戦略的転換まで、同社の成長軌跡を詳細に解説している。また、AI業界における中国との激しい競争、軍事・防衛分野でのAI活用、そして人間とエージェントが協働する未来の労働環境についても深く掘り下げられている。

冒頭

この Light Cone エピソードを Scale AI CEO のアレクサンダー・ワンと録画した後、Meta は Scale に140億ドル以上の投資を行うことに合意し、同社を290億ドルで評価しました。アレクサンダーは Meta の新しい AI 超知能ラボを率いることも発表しました。これからお聞きいただく対話は、Scale の YC での初期時代から基盤モデルの学習における不可欠な役割に至るまで、この投資に至る歴史をカバーしています。

AI業界は非常に困難な評価システムと、モデル能力の最前線を本当に示す非常に困難なテストの不足に悩み続けています。最も重要なことは、本当に本当に本当に気にかけなければならないということです。人々を面接する時や人々と交流する時、適当にやっている人と、自分の仕事に真剣に取り組む人を見分けることができます。それは彼らにとって非常に重要で強力で大切なことなので、素晴らしい仕事をするのです。人間の知識の最前線がどのように拡大するかを見るのは非常にエキサイティングな時代です。

Light Cone の別のエピソードへようこそ。今日は本当に特別なゲストをお迎えしています。Scale AI のアレクサンダー・ワンです。

Scale AI創業期：MITからYコンビネーターへ

ジャレッド、あなたは最初にアレクサンダーと一緒に働いていましたが、それはどのようなものでしたか。何年でしたか。

私たちが今日話したいことの大部分は、Scale が現在やっていることです。現在の取り組みは本当に素晴らしく、とても興味深いからです。Scale が YC で始まったので、最初から始めるのが適切だと思いました。面白いことに、ダイアンと私は先月 MIT で大学生と話していたのですが、すべての起業家の中で、彼らが最も尊敬し、真似したいと思っているのは実はあなたなのです。誰もが次のアレクサンダー・ワンになりたがっています。MIT を中退して Scale を始めたという話は誰もが知っていますが、本当の話は知りません。そこで最初に戻って、MIT を中退して Scale を始めることになった本当の話をしていただこうと思います。

MIT に行く前に、1年間 Quora で働いていました。これは2015年から2016年、いえ、すみません、2014年から2015年にソフトウェアエンジニアとして働いていた時期です。これは既に市場において、ML エンジニアと呼ばれる機械学習エンジニアが、ソフトウェアエンジニアよりも多くの収入を得ている時点でした。これは当時の市場状況でした。

私はサンフランシスコの合理主義者コミュニティによって組織されたサマーキャンプに参加しました。これらは早熟な十代の若者向けでしたが、AI業界で極めて重要な存在となった多くの人々によって組織されていました。組織者の一人はポール・クリスティアーノという人で、実際にはRLHFの発明者で、現在は米国AI安全研究所の研究ディレクターを務めています。彼は長い間OpenAIにいました。グレッグ・ブロックマンが来てスピーチをしたこともあり、エリエゼル・ユドコウスキーも来てスピーチをしました。

実際、私が16歳の時に、私の人生で取り組むべき最も重要なことは潜在的にAIとAI安全性だという概念に触れました。これは非常に早い段階で触れたものです。

MITに入学した時、私は18歳でした。AIを非常に深く学び、それが主な仕事のようなものでした。そして何となく落ち着かなくなって YC に応募しました。最初のアイデアは、AIをどこに応用できるかということでした。これはチャットボットの時代でした。実際に考えてみると非常におかしなことです。2016年にはこの小さなチャットボットブームがありました。これはMagicやこれらのアプリに刺激されたものでした。Facebook もチャットボットに関して大きなビジョンを持っていました。

医師向けチャットボットからAPIへの転換

最初に取り組みたかったのは、医師向けのチャットボットでした。これは面白いアイデアですが、医師について何か知っていますか。まったく何も知りませんでした。ただ、医師は高額に聞こえるので、そういうものだと思っていました。

これは若い起業家によくあることだと思います。最初の10個のアイデアは非常に模倣的です。デートアプリがあったり、ソーシャルライフ向けのアプリがあったり、同じようなアイデアが多いのです。そして若い人々は、自分が実際にユニークな立場に立てることについて、非常に貧弱なアルファ感覚を持っていると思います。

YC にいた時、私たちは別の YC 企業とルームメートでした。当時起こっていたチャットボットブームを観察していました。チャットボットを構築したい場合、大量のデータと大量の人間の労力が必要であることは非常に明確でした。そこで何気なく「もしそれだけをやったらどうだろう？チャットボット企業向けのデータと言語データ、人間のデータをやったらどうだろう？」と言いました。

ちなみに、私たちは非常に迷っていました。多くの YC 企業と同様に、バッチの途中で非常に迷っていたと思います。そこで「人間タスク向けの API」のような概念に切り替えました。ある夜、ドメインを探していたところ、scaleapi.com が利用可能だったので購入しました。1週間後にローンチして、Product Hunt に掲載しました。

Product Hunt のページは今でも生きています。昨夜読み返しましたが、タグラインは「人間労働のためのAPI」でした。あなたが得た洞察は「人間をAPIで呼び出すことができたらどうなるか」というものだったと記憶しています。

Product Hunt ローンチと初期の成功

ランディングページを作るのに3日かかりました。Product Hunt でローンチした時、このアイデアは当時のスタートアップコミュニティの想像力をある程度捉えました。これは奇妙な形の未来主義で、APIが人間に委任するという興味深い方法でした。機械のために人間が働くという、逆転したコンセプトでした。

初期段階では、その Product Hunt から連絡をくれたエンジニアたちと様々な使用事例で作業しました。当時はそれだけで資金調達するのに十分でした。その数か月後、自動運転車が実際に私たちが注力すべき最初の主要なアプリケーションであることが明らかになりました。

会社の最初の1年ほどで多くの非常に大きな決定がありました。興味深いことに、当時は Amazon の Mechanical Turk のような他のソリューションが既に市場に存在していましたが、あなたたちはそれを知らない全く異なる人々を獲得し、はるかに優れた API を持ち、ある意味で勝利しました。

Mechanical Turk との競争

Mechanical Turk は確実に当時の人々の心の中にあった概念でした。多くの人がそれについて聞いたことがありましたが、実際に使った人は誰でもそれがひどいものだと知っていました。人々がそのことについて言及するが、それがひどい場合、それは通常非常に良いサインです。

それで早期の信頼を得るのに十分でしたが、実際に会社の成功にとって根本的だったのは、自動運転車のこの一見非常に狭い問題に焦点を当てたことだと思います。YC を出て約6か月後、別の YC 企業の Cruise が私たちのウェブサイトから連絡をくれて、瞬く間に彼らが私たちの最大の顧客になりました。

彼らはローンチから私たちを見つけたのですか。そうです。実際には Cruise で働いていた元 YC 起業家が私たちに連絡をくれました。世界は不思議な方法で動きます。

自動運転への特化という戦略的決断

彼らは非常に大きく成長したので、早期に決定を下しました。当時の主要投資家に行って「実際に、私たちは自動運転のことに焦点を当てるべきだと思います」という会話をしたことを覚えています。

それは非常に興味深い会話でした。反応は「それは明らかに市場が小さすぎる。そのようにして巨大なビジネスを構築することは決してできない」というものでした。私たちは「それは思っているよりもはるかに大きな市場だと思います。すべての自動運転企業が大量の資金を得ており、自動車会社は自動運転で巨大なプログラムを行っており、それは明らかに未来です」と言いました。

振り返ってみると面白いことに、両方とも真実でした。それによって私たちは非常に迅速にビジネスを構築できるようになったことも真実であり、巨大なビジネスを維持するには十分な大きさの市場ではなかったことも真実でした。

Scale の物語は多くの意味で、この非常に動的なAI空間でどのように継続的に構築し、貢献し続けるかという進歩です。多くのことが常に変化しており、私たちが会社で誇りに思っていることの多くは、この非常に速く動く業界に継続的に貢献できる方法です。

スケーリング則との出会い

いつスケーリング則についてより意識するようになりましたか。興味深い事実の一つは、あなたがデータのジェンセン・フアンのような存在だということです。

自動運転では、スケーリング則は実際には存在しませんでした。最大の理由は、アルゴリズム全体が車の上で動作する必要があり、アクセスできる計算量に非常に制約があったからです。自動運転に取り組むエンジニアや企業の多くは、スケーリング則について実際に考えたことがありませんでした。彼らは皆、これらの車に収まるほど小さなアルゴリズムをどのようにより良くするかを考えていました。

しかし、私たちは2019年にOpenAIと働き始めました。これは GPT-2 の時代でした。GPT-1は一種の好奇心のようなものでした。GPT-2は、OpenAIが大きなAI会議でブースを持ち、研究者がGPT-2と話せるデモをしていたことを覚えています。それは特に印象的ではありませんでしたが、ある種クールでした。

GPT-3 までに、スケーリング則が非常に現実的に感じられました。GPT-3は2020年でした。これは実際には世界が何が起こっているかを理解するずっと前のことでした。

GPT-3での転換点

2020年の時点で、これが Scale の次の大きな章になるという強い予感がありましたか、それとも ChatGPT が登場するまでわからなかったのでしょうか。

2020年には、スケーリング則が大きなものになることは明らかでしたが、まだ完全に明白ではありませんでした。この相互作用を覚えています。GPT-3への早期アクセスを得て、プレイグラウンドで友人と遊んでいました。友人に「このモデルと話すことができる」と言いました。

会話中に、友人がAIに対して目に見えて苛立ち、怒りを表しましたが、それは単に「これは愚かなおもちゃだ」という方法ではありませんでした。それはある意味で個人的なものでした。その時、これは以前に存在したものとは質的に異なると実感しました。

ある種チューリングテストに合格していたのでしょうか。そうです、類似性でした。潜在的にチューリングテストに合格する可能性の一端でした。

しかし、実際に生成AIの認識を引き起こしたのは DALL-E だったと思います。この用語自体もある意味そうです。それが皆を納得させたと思います。私の個人的な旅は、GPT-3 が非常に興味深く、会社の多くの賭けの一つでした。そして2022年に DALL-E と後の ChatGPT、GPT-4 などの過程を経て、私たちが OpenAI と Instruct GPT（ChatGPT の前身のようなもの）で働いた時、それが会社と率直に言って世界にとってのファーム・モーメントであることが非常に明白になりました。

NVIDIA比較とスケーリング則の実現

私たちもその3.5モーメントのリリース、2022年末で大きな変化を見ました。2023年に多くの企業と賢い人々が方向を変え、会社をピボットし始めるのを見始めました。それがその瞬間でした。

あなたが言及したこの動的、Scale はデータの NVIDIA のようなものという概念は、GPT-4 で非常に明白になりました。それは「スケーリング則は非常に現実的で、データの必要性は基本的に人間が持つすべての利用可能な情報と知識を消費するまで成長する」という瞬間でした。これは天文学的に大きな機会でした。

初めて、基本的に決してハルシネーションしないものを得ることができるようでした。限定されたドメインで実際にゼロハルシネーション体験を持つことができました。これは現在でもそのような体制にあります。古典的な見解は、ハルシネーションしている場合、プロンプトやコンテキストで正しいデータを与えていないか、一度に多くのことをやろうとしているということです。

推論パラダイムには多くの利点があり、実際にこの最後のモデル改善の時代は興味深いものでした。利得は実際には事前訓練からは来ていません。私たちは推論と強化学習の新しいスケーリング曲線に移行していますが、それは驚くほど効果的です。AIとムーアの法則の類似は非常に明確だと思います。異なる技術曲線に乗るかもしれませんが、ズームアウトすると、モデルのスムーズな改善のように感じられます。

ファインチューニングビジネスとIPの未来

最近、非常に有名なラッパーの一部が、特にフロンティアベースのクローズドソースモデルのベースモデルの完全パラメータファインチューニングにアクセスしていることが話題になっています。これはあなたのビジネスの大きな部分ですか、それとも人々があなたに求めているものですか。

これは未来の設計図になると思います。現在、大規模パラメータファインチューニングまたは強化ファインチューニングモデルの総数は非常に少ないですが、考えてみると、未来の一つのバージョンは、すべての企業のコアIPが実際には彼らの専門モデルまたは独自のファインチューニングモデルだということです。

今日、一般的にテクノロジー企業のIPはコードベースだと思われているのと同じように、将来は彼らの専門IPがすべての内部ワークフローを支えるモデルかもしれません。

評価システムとビジネス特化

彼らが追加できる特別なことは、彼らが日常的に見るビジネス問題に非常に特化したデータと環境です。他の誰も持たない現実世界の粒度の高い情報で、他の誰も全く同じビジネスモーションをしていないからです。

しかし、そこには多くの奇妙な緊張があります。トップモデル企業の一つの友人たちが来て「YCとYC企業が評価データを与えてくれると思いますか、それに対して訓練できるように」と言いました。私たちは「いや、なぜそんなことをするんだ？それは彼らのモートだ」と言いました。

評価データはRL サイクルの重要な部分ですが、実際に価値があるのは評価データではなく、あなたのデータセットと問題セットに対して適切にファインチューニングされたモデルです。データと環境、そしてベースモデルを持っていれば、これらを積み重ねてファインチューニングされたモデルを得ることができます。

AGIと専門化経済の未来

これは基本的に、AGI が経済全体を飲み込む Borg になるのか、それとも専門化経済が残るのかという緊張の要約です。私の一般的な信念は、専門化経済が残るということです。これらのモデルはプラットフォームですが、現代世界でのアルファは、ビジネス問題をデータセットや環境にカプセル化して、差別化されたモデルやAI能力を構築できる程度によって決まります。

評価データを求めるのは私にとって非常におかしなことでした。評価データを得て、ベースモデルがはるかに良くなったとしても、今度はすべての競合他社があなたの優位性だったものと全く同じものを持つことになります。

AI において私たちは明確な境界線が何かを学ぶプロセスを経るでしょう。テクノロジー企業が自分たちのコードベースやデータベースを諦めるべきではないことは非常に明白で直感的です。高度にAI主導の経済におけるその類似物は、時間をかけて特定されると思いますが、評価データ、データ、環境などです。

労働の未来に対する楽観的展望

あなたは未来の仕事がどのように形作られるかについて非常にテクノ楽観的な見解を持っています。それについてもっと話していただけますか。仕事がより専門化され、すべての仕事がなくなるわけではないと暗示していたと思います。

まず第一に、私たちは新しい働き方の時代の始まりにいることは否定できません。長い間使われてきた「労働の未来」という用語がありますが、私たちは労働の未来に入っているか、確実に次の時代に入っています。仕事は根本的に変化しますが、人間が未来を所有し、私たちには多くの主体性と選択があります。

コーディングで現在起こっていることを見ることができると思います。コーディングは多くの意味で他の分野や他の仕事領域のケーススタディです。最初の段階は、仕事をしていてモデルが少しずつ支援してくれるアシスタントスタイルのものです。

次に Cursor エージェントモードのようなものに移行し、モデルにこれらのワークフローを実行するよう同期的に要求し、一つのエージェントを管理するか、単一のエージェントとペアプログラミングのようなことをします。

そして今、Code Acts や他のシステムでは、様々なタスクに展開するエージェントの群れを持ち、すべてこれらの様々なタスクを与えて、適切と思われる作業を行うエージェントのコホートを持つことが非常に明確です。

マネージャーとしての人間の役割

最後の仕事は現在の労働力では意味的な意味を持ちます。それはマネージャーです。基本的にこのエージェントセットを管理して実際の仕事をするのです。

AGI や悲観論者は「エージェントを管理する仕事でさえエージェントによって行われるので、人間は完全にプロセスから取り除かれる」という見解を取ります。しかし、私の個人的な信念は、マネジメントは非常に複雑で、どのようなビジョンを持ち、どのような最終結果を目指すかということについてです。これらは根本的に人間の需要と人間の欲望によって駆動される経済なので、人間によって駆動されると思います。

経済の最終状態は、大規模に人間がエージェントを管理することです。

面白い話があります。起業家の友人が非常に優秀なジュニア従業員を昇進させようとしていて、彼らはエージェントインフラで働いています。友人は「マネジメントに興味はありますか。人を管理したことはないですが、何人かを雇って部下にしたらどう感じますか」と言いました。

その20代半ばの非常に優秀なエンジニアは「なぜそんなことをするんですか。もっと計算資源をください。先月、モデルに何が起こったか見てください。何もしなくても、1か月前にはできなかったことができるようになりました。なぜ人を管理したいのですか。もっとエージェントを管理させてください」と言いました。

人間独自の価値

時間をかけて人間が行う独特なことは何でしょうか。このビジョンの要素は非常に重要です。デバッグや問題が発生したときの修正のような要素も重要です。マネージャーとして話すと、マネージャーの仕事の大部分は、火を消すこと、問題に対処すること、発生する課題に対処することです。

直感的に、理想的なマネージャーの仕事は非常に快適な仕事のように思えます。他の人がすべての仕事をして、あなたは漠然と監督するだけですが、現実は明らかに非常に混沌としています。

人々はしばしば「エージェントを管理して、ある種のビクトリア朝の生活を送り、すべての問題が解決される」という極端な現実に飛びつきますが、エージェント同士の協調やワークフローの調整、発生する問題のデバッグを取得することは、まだ複雑な問題です。

自動運転で起こったことを見てきましたが、90%に到達するのは簡単で、99%に到達するのは非常に困難でした。大規模エージェント展開でも同様のことが起こり、精度の最終10%は多くの作業を必要とすると思います。

自動運転における人間の関与

自動運転車でも現在、すべてのスーパーエッジケースに対してリモートアシストがあります。まだ最終的に車を管理する人間がいます。ちなみに、その比率は企業が公表しませんが、5台の車に対して1人のテレオペレーターか、3台の車に1人のテレオペレーターのようなものだと思います。比率は人々が思っているよりもはるかに低いです。

自動運転車でも、人間は人々が思っているよりもはるかに関与していると思います。その観点から見ると、まだ非常に楽観的だと思います。今日の世界では Uber ドライバーなら1台の車を運転しますが、この世界では5台の車を運転できます。

失業率が低いままである楽観的なバージョンの未来を信じるためには、人間の欲望と需要がほぼ飽くことがないことを信じる必要があります。価格が下がり、経済がより効率的になり、私たちはただもっと欲しがるということです。これは人類の歴史にとって非常に信頼できる傾向でした。人間の需要はややどん欲で、経済が必要な分だけ効率的になれると確信しています。

プログラマーの類似性と人間のレバレッジ

20世紀に「コンピューター」と言った時、初期の20世紀の人々は今日のようなコンピューターではなく、パンチカードタビュレーターの前に座る人間を思い浮かべました。それが実際の人の仕事でした。

アポロミッションは、アポロの軌道計算をしている多くの人々でした。ロケットに乗ったコンピューターは実際にはマイクロコントローラーで、一桁ヘルツの非常に少ない計算量でした。人間がやっていました。

プログラマーであるという概念は、ある意味で非常に難解です。機械に繰り返し指示を書くというものです。ある意味で、すべての人間が得るレバレッジブーストは、プログラマーが歴史的に長い間持っていたレバレッジブーストと同様です。

シリコンバレーの多くの人が言うのは、AI以前の世界で錬金術に最も近いものはプログラミングだということです。構築したものの無限のレプリカを作成し、それらが無限回実行できるようなことができます。

全人類の労働力が間もなくそのようなレバレッジブーストを見ることになると思います。これは非常にエキサイティングです。プログラマーは過去数十年間、この独特の地位から恩恵を受けてきました。1人の10倍や100倍のエンジニアが絶対に信じられないような、非常に価値があり、非常に生産的なものを構築できます。

突然、すべての職業の人間がこのレベルのレバレッジを得ると思います。

Scale の再発明の軌跡

アレクサンダー、あなたが以前に言った Scale がどのように自己再発明し続けてきたかという点に戻りたいと思います。Scale の軌跡を説明するとしたら、ストーリーと転換点は何でしょうか。

私たちの最初のビジネスは、様々なAIアプリケーション、主に自動運転車企業向けのデータ生産、データ生成に関するものでした。最初の3年間は完全にそれに焦点を当てていました。

そのビジネスを構築することの特性の一つは、時間をかけて、AIの波の大部分を本当に先取りする義務がありました。AIがどの垂直分野でも成功するためにはデータが必要だったため、私たちの製品への需要は、実際にAIがそれらの業界に進化する前に多くの場合に先行しました。

例として、私たちは2019年にOpenAIと言語モデルで働き始めました。2020年に国防総省と政府AI応用、防衛AI応用で働き始めました。これは最近のドローン燃料AI熱狂のずっと前のことです。企業AI実装の大きな波のずっと前に企業と働き始めました。

ほぼ体系的または本質的に、私たちはAIの波より前に構築する必要がありました。これは実際には NVIDIA と非常に似ていると思います。ジェンセンが NVIDIA とその二つのトレンド展望について年次プレゼンテーションを行う時、彼は常にトレンドの先を行っています。それは、トレンドが起こる前にそのトレンドに到達する必要があるからです。

これは、AIが世界史上最も速く動く業界だと思うため、私たちのビジネスが継続的に適応してきた一つの方法です。各転換、各進化は非常に迅速に動きました。

アプリケーションビジネスへの展開

もう一つの出来事は、2021年末から2022年初頭に、私たちはアプリケーションで働き始めました。AIベースのアプリケーションと、現在はより多くのエージェントワークフローとエージェントアプリケーションを企業と政府顧客向けに構築し始めました。

これは私たちのビジネスの興味深い進化でした。歴史的に、私たちのコアビジネスは非常にオペレーショナルです。このデータファウンドリを構築し、データを生産するためのすべてのプロセス、品質管理システムを備えた多くの人間と人間の専門家を含む非常にオペレーショナルなプロセスです。

この高度にオペレーショナルなビジネスとその成功が、アプリケーションビジネスを構築することを夢見るモメンタムを作りました。

それに取り組んだ時、私は基本的に異なるビジネスを成功裏に追加した他のビジネスを研究しました。それらのいくつかがうまくいく固有の特性や理由は何でしょうか。その中で最も興味深く、現代ビジネス史で最も特異だと思うのは、Amazon が AWS を構築したことです。

Amazon AWS からの学び

2000年に「この大きなオンライン小売業者が大規模クラウドコンピューティングサーバーレンタル事業を構築する」という短編小説を書いたとしたら、それは無意味に思えたでしょう。2006年にAWSをローンチした時、すべてのアナリストがそれをひどいアイデアだと思ったため、Amazon の株価は下がったことを覚えています。

それまで行われたことがなく、コアビジネスとはまったく関連しているように見えませんでした。しかし、その知恵は二重だったと思います。そのビジネスの起源の瞬間にいた人々と話すことから、最も重要なことの一つは、AWS の基本的なビジネスモデルが文字通り無限に大きく成長する市場になるという確信を持っていたことでした。

世界で構築される必要がある計算量の指数関数的成長があり、規模の経済からの十分なコスト利点があれば、それを行うことができました。

スタートアップは、早期には非常に狭い市場、ほぼ最も狭い市場を狙い、モメンタムを得てから、それらの超狭い市場からゆっくりと成長する必要があります。そして、ある時点で1000億ドル企業以上になる野心がある場合、無限市場がどこにあるか、それらの無限市場に向けてどのように構築するかを切り替える必要があります。

すべてのビジネスとすべての組織がAI駆動技術、現在はエージェント駆動技術で全体のビジネスを再フォーマットする必要があるという単純な実現でした。時間をかけて、それは経済全体を飲み込むでしょう。それで、大企業と政府向けのAIアプリケーションとAI展開を構築するという無限のビジネスでした。

データラベリングからエージェントビジネスへ

多くの人は、あなたたちがこの変革の真っ只中にいることを理解していません。彼らはまだ Scale をデータラベリング会社だと思っています。しかし、10年後を考えると、Scale の大部分は実際にエージェントビジネスになると思いますか。

そうです。現時点ではるかに速く成長しており、無限市場だと思います。大部分の市場の厄介なことは、非常に浅いS曲線を持つことです。しかし、ハイパースケーラーやメガキャップテクノロジー企業を見ると、これらの非常に大きな市場を持っています。本当にこれらの無限市場に入りたいのです。

これまでの戦略は、少数の顧客向けの使用事例の構築に焦点を当て、非常に選択的であることでした。世界ナンバーワンの製薬会社、ナンバーワンの通信会社、ナンバーワンの銀行、ナンバーワンの医療提供者と働き、米国政府、国防総省、その他の政府機関と多く働いています。

全体は、実際に差別化されたAI能力に似たものを構築することに向けて非常に焦点を当てたアプローチを取る方法です。これはすべて多少ありきたりに聞こえるかもしれませんが、私たちの見積もりでは、これらすべてのアプリケーションを構築することで数億ドルのビジネスがあります。私の説明では、業界で最大のAIアプリケーションビジネスの一つだと思います。

これは確実に投資家が私たちに言うことで、データビジネスでの差別化によって燃料を供給されています。私たちの根本的な信念は、すべての企業またはすべての組織の最終状態は、自分たちのデータによって彼らに吹き込まれたある形の専門化です。

Palantir との比較

私たちの日常の仕事は歴史的に、世界の大規模モデル構築者向けに高度に差別化されたデータを生産することでした。そして、その知恵と能力とオペレーショナル能力を企業と彼らのユニークな問題セットに適用し、専門化されたアプリケーションを与えることができます。

正直なところ、最もズームアウトしたレベルでは Palantir のように聞こえます。世界で最も大きな組織の一部へのテクノロジープロバイダーのようです。

主な違いは、Palantir はこれらのデータオントロジーを中心とした実際の焦点を構築し、企業向けのこの厄介なデータ統合問題を本当に解決しています。私たちの全体的な視点は、AI戦略の差別化を可能にする最も戦略的なデータは何か、そのデータを企業内から生成またはハーネスしてそれを開発する方法は何かです。

あなたたちは別の5〜10年で非常に大きな競合になると思いますが、今のところ、それは基本的に非常にグリーンフィールドです。無限に大きな市場だと思います。実際には、問題があまりにも巨大で手に負えないため、私たちは実際には Palantir とより協力的で競争的ではありません。

これらの巨大組織の問題は実際に非常に巨大で手に負えないため、彼らは手を上げて「問題を解決できる可能性のある人を雇うチャンスがない」と言います。しかし、Scale や Palantir のような会社は実際に YC に応募するような人々を雇うことができます。

現在頭の中にある通底線は、十分な資本があり、制限要因は実際に楽観的で実際に懸命に働く本当に素晴らしい技術的に賢い人々だということです。そのような人々は十分ではありません。それは世界にとって真実です。

エージェントによる内部業務効率化

ちなみに、エージェントについて先ほど話したように、突然それらの人々は無限に近いレバレッジを得ると思います。AIのおかげで、そのボトルネックが爆発すると思います。

クラウドでは AWS が圧倒的に最大ですが、実際にすべて大きな他の多くのクラウドプロバイダーがあります。これは勝者総取りのようなビジネスである必要はありません。それは飲み込めるには大きすぎる市場だと思います。単一の組織がそれを持つ組織的な幅を持つことはできません。

オペレーションについて話すと、あなたは明らかに未来に住んでいて、それは非常にクールです。あなたは確実に既に多くのエージェントとツールで Scale を運営して、非常に効率的にし、より少ない人でより多くのことができるようにしていると確信しています。会社として内部的に行っていることと採用しているエージェントについて共有できることはありますか。

モデル開発者がエージェントの開発を始め、強化学習を使用し始めた時、モデルが実際に本当にエンドツーエンドのワークフローを行える実際の推論モデルを使用し始めた時、私たちは早期にこれを見ました。私たちは、エージェントがそこに到達できるデータセットを生産する責任がありました。その訓練プロセスがどれほど効果的かを見ました。

エージェント展開に対する強化学習の効果は非常に狂気じみています。それを実現すると、既存の人間駆動ワークフローを環境と強化学習データに変換できれば、これらの人間ワークフローを人間ワークフローに変換する能力があることを実現しました。特に、ある程度の故障性と一定レベルの信頼性で大丈夫な場合、それらをエージェントワークフローに変換できます。

採用プロセス、品質管理プロセス、特定のデータ分析とデータプロセスの自動化、様々な営業レポートなど、会社のすべての主要組織に埋め込まれたあらゆる種類のエージェントワークフローがあります。

全体は、これらの非常に反復的な人間ワークフローを特定し、基本的にそれをデータセットに変換するプロセスを経て、自動化ツールを構築できるようにするという考え方です。

具体的なエージェント実装例

これらのデータセットは実際にはどのように見えるのですか。ブラウザー使用では、環境があり、この人間がこのフォームに記入してこのドロップダウンで「はい」「いいえ」を決定するプロセスの動画がありますか。

私たちが行うプロセスの一つは、候補者からの完全なパケットを取り、その候補者に関するすべての重要な詳細を提供するブリーフのようなものに蒸留し、より広いコミティーによる決定のためのものです。

これらの種類のケースは、広く言えば深い研究プラスのようなものが最も低い実を成す果実です。多くの場所をクリックして情報の多くの断片を引っ張り、それらを一緒に混ぜて、その上に分析を生成するようなプロセスを取ることができるかどうかです。その根本的な情報駆動の分析プロセスは、ワークロードによって駆動する最も簡単なことです。

必要なデータの種類は、環境と呼んでいるものですが、通常はタスクが何か、そのタスクを実行するために必要な完全なデータセット、それを効果的に実行する方法のルーブリックです。

ファインチューニング vs プロンプトエンジニアリング

メタプロンプティングとプロンプトエンジニアリングが非常に良い時に、RLとファインチューニングが必要ですか。

モデルが良くなるにつれてプロンプティングも良くなると思いますが、プロンプティングはある程度のレベルまで到達させ、強化学習はそのレベルを超えます。実際、これは良い点です。私たちのビジネスでは、おそらくほとんどの場合、実際に非常によく機能するのは主にプロンプティングだと思います。

奇妙なことは、モデルを分解する必要がなく、率直に言って次のモデルは非常に良くなるということです。評価は主にどのモデルを選ぶか、いつ次のモデルに切り替えるかについてです。

スタートアップは基本的に複雑性曲線をどのように歩むかの戦略が必要だと思います。構築するプロダクトやビジネスは、モデルの能力の広範囲の曲線であるこの複雑性曲線を駆け上がる能力から本当に恩恵を受ける必要があります。

人類最後の試験

あなたは実際にこの次の推論曲線に入ろうとするこれらの非常に困難なタスクの多くを持つリーダーボードを作成しました。それについて教えてください。

安全性のためのセンターと協力して構築したものの一つは「人類最後の試験」でした。面白い名前だと思いますが、残念ながらそれを超える更なる試験があるでしょう。アイデアは、分野で最も賢い科学者と効果的に働くことでした。多くの非常に優秀な教授と働きましたが、非常に優秀な個人研究者とも働きました。

世界で最も賢い研究者が、最近取り組んだ最も困難な科学的問題だと言うデータセットをまとめて集約しました。彼らはそれらを解決したか、正しい答えに到達できましたが、彼らが認識し知っている最も困難な問題の種類でした。

これらの問題をどのように思いつたのか興味がありました。各教授が新しい問題を提供したので、これらは教科書や試験に登場したことのない問題です。彼らは脳から出てきて、まったく新しい問題をゼロから入力しただけですか。

そうです。一般的なガイダンスは「最近あなたの研究で出てきた、特に困難な問題だと思うものは何ですか」でした。

問題は馬鹿げて困難です。彼らは狂気じみています。これらの問題を見たことがあるかわかりませんが、完全に狂気じみています。ちなみに、インターネットで検索することはできません。多くの専門知識を持ち、実際にかなり長時間それらについて考える必要があります。多くの推論が必要です。

現在、モデルが15分または30分間だけ考えることができる時間制限があります。最近の研究所の一つからの最新の要求の一つは、モデルが問題について考えるために最大1日まで時間制限を増やしてもらえませんかということでした。

特定の問題で専門知識を持たない限り、おそらくそれを正しく理解するチャンスはありません。この評価でも、最初にローンチした時、今年の初めでしたが、最高のモデルは7%、8%程度のスコアでした。現在、最高のモデルは20%以上のスコアを出しています。非常に迅速に動きました。

このベンチマークでも飽和を迎えると思いますか？

最終的にはそうです。飽和し、新しい評価に移る必要があります。命名の救いは、それが最後の試験だということでした。新しい評価は、根本的により曖昧で複雑な現実世界のタスク、現実世界の活動の種類になります。

あなた自身でいくつかの問題を解きましたか、アレクサンダー？あなたは長い間競技数学をやっていたことを知っています。

数学の問題は多くを必要とします。それらは分野で非常に深いです。いくつかは管理できましたが、ほとんどは絶望的でした。モデルが解決できるものを見ました。

それは評価の一つで、他の多くの評価も作成しました。AI業界は実際に非常に困難な評価と、モデル能力の最前線を本当に示す非常に困難なテストの不足に本当に悩み続けていると思います。

業界で人気になる評価を構築する時、それは突然、研究者が最適化しようとする北極星と基準になるという深い効果があります。これは実際に非常にやりがいのある活動です。人類最後の試験を構築し、すべてのモデルプロバイダーが常に結果を報告し、素晴らしい仕事をすることに本当に動機づけられた多くの研究者がいます。

モデルは最前線の研究問題で悪魔的に優秀になるでしょう。

AGI第4段階：科学的革新者

サムは AGI の第4段階、革新者について話し始めており、来年にそれが来ると予測しています。次の12〜24か月が実際に推論とこれらのモデルの操作から文字通り新しい科学的ブレークスルーが来る瞬間だと思いますか。

非常に妥当だと思います。生物学のような分野で、これは最もよく言及されるものの一つですが、人間が持っていない生物学についての直感をモデルが持っている可能性があります。それらは異なる形の知性を持っているからです。

そのため、モデルが人間に対して何らかの根本的で深い利点を持つ分野や領域があることを期待するでしょう。生物学は私にとって最も明確なものの一つだと思います。それらの分野で科学的ブレークスルーを期待するのは非常に現実的だと思います。

化学では昨年既に起こっており、ノーベル賞は AlphaFold の Google チーム、デミス・ハサビスとジョン・ジャンパーに行きました。それはその前の巨大なジャンプでした。より多くのタンパク質フォールド構造が解決されようとしていた競技があり、それは悲惨でしたが、AlphaFold がそれを破壊しました。

科学者にとっては奇妙な時代ですが、科学にとってはエキサイティングな時代です。効果的に最前線のR&D研究をすべて実行しているAIがある未来について話す短編小説があります。科学者がすることは、AIが作る発見をただ見て、それらを理解しようとすることです。

人間の知識の最前線がどのように拡大するかを見るのは非常にエキサイティングな時代だと思います。生物学のような分野では、医学と医療のブレークスルーとこれらすべての他のことを燃料にするでしょう。そして経済の大部分は、人間が望むものを与えながら続いていくでしょう。

中国のオープンソースモデルとの競争

中国がモデルをオープンソース化したり、DeepSeek がモデルをオープンソース化したりすることは、どのように展開するか、別の非常に興味深い質問です。世界で最高のオープンソースモデルが中国から出てくるという厄介な現実があります。

アメリカのモデルが先行することを確実にするために何ができると思いますか、それとも運命として書かれているのでしょうか。

中国のモデルがなぜこれほど良いのかについての最も簡単な説明は産業スパイ活動だと思います。これらの最前線モデルがどのように訓練されるかには多くの秘密があります。秘密と言うと実際よりも興味深く聞こえますが、ハイパーパラメータをどこに設定するかについての多くのタスクと知識、小さな直感、これらのモデルを機能させ、モデル訓練を機能させる方法があります。

中国の研究所は非常に迅速に動き、加速し、そのような速い進歩を成し遂げることができました。一方で、非常に才能のある米国の研究所でさえ、進歩がそれほど速くありませんでした。これらのモデルを訓練する方法についての秘密の多くが最前線の研究所を離れ、これらの中国の研究所に戻っていくと純粋に思います。

未来をモデル化する唯一の方法は、中国が非常に高度なモデルを持つことです。現在の慰めは、それらが最高のモデルではないことです。半歩遅れていると言えるでしょう。しかし、真に互角になった時に何が起こるかをモデル化するのは困難です。

エネルギー生産とチップ優位性

私たちはエネルギー生産で大きく遅れており、これは純粋に規制によるもので、2秒で修正できるものですが、まだ修正されていません。それは巨大な問題です。過去が未来の予測因子であるかはわからりませんが、米国の総電力網生産を見ると、豚のように平坦に見えます。中国の総電力網生産を見ると、過去10年間で倍増しており、ただの直線上昇です。

それは驚愕的です。つまり、それはただの政策失敗です。中国はその大部分が石炭で、石炭が中国で成長しています。米国では実際に再生可能エネルギーが大幅に成長しましたが、再生可能エネルギーは化石燃料とトレードオフします。私たちはエネルギーグリッドの移行を行ったのに対し、彼らは継続的に複合しています。

電力生産でこの問題がありますが、チップでは私たちが有利です。計算量では、正味で私たちが先に出ると思います。

データを見ると、これはあなたが質問してきた多くのことに向かいますが、中国はデータで根本的に非常に良い位置にあると思います。明らかに、私たちはデータでアメリカ企業をすべて支援しているので言うのは奇妙ですが、中国では著作権や他のプライバシールールを無視でき、躊躇なくこれらの大きなモデルを構築できます。

第二の問題は、中国にはデータラベリングのための大規模政府プログラムが実際にあることです。政府自体によって開始された様々な都市に7つのデータラベリングセンターがあります。AI企業がデータラベリングを使用するための大規模な補助金があります。実際にはバウチャーシステムです。大学プログラムもあります。

中国では雇用が非常に大きな国家優先事項であるため、AIのような戦略的分野がある時、すべての仕事が何かを理解し、それらの仕事を作成するためのこれらのファネルを作成します。

私たちはロボティクスデータでもこれを見ており、中国では既に データを収集するために行くロボットでいっぱいの大規模工場があります。奇妙なことに、多くの米国企業でさえ実際にロボティクス基盤モデルの訓練でに中国からのデータに依存しています。

長い話を短くすると、中国はデータで利点を持っている可能性があり、アルゴリズムでは米国の方が正味ではるかに革新的ですが、産業スパイ活動が現実であり続ければ、基本的にアルゴリズムで互角です。

モデル化するのは困難ですが、おそらく米国が否定できない継続的優位性を持つのは60対40、70対30のようなものですが、中国が追いつくか、潜在的に追い越す多くの世界があります。

ハードウェア製造の課題

私にとって恐ろしいことは、Optimus や YC のWeave Robotics のようなロボティクス企業を見ることです。それらのソフトウェアは中国から出てくるものと同等かそれ以上に良いですが、ハードウェアに関しては、こちらでは20,000〜30,000ドルかかります。高精度ネジをこちらで作ることさえできません。向こうでは同じ身体化ロボットを2,000〜4,000ドルで作ることができます。

深圳の通りを歩けば、彼らはそれを持っています。国家レベルでそれに対してどのように競争しますか。

中国の製造業が信じられないほどである程度は非常に大きな問題です。それは防衛と国家安全保障に関連しています。ある程度、防衛と国家安全保障は、どの国が紛争を抑止できるものや他のものを撃ち落とせるものをより多く持っているかに帰結するからです。

それは戦闘機や航空母艦ではないと思います。おそらくハイパーマイクロで、ドローンと身体化ロボットになるでしょう。

まさにそうです。ドローン、身体化ロボット、サイバー戦争。冷戦時代の「より大きく、より大きな爆弾を作る」という哲学は、その正反対です。実際には断片化と、より小さく、よりニンブルで引き付けられるリソースに向かう動きです。

それは大きな全体像のトレンドの一つで、もう一つの大きな全体像のトレンドは、私たちが信じるエージェント戦争またはエージェント防衛への動きです。今日の戦争が実際にどのように見えるか、ロシア・ウクライナや他の紛争地域を見ると、意思決定プロセスは驚くほど手動で人間駆動です。すべてのこれらの非常に重要な戦闘時間の決定は、非常に限られた情報で、残念ながらこれらの非常に手動なワークフローで行われています。

AIエージェントを使用すれば、完璧な情報と即座の意思決定を持つことは非常に明確です。私たちはエージェント駆動の戦争とエージェント駆動の紛争への巨大なシフトを見ることになり、これらの紛争をほぼ理解できないほど速く動くシナリオに変える可能性があります。

軍事分野でのAI応用：Thunder Forge

それはあなたたちが積極的に取り組んでいることですよね。話せることはありますか。いくつかは機密だと思いますが。

私たちが行っていることの一つは、ハワイのインド太平洋コマンドと Thunder Forge と呼ばれるシステムを構築しています。インド太平洋地域を担当し、軍事計画と作戦にAIを使用するためのDoD の旗艦プログラムです。

私たちは基本的に私が言ったことを正確に行っています。既存の人間ワークフローを取り、軍事は教義的方法で働くか、この非常に確立された軍事計画プロセスの教義によって統治されています。それを一緒に働く一連のエージェントに変換し、全く同じタスクを実行しますが、すべてエージェント駆動です。

突然、これらの非常に重要な意思決定サイクルを72時間から10分に変えます。チェスで人間と対戦する場合、彼らは考えるのに時間を費やす必要があります。それはこの遅いゲームのようなものです。コンピューター と対戦する場合、これらの即座の動きの戻りで、この容赦ない形の戦争のようなものです。

その一部は、思考の連鎖を即座に見ることができることが最も強力なことです。答えが欲しいのではなく、どのようにそこに到達したかを見たいのです。推論自体を実際に見ることは非常に強力でした。

実際、それが最初の DeepSeek のローンチがはるかに興味深かった理由だと思います。o1 が出ていましたが、推論を隠していました。推論は実際に非常に重要な部分で、彼らがそれを隠した唯一の理由は、他の人にそれを盗まれたくなかったからで、とにかく盗まれました。

成功の秘訣：深く関心を持つこと

この空間についてのもう一つの興味深いことは、高度な能力があり、それらを秘密にし、クローズドにしようとできるが、何をしても時間をかけて開いていくということです。

明らかにアレクサンダー、あなたは多くの信じられないことを成し遂げ、会社を複数回変革し、多くの分野で深い専門知識を持っています。あなたは明らかにハードコアです。聴衆があなたのようになるためのアドバイスはありますか。

最も重要なことは、本当に本当に本当に関心を持つ必要があるということです。ある意味で若さの愚かさのようなもので、若い時はほぼすべてが天文学的に重要に感じられるので、ただ非常に懸命に努力し、すべての詳細を気にかけます。すべてがあなたにとってはるかに重要です。

その特性は本当に本当に重要で、異なる人々にとって異なる程度です。何年も前に「気にかける人を雇え」という投稿を書きました。本当に非常にシンプルです。人々を面接する時や人々と交流する時、適当にやっている人と、彼らの仕事にしがみついている人を見分けることができます。それは彼らにとって非常に重要で強力で大切なことなので、素晴らしい仕事をします。

素晴らしい仕事をしない時、それは彼らを食い尽くし、素晴らしい仕事をする時、彼らは自分自身に非常に満足します。このケアの大きさと、私が人々と働くことをどれだけ楽しんだか、率直に言って Scale でどれだけ成功したかの最大の指標の一つは、実際にこれでした：彼らの魂がどの程度彼らが行う仕事に投資されているかです。

もし一つのことを選ぶとしたら、それはおそらくある意味での統一要因です。私は多く関心を持ちます。会社で下すすべての決定について多く関心を持ちます。私は今でも会社のすべての雇用を確認します。すべての雇用を文字通り承認または拒否するプロセスがあります。

私は非常に関心を持ち、非常に関心を持つすべてのこれらの人々と働き、それによって私たちはビジネスで起こることをはるかに深く感じることができます。結果として、より迅速に方向を変え、より迅速に学び、より真剣に仕事を取り、より迅速に適応します。これは私たちが持った成功にとって非常に重要でした。

品質への妥協なき追求

アレクサンダー、あなたが最近私に話してくれたストーリーが心に残っています。Scale が非常に大企業だった最近でさえ、あなたはパートナー企業に送られるすべてのデータを個人的に手で確認し、基本的に最終品質管理のようになっていたということです。

そうです。多くの起業家がおそらく同意すると思いますが、顧客が感じることと顧客が幸せで悲しい時、それは本当にあなたに到達します。不幸な顧客を持つ時、それは個人的に非常に痛いことです。

広く言えば、私たちの会社には「品質はフラクタル」という価値があります。高い基準が組織内で浸透すると信じています。組織の下位に行くにつれて基準が上がる組織を見ることは非常にまれです。人々がマネージャーや管理マネージャーやディレクターなどが本当に関心を持たないことを実現する時、それは深く関心を持つ必要があるという深い欲求を取り除きます。

高い基準と品質に対するこの深い関心が、組織全体の深く埋め込まれた信条であることが非常に重要です。

ファウンダーモードです。ファウンダーモード。

私たちと時間を過ごしてくれてありがとうございました。それで、申し訳ありませんが時間切れですが、次回またお会いしましょう。