この動画は、Anthropicの共同創設者であるTom Brownが自身のキャリアの軌跡と、AIの最前線で経験してきた数々のブレイクスルーについて語ったインタビューである。21歳でMITを卒業した彼が、複数のスタートアップを経てOpenAIに参加し、GPT-3の開発に携わった後、Anthropicを共同創設するまでの道のりを詳述している。特に、スケーリング則の発見がAI業界に与えた衝撃や、Claude 3.5 Sonnetによるコーディング分野での突破、そして最新のClaude Codeの開発背景など、技術的な転換点となった瞬間を当事者の視点から説明している。また、現在進行中のAGI開発競争における計算インフラの重要性や、若い世代がAI革命にどう参加すべきかについても言及している。
創業当初の苦労とビジョン
俺らが始めた時はな、全然成功しそうには見えへんかったわ。OpenAIは10億ドルも持ってて、めちゃくちゃスター級の人材もおるのに、俺らは共同創設者7人でコビット禍の中で何か作ろうとしてて、実際に製品を作るのか、どんな製品になるのかも分からへん状態やったからな。
一つ面白いのは、人類が史上最大のインフラ構築に向かってるってことや。Anthropicの初期について教えてくれや。長期的なミッション、要するに人類を滅ぼさへんっていう大まかなアイデアはあったけど、実際に最初の1年間は何に取り組んでたんや？それがどうやって実際の製品に収束していったんや？
ライトコーンの新しいエピソードへようこそ。今日はAnthropicの共同創設者、Tom Brownや。ここに来れて興奮しとるわ。
Tom、見てる人たちの多くが知りたがってることの一つは、君が21歳でMITを出たばかりの時に技術業界に入って、2009年からどうやってAnthropicみたいな重要な会社を共同創設するまでになったかってことや。
2009年の夏、リンクトランゲージっていう会社があってな。友達二人が始めた会社やった。たぶん俺らの別の友達のカイル・ヴォートがYCの会社をやってるのを見て、俺らもそういうことができるんやって思ったんやろな。最初は俺が初めての従業員やった。そうそう、君らは俺をディナーとかにも誘ってくれたしな。
俺は大手テック企業に行くこともできたと思うわ。たぶんソフトウェアエンジニアとして、もっとソフトウェア工学のスキルは学べたやろな。でも、他の共同創設者と一緒におって、誰からも何をするべきかを言われへん状況で、どうやって生きるか、会社がデフォルトで死んでしまうのをどう防ぐかを考えなあかんかった。学校では人がタスクをくれて、俺がそのタスクをこなすっていう感じが多かったわ。なんか餌をボウルに入れてもらうのを待ってる犬みたいな感じやったんや。
でもあの会社では、もっと狼みたいで、本当の餌を狩らなあかんし、そうせんと俺らの子供が餓死してしまうみたいな感じやった。その考え方の変化が、もっと大きくてエキサイティングなことをしようとする時の一番貴重な考え方の変化やったと思うわ。
そうやな。大手テックは大手テック企業で働く方法しか教えてくれへんけど、狼になる方が遥かに面白いもんな。
友達のスタートアップで働くのから、どうやって自分で会社を始めることになったんや？
リンクトは、しばらく会社を運営してたんやけど、その後学校に戻って、学校を出た時にMopubっていうモバイル広告の会社に行ったんや。そうそう、そこで初めてのエンジニアやった。俺は狼になりたいと思ってたけど、プログラミングがめちゃくちゃ下手やったんや。ソフトウェアエンジニアとして本当に苦労してた。もっとやりたいことがあるのは分かってたけど、まだどうやってやるかが分からへんかった。それで何かをスケールする経験を積んだんや。
2012年の冬、大学時代の一番頭の良い友達がYCの会社を始めようって誘ってきた。当時はソリッドステージっていう会社をやった。Dockerが存在する前の話や。アイデアはDevOpsをもっと簡単にすることやったけど、Dockerがないから、もっと柔軟なHerokuを作ろうということで、基本的にはもっと複雑なHerokuっていうことやった。
俺らは君らと面接したのを覚えてるわ。たぶん俺らが何を作ろうとしてるのか、みんな分かってなかったと思う。俺ら自身もそれほど分かってなかったしな。新しいことをしようとする時は、実際よくあることやと思うわ。
俺らはそこでは外れ値やったと思う。面接をして、それからサンフランシスコに運転して帰る途中に呼び戻されて、TLBがホワイトボードに怒った顔のしかめ面を書いて「実際に何を作るつもりなんや？」って書いてあった。それで俺らに説明してもらいたがってた。
たぶん十分説明したか、「こいつらはまだ何をしてるか分からんけど、たぶん分かるようになるやろ」って思ったんやろな。途中で俺はまだ実際に何を作るのか、どうやってそれに自分が人生をかけて働きたいと思えるミッションを結びつけるのかが分からんかった。
それで俺は辞めた。PGが実際にグルーパーの創設者のマイケル・ワクスマンを紹介してくれたんや。
グルーパーは出会い系アプリやったけど、男3人、女3人っていうのが新しかった。これはAIが普及する前の話やから、人々を手動でマッチングする人のチームがあったんや。みんなバーで会って、いろんなことが起こるっていう仕組みやった。
確実にいろんなことが起こったわ。みんないつも良い時間を過ごしたわけやないけどな。君も何回かグルーパーに行ったよな。
グルーパーで俺が興奮したピッチは、俺がめちゃくちゃ社交性のない子供やったからや。俺がやりたかったのは、俺みたいに社交性のない人が外に出て他の人と話せるようにすること、俺が女の子と話して、友達がいる中で安全にそれができるように感じられることやった。
従業員になる人が重要やったから、俺がすべてのエンジニア面接をやった。一番多く参加したのはGreg Brockmanやったと思う。彼は毎週SlackかHip Chatに投稿してた時期があったと思う。
彼はニューヨークにいて、その時期にRecurse Centerで過ごしてた。あ、Stripeにいたかもしれん。たぶん一部の時期はRecurseにいたんやろうな。でも彼はStripeで「グルーパーに行くから誰か一緒に行かへん？」って毎週投稿する時期が1年間続いてたと思う。
それで俺はGregと親しくなって、それがOpenAIへの繋がりになったんや。
どんな道のりやったん？君はMITのCS卒業したばかりで21歳やった。それからまずはYCスタートアップの初期従業員になって、数年後に自分の会社を始めた。最終的にAnthropicの共同創設者になるまでの道のりは？長い道のりやったけど、かなり印象的やな。どうやってそこまで行ったんや？
その瞬間にGregと連絡を取ったのが大きかったんやろな。それで君がOpenAIに最初の数十人の一人として参加することになったんやろ？
そうや。2014年6月にグルーパーを辞めて、1年後にOpenAIに参加したと思う。AI研究に転向する勇気を築こうとしてた。
その時俺は「いつか俺らの生きてる間に変革的なAIを作ることになるかもしれん。もしそうなったら、それが一番大きなことになるやろう。何らかの形で手伝えるかもしれんけど、大学で線形代数でB-を取ってるしな」って思ってた。
その時は、それに少しでも手伝うためには超一流のスーパースターである必要があると思われてた。だから俺が手伝えるかどうか、すごく不安やった。スタートアップでも成功してたから、「こんなことで苦労するより、また別のスタートアップをやった方がええんちゃうか」って思う部分も多かった。
その時期、AI研究に取り組むっていうのは実用的に真剣な仕事とは見られてなくて、君は会社を立ち上げたりこういう実用的なことをしようとする世界にいたわけやけど、友達は「AIの仕事に行くなんてかっこええな」って言ったんか、それとも実際そうでもなかったんか？
友達らは「それって変で悪いことに聞こえるな」って感じやった。「AI安全性なんて火星の人口過多みたいなもんで意味不明や」って感じで、友達らも「君がそれで上手くやれるか分からん」って言ってた。
そういう理由で、6ヶ月間勇気を築こうとしてあっちこっちしてたから、あんまり一生懸命やらんかったと思う。
その時点で具体的に何をしてたん？研究論文を読んでたりしたんか？どんな感じやった？
最初はただぶらぶらしてた。バーニングマン用のアートカーを作ったりしてた。あ、それは楽しかった。
グルーパーを辞めた後、3ヶ月間夏を過ごしたんや。正直グルーパーで燃え尽きてたからな。スタートアップって浮き沈みが激しいけど、俺らは最後の方で上手くいってなかった。売上は下がってたけど、俺の主な仕事はまだエンジニア採用で、もう信じてない夢を売り込まなあかんかった。デスマーチみたいやった。
だから超燃え尽きてて、「Tom、落ち着いて、ヨガでもして、クロスフィットでもして、アートカーでも作れ」って感じやった。
振り返ってみて、グルーパーについてどう思う？明らかにめちゃくちゃ頭の良い人たちを惹きつけて、グラフは右肩上がりやったのに、平行線になって下がり始めた。何が起こったん？
俺らが始めた時の競合はOkay Cupidとかで、全部ウェブベースやった。俺らが解決しようとしてた主な問題は、自分から出て行って新しい人に話しかけるのが難しいことで、「話したくない、変に見える」って言われるかもしれんっていう不安やった。俺らはブラインドマッチングでそれを解決した。
俺らがグルーパーをやってる間にTinderが出てきて、Tinderは両方が興味を示してからマッチングするっていう方法で同じ問題を解決した。だから拒否される心配もない。彼らの方が同じ問題に対してより良い解決策やったと思う。
Tinder、よくやったわ。スワイパーの皆さん、よくやった。俺らが解決しようとしてたミッションを、俺らより上手く解決したと思う。
AIへの真剣な取り組み
いつAIに真剣に取り組むようになったんや？どうやってアプローチしたん？
3ヶ月遊んで楽しんだ後、個人的な資金も尽きてきた。「仕事を得るチャンスを得るためには、6ヶ月間の密かな勉強が必要や」って思った。その時点ではDeepMindかGoogle Brain、それかMIRIが仕事をする場所やった。MIRIは俺が見てた3番目の場所や。
「そこで手伝いたいなら、この3つの場所を見るべきや。まだスキルが全然ないから、足手まといにならずに実際に手伝えるように6ヶ月間自己学習が必要や」って思った。
20代のソフトウェアエンジニアでAI研究者になるために転向しようとしてる人がいっぱいいると思うから、その6ヶ月間がどんな感じやったか説明してもらえるか？君が言ったように線形代数でB-を取ってて、それが核心的なことやのに、君が到達したところはかなり印象的や。
C+やったかもしれん。確認すべきやな。最終的には上手くいった。
最初にTwitchと実際に契約して、その6ヶ月間の資金を稼いだ。3ヶ月間Twitchと契約して、それから自己学習の計画を立てた。今の人たちには正しい計画やないと思うけど、少なくとも2015年当時はな。どんな感じやった？
Courseraの機械学習コースを取って、Kaggleプロジェクトを解こうとして、「Linear Algebra Done Right」を読んで、統計学の教科書も持ってた。YC卒業生クレジットがあったから、GPUを買って、コース用にGPUにSSHで作業してた。
これはAlexNetの後やったよな？
AlexNetの後やった。俺が学ぼうとしてたのは主に画像分類で、それが全部のコースで教えてくれることやった。
OpenAIの仕事をどうやって得たん？君は数少ないエンジニアの一人やったからな。主に研究者ばっかりで、かなり充実した研究者チームやったのに。
OpenAIが発表されるとすぐにGregにメッセージを送って、「何らかの形で手伝いたい。線形代数でB-やったけど、エンジニアリングは少し知ってる。分散システムの仕事もちょっとやった。君らに手伝いが必要やったら、床拭きでも何でもするから手伝いたい」って言った。
Gregは「機械学習と分散システムの両方を知ってる人はめっちゃ少ない（彼も”paucity”って言ったわ、ファンシーな単語やな）から、そうすべきや」って言った。PeterAnielも紹介してくれて、小さなコースを組み立てるのを手伝ってくれた。それから毎月チェックインしてたと思う。
数ヶ月後、彼が「実際にプロジェクトがあるねん。ゲームをプレイしたいから、Starcraft環境を作るのを手伝ってくれるか」って言って、Starcraft環境を手伝うために参加した。それで足がかりを得たんや。
最初の9ヶ月間は基本的に機械学習の仕事は全然してなかった。
その時点でのOpenAIはどんな感じやった？多くの資金を調達してた？オフィスはあった？スタートアップみたいな感じやった？
ダンデライオン・チョコレート工場の上のチョコレート工場にあった。Gregのアパートの後やけどな。
Gregのアパートの後のチョコレート工場でスタートした時やな？Elonから10億ドルのコミット資金があったから、めちゃくちゃしっかりしてるように感じた。
GPT-3開発への参加
君にとってのもう一つの重要な節目は、GPTの学習用エンジニアリングの多くを構築したことやったな。
GPT-3のためやな。どんな感じやった？GPT-2はTPUやったよな？
そうや。GPT-3の大きなブレイクスルーは、より多くの計算を使ってGPUを使うことやった。
結局OpenAIで1年働いて、辞めて、Google Brainで1年、戻ってきて、それからGPT-3は2018年から2019年にかけてGPT-3に向けて構築してた。君が言った通り、スケールアップやった。
Dariosがスケーリング則の大きなトレンドを見てたと思う。君らはそれで論文を発表したよな。
そうや。それは今でも時の試練に耐えてて、俺らは今その夢の中に生きてる、かなり重要な論文やな。確実に、より多くの計算を正しいレシピで使えば、確実により多くの知性を得られるっていう線を見ることが、少なくとも俺にとっては「これは今起こってることや」っていう主なことやった。
その時でも学習ジョブにはそれほどお金を使ってなかったから、そこにスケーリングがあるのが見えてたし、Danny Hernandezも当時、アルゴリズム効率がどれだけ時間をかけてものを安くしてるかを示す論文をやってて、その二つが重なって「うわ、次の数年間でもっと多くの知性を得ることになる」って感じやった。
だから君が見た時、それは注目に値して驚きやった？
俺は物理学者やないけど、この仕事をしてる物理学者がいっぱいいた。元々のスケーリング則論文の12桁の範囲にわたる非常に直線的な線は、12桁っていうのはめちゃくちゃ大きな量で、12桁にわたって何かが起こるのを見たことがなかった。
それで俺は確実にスケーリングに全ての仕事をピボットすることを確信した。それまではそれをやってなかった。
素人質問していい？スケーリング則が他のすべてのドメインにも現れる可能性があるって言うのは公平か？俺らが投資してないだけで、スケーリング則が成り立つ可能性がある2つ、5つ、100、1万のドメインがあるんちゃうか？
物理学では至る所でスケーリング則が成り立ってて、当時は知らんかったけど、物理学の中には現象学っていう分野全体があって、基本的に世界の様々な側面を見て、そういうタイプのフィットをやってる。至る所でパワー則分布を見つけてるんや。
これは俺が見た中で、コンピューターサイエンス関連の分野では初めてやったと思う。面白くて驚きやったし、当時は人々が怒ってた。「GPUにお金を投げつけてるだけや、金の無駄遣いや。これはめちゃくちゃ無駄や」って言ってた。
人々は今でもそれについて怒ってるわ。
違う人たちやけど、まだ怒ってる人はいるな。研究者も怒ってたわ。「エレガントじゃない、ブルートフォースしてるだけや」って。「もっとレイヤーを積む」みたいなジェスター帽子みたいなやつ。Anthropicのスローガンは「機能する愚かなことをやる」やと思う。
これは明らかに機能する非常に愚かなことやった。
Anthropic創設への道のり
最後の無限石を集めることになった経緯を教えてくれるか？AnthropicでやけどOpenAI、DeepMind、Anthropicすべてで働いた人は世界で数えるほどしかおらんし、君はGPT-3からスピンオフしたチームの一員やった。その転換はどうやった？
二つのチームがあった。SafetyとScalingの二つの組織がDarioとDanielaに報告してた。俺らは一緒にめちゃくちゃ上手く働けてたと思う。OpenAIでもAnthropicでも素晴らしかったことの一つは、すべてがSlackに100%載ってる文化があったことや。
その中で全部公開チャンネル、素晴らしいコミュニケーション。そのグループはスケーリング則を一番真剣に受け取ったグループでもあったと思う。「これは実際に変革的になる。人類がいつかの時点で変革的AIにコントロールを引き渡すことになって、うまくいけば彼らは俺らと整合して、それが上手くいく良い移行になるけど、そうならないかもしれん。賭け金はめちゃくちゃ高い」って感じやった。
そのグループは「どうやってそれが十分真剣に受け取られるようにして、その重みに対処できる機関を構築したか」にとても集中してて、それがAnthropicに参加するために辞めた中心グループになった。
当時、それが世界にとって正しいことかは全然明確やなかった。振り返ると、それは良い選択やったように思える。
当時かっこよかったのは、俺らが始めた時、全然成功しそうに見えへんかったことや。OpenAIは10億ドル持ってて、すべてのスターパワーもあるのに、俺らは7人の共同創設者がコロナ禍で何かを作ろうとしてて、必ずしも製品を作るのか、製品がどんな風になるのかも分からんかった。
だから面白かったのは、参加した最初の人たちは皆ミッションのためにそこにいたことや。みんな他の場所でもっと権威のある、もっと多くのお金を稼げる仕事をすることができたし、人々は自分たちが何をしてるか知ってたやろうな。
基本的にOpenAIに残ることもできた。そう、まさにそれや。
それが面白いことで、俺らの文化やorg をスケールさせる鍵になってると思う。今は2,000人やけど、まだ政治が忍び込んでないように見える。その多くは最初の100人が皆ミッションのためにそこにいたことやと思う。
何かが間違い始めたら、「この人はミッションのために行動してないように見える」って手を上げて言うんや。
YCの次のバッチが現在応募を受け付けてる。スタートアップの気持ちはある？ycombinator.com/applyで応募せ。早すぎるということはないし、アプリを埋めることでアイデアがレベルアップするで。さあ、ビデオに戻ろ。
Anthropic初期の実際の作業
Anthropicの初期について教えてくれや。7人でOpenAIから分かれて、長期的なミッション、要するに人類を破滅させへんっていう大まかなアイデアはあったけど、実際に最初の1年間は何に取り組んでたんや？それがどうやって実際の製品に収束したんや？
最初の1年間で俺が主にやろうとしたことは、モデルを学習するのに必要な学習インフラを構築することと、モデルを学習するのに必要な計算を取得することやった。それが俺の二つの主なプロジェクトやった。
会社を始める時に必要な他のすべてのこともや。Brexアカウントを設定したりとか、そういうすべてのこと。
俺らは7人の共同創設者で始めて、数ヶ月以内にOpenAIから全体で25人ぐらいが参加したと思う。だから既に一緒に働く方法を知ってる、かなり実質的なチームがあった。それで俺らがもっと早く立ち上がって動き出すのを助けた。
最初の製品をいつローンチして、いつ実際に物事が機能し始めたん？
俺らがローンチした最初の製品は、ChatGPTの後やった。ChatGPTの9ヶ月前ぐらいに、Claude 1のSlackbot版があった。
そう、実際にYCのSlackにあったわ。Tom BlomfieldがAnthropicのみんなを追加してくれたのを覚えてる。めちゃくちゃかっこよかった。
でも当時は、それを製品としてローンチしたいかどうか分からんかった。そうすることが世界にとって良いことかどうか分からんかった。実際にどうやってものを上手く機能させるかっていう俺らのインパクト理論をそれほど考え抜いてなかったと思う。
プラス、振り返ると、もしローンチしようとしてたら、それをやるのに必要なサービングインフラがなかったと思う。確信がなかったから、そのインフラを構築するのをあまりにも長い間躊躇してたと思う。それは俺にとっての学習やった。
当時、ChatGPTはまだローンチしてなかった。ChatGPTがローンチしてなくて、だから大したことになるとも分からんかった。これは2022年のパンデミック頃やな。
2022年の夏やな。それからChatGPTが2022年の秋にローンチして、それから俺らがAPI を再ローンチして、その後Claude AIもローンチした。
基本的にClaude 3.5とコーディングまで、機能してるようには見えんかった。本当に、その全期間を通じて約1年前まで、俺らが成功する会社になるのかは明確やなかった。
実際にスタートアップで見たことがある。俺らはスタートアップが何を好むモデルかっていう雰囲気チェックをちょっとやってるからな。2023年中はOpenAIが主流やった。
それから2024年に事態が変わり始めて、Claude 3.5、特にSonnetがYCバッチでの市場シェアを獲得し始めた。一桁から時には20、30%になって、特にコーディングでデフォルトの選択肢になったのが非常に興味深かった。
その創発行動と、その特定のスキルでの突出について教えてくれる？今は80%か90%ぐらいやろうな。
コーディングではさらに多い、特に今はClaude Codeがある。それは意図的やったのか、それとも偶然起こったんか？
俺らがモデルをコードで本当に良くしようと投資したのは、モデルをコードで良くしたかったからっていうのが一つ、そしてやったんや。
それからみんなのそれに対する反応を見て「よし、それならもっと強くやろう」って感じになった。
これは3.5 Sonnetより前のことや。コーディングに十分投資してて、それが本当に有望やと気づいて、二倍にすることにした。
これは3.5 Sonnetより前に、組織内の個人が「俺らはコーディングをやりたい」って言ってたからで、それから3.5 Sonnetの本当に良いプロダクトマーケットフィットを見て、それが「行け、それをやれ」っていう良いシグナルになった。
3.5 Sonnetをローンチした日、君らは本当に特別な何かがあって、これが会社の転換点になるって分かってたか、それともOpenAIがChatGPTをローンチした時みたいに、予想外に離陸したから君らも驚いたんか？
俺らがもっと先見の明があったらよかったんやけど、いや、それがどれだけ大したことになるかは俺らにとっても驚きやった。
それから3.5 Sonnetも、どれだけエージェント的コーディングを解放するかで俺らを驚かせたと思う。これらのことのそれぞれについて、俺らはそれらを展開するのがかなり早いから、結果がどうなるかを本当に知らんことが多いんや。
それがこれらすべてのコーディングエージェントのスタートアップを機能させたものやと思う。10ヶ月で1億に到達したRepletのクレイジーストーリーがある、もちろんCursorの話もあって、すべてSonnetで構築されてる。
これらすべてのことは俺にとって驚きやったし、Claudeと一緒に働く中でも、それができるものの種類に驚き続けてると思う。各々でもっと多くのものがアンロックされると思う。
友達の一人が、修正したいコードツールがあったんやけど、ソースコードを持ってへんかった。コンパイル済みのバイナリを持ってて、「Claude、これを逆コンパイルできる？」「アセンブリを逆アセンブルできる？」って聞いたんや。
Claudeは10分間それを考えて、Cバージョンを作った。それで彼女はそれを手に入れた。これはめちゃくちゃや。
彼女は「もし3日間かけたら、たぶんhexテーブルを取得して、それをやるためのちょっとしたコードを書けたやろうけど、全部やってくれて、変数名も作ってくれた」って言った。
モデルがすべてのhexテーブルを記憶してて、それを通して考えることができるんや。俺らはそういうことにも驚き続けると思う。
コーディングでの成功とその理由
YCの創設者にアンケートを取ると、ベンチマーク結果を見て予想するよりもはるかに大きなマージンで、コーディングにAnthropicのモデルを使うことを好むんや。
コーディングで人々がこれらのモデルを本当に好きにさせるX要因があるようやけど、それが何か分かる？何らかの方法で意図的なんか、それとも何らかの形でブラックボックスから出てきたんか？
ベンチマークは簡単にゲームできると思うし、他の大手ラボにはみんなベンチマークスコアを良くするのが仕事のチームがあると思うけど、俺らにはそういうチームがない。だからそれがたぶん一番大きな要因やと思う。
テストに教えない。
テストに教えへん。なぜなら、そうし始めると変な悪いインセンティブが生まれると思うからや。たぶんそのチームをマーケティングの下に置いて、すべてのベンチマークを無視することもできるけど。それが訓練テストの不一致がある理由の一つやと思う。
評価はもっと定性的やけど、内部的に、それとも内部ベンチマークがある？
内部ベンチマークがある。でも俺らはそれを公開せえへん。
内部ベンチマークがチームが本当に改善に集中してるものなんか？
そうや。俺らには内部ベンチマークがあって、チームがそれを改善することに集中してる。それから俺らも自分たちのエンジニアを加速させることを最優先にしてるから、そこでも大量のドッグフーディングをやって、それが俺らのメンバーにも役立ってることを確認してる。
Golden Gate Claudeに戻ると、解釈可能性が大きな部分を占めてるように見える。それから多くの人がClaudeの性格の方が良いと感じてると言うやろうな。それで、一方で非常に定量的でありながら、性格に関するevalを構築するのはどうするん？
性格のevalは複雑でもある。Claudeが良い心を持ってるかどうかをどうやって判断するかとか、それは分かりにくい。
でも俺が思うに、それはAmanda Askellのチームの任務は、良い世界旅行者であることやと思う。Claudeがあらゆる異なる背景の人々と話しに行って、それぞれの人が「この会話は良かった」と感じて出てくるような感じや。
解釈可能性は本当に長期的な賭けやと思う。今はモデルはそれほど怖くないけど、いつかもっと怖くなる。だからその希望は、もっと激しくなった時に実際に内部で何が起こってるかを知る能力を持つことや。
最近では、Claude Codeが本当に成功してる。そのプロジェクトが内部でどうやって始まったか教えてくれる？また、今回は機能すると分かってたんか、それとも驚きやった？
Claude CodeはBorisがハックして一緒にした内部ツールでもあった。
内部のAnthropic エンジニアが自分のため、他の内部エンジニアのために構築したかったんやな？
彼と他の内部エンジニアのため。それから俺らは確実にそれが外で成功するとは分からんかった。ある程度まで、俺らは本当に以前はAPIに完全に賭けてた。意図としては「外にはめちゃくちゃ多くのスタートアップがあって、めちゃくちゃ多くの良いアイデアがある。俺らが何が正しい製品かを決めるなんて何様や？外のみんなが俺らより良いものを作るやろう」って感じで、すべての努力を可能な限り最高のAPIを作ることに注いだ。
俺を驚かせたのは、実際に製品として、このエージェント的使用のために市場の他の製品より良いものを作ることができたことや。
俺はそれの一部が、Claudeをユーザーとして見るマインドシフトから来たっていう理論を持ってる。リンクでは教師が俺らのユーザーやったし、グルーパーでは主にニューヨークの独身者が俺らのユーザーやった。
これについては、本当にユーザーは開発者やけど、ユーザーはClaudeでもあると思う。Claudeに効果的にそれをやる手伝いをさせる、Claudeが効果的に機能するための正しいコンテキストを得る手助けをする、Claudeのための正しいツールを与える。
このチームがClaudeをユーザーとして最も集中してたから、君らがClaudeを一番よく理解してるのは理にかなってる。
そうや、スタートアップの創設者もそれをできると思う。それはたぶんモデルをユーザーとするツールを作る人々にとって豊富な鉱脈や。
それは実際にLLM自体を擬人化する完璧な方法やな。エージェント自体が利害関係者の一人、追いかけて力を与えようとするユーザーの一人や。
そうや、全くその通り。実際に他のラボがツール呼び出しで何かをしようとしたけど、実際に定着して離陸した標準は君らのものやったのがなぜMCPを機能させることができたかも理にかなってる。
そう、それも似たようなもんやと思う。モデルにフォーカスしたものやった。
競合との関係とアドバイス
Claude Codeに戻ると、成功は本当にエキサイティングやけど、APIの上に構築したCursorやその他の会社にとっては怖いことでもある。Anthropicやラボのうちの1つが彼らが構築できるものより良いものを構築することを心配しながらAPIで製品を構築する創設者に対するアドバイスは何や？
Claude Codeで、俺らが市場で最高のものを実際に構築したことに俺はちょっと驚いた。それもそのはずやと思うのは、Claude Code以外の俺らの大きなアドバンテージが何やったかがそれほど明確やないことや。Claudeへのもっと多くの共感か何かが以外は。
それは実際に本当に興味深い洞察やと思う。君らが本当によく知ってるユーザー、他の人が構築しようと思わんやろう特定のユーザーのために構築してたのと、何か本質的な技術的アドバンテージがあったのとは違うみたいやな。
そうや。スタートアップも同じことをできたやろうと思う。
俺らは最も開発者フォーカスのラボやと思う。最もAPIフォーカスのラボでもあると思う。だから俺らは人々がその上でものを構築するための最高のプラットフォームを持ちたいと思ってる。これはめちゃくちゃ速く成長してるからや。
俺らはClaude を人間のビジネスの全体、人間の世界に繋げる必要があるすべての方法を見つける最速の存在にはならへんやろう。人間の世界は全部人間用に設計されてるけど、モデルが経済の生産的なメンバーになれるようにする必要がある。
開発者に構築してもらいたいアイデアやエリア、今過小評価されてると思うエリアはある？
Claude Codeは、Claudeを有用なペアプログラマーか、ジュニアエンジニアのレベル2か3みたいな、一緒に働けるものにする方法やな。変な逆アセンブリのようなことができるからめちゃくちゃ尖ってるけど、どんなタイプの仕事をすべきかを知るのはあんまり得意やない。たくさんのハンドホールディングが必要やし、それからたくさんのコンテキストが必要や。
それは実行可能な仕事の非常に特定のサブセットや。それ以外で企業で起こることを見ると、コーディングの仕方を知ってて多くのツールを使えるけど、まだそれほどコンテキストを持ってない賢い人がやりたがる企業で行われる全ての仕事の中で、それはめちゃくちゃ小さな一部分や。
だからClaude や他のモデルをコーチして、企業にとって有用なタスクをやるように仕向ける方法を見つけることには、めちゃくちゃ巨大な空間があると思う。
計算インフラの重要性
Tom、君の仕事の大きな部分は、Anthropicを機能させる全ての計算インフラを所有することやな。この巨大なものの背後にある計算インフラについて話してくれるか？
注目すべき興味深いことの一つは、人類が史上最大のインフラ構築に向かってるということや。これはアポロプロジェクト、マンハッタンプロジェクトより大きくなる。現在の軌道が続けば来年には両方より大きくなる。それはAGI計算への支出が年間約3倍増加してるからで、それはめちゃくちゃやな。
年間3倍は狂ってるわ。この年間3倍の軌道が続くと思う。それは来年についてはもう決まってて、2027年については少しオープンやけどな。
事例として、YC内部では君らのClaudeを含む全てのフロンティアモデルのクレジットが十分得られへん状態やねん。だから少し助けてもらわなあかんわ。
俺らはみんなボトルネックになってる。文字通りみんな「もっと知性をくれ、十分持てへん」って感じや。
君らがより多くのアクセラレーターのためのハードウェアスタートアップももっと見てるのも知ってる。2027年にはもっと多くのアクセラレーターがオンラインになると思う。それは良い分野やな。データセンター技術も大きなもんやと思う。
君らにとって今のボトルネックはどこや？十分な電力を得ること、十分なGPUを得ること、建設許可を得ること？電力、人々は電力を得るためにジェットエンジンを使ってる。それはめちゃくちゃやな。
構築全体にとって、電力が最大のボトルネックになると思う。特に米国での電力やな。俺らは米国で構築したいと思ってる。それが俺らの最大の政策目標の一つは、米国にもっと多くのデータセンターを構築してもらう、もっと多くのデータセンターを許可してもらう、構築をもっと簡単にしてもらうことや。
答えは再生可能エネルギーか、それとも原子力か？
確実にイエス、イエス、それらすべてやと感じる。原子力がもっと構築しやすかったらいいのに。
Anthropicは一種類のGPUだけでなく、3つの異なるメーカーのGPUを使う唯一の主要ラボやな。それについてと、その戦略がどう展開したかを話してくれるか？
俺らはGPU、TPU、Traniumを使ってる。それをやることの欠点は、パフォーマンスエンジニアリングチームをすべてのプラットフォームに分割することで、それはめちゃくちゃ余分な仕事や。
良いことは、一つには、全体的により多くの容量があるから、その余分な容量を吸収する柔軟性を与えてくれることや。二つには、正しい仕事に正しいチップを使えることで、一部のチップは推論により良く、一部のチップはトレーニングにより良いから、正しいチップを正しい仕事にマッチさせることができる。だからそれがトレードオフやな。
君のキャリアを通じてドットを繋げることの一つのかっこいいことは、君が全てを複合させてきたことやと思う。君はOpenAIでTPUからGPUへのアーキテクチャの変更を構築した一人のエンジニアやったわけで、それがGPT-3を実際にスケールできるようにした。今は何年も後に、はるかに大きなスケールでそれを担当してる。
その点が君にとって繋がったかは分からん。
OpenAIでのTPUからGPUへの大きな移行は、TensorFlowをTPUの上に載せるよりも、PyTorchがGPUの上でより良いソフトウェアスタックやったことが一部推進したと思う。
それが高速反復をアンロックしたと思う。良い信頼できるソフトウェアスタックがあると、迅速に実験できて、機能する全システムを構築できる。今Anthropicでも俺らが本当に努力してることは、多くのプラットフォームを持つことの挑戦は、すべての良いソフトウェアを書くのがより難しいことや。
その低レベルの上に構築する人々全員が素晴らしい体験を得られるように、そのソフトウェアをうまく構築する方法を知る筋肉を構築することが、そこで最も重要なことやと思う。
若い世代へのアドバイス
20代で今この狂った旅を見て経験してきた、より若いTom版の自分にアドバイスはある？誰かが今日君だったとして、AI革命に乗って参加したいと思ったら、何て言う？
非常に具体的に、今多くの大学生から聞くのは、彼らは大学にいるべきか分からない、自分たちのための仕事があるのか分からない、世界がどう変わるのか、何をすべきかを知らないってことや。
もっとリスクを取ることが賢明やと思うし、友達が本当に興奮して感動するようなこと、もしくは理想化されたバージョンの自分が成功したら本当に誇りに思うようなことに取り組むことやと思う。それがより若いバージョンの自分に言いたいことやな。
より内発的で、外発的やないってことやな。学位を取得したり、FANGで働いたりっていうこれらの他の資格を追いかけるな。それらは今日時点では無関係やからな。
そうや、その通り。
今日はここまでや。また次回会おうな。
コメント