現実の問題は、去年のモデルには市場がないということです。より多くの計算能力をモデルに投入し、モデルを大きくすれば、確かに性能は向上します。資金力のある人々にとって、これは非常に魅力的な戦略です。私は、複数のモデルが共存する世界が続くと思います。一部は特定の分野に焦点を当て、他は完全に水平展開されたものになるでしょう。この分野では間違いなく統合が起こるでしょう。クラウドプロバイダーの子会社になることは非常に危険です。
準備はできましたか？[音楽]
エイダン、この対談をとても楽しみにしていました。準備をしていて、スケジュールを書く前に資料を見ていたのですが、どこから始めようかと考えていました。そして、メモの1つを見て、エイダン、あなたはオンタリオの田舎で育ち、祖父か父が手作りで建てた家で育ったと書いてありました。それはどんな感じだったのでしょうか？まずはそこから始めてみましょう。
はい、私はオンタリオの、いわゆる田舎で育ちました。100エーカーの大きな敷地で、すべて森林に覆われており、カエデの森でした。とても素晴らしいカナダらしい環境で育ちましたが、テクノロジーからはかなり遠い場所でした。
でも、ゲームが好きだったんですよね？
はい、ゲームは大好きでした。最初からテクノロジーが大好きでしたが、アクセスするのが本当に難しかったんです。インターネットを使えませんでした。ダイヤルアップは使えましたが、他の人々が高速インターネットを使っていた何年も後まで、私はダイヤルアップを使っていました。友達はみんなオンラインゲームをしたりしていて、私はただ嫉妬…いや、嫉妬というより、テクノロジーの波、普及しつつあったインターネットに乗り遅れているような気がしていました。
それで、テクノロジーに夢中になりました。ダイヤルアップインターネットの遅いコンピュータを家で使って、とにかく速くしようと努力しました。限られた環境で最大限のことをしようとしました。最終的には、コーディングを学びたくなり、ウェブの仕組みを理解したくなりました。これをより速くできないか、インターネットをより速く読み込めないかと考えました。ピクセルが1行ずつ表示されるのを見ていたので、このテクノロジーの仕組みを学ばざるを得なくなり、それがコンピュータサイエンスへの道を開いたのです。
多くの素晴らしい創業者に会って、奇妙な理解を得ました。若い頃にゲームをしていた人と成功を収めた人の間に、非常に高い相関関係があるのです。なぜゲームが成功する創業者の要因になると思いますか？
ビデオゲームは何かを教えてくれます。より広い目標に向かって、反復的で困難で痛みを伴うことをする意欲が高まります。その種の粘り強さは重要だと思います。そして、また、リトライできるということ、2回目のチャンスがあるということです。その楽観主義や考え方が本当に重要です。多くの文化では、チャンスは1回きりです。評判があって、それを台無しにしたら、終わりです。でも、ゲームは人々に、失敗してもやり直せる、上達できるという感覚を与えてくれるかもしれません。2回目の失敗は1回目よりも少なくなり、3回目はさらに少なくなります。失敗を通じて進歩するという考え方は、おそらく非常に重要なものだと思います。
私も常にゲームデザインの力と、段階的な難易度上昇を信じています。ゲームは最初は簡単に設計されていて、自信がつきます。最初のレベルから非常に難しくて、人々が失敗して「これは不可能だ、やめよう」となるようなゲームは作りませんよね。
そうですね。機械学習にも類似点があります。カリキュラム学習と呼ばれるもので、まずモデルに非常に単純なことを教え、少しずつ複雑にして、その知識を積み上げていくのです。面白いことに、機械学習ではカリキュラム学習は実際には失敗しました。私たちは本当にカリキュラム学習を行っておらず、最も難しい材料と最も簡単な材料をすべて同時に投入して、モデルに理解させています。しかし、人間にとっては非常に効果的で、学習方法の重要な部分です。それが採用されなかったのは興味深いですね。
モデルに投入するだけだと言いましたが、率直に言って深く掘り下げたいと思います。なぜなら、誰もが言っているからです。「より多くの計算能力を投入するだけで、それが今日我々が持っている唯一の最大の制限要因だ。より多くの計算能力が必要で、それによってパフォーマンスは向上する」と。これは本当だと思いますか？まだ多くの余地があるのでしょうか？それとも、他の要素がパフォーマンスを制限しているのでしょうか？
確かに、モデルにより多くの計算能力を投入し、モデルを大きくすれば性能は向上します。モデルを改善する最も信頼できる方法で、同時に最も単純な方法でもあります。他のすべての方法が失敗しても、単に大きくすればいいのです。資金力のある人々にとっては、非常に魅力的な戦略です。リスクが非常に低く、確実に改善されます。モデルを拡大し、より多くのお金を払い、より多くの計算能力に投資すれば良いのです。
私もそれを信じていますが、非常に非効率的だと思います。もっと良い方法があります。過去1年半くらいを見てみると、ChatGPTやGPT-4が登場してから今まで、GPT-4が本当に1.7兆パラメータの大きさだとすると、13億パラメータのモデルでそのモデルより優れたものがあります。その変化の規模、いかに急速に安くなったかは馬鹿げています。本当に現実離れしています。
だから、はい、スケーリングだけでその品質のモデルを達成できますが、おそらくそうすべきではありません。
その同じ進歩的な進展は続くのでしょうか？つまり、同じスケーリングの利点を引き続き見ることができるのか、それともある時点で頭打ちになるのでしょうか？常にムーアの法則について耳にしますが、ある時点で単にiPhoneのより良い電卓になるだけではないでしょうか？
確かに指数関数的な入力が必要です。知能の線形的な向上を維持するためには、計算能力を継続的に倍増させる必要があります。しかし、おそらくそれは非常に非常に長い間続くでしょう。ただ単に賢くなり続けるでしょう。しかし、経済的な制約に直面します。元のGPT-4を購入した人はあまり多くありません。確かに多くの企業は購入しませんでした。なぜなら、巨大で、サービスを提供するのに非常に非効率的で、コストがかかり、そのコストを正当化するほど賢くなかったからです。
そのため、市場の力、価格への圧力により、単にスケールアップするのではなく、データやアルゴリズムの方法を通じて、より小さく効率的なモデルをより賢くすることに多くの圧力がかかっていると思います。
特定の用途向けに設計された、より効率的で小さなバンドルされていないバーティカルモデルの世界に住んでいるのか、それとも全てを支配する3〜5つの大きなモデルの世界に住んでいるのでしょうか？
両方あると思います。過去数年で見られたパターンの1つは、人々が一般的に賢いモデルでプロトタイプを作ることを好むということです。特定のモデルでプロトタイプを作りたくはありません。彼らが気にしていることに特化したモデルを微調整する時間を費やしたくないのです。彼らがしたいのは、高価な大きなモデルを取得し、プロトタイプを作り、それが可能であることを証明し、その後、彼らが気にしている特定のことに効率的に焦点を当てたモデルに蒸留することです。
そのパターンが本当に現れています。そのため、私は継続的に複数のモデルが存在する世界に生きると思います。一部は焦点を絞り、垂直化され、他は完全に水平展開されたものになるでしょう。
計算能力のコストと、同じ線形的な知能レベルを維持するために計算能力を倍増する必要性について話しましたが、そのコストは法外で、おそらく過去の技術サイクルでは見られなかったものです。私は若すぎて覚えていないかもしれませんが、OpenAIが3億ドルを費やしているようです。Microsoft、Amazon、Google、Facebookのような企業でない限り、このレースでの地位を維持する余裕はどうやって持てるのでしょうか？
スケーリングプロジェクトだけを行っているのであれば、それらの企業のいずれかであるか、それらの企業の効果的な子会社である必要があります。しかし、他にもやるべきことがたくさんあります。スケールが唯一の前進の道だと完全に固執しているのでなければ、データの革新やモデルと方法の革新があると信じているのであれば…
データの革新とモデルと方法の革新とは何ですか？
はい、オープンソースの分野で見られた主要な進歩のほと�どは、データの改善から来ています。インターネットからより高品質なデータを取得し、ウェブページをより良くスクレイピングし、正しい部分を抽出し、インターネットの特定の部分を重視することで、モデルが大幅に改善されています。インターネット上には多くの繰り返しやジャンクがあるので、最も価値のある知識の部分を抽出し、モデルに強調することが重要です。
合成データと、新しいデータを作成する能力は非常にスケーラブルです。何十億もの単語や何億ページものデータを得ることができますが、人間は関与せず、モデルによって書かれたものです。データの品質を向上させるこれらの革新が、現在見られる進歩のほとんどをもたらしていると思います。
わかりました。それがデータの革新ですね。方法とモデルの革新については？
これは新しい強化学習アルゴリズムなどです。Q*についての多くの噂があり、それが何であるかもしれません。解決策を探索するアイデアなどです。現在のモデルの状況は、私があなたに質問し、あなたがモデルで、即座に正しい答えを期待するというものです。これはモデルに非常に高い負担をかけています。人間にはそのようなことはできません。人間に難しい質問をして、即座に答えを吐き出すことを期待することはできません。考える必要があります。
取締役会に出席したことがありますか？
はい、時々そうですね。
しかし、私が思うに、モデルにとって明らかな次のステップは、考え、問題を解決する時間を与える必要があるということです。失敗させる必要があります。何かを試し、失敗し、なぜ失敗したかを理解し、それを元に戻して、もう一度試みる必要があります。現在、モデルには問題解決の概念がありません。
問題解決と言えば、それは推論と同じですよね？
はい、そうです。
なぜそれがそんなに難しいのでしょうか？なぜ今日、その概念がないのでしょうか？
推論が難しいとは思いません。インターネット上に推論を示すトレーニングデータがあまりないのだと思います。インターネットは推論プロセスの出力が多いのです。ウェブに何かを書くとき、あなたは作業過程を示しません。結論やアイデアを提示しますが、それは多くの思考と経験と議論の出力です。
単に自由に利用できるトレーニングデータが不足しているのです。自分で構築する必要があります。そして、それがCohere、OpenAI、Anthropicなどの企業が現在行っていることです 人間の推論を示すデータを収集しています。
OpenAIの素晴らしいUGCプレイに対して、どのように競争していると考えていますか？
はい、それは非常に難しいですね。特に企業は決して自社のデータでトレーニングさせてくれません。私たちは顧客のデータでトレーニングすることはできません。非常にプライベートなものです。彼らの視点では、彼らのデータは彼らの知的財産であり、その知的財産には多くの秘密があるので、単に喜んでそうすることはありません。私はその立場に非常に共感的です。
そのため、私たちにとっては合成データに焦点を当てることが重要です。私たちはそれにも多くの力を入れています。また、人間のアノテーション部隊を持ち、Scaleをパートナーとしています。社内にもスタッフがいますが、それが私たちに課せられた負担です。なぜなら、私たちは消費者向け企業ではないからです。このデータを自分たちで生成しなければなりません。
利点は、私たちがより焦点を絞っているということです。カバーする領域が少ないので、潜在的に何でもできる世界全体が現れて私たちに質問するわけではありません。企業が行いたい非常に明確なパターンがあります。特定の財務機能を自動化したり、特定の人事機能を自動化したりしたいのです。範囲が劇的に縮小されるので、それらの部分に本当に焦点を当てることができます。
10年後の合成データ市場はどのようになると思いますか？2〜3のプロバイダーによって独占されるでしょうか？
現在のLLM APIマーケットは合成データが主流だと聞いています。ほとんどの人がそれを行っています。これらの大規模で高価なモデルからデータを作成し、より効率的な小さなモデルを微調整しています。つまり、より大きなモデルを蒸留しているのです。それがどれだけ持続可能な市場なのかはわかりません。
しかし、新しいタスクや新しい問題、またはデータの新しい需要が常にあると確実に思います。それがモデルから来るのか、人間から来るのか、需要を満たす必要があるでしょう。
私が少し懸念しているのは、OpenAIの価格ダンピングやMetaの無料リリース、そしてMarkがオープンソースとオープンエコシステムの価値を宣言しているのを見ると、これらのモデルの価値が本当に低下しているのではないかということです。底辺への競争、ゼロへの競争になっているのでしょうか？
しばらくの間、モデルだけを販売している場合、非常に厳しいゲームになると思います。小さな市場ではありませんが、モデルだけを販売している人と、モデルと他のものを販売している人がいます。名前は挙げませんが、例えばCohereは現在モデルだけを販売しています。APIがあり、そのAPIを通じて私たちのモデルにアクセスできます。
しかし、それは近々変わると思います。製品の景観と私たちが提供するものに変化があるでしょう。それから離れるのではなく、その画像と製品スイートに追加するためです。モデルだけを販売している場合、価格ダンピングが多く、人々がモデルを無料で提供しているため、ゼロマージンビジネスのようになるので難しくなるでしょう。
それでも大きなビジネスになるでしょう。人々はこの技術を必要としており、非常に急速に成長しているので、かなり高い数字になるでしょう。しかし、少なくとも現在のところ、マージンは非常に非常に厳しくなるでしょう。
そのため、アプリケーション層に多くの興奮があるのです。市場のこの議論は、チップ層で価値が発生していると指摘するのは正しいでしょう。なぜなら、誰もがこれらのモデルを構築するためにチップに途方もない金額を費やしているからです。そして、上のアプリケーション層では、ChatGPTのようなものが見られます。これはユーザーごとに課金されます。月20ドルのようなものです。この段階では、そこに価値が集中しているようです。
長期的には、モデル層は魅力的なビジネスだと思います。しかし、短期的には、現状では非常に低マージンの商品化されたビジネスです。
今日のチップへの支出と、時間とともにそれがどのように変化したかについて、支出の割合としてどのように考えていますか？
はい、非常に非常に増えました。今では私たちの支出の大きな部分を占めています。多すぎるくらいです。
NVIDIAと直接の関係がありますね？
はい、そうです。多くのチッププレーヤーとも関係があります。NVIDIAやAMDと密接な関係があり、新しいチップを開発しているたくさんのスタートアップとも会話をしています。また、GoogleのTPUでも実行しています。
それは単一の障害点を避けたいからですか？
主に市場の需要によるものです。私たちの顧客は、多くの異なるプラットフォームで実行できることを望んでいます。彼らはオプションを求めており、1つに縛られたくないのです。そのため、私たちは実行するための非常に多様なプラットフォームのベースを提供する必要があります。同様に、私たちは1つのクラウドにロックインされることを非常に避けてきました。すべてのクラウドで利用可能にしたいのです。市場が要求しているからです。顧客は選択肢を求めており、1つのプロバイダーに垂直統合されてロックインされたくないのです。
完全に理解しました。チップ機能を独自に構築するという意味で、誰もが自社のSoCを垂直統合すると思いますか？最近、Appleが自社のチップ機能の垂直統合について多く話しているのを見ました。これは続く傾向だと思いますか？
そうなると思います。現在、チップは非常に高いマージンであり、市場にはほとんど選択肢がありません。それは変わりつつあります。他の人々が考えているよりも速く変わると思います。
はい、GPUの備蓄は、本当にこのサプライチェーンの不足が起こる前でさえ、大きく変わりましたね。
そうですね。今はそれほどではありません。
はい、不足は減少していると思います。より多くのオプションが利用可能になることが明らかになっています。推論側だけでなく、すでに推論側では非常に異種混合的で、多くのオプションがあります。推論は、モデルのトレーニングではなく、サービング側です。
トレーニング側では、大規模なモデルをトレーニングするために使用できるチップを作成する会社は本質的に1社だけだという図式でした。それは今日でも真実です。しかし、実際には今日では真実ではありません。2社あります。TPUで確実に大規模なモデルをトレーニングできます。それらは実際に、超大規模なモデルトレーニングに使用可能なプラットフォームになっています。そしてGoogleはそれを非常に説得力のある形で証明しました。そしてNVIDIAがあります。
しかし、間もなくAMD Traniumなどのプラットフォームが本当に実用段階に入ると思います。
私が疑問に思うのは、モデルや実際の計算能力への支出を見ると、モデルの進歩がデータセンターの構築や計算能力の進歩よりもはるかに速く進んでいることが心配です。1年後には、最新のモデルをH100や18ヶ月前のコンピューターで実行することになるのでしょうか？モデルの進歩と計算能力の進歩の間にミスマッチがあるのでしょうか？
サプライチェーンの問題は本当に非常に興味深いです。自社のデータセンターを構築する必要はありますか？
いいえ、私たちはパートナーと協力しています。
それが変わる時が来るでしょうか？
私たちは経済的に合理的な行動者です。自社のデータセンターを構築する方が安ければ、そうするでしょう。数字を計算してみましたが、プロバイダーから得ている価格を考えると、それはあまり魅力的な道筋ではないと確信しています。
しかし、はい、もう1つの理由は、コスト面で非常に魅力的なチップが登場したが、どのプロバイダーも私たちのためにそれを調達してくれない場合です。
初期の段階で、大量の計算チップへのアクセスに何か課題はありましたか？今日では、それは変わりましたか？
私たちは約5年前からあるので、すべてが盛り上がる前からでした。幸運だったんです。
それが盛り上がると予想していましたか？
会社を始めなければ予想していなかったでしょう。
しかし、予想していたような形ではありませんでした。完全に…予想よりも遅く、そしてずっと突然に起こりました。
2017年にTransformersに関する論文を共著しましたよね？
はい、そうです。
そして、比較的早く盛り上がると予想していたのですね？
いいえ、その時点の2017年ではそうではありませんでした。私はTransformer論文のインターンでした。これは単なる研究だと思っていました。新しいアーキテクチャを作成し、翻訳スコアを3%改善するだけだと思っていました。それがすべてだと思っていました。
そのアーキテクチャ、Transformerから生まれたすべてのこと、コミュニティがそれを愛し、AIを構築するプラットフォームとしてTransformerに本当に統合されたことは予想していませんでした。
言語モデリングとスケーリングプロジェクト全体については、世界がもっと早くそれに気づくと思っていました。本当に明らかになり始めましたが、それから世界が目覚め、世界に広まるまでに2〜3年かかりました。
そのきっかけは何だったのでしょうか？ChatGPTでしたか？
完全にそうでした。はい、ChatGPTでした。技術を直接ユーザーの前に置くことでした。あなたの母親や父親に説明する必要はありません。座って、この物と話し、これらのモデルと話すのがどんな感じかを経験できます。
チャットは消費者にとって最高のインターフェースだと思いますか？
いくつかのことについてはそうだと思います。他のことについては、GUIのような従来の視覚的なものが非常に良いと思います。本当に状況によると思います。すべてに対するインターフェースとしてのチャットは意味がないと思います。すべてのことを明示的に指示を入力したくありません。時には単にいくつかのボタンをクリックし、GUIを通過して仕事を終わらせたいだけです。
だから、はい、GUIが死んで、すべてをテキストボックスに置き換えるべきだとは思いません。しかし、それは本当に魅力的なインターフェースを提供すると思います。確かに音声はそうです。音声は魅力的です。
初めてモデルが人間と同じくらい説得力のあるテキストを書き返すのを見たとき、それは魔法のようでした。それは2017年、論文を提出した直後に起こりました。私たちはWikipediaで言語モデルのトレーニングを開始し、それらのモデルからサンプリングしました。人間のページと同じくらい説得力のあるWikipediaページを書くことができました。それは非常に魔法のような瞬間でした。コンピューターが目覚め、私たちに話し返し始めたのです。
そして、次は対話がインターフェースとなりました。単に指示を提出し、モデルが応答を返すだけでなく、モデルとチャットを通じて会話をすることです。
OpenAIは音声に多くの投資をしています。音声が消費者との次のインターフェースになるという自信は正しく、正当化されると思いますか？
絶対にそうです。はい、絶対にそうです。これらのモデルと音声ベースの会話を試したことがある人なら誰でも、それは驚くべき経験です。モデルが感情や抑揚を示し、話す前に息を吸うのを聞き、唇を鳴らすのを聞くと、ショックを受けます。その経験について説明するのは難しいです。初めて試すまでは。それは非常に魅力的なインターフェースです。とても魅力的です。
私は常に、短期的には過大評価し、長期的には過小評価するという考えに育てられました。ここではどの程度そうだと思いますか？それとも、音声は来ており、かなり早く来るのでしょうか？GPT-5も来ており、3〜6ヶ月以内に来るかもしれません。短期的に我々は実際に過小評価しているのでしょうか？
2つのことが起こっていると思います。1つは、モデルに進歩をもたらすことがより難しくなっているということです。より困難で、より労力がかかり、よりコストがかかるようになっています。なぜなら、モデルが十分に洗練されていなかった時代があったからです。通りすがりの誰かを引っ張ってきて、どんな人間でもモデルよりも知的で、何かを教えることができました。誰かを捕まえて「このモデルと話して、エラーを見つけてください」と言えば、彼らはそうし、それを改善しました。
最終的に、モデルは…平均的な人が知識のギャップや種類のことを見つけるのが難しくなりました。そして、ドメインの専門家に頼り始めなければなりませんでした。最初は安価な、比較的若い専門家、例えばコンピューターサイエンスの学生がモデルに何かを教えることができました。生物学の学生がモデルに何かを教えることができました。そして、モデルはどんどん良くなり、その知識レベルに追いつき始めました。そして、より具体的で希少な才能のプールに入っていき、彼らの知識をモデルに教えるようになりました。
そのため、モデルに増分的な新しい知識を教えることがより摩擦が高く、より高価になります。
それがいつ価値がなくなるのでしょうか？言語学習を考えると、6ヶ月で言語の95%を学ぶことができますが、98%の熟達度に達するには5年かかるというようなものです。その統計を少し誤解しているかもしれませんが、そんな感じです。追加の0.5%の増加のために、さらに10億ドルかかるというのはもはや価値がないと判断する時点はいつでしょうか？
幸いなことに、すべてのコストが非常に急速に下がっています。計算コスト、1フロップあたりのドルなど…
フロップあたりのドル？
はい、1フロップがいくらかかるかです。
あるいはドルあたりのフロップ数です。フロップは計算の単位です。モデル…申し訳ありません、それは面白いですね。フロップは、イギリスでは失敗という意味です。これは新しい用語なのかと思いました。
いいえ、非常に古い用語です。浮動小数点演算のことです。文字通り、1クロックサイクルのことです。
それは素晴らしいですね。説明してくれてよかったです。
はい、100億パラメータがあれば、それはある数のフロップに相当します。それを10倍にして1000億パラメータにすれば、おおよそフロップ数が10倍になります。
1フロップの価格は時間とともに非常に非常に急速に下がっています。そのため、2017年と比べて、さらには2年前と比べても、今日ははるかに大きなモデルが可能になっています。
それを考えると、新しいスタートアップがモデル空間に参入するにはもう遅すぎるとは思いませんか？みんなが「モデル空間に参入するには遅すぎる」と言っていますが、コストの障壁が下がっていることを考えると、実際にはスタートアップにとってこれまで以上にアクセスしやすくなっているのではないでしょうか？
はい、去年のモデルを構築するコストは毎年10倍か100倍安くなります。より良いデータ、より安い計算能力を手に入れるからです。確かに、前の世代のモデルへの参入障壁は下がります。
問題は、誰も前の世代を気にしないということです。誰も前の世代のモデルを欲しがりません。去年のモデルには市場がありません。今年のモデルと比べると役に立たないのです。
どんな技術的な発展でも、前の世代を非常に急速に時代遅れにします。違いは、V1のソフトウェア製品を構築するのに1000万ドルかかり、V2を少し改善するのにさらに100万か200万ドルかかるようなものです。しかし、ここでは30億ドルで1つを構築し、50億ドルで2つ目を構築します。増分は増分ではなく、桁違いです。
次の世代を構築するのが常に安くなるというパターンではないと思います。例えばチップや他の非常に複雑な技術では、各新世代を生成するのはより高価になります。それでも我々はそれを行います。なぜなら価値があるからです。
さて、あなたの発言に戻りますが…申し訳ありません、脱線してしまいました。誰も去年のモデルを気にしないというあなたの発言について…
はい、改善が持続するかどうかについて質問されていましたね。私は、これらのモデルを改善するのがより難しくなっていると言いました。摩擦が高くなっています。
2つ目の奇妙な効果は、これらのモデルが賢くなるにつれて、人類の…というか、各個人のモデル間の区別能力がはるかに難しくなるということです。世代間の違いがわからなくなります。なぜなら、あなたや私が持っているような基本的な知識レベルでは、モデルはすでにできる限り良くなっているからです。
そのため、私たちがそれと対話するとき、世代間で同じ経験をします。しかし、実際には、それらの世代は、より具体的な能力や生の知性において劇的に変化しています。
そして、あなたは「それは価値があるのか」と質問していました。そんなにお金をかけて前進し続ける価値はあるのかと。私は絶対にあると思います。誰かにとっては絶対に価値があります。あなたや私にとっては、消費者としてこれらを使用する際に、量子物理学のようなものを知っていても、私たちの経験には影響しません。しかし、それは量子物理学の研究者にとっては本当に役立ちます。ツールを提供することで、そこでより多くの進歩が得られるでしょう。
これは技術一般についての同じ質問です。私たちには豊富な食料があり、非常に安価な車があり、ポケットに電話があります。私たちは基本的に良い状態です。本当に次世代の技術に投資すべきでしょうか？例えば、宇宙船をより効率的に軌道に乗せるための新しい材料の開発に焦点を当てるべきでしょうか？
はい、そうすべきです。あなたには関係ないかもしれません。宇宙船がより安く軌道に乗るかどうかはどうでもいいかもしれません。しかし、誰かにとっては非常に重要で、彼らは喜んで支払い、そこには市場があります。そして、それが進歩が持続する方法です。
その継続的な進歩は…明らかに多額のお金がかかり、今後もかかり続けるでしょう。以前、「効果的な子会社」という非常に興味深い2つの言葉を使いましたね。多くの企業が買収されたり、アクワイアハイアされたり、何であれ吸収されているのを見てきました。クラウドは与え続ける牛だと誰もが気付いています。AzureやGoogle Cloudなどの継続的な成長率と収益性を見ると、そしてその間のすべてを見ると、実際にこれらの小さなモデル提供企業の大部分がこれらの大規模なクラウドプロバイダーに買収されるのを見ることになるでしょう。今後3〜5年間でそれが起こる可能性が高いと思いますか？
3年間ですね、はい。この分野では統合が起こると思います。それはすでに起こっています。多くのモデルビルダーが…Adeptはアマゾンに行きました。デビッドを番組に招きましたが、彼は素晴らしかったです。
デビッドは素晴らしいですね、本当に素晴らしい。
Anthropicは明らかにマイクロソフトに行きました。そして、もっと来ると思います。この分野では間違いなく統合が起こるでしょう。
そして、クラウドプロバイダーの子会社になることは本当に危険です。
なぜですか？
それは単によいビジネスではありません。一般的に会社として資金を調達するには、投資家を説得する必要があります。彼らはその資本のROIだけを気にしています。彼らはあなたにお金を与え、あなたはそれを使って価値を創造します。
しかし、クラウドプロバイダーから資金を調達する場合、計算は非常に異なります。
ベンチャー投資家は、過去数年間に見られたモデル投資から利益を得ると思いますか？
Cohereの投資家は…彼らは多くのお金を稼ぐでしょう。
あなたを信じたこれらの人々に大金を稼がせることを嬉しく思いますか？それとも「あれは安すぎた、そんなにシェアを与えるべきではなかった」と思いますか？
いいえ、その時点にいた全ての人がまだここにいます。彼らはまだ戦っています。私たちの最初の投資家はRadical VenturesのJordan Jacobsでした。彼は今でも私たちの取締役会にいます。彼はまだ…私は彼をCohereの4番目の共同創設者のように呼んでいます。彼は私たちと一緒に会社を構築し、今でも会社の構築に非常に積極的に参加しています。
最新の価格はどうでしたか？メディアは55億ドル強と報じていますが…
それはあなたにストレスを与えますか？私が言いたいのは、収益と評価の関係を見ると…私たちはそのゲームにいないことは知っていますが、ある時点で誰もがそのゲームに入ります。もちろん、それはあなたに「くそっ、まだまだ長い道のりがある」と思わせませんか？
私が自分の健康を見るとき、「くそっ、まだまだ長い道のりがある」と思います。
確かにプレッシャーはあります。良いプレッシャーです。私たちは…はい、あなたが言うように、誰もがある時点で収益倍率のゲームに入ります。ある時点で、それは上場企業の倍率に収束します。
実際、私たちは多くの競合他社と比べて劇的に良い位置にいると思います。
なぜですか？
私たちの評価が、他の多くの企業のような狂った状態にないからです。それが私の信念です。私たちはまだそれに成長する必要がありますが、市場が強いことを非常に確信しています。多くの人々がこれらのモデルを必要としています。
マージン面では、価格ダンピングと無料モデルの提供のために現在圧力がかかっています。しかし、それは時間とともに変化するでしょう。そして、Cohereの製品スタックも進化するでしょう。
どの企業を最も尊敬していますか？
OpenAIだと言えるでしょう。なぜかというと、彼らは道を切り開いたからです。このスケーリングのビジョンに対する非合理的な確信です。私はそれがIlya（OpenAIの共同創設者）によって推進されたと思います。GPT-1よりもずっと前、Transformerの時代頃に、この話題についてIlyaと話したことを覚えています。
彼はトロントの大物で、ジェフ・ヒントンの下で学び、トロントから来ました。家族もトロントにいます。このスケーリングのアイデアは、彼の頭の中にありました。実際に本格的に追求し始める何年も前から、彼の頭の中にありました。
その確信が、今日私たちが生きている世界をもたらしました。客観的に魔法のような技術が登場し、今や誰もが利用できるようになっています。私はイリヤを本当に尊敬しています。
ウォートン校のイーサン・モレウィッツは昨日の番組で、OpenAIは本当にAGI（汎用人工知能）とAGIの追求にしか関心がなく、コードインタープリターや他の多くの本当に有用な製品を放棄していると言いました。なぜなら、彼らはAGIに焦点を当てているからです。これは批判ではなく、単にそれが彼らの焦点だということです。
あなたはそれに同意しますか？それとも、彼らは実際に長期的なAIの追求と、企業や消費者向けの短期的に価値のある製品の創造の両方に、より意識的に取り組んでいると思いますか？
少なくとも最近の、新しいOpenAIは、製品会社のようです。彼らは熱心に消費者向け製品を構築しています。それが彼らの目的であり、それはうまくいっています。人々はその製品を愛しており、今や家庭の名前になっています。
そのため、消費者空間では彼らは製品会社になると思います。そして、彼らが構築したいものを構築するための資金を調達するためには、製品会社にならざるを得ないと思います。
しかし、いくつかの退職を見ると、AGIへの取り組みが消費者向け製品に後座を譲り始めているように見えます。
私が心配しているのは、例えばCanvaを例に挙げると、AIを製品に追加することで、企業はユーザーあたりの収益を増やせるのだろうかということです。今や、すべての企業がAI企業です。Zendesk
はカスタマーサポート、Notionはノートテイキング、Canvaはデザイン、すべてがAIです。
Canvaは最近の番組で率直に言いました。彼らはシートあたりの料金を上げていないが、すべての製品にAIが組み込まれているため、マージンが圧縮されていると。つまり、AIを使って彼らの製品で何でも作成できるのですが、明らかに各クエリにはコストがかかり、彼らにとってはより多くのお金がかかっているのです。同じ収益しか得られていないのに。
私たちは実際にユーザーあたりの収益を増やせるのでしょうか？それとも、単により良い顧客体験を生み出すだけでしょうか？
現在、2つの異なる陣営があります。AIの機能を同じ価格で提供し、それを使ってビジネスの拡大を推進する人々と、MicrosoftやSalesforce、Notionのように、AI機能に課金してより大きなビジネスを得ている人々です。
Canvaのように同じ価格を維持している人々にとっては、私はそれが良い賭けだと思います。彼らはユーザーベースを成長させたいのです。現時点では、可能な限り最も有用な製品を提供し、マージンについては心配しないのです。なぜなら、AIのコストは非常に急速に下がっているからです。それは理にかなっていると思います。
わかりました。素晴らしい。企業について聞いてもいいですか？Canvaは明らかに企業向けに強力な推進力を持っています。あなたは素晴らしい企業に販売していますが、今日、企業がAIを採用しない最大の障壁は何ですか？
主に技術への信頼です。セキュリティです。現在の状況に対して、みんなが非常に警戒しています。
誰がトレーニングしているのかについて懸念していますね。
はい、そうです。
失敗ではなく…
そうですね、彼らは失敗がないことを願っています。誰かが彼らのデータを取って、それでトレーニングし、何らかのセキュリティの脆弱性に陥れるのではないかと本当に怖がっています。あるいは、知的財産を失うのではないかと。人々がユーザーデータでトレーニングしてきたので、それは非常に妥当な懸念だと思います。
「私たちは単にあなたのデータを使用しません、合成データを使用します」と言う以外に、彼らを安心させる方法はありますか？
はい、私たちのデプロイメントモデルはそのように設定されています。私たちはプライベートデプロイメントに焦点を当てています。彼らのVPC内、オンプレミスなどです。つまり、彼らのハードウェア上で完全にプライベートに行います。データを私たちに送ってもらって処理し、モデルからの応答を返すのではなく、私たちのモデルをあなたのデータがある場所に持ち込み、私たちはそのどれも見ることができません。
この新しい世界では、オンプレミスへの回帰を見ることになるでしょうか？金融サービス業界の人々と話すと、非常に対立的です。
はい、人々はクラウドから離れています。彼らは自社のデータセンター能力を構築しています。他の場所では、まだクラウドに移行する必要があるように見えます。私たちにはこれらのデータセンターを持つ意味がありません。
わかりません。おそらく、あなたが見ている垂直市場によって異なると思います。
彼らはAIについて何を完全に間違えていますか？企業の教育曲線はまだ非常に初期段階だと思います。
彼らはAIについて何を理解していないのでしょうか？
AIが間違っていることに対する恐れがたくさんあります。これらのモデルには幻覚があり、みんなそれを「技術が破滅的だ」とか「時々幻覚を見る、現実を反映していない」と見ています。
モデルは確かに幻覚を見ます。幻覚の割合は劇的に低下していますが、常に何かを作り上げたり、何かを間違える可能性はあるでしょう。しかし、私たちは人間と共存する世界に生きています。人間は常に幻覚を見ます。私たちは間違いを犯し、物事を誤って記憶します。
だから、私たちはエラーに対して堅牢な世界に生きているのです。
しかし、私たちにはベンチマークがありますよね？
はい、ありますね。
Vectaraは1つありますし、他の幻覚のベンチマークもあります。
そして、モデルの進歩と同じレベルで減少しているのを見ていますか？
同じレベルかどうかはわかりませんが、確かに非常に急速に減少しています。
RAGを使うと、大きな変化が起こります。RAGについて知らない人のために説明すると、検索拡張生成のことです。これは、モデルが知識ベースにクエリを出せるというアイデアです。その知識ベースは、内部文書や検索エンジンかもしれません。検索エンジンにクエリを書き、結果を取得し、それを答えの一部として使用し、ソースを引用するかもしれません。
つまり、「私はこの主張をしています。なぜなら、ここで読んだからです」と言っているのです。そうすれば、それが正しいかどうかを監査できます。また、この設定の副産物として、嘘をつくことが大幅に減ります。参照できる資料があるので、多くのことを作り上げる必要がありません。
なるほど。それは理にかなっています。そして、それは幻覚に対するゲームチェンジャーですね。
確かにそうです。また、モデルのカスタマイズにも役立ちます。彼らは公開Webを見ているので、公開情報については多くのことを知っています。しかし、プライベートな情報については、私だけがアクセスできる自分のメールボックスについての質問に答えられるようにモデルになってほしいのです。
そのため、モデルが私のメールボックスにクエリを出し、その情報を取得できる能力は、私が気にしていることについてモデルをより知識豊富にします。
企業はまだ実験的な予算の段階にいるのでしょうか？みんな「今は予算で遊んでいるだけだ」と言っています。それは公平ですか？それとも、実際にメインストリームに移行しているのでしょうか？
本当に変わり始めています。昨年は100%、概念実証の年でした。みんなが試してみて、それで遊んでいました。しかし、最近、この技術を本番環境に導入する緊急性に大きなシフトがありました。多くの企業が足元をすくわれることを恐れています。1年間POCを実行してものを試してきて、今は本番環境に投入して製品を変革し、労働力を増強するために走っています。
彼らにとって、最も重要なユースケースは何ですか？彼らが必要としているもの、欲しているものは何ですか？すべての経営幹部が「あなたのAI戦略は何ですか？」と言っていますが、それは実際には何を意味するのでしょうか？それはCEOが「私たちは顧客サービスを最適化したい、そしてそれを行う」と言っているのでしょうか？それは従業員の増強と生産性なのでしょうか？それとも何か他のものでしょうか？
従業員の増強だと思います。これらのモデルが全従業員のパートナーや同僚になるということです。それが最も人気のあるユースケースです。
Co-pilotがそれを行う正しい方法だと思いますか？
Co-pilotは素晴らしいと思います。労働力を補助するという正しいアイデアです。しかし、それはまだエコシステム内で孤立しています。OfficeやMicrosoftスイートの製品群にプラグインされています。しかし、企業はMicrosoftだけを使用しているわけではありません。彼らはメールやドキュメント、スプレッドシートにMicrosoftを使用し、CRMにはSalesforceを使用し、ERPにはSAPを使用し、何らかのHRMを使用し、自社用に構築した内部ソフトウェアも使用しています。
労働力を本当に強化したいのであれば、特定のツールセットに依存しない、これらのアシスタント、つまりエージェントを開発するためのプラットフォームが必要です。そして、人々が実際に使用している、市場が実際に使用しているツールセットを合理的に優先順位付けする必要があります。Co-pilotによってそれが行われるとは思いません。
エージェントという言葉を使いましたね。エージェントは現在ベンチャーキャピタル界で最もホットなトピックの1つです。エージェントの行動、ワークフローへの影響についてのハイプは正当化されていると思いますか？
ハイプは100%正当化されています。これがAIの約束なのです。これらのモデルが独立して作業を遂行できるようになるという約束です。これは生産性を劇的に変革します。非常に長い時間にわたって独立して物事を行うことができるモデルを持つことで。もはや「あなたのためにこの1つのことをすぐに行い、返信して終わり」ではなく、「今後6ヶ月間、あなたのファネルの上部に取引を送り込む」というようなことができるのです。組織ができることを完全に変えます。
したがって、ハイプは正当化されています。私の批判は、その作業がモデルビルダーの外部で最も効果的に行われるのか、それとも内部で行われるのかということです。誰がその製品を構築するのに最適な立場にあるのでしょうか？
なぜそれがモデル内で最も効果的に行われるのでしょうか？
完全にモデルの品質に依存します。エージェントの背後にある推論者はモデルなので、そのレベルで介入できる必要があります。あなたが気にしていることについてモデルをより良くするために実際に変換できない場合、モデルを構築している人でない場合、単にモデルの消費者である場合、構造的にその製品を構築する上で不利になります。
誰が今日不利な立場にあると思いますか？みんながSalesforceについて非常に皮肉っぽく話していますが、私はベニオフに賭けないでしょう。
私もそうしないでしょう。彼は素晴らしいです。そして、彼は彼らに対する脅威をよく認識していると思います。彼はそれを起こさせないでしょう。
もう1つの点は、企業向けソフトウェアがどれほど粘着性があるかを忘れがちだということです。企業向けソフトウェアの大規模な置き換えはあまり起こりません。それは何十年もそのまま残ります。企業向けソフトウェア企業を置き換えるのは本当に難しいです。
消費者向けの本当に革新的な新しい体験には機会があると思います。消費者は1つのプロバイダーにそれほど忠実ではありません。彼らは友達が行くところに行き、最高のサービス、最高の製品を得られるところに行きます。したがって、AIを使用して今日存在するものよりもかなり優れたものを提供できる人がいれば、消費者は移行するでしょう。
誰が最高の研究者を持っていると思いますか？
Cohereですが、Cohere以外では、この段階では非常に分散していると思います。以前は非常に集中していました。Google BrainとDeepMindでした。
なぜ彼らはそんなに遅れていたのですか？
彼らは遅れていませんでした。Transformer論文を発表してから2週間後に、私たちは言語モデルのトレーニングを開始しました。技術的にも研究的にも、Google Brainは確実に遅れていませんでした。
Googleについてコメントしたくありませんが、本当に重要なのは製品ビジョンと、技術で何ができるかを想像する能力です。技術開発そのものだけでなく、それで何ができるかというビジョンが重要です。
組織内にそのビジョンを持つ人がいても、それを実行できるように準備ができているか、それとも彼らがそれを実行するために別の場所に行かなければならないかという質問をする必要があります。
最後に、スケーリング仮説、つまりモデルに投入すればするほど良くなり続けるという考え、モデル構築に10倍ではなく100倍、1000倍のお金を使うべきだという考えは、非常にリスクが高く、不確実で、少し狂った賭けです。私は確かにGoogleの決定を非難しません。OpenAIは非常に良い賭けをしたと思います。
OpenAIの最高の賭けは何だったと思いますか？
間違いなくスケール仮説です。スケーリングが持続し、私たちは10倍、10倍、10倍、10倍と続けるべきだということです。多くの人々がそれを信じていませんでした。それを追求することは非常に愚かで無駄な努力だという大きな反発がありました。彼らにはそれを推し進める確信がありました。
現在のAIコミュニティについて、人々が見落としている最大のことは何だと思いますか？そして、今後12〜24ヶ月をどのように見ていますか？
「私たちは頭打ちになった、何も起こっていない、減速している」というミームのようなものが広まっていると思います。私は実際にそれは間違っていると本当に思います。単に「計算能力を10倍にする必要がある」という視点からだけでなく、「信じてください、良くなります」という視点からだけでもありません。
方法の観点からも、推論者やプランナー、失敗して回復できるモデル、長時間かかるタスクを遂行できるモデルについて話しましたが、これらは技術者にとっては明らかに今日の技術に存在しない能力です。私たちはただそこに焦点を当てる時間がなく、その能力をモデルに追加していませんでした。
過去1年以上、人々はそれに焦点を当てており、それは本番環境に対応できるようになるでしょう。そして、私たちはそれが登場するのを見るでしょう。それは能力の大きな変化になると思います。
私は投資家として、エイダン、あなたは今20VCの投資家ですが、私たちにとってのチャンスはどこにありますか？
製品空間、アプリケーション空間はまだ非常に魅力的だと思います。この技術から生まれる新しい製品があるでしょう。ソーシャルメディアを変革するものです。人々はこれらのモデルと話すことが大好きで、使用時間は信じられないほどです。
エイダン、あなたはこれが良いことだと思いますか？あなたは非常に健全な自然環境で育ち、家族が明らかにイギリスにいるので、今はイギリスにいてより頻繁に会えると思います。私は自分の子供たちが、人間よりもエージェンティックシステムと話す世界で育つことを望みません。モデルと話すことから満足感を得るような世界を。
実際にはあなたが間違っているかもしれません。あなたの子供たちが、非常に共感的で、extraordinarily知的で、知識豊富で、安全な知性と話すことを望むかもしれません。その知性は彼らに物事を教え、彼らと楽しみ、疲れることなく、彼らに対して怒ったり、いじめたり、からかったりせず、彼らに不安を植え付けることもありません。
人間に代わるものはありません。突然、私たちが皆チャットボットとデートを始め、人間の出生率が急落するような世界はありません。私は子供を持ちたいと思っています。チャットボットではそれはできません。人間のパートナーは、チャットボットがどれほど魅力的であっても、無限に価値があります。
これは、職場で人間を置き換えることができないと考える同じ理由です。それは増強になるでしょう。人類はより生産的になり、より多くのことをするようになります。仕事をする人間が減るのではありません。
販売のことを考えてみてください。ボットに売り込まれても、私は買いません。それは単純です。機械と話したくありません。単純な購入については大丈夫かもしれませんが、私や私の会社にとって重要な購入については、その取引の向こう側に責任を持つ人間が欲しいです。何か問題が起きたときに、介入する権限を持つ人間が必要です。
消費者側では、私たちがみんなこれらのチャットボットとチャットすることに夢中になり、職場側では仕事の終わり、大量の失業が起こるという恐れについて、私にはそれが起こるとは思えません。
常に新しい技術の採用に伴う軽度の置き換えがあることは認識されています。これは標準的なものです。ある程度の置き換えは見られますが、私たち全体の80%が実際に…私は確信しています。あなたの祖父母を見ると、メールつきのコンピューターを置いて、彼らは「一日中何をすればいいんだ」と言うでしょう。それは狂っています。
私はあなたに完全に同意します。しかし、スペクトルの下の方では心配しています。例えば、カスタマーサービスチームの70〜80%を失うような事務職の場合です。
確かに、局所的な置き換えは起こるでしょう。しかし、全体としては置き換えではなく成長になるでしょう。確かに、技術に脆弱な特定の役割はありますね。それを挙げるのは難しいですが、カスタマーサポートは間違いなくその1つです。しかし、結局のところ、そこにはまだ人間が必要です。ただし、今日ほど多くの人間は必要ありません。
しかし、カスタマーサポートは難しい役割です。心理的に非常に醜いです。人々に怒鳴られます。実際、通話記録を聞いたことがあれば、それがどんなものかわかるでしょう。それは感情的に非常に負担の大きい仕事です。
はい、大規模なソーシャルネットワークのコンテンツモデレーションと非常によく似ています。
それは多くの点で感情的に傷つきます。毎日起きて仕事に行き、何時間も怒鳴られ、謝罪しなければならないのです。
それは20VCだけのことですよ。私はその側面については、おそらくモデルにそれらの会話を処理させ、人間は実際に扱うのが楽しい顧客サポートの会話を助けることができると思います。つまり、問題があって解決が必要で、それについて怒っていない人々との会話です。この人の人生をより良くする機会があるのです。
AIが今日行っていないことで、3年後には行うと思われる、完全に革新的なことは何ですか？
AIの一般的な意味では、ロボット工学が大きな飛躍を遂げる場所だと思います。コストを下げる必要がありますが、それは下がってきています。そして、より堅牢なモデルが必要です。
なぜロボット工学が大きな飛躍を遂げる時代だと楽観的なのですか？
単に多くの障壁が取り除かれたからです。以前は、これらのロボットの内部にある推論者やプランナー、つまりその背後にあるソフトウェアが脆弱で、達成したい各タスクをプログラムする必要がありました。そして、それは特定の環境に非常にハードコードされていました。つまり、正確にこのようなレイアウトの厨房、正確に同じ寸法で、何も違いがないものが必要でした。
そのため、非常に脆弱でした。研究側では、基盤モデルや言語モデルを使用して、実際にはるかに優れたプランナーを開発しました。これらはより動的で、世界についてより自然に推論できます。
そのため、これはすでに取り組まれているのを知っています。すでに30のヒューマノイドロボットのスタートアップなどがありますが、間もなく誰かが汎用ヒューマノイドロボティクスの難問を解決するでしょう。安価で堅牢なものです。
それは大きな変化になるでしょう。それが次の5年で来るのか10年で来るのかはわかりませんが、その範囲のどこかでしょう。
一日中あなたと話したいのですが、短い質問ラウンドをしたいと思います。私が短い文を言うので、すぐに思ったことを言ってください。よろしいですか？
はい、やりましょう。
過去12ヶ月で最も考えを変えたことは何ですか？
データの重要性について、私は劇的に過小評価していました。以前は単にスケールだと思っていましたが、Cohere内部で多くの証拠が出てきて、この技術を構築する上で何が重要かについての私の理解を完全に変えました。
データの質ですか？
はい、質です。数十億の中の1つの悪い例が…モデルがデータに対してどれほど敏感かは少し非現実的です。誰もがそれを過小評価しています。
これまでに調達した総額はいくらですか？
約10億ドルです。
くそっ、すごいですね。
はい、そうですね。それはたくさんのお金です。
一番簡単だった資金調達ラウンドはどれでしたか？
おそらく最初のラウンドですね。
それが一番速かったのでしょうか？
はい、それは基本的に会話で、「はい、ここに数百万ドルあります。試してみてください」というような感じでした。だから、おそらくそれが一番簡単だったと思います。5億ドルを調達しようとすると、少し複雑になります。
5億ドルが口座に入るのを見たとき、少し自分をつねりませんでしたか？私は今日ファンドを運用していますが、資本コールを受けるので、「はい、ここに5億ドルです」というわけではありません。数年にわたって呼び出すのです。そして、その利息は素晴らしいものです。しかし…
はい、自分をつねります。毎年2500万ドル…具体的な数字は分かりませんが、とにかく大きな数字です。
確かに私の脳は壊れています。Cohereが経済と金銭に関する私の脳を壊しました。5億ドルはたくさんには感じません。競合他社と比べると、それはたくさんではないのです。
それは心配ですか？
いいえ、それは私たちの戦略の一部です。もしその取引を受け入れたければ、受け入れることができます。しかし、私たちの戦略は独立を追求し、これを自分たちでやることでした。
世界中の誰でも取締役会メンバーになれるとしたら、誰を選び、なぜですか？
マイク・ヴォルピとジョーダン・ジェイコブス、私の現在の取締役会メンバーです。
なぜマイクはそんなに良い取締役会メンバーなのですか？多くの人がそう言います。
マイクは信じられないほど素晴らしいです。彼はすべてを見てきたような感じがします。私はほとんどどんな問題でも彼に相談できます。そして彼は以前に3回その問題に遭遇しています。「最初はこうなり、2回目はこうなり、3回目はこうなりました。あなたたちはおそらくこうすべきです」というように、彼は本当に良い経験とアドバイスを持っています。
ジェフ・ヒントンとヤン・ルカンのどちらがあなたの味方ですか？
間違いなくジェフの方が近いです。彼とはより密接な個人的な関係があります。ランよりもずっと近いです。
ヤンは楽観的すぎると思いますか？
いいえ、私はヤンとAIに関する彼の信念にずっと近いです。ジェフは非常に…終末論的で、この技術が世界を破壊すると考えています。ヤンははるかに楽観的で、私もその方向に傾いています。
残念ながら、ヤンはある種イーロンへの返信者になってしまいました。ジェフは…私の共同創設者のニックは彼と非常に親しいです。彼らは毎月月曜日にチェスをします。ジェフは非常に非常に賢く、非常に知的で、非常に思慮深い、非常に深い思想家です。
ロンドンにチームがあり、あなたもロンドンに住んでいますね。
はい、そうです。
誰もがヨーロッパの衰退について話しています。Founders Fundのディランが素晴らしかったですが、西ヨーロッパはすぐに第三世界の国々の集まりになるだろうと言っていました。ここではネガティビティがかなり現実的です。ロンドンとヨーロッパで素晴らしいエンジニアリングチームや研究チームを構築している今、どう感じていますか？
イングランドは他のヨーロッパとは一線を画しています。ここには技術に対する楽観主義があり、エコシステムを発展させるために必要な変更を行い、投資する意欲があります。
本来のヨーロッパでは…ちなみに、私の母はイギリス人で、父はスペイン人です。両方の市民権を持っています。ヨーロッパで夏を過ごし、家族がいるので、私も非常にヨーロッパ人です。
残念ながら、文化はテクノロジーに対して敵対的です。敵対的です。ヨーロッパの心の中では、テクノロジーへの解決策は規制です。
しかし、変化への圧力はあると思います。フランスはより野心的になり、ヨーロッパの舞台だけでなく、世界の舞台でもより前向きになる必要があるという声を上げています。しかし、それには10年かかるかもしれません。
対面とリモート、Cohereはパンデミックで生まれたので完全にリモートですか？
私たちは完全にリモートではありません。トロント、ロンドン、ニューヨーク、サンフランシスコにオフィスがあります。それらが確実に会社の中心地です。人々は毎日来ています。
対面は単にはるかに優れています。対面での仕事による生産性の向上は計り知れません。
最後の質問です。あなたがよく聞かれない質問で、聞かれるべき質問は何ですか？
物事をどこに向かわせたいかということです。技術がどこに向かうかについてよく質問されますし、技術のダウンサイドリスクについてもよく質問されます。AIについて考えるとき、人々の心の中には多くの恐れがあります。
機会についての議論がほとんどありません。あなたはそれをどこに向かわせたいですか？
私は、世界が非常に供給制約されていると考えています。今日私たちが持っているほとんどすべての贅沢は、生産性を向上させ、供給を増やし、物をより豊富に、より安くする技術の発展から来ています。
私がこの技術で本当に気にしているのは、世界の生産性を向上させ、人間をより効果的にし、より多くのことができるようにすることです。
生産性はとてもセクシーではありません。生産性は非常に過小評価されていますが、NHSのような私たちの医療システムに5%の生産性向上を適用すれば、それは国の状態、国の予算の状態、毎日何百万人もの人々の医療に対して地殻変動的な針を動かす変化です。
はい、カナダでは…実質GDPはあまり増加していません。ある人は「失われた10年」と呼びました。人々はより豊かになっていません。物事はより豊富になっていません。10年間、1人あたりの実質GDPが増加していないのです。
そのような停滞が起こると、多くの社会的な混乱が始まります。それは成長するパイではなく、固定されたパイの一部を争う必要があります。
そのダイナミクスは私を本当に心配させます。社会としての私たちの優先事項は、今、生産性と成長にあるべきです。
エイダン、これは素晴らしかったです。ありがとうございました。時には少し偏った質問や、RAGやフロップについての質問、そして資金調達についての探りを入れるような質問にも耐えてくださって。素晴らしかったです。本当にありがとうございました。
コメント