この動画は、PerplexityのCEOアラビンド・スリニヴァスが、AIの未来、特に事前訓練から推論能力への移行、DeepSeekの革新、AI業界の競争状況、そして汎用人工知能（AGI）への道筋について語った包括的なインタビューである。彼は検索とAIの融合、データの活用方法、教育への影響、そして人間とAIの共存の可能性について詳細に解説している。
AIの進歩と推論パラダイムへの転換
私たちはこの18ヶ月、2年間でAIにおいて素晴らしい進歩を見てきました。これは主に生成事前訓練済みトランスフォーマーを中心としたものでした。この勢いを維持できるでしょうか。このまま続いていくのでしょうか。もしそうなら、どのようにして。
私は事前訓練の部分、つまり一般的な事前訓練は確実に終わりに近づいていると思います。これはAIが停滞したという意味ではありません。推論という新しいパラダイムがあり、これは訓練後の層でより重要になっています。そこでこれらのAIを特定のタスク、特に推論、思考の連鎖、行動の連鎖、非常に困難な研究タスクやワークフローの完了、実際にウェブ上で何かを完了するといったことに非常に優れるよう形作るのです。
これが明らかに次に向かう方向です。すべてのモデル研究所もこの方向に軸足を移しており、「よし、私たちは事前訓練にたくさんのリソースを投入してきた。これらのモデルは世界に関するある程度の常識と一般知識を吸収した。しかし今度は本当に優秀で有用なアシスタントに進化する必要がある」ということです。そのため、多くの垂直特化タスクに関する訓練が必要なのです。
そして、そこで行われる訓練はすべて、Perplexityをはじめとする多くの製品の形で展開され、人々が日常生活で使用し、そこから価値を得ることになります。そこでの進歩のペース、速度は現在確実に非常に高く、特にDeepSeekと中国のオープンソースモデルの参入によって加速されており、それがアメリカの研究所も同じように速く動くよう促しています。
DeepSeekの革新について
DeepSeekで見られる革新についてもう少しお話しください。外から見ると、彼らはシステムプログラマーとして、いくつかのものをより小さく、よりタイトにするために実際のエンジニアリングに時間を費やしただけのように見えます。AIコードを見てきた経験から、これは驚くことではありません。しかし、これが続くと見ていますか、それとも彼らには本当にあなたにとって驚きだった洞察があったのでしょうか。
確かにその通りだと思います。そこでの革新の多くは、浮動小数点訓練を理解し、より低性能のGPUやより少ないH100での訓練方法を理解し、メモリなどを最適化するためのカーネルを書くことなどです。
しかし、OpenAIがやってきたこともほぼ同じことだということを忘れてはいけません。他の皆が数千のGPUで同時に訓練することに苦労していた時、彼らは分散システムのハックを見つけてそれを実現しました。NvidiaやMetaが提供するライブラリ、PyTorchが十分に成熟していなかった時、彼らは実際にエンジニアリングに取り組みました。これは新しいアイデアを探求するための基盤を与えてくれることが多いのです。
特にDeepSeekが新しいのは、最初のオープンソース推論モデルだったことです。これらのシステム最適化だけでは得られませんでした。彼らは推論の訓練後を実際に機能させる方法を見つけ、その発見について詳細な技術レポートを書きました。そして教師ありサンプルなしでRLを機能させる方法を見つけました。これはDeepSeek R1 Zeroと呼ばれています。
これに関する別の論文があり、RL微調整中に推論が現れる興味深いアイデアがあります。これらすべてが非常に有用だと思います。今後すべての企業がRL微調整を行う方法になるでしょう。
研究と製品開発のバランス
Perplexityのような企業は、重要なオープンエンドの研究と製品開発の両方を行っています。Johnにも参加してもらいたいのですが、企業としてこの2つをどのようにバランスを取っていますか。
幸い、私たちには3人の技術系共同創設者がいます。部門の区分化能力があります。研究チームは同じビジョンに大まかに向けられているが、最終的にはプロセスの最後に多くの探求を経て、細かい詳細などを解決できる非常に独立した作業を行っています。
製品側でも多くの実験的研究を行っています。答えをより豊かにすることは可能か、より良いフォーマットにすることは可能か、検索と回答が同時に行われるUIを持つことは可能かなど、誰も答えを知らない多くのオープンエンドの製品質問があります。それぞれを解き明かし、新しいフォーマットを作ることには大きな可能性があります。
私たち3人全員がかなり技術的に基盤がしっかりしていることが大いに役立っていると言えるでしょう。AIでは、典型的な消費者製品担当者やビジネス担当者のように、「ああ、私は以前やっていたのと同じことを、AIと呼ばれるこの新しいもので行うだけだ」というわけにはいきません。実際にはそのように機能しません。
数百万ドル、さらには数千万ドルの価値がある決定を下すのに役立つため、詳細を理解する必要があります。企業にとって正しいことが実際に1万台のGPUを購入して、すべてのブラウジングタスクのための推論エージェントを本当に理解することだとわかった場合、私たちには多くの小規模実験を実行し、シグナルを収集して、「よし、私たちはその準備ができている」と結論づける能力があります。それが私たちが持っている総資金の10%であっても、それによって時価総額が10%以上動かせるなら、それは完全に価値があります。
これがモデルを理解している場合の利点だと思います。人々は通常、私たちのことを「ああ、他のモデルの上のラッパーとして始めた」と言います。これは資金を燃やさず、ユーザーベースを構築し、マインドシェアを構築し、独自のモデルを訓練できるデータフライホイールを作成するという非常に意識的な選択でした。オープンソースモデルが実際にクローズドモデルに追いつくという事実に賭けました。これらがさらに効率的で小さくなり、それを提供するコストが下がるという事実に賭けました。
これらはすべて、2023年に何も明らかでなかった時に私たちが行った賭けでした。そしてそれは正しいことが判明しました。一部は明らかに運、一部は良い先見の明です。しかし、それがどの企業でも機能する方法です。何度も幸運を得る必要があります。
データの枯渇と知的財産権の問題
ここ数年間、より多くのデータを得ることができれば、モデルはより良くなるように思えてきました。データが枯渇するのでしょうか。そうでなくても、使用してきたデータの知的財産権について懸念がありました。その点についてどのように考えていますか。
データが枯渇するとは思いません。特に強化学習による微調整では、実際にはインターネット上の大量のトークンでこれらのモデルを訓練しているわけではありません。数学問題やコーディングパズル、ブラウザで正しいボタンをクリックする、Googleドキュメントを完成させる、何かをエクスポートする、ファイルをアップロードするなど、特定のタスクが得意になるよう訓練しています。
これらはすべてタスクであり、モデルをこれらのタスクが得意になるよう訓練しています。これらは実際には他の誰かのコンテンツで訓練しているデータではありません。
すべてのこれらの基盤モデルが行った事前訓練部分、それは実際にインターネット全体をスクレイピングして訓練した部分です。私たちは企業として、要約、統合、フォーマット、コーディング、ファイルアップロードなど、価値あるエージェントを構築するために必要なさまざまなスキルセットをモデルに与える訓練後の作業のみを行ってきました。
これは確実にベースモデルが持つ一般知識から恩恵を受けています。しかし、その部分はすでにオープンソース化されているか、一部のクローズドラボがすでに行っているか、すでに盗まれています。出力が完全に同じでない限り、それはフェアユースだという議論があります。しかし、ニューヨーク・タイムズのOpenAIに対する訴訟で陪審がまだ出ていないため、何かを言うのはまだ早すぎると思います。
Perplexityでのデータ活用
あなたが行っている種類の訓練にはどのようなデータを使用していますか。どこから入手しているのですか。
私たちには明らかに、ユーザーからの多くの日々のクエリが使用されています。多くのユーザーがこの答えは良いか悪いかというフィードバック信号を提供してくれ、すべての悪い答えについて、そこでさらに改善できることを確認するよう努めています。
また、どのソースが質問に答えるのに非常に有用だったかについて多くのデータを収集しています。これにより、ウェブの特定の部分を優先し、インデックスとスニペットがより新鮮であることを確実にするために、次世代のクローラーを構築する方法についてのデータが得られます。これにより答えがより信頼できるものになります。
また、2つの異なるモデルを比較して、「この答えの方が良かった」または「あの答えの方が良かった」と教えてくれる人間の評価者からのデータも収集しています。これは評価者によってより好まれる答えを生成することを優先するRLシステムを訓練するために使用されます。
ユーザーログと実際の人間評価者の両方から、私たちが収集する信号の形式は非常に多くあります。時にはAIモデル自体を評価者として使用することもできます。そこでは、より大きなLLMに、互いに競合しているより小さなLLMを評価するよう求め、それが判定者になります。そうすることで、実際に人間に見てもらうという反復サイクルを取り除くことができ、その概念はAIでは合成データと呼ばれることが多いです。
LLMに独自のラベルを生成させ、小さなモデルをそれで訓練するのです。特に、エンドユーザーにどのUIを提示すべきかを決定する分類器を構築したい場合、多くのことを行います。それが金融クエリ、ショッピングクエリ、旅行クエリの場合、一人の人間に100万のクエリに注釈を付けてもらうことはできません。「これは金融、これは旅行」というのは、通過するのが不可能で、毎日得られるデータ量では繰り返すことができません。
そのため、AIがこの仕事をしなければなりません。AIが自分でラベラーにならなければならず、より小さなAIが実際にそれから学習して訓練し、それから私たちがデプロイします。私たちはこれらのことを多く行っています。
研究から産業界への転身について
あなたは研究に留まるのではなく、産業界に進むという決断をしました。きっとその選択肢があったと思います。一方か他方を決定させた考慮事項は何でしたか。そして、あなたの決断は、将来の研究開発がどこで起こるかの前触れのようなものだと見ていますか。
その時点で、AIがより多くの計算資源から大いに恩恵を受けていることは明らかでした。それは今日でも真実です。しかし、その時点で、素晴らしい論文を発表したい場合でも、多くの計算リソースが必要であることは非常に明らかでした。では、学術界で何ができるかは私には非常に不明確でした。
それは他の教授や学生が良い仕事をしていないという意味ではありません。LMアリーナのリーダーボードのような興味深いアイデア、異なるモデルを比較するものなど、これらはすべてバークレイから出てきました。学術界からはまだ良い仕事が出てきています。スタンフォード、バークレイなど、多くの研究所がLLaMAの独自の訓練後を持っていたので、それは大丈夫だったかもしれません。
しかし、私はすべての作業が行われている最先端により近くにいたいと思い、その時点では産業界の研究所のようでした。今は少し違います。研究自体について特に話すと、コアモデルでの研究を行うのは非常に困難になりました。主に、規模で結果を示すか、誰も真剣に受け取らないからです。
スタンフォードは状態空間モデルについて多くの研究を行いましたが、それがトランスフォーマーの良い代替カテゴリーであることを実際に証明した人はいません。しかし、モデルを抽象化レイヤーと仮定して、そこから出てくるものすべて、エージェントを構築したい場合の評価方法、エージェントを効果的に評価する方法、2つのエージェントを互いに協力させる方法など、興味深い研究を行うことができます。任意のアプリケーションソフトウェアとLLMからコンテキストを渡す方法など、モデルコンテキストプロトコルのような新しい概念があります。
これらはすべて、学術界が現在産業界の研究所をリードすることが確実に可能なものです。そのため、人々にはそれらのことを調べることをお勧めします。
私の学部長がここにいるので、これで解雇されるかもしれませんが、私の共同教員の一人から、彼が行いたい種類の仕事に十分なGPUを手に入れる方法について聞かれた時、私は彼に辞めてどこかの会社で働くよう助言しました。幸い、彼は私の助言を受け入れませんでした。しかし、リソースの問題は確かに困難です。
Googleとの競争について
前列から外部の方です。ここにいてくださってありがとうございます。私はソフトウェア業界でキャリアを始めており、知識発見について考える方法を再定義するためにPerplexityが行った素晴らしい仕事を認めたいと思います。
既存の企業、主に数十年の先行きと優位性を持ち、最も先進的なインデックス作成と情報検索インフラストラクチャーの一つを構築してきたGoogleを見ると、彼らの配信優位性とデータ優位性と組み合わせて、Perplexityが既存企業と競争するだけでなく、うまくいけば勝利する能力について、特に彼らがこれらの生成機能を検索に統合し始めている中で、何があなたに自信を与えているのでしょうか。
3つのことがあります。一つは、すべてのユーザーのすべてのクエリに対して同じことを展開するためにかかるインフラストラクチャーコストが本当に莫大だということです。多くのユーザーがいるために、同じことを展開するのに費用がかかりすぎるという問題があるのは非常に興味深いです。
二つ目は、答えを間違えることによる評判リスクが、彼らにとって100倍高い規模で増幅されることです。公開企業、特に最も価値ある7社の一つにとって、ブランドは最も重要な資産の一つです。そのため、AIオーバービューでそれを少し見ました。計画通りにはいかなかったものの、実際にそれを展開しようとするのは勇敢でした。
三つ目はビジネスモデルです。現在、彼らがリンクベースの答えや従来のリンクでお金を稼ぐのと同じ方法で、AI答えからお金を稼ぐのは非常に困難です。彼らが商業カテゴリのクエリでそのようなことを実験したと言っても、それは得られるリンククリック数に明らかな損害を与えます。クリックスルー率が減少します。広告主は混乱します。もうこのプラットフォームにそれほど支出したくなくなり、広告予算を他の場所に移します。
これらはすべて、公開企業として逃している非常に高い利益率の収益です。Geminiに月額20ドルを請求できるとしても、検索でのユーザーあたり平均収益ははるかに高いです。規模に達すると仮定しても、AI収益の利益率もはるかに低いです。
これらが私たちに競争する機会を与えている理由です。Googleと何かで競争できる人は非常に稀ですが、これは彼らがリンククリックを中心にビジネスモデルを構築した方法の奇妙な産物です。フロントエンドが収益ストリームに結び付けられているのです。現在多様化した収益を持っているにもかかわらず、利益率が検索に大きく依存しているという奇妙な産物でもあります。
AIの社会への影響について
こんにちは、私の名前はBanish Sharvindです。AIが人類をどこに連れて行くかについてのあなたの考えについて質問があります。つまり、2つの見解があります。一つは当然、AIが偉大なレベラーになり、多くのことを民主化するというものです。インターネットやモバイルデバイスが、ベイエリアの人々と同じ情報を、インドの僻地の人々を含む皆が利用できるようにしたのと同じように、AIが皆を押し上げ、推論と知恵を皆が利用できるようにするという見解です。
また、仕事の未来と人類がそれにどう反応するかについてのディストピア的な見解もあります。あなたの考えはどうですか。今すぐではなく、次の1〜2年でもなく、5年、10年後のような将来をどう見ていますか。
ディストピア的な結果を完全に無視すべきではないと思います。あなたが言った最初の部分、ユートピア的なもの、知識、知恵、推論、知能を規模で、非常に安いコストで利用可能にすることについては、それは素晴らしいことですが、誰もがそれを良く活用する方法を知るわけではありません。
誰もが深い研究エージェントを使用してビジネスを構築する方法を学ぶわけではありません。そのため、それを行う方法を知っている人々は大いに利益を得るでしょう。彼らははるかに少ない人数で企業を構築できます。多くのAIと人間を管理し、これまでに構築されたことのない異なる種類の企業を構築できます。AIを中心としたワークフローを構築できます。
しかし、これを行う方法を知っている人々の数は、人口の非常に小さな部分になるでしょう。そうなると、経済にどのような価値を加えられるかを本当に知らない人々がたくさんいることになります。私はこれを解決する良い答えを持っていません。今日、誰も持っていないと思います。
誰もができるだけ多くAIを使い始めることを本当に奨励すること、そして彼らの仕事に多くの平凡で反復的で、ロングテール問題解決でないことが含まれている場合、本当に心配して適応しようとすることです。そして、誰もAIによって破壊されることから安全ではありません。
多くの人々は、自分たちが行っている仕事は安全で、他のすべては安全ではないと考えたがります。それは興味深いことに、プログラマーは実際にAIによって最も影響を受けている人々の軌跡を取っているということです。これは彼らが考えていた方法ではないかもしれません。なぜなら、コードをうまく書けることは常に知能の良い兆候と考えられており、それは最も高給の知識労働者カテゴリーの一つでもあるからです。しかし、それは実際に最も多くのことが起こっている場所です。
今日、誰も基本的なアプリを何かのために構築するのに誰も必要としません。ですから、実際に良いプログラマーでなくても、自分にとって興味深いアプリを構築し、他の人々がそれを使用することでそのアプリを収益化できるクリエイター的職業のような概念があることを望みます。
このように、最終的にはセンスを持つ必要があります。センスと意見と創造的なアイデアを持っていなければ、新しい経済で有用であることは非常に困難です。
AIの予期しない使用について
私の質問は実際に最後の質問とうまく組み合わさります。今日話しているようなツール、あなたの製品について特に話しているのではなく、この生成AI空間全体について問題にしていることの一つは、このようなツールが出されるたびに、人々が作成者が予期していなかった使用方法を発見することです。
私を悩ませていることの一つで、私たちが心配すべきことだと思うかどうか好奇心があるのは、人々が本当に答えを得るためにツールを使用すべきではない質問に対する答えを得るためにこれらのツールを使用していることです。離婚すべきか、父を人工呼吸器から外すべきかなど、そのような種類の質問です。
私たちは笑いますが、Elizaから知っています。50年前かそこらにElizaが出た瞬間、多くの人々が突然、たとえそれが完全に愚かなものであっても、実際の友人に話すことができなかった方法で話すことができる友人を持ったのです。今日、人々がこれらのツールとこのような種類の会話をしていることを知っています。これは心配すべきことでしょうか。
ちなみに、離婚弁護士はGoogleで最も高額な広告カテゴリーの一つです。離婚の仕方について実際に質問に答えていなくても、実際にそこで弁護士を見つける簡単な方法を提供しています。
製品として、私たちのUIは実際にはチャットボットのようなものではありません。会話型検索です。質問から始めて、フォローアップを続けて質問していきます。それにもかかわらず、UIが最も親しみやすくないにもかかわらず、そのようなことができる他の多くの製品が存在するにもかかわらず、人々はまだPerplexityに来てロールプレイチャットを行います。なぜそうするのかわかりません。
それは人間の本性なのでしょう。設計により、私たちの製品は非常に退屈です。常にソースを引用しています。誰かがそれを「ChatGPTの教育を受けた叔父」のようだと言ったことさえあります。私はそれに全く腹を立てませんでした。有用である限り、それで構いません。
例えば、実際にキャラクターAIボットと話していて自殺した若い子供のシナリオがありました。ボットが彼が自殺した理由かどうかは明確ではありませんが、彼がチャットボットにそれほど多くの時間を費やしていたのは常に奇妙でした。
私自身はそのような種類の製品を構築したくありませんし、Perplexityがそのような製品を構築することも望みません。それがこのシナリオに対する私の考えです。しかし、誰もがそれを行うことを止めることはできません。現在、危険は子供たちにとってより深刻だと思います。
これらのアプリを子供たちがペアレンタルコントロールで制御可能にする方法を見つけることができれば、それは素晴らしいでしょう。そして、それはシステムプロンプトかもしれません。親が「私の子供が一生懸命ジェイルブレイクしようとしても、特定の方法で関与することは想定されていません」と入力できます。
LMのための良いジェイルブレイク防御は困難ですが、少なくとも子供がまったく異なる言語でLMをジェイルブレイクして英語で応答させる方法を見つけるほど洗練されていることは期待しないでしょう。決してわかりませんが、少なくとも多くのことを試して、これらの使用例で子供たちにとって安全にする方法を見つけることができます。
数年前にClub Penguinで働いていたことを指摘したいと思います。子供たちはジェイルブレイクが驚くほど得意です。彼らは大人よりもはるかに優れています。
業界経験とキャリアアドバイス
Srinivas氏とHo氏、私の質問をする前に、数週間前にPerplexityが俳優のLee Jang Jと一緒に出した広告を見たと言いたいのですが、興味深く楽しい広告でした。
私の質問ですが、あなた方がPerplexityを始める前に、お二人とも業界で働いていたことを考えると、業界で働いていた経験がPerplexityの構築に役立ったと思いますか。また、現在のAI情勢とAIを頻繁に多くのタスクで使用することが非常に重要だとおっしゃったことを考えると、特に新卒者にとって、AIスタートアップでキャリアを始めることと、FANGのような従来の大手テック企業のどちらをお勧めしますか。
明らかに、FANGではなくAIスタートアップと言うのが私の利益になります。しかし、本当に多くを学び、物事の詳細に入り込みたいなら、それはFANG企業では確実に起こりません。そこにはあなたのような人があまりにも多くいるからです。重要な役割を与えるのは非常に困難です。
企業を始める前に業界で働くべきかどうかについては、それは本当に依存します。非常に主観的です。何かを始めるための最適な時期はありません。多くの人々は「4年間働いて、すべてを学んでから行って応用する」と考えます。
スタートアップ構築について他の場所で働いてそれほど多くを学ぶわけではありません。それはまったく異なるものです。特に創設者時間、創設エンジニア、創設者の場合、まったく同じではありません。創設者であれば、実際に何かを創設することなしに創設者になる方法を学ぶことはありません。それが直接的な答えです。
業界で学ぶことが何か役に立つかということですが、他の人々がどのように動作するか、他のリーダーがどのように動作するか、優秀な才能ある人々と働き、分野について自分の意見を構築することなどを見ることができると思います。そのためのスペースと時間を得ることができ、それは有用だと思います。
教育機関が教えるべきこと
椅子の権力を一瞬濫用します。ハーバードは、ベンチャーファンドや不動産信託でない限り、教育機関とされています。しかし、PerplexityやOtherのような企業が行っていることを考えると、学生に何を教えるべきでしょうか。
この数日間、教育のためにAIをより効果的に使用する方法について多くの興味深い議論を行ってきました。つまり、エージェントをあなたのシラバスに個人化したり、あなたの特定の課題に個人化したりすることです。人々は異なって学ぶので、視覚的な人もいれば聴覚的な人もいます。そのため、エージェントと製品を持つことです。
しかし、待ってください。あなたが話しているのは、どのように教えるべきかです。私が聞いているのは、何を教えるべきかです。それは異なる質問です。
この時点では、これらのツールが存在し、使用例に特化する方法を知っていることを彼らに教えることが大いに役立つと思います。従来の役割に固執しないことを教えることです。あなたは単なるソフトウェアエンジニアではない、あなたが創設者なら、一つの帽子の下ですべてのこれらの役割を最終的に行う必要があります。
問題解決と言いたいのですが、それはとても曖昧です。批判的思考も良いです。問題解決と批判的思考ですが、AIもそれらのことが得意になるのではないかと本当に心配しているので、そう遠くはありません。
正直に言うと、核心的なことは良いセンスと物事についてのあなた自身の意見を構築する方法に帰着すると思います。これを判断する良い方法はありません。明らかに非常に主観的です。教授が評価者ではなく学生のためのコーチにより変わることができて、本当にインスピレーションを与えることができるなら。それが私の意見では教育の核心です。この場所が本当に私にインスピレーションを与えたかどうかです。
そこで過ごした時間と、そこで私を教えてくれた教師を真にインスピレーショナルだったと振り返ることができるかどうかです。確かに線形代数についての多くの講義がありますが、ギルバート・ストランの講義を愛しています。それらは見ていて非常に素晴らしく、特異値分解を理解していても、同じビデオを100回見に行くほどのファンもいます。
美しさを評価し、物事をどのように説明するかについての素晴らしいセンスを構築し、最高の教育者と最高の大学で学ぶことができる問題をどのように見るかということには何かがあると思います。それがすべての大学が二重に力を入れるべきことです。「はい、ここにあなたの課題があります。これを行ってください」ではなく、それをさらに興味深く、さらに挑戦的にすることです。
学生が無制限のPerplexity、ChatGPT、Grok、これらすべてのもの、無制限の計算量を持っていても解決するのが困難な問題は何で、学部生に投げかける価値があるものは何でしょうか。
昨日の夕食で誰かがコメントしていましたが、学部のクラスは大学院のクラスのようになり始めるでしょう。そして、マイクアップの際にあなたが言ったのが正しいと思いますが、大学院のクラスでも学部生が今大学院生を上回っているということです。ですから、彼らには明らかにそれを行う能力があります。オープンエンドで不確実な挑戦です。そちらに物事は向かっています。
ソース帰属の課題
オープンエンドの質問について話すと、一つあります。現在AIが直面している課題について考えると、あなたはPerplexityを創設する際に特に重要だったものの一つとしてソース帰属について言及しました。
情報を検索してユーザーにソースを引用する際に、特定の情報があなたの顧客が質問している質問とどのように関連するかをどのように考えましたか。そして、しばしばソースには繰り返し情報があることを考慮して、2つの異なるデータで類似の結果を見つけることができるという、これら2つのポイントをどのように関連付けることができましたか。
AIがこのソース帰属の質問をどのように処理するかをどう見ていますか。そして、Perplexityを創設する際にそれについてどのように考えましたか。
それはSEOテクニックを使用してコンテンツを再生産することの増加などで、人々が今日でも直面している課題です。時間が経つにつれて、AIとコンテンツプロデューサーの間でますます困難なイタチごっこになるでしょう。
しかし、インターネットについて本当に重要なことは、どのソースが最初だったかという事実的な基盤があることです。クロールする際に、どのソースが最初かを追跡できます。特にソーシャルの台頭により、すべての情報の背後に名前とタイムスタンプがあります。そのため、実際にどれがオリジナルかを見ることができ、うまくいけばそれが続くでしょう。AIがますます強力になっても、その傾向は依然としてそこにあるでしょう。
より賢いAI、より多くの推論が組み込まれたものは、低品質コンテンツと重複コンテンツをかなり早く理解できます。また、ドメインの信頼スコアの構築、一部の品質結果が低品質であることに関するユーザーフィードバック、それが低品質な一部のドメインやソースによって引き起こされているかどうかを試すなど、私たちが多くの作業を行っています。
私たちはドメイン全般について多くのデータを収集し続けています。これはPageRankと同じ概念ではありませんが、似ており、インデックス作成とランキングレイヤーでも作業を行うのに役立ちます。
基盤モデル企業の経済的インセンティブ
私の名前はAaronです。ここにいてくださってありがとうございます。Perplexityが時々軽蔑的にラッパーと呼ばれることを知っています。あなたはそれに押し戻し、私もあなたの見解に完全に同意します。正直なところ、アプリケーションレイヤーにいることで、任意の時点で最高の基盤モデルに接続でき、それは利点だと思います。
Perplexityが検索アプリケーションAI空間で勝利する世界を考えると、基盤モデル企業の経済的インセンティブをどう見ていますか。彼らは最終的にコモディティ化し、そうであれば、革新を続ける彼らの押し進める力は何でしょうか。
現在、基盤モデル企業は3社しかないと思います。しかし、これら3社の中でも違いを見ることができます。GoogleやMetaが独自のモデルを構築することについて話しているのではありません。これはスタンドアローンの企業基盤モデル、OpenAI、Anthropic、Grok、xAIです。
xAIがXと合併したという発表を見ました。それは本質的に一つの企業になったので、全体のソーシャルプラットフォームの所有権とモデルの構築とそこでの展開を持つアプリケーション企業です。同様に、OpenAIのChatGPTには4億人のユーザーがいるので、GPT-4ではない何か他のものとモデルを交換して、仮に誰にもそれについて話さない場合（これは悪いことです、彼らはそれをすべきではありません）、仮説実験として、彼らがこれをしたと仮定しましょう。
本当に仕事指向のタスクで使用している非常にハードコアなユーザーを除いて、誰も実際には気づかないでしょう。平均的なChatGPTユーザーは推論モデルo3について聞いたことさえありません。彼らはまだGPT-4やminiや3.5に固執しています。これらの新しいことについて何も知りません。そのため、彼らは全く気づかないでしょう。
そのため、彼らはアプリケーション企業としてかなりうまく設定されています。唯一の異常値はAnthropicで、APIとモデルに重点を置いており、オープンソースによってコモディティ化されるリスクが常にあると思います。
今日するべき賭け
以前、2022年にオープンソースモデルが追いつき、モデルがより効率的になり、より大きなモデルがより小さなモデルを蒸留するという賭けをしたと言及されました。まだ明らかでない、今日するべき賭けは何だと思いますか。
もしそれを知っていたら、今それをしているでしょうが、私はまだオープンソースについて非常に楽観的だと言えるでしょう。推論がまだフロンティア研究所で行われており、彼らがそれに投入する計算量がはるかに多いため、このオープンソースは嘘で機能しないと思った短い期間がありました。しかし、DeepSeekの後、もう疑いはありません。オープンソースは引き続き良好であると思います。
今日私にとって明確でないこと、意見を持つことが役立つと確信していることは、これらすべてのAIアプリケーションレイヤーがすべてのアプリとどのように相互作用するかということです。デスクトップアプリであれ、ウェブ上のアプリであれ。
一つのAIが他のアプリをどのように呼び出すのか。一つのAIが他のワークスペースツールからコンテキストをどのように取り込むのか。そのためのフォーマットは何か。みんなが一つのプロトコルに収束するのか。これらの企業はすべて、その周りにAPIサーバーを構築し、AIによってラップされるようにするのか。誰が誰をラップするかという全体の概念です。最終的にはすべてがラッパーですが、誰がラップされたいか、誰がそうでないか、そのためのビジネスモデルのインセンティブは何かという問題です。
例えば、Uberの場合、AIがユーザーのためにUberの乗車を呼んでいるなら、彼らは全く破壊されないと思います。なぜなら、彼らは乗車でのみお金を稼いでいるからです。彼らには実際に広告収益モデルがありません。一方、Instacartの場合、Instacartは実際に広告ビジネスを持っているため、必ずしも良いことではありません。Amazonの場合、AIがあなたの代わりにショッピングをしているなら、彼らは多くの広告収益を得ているため、実際に彼らにとって悪いことです。
そのため、彼らは実際にエージェントが機能することを望んでいない、またはエージェントが機能するなら、広告を表示し続けることができるように、むしろ彼らのエージェントであることを望みます。それが彼らの現在の哲学です。
これは公平だと思います。物事がどのように進化するかについて多くの不確実性があると思います。これがどこに向かうかについて何らかの意見を持つことは、おそらく価値があります。それについて企業を構築し、あなたが正しくて次の大きなものになるかもしれません。
マルチエージェントシステムについて
ちょっとアラビンド、これをやってくれてありがとう。私はSHです。現在のマルチエージェントシステムの将来についてのあなたの現在の視点は何ですか。異なる視点から架空の人々のチームを作成し、彼らが自分で問題を解決しに行くことができるシステムです。そして、その第二部として、Perplexityでマルチエージェントの方向に何らかの賭けをするつもりですか。
Jimがここにいるので、オブジェクト指向プログラミングに類推を描きたいと思います。私がコードを書いた時、それの大ファンではありませんでした。多くのクラスと継承を持つのが嫌いでした。私は関数型プログラミングスタイルを好みます。
このマルチエージェントは、どれだけの抽象化と階層を望むかという側面に過ぎません。多すぎるのは良くありません。少なすぎるのも良くありません。現在、Perplexityでも、これらの推論や深い研究では、多くのコンポーネントが一緒に働いています。そして、それを行うたびに、Johnnyやもう一人の共同創設者Dennisが腹を立てます。「ああ、このコードは複雑になりすぎている。コードの行数が多すぎる。何かを変えるのがとても困難だ。すべてがメチャクチャだ。」
そして、私たちはそれを書き直してより簡単にしようとします。複数のことを同時にうまくできる新しいモデルがあるときはいつでも、抽象化を削除してさらに簡単にしました。そのため、物事がどこに向かっているかは本当にわかりません。
抽象化があることは知っていますが、適切なレベルの抽象化が何になるかがわからないだけです。
またそのセンスの話に戻りますね。
そうです。それは物事を構築する方法のセンスとタッチの問題です。
製品リリースのタイミング
物事を構築してリリースすることについて話していますが、生成AI業界全体でそれがどのように機能するかについて多くの憶測がありました。それはすべて異なる企業間の競争によって決定されるのか、それとも次のモデルを人々にリリースする準備ができているかについて考える思慮深いプロセスがあるのでしょうか。多くの人を不快にさせる方法で実験をしているのではないでしょうか。
これらの新しい製品とモデルをいつリリースすべきで、いつリリースすべきでないかについて、あなたがどのように考え、業界の他の部分がどのように考えているかについての洞察を提供していただけると非常に興味深いでしょう。
競争がリリースタイムラインを駆動していないと言うのは確実に嘘だと思います。現在それが本当にそれを導いているものだと思います。誰もがn番目のムーバーになりたくないため、みんなが非常に速く動いています。ファーストムーバーかラストムーバーのどちらかです。
品質は重要だと思います。準備ができておらず半熟なものをリリースする場合、基本的にあなたが行っているのはユーザーの信頼を傷つけていることです。そのため、次回何かをリリースした時、彼らは以前ほど真剣にあなたを受け取りません。
それが4回か5回起こると、あなたの製品への信頼レベルを指数関数的に減少させ、それから回復するのは困難です。そのため、最終的にはすべての製品がこれを心に留めておく必要があります。そして、みんながそれを推し進めようとしています。「既存のユーザーを興奮させ、競合他社に遅れをとらないために必要な最小限の品質レベルは何か」です。
今日、多くの人がそのように決定を下していると思います。私たちも時々これを行ってきました。私は必ずしもそれについて幸せではありません。しかし、少なくとも私たちが取り組んでいるブラウザなど、より深刻なプロジェクトについては、本当に一生懸命推し進めて、本当に準備ができるまで待ってから出しています。
私たちの最初の計画では3月に出すことでした。明らかにそれは起こりませんでした。そのため、私たちは時間をかけて、本当に良いものにしてからそこに出そうとしています。
AIと批判的思考スキルのバランス
先ほど、AIを活用できる人々が最も多くを得ると言及されました。しかし、AIが批判的思考スキル、これらの高度なスキルを学習しているという点でトレードオフがあり、小学校でAIにさらされている若い人々や子供たちが、この部屋にいる私たち全員が行ったような考え方を学んでいないという懸念があります。
社会、若い人々、私たちのような学生に、AIを使用しながらも批判的思考スキルを維持し、前進する方法についてアドバイスをいただけますか。
MITの学生の次のコホートで数学的適性が実際に低下しているという研究を読みました。フィナンシャル・タイムズがこれについて研究を行いました。それがAIだけのせいかはわかりませんが、ソーシャルメディアは確実に大きな貢献者です。うまくいけば、Instagramが彼らの時間の多くを奪っているにもかかわらず、今でも素晴らしいことをしている賢い子供たちがいるということを乗り越えてきたと思います。
この点で何かを理解できることを望みます。しかし、AIには確実に、行う認知作業のレベルが低下しているということがあります。それが人々のより多くの創造性につながるなら、それは良いことです。他のもの、例えば、今日利用可能なすべてのツールの前にコードを書いた人々がいることは確実に冗談です。CursorなしでCursorで構築するのはどのようなものでしょうか。しかし、GitHubの前に人々はどのようにコードを書いたのか、人々はプロジェクトでどのように協力したのか。
それは、これらのツールでのみ行った人々が低品質である何かを意味するわけではありません。彼らは時々さらに困難な問題を解決しており、これらすべてのツールから恩恵を受けて、さらに速く動いています。そのため、ここでも同様のことが起こると思います。
しかし、深刻に影響を受ける多くの人々がいる結果を完全に無視することはできません。それは起こると思いますし、私はそれに対する解決策を本当に持っていません。解決策があればいいのですが、ありません。
Perplexityの普及と社会への影響
長い話を短くすると、私の母は技術にまったく習熟していないし、AIのようなものに対してはさらに懐疑的だったにもかかわらず、現在Perplexityのヘビーユーザーになりました。それは素晴らしいことです。
最初に生成AIが出た時、私はコンテキストウィンドウが限られており、検索機能も非常に限られていたため、彼女に使用を説得することができませんでした。現在でもChatGPTは非常に良い検索機能を持っていません。Deep Researchがありますが、非常に高価です。
最近、R1のような推論モデルとPerplexityによるDeep Researchのおかげで、非常に高い使用量の割り当てがあります。私の母は文字通り、あらゆる種類の意思決定プロセスでヘビーユーザーになりました。これは私の家族だけの例外的な例ではないと信じています。このようなPerplexityや類似ツールの普及が今起こっていると思います。
ChatGPTでもGeminiでもなく、Perplexityによって行われています。Perplexity自体と社会全体にとってのこの意味をどう思いますか。
人々がDeep Researchを使いたがっているのは素晴らしいことです。それは彼らが決定を下そうとしているということを意味します。「研究をしてから戻ってきて」と言う必要がないことです。みんながすでに自分でそれを行っているなら、そのようなことはもう言う必要がありません。
それは確実に世界の真実と知識のレベルを増加させます。それは実際に私たちのミッションです。それが私たちがアプリで「知識が始まる場所」とまだ言っている理由です。それはお金を稼ぐだけでなく、それを超えた目的や価値のために立つべきすべての企業です。私たちはお金を稼ぎたいですが、さらに高い目的の何かを構築したいのです。
もしあなたが言っていることが、あなたのお母さんだけでなく、そこにいる多くのお母さんに起こっているなら、それは素晴らしいことだと思います。
あなたが一般的なWebとLMを使用するだけなら、平均への回帰になってしまうという一点があります。しかし、異なりたい場合は、意識的に決定する必要があります。通常とは異なるスタートアップ創設者になりたい、他の皆とは異なるニッチな職業を作りたい場合です。
AGIへの距離と戦略
来てくださってありがとうございます。AGIからどれくらい離れていると思いますか。そして、訓練後を通じてAGIを得ることができると思いますか、それとも事前訓練からより多くの可能性を解き放つ必要があると思いますか。AGIに向けたPerplexityの戦略は何ですか。
それはAGIをどう定義するかに本当に依存し、人間を完全に置き換える、人間を廃止するレベルの知能については、主に私たちは常にこれらのAIを自分で使用し、以前よりも高い能力で有用であり続けるよう知能を適応させているため、それは起こっているようには見えません。
これは、より少ない従業員でより少ない企業が時価総額をかなり迅速に構築できること、収益などを含めて、これまでに見たことがないことによって証明されています。それは人々が会社でAIを自分で使用することによって貢献されています。そのため、その観点から、私たちは今のところ安全だと感じています。
問題ありません。デジタル知識ワーカー、80-20知識ワーカーについては、それは起こると思います。少なくとも垂直ごとに、それはすでに起こっています。以前よりも必要なソフトウェアエンジニアが少なくなっています。それをAGIと呼びたいなら、それは起こっています。
AGIを、新しい分野での画期的発見を思いつくような本当にAGIのようなもの、または私のすべてのコードを見て、ファイルされたすべてのバグを見て、自動的にすべてを修正してプロダクションにデプロイするもの、私のシステムがダウンしている時、バグがどこにあるか、レイテンシのスパイクを引き起こしているものを見つけて、自分で修正するものと呼びたいなら、そのシステムはまだそこにありません。
多くの優秀なエンジニアが現在Perplexityや多くの他の企業でそれを行っており、そのレベルの知能はまだそこにありません。それが起こるなら、私は確実に非常に感動するでしょう。エンジニアリングチームの運営と企業の運営について考える方法を完全に変えるため、個人的にそれをAGIレベルの画期的発見と考えるでしょう。しかし、それはまだ起こっていません。
AIに行って「6ヶ月の私のロードマップを教えて、考えたくない。1ヶ月分の人間の時間をかけて考えて、ロードマップを持って戻ってきて、なぜそうなのかを説明して」と尋ね、それが実際にかなり良いロードマップで、そのクエリ一つに対して数百万ドル相当のお金を喜んで支払うような、このような種類のことについて考えると、私はこのような種類のことを真にAGIのような瞬間と考えるでしょう。
正直に言うと、今日はそのようなAIは文字通りありません。次の5年間で起こる可能性はありますか。もし推論が進歩し続け、多くのことにアクセスを与えられ、より多くの思考時間がより高品質な答えにつながることがますます明確になるなら、これに近い何かを得ることができるかもしれません。それは多くの影響、ポジティブな影響を与えると感じます。
次のフロンティア
時間になったようですが、最後の声明をしたい場合は。最後に一つ質問します。AI、技術、機械、あなたが見る方法で、突破しなければならない次のフロンティアは何ですか。今解決できないが、最も解決したい問題は何ですか。
前の答えで言ったことと同じです。いえ、本当です。しかし、より具体的には、1兆ドル企業のCEOが時価総額を増加させる方法について相談でき、ロードマップ全体を書き、なぜこれが正しいことなのかの詳細な説明とともにすべてのエンジニアに優先順位を割り当て、それを実行して実際に起こるようなものです。
1兆ドル企業の1000億ドルの時価総額増加をAIにその1%を支払う、それは今まで慣れ親しんできたあらゆる種類の収益モデルを完全に破るでしょう。それはかなり信じられないと思います。
私が言ったもう一つのことは、プログラミングとソフトウェアエンジニアリングが、コードの自動補完や複数のファイルの同時変更から、バグの修正を手伝ってもらうことです。それは私がどのプロセスでも最も嫌いなことです。多くのバグがありますが、それを適切な人にトリアージするのに非常に時間がかかり、彼らはチケットを見て、毎日バグを修正することにうんざりし、修正をプッシュして、それが他の何かを壊し、Johnnyのようなより賢いエンジニアが来て、これらの異なる修正間の依存関係が問題を引き起こしたものを見なければなりません。
時間、エネルギー、努力がかかります。AIがこれを行うことができるなら、JavaScriptコードだけでなく、バックエンドとインフラストラクチャーを行う能力を持つ信頼できるソフトウェアエンジニアになるために、そのAIに年間数十万ドルを支払う価値があります。
Johnnyは、最後の声明をしたいですか。
つまり、それに追加すると、リアルワールドモデルが本当に欠けているものだと思います。AIが決してできない重要なステップはデプロイです。実際にバグを修正した確率を推定できる必要があります。そのフィードバックループを持つことが重要だと思います。強化学習でそこに到達していることを知っていますが、より多くの人間のフィードバックを求めたり、壊れることが許可される実際のシステムにデプロイされて、そのフィードバックを収集できるようにしたりして、それをより現実的にすることが非常に重要だと思います。
彼らの時間に感謝しましょう。
コメント