16,929 文字
あなたはLLMがハルシネーション（幻覚）を起こすと聞いたことがあるでしょうが、もし本当の問題がモデルではなく、モデルにゴミデータを与えている検索システムにあるとしたらどうでしょうか。私たちが調べたすべてのシステムで、リコール率はおそらく60～70%程度です。Zero Entropyでの私たちの目標は、それを向上させ、90%以上のリコール率を実現することです。
今日はZero Entropyの創設者であるRita Alamiさんとお話しします。彼女の会社は、AIシステムを劇的により正確にするため、検索をゼロから再構築しています。初期の混沌理論、戦術的な製品洞察、そしてインテリジェント検索の未来についての大胆な予測について深く掘り下げます。このエピソードは、AIを使って何かを構築している方に最適です。
Rita、今日は番組にお越しいただきありがとうございます。
ありがとうございます。
では早速始めましょう。とても楽しみです。あなたには私の紹介やプレゼンテーションを聞いていただきましたが、あなたご自身とZero Entropyについて教えてください。何を構築されているのでしょうか？
はい、それでは。Zero Entropyは、ランタイムAIエージェント向けの高精度検索エンジンを構築しています。基本的に、私たちは開発者がより良い検索システムをより迅速に本番環境に導入できるよう支援しています。私たちの製品はシンプルなAPIで、目標は非構造化データ、つまりあらゆる種類のドキュメントを大量にアップロードし、システムに送信される自然言語クエリに対してランク付けされた関連結果のリストを提供することを非常に簡単にすることです。
それは素晴らしいですね。AIをより良くするお手伝いをされているのですね。最初の経緯を教えてください。どのような「ハッとした瞬間」があったのでしょうか？「待てよ、実際にモデルにより良いデータを与えて結果を改善できるんじゃないか」と思った瞬間は？
明確な「ハッとした瞬間」があったとは思いません。時間をかけて築き上げられたものだと思います。Nickと私は共に数学とコンピューターサイエンスのバックグラウンドがあり、より信頼性の高いAI製品の構築を支援したいと考えていました。多くの開発者と話していく中で、時間をかけて気づいたのは、皆が非常にシンプルなRAGスタックから始めていたということです。オープン埋め込みとベクターデータベースです。
そして常に「私たちはこの非常にシンプルなスタックから始めたけれど、十分に正確ではなく、私たちのユースケースでは機能しなかった。それでXやYやZを行った」という話がありました。そして私たちは、これらのチーム全てがますます複雑なことを行い、メンテナンスが困難で、システムの遅延を高めるコードを大量に書いていることに気づきました。
これらすべてのコードを統合し、シンプルなAPIの背後で誰にでもこの検索システムを提供する会社が存在すべきだと思いました。それがZero Entropyの始まりです。
具体的な例をいくつか説明していただけますか？私がAI企業だとしましょう。どの分野でも構いません。実際の顧客の例を使っていただいても結構です。たくさんお持ちだと思いますので。Zero Entropyは実際に彼らに何をさせてくれるのでしょうか？導入前と導入後の実際の違いは何でしょうか？導入前は多くの小さなことが縫い合わされ、パッチされているが、Zero Entropy APIを導入すると、それだけで全てがより速く、複雑さが減るとおっしゃいました。いくつか具体的な例を教えてください。
はい、もちろんです。非常にシンプルなセマンティック検索だけでは上手く機能しないユースケースがいくつかあります。例を挙げましょう。
まず最初に私たちが行ったのは、ハイブリッド検索を組み込むことでした。より多くのチームがこれも行っていますが、キーワードマッチをセマンティック検索と組み合わせることは、非常に特定の英数字の文字列シーケンスを見つけることができるため、実際に非常に重要です。例えば、コンプライアンスやKYCのユースケースで、非常に特定のビッグコードや特定のコードを探している場合、埋め込みモデルはそのために訓練されていません。そのため、その正確なコードを特定するのは困難です。探しているSKUの種類についても同じことが言えます。そのため、キーワードアプローチは非常に重要です。
法的なユースケースでは、私たちは契約理解や法的文書を多く扱っています。これらの問題は、これらの契約を通常の方法でチャンク化するだけでは、この契約が何について話していたのか、誰が異なる当事者だったのかという文脈を失ってしまうことです。例えば、XとYとZに言及するすべてのリース契約を教えてほしい、というクエリがあります。しかし、チャンクを読むだけでは、それがリース契約なのかIP契約なのかわからず、何について話しているのか実際にはわからないのです。そのため、この文脈化の側面も非常に重要です。
より一般的に、医療や健康医療のユースケースを考えると、時には質問が非常に複雑になります。医師がこの他の症状や試したこと、年齢、その他多くの異なることを考慮して、この患者の特定の症状について尋ねるような場合です。埋め込みは再びこれに対して優れているとは言えません。それは複合クエリで、多くの異なるものから構成されているからです。
そのため、質問に答える文書や論文を本当に見つけるためには、ある種のファジィフィルタリングを行う必要があります。これは失敗するもう一つのユースケースです。そして考えてみれば、検索は長い間存在していますが、私たちはまだネガティブクエリを解決できません。これを探しているがそれではない、という場合、実際には両方を取得してしまいます。キーワードと埋め込みが、「ない」と言ったにもかかわらず、理解がないためマッチしてしまうからです。
LLMが実際に非常に有用なのはここです。クエリの意図を理解し、おそらくそれを書き直し、それらに答えることができる特定のシステムにルーティングすることもできるからです。それがZero Entropyで私たちが試みていることです。どのようにしてより多くのインテリジェンスを追加できるか？クエリをより良く理解するにはどうすればよいか？これが基本的に私たちが解決しようとしていることですが、間違いなく難しい問題です。
興味深いですね。お話を聞いていて、解決するのと同時に説明するのも難しい問題だと思います。いえ、問題ないと思いますが、複雑なので。しかし、お聞きしたいのは、販売は簡単ですか、それとも難しいですか？というのも、非常に技術的で、実際の痛みを抱える開発者にとっては今こそ本当の痛みがあると感じるからです。
今これなしには、ありとあらゆることを同時に扱うのに苦労しています。一文で説明できるものではなく、少し複雑な製品ですが、それは悪いことではありません。では、販売はどの程度難しい、または簡単ですか？そのサイクルを繰り返し、より簡単により良く販売する方法を学んでいる最中でしょうか？
それは素晴らしい質問ですね。話す相手によって本当に異なると思います。自分で実際にやったことがある開発者は、複雑さを理解しており、通常は話を聞いて私たちのアプローチを理解することに興味を持ちます。彼らは通常、私たちのドキュメントで私たちのアーキテクチャを見つけ、非常に興味を持ちます。そのため、開発者とこれについて話すのは簡単だと思います。
非技術的な聴衆に対しては、通常、私たちの最高のセールスポイントは基本的にその会社のカスタマーサポートチケットです。そして、特にAI製品を構築している時、すべてが非常に新しいので、実際のフィードバックはユーザーから得ているものだと思います。これが最高の指標だと思います。
通常、検索は自分たちにとって十分機能していると思うと言ったチームが、数週間後や数か月後に戻ってきて、「実際にはユーザーが文句を言っていて、それほど上手く機能していない」と言うことがありました。AI製品に対する期待は通常、今日実際に提供できるものより高いためだと思います。
そのため、使用ケースが具体化されているので、より信頼性の高いシステムを構築することがますます重要になってくると思います。何が機能し、何が価値を生み出すかは分かっていますが、今度はそれをすべてのユーザーの本番環境で機能させる必要があります。それが私の考えです。
そして全体的に、おっしゃったように、検索は評価も困難です。それは話すことができるかもしれません。しかし、評価プロセスは困難です。良いベンチマークを持つのは困難です。それは私のシステムが機能しているかどうかという別の複雑さの層を追加します。期待通りに実行されているかどうかを本当にどのように知るのですか？
その点について詳しく見ていけますか？これは製品に追加することを検討していることですか？潜在的な顧客が「思っていた以上に私たちが必要だった理由はこれです」と理解するのを助けるための評価ですか？
はい、絶対にです。それは私が非常に考えていることです。Zero Entropyを使うかどうかに関わらず、検索ステップを評価するシステムを持つことは間違いなく重要だと思います。なぜなら、全体的にLLMがハルシネーションを起こす場合、多くの場合それは検索から来るからです。
一つ目は、質問に答えたり行動を実行したりするための正しい情報を見つけられなかったため、または二つ目は、文脈が単にそこになかったためです。作業している知識ベースを改善する必要があるため、それも知る必要があります。三つ目は、文脈を見つけたかもしれませんが、たくさんのゴミを与えすぎて文脈の中で迷子になってしまい、ユーザーに有用な答えを提供できなかったことです。
そのため、それをデバッグし、個別に評価できることは重要だと思います。そして製品の最終的な出力についてもLLMの評価を行うことです。私たちはそれについて多く考えています。いくつかの会社と協力して、彼らのユースケース用のベンチマークを構築するのを支援してきました。それは間違いなく困難な作業です。
興味深いですね。非常に興味深いです。お聞きしたいのですが、もし匿名で共有できるなら、顧客がお話ししてくれた実際のハルシネーションの例はありますか？なぜなら、ある時点で、製品が顧客とライブでハルシネーションを起こしている場合、それは緊急の問題になるからです。それが起こらないようにするシステムを整えることが重要になり得ます。顧客がお話ししてくれたハルシネーションや聞いたことのあるホラーストーリーはありますか？
はい、もちろんです。私たちが協力している医療コパイロット会社の例を挙げることができます。医療について話すときは、通常非常にリスクが高いです。そのため、コパイロットが間違った答えを与えることがあります。幸い、医師はその分野の専門家なので、通常どこかに問題があったことを特定できます。
しかし、AIエージェントがより自律的で自分で行動する世界を想像した場合、それが実際に私が最も興奮しているユースケースです。なぜなら、人間がループの中にいることがますます少なくなるからです。RAGシステムでは、まだ人間が答えを読んで精神的なバイブチェックを行い、批判的思考と自分の専門知識を持っています。しかし、自律的に行動し、改善するシステムがある場合、実際にホラーストーリーが本当に起こる場所だと思います。
検索には非常に成功したYC企業があります。Algoliaです。実際、創設者の一人であるNicolasがパートナーとして戻ってきたほど成功しています。そしてNicolasとあなたには共通点があります。フランス語を話すことです。あなたはモロッコ出身ですが、フランスで学ばれました。YCに行くと言ったとき、私は「ああ、そうだ、それはNicolasの会社だ」と思い、あなたがNicolasと一緒ではないことにかなり驚きました。
彼をご存知でしたか？連絡を取り合って、Algoliaの秘密を教えてもらい、YCでのあなたのバッチの舞台裏について話してください。何が起こったのか、どうでしたか？
実際、YCをする前にNicolasに紹介されました。とても興味深い45分間の会話をしました。問題の多くはかなり似ていました。とても洞察に富んでいました。彼から多くを学びました。私たちのバッチ中は彼はパートナーではありませんでした。今は年に4回なので、すべてのパートナーが全てに参加するわけではありません。
彼らは4回のうち2回か3回に出て、その後休暇を取ったり何でもできるということですね。今はそのように機能していると思います。私たちはHarやTylerと一緒に働きました。彼らは本当に素晴らしく、YCの経験全体は本当に驚異的でした。
私の最も好きな部分は、説明責任とピアプレッシャー、そして非常に困難なことに挑戦しようとする人々のコミュニティを持つことでした。それが本当に私たちを押し上げました。6、7社の他の会社と会うグループオフィスアワーが本当に好きでした。
そして2週間の目標を立て、それを書き留めて、2週間後に戻ってきて、実際にその目標を達成したかを確認し、グリーンかレッドでした。イエローはありません。その説明責任と2週間の期間での非常に積極的な目標を持つことが本当に好きでした。
その精神が本当に好きで、今でもグループオフィスアワーを行い、その精神を維持しようとしています。全体的に素晴らしい経験でした。主に人々とコミュニティのおかげだと思います。
何度か応募されましたよね？今はYC応募シーズンなので、これを後で見る人もいるかもしれませんが、今は四半期ごとにYC応募があります。合格する前に何度か応募されましたね？
Zero Entropyで2回応募しました。それ以前にも、学校にいるときに他のさまざまなプロジェクトで何度か応募しました。彼らは応募を少し変更したと思いますが、ほとんどは同じです。それが美しさです。再応募すべきです。毎回良くなります。応募書類を記入するだけで、何を構築しているかが明確になり、質問に答えることができます。
Zero Entropyでも、2回応募し、1回目は合格せず、2回目で合格し、あとは歴史です。明らかにZero Entropyは非常にうまくいっています。Zero Entropyについて共有できる指標があるかわかりませんが、皆さんに言えるのは、本当に本当にうまくいっているということです。他に言えることはありますか、それとも次の質問に移りましょうか？
処理しているクエリの数、インデックス化しているトークンの数、私たちを使用している会社について知りたければ、ウェブサイトにあります。ぜひチェックしてください。新しいウェブサイトがあります。
zero entropy.devですか？宣伝してください。
はい。zero entropy.devです。
宣伝ついでに、人々は知りたがっているので、なぜZero Entropyと呼ばれるのか教えてください。
Nicolasと話していた夜遅くに、エントロピーの概念について議論していたのを覚えています。私たち両方とも、物理学オタク、数学オタクのようなものでした。そして、会社をEntropyと呼ぼうと思いました。しかし、私たちがやろうとしていることの反対だと思いました。なぜなら、混沌をもたらしたくない、実際にはデータを整理し、変動性を減らし、物事をより決定論的にしたいからです。
だからZero Entropyと呼ぶべきだと思い、それがそのようになりました。物理学では絶対零度のエントロピーのようなものは存在できないので、おもしろいことです。不可能なことをしているという考えがあります。ユニコーンのようなものです。
存在しません。しかし、それが目標かもしれません。それは本当にクールです。とても本当にクールです。
YC全般についても、あなたの具体的な経験についても一般的な質問をしたいと思います。一晩で構築できないような複雑なシステムを構築していた、そして構築しています。YCに行って、明らかに皆がYCを知っているように、YC企業は初期のトラクション、実証可能性、顧客との検証を重視することをYC自体が教えています。
そのような短期間でそれをどのように行ったのですか？2回応募されたので、YCに入るときにはすでに動作するプロトタイプがあったかもしれません。技術が機能し、検証することを実際に実証するこの旅はどのようなものでしたか？
この見方は基本的にサイクルで起こるということです。すべてを同時に行う必要がありますが、構築サイクルと販売サイクルがあり、販売サイクルを行っている間に、すでに次の反復と出荷したい次のことに取り組んでいます。常にこのサイクルで同時に起こります。
最初は何もありません。YC前に製品の1つのバージョンを構築した時期がありました。それは実際に非常に役立ちました。見せるものがあったからで、それは重要だと思います。YC中は、それが人々に価値を提供することを検証していました。それが私たちがしたことで、今は製品の新しい反復に取り組んでいます。
間もなく共有することがたくさんあります。ロールアウトしている新しいアップデートについて本当に興奮しています。それがそのように進むべき方法だと思います。物事を構築し、進みながらそれらを検証する必要があります。それが私たちのやり方でした。何らかの価値を示すことができる動作する製品を持ってYCに入ることは、実際に本当に良かったと思います。
そうすれば、バグの修正と製品の販売に集中できるからです。興味深いです。2つの脳を持っているようなものですね。販売をしながら、すでに次の反復を構築している。2つが同時に機能しなければなりません。共同創設者のチームがうまく機能する場合があります。開発者やCTO、そして販売者やCEOがいます。
あなたの場合、両方とも2人の共同創設者で、両方とも非常に技術的です。一人が販売者の役割を担い、もう一人が開発者の役割を担ったのでしょうか？そうではなかったと思います。どのようにしたのですか？両方とも販売と構築を同時に行っていたのですか？分担のアイデアは何でしたか？
どのチームでも、一人が何かの所有権を持つことが重要だと思います。それが実際に共同創設者間の争いを避け、共同創設者との健全な関係を築く方法だと思います。誰が何を所有しているかを非常に明確にし、その後全員がすべてに貢献する必要があります。それは明らかです。しかし、一人が何かを所有し、起こっているすべてのことを最も徹底的な詳細で完全に把握し、物事を前進させることを実際に所有します。
それがZero Entropyでの私たちのやり方です。一人がXYZの完全な所有権を持ち、彼らが取り組む必要のあることがたくさんあります。それが私たちのやり方でした。私は販売を所有しましたが、Nickが一部の販売コールに参加しなかったり、自分で販売をしなかったりしたわけではありません。
エンジニアリングや研究についても同様です。それがZero Entropyでの私たちのやり方です。私たちが構築しているものを考えると、私たちは両方とも、顧客が正確に何を必要としているか、どのように機能するか、最良の実装は何か、研究側で行う必要があることは何かについて、非常に関与する必要があります。
混合ですが、所有権があります。非常にクールです。技術的な深掘りに少し移りたいと思いますが、移る前に、YouTubeで見ている方は、チャンネルを購読することを検討してください。お気に入りのポッドキャストアプリにいる場合は、同様に購読し、5つ星の評価をしてください。ありがとうございます。続けましょう。
それをいつもしなければなりません。いつも忘れがちなので、今は自分を誇りに思います。よし、考えました。では、検索の精度をどのように定義しますか？構築しているものの要点に戻りましょう。検索の精度を実際にどのように測定しますか？
長い答えと短い答えがあります。5時間あります。どうぞ。しかし、実際には非常に困難です。いくつかの指標がありますが、理想的には情報検索が何であるかというと、基本的にコーパス、つまり情報のセットがあり、次に1つの質問、1つのクエリがあり、その特定のクエリに対してそのコーパスから最も関連性の高い情報を引き出すことが目標です。
困難なことは、このランク付けされた結果のリストを提供する必要があることです。そして、関連するすべての結果を引き出したか、引き出さなかった結果があるかを意味する多くの指標を見ることができます。引き出した結果から、その中にゴミはあるか？すべてを引き出したが、関連のないことも多く引き出したか？リコールと精度があります。
情報検索はランク付けされたリストなので、結果を適切にランク付けしたかという指標もあります。上位50を検索した場合、最も関連性の高い答えは実際に48位にあるか？そして、上位1位は実際にはそれほど関連性がないか？完璧な順序は何かに関連する指標もあります。
困難なことは、リコールや精度のような分類に関するものは、関連か関連でないかのバイナリ分類が可能なので、比較的簡単かもしれませんが、ランキングに関しては実際にはもう少し主観的で、この上位1位が実際にこの上位2位より良いかどうかを知るのは少し困難です。そのため、それは少し主観的で、各ユーザーに依存します。
見ることができる多くの指標があります。通常提案するのは、バイナリ分類から始めることです。つまり、クエリから、そのクエリに答える関連情報を引き出すことができたかということです。リコールは通常最も見る指標です。それが通常人々が見る主な指標です。
それでも困難です。なぜなら、インターネット検索を考えてみると、クエリを入力し、結果のリストを取得しますが、上位の結果が実際に探しているものかどうかは分かりません。基本的に関連している可能性が高いというだけです。多くの人がクリックし、これはそれにリンクされているからです。
Slackで探していて、探しているものが正確に含まれている特定のメッセージを探している場合、それは異なるタイプの検索です。なぜなら、どこかに1つの答えがあり、それを上位1位の結果として引き出したいからです。それが少し困難になります。
答えがあることを知っていて、それを引き出したい第2のタイプの検索により多い場合、質問のリストと引き出そうとしている関連情報のリストを持つ評価セットを持つことから始めることができます。そして、それを検索システムに入れて比較します。私の検索システムはそれらすべてを見つけたか？そして、指標があり、それが評価方法です。
私たちが見たすべてのシステムから、リコールは60〜70%程度です。つまり、探していたもののうち60〜70%を取り戻しているということです。通常、精度は通常非常に低く、多くのゴミもあります。上位100には多くのランダムなものがあります。私たちのZero Entropyでの目標は、それを向上させ、90%以上のリコールを得ることです。
私が先ほど販売は困難か簡単かと尋ねたことと関連していますが、今考えてみると、60%しかなければ、私のリコールに問題があることがはっきりとわかります。全く良くありません。そして、あなたがやってきて90%以上にしてくれる。完璧です。機能します。約束を果たしているのです。
RAGに依存している、またはどこかで検索を組み込んでいるが、検索は問題ではない、問題ではないと仮定している製品を構築している創設者に対して、何と言いますか？
ユーザーに聞いてみるように言うでしょう。知識ベースが非常に小さく、質問がかなりシンプルな場合は、持っているアプローチで今のところ十分かもしれません。十分良いとは何を定義するか？それは常にビジネス指標です。ユーザーは満足していますか？精度や製品の品質のためにチャーンを見ましたか？
そのため、必要でない限り、Zero Entropyを売り込もうとはしません。だから、ユーザーはどう思うかと聞くでしょう。十分だと思いますか？もしそうなら、素晴らしいです。そうでなければ、私たちがお手伝いできるかもしれません。
とにかくより良いソリューションを持っているので、必要だと気づいたとき、準備ができたときに、私たちのところに来てくれるでしょう、というポジショニングが大好きです。それは本当に本当にクールです。
会社を構築する際に、どのようなテックスタックやアーキテクチャの選択が最大の違いを生んだと言えますか？
検索パイプラインの異なるステップでLLMと小さなモデルを活用することが、実際に私たちが非常に良いと考え、非常に良い結果を提供するアプローチだと思います。それはエージェント的検索タイプのアプローチのようなものです。
今と以前の検索スタックの主な違いは、実際にはLLMと、より重要なことに、かなり高速な小さなLLMへのアクセスだと思います。いくつかのキーワードをマッチングしたり、クエリとコーパスの間で広範なセマンティック類似性を行ったりするだけでなく、今ではLLMにそれを見させることができます。
LLMを使ってクエリを書き直し、よりスマートなモデルを使って結果を再ランク付けすることが、実際に精度を本当に向上させます。それは興味深いアプローチだと思います。
とてもクールですね。私がほぼ毎日受ける質問をお聞きしたいと思います。あなたもそうかもしれません、教えてください。私のファンドLobster Capitalの投資家から、出会うほぼ全員から、質問は、AIがこれほど急速に変化している中で、どのようにAIに投資するのか？ということです。あなたへの質問は、2、3年後にはモデルが非常に良くなって、Zero Entropyなしでも、RAGがデフォルトで100%で機能するかもしれないと考えると、どのように製品の関連性を保つのか？ということです。
それが可能かもしれない、そうでないかもしれない、と考えることができます。それまでにまだビジネスがあることをどのように確実にするのか、それとも決してそうならないのでしょうか？この点についても考えたことがあると思います。
はい、絶対にです。その質問に対しては多くの答えがあります。最初の答えは、個人的に検索が存在しない世界を見ることができないということです。信じるのが困難です。私たちが日常的に行うことの多くは情報の検索だと思います。確実に、特にコンテンツが常に指数関数的に成長している場合、探しているものを見つけることは常に重要になります。
では、コンテキストウィンドウが非常に大きくなるため、検索は単にすべてを読むことになるのかという質問があります。それは可能性かもしれませんが、それでもレイテンシとコストの問題があります。なぜなら、トークン数に対して二次関数的だからです。PubMedについて質問があるたびに、PubMedのすべてを読むのでしょうか？判例法について質問があるたびに、すべての判例法を読むのでしょうか？質問をしようとするたびに、コンピューターに書いたことすべてを読むのでしょうか？それは疑問符です。
ありそうもないです。検索の見方は、圧縮アルゴリズムのようなものです。もちろん、ある時点でLLMにそれを見て決定を下してもらいたいです。しかし、より関連性があり、より高いシグナルコンテンツを見させれば、出力は常により良くなります。
そのため、個人的に検索は常に存在するものだと思いますし、LLMが訓練される方法にアーキテクチャの変更があるかもしれません。それはもう一つの可能性で、スタックのより深いレベルでこのコンテキストを取り込む可能性があるかもしれません。
その側面に何かイノベーションがあれば、それはZero Entropyから来ると思います。なぜなら、それが私たちの唯一の目的であり、唯一の焦点である検索だからです。私たちも独自の研究を行い、この問題に取り組む最高の人々を集めています。それが私たちが将来も関連性を保つ方法だと思います。
非常にクールです。素晴らしい答えをありがとうございます。あなたが再びこのような中心にいるので、現在の企業がAIインフラについて考える方法に変化を見ていますか？LLM、RAGなどを実装する方法についてですが、私の質問は、企業がAIインフラを持つために急いでいるので、最新のモデルや日常の製品でどのように使用できるかを実装しようと急いでいる、ということです。
検索で主に問題を抱えているそれらの企業に販売してきたので、変化や進化を見ましたか？彼らのアプローチは異なりますか？何が変わっているのか？何が新しいのか？何が来ているのか？おそらくいくつかのトレンドを見ているでしょう。ここでいくつかのトレンドを明らかにしようとしています。
はい。間違いなく変化があります。少なくとも私の視点からは、AI全体のブーム後は、何かを実装する競争のような感じでした。どこかにAIが必要で、AIで何かを構築する必要があり、競争に遅れを取らないようにする必要がありました。それに取り組むような感じでした。それは理にかなっています。自然な反応だと思います。
今では、より多くの企業が、構築しているもののROIは何かを本当に見ています。それは実際に私たち自身の顧客や私たち自身にビジネス価値を提供するのか？実際に機能しているのか？なぜなら、今は使用ケースが何かという探索段階は終わったからです。まだ新しい使用ケースを発見していますが、すべての業界で、この使用ケースとあの使用ケースがあり、これを構築できる、あれを構築できる、ということがわかっています。
今は実際にどれが機能するかということだと思います。そのため、私たちにとって素晴らしいことに、ベンチマークと精度により多くの注意が払われていると思います。なぜなら、私たちはそれが重要だと考えているからです。以前は何かを構築する必要がある、実行されるものを、という感じでしたが、確実にその変化を見ています。
とてもクールですね。では、次の数年間でLLMやAIインフラの未来についての大胆な予測に移りましょう。LLMやAIインフラの未来について、あなたが持っている反対意見の見解は何ですか？
うわあ、良い質問ですね。困難です。この分野では多くのコンセンサスがあります。それほど反対意見ではないかもしれませんが、1つの特定のタスクに非常に特化した小さなモデルに本当に価値を見ています。それには多くの価値があると思い、分類のような小さな分類、抽出、これらすべての小さなタスクなどが考えられます。
それらを行うのにブルドーザーは必要ありません。特定のタスクに対する教師ありファインチューニングのような少しのファインチューニングで、より大きなモデルを使用した場合よりも速度を上げ、レイテンシを少なくすることができると思います。コストも少なく。
はい。コストも少なく。それはかなり反対意見です。なぜなら、今は皆がOpenAI対Anthropic戦争やGrock、その他について激怒しているからです。皆がそれについて話しています。少なくともメディアでは、YCでは異なるかもしれませんが、これらの小さなモデルについて話している人はほとんどいません。そして、あなたに同意します。
実際、私は数バッチ前のYC企業の投資家で、彼らはリップシンクのためだけのモデルを持っています。唇の動きを変えるだけで、それが彼らが焦点を当てている唯一のことです。YC中に数十万ドルでゼロから訓練し、数台のコンピューターで、それだけでした。非常に良く機能し、最先端で、これは私の最も成長が速い投資の一つです。
小さなモデル、そして将来的には携帯電話、Raspberry Piなど、非常に多くのことを考えることができます。とても抑制されています。それが大好きです。
ただし、大きなモデルも非常に重要で、推論能力は真新しい使用ケースを可能にしていると信じています。それも本当に重要です。しかし、両方の組み合わせだと思います。
同意します。同意します。私たちは反対意見を持っています。素晴らしいです。私はあなたの関連性を保つ方法について尋ね、検索についてのあなたの答えは素晴らしかったと思いますが、5年後に、より一般的なアプローチ、より一般的な見解を取ると、5年後、インテリジェントAIアプリのスタックは何だと思いますか？
興味深いです。私が興味を持っているその部分は、インターフェースについてもです。これらすべてのAIアプリで、それらと相互作用するためのインターフェースは何でしょうか？ChatGPTの音声モードが本当に好きです。実際にさまざまなことに使用しており、AIアプリと相互作用するための素晴らしいインターフェースだと思います。
それがより一般化され、これらのAIシステムと相互作用するより一般的なアプローチになるかどうか疑問に思っています。音声はかなりクールだと思います。スタックに関しては、おそらく似たようなものになりそうです。基本的に3つの主要コンポーネントがあります。
LLMの推論理解のような知性層があります。次に、Zero Entropyがある文脈層があります。基本的に文脈を接続し、記憶のように時間とともに改善し、これらすべての文脈化ステップです。そして、このアプリケーションとどのように相互作用するか、この他のAPIにどのように接続するか、タスクを実行するためにどのツールを使用できるかというツール使用があります。
これら3つの層は、おそらくかなり同じままである可能性が高いと思います。そして最後に、この複雑なシステムとどのように相互作用するかは、まだ疑問符です。
興味深いです。音声がますます言及されるのを聞きます。私はあまり使用しません。もっと使用する習慣をつける必要があります。使用したことはありますが、日常的に行うことではありません。眼鏡についてどう思いますか？Zuckerbergが眼鏡に賭けているので、音声と組み合わせることができ、まず第一に私たち両方とも眼鏡をかけていますが、音声と目の前のいくつかのものを持つことができます。それを信じますか？
試して、もっと時間をかけて考える必要があります。私にとって音声は、出力への最速のパスという意味で、より強制的な機能のようなものです。Super WhisperかCursorに話しかけることができるバイブコーディング設定のようなもので、あなたのためにコーディングしてくれて、考えを声に出すことができます。
ブログ投稿を書くのにも使用しています。10〜15分間話しかけると、私の考えを整理してくれます。私にとっては、情報を得るよりも、情報をより簡単に伝える方のことです。眼鏡は情報をより簡単に得ることを可能にしてくれると感じますが、今の私にとってそれがニーズとは思えません。
今の私のニーズは、私の脳にあることを他の脳にどのように説明するかで、誰かと話すとき、それが最も簡単なパスです。最速のパスがあれば大歓迎です。ニューラルリンクですが、それは今のところそれが最速のパスのようです。
AIでも同じことができるのが気に入っています。そのため、それについてより楽観的かもしれません。
とてもクールです。大好きです。脳にたくさんの非常にスマートで興味深いことがあるとき、それを注ぎ出す必要があります。ポッドキャスティングにも感謝します。音声です。YouTubeで見ることもできますが、音声が最も重要です。全部あります。
もちろん2倍速です。興味深いです。以前はすべてを2倍速で見ていましたが、人々が言ったのは、脳が実際に言われていることについて考える時間、静寂がない、ということでした。すべてを受け入れているだけで、それについて考えていません。それで2倍速をやめました。言われていることについて第2、第3の思考層を持つ時間をとるために、1倍速に戻りました。
とにかく、必要だと感じたときに一時停止を押すのが好きです。しかし、1倍速の場合、考えていなくても、必要に一時停止を押したとは思わなかったでしょうが、それでも考える時間と空間を与えてくれます。私は史上最大の2倍速派でしたが、2倍速で聞いて何も得られなければ、それは時間の完全な無駄だからです。
ゆっくり聞いても実際に何かを得る方が良いです。とにかく、それは私が議論したかった議論ではありませんが、私の二セントを共有しただけです。Zero Entropyが成功する場合、または成功するとき、世界はどのように見えますか？数年後に何が違うのでしょうか？
AGIに向けて構築していると思います。大きなラボはすべてを行うことができる1つのモデルを宣伝しています。この超知能のように。しかし、この知性には文脈のためのZero Entropyのようなツール使用とものが必要だと思います。AGIには実際に信頼性があり有用であるために、より良い検索が必要だと思います。
Zero Entropyの使命は基本的にAGIを構築することですが、私たち自身のレンガを持参することです。
マシンの歯車の一つですね。それは本当にクールです。やりましょう。やりましょう。大好きです。大きなアイデアはありますか？あなたが検索について知っていることで、ほとんどの人がまだ眠っている、理解していない、気づいていないことはありますか？再び、あなたはこのトピックで非常に進歩しているので、英知のささやかな情報を私たちに落とすことができますか？
まず、このポッドキャストが私たちが解決している問題により多くの色を与えたことを願っています。
絶対にそうです。絶対にそうです。
1つの大きなアイデア。明日Altmanがあなたに電話してきて、「Rita、AGIを構築したい。来て手伝ってくれ」と言うでしょう。「AGIが必要だ。あなたたちが必要だ」と言ってOpenAIから明日の朝、あなたの机に買収オファーが届くでしょう。
私たち自身のものを構築します。
完璧です。人々はそれが好きです。考え中です。
大丈夫です。完全に突飛な質問をしているので、何もなければ、心配しないでください。思い出したら続けることができます。
一緒にいる時間がほぼ終わりに近づいています。私が見逃したことはありますか？本当に話したかったことはありますか？今まで尋ねたことのない質問ですが、何かトピックに入りたければ自由を与えるべきだと思います。本当に話したかったことがあり、私たちが見逃した場合、再度何もなければ次に進むことができます。
つまり、言いたいことは、かなり高レベルにとどまりましたが、技術的な側面で私たちが構築しているものは非常に挑戦的です。人間は複雑で、彼らの好みは複雑で、検索は間違いなく困難な問題であるという事実に関連する多くの未解決の質問があります。
それを強調し、この時点まで聞いてくれて、私たちが構築しているものに興味がある人に、ただ連絡してもらいたいと呼びかけました。明らかに最高の人々をチームに集めようとしています。最高の人々を得ていますが、もっと欲しいです。
この時点まで聞いてくれて、これがクールだと思い、私たちが解決しようとしている技術的課題をより深く理解することに興味があるなら、お気軽に連絡してください。それが私が出したかったことです。
それは本当にクールです。そうすべきです。ちなみに、Ritaは一緒に働くのが素晴らしく、この全体を通してかなり謙虚でした。しかし、YCを通り、個人的にフランスのEcole PolytechniqueとBerkeleyに行き、素晴らしい創設チームのように、もしこれがあなたに響くなら、絶対に連絡すべきです。
実際、エピソードの終わりに近づいているので、この時期に尋ねたかったのは、人々はどこであなたを見つけることができ、連絡を取ることができるか、あなたに連絡する最良の方法は何ですか？
私たちのウェブサイトzero entropy.dev、私たちに連絡したければfounders@zeroentropy.devです。お気軽に連絡してください。TwitterやLinkedInでも連絡可能です。DMを送ってください。
素晴らしい。完璧です。それで終わりです。Rita、番組にお越しいただきありがとうございました。絶対に楽しかったです。Zero Entropyの最高の成功をお祈りし、私の質問に答えてくださってありがとうございました。
ありがとうございました。素晴らしかったです。
リスナーの皆さん、まだここにいる方は、最後まで聞いてくださってありがとうございました。お気に入りのポッドキャストプラットフォームで購読することを忘れずに、5つ星のレビューを残してください。YouTubeにいる場合は、チャンネルを購読してください。私たちの美しい顔を見ることができます。来週の次のエピソードでお会いしましょう。次回まで、またお会いしましょう。皆さん、さようなら。
コメント