16,690 文字
同じことが、100万人のユーザーから1000万人のユーザーに成長させるのにも、100人のユーザーから1000人のユーザーに成長させるのにも役立ちます。ですから、自然に成長できる製品を作る必要があります。そのような状態の製品ができれば、人為的にキックスタートするようなことも少しはできます。
AIモデルについて、数学的観点からどの程度深く理解すべきでしょうか？LLM（大規模言語モデル）が何ができて何ができないかを本当に理解するためには、数学やアーキテクチャーだけでなく、多くの場合、それがどのようなデータで訓練されたかを理解する必要があります。
OpenAIの取締役をされていることは、私たちが皆OpenAIについて知るまで知りませんでした。しかし、2020年や2021年頃に、この技術が今のように素晴らしいものになると予想していましたか？実は2005年にFacebookで一緒に働いたときにダンジェロと初めて会いました。SPCでは、マイナス1から0への旅に焦点を当てていますが、アダムほどそのジャンプを何度も繰り返している人はほとんどいません。
彼はFacebookの初代CTOとして初期のアーキテクチャ形成に重要な役割を果たし、その後、知識をより効率的に共有できる未来に賭けてQuoraを立ち上げました。それは今日、繁栄する製品とビジネスに成長しています。また、過去6年間、OpenAIの取締役としても控えめな役割を果たしてきました。
アダムのキャリアの各ステップは、非常に強い第一原理に基づいていると思います。彼は知る限り最も原理に忠実な思想家の一人です。彼の旅は、世界がそれらが本当に大きな問題だと認識する前に、難しい問題を解決することについてだったと思います。
アダム、SPCへようこそ。
ありがとうございます。
アダムのテクノロジーの旅はFacebookから始まったと多くの人が思っていますが、それ以前に遡りましょう。マークと一緒に取り組んだSynapseプロジェクトについて聞こうと思っていましたが、その前に、プログラミングをいつ始めましたか？
中学校でプログラミングを始めました。友人の兄がQBASICでプログラミングする方法を知っていて、友人が私に見せてくれました。それから数学の授業中にそれを始めました。
自分がコーディングの天才だと常に知っていましたか？コーディングは簡単でしたか？10歳の頃、できることの中でコーディングが最初に「これは得意だ」と気づいたことでしたか？
何らかの形で自分が得意だと感じていました。中学校の数学コンテストに参加して、まあまあの成績でした。帰り道で父に成績をどう思うか聞かれたとき、「プログラミングコンテストだったら優勝できたと思う」と答えたのを覚えています。そのとき、他の何よりもそれが得意だと感じていました。
高校時代にIMOなどの初期のコンテストにも参加しましたか？
はい、高校でプログラミングコンテストに参加するようになりました。
高校生のエンジニアとしての旅について教えてください。あなたとマークが構築したSynapseについて教えてください。
プログラミングを始めたとき、主に自分のために楽しむためのゲームを作っていました。中学校では何人かの友人と作ったゲームを見せ合っていました。その後、高校でプログラミングコンテストを発見しました。コンテストに焦点を当てずにプログラミングを学んだのは良かったと思います。なぜなら、すべて内発的な動機付けと物を作ることと自分が楽しむことに関するものだったからです。その後、プログラミングコンテストは、スキルを磨き、より良くなるよう自分を押し進めるのに非常に役立ちました。
高校の最後の2年間は私立学校に通い、そこでマークに会いました。私たちは卒業プロジェクトとして、推薦機能を持つ音楽プレーヤーのプログラムに取り組みました。最近再生した曲に基づいて、ライブラリから自動的に曲を再生するものでした。当時、それは比較的ユニークでした。今日Spotifyを使って、トラックを再生したままにして、プレイリストに次の曲がない場合に体験するものと非常に似ています。
これはWin Ampで構築されました。
あなたたちはこれを構築しましたが、その当時、推薦や類似性の判断、再生履歴の使用などの背後にある数学や技術はそれほど理解されていませんでした。どのようにして作り方を考え出したのですか？第一原理から推論したのですか、それともマトリックスが見えているかのように直感的に理解できたのですか？
私たちがやっていたことは比較的シンプルでした。再生したすべての曲のログを保存し、「この曲の後に、普通ならどの曲を人間が自分で選ぶか」といった統計を生成しました。それらの統計を持ち、以前に再生された曲の効果的なグラフをランダムに歩くことができました。しかし、すべては無から生まれたものでした。私たちを導くものは何もなく、自分たちが求めるものは何かという考えだけでした。製品として自分自身で使うのを本当に楽しんでいたのを覚えています。当時は他に何もありませんでした。
C++で書きましたか？
一部はC++でした。
マークとあなたがこれについて話したことがあると思いますが、いつも私を驚かせる話の一つは、16歳か17歳のときにMicrosoftがSynapseを買収するためにお金を提供したことを断ったということです。16歳の時点でMicrosoftのような会社から大金を断るというのは、かなりの勇気が必要です。私なら16歳で100万ドルもらえるならもらっていたと思います。しかし、「いや、実は将来もっと多くのもっと良いもっと面白いものを作れる」と考える勇気を持つことは、16歳の時点ではかなり驚くべきことです。
そう、その通りの話です。
Synapseでマークと一緒に働き、その後カルテックとハーバードに進みました。Facebookに関連するマイナス1のストーリーは何ですか？最初のきっかけはどのようなものでしたか？
実は、Facebookの初期段階には特に関わっていませんでした。大学1年生のとき、それまで自分のためのゲームや、Synapseなど他のプロジェクトに取り組んできましたが、AOLインスタントメッセンジャーに非常に興味を持っていました。当時のメッセージングアプリのようなもので、知っている人は皆使っていました。私の年齢の人々の社交シーンの非常に重要な部分でした。
AOLインスタントメッセンジャーでは、他の人が誰と友達なのかを見ることができないという問題がありました。自分の連絡先リストしか見えませんでした。他の人の連絡先を見て、グラフをブラウズできたら本当にクールだと思いました。
そこで、「バディリスト」をアップロードできるウェブサイトを作りました。あなたがリストをアップロードする代わりに、友達のバディリストを見ることができました。このサイトを立ち上げて約1週間後、友人たちに伝えただけで、数週間以内に20万人がサインアップしました。今日の規模から見れば多くはありませんが、それまでの私の経験をはるかに上回るものでした。
それは私にとって非常に重要な経験でした。インターネットの可能性を認識させてくれました。それは私が構築した最初のインターネット製品でした。それまで作ったものはすべて、一度に1台のコンピューター用のソフトウェアでした。それは私の成功の基準を引き上げ、自分が構築できるものの可能性を示してくれました。
それ以来、マルチユーザー製品やインターネット製品に焦点を当ててきました。これは非常に重要な経験だったと思います。ハーバードで起こった初期のFacebookには参加していませんでした。後に拡大し始め、マークと創業者たちが技術面で助けを必要としたときに参加しました。マークがハーバードで最初のバージョンを立ち上げたときも、同様の経験をしたと思います。
Facebookでの最も初期の記憶の一つは、アダムに歩み寄ってC++のデバッグの助けを求めたときのことです。アダムの反応は「その解決方法は分からないけど、Erlangでコードを書いてデバッグしよう」というものでした。私はErlangの使い方を全く知りませんでしたが、この人が話しているならば、実際に座って学ぶことができると思いました。これは限界を持たない素晴らしい例でした。
大学を通じて、知っておくべきことと知らなくてもいいことの境界のようなものがあります。しかし、私の技術的キャリアの初期にあなたに会うことは、自分に課した制限を取り除く方法でした。誰かが書いたものなら、それを調べて理解できる、コードであれば理解できないコードはない、それがコードの美しさです。
これは意識的に通過しなければならないことですか？すべてはただのコードであり、理解できないコードはないという考え方は？
それがどこから来たのかは正確には分かりません。すべて独学で、私が育った頃のインターネットには素晴らしいドキュメントがなかったので、多くのことを自分でデバッグする方法を学ばなければなりませんでした。
高校生のときにUSA Computing Olympiadに参加する機会を得て、1週間のキャンプがありました。そこで、C++のSTLのデータ構造がどのように機能するかについて質問したとき、コーチの一人の回答は「ああ、調べてみよう」というものでした。彼はヘッダーファイルを探り、その場で解決策を見つけ出しました。それは目から鱗が落ちるような体験でした。「抽象化の壁は偽物だ、その下で何が起きているか見ることができる」ということを理解しました。このような経験がいくつかあり、最終的に「限界に突き当たらない限り、それを突破し続ける」という考え方になりました。
それに対して2つの反応があります。これは実際にFacebookエンジニアリングの考え方の重要な部分でした。あなたが抽象化レイヤーを越えるバグについて「私はフロントエンド担当だからバックエンドのことは分からない」と言うことは許されませんでした。良い一般的なエンジニアとして、スタックを上下に移動できるべきです。JSの専門家である必要はなく、基本的な理解をして修正できればよいのです。これはエンジニアとして、そして人生においてより一般的なアドバイスとして、深く受け止めています。理解のスタックを上下に移動する能力に自信があれば、理解のさまざまな部分を自信を持って移動できるようになります。
私が現在持っている意見の一つは、マイクロサービスや複雑なアプリケーションを構築する際の、異なるチーム間に厳密な境界を設けるアプローチがあまり好きではないということです。そのような境界はないほうがいいと思います。可能な限り、パフォーマンス上の理由などで別のサービスが必要な場合もありますが、管理や開発を容易にするという観点からは、可能な限り一つの大きなコードベースと一つの大きなサービスにして、問題に遭遇した人が誰でも根本原因に行って修正できるようにすべきです。これはより良いアプリケーションコードにつながると思います。これらの経験と関連していると思います。
少し先に進んで、後でQuoraの初期の日々に戻りましょう。しかし、私が気になっていることがあります。私はマトリックス代数の専門家ではなく、学校で機械学習をかなりやりましたが、よく考えることの一つは、これらのAIモデルで何が起きているかをどの程度深く理解すべきかということです。短期間でも長期間でも、それらが何ができるか何ができないかについて十分な直感を発展させるために、コードと数学をどの程度深く理解する必要がありますか？おそらくnano-GPTやそれらの一つを実装したことがあると思いますが、ソフトウェアエンジニアがこれらのモデルで何が起きているかをどの程度深く理解する必要があるかについてはどう思いますか？
いくつかのニューラルネットワークを実装したことがあります。現代のGPTのようなものをゼロから実装したことはありません。時間があればそれをやるでしょう。良い練習になると思います。
一つ言えることは、LLMが何ができて何ができないかを本当に理解するためには、数学やアーキテクチャだけでなく、しばしば訓練されたデータを理解する必要があるということです。それがモデルの理解においてより有益なことが多いです。
モデルを微調整するプロセスを経て、何が機能し何が機能しないか、どのような問題に遭遇するかを見ることも非常に役立ちます。アーキテクチャを理解することも良いことです。パフォーマンス特性とスケーリング特性を理解することは重要ですが、モデルが何をできるかを理解するためにはデータを理解することが実際に非常に重要だと思います。
それは良い指摘です。明らかにすべてはAI中心になっていますが、10倍素晴らしいAI体験が十分にないという制限の一つは、ほとんどのエンジニア（自分も含めて）がこれらのモデルが単にラッパーとして機能する以上に何ができるかについて、十分な直感的な感覚を持っていないということだと思います。本当に何ができるかを把握するためにストレステストをするような感覚がないのです。そのような直感を発展させる方法についてのメタ的な理解がもっとあればと思います。これは私にとって良い一つです。
また、モデルで遊ぶことも非常に重要だと思います。幼い子供たちは多くの時間を物で遊ぶことに費やし、遊びは学習に役立つ自然な本能です。大人になるとその本能は弱まり、時間の要求も多くなります。探索する時間を作り、これらのモデルの限界を試すこと、ルールを破らせることができるか、機能するコードを生成させることができるか、難しいバグを修正させることができるか、難しい数学の問題を解かせることができるかなど、プロンプトエンジニアリングが本当に上手になるよう自分を押し進めることが重要です。それもモデルの能力を理解するのに役立つと思います。
Anthropicのアマンダとのセグメントがありました。モデルチューニングとアラインメントの責任者で、Lexのインタビューで彼女は世界で最もこれらのモデルにプロンプトを出した人かもしれないと話していました。「おそらく数十万のプロンプトを行っています」と彼女は言い、私でさえこれらのモデルがどのように機能するかを感じることは不可能です。モデルの新しい反復ごとに異なる感触があり、これらのモデルができることについて、ある種の共感と直感の組み合わせに基づいていることを思い出させてくれます。
興味深いですね。Facebookで数年過ごし、初期のアーキテクチャ構築において重要な仕事をした後、Quoraに移りました。Quoraのマイナス1の日々について教えてください。その考えはどのように生まれたのですか？長い間心の中にあったものですか？それともFacebookから意識的に時間を取って次の挑戦を考えたのですか？Quoraの初期の日々はどのようなものでしたか？
2008年の夏半ばにFacebookを去り、もちろんしばらくの間アイデアについて考え、何をしたいのかを考える時間を取りました。おそらく他の人にも当てはまる教訓があると思います。Facebookを去った後、私のアイデアがFacebookの延長線上にないものになるまでに時間がかかりました。Facebookの中でより良く行われたであろうアイデアでした。休憩を取ることは実際に非常に重要だったと思います。
2008年の終わり頃、質問と回答サービスという、当時は新しいアイデアだと思っていたものに行き着きました。読むこと、書くこと、物事について考えることが好きだったので、質問回答は自分自身が使いたいと思うものでした。しかし、当時の製品を見ると、Yahoo AnswersやAnswers.comなど、その他多くの質問回答製品がありましたが、どれも非常に良いものではありませんでした。
当時の一般的な考えは、それらの製品があまり良くなかった理由は、インターネット上の誰もが回答を書くことを許可していたからだというものでした。必然的に、世界中の誰もが回答を書くことができれば、一般的に人々は自分が何を話しているのか分からず、悪い回答になってしまいます。私たちはそれを見て、Facebookからの視点もあったと思いますが、それはより市場の失敗のようなものだと考えました。
それらの製品によって作られたインセンティブがこの悪い結果を引き起こしました。私たちは、人々が最もよく答えられる質問を示し、人々に最も良いまたは最も関連性の高い回答を示すようなパーソナライゼーションを使用したり、品質管理のために機械学習を使用したりすれば、既存のサービスよりもはるかに品質をスケールアップできると考えました。
そこで、既存のQ&Aサイトが達成したものよりもはるかに多くの可能性があるという賭けをしました。
あなたが話したことの共通のテーマは、Synapseと同様に「自分で製品を使うのが楽しい」ということです。これはあなたが何に取り組むかを選ぶ上での繰り返しのテーマですか？これは創業者たちにもよく言うことで、実際に自分自身でその問題に対して深い共感を持っていない限り、何かに継続して取り組むのは非常に難しいということです。
消費者向け製品については、そう思います。私自身のモチベーションの一部であり、自分自身で使いたくないものを構築するために一生懸命働くのは難しいと思います。しかし、これを一般的なルールとしてすべての人に押し付けたくはありません。ほとんどのソフトウェアは、ソフトウェア開発チームとはまったく異なる顧客向けに作られているからです。
Quoraの初期の日々を振り返って、Quoraの軌跡に決定的だった1つか2つの決断はありますか？
それは1つの重要な決断というよりも、すべてが合わさった多くの小さなことだったと思います。パーソナライゼーションを中心に製品の中で多くの選択がありました。今日では珍しくなく、ほとんどの製品にはパーソナライズされたフィードがありますが、当時、Yahoo Answersやanswers.comなどに行くと、サイト全体で誰もが時間順に尋ねた最新の質問を見ることができるページが1つだけでした。
パーソナライゼーションがなければ、人々が使えば使うほど製品は悪くなっていきました。なぜなら、ホームページにはますます関連性の低いコンテンツが表示されるからです。私たちにとって、パーソナライゼーションは非常に重要でしたが、単にパーソナライゼーションを決定するだけではなく、それを中心にシステム全体を構築する必要がありました。
フォローグラフがあり、トピックがあり、品質を確保するためのモデレーションがあり、グラフを設定するための新ユーザー体験がありました。これは製品に深く組み込む場合にのみ可能であり、既存の製品はその波に適応することができませんでした。
あなたは多くの会社に投資し、多くの創業者やCEOを知っており、シリコンバレーで20年間主要な人物でした。高度に技術的なCEOとして、あなたが異なることをした点は何ですか？深いソフトウェアエンジニアリングのバックグラウンドがCEOとしての仕事へのアプローチを変えたと思いますか？
Quoraの初期には、4人で最初のバージョンの製品を構築しました。最初は基本的にエンジニアとして機能し、より多くの人を雇い始めるまでコードを書くことに多くの時間を費やしました。その後、CEOとしての役割に移り、管理とリーダーシップ、製品などにより多くの時間を費やすようになりました。
年月を経て、技術的な関与の度合いは多少変動しました。最近は、アーキテクチャなどの技術的なことにもう少し時間を費やしています。友人との議論を通じて、アーキテクチャは間違えると変更するのが非常に難しいものだということに気づきました。CEOとして時間を割り当てるなら、会社の仕事をレビューするさまざまな方法があります。
最終的な製品のスクリーンショット、Figmaのモックアップをチェックしたり、製品を積極的に使用したり、ブログ記事をレビューしたりするなど、注意を向け、基準を保つことができる多くの場所があります。アーキテクチャは、技術的なバックグラウンドがあり、アーキテクチャについて良い意見を持っている場合、Figmaのモックアップや発売直前の製品をレビューするよりも実際に影響力が高いと思います。アーキテクチャは一度深く方向性が決まると、変更するのがほぼ不可能だからです。
アーキテクチャの移行には何年もかかり、結局価値がないことがあります。一方、ランディングページの各ピクセルが完璧であることや、製品に関する他のことは、後で変更することができます。ユーザーからフィードバックを得たり、ABテストを実行したりすることができます。これらのことを自然に正しい状態に進化させる多くの力があります。一方、アーキテクチャは単に立ち往生するものです。
最近、そちらに少し多くの時間を費やすようになりました。実際、もっと早くそうしておけばよかったと思います。他のことよりもそちらの方が時間の使い方としては良かったと思います。
CEOやリーダーであることにはさまざまな形があると思いますが、CEOを本質的にスループットを最大化するためのシステム設計者として考えるなら、アーキテクチャで行っていることは、システムができるだけ速く動けるように設計されていることを確認することですよね？最も高いレバレッジで。
最終的な品質が重要でないと言っているわけではありません。デザイン、品質、マーケティング、ポジショニング、ブログ記事も非常に重要ですが、スピードとは別の次元のものだと思います。
リーン製造に漠然とした興味があり、工場を最適な方法で運営する方法についての興味深い理論がたくさんあります。その分野のリーダーへのアドバイスの一部は、会社のCEOとして、実際の工場、実際の仕事が行われている実際の場所に行って時間を過ごし、何が起きているのかを理解することです。メトリクスやレポート、これらの抽象化だけを見るのではなく、そこには多次元の複雑なものがあるからです。
ソフトウェア組織におけるその同等のものが何かと考えると、それはコードです。タスクトラッカーのタスクやダッシュボード、メトリクスだけではありません。毎日実際に行われていることは、主に書かれているコードであり、コードから完全に離れたままでいることは最適ではないと思います。
それに関連して2つのエピソードを共有します。約2ヶ月前にインドを訪れ、Ola Electricを訪問しました。Bhavishの会社で電動スクーターを製造しています。彼には工場があり、毎日2,000台の電動スクーターを製造する巨大な工場です。100万平方フィートありますが、工場はかなり高く、実際には約100フィートの高さのプラットフォームがあり、そこから工場全体を浮いた状態で歩くことができます。
なぜこれがあるのかと尋ねると、「工場がどのように機能しているかを3D空間で見ることができなければ、その感覚をつかむことはほぼ不可能だからだ」と彼は言いました。「メトリクスからは分からない」と。それは本当に興味深いと思いました。
また、コードの生々しさを失わないというあなたの指摘も本当に重要です。あまりにも多くのエンジニアリングリーダーが、実際にそこに入って少なくとも時間の7～10％を割いて深く入り込み、コミットやコードレビューを見るなどせずに、単に抽象化として扱っているということです。
OpenAIの取締役会についていくつか教えてください。あなたがOpenAIの取締役だったことを私たちが皆OpenAIについて知るまで知らなかったのは驚きです。2017年や2018年、OpenAIが今日のような存在になる前、大規模言語モデルの初期の段階で何を見たのか、注目し、実際に時間を費やすことになったのか教えてください。
私はAGI（汎用人工知能）を常に信じてきました。具体的に言うと、ソフトウェアが最終的に人間ができることすべてを行えるようになると信じています。長い間そう信じてきました。多くの時間を考えることに費やしてきました。Quoraでの機械学習の取り組みに深く関与し、未来について多くの時間を考えてきました。いつ実現するかは分かりませんでした。私たちの生涯に実現するかどうかも分かりませんでしたが、最終的に人間は人間の心ができることすべてを行えるソフトウェアを作ることができると思っていました。そしてもちろん、それができるようになれば、もっと多くのことができるようになります。これは私が持っていた信念であり、興味でした。
グレッグ・ブロックマンとサム・アルトマンが組織を立ち上げる時に友好的な関係にあり、アドバイスを提供しました。初期には非公式な立場でしたが、2018年に彼らが取締役会に参加するよう依頼してきました。
OpenAIが巻き起こすことになる革命がどれほど大きなものになるかについて感覚はありましたか？AGIの強い信奉者としてのあなたの先入観を考慮に入れても、2020年や2021年頃にこのテクノロジーが今のように素晴らしいものになると分かっていましたか？
これほど急速に進むとは予想していませんでした。当時は私が取締役として参加した小さな非営利団体でした。十分な資金調達に苦労していました。これはMicrosoftの投資前のことです。今はその問題はありませんね。
私が参加したのは、AIが特定のタイムスケールで実現すると思ったからではなく、それに興味があったからです。
どのようにして子供たちをAGIの世界に備えさせていますか？実際に気になっています。
分かりません。子供たちはおそらく同じくらいの年齢でしょうね。予測するのはとても難しいと思います。多くの異なることが変化していくでしょうし、これが起きていなかったとしても同じことをやっていると思います。世界における不連続性のようなものだからです。
明らかに、突然あなたのために仕事をする機械がたくさんあったら特に価値があるかもしれない価値観や自己認識などについて考えますが、少なくとも私が見つけた明白な答えはないと思います。
確かに難しいですね。直感的な答えは、人間であることの意味や人間の価値観を持つことの意味について非常に具体的な理解を確実に持たせることです。しかし、それは非常に満足のいく答えではありません。人間であることの意味の一部は、私たちが行う仕事に価値を見出すことであり、そういったことは10年後にはかなり異なるものになる可能性があるからです。
難しいですね。あなたはQuoraからPoを立ち上げ、AI全体の景観にわたるAIチャットボットに焦点を当てた新製品として、ある意味AIの起業家でもあります。Poについてのビジョンを教えてください。それはどのように生まれ、どこに向かっていると思いますか？
数年前、Quoraのコンテキストで大規模言語モデルを調査し始め、この技術がいつ質問をしたり回答を書いたりできるようになるのか理解しようとしました。Quoraは常に機械学習とAIを使って正しい質問を正しい人にルーティングすることや、協調フィルタリングを使って回答を推薦することに多くの焦点を当ててきましたが、コンテンツを生成するためには使っていませんでした。当時主にGPT-3の形で大規模言語モデルの開発を見守っていました。
これがQuoraにどのように影響するか理解しようとしていました。Quoraの質問からランダムサンプルを取り、GPT-3で回答を生成し、人間が書いた最良の回答と比較する分析を行いました。AIの回答は、テストしたほとんどすべての質問で人間の回答ほど良くないことがすぐに明らかになりました。
その結論として、AIの回答が持つ比較優位性は、人間の専門家と比較した質的なものではありませんでした。Quoraの質問が多くのトラフィックを獲得すると、何を話しているか知っていて専門知識を持つ人からの回答を得ることがよくあります。AIはそれらと競合することができませんでした。
しかし、AIが優れていた場所は、回答がない質問や、本当に何について話しているのか分からない人からの1つの回答がある質問でした。結論として、Quora製品全体は人間が回答を書くという考えに深く方向付けられており、その人間の回答者の時間は非常に希少で、すべてを節約する必要があり、誰かが回答を書く動機付けに必要なことを優先して多くのトレードオフが行われていました。
質問をするとき、質問を公開する必要があるのはそのためです。これは重要です。なぜなら、これらの回答を書く人々のほとんどは、誰かのために無料でプライベートにそれをするわけではないからです。しかしLLMでは、品質は劣りましたが、突然あなたが望むどんな質問にも即座に答えを得られるようになりました。
これにより、プライベートチャットがAIとの対話により適した形式になるという認識に至りました。そこでPoの開発を始めました。Quoraが多くの異なる人々によって書かれた回答へのアクセスを集約するのと同じように、Poは様々な企業によって作成された多くの異なるAIモデルへのアクセスを集約することを望みました。当時はLLMの市場はそれほど多様ではありませんでしたが、この数年で多様性が増してきました。
今日のPoには、テキスト生成、画像生成、ビデオ、オーディオなど、さまざまな企業からの約100の異なるモデルがあります。私たちは非常に急速に拡大し続けています。消費者にとってのPoの価値提案は、異なる種類の企業によって作られたすべての異なる種類のAIと会話できる単一のインターフェースだということです。
これは機能リクエストになるかもしれませんが、なぜPoは自動的にリクエストを最適なモデルにルーティングしないのですか？
それを検討しています。それは難しいことが判明しました。画像を求める場合は画像モデルに、ウェブ検索で強化すべきと思われる場合は検索強化モデルにリクエストをルーティングするといった、少しのルーティングは行っています。しかし、時間とともにより多くのことを行っていく予定です。
DeepSeekについて聞かないわけにはいきません。R1が出てきたときのあなたの反応はどうでしたか？集団的なパニックは正当だったと思いますか？
そのようなモデルのトレーニングにかかるコストの傾向を見ると、すべてのデータポイントを知っている人々にとっては、一般の人々ほど驚くべきことではありませんでした。基本的に、好むと好まざるとにかかわらず、推論モデルはここにあり、ますます強力になるオープンソースの推論モデルが出てくるでしょう。
私の予想では、OpenAIや他の大手研究所はリードを維持し、先行し続けることができるでしょう。しかし、これらの非常に強力な推論モデルへの制御されていないアクセスがある世界に備える必要があります。世界の力学と地政学、安全性の他の側面に関して、安定した結果を得られることに楽観的ですが、1年前に人々が期待していたものとは異なる種類の世界です。
ある意味では、実用的な考え方としては、これはいつか起こるべきことだったということかもしれません。これはコードであり、人々はこれらのことを理解できるのです。これらのものを機能させる方法を理解することには例外主義はなく、いつかは収束するはずでした。中国やインドは将来的に多くの優れたエンジニアを持ち、これを理解するでしょう。ギャップは狭まりますが、大手研究所は十分なリソースがあれば先行を維持できると思います。
観客に質問を開く前に、いくつかの質問をしたいと思います。あなたが聞いた従来の知恵で正しいと思うことは何ですか？
最近「ファウンダーモード」に関するミームを見たと思います。それが好きです。正しいと思います。
それは今や従来の知恵になっています。素晴らしい答えです。
もう少し詳しく説明すると、ファウンダーモードは非常に漠然と定義された概念ですが、創業者としてCEOとしてあなたの会社を成功させるのはあなた次第だという考えです。チームからのプッシュバックがあるかもしれません。人々は自律性を求めたり、あなたが実行しようとしている戦略から少し外れた異なるアイデアを試してみる機会を求めたりします。
組織を運営しているとき、さまざまな人々がさまざまなことを求めます。全員を同じ方向に向かわせる必要があります。それが組織として強みを持つ方法です。ファウンダーモードは奇妙なことです。CEOや創業者はすでに多くの権限を持っていますが、彼らは従業員に対する集団的な反乱のようなものを必要としていました。「実際にはCEOの言うことを聞くべきだ」と言うために。
人間には、会社を運営するのに最適なものよりも少し平等主義的になる自然な傾向があると思います。ですから、今や一般的な知恵となっているこれは正しいと思います。
過去20年間、シリコンバレーでエンジニアリングリーダーなら、よく耳にすることの一つは「規模を拡大しようとしている、多くの人を雇おうとしている、自分自身を仕事から外そうとしている」ということです。そして私の反応は、自己中心的な個人として「私は仕事を持ちたい、自分を仕事から外したくない」というものでした。
長い間、しばしばより古典的なMBAのイデオロギーから生まれた奇妙な感覚がありました。詳細に立ち入るべきではない、視点を持つべきではない、チームの中で最も技術的または最も優れた職人を力づけるべきだというものでした。しかし、私にとってファウンダーモードの多くは「そう、詳細を知る必要がある」ということです。すべての詳細を知る必要はないかもしれませんが、あなたの仕事は実際に重要な2、3のことを知り、それが建築であれ、最終的なマーケティングやポジショニングやストーリーテリングであれ、詳細に入ることが重要だと思います。
これをフレーム化する別の方法として、組織は再帰的なデータ構造のようであるべきだという考えがあります。あなたは部下に対して、彼らが自分の部下に接するのと同じように接するべきであり、彼らはまた自分の部下に対して同じように接するべきです。設定するすべてのシステムは再帰的に機能する必要があります。
もしそれが真実なら、組織の5階層下の詳細にマイクロマネジメントすることはできません。すべてのレベルの全員がそのように行動したら、混乱するだけだからです。しかし、組織は完全に再帰的な構造として運営することはできません。「これはツリーのルートであり、それは異なる」というところがあるはずで、そのために特別に機能する特定のことがあります。
それはエレガントではない、または不公平、または良い管理ではないと感じるかもしれません。しかし、焦点は何が機能し、何があなたの会社を成功させるかにあるべきであり、何がクリーンでエレガントで、常に誰もができるだけ幸せであるようにすることではありません。
再帰関数でさえ、基本的にルートノードのための特別なケースであるベースケースが必要です。プログラミングの観点からも理にかなっています。
Quoraの初期のころ、コンテンツ提供者を獲得するための主な課題は何でしたか？雪だるま効果が始まる前に、最初にどのようなインセンティブを構築しましたか？
それは素晴らしい質問です。これは再帰が関連すると思うケースです。100万人のユーザーから1000万人のユーザーに成長させるのと同じことが、100人のユーザーから1000人のユーザーに成長させることにも役立ちます。ですから、自然に成長できる製品を作る必要があります。そして、その状態の製品ができれば、それをキックスタートするためのいくつかの人為的なことを行うことができます。
私たちの場合、4人でV1を構築し、基本的に友人たちに言いました。「新しいものを作っているんだけど、質問があるときはQuoraに投稿してくれない？良い回答が得られなくても気にしないで、ただ私たちのためにこれをやってくれないか？そして質問に答えられるものを見たら、誰も読まないとしても答えてくれないか？ただ好意として、これをやってくれないか？」
私たち4人で約500人にそのようなリクエストを送りました。その約90％は何もしませんでしたが、残りの10％、約50人がそれを使い始めました。毎日増加するコンテンツが得られるようになりました。非常に小さなものでしたが、最初の非常に小さなコミュニティに変わるには十分でした。
より興味深いコンテンツが増えるにつれて、友人たちにとってより魅力的になり、友人を招待できるようにしたので、そこから成長していきました。重要なのは、このような製品を、製品の自然な成長経路があるという観点から考えるべきだということです。
現在、Quoraは約4億の月間ユニークビジターを持っています。彼らが来るのは、彼らにとって価値のある多くのコンテンツがあるからです。しかし、来る人の中には、サインアップして質問に回答することを決める人もいます。そして、翌日には少し多くのコンテンツがあります。少し多くのコンテンツがあれば、少し多くのユーザーを引き付けることができます。
そして、そのループは実際に100人のユーザーから1000人のユーザーへ、1000人から1万人へと成長させたのと同じものです。初期段階が非常に異なるとは考えないことを強くお勧めします。キックスタートが必要ですが、自然に成長できる製品があれば、どこでも火花を灯すことができ、最終的にはうまくいきます。
初期のマーケティングや初期のコミュニティ活動に膨大な労力を費やす会社をたくさん見ますが、製品が成長しスケールするように設定されていれば、うまくいくでしょう。そうでなければ、初期の立ち上げ段階にどれだけのエネルギーを注いでも関係ありません。
Quoraの背後にある製品設計の核心を説明してくださいましたが、それは大規模言語モデルのための人間の専門家によるデータアノテーションプラットフォームとして非常に自然な設定に思えます。OpenAIの取締役でもあるあなたが共有できる範囲で、OpenAIや他の主流企業がモデルのトレーニングに何らかの内部Quoraデータを使用しているかどうか教えてください。
人間のデータが合成データ（機械生成と人間生成の両方）に吸収される速度をどのように予想しますか？また、データ、計算能力、アルゴリズムのうち、どれがLLMの回答の質に最も重要だと思いますか？他に何かあれば、お願いします。
そこには多くの質問がありますが、最後のものから始めましょう。計算能力、データ、アルゴリズムはすべて非常に重要であり、特定の方法で組み合わさりますが、すべて重要であり、すべて必要です。
LLMがますます多くの質問に答えられるこの世界では、Quoraの価値は他にはないQuora上のユニークな知識の量にあると考えています。LLMは、事実が関係する質問に対して正しい答えを持つことができるのは、それらの事実がLLMのトレーニングセットにあった場合だけです。
数学の問題のような場合、LLMは推論によってそれを解決できるかもしれません。しかし、会社が内部でどのように特定のことを行うかという事実についてインターネット上で誰も書いたことがなければ、LLMからのどんな推論量もそこにたどり着くことはできません。
強力なAI、AGI、できる限り強力になる世界でのQuoraの世界に対する価値の多くは、Quora上のユニークな知識にあります。それに焦点を当てています。
私たちは特定のデータライセンス契約について公に言及していません。一つ言えることは、Quoraで回答を書く場合、設定でモデルトレーニングからオプトアウトすることができます。しかし、このユニークな知識の価値をQuora上に保存することと、LLMがその一部またはある条件下でトレーニングすることを許可することの間で、思慮深く考えています。
アダム、素晴らしかったです。来ていただき、あなたの旅のさまざまな部分を共有してくださってありがとうございます。
ありがとうございます。
South Park Commonsチームからのもう一つのマイナス1エピソードでした。ポッドキャストを聴くあらゆる場所で私たちの番組を購読し、South Park Commonsとしてソーシャルで私たちを見つけてください。このエピソードを提供してくれたAtomic Growthの友人たちに感謝します。
コメント