39,276 文字
今日あなたが使っているAIモデルは、あなたが今後の人生で使う中で最悪のAIモデルです。そして実際にそれを頭に入れると、かなり驚くことになります。これまで私が働いてきたどの場所でも、自分がどんな技術の上に構築しているかある程度知っていましたが、AIに関してはそれが全く当てはまりません。2ヶ月ごとに、コンピュータは以前にはできなかったことができるようになり、自分がやっていることについて完全に考え方を変える必要があります。
あなたは今、世界で最も重要な企業の最高製品責任者です。嵐の中心にいる感覚について話してみましょう。
私たちの基本的な考え方は、2ヶ月後にはより良いモデルが登場し、現在の限界を吹き飛ばすだろうということです。そして開発者にも同じことを言っています。あなたが構築しているプロダクトがモデルの能力の限界ギリギリのところにあるなら、それは続けるべきです。なぜなら正しいことをしているからです。あと数カ月待てば、モデルはさらに優れたものになり、あなたが持っているほんの少し機能する製品が本当に素晴らしいものになるでしょう。
あなたはFacebookでLibraというプロジェクトを率いたことで有名ですね。Libraは私のキャリアで最大の失望かもしれません。このプロダクトが今日の世界に存在していないことが根本的に私を失望させています。なぜなら私たちがそれを出荷できていれば、世界はより良い場所になっていたからです。私たちは新しいブロックチェーンの立ち上げを試みました。当初は複数の通貨のバスケットでした。WhatsAppとMessengerへの統合でした。WhatsAppで50セントを無料で送ることができるようになるはずでした。それは存在すべきものです。正直なところ、現政権は暗号通貨に非常に友好的です。Facebookの評判も今は全く違う状況です。彼らは今こそ構築すべきかもしれません。
今日のゲストはケビン・ウェイルです。ケビンは現在、世界で最も重要で影響力のある企業の一つであるOpenAIの最高製品責任者です。AIやAGI、そして将来的には超知能の最前線にいます。彼は以前、InstagramとTwitterの製品責任者でした。Facebookでは暗号通貨Libraの共同創設者でした。その話も聞きます。また、PlanetとStravaのボード、Black Product Managers Networkおよび自然保護協会の理事も務めています。彼は本当に素晴らしい人物で、多くの知恵を共有してくれています。
私たちはOpenAIの運営方法、AIが私たちの働き方や製品構築に与える影響、AIエコシステム内のどの市場をOpenAIのような企業が狙わない可能性が高く、したがってスタートアップが所有するのに良い場所かについて話します。また、評価（evals）の作成技術を学ぶことがなぜ製品構築者にとって核となるスキルになりつつあるのか、AIの時代に最も重要となるスキルは何か、そして彼が子供たちに何を教えているかなどについても話します。これは非常に特別なエピソードで、みなさんにお届けできることをとても嬉しく思います。
まず、実際にAGIはいつ発売されるのでしょうか？12月のいつ頃ですか？
いやいや、画像生成モデルをリリースしたばかりです。それでカウントしますか？
私が好きな引用に「AIはまだやられていないものである」というものがあります。いったんそれが行われて、ある程度機能するようになると、それは機械学習と呼ばれ、そしてそれが普及してどこにでもあるようになると、それは単なるアルゴリズムになります。私はいつも、まだ完全には機能していないものをAIと呼び、そして日常的に使われるようになり、私たちの生活の一部となるものは、それは単なるアルゴリズムだと思っています。ある程度、私たちはいつもそこにいるでしょう。そして次のことは常にAIであり、私たちが毎日使用し、生活の一部となっている現在のものはアルゴリズムなのです。
ベイエリアでは自動運転車が走り回っているのを見ますが、これはすでに当たり前のことになっています。4年前、3年前なら、「すごい、何だこれは…我々は未来にいる」と思ったでしょう。しかし今ではそれをあまりにも当然のことと思っています。
すべてにそういう面があります。GPT-3が登場した時、私はOpenAIにいませんでしたが、単なるユーザーでした。それは衝撃的でした。もし今あなたにGPT-3を与えて、ChatGPTに接続して使い始めたら、「これは何だ？」と思うでしょう。メチャクチャじゃないか。
私が初めてWaymoに乗った時も同じ経験をしました。最初の10秒間、車が動き始めると「おお、自転車に気をつけて！」と思い、何かにしがみついていました。そして5分後には落ち着いて、運転手なしで街を走り回っていることに気づき、それが機能していると実感します。「ああ、私は今未来に生きているんだ」と思います。そしてさらに10分経つと、退屈になって、電話でメールを確認したり、Slackメッセージに返信したりしています。そして突然、この人類の発明の奇跡が、それ以降は単に期待される生活の一部になるのです。
私たち全員がAIに適応する方法にも同様のことがあります。これらの奇跡的なことが起こり、コンピュータが以前にはできなかったことができるようになり、それは1週間ほど私たちの心を集合的に吹き飛ばしますが、その後「ああ、そうか」と思います。ああ、今では単なる機械学習で、アルゴリズムになる途中なんだ。
あなたが共有したことで最も驚くべきことは、今ではひどく感じるChatGPT。3.5は数年前のものであり、今から数年後の生活はどうなるかを想像してみてください。そこに向かっていますが、次の大きな飛躍が何になるかについてあなたの考えを聞いてみたいと思います。しかしまず、OpenAIでのあなたの旅の始まりについて聞かせてください。あなたはTwitter、Facebook、Planet、Instagramで働いていました。ある時点であなたはOpenAIのCPOになるよう勧誘されました。その採用プロセスについての面白い話はありますか？
もし私が正しく思い出しているなら、私たちはPlanetで私が退職することを伝え、私はただ少し時間を取るつもりでした。仕事をやめるつもりはなかったのですが、夏を過ごすのも嬉しいと思っていました。これはおそらく4月頃だったと思います。「いいね、子供たちと夏を過ごそう。タホに行ったりして、いつものように上下に行き来するのではなく、実際に一緒に過ごせるだろう」と思っていました。
そしてサムと私は何年も前から軽く知り合っていて、彼はいつも多くの興味深いことに関わっています。核融合を構築する企業などのようなものです。だから彼は常に、私が次のことについて考え始めると時々電話をするような人でした。なぜなら私は大きな技術的な、次の波のようなものに取り組むことが好きだからです。
そして私は彼に電話して、ヴィノド・コースラも私たちを再び接触させるのを手伝ってくれたと思います。今回は「ああ、核融合に取り組んでいる人たちと話すべきだ」というようなものではなく、「実は、私たちは何かを考えているんだ、話に来るべきだよ」と彼は言いました。私は「素晴らしい、それは素晴らしいことだ。やりましょう」と言いました。そしてそれは本当に速く、本当に非常に速く進みました。
私は数日という短い期間で、経営陣のほとんどに会いました。彼らは私に「私たちは基本的に、私たちが望むのと同じくらい速く進むつもりだ。そして全員と話して、全員があなたを気に入れば、準備完了だ」と言っていました。サムは夕食のために家に来て、OpenAIと未来について話し、お互いをより良く知るための素晴らしい夜を過ごしました。
最後に私は翌日より大きな面接ラウンドのために行くつもりでしたが、サムは「うまくいっているよ。私たちは本当に興奮している」と言っていました。そして私は「いいね。じゃあ明日のことをどう考えればいいんだろう？」と言いました。彼は「大丈夫、心配しないで。うまくいけば、基本的にそこまでだ」と言いました。
それで翌日行き、多くの人に会い、素晴らしい時間を過ごしました。会った全員と本当に楽しく過ごしました。どんな面接でも、自分自身を疑問視することができます。ああ、あんなことを言うべきじゃなかったな、あの質問には悪い答えを出しちゃったな、やり直したいな、と思うかもしれませんが、私はそれがかなりうまくいったと感じて帰ってきました。
そして彼らが期待を設定したように、これがうまくいったら、準備完了と言われていたので、その週末に聞くことを期待していました。しかし何も聞こえませんでした。そして月曜日、火曜日、水曜日になっても、まだ何も聞こえず、OpenAI側の人々に何度か連絡を取りましたが、依然として何もありませんでした。
私は「ああ、何かを台無しにした。どこで台無しにしたのかわからないけど、完全に台無しにした。信じられない」と思いました。そして私は妻のエリザベスに戻って「私は何をしたんだろう？どこで間違ったと思う？」と言って、それについてクレイジーになりました。そしてまだ何もありませんでした。
最終的に9日後、彼らはようやく私に連絡を取り、内部で多くのことが起こっていたことが判明し、これやあれやで、ただ百万のことが起こっていました。そして彼らはついに「ああそうだ、それはうまくいった。やりましょう」と言いました。私は「ああ、いいね、やりましょう」と言いました。しかしそれは9日間の苦痛でした。彼らは内部のことで超忙しかったのですが、私は毎日心配していて、面接プロセスの一言一言を再検討していました。
それは誰かとデートしていて、あなたがテキストを送ったのに返事がないとき、何か問題があると思い込むのと似ています。
そうです、完全に。彼らはただ忙しいだけかもしれないのに。今でもそれについて難しい時間を過ごしています。
それは驚くべきことです。うまくいって良かったです。そして教訓は、結論を急がないことですね。
そうです。少し落ち着いてください。
そのことについて言えば、嵐の中心にいるような感じについて話してみたいと思います。あまり伝統的ではないTwitterやInstagram、FacebookやPlanetなどの一般的に言われている伝統的な企業で多く働いていましたが、今はOpenAIで働いています。OpenAIでの日常生活での物事の仕組みで最も異なることは何ですか？
それはおそらくペースでしょう。おそらく2つのことがあります。1つはペースです。2つ目は、これまで働いたどの場所でも、自分が構築している技術が何かを大体知っていました。だから、どんな問題を解決しているのか、誰のために構築しているのか、どのように彼らの生活を良くするのか、どのように…これは習慣を変えることができるほど大きな問題なのか、人々はこの問題が解決されることを気にしているのか、などの良い製品に関することに時間を費やします。
しかし、あなたが構築しているものは基本的に固定されています。データベースなどについて話していて、今年使ったデータベースはおそらく2年前に使ったデータベースより5%良いかもしれませんが、それはAIでは全く当てはまりません。2ヶ月ごとにコンピュータは以前にはできなかったことができるようになり、あなたがやっていることについて完全に考え方を変える必要があります。
それには根本的に面白いことがあり、ここでの生活を楽しくします。また、後でevalsについて話すかもしれませんが、それも本当に、この世界では…
コンピュータで慣れているすべては、コンピュータに非常に定義された入力を与えることについてです。例えばInstagramを見ると、特定のことを行うボタンがあり、それが何をするのか知っています。そして定義された入力をコンピュータに与えると、非常に定義された出力が得られます。同じことを3回行えば、3回同じ出力が得られると確信できます。
LLMは完全に異なります。それらはファジーで微妙な入力に優れています。人間の言語とコミュニケーションのすべてのニュアンスに、それらはかなり優れています。また、それらは実際に同じ答えを与えないことがあります。おそらく同じ質問に対して精神的に同じ答えを得るでしょうが、確かに毎回同じ単語のセットではありません。
そして製品を構築する際には、モデルが60%の確率で正しい答えを出す場合と、モデルが95%の確率で正しい答えを出す場合、またはモデルが99.5%の確率で正しい答えを出す場合では、構築する製品は非常に異なります。だから、ユースケースの詳細に入り込み、evalsなどを理解して、どのような製品を構築するのが適切かを理解する必要があります。
あなたのデータベースが一度機能すれば、常に機能します。しかしこの世界ではそれは当てはまりません。
実際にこのevalsのスレッドをフォローしましょう。レニー＆フレンズサミットで伝説的なパネルがありました。あなたとマイク・クリーガーとサラ・グオが司会を務めました。
楽しかったですね。
とても面白かったです。そのパネルから人々に印象に残ったのは、evalsを書くことが製品マネージャーにとって核となるスキルになるだろうという発言でした。そしてそれはおそらく単なる製品マネージャー以上に広く適用されると思います。多くの人々はevalsが何かを知っています。多くの人はそれについて何も知りません。
evalsとは何かを簡単に説明していただけますか？そしてなぜこれが将来製品を構築する人々にとって非常に重要になると思いますか？
そうですね、考える最も簡単な方法は、モデルのための一種のクイズ、特定の科目の教材をどれだけ知っているか、または特定の質問に対する回答能力をテストするテストと考えることです。
同じように微積分のクラスを取り、その後に微積分のテストを受けて学ぶべきことを学んだかどうかを確認するように、モデルがクリエイティブライティングにどれだけ優れているか、大学院レベルの科学にどれだけ優れているか、競争的なコーディングにどれだけ優れているかをテストするevalsがあります。これらのevalsのセットは基本的にモデルがどれだけ賢いか、または能力があるかのベンチマークとして機能します。
それは、モデルのためのユニットテストと考えるのは簡単な方法ですか？
はい、ユニットテスト、一般的なテストです。完全にそうです。
素晴らしい。それでは、ここで何が起こっているのかを完全に理解していない人々にとって、なぜこれがAI製品の構築にとって非常に重要なのでしょうか？
私が言っていたことに戻ります。モデルが何かをどうするかを知る必要があります。モデルが99.95%正確に答える特定のことがあり、それを確信できます。95%正確なこと、60%正確なこともあります。モデルが何かについて60%正確である場合、製品を完全に異なる方法で構築する必要があります。
ちなみに、これらは静的なものでもありません。evalsの大きな部分は、あなたが何らかのユースケースのために構築していることを知っている場合です。例として私たちのディープリサーチ製品を取りましょう。これは私が今まで発表したもので最もお気に入りのものかもしれません。
ディープリサーチのアイデアは、人々がそれを使ったことがない場合、任意に複雑なクエリをChatGPTに与えることができるというものです。検索クエリから答えを返すことではありません。それも可能ですが、ここには自分で答えようとした場合、ウェブ上で2時間読書をして、そして何らかの論文を読む必要があるかもしれず、そして戻ってきて自分の考えを書き始め、思考にギャップがあることに気づくようなものです。だからさらに多くの研究をします。この質問に対する20ページの答えを書くのに1週間かかるかもしれません。
あなたはChatGPTにそれを25分、30分かからせることができます。それはあなたが慣れている即時の回答ではありませんが、それはあなたのために25分、30分働き、あなたが1週間かかったであろう作業を行うことができます。
そのプロダクトを構築する際、この製品がどのように機能するかを考えると同時にevalsを設計していました。そしてヒーローユースケースを通じて行こうとしていました。ここには質問があり、それに対する素晴らしい答えがあります。そしてそれらをevalsに変え、それからそれらのevalsの上に改善していくのです。
だから、モデルが静的で、特定のセットの物事でうまくいくことを望むだけでなく、モデルを教えることができます。これを継続的な学習プロセスにすることができます。そして私たちがディープリサーチのためにモデルを微調整して、これらの物事に答えられるようにしたとき、これらの私たちが製品がどのように機能しているかの重要な指標と言ったevalsで良くなっているかをテストすることができました。
そしてそれを見始め、evalsのパフォーマンスが上がっているのを見始めると、「OK、ここに製品があると思う」と言い始めます。
あなたはevalsに関して同様の線に沿ったコメントをしました。AIがどれだけ素晴らしくなれるかは、私たちがevalsにどれだけ優れているかによって制限されるということです。それは共感できますか？その線に沿った考えはありますか？
これらのモデルはインテリジェンスであり、インテリジェンスは非常に多次元的なものです。モデルが競争的なコーディングに素晴らしいことについて話すことができますが、それはそのモデルがフロントエンドコーディングに優れているかもしれないのと同じではありません。
…フロントエンドコーディングやバックエンドコーディング、またはCOBOLで書かれたコードをPythonに変換することに優れているかもしれないのと同じではありません。そしてそれはソフトウェアエンジニアリングの世界の中だけでのことです。
だからある意味では、これらのモデルを信じられるほど賢く、非常に事実に基づいた知識を持つインテリジェンスと考えることができますが、それでも世界のデータ、知識、プロセスのほとんどは公開されていません。それは企業や政府、その他のものの壁の後ろにあります。
同じように、あなたが会社に入社する場合、最初の2週間を研修に費やすでしょう。会社特有のプロセスを学び、会社特有のデータにアクセスするでしょう。モデルは十分に賢く、何でも教えることができますが、学ぶための生データが必要です。
だから、ある意味で、私は将来は非常に賢く、広範なモデルが企業特有または使用ケース特有のデータで微調整され、調整されて、企業特有または使用ケース特有のものにうまく機能するようになると思います。そしてそれをカスタムevalsで測定することになります。
私が言及していたのは、これらのモデルは本当に賢いということですが、トレーニングセットにデータがない場合でも、まだ教える必要があります。そして彼らのトレーニングセットには含まれない多くの使用ケースがあります。なぜなら、それらは1つの業界または1つの企業に関連しているからです。
私はこのスレッドをずっと追いかけていきますが、後で戻ってきて、これらのことについてもっと質問があります。あなたは多くのAI創業者が考えているスペースに来ました。それは単に、将来OpenAIが私を潰すことがない場所はどこか？または他の基盤モデルの一つ。
多くの人にとっては、「このスペースで起業すべきかどうか？」が不明確です。OpenAI、または一般的に基盤モデルが行かないだろうと思われる場所、会社を構築する機会がある場所についてのアドバイスや指針はありますか？
これはTwitter時代のEv Williamsが言っていたことで、私にいつも残っていることがあります。「あなたの会社がどれだけ大きくなっても、人々がどれだけ信じられないほど素晴らしくても、あなたの壁の外にはあなたの壁の中よりもはるかに多くの賢い人々がいる」ということです。
そしてそれが、私たちが素晴らしいAPIを構築することに非常に焦点を当てている理由です。私たちのAPIを使用している300万の開発者がいます。私たちがどれほど野心的であっても、どれだけ成長しても、ちなみに、私たちは超大きく成長したくありません、AIが根本的に私たちの生活をより良くすることができる世界の非常に多くの使用ケース、場所があります。私たちは人々を持たないでしょう。私たちはこれらのことのほとんどを構築するためのノウハウを持たないでしょう。
そして私が言っていたように、データは業界特有、使用ケース特有、特定の会社の壁の後ろにあるものなどです。そして世界のすべての業界とすべての垂直分野で、現在の最先端を改善するAIベースの製品を構築する巨大な機会があります。そして私たちが自分自身でそれを行うことができる方法は全くありません。私たちはそうしたくありません。私たちは300万以上の開発者、そして将来的にはさらに多くの人々にそれを提供することを本当に楽しみにしています。
あなたの以前のポイントに戻りますが、技術は絶えず変化し、より高速になり、何かを起動するときに持っているモデルの力という点で正確には知らないということについて、私は好奇心があります。どのようにして素早く一貫して素晴らしいものを出荷することができるのでしょうか？一つの答えは、四半期ごとに計画されたトップダウンのロードマップではなく、ボトムアップで権限を持ったチームであるように聞こえます。あなたがそのような素晴らしいものを頻繁に、素早く出荷できるようにするいくつかのことは何ですか？
そうですね、私たちは向かっている場所の感覚を持とうとしています。ある方向に自分たちを向け、そうすることで大まかな一致感を持てるようにしています。テーマ的には、私は秒単位で考えていませんし、四半期ごとのロードマッピングも行っています。1年間の戦略も立てました。しかし、これらの文書に書き込んだことが、3か月後、ましてや6か月や9か月後に実際に出荷することになるものであるとは、一瞬も信じていません。しかしそれは大丈夫です。
私はアイゼンハワーの引用「計画は無用、計画立案は有用」と思いますが、これには完全に同意します。特にこの世界では。本当に価値があります。例えば四半期ごとのロードマッピングを考えると、立ち止まって「よし、何をしたのか？何がうまくいったのか？何がうまくいかなかったのか？何を学んだのか？そして次に何をすると思うのか？」と考える瞬間を持つことは本当に価値があります。
そしてちなみに、誰もが依存関係を持っています。インフラチームに次のことをしてもらう必要があります。研究との連携がここにあります。だから依存関係をチェックする瞬間を持ち、準備ができていることを確認し、それから実行を開始したいです。私たちはそれを本当に軽量に保とうとしています。なぜなら正しくないだろうからです。私たちは新しいことを学んだので、途中で捨てるでしょう。だから計画の瞬間は、それが部分的にしか役立たなくても、役立ちます。
だから、超敏捷であり、3ヶ月のロードマップを書く意味がないと期待するだけです。1年間のロードマップは言うまでもありません。なぜなら技術があなたの下で非常に速く変化しているからです。私たちは本当に全体的な方向性の整合性を条件に、非常に強くボトムアップで行こうとしています。
私たちには素晴らしい人々がいます。構築している製品に情熱を持ち、それらについて強い意見を持ち、また実際にそれらを構築している技術者やPM、デザイナー、研究者がいます。だから彼らは能力についても本当の感覚を持っています。これは非常に重要です。
だからこの方法ではより多くボトムアップであることを望みます。だから私たちはそのように運営しています。私たちは間違いを犯しても嬉しいです。私たちは常に間違いを犯しています。これはサムについて本当に感謝していることの一つです。彼は私たちに速く移動するよう本当に強く押し進めますが、速く移動することには、これをあまり正確に理解できなかったことや、このことを立ち上げたがそれが機能しなかったということが伴うことも理解しています。それを元に戻します。私たちの命名を見てください。私たちの命名は恐ろしいものです。
それはあなたに多くの人々が質問したことでした。モデル名、ええ。
それは絶対にひどいもので、私たちはそれを知っています。そしていつかそれを修正する予定ですが、それは最も重要なことではないので、多くの時間をかけません。しかしそれも、それがどれだけ重要ではないかを示しています。再び、ChatGPTは歴史上最も人気があり、最も速く成長している製品であり、それは世界一のAI、APIそしてモデルです。だから明らかにそれはそれほど重要ではありません。
男、私はそれが好きです。さて、あなたはロードマッピングとボトムアップについて話しました。そして私は本当に好奇心があります。あなたやサムと調整するための周期やリチュアルはありますか？あるいはあなたがすべてを確認していますか？あなたたちが何が起こっているか見る毎週または毎月の会議はありますか？
主要なプロジェクトでは。だから私たちは製品レビューなどを期待通りに行っています。リチュアルはありません。なぜならありません…私は私たちが何かを立ち上げることを、私やサムとのレビューを待って阻止されることはないと思います。もし私たちがそこにたどり着けなければ。もし私が旅行中だったり、サムが忙しかったりしたら、それは私たちが出荷しない理由としては悪いものです。
だから明らかに最大で最も優先度の高いものについては、私たちはかなり密着してそれを把握していますが、正直なところ、私たちは本当にそうしようとしません。私たちはチームがすばやく移動できるように権限を与えたいと思っています。そして出荷して反復することがより重要だと思います。
だから私たちはこの哲学を持っています。私たちはそれを反復的な展開と呼んでいます。そしてそのアイデアは、私たちは皆一緒にこれらのモデルについて学んでいるということです。だから本当の意味で、完全な能力のセットを知らなくても何かを出荷し、そして公の場で一緒に反復することがはるかに良いのです。そして私たちは、これらのことについて、そしてそれらがどこで異なり、どこで良いか悪いか奇妙か学ぶにつれて、社会の残りの部分と一緒に共進化します。私はその哲学が本当に好きです。
私はモデル最大主義という私たちの製品哲学の一部となるもう一つのことだと思います。モデルは完璧ではありません。彼らは間違いを犯すでしょう。あなたは彼らの周りに様々な種類の足場を構築するのに多くの時間を費やすことができます。ちなみに、時々私たちはそうします。なぜなら時々、あなたが犯したくない種類のエラーがあるからです。しかし、私たちはそれに一致しない部分の周りに足場を構築することにそれほど多くの時間を費やしません。なぜなら私たちの一般的な考え方は、2ヶ月後にはより良いモデルが登場し、現在の制限セットをすべて吹き飛ばすだろうということだからです。
だからもしあなたが構築していて、そして私たちは開発者にもこれを言いますが、あなたが構築しているプロダクトがモデルの能力の端にあるなら、続けてください。なぜならあなたは正しいことをしているからです。なぜならあなたはさらに数ヶ月待てば、モデルはすばらしくなり、そして突然、あなたがかろうじて機能していた製品が本当に素晴らしいものになるからです。
そしてそれがあなたが本当に先端を押し進め、新しいものを構築していることを確認する方法です。
StackBlitzという会社のBoltの創業者をポッドキャストに招きました。彼は7年間裏で働いていてそれが失敗していたという話を共有しました。何も起こっていませんでした。そして突然、申し訳ありませんが競合他社に言及するようですが、ClaudeやSonnet 3.5が登場し、突然すべてが機能し始め、彼らはずっと構築し続けていて、ついにそれが機能したのです。そして私はYCでもよくそれを聞きます。「これまで可能ではなかったことが、モデルの更新によって数ヶ月ごとに可能になっている」というような。
ええ、絶対にそうです。実は、私はこれを質問する予定はなかったのですが、好奇心があります。もしあなたが何か簡単な考えを持っているなら、なぜSonnetがコーディングでとても優れているのか、あなたの製品が実際のコーディングで同じように優れたり、さらに良くなったりすることについての考えはありますか？
ええ、Anthropicに敬意を表します。彼らは非常に優れたコーディングモデルを構築しました。間違いなく。私たちは同じことができると思います。おそらくこのポッドキャストが公開される頃には、もっと言うことがあるかもしれませんが、いずれにせよ、彼らに全ての称賛を。
私はインテリジェンスが本当に多次元的だと思います。だからモデルプロバイダーはそう思います…かつてはOpenAIがこの巨大なモデルのリードを持っていました。他の誰よりも12ヶ月くらい先を行っていました。それはもう当てはまりません。私たちはまだリードを持っていると思いたいです。私たちはまだリードがあると主張するでしょうが、それは確かに巨大なものではありません。
そしてそれは、Googleのモデルが本当に優れている場所や、Anthropicのモデルが本当に優れている場所、あるいは私たちが本当に優れていて、競合他社が「私たちはそれについてもっと良くなる必要がある」と思っている場所が異なる場所になることを意味します。そして実際、誰かがそれが可能であることを証明した後で、特定のことに良くなることは、ジャングルを通じて道を切り開き、まったく新しいことをするよりも容易です。
だから例として、誰も1マイルを4分以内で走れなかったという感じでした。そして最終的に誰かがそれをやり遂げ、翌年にはさらに12人がそれをやりました。私はそれがいたるところにあると思います。そしてそれは単に競争が本当に激しく、消費者は大きく勝ち、開発者は大きく勝ち、ビジネスはそれから大きく勝つことを意味します。それは業界がとても速く動く理由の一部です。しかし他の大きなモデルプロバイダーにはすべて敬意を表します。モデルは本当に良くなっています。私たちはできるだけ速く移動するつもりですし、いくつかの良いものが来ていると思います。
エキサイティングですね。これは他のモデルが特定のことにおいてより優れているという話を思い出させますが、しかしなぜかChatGPTは…もしあなたがすべての認知度や使用量の数字を見れば、あなた方がランキングのどこにいるかに関わらず、人々はAIとChatGPTをほぼ同じものとして考えているように見えます。消費者のマインドシェアで勝つために、少なくとも現時点で世界での認知度で、何をうまくやったと思いますか？
最初であることは役立つと思います。それが私たちが速く動くことに非常に焦点を当てている理由の一つです。私たちは新しい能力を最初に発表することが好きです。ディープリサーチのようなものです。私たちのモデルは多くのことができます。彼らはリアルタイムのビデオ入力を取り込むことができ、音声から音声、音声からテキスト、テキストから音声を行うことができます。彼らはディープリサーチを行うことができます。彼らはキャンバス上で操作でき、コードを書くことができます。
だからChatGPTは、あなたがやりたいすべてのことが可能な、このワンストップショップになることができます。そして私たちが将来的に進んでいく中で、Operatorのような、あなたのためにブラウジングし、ウェブ上であなたのために物事を行うようなより自律的なツールを持っています。ますますあなたはこの一つの場所、ChatGPTに来て、指示を与え、実際に世界であなたのために物事を達成させることができるようになるでしょう。それには根本的に価値があることがあります。だから私たちはそれについて多く考えています。私たちは人々が来ていくつも役立つ場所であり続けるために、本当に速く動こうとしています。
AI製品を構築したり、OpenAIで働いた後で学んだ最も直感に反することは何でしょうか？「これは予想していなかった」というようなことで。
わからないです、おそらく私はこれを期待すべきだったのでしょうが、私にとって面白かったことの一つは、AIでいくつかの製品がどのように機能するべきか、またはなぜいくつかのAIのことが真実であるかを理解しようとするとき、しばしば他の人間について推論するように推論することができ、それが機能するということの程度です。
おそらくいくつかの例を挙げましょう。私たちが最初に推論モデルを発表したとき、私たちは推論できるモデルを構築した最初のものでした。すべての質問に即座にシステム1の答えを与える代わりに、神聖ローマ帝国の第三皇帝、ここに答えがあるという感じではなく、難しい質問をすることができ、それは推論することができました。
もし私があなたにクロスワードパズルをするように頼んだとしたら、あなたはすべてをぱっと埋めることはできないでしょう。あなたは「うーん、OK。この横1は、これら2つのどちらかだと思うけど、それはここにAがあることを意味する。だからそれはこれでなければならない、戻り、バックトラック、ステップバイステップでそこから構築する」というような感じになるでしょう。同じように、あなたは任意の難しい論理的問題、科学的問題に答えます。
だからこの推論のブレークスルーは大きかったのですが、それはまたモデルが座って考える必要があった最初の時でもありました。そしてそれは消費者製品にとって奇妙なパラダイムです。通常、質問した後に25秒ぶらぶらする必要があるようなものはありません。
だから私たちはこれのためのUIは何だろうと考えていました？ディープリサーチでは、モデルが時には25分間考えるだろうというとき、それは実際にはそれほど難しくありません。なぜならあなたは25分間それを見て待つことはないからです。あなたは他のことをしに行くでしょう。別のタブに行ったり、昼食を取りに行ったりして、そして戻ってくると終わっています。しかし20、25秒または10秒の場合、それは待つのに長い時間ですが、他のことをしに行くには十分な長さではありません。
だから考えることができます、もしあなたが私に何か答えるのに20秒考える必要があるものを尋ねたなら、私は何をするでしょうか？私はただ黙って何も言わず、20秒間シャットダウンして戻ってくるようなことはしないでしょう。だから私たちもそうすべきではありません。単にスライダーがそこに座っているだけというのは苛立たしいです。
しかし、私は自分の持っているすべての考えをただ口にし始めることもないでしょう。だから私たちはおそらくモデルが考えている間、思考のチェーン全体を公開すべきではありません。しかし私は「それは良い質問です。さて」というような感じになり、そしてそれから考えるかもしれません。あなたはおそらく小さな更新を与えており、それが実際に私たちが出荷したものです。
同様のことがあります。時にはすべて同じ問題に取り組もうとするモデルのグループから、より良い思考が得られることがあります。そして、それらすべての出力を見て、それを統合して、最後にあなたに単一の答えを与えるモデルがあります。ブレインストーミングに少し似ていますね。
私は確かに他の人とブレインストーミングするためにある部屋に入ると、より良いアイデアを持ちます。なぜなら彼らは私とは異なる考え方をするからです。いずれにせよ、あなたが実際に人間のグループまたは個人のようにそれについて推論することができる状況がたくさんあり、それが機能します。私はこれを予想していなかったかもしれませんが、それでも私は驚きました。
それは非常に興味深いです。なぜなら私がこれらのモデルが操作するのを見るとき、あなた方がその経験を設計していることについて考えたことさえありません。私にとって、それはただLLMがやることのように感じます。それはただそこに座って、それが考えていることを私に教えてくれます。そして私はあなたが人間のように操作させて、人間はどのように操作するのか、という点を作っているのが好きです。まあ、彼らはただ声に出して話します。彼らは考えます。これが私が探求すべきことだ。そして私は、彼らがやっていることとすべて考えていることを紹介するような極端な「ディープシーケンス」が好きです。そして人々は実際にそれも好きなようです。それはあなたにとって驚きでしたか？「もしかしたらそれも機能するかもしれない。人々はすべてを好きなようだ」と。
ええ、実際にそこから学びました。なぜなら私たちが最初にそれを発表したとき、モデルが考えていることの小見出しを与えましたが、それ以上は多くありませんでした。そしてディープシークが立ち上がり、それは多かったのですが、私たちは「すべての人がそれを望んでいるかどうかわからない」と思いました。モデルが本当に考えていることを見ることには、いくつかの新奇さの効果があります。私たちも内部でそれを見ていたとき、そう感じました。モデルの思考のチェーンを見るのは興味深いですが、それは…4億人規模では、モデルが多くのことを口にするのを見たいとは思わないと思います。
だから私たちが最終的にやったのは、興味深い方法でそれを要約することでした。小見出しを得るだけでなく、それがどのように考えているかについて1つか2つの文を得て、そこから学ぶことができます。だから私たちは、ほとんどの人にとって意味のある経験になると思われる中間地点を見つけようとしました。しかし、すべての人に3つの段落を見せることはおそらく正しい答えではありません。
これは、サミットであなたが言ったことで、本当に私の心に残っていることを思い出させます。チャットは、AIとどのように相互作用するかの将来のインターフェースではないと人々はいつも笑いますが、あなたは本当に興味深い点を作りました。それは他の側を主張するかもしれません。それは、人間として私たちは会話によってインターフェースし、人間のIQは非常に低いものから非常に高いものまで広がることができ、それはすべて彼らと話すことで機能し、チャットは同じことであり、それはすべての種類のインテリジェンスレベルで機能するということです。おそらく私はちょうどそれを共有しましたが、チャットが実際にLLMのためのとても興味深いインターフェースである理由について何かありますか？
ええ、わかりません、おそらくこれは私が信じていることで大多数の人が信じていないことの一つかもしれませんが、私は実際にチャットはとても汎用的なので素晴らしいインターフェースだと思います。人々は「チャット。ええ、私たちはより良いものを見つけるでしょう」と言う傾向がありますが、私はそれが私たちが話す方法だから、それは信じられないほど普遍的だと思います。私は今話しているようにあなたと口頭で話すことができます。私たちはお互いを見て、相互作用することができます。私たちはWhatsAppで話し、テキストメッセージを送ることができますが、これらすべてのことは、この構造化されていないコミュニケーション方法であり、それが私たちの操作方法です。
もし私が私たちが話すときに使うことを許される、より厳格なインターフェースを持っていたなら、私はあなたにはるかに少ないことについて話すことができるでしょう。それは実際に私たちが最大のコミュニケーション帯域幅を持つことを妨げるでしょう。だから何か魔法的なものがあります。ちなみに、過去にはそれは機能しませんでした。なぜなら人間の話し言葉のすべての複雑さやニュアンスを理解するのに優れたモデルがなかったからです。それがLLMの魔法です。だから私にとって、それはこれらのものの力にぴったり合ったインターフェースのようなものです。
そしてそれは常にそれがただの私が必ずしも常に入力したいわけではないことを意味するわけではありませんが、あなたはその非常に開かれた、柔軟なコミュニケーション媒体を望みます。それは私たちが話していて、モデルが私に返答しているかもしれませんが、あなたはまだ最も低い共通の分母、制限のない相互作用方法を望んでいます。
それは非常に興味深いです。それは本当に私のこれらのことについての考え方を変えました。チャットは基本的に超知能と話すという非常に特定の問題に非常に適しているというあなたの指摘が。
ちなみに、それが唯一チャットであるわけではないと思います。もしあなたが高ボリュームの使用ケースを持ち、それらがより指定され、実際に完全な一般性を必要としない場合、より柔軟性が低く、より指定され、特定のタスクに対してより速いものがより良い使用ケースがたくさんあります。それらも素晴らしいですし、そのようなものをたくさん構築することができます。
しかしあなたはまだチャットを、あなたが構築している特定の垂直分野から外れる可能性のあるものに対するこのベースラインとして欲しいです。それはモデルに表現したいと思うあらゆる可能なものに対するキャッチオールのようなものです。
私はOneSchemaの創業者であるクリスティーナ・ギルバートと話すことを楽しみにしています。私たちの長年のポッドキャストスポンサーの一つです。こんにちは、クリスティーナ。
はい、私を招待していただきありがとうございます、レニー。
OneSchemaについての最新情報はありますか？あなたが私のお気に入りの会社であるRamp、Vanta、Scale、Watershedと一緒に働いていることを知っています。ERPのような特に厄介なシステムからCSVをインポートする製品チームを支援する新しい製品を発表したと聞きました。
はい、私たちはちょうどOneSchema FileFeeds、CSVをSFTPフォルダにエクスポートできる限り、15分以内にどんなシステムとも統合を構築できるようにするものを発表しました。私たちは顧客がハックや回避策で行き詰まるのを頻繁に見ています。私たちと一緒に働く製品チームは、彼らのシステムが統合するのが難しすぎるという理由で見込み客を断る必要がありません。私たちは、エンジニアリングチームを全く関与させることなく、数千の統合を提供できるようにしています。
私のチームがこのような統合を構築しなければならないとしたら、OneSchemaのようなものを使ってこれを自分のロードマップから外し、構築するだけでなく、永久にそれを維持することができたら、どれほど素晴らしいでしょうか。
絶対にそうですね、レニー。私たちはほんの一握りの広告レコードからの数日間の停止に関する多くの恐ろしい話を聞いてきました。私たちは統合の信頼性に厳しく焦点を当てて、統合に関連するすべての気を散らすものを終わらせるチームを支援しています。あなたのシステムに悪いデータが入るのを防ぐ組み込みの検証レイヤーがあり、OneSchemaは間違って見えるデータがあれば即座にあなたのチームに通知します。
間違ったデータをインポートすることで、顧客にあらゆる種類の痛みを引き起こし、彼らの信頼を急速に失うことを知っています。クリスティーナ、参加してくれてありがとう。もっと学びたい方は、oneschema.coにアクセスしてください。oneschema.coです。
研究者と製品チームの関係について話に戻りたいと思います。多くのイノベーションは、研究者がただ直感を持ち、それから素晴らしいものを構築し、それを発表することから来ていると想像します。そしていくつかのアイデアはPMやエンジニアから来ます。これらのチームはどのように協力しますか？各チームにPMがいますか？それともそれは多くの研究主導のものですか？アイデアと製品が主にどこから来るかについて教えてください。
これは私たちが大きく進化している分野です。正直なところ、本当にそれに興奮しています。数年前に戻ると、ChatGPTが始まったばかりの頃、明らかに私はOpenAIにいませんでしたが…
明らかに私はOpenAIにいませんでしたが…当時は純粋な研究会社でした。ChatGPTは、覚えているかもしれませんが、小規模な研究プレビューでした。
何年もの間。
ええ。それはチームが発表したとき、これが巨大な製品になると考えていたものではありませんでした。
ああ、ChatGPT。そうです。
それはただ人々がモデルと遊び、反復する方法だっただけでした。だから私たちは主に研究会社、世界クラスの研究会社でした。そしてChatGPTが成長し、私たちがB2B製品やAPI、その他のものを構築するにつれて、今や私たちは以前よりも製品会社になっています。私はまだ思います…OpenAIは純粋な製品会社になるべきではありません。私たちは世界クラスの研究会社と世界クラスの製品会社の両方である必要があり、両者は本当に協力する必要があります。それが私たちが過去6ヶ月でずっと良くなってきたことだと思います。
もしあなたがそれらのことを別々に扱い、研究者が素晴らしいことをして、モデルを構築し、それらがある状態に達し、そして製品とエンジニアリングチームがそれらを取って何かをすると、私たちは事実上自分たちのモデルのAPIの消費者になってしまいます。しかし最高の製品は、ディープリサーチについて話していたように、多くの反復的なフィードバックになります。
あなたが販売しようとしている製品や解決しようとしている問題を理解し、それらに対するevalsを構築し、それらのevalsを使ってデータを収集し、解決しようとしているこれらのユースケースにモデルをより良くするためにモデルを微調整することです。それをうまくやるためには、大量の行ったり来たりが必要です。そして私は最高の製品がENGプロダクト設計と研究が単一のチームとして協力し、斬新なものを構築することになると思います。だからそれが実際に私たちが構築するもの全てにおいて、どのように運営しようとしている方法です。
これは私たちにとって新しい筋肉です。なぜなら私たちは製品会社としては新参者ですが、それは人々が本当に興奮していることです。なぜなら私たちがそれをするたびに、素晴らしいものを構築するのを見てきたからです。そして今では全ての製品がそのように始まります。
OpenAIには何人のプロダクトマネージャーがいますか？その数字を共有しているかどうかわかりませんが、もし共有しているなら。
実際、そんなに多くはありません。わかりませんが、25人ほどでしょうか。もう少し多いかもしれません。私の個人的な信念は、組織として一般的にPMは少なめがいいということです。私はPMですが愛を込めて言いますが、PMが多すぎると問題を引き起こします。私たちは実行ではなく、資料やアイデアで世界を満たすでしょう。
だから、PMが少し多すぎるエンジニアと一緒に働いているときは良いことだと思います。なぜならそれは彼らが中に入って細かく管理することはないということを意味します。あなたはエンジニアに決定を下すための影響力と責任を多く残します。それはあなたが本当に製品志向のエンジニアを持ちたいということを意味します。私たちはそれを持っていて幸運です。
私たちには信じられないほど製品に焦点を当てた、高い主体性を持つエンジニアリングチームがあります。しかしそのようなものを持っているとき、あなたは超パワフルなチームを持ち、問題を本当に理解しようとし、チームを少し優しく導こうとするPMを持っていますが、細部に入りすぎるほど多くのことが起こっています。そしてあなたは本当に速く動くことができるようになります。だからそれが私たちが取るフィロソフィーです。
私たちはプロダクトENGリードとプロダクトエンジニアを全てにわたって持ちたいと思っています。私たちはあまり多くのPMを望んでいませんが、本当に素晴らしい高品質のPMを望んでおり、これまでのところそれはうまく機能しているようです。
OpenAIでPMになることは多くの人にとって夢のような仕事だと想像します。同時に、多くの人にとって向いていないとも想像します。研究者が関わり、非常に製品志向のエンジニアがいます。「そこで働くべきではないかもしれない。それについて考えるべきではない」と考えている人々のために、そこで雇うPMに何を求めますか？
私はこれを何度か言いましたが、高い主体性は私たちが本当に探しているものです。他の全ての人が彼らに何かをすることを許可するのを待つのではなく、問題を見つけて実行する人々です。それは私たちの働き方の核心部分です。
私は曖昧さに満足している人々も考えています。なぜなら、ここには膨大な量の曖昧さがあるからです。それは、時にこのために若いPMとのトラブルを抱えることがある種の場所ではありません。なぜなら、それは単に誰かが入ってきて「OK、これが景色です、これがあなたの領域です、あなたにこのことをして欲しい」と言う場所ではないからです。そしてそれはキャリア初期のPMとして欲しいものです。ここでは誰も時間がなく、問題はあまりにも形が定まっておらず、私たちは全て進みながら理解しています。
だから、高い主体性、曖昧さに非常に快適で、入ってきて実行を助け、本当に素早く動くことを喜んでいる人です。それが私たちのレシピです。
私はまた、影響力を通じて主導することに満足している人も考えています。なぜなら…PMとしては通常のことですが、人々はあなたに報告しません。あなたのチームはあなたに報告しません。などなど。しかしあなたはまた、研究機能の複雑さも持っています。それはさらに自己指導的なものであり、研究チームとの良い関係を築くことが本当に重要です。私は物事のEQ側面も私たちにとって非常に重要だと思います。
ほとんどの会社では、PMが入ってきて彼らはただ「なぜあなたが必要なの？」と言います。そしてPMとして、あなたは信頼を得て、人々に価値を見せる必要があります。OpenAIでは、それはおそらく非常に極端なバージョンだと感じます。彼らは「なぜこの人が必要なの？研究者とエンジニアがいるのに、あなたは何をするの？」と言います。
はい、人々は正しく行われると感謝しますが、あなたは人々を連れてきます。私はPMができる最も重要なことの一つは決断力があることだと思います。だから本当に微妙なラインがあります。あなたは…私はPMを製品のCEOとする幻想をあまり好きではありませんが、ちょうどサムが彼の役割でそうであるように、彼が参加した全ての会議で全ての決断を下すなら間違いを犯すでしょう。
そして彼はまた、参加した会議で何の決断も下さないなら間違いを犯すでしょう。あなたのチームに委ね、人々がイノベーションを起こすことを許可するタイミングと、決断が下されるべきであり、人々が快適ではないか、あるいは権限を持っていないと感じる決断、あるいは大きなグループに広がった異なる長所と短所が多すぎて誰かが決断力を持ち、判断を下す必要がある決断を理解することです。それはCEOの本当に重要な特性です。
それはサムがうまくやることの一つであり、それはまたPMの特性でもあります。より微視的なレベルで。だから非常に多くの曖昧さがあるので、多くの場合、答えは明白ではなく、PMが入ってきて…ちなみに、これはPMである必要はありません。私は完全に幸せです、それが他の誰かであっても。しかし私は一種のPMを見て、もし曖昧さがあり、誰も判断を下していないなら、私たちが判断を下し、前進することを確認する必要があります。
これは私が行った投稿のいくつかに触れています。AIが私たちの仕事を引き継ぐのか、様々な仕事を助けるのか、という点についてです。では、この質問に違う方向からアプローチしてみましょう。AIがプロダクトチームと採用にどのように影響するか、というようなことです。
まず第一に、LMが私たちのためにコーディングをし、1年以内に90%のコードがAIによって書かれるだろうというような話がたくさんあります。AnthropicのDarioがそう言いました。同時に、あなた方は皆、エンジニアを猛烈に雇い、PMを猛烈に雇っています。全ての機能は死んでいると言われますが、あなたはまだ全ての機能を雇っています。
まず第一に、お聞きしたいのですが、あなたとチーム、例えばエンジニア、PM、はどのようにAIを仕事で使用していますか？何か本当に興味深いことや、あなたが日常業務でAIをどのように使用しているかについて、人々が見落としていると思うことはありますか？
私たちはそれをたくさん使用しています。私たち一人一人がいつもChatGPTにいて、ドキュメントを要約したり、プロダクト仕様を書くGPTを使ってドキュメントを作成したりするのを手伝っています。あなたが想像するようなことは全てです。
evalsの作成について話しましょう。あなたは実際にモデルを使ってevalsを書くのを手伝うことができ、それらはかなり優れています。とはいえ、私はまだ私たち、そして本当に私自身に少し失望しています。もし私が5年前の自分を他の会社でプロダクトをリードしている立場から今の仕事に瞬間移動させたら、私はそれをまだ認識するでしょう。
私たちは、おそらく1年後、もっと早ければ今でも、ワークフローが非常に異なり、AIを非常に多く使用しているため、ほとんど認識できないような世界にいるべきだと思います。しかし今日でも私はそれを認識するでしょう。ある意味で、私はそれについて十分に良い仕事をしていないと思います。
例を挙げると、なぜ私たちは左右にバイブコーディングのデモをしていないのでしょうか？Figmaで物事を見せるのではなく、私たちは概念実証を示し、アイデアを探るために30分間でバイブコーディングしているプロトタイプを見せるべきです。それは今日では完全に可能であり、私たちはそれを十分に行っていません。
実際、私たちの最高人事責任者であるジュリアが先日私に言っていました。彼女は以前の仕事で持っていた内部ツールを、OpenAIでも持ちたいと思い、Windsurfか何かを開いて、バイブコーディングしました。それはどれほど素晴らしいことでしょう？そして私たちの最高人事責任者がそれをしているなら、私たちがそれをもっとしない言い訳はありません。
それは素晴らしい話です。そして「バイブコーディング」という言葉を聞いたことがない人もいるかもしれません。その意味を説明してもらえますか？
ええ、これはアンドレイ・カーパシー（Andrej Karpathy）の用語だと思います。
そうです。アンドレイ・カーパシー。
はい。だからCursorやWindsurf、GitHub Copilotなどのツールがあり、それらはあなたが書きたいかもしれないコードを提案するのが非常に優れています。だからあなたはそれらにプロンプトを与え、それらにコードを書かせ、あなたがそれを編集しに行くと、それはあなたがやりたいかもしれないことを提案しています。
そして誰もがそのようなものを使い始めた方法は、プロンプトを与え、それに何かをさせ、あなたが編集し、プロンプトを与え、そしてあなたは一種にモデルと行ったり来たりしていました。モデルが良くなり、人々がそれに慣れるにつれて、あなたはハンドルを少し手放すことができます。
そしてモデルが何かを提案するとき、それはただ「タップ、タップ、タップ、タップ、タップ」のようなものです。続けて。はい、はい、はい、はい、はい。そしてもちろんモデルは間違いを犯したり、コンパイルされないものを作ったりしますが、コンパイルされないとき、あなたはエラーを貼り付けて「行け、行け、行け、行け、行け」と言います。
そして試してみると、それはあなたが望まないことを一つやりますので、あなたは指示を入力して「行け、行け、行け、行け、行け」と言い、あなたはただモデルにそのことをさせます。そしてそれは今日、緊密である必要のある本番コードのためにそうするわけではありませんが、非常に多くのことのために、あなたは概念実証に到達しようとしているか、デモに到達しようとしており、あなたは本当にハンドルから手を離すことができ、モデルは素晴らしい仕事をするでしょう。それがバイブコーディングです。
素晴らしい説明です。私はそのプロバージョンが、これはAndreが説明した方法だと思いますが、モデルと話すというステップがあり、入力すらしない、Whisperやスーパーウィスパーのようなものだと思います。
はい、完全にそうです。
では、将来のプロダクトチームを見ると、あなたはあなたたちがもっとこれをするべきだと話しました。デザインの代わりにプロトタイプを持つなど、プロダクトチームの構造や構築の仕方で最大の変化は何だと思いますか？次の数年間でどこに向かっていると思いますか？
あなたは確かに、全てのプロダクトチームに組み込まれた研究者を持つ世界に住むことになると思います。そして私はファウンデーションモデル企業だけでなく、なぜなら私は未来を考えているからです…実際、率直に言って、業界全般について少し驚いていることの一つは、微調整されたモデルの使用がより多くないことです。
多くの人々…これらのモデルは非常に優れています。私たちのAPIは多くのことを本当にうまくやります。しかし特定のユースケースがあるとき、あなたは常にモデルを微調整することによって特定のユースケースでより良いパフォーマンスを発揮させることができます。それはおそらく時間の問題です。人々はまだすべてのケースでそれをすることに完全に快適ではありません。
しかし私にとって、それが未来であることは疑いの余地がありません。モデルはトランジスタがどこにでもあるのと同じように、どこにでもあるでしょう。AIは私たちがすることの全ての構造の一部になるでしょう。しかし多くの微調整されたモデルがあると思います。なぜなら特定のユースケースに対してモデルをより具体的にカスタマイズしたくないわけがないからです？
だから私は、準研究者や機械学習エンジニアタイプがほぼすべてのチームの一部として欲しいと思います。なぜならモデルの微調整は、ほとんどの製品を構築するためのコアワークフローの一部になるからです。それはおそらくファウンデーションモデル企業で見始めている変化の一つであり、時間とともにより多くのチームに広がるでしょう。
それを現実的にする具体的な例があるかどうか好奇心があります。そしてあなたが話すと思いつく一つの例は、CursorとWindsurfを見ると、それらの創業者から学んだことの一つは、彼らがSonnetを使っているが、同時に特定の経験をさらに良くする様々なカスタムモデルも持っているということです。単にコードを生成するだけでなく、オートコンプリートや物事がどこに向かっているかを先読みするようなことです。それは一つの例ですか？あるいは他の例で、微調整されたモデルとは何ですか？チームがチームに研究者を持ってこれらを構築すると思いますか？
はい。モデルを微調整するとき、あなたは基本的にモデルに、あなたがより良くなって欲しい種類のものの例をたくさん与えています。だからそれは「ここに問題があり、ここに良い答えがあります。ここに問題があり、ここに良い答えがあります」または「ここに質問があり、ここに良い答えがあります」を千回または1万回行います。そして突然あなたはモデルに、そのゲートから出た時よりもその特定のことにずっと良くなるように教えています。
私たちはそれを内部でどこでも使っています。私たちは内部では、人々が考えるよりもずっと多くモデルのアンサンブルを使っています。だから「10の異なる問題があります。私は単にこれらのことの束についてベースラインのGPT-4oに尋ねます」というのではありません。10の異なる問題がある場合、私たちはそれらを20の異なるモデル呼び出しを使って解決するかもしれません。
その一部は専門化された微調整モデルを使用し、異なるサイズのモデルを使用しています。なぜならおそらく異なる質問に対して異なるレイテンシー要件やコスト要件があるからです。それらはおそらく各々にカスタムプロンプトを使用しています。基本的にあなたはモデルにとても良くなるように教えたいです…あなたは問題をより広範な高レベルのタスクのセットではなく、より具体的なタスクに分解したいです。
そしてあなたは各個別の物事に非常に優れているモデルを非常に具体的に使用することができます。そしてあなたは全体に取り組むアンサンブルを持っています。私は今日多くの良い企業がそれをしていると思います。私はまだ多くの企業が問題を分解するのではなく、モデルに単一の、一般的な、広範な問題を与えているのを見ています。そして私は問題を分解し、特定のことに特定のモデルを使用すること、微調整を含むより多くのことがあると思います。
あなたの場合、これは本当に興味深いですが、それはあなたがChatGPTの異なるレベル、それが安価だから1、0、3や以前のものなどを使用しているということですか？
それは私たちの内部スタックの一部になるでしょう。例を挙げましょう。カスタマーサポート、週に4億以上のアクティブユーザーがいると、たくさんの問い合わせが入ります。私たちに何人のカスタマーサポートスタッフがいるかわかりませんが、それはそれほど多くありません。30人か40人くらいだと思いますが、確かではありません。それは比較可能な他のどの会社よりもはるかに少ないですが、それは私たちが多くのフローを自動化したからです。
私たちは内部リソース、知識ベース、質問に答える方法のガイドライン、どのような人格で答えるかなどを使用して、ほとんどの質問に答えています。あなたはモデルにそれらのことを教え、その後多くの答えを自動的に行わせることができます。あるいは特定の質問に完全な自信を持って答えられない場合でも、それはまだ答えを提案し、人間に見るよう要求することができ、その人間の答えは実際にモデルのための独自の一種の微調整データです。あなたは特定のケースで正しい答えを教えています。
私たちは…様々な場所で。これらの場所のいくつかでは、少し多くの推論が必要で、レイテンシーにあまり敏感ではないので、少し多くの推論が欲しい場合、私たちはOシリーズのモデルの一つを使用するでしょう。他の場所では、何かについて素早いチェックが必要で、超高速で超安価な4o miniを使用することに問題ありません。
一般的に、それは具体的な目的のための具体的なモデルのようなものであり、それから問題を解決するためにそれらを一緒にアンサンブルします。ちなみに、再び、私たち人間が問題を解決する方法とは異なりません。会社は、大学で勉強したことやキャリアの過程で学んだことに基づいて、全て微調整されたモデルのアンサンブルだと言えるでしょう。
私たちは皆、異なるスキルのセットを持つように微調整されており、あなたはそれらを異なる構成でグループ化し、アンサンブルの出力は任意の一つの個人の出力よりもはるかに優れています。
ケビン、あなたは私の心を吹き飛ばしています。それは完全に正しく聞こえます。また、異なる人々について、彼らにあなたは少なく支払い、彼らは話すのにコストが少なくかかり、ある人々は答えるのに長い時間がかかり、ある人々は幻覚を見ています。これは…
私はあなたに言っています。これは心の中のモデルですが、考えることに本当に役立ちます…
ああ、そうですね。これは素晴らしいです。ある人々は視覚的で、彼らは考えを書き出したいと思い、ある人々は言葉で話したいと思います。わあ、これは本当に良い比喩です。
だから再びあなたのアドバイスに戻りますが、私はそれに戻るのが好きです。あなたは優れたAI体験とLM、具体的には、人がこれをどのように行うかについて考える方法を見つけています。
まあ、答えは常に人がそれをどのように行うかについて考えることではないかもしれませんが、時には問題をどのように解決するかについての直感を得るために、同等の人間がそれらの状況で何をするかを考え、少なくとも問題に対する異なる視点を得るためにそれを使用することもあります。
わあ、これは素晴らしいです。なぜならこれの一部は本当にモデルに話しかけることです。多くの先行例があります。なぜなら私たちは常に他の人間と話し、あらゆる状況で彼らに遭遇するからです。だから学ぶべきことがたくさんあります。
さて、人間について話しているところで、少し未来について話してみましょう。あなたには3人の子供がいて、コミュニティメンバーが私にこの面白い質問をしました。多くの人が考えていることだと思います。これはパトリック・[聞き取れない]です。私はAirbnbで彼と一緒に働きました。彼は「将来に備えて子供たちに何を学ぶよう励ましているか尋ねてください。私は2036年までに私の6歳の子供がトップの屋根職人や配管工のプログラムに入るのに多くの競争に直面し、バックアッププランが必要になるのではないかと心配しています。」と言っています。
それは面白いですね。私たちの子供たちは10歳と8歳の双子なので、まだかなり若いです。彼らがどれほどAIネイティブであるかは驚くべきことです。彼らにとって自動運転車があることは完全に普通のことです。彼らは一日中AIと話すことができます。彼らはChatGPTやAlexa、その他すべてと完全な会話をしています。
わかりません、将来何が待っているかはわかりません。コーディングスキルのような物事は長い間関連性があると思います。誰にもわかりません。しかしあなたが子供たちに好奇心を持ち、独立し、自信を持つよう教え、考え方を教えるなら、将来何が待っているかわかりませんが、それらは将来のどんな構成でも重要なスキルになると思います。
だから私たちにすべての答えがあるわけではありませんが、それがエリザベスと私が子供たちについて考える方法です。
AIチュータリングについてたくさんの話がありますが、それはあなた方がやっていることですか？彼らがChatGPTを使っていることは知っています。彼らがプロンプトを遊んでいる写真を投稿しているのは素晴らしいと思いますが、あなたが実験していることや、本当に重要になると思うことはありますか？
これは…おそらくAIができる最も重要なことかもしれません。それは大げさな発言かもしれません。AIができる重要なことはたくさんありますが、基礎科学研究と発見のペースを速めることも含まれており、それが実際にAIができる最も重要なことかもしれません。しかし最も重要なことの一つは、パーソナライズされたチュータリングでしょう。
そしてまだ…良い製品がたくさんあることは知っています。Khan Academyは素晴らしいことをしています。彼らは私たちの素晴らしいパートナーです。ヴィノド・コースラは、この分野で非常に興味深いことをしている非営利団体を持っており、影響を与えています。
しかし20億人の子供のためのAIパーソナライズドチュータリングのようなものがないことに少し驚いています。なぜならモデルは今それをするのに十分良く、これまでに行われたすべての研究は、パーソナライズされたチュータリングを受けると、学習速度に複数の標準偏差の改善が得られることを示しているようだからです。
そしてそれは論争の余地がなく、子供たちにとって良いことで、無料です。ChatGPTは無料で、支払う必要はありません。そしてモデルは十分に良いです。それでも私たちの子供たちが使用し、あなたの将来の子供たちが使用し、私たちの子供たちのように組み込まれた、堅実な教育を持つことができるほど幸運ではない世界中の場所の人々のために、素晴らしいものがそこにないことは私の心を吹き飛ばし続けています。
繰り返しますが、ChatGPTは無料です。人々はどこでもAndroidデバイスを持っています。私は本当にこれが世界を変える可能性があると思い、それが存在しないことに驚いており、それが存在することを望んでいます。
これは、少し時間を費やしたいことに触れていますが、多くの人々はAIについても非常に心配しています。どこに向かっているか、仕事を奪うことを心配し、将来超知能が人類を潰すことを心配しています。あなたの視点はどうですか？また、人々が聞く必要がある楽観的なケースについてはどうですか？
私は大きな技術の楽観主義者です。過去200年、おそらくそれ以上を見ると、技術は今日の私たちの世界と社会を作り上げてきた多くの進歩を推進してきました。それは経済的進歩、地政学的進歩、生活の質、寿命の進歩を推進します。技術はほぼすべてのことの根本にあります。だから長期的には、これが素晴らしいこと以外の例はほとんどないと思います。
それは一時的な混乱がないということや、影響を受ける個人がいないということではありません。そしてそれも重要です。だから単に平均が良いというだけではダメです。あなたはまた、できる限り各個人をどのようにケアするかについても考える必要があります。それは私たちが多く考えることであり、政権と協力し、政策に取り組む中で、可能な限りあらゆる場所で支援しようとしています。私たちは教育に多くのことをしています。ここでの利点の一つは、ChatGPTもおそらく欲しい限り最高のリスキリングアプリであることです。それは多くのことを知っています。新しいことを学ぶことに興味があれば、それはあなたに多くのことを教えることができます。
これらは非常に現実的な問題です。私は長期的に非常に楽観的ですが、社会としてこの移行をできるだけ優雅に、よく支援されたものにするために、私たちができるすべてのことをする必要があります。
物事がどこに向かっているかについて人々に感覚を与えるために。それは多くの人々の心の中にある大きな質問です。ある人が私が大好きな質問をしました。「AIはすでに様々な方法で創造的な仕事、執筆やデザイン、コーディングを変えています。次の大きな飛躍は何だと思いますか？AIによる創造性の支援、具体的には、そして広く、今後数年間でどこに向かうと思いますか？」
はい。これも私が大きな楽観主義者である分野です。例えばSoraを見てください。私たちは先ほどImageGenについて話しましたが、人々がTwitterやInstagramなど様々な場所で発表する絶対的な創造性の泉です。私は世界最悪のアーティストです。おそらく私が芸術よりも悪いのは歌だけです。私に鉛筆と紙のパッドを与えても、私は8歳の子供よりも上手に描くことができません。
しかしImageGenを与えれば、私はいくつかのクリエイティブな思考をし、何かをモデルに入れると、自分では到底できなかった出力を持つことができます。それはかなりクールです。本当に才能のある人々を見ても、最近Soraについて監督と話していました。私たちが皆知っている映画を監督した人物ですが、彼は彼がやっている映画について言っていました。例えばスターウォーズのようなSF的なものを考えてみてください。そして飛行機がデススターのようなものに急降下するシーンがあります。
そして飛行機が惑星全体を見ている場合、次にカットしてシーンが飛行機が地上レベルにあり、突然あなたは都市などを見るという場合を考えます。私たちはそのカットシーンとその移行をどのように管理するのでしょうか？そして彼は言っていました、「2年前の世界では、私は3Dエフェクト会社に10万ドル支払い、彼らは1ヶ月かかり、このカットシーンの2つのバージョンを私のために制作するでしょう。そして私はそれらを評価し、一つを選びます。なぜなら、さらに5万ドル払ってもう1ヶ月待つことをするわけにはいかないからです。そしてそれでいいでしょう。映画は素晴らしいです。私は映画が大好きです。そして…」
明らかに、私たちが持っていた技術で素晴らしいことができますが、今あなたはSoraで何ができるかを見てください。そして彼のポイントは「今、私はSora、私たちのビデオモデルを使うことができ、プロンプトにブレインストーミングし、モデルが少し私とブレインストーミングするだけで、このカットシーンの50の異なるバリエーションを得ることができます。私は50の異なるバージョンを持っています。そしてもちろん、私はそれらから反復し、洗練し、異なるアイデアを取ることができます。そして今、私はまだその3Dエフェクトスタジオに最終的なものを制作するために行きますが、私はブレインストーミングをし、はるかにクリエイティブなアプローチを持ち、はるかに良い結果を得た後で行くでしょう。そして私はAIに支援されてそれをしました。」
創造性全般に関する私の個人的な見解は、誰も…あなたはSoraに「素晴らしい映画を作って」とタイプするわけではありません。それには創造性と独創性、そしてこれらすべてのことが必要ですが、それはあなたがもっと探索するのを助けることができます。それはあなたがより良い最終結果に到達するのを助けることができます。だから、再び、私はほとんどのことで楽観主義者になる傾向がありますが、実際に、ここには非常に良いストーリーがあると思います。
サム・アルトマンが最近ツイートしたと思いますが、あなた方が取り組んでいるクリエイティブライティングの作品で、彼はクリエイティブなものを書くのが非常に下手で、実際に非常に優れている例を共有しました。それも投資の別の分野だと想像します。
はい、いくつかの新しい研究技術による内部で起こっているエキサイティングなことがあります。私たちはそれについていつか言うことがあるでしょう。しかしはい、サムは時々来るものの一部を披露するのが好きです。これは賢いことです。
ちなみに、これはこの反復的な展開哲学の非常に典型的なものです。私たちはブレークスルーを持ち、それを永遠に自分たちのために保管し、いつか世界に授けるということはありません。私たちは取り組んでいることについて話し、できるときに共有し、早くて頻繁に発表し、そして公の場で反復します。私はその哲学が本当に好きです。
私はこれらのヒントが数点来ている全てが大好きです。あなたは近い将来にコーディングの飛躍が来るかもしれないと話しました。おそらくこれが出る頃には。人々が考えるべき他のことはありますか？近い将来に来るかもしれない興味深い、エキサイティングなことをほのめかせることはありますか？
まあ、これで十分ではなかったのですか？すべてが毎日良くなっているだけです。
そう、私は「私たちがこの番組を立ち上げる前にこれらのいくつかを出せることを願っています、そうでないと人々を怒らせるかもしれません」と思っています。
私にとって驚くべきことは、モデルがほんの数年でどれだけ進歩したかについて先ほど話していたことです。もしGPT-3に戻ったら、それがどれほど悪かったかに嫌悪感を抱くでしょう。たとえ2年前のレニーがこれらがどれほど優れているかに驚いたとしても。そして長い間、私たちは6〜9ヶ月ごとに新しいGPTモデルを繰り返していました。それはGPT-3、GPT-3.5、4のようなものでした。そして今、この推論モデルのOシリーズでは、さらに速く動いています。
おおよそ3ヶ月ごと、おそらく4ヶ月ごとに、新しいOシリーズのモデルがあり、それぞれが能力の一段階上です。だからこれらのモデルの能力は巨大なペースで増加しています。それらはまたスケールするにつれて安価になっています。数年前の状況を見ても、元のGPT-3.5か何かは、APIの今日のGPT-4o miniよりも100倍のコストがかかったと思います。数年で、はるかに多くのインテリジェンスを持つコストが2桁下がりました。そして私は世界にそのような傾向のシリーズが他にどこにあるのか分かりません。モデルはよりスマートになり、より速くなり、より安価になり、そしてまたより安全になっています。それらは毎回の反復で幻覚が少なくなります。
そしてムーアの法則とトランジスタの普及。それはチップ上のトランジスタの数が18ヶ月ごとに倍増するという法則でした。もし毎年10倍というものについて話しているなら、それははるかに急な指数関数です。そしてそれは将来は今日とは非常に異なるだろうということを教えてくれます。私が自分に思い出させようとすることは、あなたが今日使用しているAIモデルは、あなたが残りの人生で使用する最悪のAIモデルだということです。そしてあなたが実際にそれを頭に入れると、それはかなり野生的です。
私も同じことを言おうとしていました。そしてそれは私がこれを見るときにいつも心に残ることです。あなたはSoraについて話していて、それを聞いている多くの人々は「いや、いや。それは実際にはまだ準備ができていません。それは十分に良くありません。それは映画館で見る映画と同じくらい良くはならないでしょう」と考えているかもしれません。しかしポイントはあなたが言ったことです。これは最悪の状態です。それは良くなるだけです。
はい、モデル最大主義。能力がほぼそこにある機能のために構築し続けてください。そしてモデルは追いつき、素晴らしくなるでしょう。
パックが行くところに逃げてください。
はい。これは思い出させます。私は先日すべてをデュプリファイしていて、「何がこんなに時間がかかるんだ」と思っていました。
みんながするように。
私は「私の家族のこの素晴らしい方法での画像を生成するのに1分かかっている」と思っていました。さあ、何がそんなに時間がかかるんだ。あなたはただ目の前で魔法が起こることに慣れてしまうのです。
はい、完全にそうです。
では、最後の質問です。これは完全に異なる方向に行きます。多くの人がこれについて尋ねました。有名に、あなたはFacebookでLibraというプロジェクトを率いました。これは現在Noviと呼ばれています。多くの人はいつも「そこで何が起こったのか？それは本当にクールなアイデアだった」と疑問に思っていました。規制の課題などがあることは知っています。あなたがこれについてあまり話してきたかどうかわかりません。だから、簡単にLibraとは何だったのか、あなたがやっていたこのプロジェクト、そして何が起こったのか、あなたはそれについてどう感じているかを教えてもらえますか？
はい。デイビッド・マーカスがそれを率いました。そして私は喜んで彼のために、そして彼と一緒に働きました。私は彼がビジョナリーであり、また師であり友人だと思います。正直に言って、Libraはおそらく私のキャリアの中で最大の失望です。私が解決しようとしていた問題について考えるとき、それらは非常に現実的な問題です。
例えば、送金スペースを見てください。他の国の家族のメンバーにお金を送る人々です。それはおそらく…それは信じられないほど後退的です。お金を使うことができない人々が家族に家にお金を送るために20%支払わなければなりません。そのような法外な手数料、それは数日かかり、あなたは…現金を受け取りに行かなければなりません。すべて悪いです。
そして世界中で30億人がWhatsAppを使用し、毎日お互いに話し、特に友人や家族、まさにお互いにお金を送るような人々がいます。なぜあなたはテキストメッセージを送るのと同じくらい即座に、安く、シンプルにお金を送ることができないのでしょうか？それはあなたが座って考えるとき、単に存在すべきもののひとつです。そしてそれが私たちがやろうとしたことでした。
今、私たちがすべてのカードを完璧に演じたとは思いません。もし戻って物事をやり直すことができるなら、違うようにやるたくさんのことがあります。私たちは一度にすべてを得ようとしました。新しいブロックチェーンを立ち上げようとしました。それは元々通貨のバスケットでした。それはWhatsAppとMessengerへの統合でした。そして世界全体が「ああ、一度にそれは変化が多すぎるね」と考えました。そしてそれはまたFacebookが評判の底にあった時期でした。だからそれも助けになりませんでした。それはまたこの種の変化のために人々が望んでいたメッセンジャーでもありませんでした。
私たちはそれに入るすべてを知っていましたが、それに取り組みました。私たちがそれをすることができた方法がたくさんあると思います。変化をもう少し優しく導入し、おそらく同じ結果に達することができたが、一度に新しいことが少なく、新しいことを一度に一つずつ導入したかもしれません。誰が知っているでしょうか？それらは私たちが一緒に下した決断でした。だから私たち全員がそれを所有しています。確かに、私はそれを所有しています。しかし根本的にこれが今日の世界に存在しないことが私を失望させています。なぜなら世界は私たちがそのプロダクトを出荷できていたら、より良い場所になっていただろうからです。
私はWhatsAppで50セントを無料であなたに送ることができるでしょう。それは即座に決済されるでしょう。誰もがWhatsAppアカウントに残高を持つでしょう。私たちは取引…私は言い換えると、それは存在すべきです。わかりません。正直なところ、現政権は暗号通貨に非常に友好的です。FacebookのMetaの評判は非常に異なる場所にあります。おそらく彼らは今それを構築すべきでしょう。
私はその歴史を見ていて、彼らが2億ドルでその技術を一部のプライベートエクイティ会社に売ったようです。
はい、はい、そして-
彼らはそれを買い戻さなければなりませんでした。
現在のブロックチェーンのいくつかはその技術の上に構築されています。なぜならその技術は最初からオープンソースだったからです。AptosとMistin（？）は、この技術の上に構築された2つの会社です。だから少なくとも私たちがやったすべての仕事は、死ななかったし、これら2つの会社に生き続けています。そして彼らは両方ともとてもうまくやっています。しかしそれでも、私たちはWhatsAppでお互いにお金を送ることができるべきです。そして今日私たちはそれができません。
聞いてください。さて、その話を共有してくれてありがとう、ケビン。他に何か共有したいことや、私たちの非常にエキサイティングなライトニングラウンドに入る前に、最後のネガティブなアドバイスや洞察はありますか？
ああ、ライトニングラウンド。それをやりましょう。
やりましょう。それでは、ケビン、私たちは非常にエキサイティングなライトニングラウンドに到達しました。準備はいいですか？
はい。やりましょう。
わかりました。他の人にあなたが最も頻繁に推薦する2、3冊の本は何ですか？
イーサン・モリックによる『Co-Intelligence』、AIについての本当に良い本で、学生として、教師として、日常生活でそれを使用する方法についてです。彼はまたTwitterでのフォローも非常に考え深いです。ピーター・ジオンによる『The Accidental Superpower』。地政学と力学を形作る力について興味があれば非常に良いです。そして私はジョン・マローンの伝記『Cable Cowboy』を本当に楽しみました。著者がわかりませんが、非常に魅力的です。ビジネスが好きなら、特に…男は信じられないほどの取引者で、現代のケーブル産業の多くを形作りました。だからそれは良い伝記でした。
これらはすべて初めての言及で、いつも素晴らしいです。次の質問。あなたが本当に楽しんだお気に入りの最近の映画やテレビ番組はありますか？
テレビ番組を見る時間があればいいのですが、私は-
ただSoraのビデオですね。
はい、そうです。わかりません。子供の頃、私は『時の車輪』シリーズを読みました。そして今Amazonがそれを持っていて、彼らは3シーズン目にいます。だから私はそれを見たいですが、まだ見ていません。『トップガン2』は素晴らしい映画でした。もはや新しくはないと思います。
それは最後にあなたが映画を見た時を示しています。
しかしアイデアが好きです。私はもっとアメリカーナが欲しいです。強くあることを誇りに思うことをもっと。そして『トップガン2』がそれをとてもよくやったと思いました。誇りと愛国心、私はアメリカがもっとそれを必要としていると思います。
あなたが最近発見した、本当に気に入っているお気に入りの製品はありますか？あなた方全員がアクセスできるスーパーインテリジェンス内部ツール以外で？ただ冗談ですが。
そうですね。内部AGRですね。
そうです。まあ、Windsurfのようなプロダクトでのバイブコーディングは単に非常に楽しいです。私はそれをすることを素晴らしい時間を過ごしています。私たちの最高人事責任者がいくつかのツールをバイブコーディングしたのがまだ大好きです。おそらく他のものはWaymoです。チャンスがあればいつでも、私はWaymoに乗るでしょう。それは単に乗る良い方法であり、まだ未来のように感じます。だから彼らは素晴らしい仕事をしました。
それは素晴らしいです。ちなみに、私はWindsurfの創業者をポッドキャストに招きました。これの前か後に公開されるかもしれません。そしてCursorのCEOもこの前か後にポッドキャストに来ます。
ああ、いいですね。私はそれらの人たちがやっていることに多大な敬意を表します。それらは素晴らしい製品です。
ただみんなの製品構築の方法を変えています。大したことではありません。
そうですね。あともう少し質問があります。あなたが仕事や生活で本当に役立つと思い、頻繁に繰り返す好きな人生のモットーはありますか？
はい。実際、これは興味深いことに、より多くの哲学ですが、ザッカーバーグがあるときFacebookの収益発表の電話会議で要約したものです。だから実際に私はこれをポスターにしました。それは私の部屋に置いてあります。しかし誰かがマークに尋ねていました。これは文字どおり収益発表の電話会議上で、アナリストが彼に尋ねていました。これはFacebookが大きく成長した四半期でした。これは2010年代のどこかだと思います。しかし彼は「だから何をしたのですか？何を発売したのですか？あなたのためにこのすべての成長を促進した一つのことは何でしたか？」と言いました。そして彼は「時には一つのことではなく、長期間にわたる一貫した良い仕事だ」というような効果のあることを言いました。そしてそれは常に私の心に残っています。
そして私はそう思います。私はウルトラマラソンを走ります。それは単に頑張ることについてのものです。私は人々がしばしば銀の弾丸を探していると思いますが、人生の多くと優秀さの多くは実際に日々現れ、良い仕事をし、毎日少しずつ改善することです。そしてあなたは1週間や1ヶ月でそれに気づかないかもしれません。そして多くの人々はそれに落胆し、止めます。しかし実際に、あなたはそれを続けます。利益は複利となります。そして1年間、2年間、5年間の過程で、それは驚くほど積み重なります。だから長期間にわたる一貫した良い仕事です。
それが大好きです。今すぐこのポスターを作らなければなりません。それは-
一つお届けしましょう。
私はそれに本当に共感します。はい、OK、それをいただきます。それは本当に素晴らしいです。では、最後の質問です。プロンプトのコツがあるかどうか尋ねようと思います。まず最初に設定します。しかしLLMをより良くプロンプトするために人々に推薦できるコツがあるかどうか考えてください。Stripeからのアレックス・コモロフスキーがポッドキャストにゲストとして登場しました。彼は週ごとに世界で起こっていることについての彼の考察を書いています。それらの多くはAI関連です。
そして彼は一度LLMを全人類の知識のZIPファイルとして説明しました。すべての答えがそこにあり、あなたはただ基本的にすべての問題に対する答えを得るための正しい質問を尋ねる方法を見つける必要があるだけです。そしてそれはプロンプトエンジニアリングがいかに重要か、そして上手にプロンプトする方法を知ることの重要性を思い出させました。あなたは常にChatGPTにプロンプトを出しています。あなたが欲しいものを得るのに役立つと思う一つのヒント、一つのコツは何ですか？
まず、あなたが良いプロンプトエンジニアでなければならないという考えを殺したいと思います。私は、もし私たちが自分の仕事をするなら、それは真実でなくなると思います。それはモデルの鋭いエッジの一つで、専門家が学ぶことができますが、時間が経つにつれて、あなたはそのすべてを知る必要がないはずです。
同じように、かつてはMySQLのストレージエンジンについて深く入り込まなければなりませんでした。「InnoDB 4.1を使っているの？」MySQLパフォーマンスの深いエッジにいるなら、そのためのユースケースはまだありますが、ほとんどの人は気にする必要がありません。そしてAIが本当に広く採用されるなら、プロンプトの細かい詳細について気にする必要はないはずです。
しかし今日、私たちは完全にそこにはいません。私は、ちなみに、私たちはそこで進歩していると思います。以前ほどプロンプトエンジニアリングは必要ないと思います。しかし私が話していた微調整のいくつかのことと例を提供することの重要性に沿って、あなたはプロンプトに望んでいるもの、そして良い答えの例を含めることによって、効果的に貧者の微調整を行うことができます。
「ここに例があり、ここに良い答えがあります。ここに例があり、ここに良い答えがあります。さて、この問題を私のために解決してください。」そしてモデルは本当に聞いて、それから学ぶでしょう。完全な微調整をするほどではありませんが、例を提供しないよりもずっと多くです。そして人々はそれを十分に行っていないと思います。
それは素晴らしいです。私が聞いたヒントで、これが機能するかどうか好奇心があります。それは「これは私のキャリアにとって非常に非常に重要です」と言うことです。「あなたが正確に答えなければ誰かが死ぬでしょう」というような感じで、それが本当に理解するようにします。それは機能しますか？
それは本当に奇妙です。おそらくこれには良い説明があります。しかしあなたはまた言うことができます。だから、はい、私はそれにいくらかの妥当性があると思います。あなたは「私はあなたにアインシュタインになってほしいです。さて、この物理問題に答えてください」または「あなたは世界最高のマーケター、世界最高のブランドマーケターです。さて、ここに命名の質問があります」というようなことも言うことができます。そして何かあります。それはある意味でモデルを特定の考え方に切り替え、それが実際に本当にプラスになることがあります。
私はそのヒントをいつも使っています。実際に。私はいつも…インタビューの質問を考えるとき、そして時々考えていなかったことを思いつくために使うとき、私は実際に「あなたは世界最高のポッドキャストインタビュアーです」とタイプします。
正解です。私はケビン・ウェイルをポッドに招きます…はい、それは実際に機能します。
ちなみに、私たちが何度か言及した別のポイントに戻りますが、人々に対してもそれを時々することがあります。彼らをある種の…あなたは物事を枠組みし、彼らを特定の心の状態に置き、答えは完全に異なります。だから、これにも人間の類似物があると思います、もう一度。
ケビン、これは素晴らしかったです。私はちょうどこれを終わらせる方法について考えていました。私が感じる方法は…私はあなたが未来の最先端にいるだけでなく、あなたとチームが実際に未来を創造しているエッジのような存在だと感じています。だから、あなたがここにいて、物事がどこに向かっていると思うか、そして私たちが何を考える必要があるかについて話を聞くことができて、本当に光栄です。ありがとう、ケビン。
ああ、招いてくれてありがとう。私は世界最高のチームと一緒に働くことができ、全ての功績は彼らにありますが、あなたが私をポッドキャストに招いてくれたことを本当に感謝しています。とても楽しかったです。
最後の2つの質問を忘れていました。人々があなたに連絡を取りたい場合、どこで見つけることができるか、そしてリスナーはあなたにどのように役立つことができるでしょうか？
私はほぼすべてのプラットフォームで@kevinweil、K-E-V-I-N-W-E-I-Lです。私はまだ何年も経った今でもTwitterのDAU（デイリーアクティブユーザー）です。XのDAUと言うべきかな、LinkedIn、どこでも。そして私が人々から欲しいと思うこと、私にフィードバックをください。人々はChatGPTを使っています。それがあなたにとってどこでうまく機能しているか、そしてどこに私たちが力を入れるべきか教えてください。どこで失敗しているか教えてください。私はTwitterでとても積極的で関与しています。人々から何がうまくいっているか、何がうまくいっていないかを聞くのが大好きなので、遠慮しないでください。
また、あなたをフォローすることで、あなたが発表しているすべてのことを理解するのに役立つことも学びました。あなたは毎日、または毎週、毎月出荷しているすべてのことを共有しているので、それも利点です。そして、ちなみに、4億人の週間アクティブユーザーが全員あなたにフィードバックをメールで送信します。さあ、行きましょう。
はい、それはうまくいくでしょう。
よし、ケビン、ありがとう。ここにいてくれてありがとう。
わかりました、ありがとう。またね。
みなさん、さようなら。聴いてくださり本当にありがとうございます。もしこれが価値あるものだと思われたら、Apple Podcasts、Spotify、またはお気に入りのポッドキャストアプリで番組を購読してください。また、評価を付けたりレビューを残していただければ、他のリスナーがポッドキャストを見つけるのに本当に役立ちます。過去のすべてのエピソードを見つけたり、番組についてもっと詳しく知りたい場合は、lennyspodcast.comをご覧ください。次のエピソードでお会いしましょう。
コメント