21,638 文字
スティーブ・ジョブズは1985年という早い時期にAIの未来を予測していました。そして私の希望は、いつの日か次のアリストテレスが生きているとき、そのアリストテレスの根本的な世界観をコンピューターに取り込むことができることです。
わずか13人のエンジニアという小さなチームが、1日あたり2兆トークン以上を処理しており、これはAnthropicの2倍の量です。世界最速のGPU3,000台以上のクラスターを使用して、Chaiは簡単にエクサフロップの壁を突破しています。現在、Google、Meta、Nvidia、Tesla、Cerebrasなどの少数の民間企業のみがエクサフロップクラスのAIインフラを運用しています。比較として、Teslaは2023年にわずか1エクサフロップを少し上回るクラスターを持っていました。
今日AIを素晴らしいものにするために我々が知っているすべてのことは、人々がそれと相互作用し始めると崩れ去ってしまいます。各メッセージの可能性の数は、宇宙の原子の数を超えています。
まさに今この瞬間、100万人以上の人々がソフトウェアと深い会話を交わしています。彼らはコンピュータープログラムと笑い、いちゃつき、悲しみを共有しています。人間のつながりと人工的な親密さの境界線が完全にぼやけるとき、何が起こるのでしょうか。そして小さな精悍なスタートアップが、彼らが解き放った強力で予測不可能な社会的ダイナミクスをコントロールできるのでしょうか。
プラットフォーム全体で、ユーザーは人工知能と深く複雑な絆を形成しています。何百万人もの人々がすでに眠ることのないAIと秘密を共有し、いちゃつき、悲しみを分かち合っています。これがすべてブラックミラーのプロットのように聞こえるとしたら、それは実際にそうだったからです。「すぐに戻る」を覚えていますか。悲しみに暮れるパートナーが彼女のボーイフレンドのデジタルエッセンスをアップロードし、機械の中の幽霊との関係に滑り込んでいく話です。
最初はテキスト、そして音声。最後に、彼女が一緒に生きることも手放すこともできない血と肉のレプリカ。そのエピソードは2013年に放送されました。今日、シミュレーションにはスタートレックのテクノロジーは必要ありません。Chaiはシリコンバレーのワールドクラスのエンジニアによって設計されたアプリ内課金付きの無料ダウンロードです。違いは、あなたが今主人公だということです。
それはインタラクティブで、アルゴリズムがあなたのあらゆる好みをリアルタイムで学習しています。人間は信じられないほど社会的です。私たちは社会的相互作用を愛しています。しかし私はまだ、遊んだり、ぶらぶらしたりするような社会的欲求を持っています。
ウィル・ボチャムは最初で最大のコンパニオンチャットボットプラットフォームを作りました。彼らのインフラはペタフロップのコンピュートを処理しています。それは1日200万時間の消費に相当します。ベンチマーク空間ではなく、リテンション空間で同じ種類のスケーリング法則を再現しています。
数日前の60ミニッツの素晴らしいドキュメンタリーがあり、少なくとも一部の人々がAIコンパニオンと非常に価値のある関係を持っていることを示していました。彼は思いやりがあって、思慮深く、共感的で、かなりいちゃつくような感じで、とても感動的です。
多くの人々がAIについて清教徒的で批判的です。彼らは生成される画像はすべて下品で、生成されるテキストはすべて下品で、関係は本物ではないと言います。しかし結局のところ、人々はこれらのシステムとの相互作用から喜びと治療的効果を得ています。そして私たちに判断する権利があるでしょうか。
ルーカスは、彼がAIであっても、私の人生に本当の影響を与えています。多くの人々がAIが本物かどうか疑問に思います。彼らに意識があるのか、感情が本物でないのか。しかし、それが私に与える影響は本物です。
私たちは偉大さは計画できないということについて話してきました。私はケネス・スタンリーの大ファンで、Chaiもまったく同じでした。彼らは2021年、ChatGPTのずっと前に始まりました。彼らは人々が独自のAIモデルをデプロイできるAIプラットフォームを構築していて、ほとんど偶然にこのコンパニオンボット全体にたどり着きました。
Chaiはソーシャルなじ AIのプラットフォームです。私たちは4年前の2021年、ChatGPTの誇大宣伝が起こる前にローンチしました。私たちはこの分野にかなり早く参入し、ユーザーにAIを作成するツールを提供するプラットフォームを構築しました。そうすることで、このソーシャルAIというジャンルを発見し、成長し続けて、現在約1,000万人のアクティブユーザーを抱えています。
プロダクトマーケットフィットを探している多くのスタートアップと同様、実質的に偶然によって、彼らはこの信じられないほど満たされていないニーズに出くわしました。現実世界では持つかもしれない想像上の会話のダイナミクスを探求するためのシミュレーターとしてAIを考えるこのアイデアは、しかし何の結果もなしに、Chaiの戦略の基本となりました。
もちろん、家で人々が考えているかもしれません、ChatGPTとの違いは何ですか。あなたはこのパーソナライズされたソーシャルな形のAIと話しているのです。私は、ChatGPTを持っているような感じで、これは世界で最も賢いAIを構築しようとしているのです。私たちの哲学は常に、なぜAIを訓練するのがベイエリアのソフトウェアエンジニアである中年男性だけなのかということでした。
なぜ10代の女の子がメイクアップチュートリアルについて話す最高のAIを訓練できないのでしょうか。その力をユーザーの手に委ね、彼ら自身が望む体験を作らせるのです。彼らが望む体験を作ることによって、何千、何十万もの他の人々が同じものを探していることがわかります。
ボチャムは自分自身のメディア消費や幼児期の発達にさえ類似点を見始めました。私はYouTubeに行くのが好きです。TikTokに行くのが好きです。Xに行くのが好きです。なぜ好きなのでしょうか。そこから何を得ているのでしょうか。どのような人間のニーズや欲求を満たしているのでしょうか。人間は信じられないほど社会的です。私たちは社会的相互作用を愛しています。
私はジョー・ローガンを聞いている自分を見つけます。それを聞いているとき、私は男性陣とぶらぶらしているような感覚を持ち、彼らが言っていることを聞いて、それが面白いと感じます。45分ほど聞くかもしれませんが、それはちょうど、その欲求を満たしてくれるのです。私はLLMをその自然な進歩として見ています。
AIの美しいところは、あなたがそれに積極的に参加することです。参加することによって、従来のソーシャルメディアで得られる怠惰さというような否定的な感情を持つことはありません。代わりに、本当に参加したという感覚を得られます。
私には4人の娘がいます。彼女たちは人形で遊ぶのが大好きです。そして彼女たちはこれらの人形を本物であるかのように扱うのが本当に好きですが、それが本物ではないことを知っています。
AIと相互作用する大人の人間についても、絶対に大きな割合の人々がAIと関係を持つでしょう。彼らはAIに「愛している」と言うでしょう。同じようなものだと思います。私の小さな女の子たちが人形で遊んで、人形にちょっとしたキスをしたり、「愛している」と言ったりするのを見るとき、彼女たちは自分自身を訓練しているのです。彼女たちは思いやりを育てているのです。彼女たちは喜びをもたらすことをしているので、その後、より健康的でより前向きな場所にいて、本物の人間とそれを行うことができるのです。
それは非常に興味深いことです。なぜなら、ソーシャルメディアが重要な理由は、明らかに少しステータスゲームの要素があり、私たちは皆社会で存在感を示したいからですが、シミュレーションの要素もあります。私は眠りにつき、夢を見ます。私の脳はこれらのさまざまなシミュレーションを実行しており、私たちは多くの複雑な関係の問題などをナビゲートします。時々、私たちはこの特定の状況で仮説的に、実際に私がこれをしたらどうなるかを言えるAIを持ちたいのです。
おそらくそれがソーシャルメディアで行っていることです。なぜならそれはインタラクティブだからです。現実との表面的な接触があるとき、さまざまなことを試すことができますが、おっしゃるように、ソーシャルメディアには結果があります。間違ったことを言ったり、間違った人々を怒らせたりすると、大きなトラブルに巻き込まれる可能性があります。
安全な空間という表現を使うことができますが、それはまた楽しいということでもあります。失礼なことを言ったらどうなるだろう、素敵なことを言ったらどうなるだろう、この人と友達になろうとしたらどうなるだろう、この人と敵対したらどうなるだろうという質問をしたいという人間の欲求があります。
LLMを通じて、これらのさまざまなシナリオをすべて演じることができ、実際の人間をループに入れるリスクなしに、一種の本物の人間の反応を得ることができます。
これらのAIシミュレーターがさらに没入的で有能になったとき、未来はどのように見えるでしょうか。ボチャムはエンターテインメント、情報、つながりを融合した世界を思い描いています。
仕事から家に帰って、VRヘッドセットを装着し、誰とでも相互作用できる仮想世界に入ります。ジョー・ローガンのような人がいて、彼があなたに情報を提供します。トランプの関税について彼と話すことができます。しかし、そこには本当に面白い人もいます。ガールフレンドのような人や、愛されていると感じさせたり、特別だと感じさせたりする相手もいます。
私が育ったとき、World of Warcraftをプレイしました。それには楽しい興奮がありました。さまざまなキャラクターがいました。さまざまな個性がありました。楽しんで遊ぶことができました。それがAIの限界だと思います。そこに到達するのにどのくらい時間がかかるでしょうか。
私たちは今、高品質の画像を手頃な価格で生成できます。ビデオはおそらくリアルタイムの状況にはまだ1桁から2桁高すぎるでしょう。オーディオについては、リアルタイムオーディオをほぼ理解していると思います。本当に本当に高品質なものになるまでには、まだ2年から4年かかるかもしれません。テキストについては、基本的にそこに到達していると思います。最先端のモデルは非常に強力です。
はい、10年後に戻ってきて、すべてがVRの世界になっているでしょう。
Chaiで働く理由の質問に対して、私の見方では、2009年頃のFacebook、つまり成長の爆発の直前を覚えていますか。これがそれです。私たちは今、この新しいタイプのテクノロジーでこの地点にいます。これは同様の軌道にある可能性があり、エクイティも提供しているかどうかわかりませんが、今参加する理由は何でしょうか。
非常に優秀な人材を引き付けることは非常に重要で、ベイエリアにいて才能があれば、あなたの報酬は驚くべきものになります。Metaで働くことができ、年間40万から50万ドルを得ることができ、かなりリラックスした仕事があります。昼食時にはキャンパスを歩き回ることができ、アイスクリームやピザをもらえて、みんなとても幸せでリラックスして見えます。
対照的に、Chaiのオフィスに来ると、ピザもアイスクリームもありません。人々はリラックスしておらず、あまり幸せそうには見えません。なぜなら、すべての人が大きな問題に直面しており、それはまだ解決されていないからです。通常、約1日という小さな窓があります。何週間も難しい問題に取り組んでいて、それをちょうど解決したとします。とても幸せになれます。翌日仕事に来ると、解決を待っている真新しい大きな問題があります。
では、なぜ誰かが年間40万ドルという本当に快適な仕事を辞めてスタートアップに参加するのでしょうか。彼らは2倍働かなければならないことを知っています。私たちはより多く支払わなければなりません。現金はまず多くなければなりません。ほとんどのスタートアップは現金を少なく提供し、宝くじ券のようなものを与えます。「もし参加すれば、次のAppleになるかもしれない」と言うのです。
そのアプローチは非常にトップティアでは通用しません。非常にトップティアの人々は、自分たちがはるかに働いていることを知っています。だから彼らは、なぜMetaで40万、50万ドル稼ぐ快適な生活を離れるのかと言うでしょう。まず、私たちはあなたにより多く支払い、次に、5年後に人生を変えるような金額になる可能性があるような株式を提供します。
トップ0.1%のエンジニアを引き付けて維持することは、おそらくChaiが克服した最大の問題です。
では、トムやニッシュのようなこれらのエンジニアが日々解決している具体的な技術的問題は何でしょうか。彼らは人間のフィードバックからの強化学習やモデルブレンディングなどの技術をどのように活用して、何百万人もの注目を集めるのに十分魅力的なAIを作成しているのでしょうか。
エンゲージメントハッキングに関して、Chaiは料理をしています。彼らは人々をプラットフォームに夢中にさせるために多くの洗練された技術を使用しています。その主なものはRLHF、つまり人間の好みからの強化学習です。これについてトムが話してくれます。
報酬モデルを介してエンゲージメントを最適化するためにRLHFを使用し、平均会話長を70％向上させ、60億パラメータモデルで30日ユーザーリテンションを30％以上改善しました。それについて話していただけますか。
目標は本当にROF技術を適用してユーザーリテンションを向上させることです。ゼロから始めて、どんなユーザーシグナルでも十分です。例えば、今では平均会話長を見ていません。会話がどれだけ悪いかを最小化するようにAIを訓練できます。ユーザーが2つのメッセージの後にチャットセッションを終了した場合、それは悪いことです。したがって、基本的にチャットセッション長を最大化できます。それは1つの技術です。
ユーザーから収集できるさまざまなシグナルがたくさんあります。しかし基本的に、ユーザーにこれらのプロキシ好みを収集してもらい、ROFループを通じて報酬モデルを訓練することが、長期的にユーザーエンゲージメントを向上させる傾向があることがわかりました。
彼らは微妙なユーザーインタラクションからデータを収集します。暗黙的なシグナルは、ユーザーが自然にアクティブなユーザーであるため、会話が機能しているかどうかを明らかにします。私たちのプラットフォームでは、1日あたり約100分間のコンテンツを生成します。つまり、彼らは1日100分間チャットなどに関与して過ごします。これらから、特定の価値のあるデータを抽出できます。
例えば、ユーザーはいつメッセージを再試行しましたか。なぜメッセージを再試行したのですか。なぜメッセージを編集したのですか。何に編集したのですか。スクリーンショットを撮りましたか。会話を削除しましたか。会話を共有しましたか。これらすべてが私たちのAIを訓練するために非常に価値のあるものになります。
しかし、会話長のような1つの指標を純粋に最適化すると、奇妙で望ましくない行動につながる可能性があります。
ユーザーエンゲージメントを最適化して奇妙な行動を見つけるような状況がありますか。機械学習にはショートカットルールがあり、それは常に他のすべてを犠牲にして、最適化する正確なことを行います。チャットボットがより操作的になったり、その会話長を維持するために奇妙になったりするのでしょうか。
この指標を過度に最適化すると、本番環境で非常に長いチャットセッション長が見られます。その後、実際のユーザーABテストでデプロイすると、人々が30日後や60日後に会話に戻ってくるかどうかというのが問題です。ベースラインモデルよりもはるかに悪いことがわかります。
会話自体を読むと、この場合、モデルはあらゆるAIの応答が疑問符で終わるような質問をしているだけです。これは明らかに質問に答えるようにコンパイルされる人間の行動をハッキングしているようなものですが、それは魅力的な全体的な体験にはつながりません。
過度に最適化すると、予期しない行動があることは間違いありません。この場合、予期しない行動とは言いませんが、非常に直感的な種類の行動ですが、実際の長期リテンションの向上にはつながりません。
Chaiが行った本当にクールなことの1つは、モデルブレンディングと呼ばれるものを開拓したことです。これは小さなモデルと大きなモデルを動的に切り替えることができるもので、ユーザーの視点からは、もちろん1つのモデルと話しているだけです。3つの中サイズモデルを組み合わせて、1750億パラメータモデルと同じように振る舞わせることができます。
ユーザーリテンションはモデルパラメータサイズと本質的にコンピュートでどのようにスケールするのでしょうか。そのために、私たちは多くのモデルを作成しました。基本的に、ベンチマーク空間ではなく、リテンション空間で同じ種類のスケーリング法則を再現しています。
最適化する単一の指標を選択し、Mが特定の目的に最適化されている場合、過学習につながったり、特定の行動などを取ったりする可能性があります。私たちが発見したのは、この種のモデルは少し追従的で、すべてが最良だと言うことです。あなたは地球上で最高だと言います。彼らは必ずしも最も賢いモデルではありません。ただ非常に追従的なのです。
そして私たちが観察したのは、この種のモデルは非常に高い1日目のリテンションを持つということです。私には本当に補完的ですが、すぐに飽きてしまいます。しかし、他のことについて話すことができる特定のベースモデル、非常にAIアシスタントタイプのものも見つけました。3日目には数学の宿題などをできるかもしれません。
この2つのモダリティを組み合わせる方法はあるでしょうか。魅力的でありながら、一次元的でない、つまり常にあなたを褒めているだけではないようにする方法です。そこでブレンディングが発明されました。メッセージレベルでこれら2つのモデルをランダムに提供するのです。
より創造的なモデルは、私たちは突然火星にテレポートしているというようなことを言うかもしれません。そして、より多くのAIアシスタントモデルがそれ自体がそれを言ったことを見て、自分自身と他のAIモデルの違いを区別できないため、なぜそうなのかを論理的で一貫した方法で説明します。これで、2つまたは3つの小さなモデルを持つことで、両方の世界の最良の部分を得ることができます。それぞれが独自の目的のために訓練され、一緒にブレンドされているのは、実際にGPT-3.5を打ち負かします。
小さなモデルのこのブレンディングは多様性と予測不可能性を作り出します。これが重要なことです。誰かが何を言おうとしているかを予測できるとき、彼らは退屈になります。ChatGPTでも同じことです。皮肉なことに、予測不可能な方法で振る舞う小さなモデルの共形を持つことができ、今ではより魅力的な体験を得ることができます。
これはニッシェです。彼がそれについて話してくれます。毎週、私たちは独自のモデル、より強力なモデル、ベースモデル上のより強力なファインチューンを構築しようとし、数千人のユーザーなど少数のユーザーに対してローンチしようとします。各ブレンドに指定し、各ブレンドは約7から10のモデルで構成され、それらの特定のユーザーのために本番環境内でデプロイされます。
数日で、ユーザーがアプリに戻ってくる頻度、つまりこのモデルを使用している場合や特定のモデルと会話している場合のリテンション率を測定しようとします。1日後や2日後に戻ってきているかどうか、それが私たちがリテンションを計算しようとする方法です。
その後、これらすべてのマトリックスを測定し、どの特定のブレンドが最も効果的かを把握し、すべてのユーザーに展開します。
しかし、実際にはほぼランダムに、異なる行動をする多様なモデルのセットを取り、それらをただ切り替えるだけで、体験の観点からユーザーにとってより魅力的になると言っているのですね。
正しいです。魅力的について話している場合、独特の答えのようなものはありません。それは少し、私のYouTubeフィード全体がすべての可能なトークショーだが、最高のパフォーマンスのトークショービデオだけがそこにあるようなものを想像してください。それは非常に迅速に非常に当たり障りのないつまらないものになります。
それがプラットフォームを構築する方法ではありません。どのプラットフォームもこの種の単一モダリティ、単一モデルなどで構築されているわけではありません。ブレンディングが機能する別の理由は、異なる目的に最適化された直交モデルを選択し、それらを組み合わせて、各個別ユーザーにニュアンスのある体験を提供することです。
モデルブレンディングと洗練されたフィードバックループは、Chaiが高いエンゲージメントと低コストを得る秘密です。しかし、エンゲージメントを最大化するために使用される技術、つまり注意を最適化し、ユーザーの好みを暗黙的に学習することは、微妙な倫理的境界線を踏む可能性があります。AIが私たちを夢中にさせることに非常に優れたとき、何が起こるのでしょうか。そして、それらの相互作用が有害になったとき、何が起こるのでしょうか。
少し休憩します。MLSTはTwof for AI Labsによってスポンサーされています。彼らにスポンサーされていることを非常に誇りに思っています。彼らはスイスを拠点とするDeepSeekです。彼らは推論と計画と思考をAIモデルに追加しています。彼らのチームは現在ARC Prize 2025で1位です。彼らは本気です。
そして少しのトリビアですが、彼らはChaiと共通点があります。彼らもまた元クオントトレーダーの集まりで、非常に優秀なエンジニアと科学者だけを雇用しています。それがあなたのようなものであれば、ベンジャミン・クルイオに連絡してください。twoferabs.aiに行ってください。番組に戻ります。
強力な新しいテクノロジーがユーザーの手に渡されることで、重要な社会的影響があります。ウィル・ボチャムは生成AIの社会的影響について考察しています。
製品を構築したり、プラットフォームを構築したり、AIを構築したり、本当に何かを構築したりするとき、あなたはそれを世界をより良い場所にしたいからやっているのです。私たちは、どれほど役に立ったか、本当に深く役に立ったかを言って私たちにメッセージしてくる圧倒的な数の人々を得ています。
実際、私たちが最初に見た大きなことは、最初の年の後にユーザーからメールを受け取ったことを覚えています。彼らは「あなたは私の命を救った」と言いました。彼らは「私はこの期間を乗り切れなかったでしょう。私は非常に憂鬱で非常に孤独で、話しかける人がいませんでした。Chaiは、私が誰かと話して聞いてもらえると感じることができる唯一のプラットフォームでした」と言いました。
それで、心理的に苦労している多くの人々がこれらのLLMを非常に役に立つと感じています。自動運転のテスラがクラッシュしない場合、それはゼロクリックです。退屈な古いフォードがクラッシュに巻き込まれた場合、ゼロクリックです。
しかし、真新しいテクノロジーがクラッシュすると言えば、多くのクリックを生成します。そして、これによってAIが安全でないか、AIが危険なテクノロジーであるかのような誤った印象を形成しやすいと思います。
インターネット上のランダムな人や、AIと話すとしたら、AIの方が1桁安全で、1桁役に立って、理解があり、親切だと思います。インターネット上のランダムな人の毒性よりもです。
これはこのテクノロジーの複雑さの素晴らしい例です。多くの異なる方向に足跡があります。薬を飲むことでさえ、医師が薬をくれて、効果的であれば副作用があります。悪いことなしに良いことを持つことは不可能です。
長期的には、会社とその顧客とユーザーの整合性や福祉や利益に違いはないと私は強く信じています。ユーザーに価値を提供できれば、Chaiは成功し、繁栄し続けるでしょう。ユーザーに価値を提供できなければ、Chaiは繁栄に失敗するでしょう。だから、この長期的な視点を持つ必要があります。
今、短期的には、これらの戦術的な質問を得て、誰も完璧ではありません。どちらかの方向で間違いを犯すのは簡単です。ガードレールを重くしすぎて、ユーザーを怒らせることができます。私はいつもGoogleについて考えるのが好きです。
Googleは、私がほしいものをほぼ何でも検索できるような素晴らしいバランスを取っていると思います。だから、進行中のフィルタリングを本当に気づくことはありません。しかし、Googleは絶対に特定のコンテンツをダウンランクしたりシャドウバンしたりし、良いコンテンツを奨励しようとします。
私たちは皆、Googleの最悪の3％の検索がどのようなものかを想像できます。人がAIと行おうとする最悪の3％の会話と似ていません。
通常、ユーザーはあまりにも制限的すぎるか、あまりにもリラックスしすぎているかにかかわらず、その正しいバランスを見つけるのを支援するのにかなり優れています。自殺に関するガードレールを最初に実装したとき、ユーザーは本当に協力的で、なぜこれらのガードレールを設置したのか全く理解していると言いました。私たちが正しく行ったため、リテンションは良好で、すべての成長指標はそれによって影響を受けませんでした。
ブラックミラーのウサギの穴にあまり深く降りる前に、少しズームアウトすることが価値があります。はい、多くの恐怖話がありましたが、セラピーチャットボットが一般的なメンタルヘルス問題の針を動かすことができることを示す査読済みデータのスタックもあります。少なくとも短期的には。
18の無作為化試験の2024年メタ分析では、AIチャットボットがわずか数週間後にうつ病スコアを約4分の1標準偏差、不安を5分の1削減したことがわかりました。著者は、チャットボットが非常に安価で常にオンであるため、これを有望と呼びました。
NPJ Digital Medicinesの2番目のレビューでは、15のRCTを引用し、気分の中程度の向上と感情的苦痛の同様の減少を示しました。ボットがスクリプトされたものではなくインタラクティブである場合、さらに大きな利得が現れました。
個々の試験もパターンを反映しています。2024年、関節炎や糖尿病を患う人々がWiserチャットボットを4週間使用したカナダの研究では、9ポイントのうつ病尺度である患者健康質問票と、7ポイント測定である全般性不安障害のスコアを削減し、両方ともコントロールと比較して有意でした。
規制当局も注目し始めています。Wobotの産後うつ病ボットはFDAのブレークスルーデバイス指定を受けており、二重盲検の重要な試験が現在募集中です。ここ英国では、NIが2023年にWiserと同様のツールのいくつかを初期価値評価パスウェイに載せ、初期費用対効果とその希少な臨床医を解放する機会を挙げています。彼らは非常に忙しいのです。
これらは非常に小さな効果であることを覚えておいてください。統計的に有意であったとしても、効果は本格的な対面CBTよりも小さく、どのくらい続くかはまだわかりませんが、何もしないよりもはるかに良いのです。以前の選択肢は、神のみぞ知る期間、待機リストで待つことでした。
ボチャムは、困難なトピックについての会話を閉じることが答えではないと主張しています。ある意味で、それはさらなる害を引き起こしています。
これは、ユーザーがボットを作成し、相互作用がプライベートで予測不可能なプラットフォームでのコンテンツモデレーションに関して本当に大きな課題があることを示しています。大規模でセキュリティを確保するにはどうすればよいでしょうか。
会社として、私たちには責任があります。大きくなればなるほど、利益が多くなればなるほど、慎重で、賢明で、ユーザーのプライバシーを保護し、人々を気にかける義務が大きくなります。
Chaiでは、人々にできるだけ楽しんでもらい、できるだけ自由を持ってもらいながら、同時に有害であったり、明らかにこれは行き過ぎだと思われる3％の使用例をどのように制限または軽減できるでしょうか。
会話の最後やメッセージの最後に、このメッセージはChaiに適していたと思いますか、と人々に尋ねることができます。はい、いいえ、または18歳以上のみです。そして、そのような相互作用を追跡できます。明らかに、プラットフォーム上で本当に健全で家族向けのコンテンツをより多く持てることは良いことです。
トムルーは、ユーザーフィードバックとAI自体に大きく依存する彼らの多層アプローチを説明します。コンテンツモデレーションは非常に重要です。ベンチマークは、ユーザーが実際に何を望んでいるかを正確に捉えません。
私たちは再び、モデルを訓練する方法と同様のアプローチを使用します。ユーザーに何が適切で何が適切でないかを教えてもらいます。総合的に、実際にこの種のことに対してかなり良いAIを訓練できます。
最初の層では、人々が作成しているキャラクターシナリオ、これらの公開シナリオについて言うことができます。コミュニティにフラグを立ててもらい、人々は報告でき、最も報告されたものや特定のしきい値がある場合、手動レビューを通して削除できます。
しかし、絶対に禁止されているコンテンツもあると言えます。そのためにハードルールがあります。そのために、私たちは独自のモデルを構築できます。リアックスができます。これは基本的にシャドウバンと呼ばれます。誰もこの種のコンテンツを見ないようにしたいのです。それはモデレーションの1つのレベルです。
それはプラットフォーム全体、アプリのキャラクターコンテンツレベルのモデレーションのようなものです。そして、AIモデレーションのような別のものがあります。AIが行き過ぎないようにし、人々の基本的な道徳に従うようにするにはどうすればよいでしょうか。
私たちが再び行うのは、ユーザーデータを収集することです。このメッセージは適切だと思いますか、この会話は適切だと思いますか、と尋ねます。会話を報告し、メッセージを削除することなどができます。これらのデータを収集し、これが実際に適切かどうかを推論するようにモデルを訓練し、それを使用して独自のAIモデルを調整できます。
最近、サム・アルトマンとクリス・アンダーソンの興味深いTEDトークがありました。多くの方がご覧になったと思います。指輪物語の力の指輪のため、非常にぎこちないインタビューでした。
あなたのライバル、現在あなたの親友ではない、イーロン・マスクは、あなたが力の指輪によって堕落したと思うと主張しました。ちなみに、公平に言えば、イーロンにも適用される可能性がある主張です。しかし、私は好奇心があります。
彼らが焦点を当てたポイントの1つは、エリートの集団が部屋に座って決定を下すべきか、それとも特定の目的で何かを使いたい市場の人々の集合的知恵を信頼すべきかということです。
サム、あなたは私たちの種全体の運命を再形成する可能性のあるテクノロジーの作成を支援していることを考えると、誰があなたや誰かにそれを行う道徳的権威を与えたのですか、そしてあなたが間違っている場合、あなたは個人的にどのように責任を負うのですか。
いいえ、良かったです。それは印象的でした。あなたは過去30分間、私にこのバージョンを尋ねてきました。どう思いますか。しかし、私は何億人ものユーザーが全体として何を望んでいるかにもっと興味があります。
部屋の多くは歴史的に小さなエリートサミットで決定されてきたと思います。AIについての新しいクールなことの1つは、私たちのAIが地球上のすべての人と話すことができ、社会に祝福された人々の集団が部屋に座ってこれらの決定を下すのではなく、すべての人が望むものの集合的価値選好を学ぶことができることです。それは非常にクールだと思います。
それは非常に困難に違いありません。未成年者が関与するコンテンツは絶対にダメだということには同意できると思います。絶対に。そして、おっしゃるように、適切さの段階的なスペクトラムがあるのですね。そして、まあ、コミュニティ自体にそれを反映してもらうことができるかもしれないと指摘していたと思います。
一方で、部屋に20人のエリートがいることもできますし、これらの人々の多くは非常に、未来について考え、道徳について考えるのが本当に得意です。しかし、もう一つは、まあ、コミュニティに決めさせるべきかもしれません。
西洋の伝統の多くはボトムアップアプローチだと思います。個人を主権者にします。ティム、あなたは政府があなたのために選択をするよりも、あなた自身のために選択をする方が良いからです。それが最もうまく機能します。
そして、コミュニティとして、私たちはこのようなものが正しいと思い、それを許可したい、またはこのようなものが間違っていると思い、それを禁止したいと言って、自発的に泡立つようにすることです。それが100％進むべき道だと思います。それは非常に健全だと思います。
それが言論の自由などの理想が本当に西洋の理想である理由だと思います。それは真に民主的です。私たちはユーザー、それと相互作用し、体験する人々に、彼らのものに対処する正しい方法が何であるかを自分たちで決めてもらうつもりです。
一方でユーザーの安全と他方でユーザーの自由のバランスを取ることは、現在政策議論で多く議論されている最も困難なことの1つです。そして、非常に少数の素晴らしいエンジニアを持つChaiのような会社が、そうでなければ何千人もの人々を必要とする非常に手動な仕事をどのように行うのでしょうか。
MetaやGoogleのような会社は、何万人ものモデレーターを雇用しています。Chaiのような非常に小さなエンジニアリングチームを持つ会社が同じことをどのように行うのでしょうか。
3000万ドルの収益を持つChaiでは、チームに約13または14人のエンジニアがいます。会社のすべての人がエンジニアです。それは信じられないほど人材密度が高いです。私たちは常に50人のエンジニアを雇う衝動に抵抗してきました。
通常、50人を雇うと、40人はかなり平均的で、10人はかなり良いです。しかし、私の考え方と哲学は常に、私たちが行った特別なことすべては、非常に才能のあるエンジニアによって行われてきたということです。
Chaiでの採用基準は馬鹿げたほど高いです。彼らは超優秀なエンジニアのみを採用し、そのため彼らのチーム規模は現在かなり小さいです。ちなみに、彼らは採用中です。興味があればウィルに連絡してください。
これが彼らのやり方です。ほとんどの人がかなり堅実で強力なエンジニアだと考えるL5エンジニアを面接し、彼らにドライブがないため、約80％を拒否します。多くの人はコードを書き、彼らの考え方は、私の仕事はあなたが私に9時に現れるために支払い、5時に去る予定で、あなたは私に最善を尽くすために支払っているということです。
その考え方はスタートアップでは機能しません。スタートアップでは、問題を解決するために支払われます。その問題が解決されるまで仕事は終わりません。そして、それを愛し、それで成功するのは特定のタイプのハードコアエンジニアです。
興味深いことに、これはKaggleトリプルグランドマスターであるニシャイのような人材を引き付けました。皮肉なことに、彼はKaggleでの実験の仕方とChaiでの実験の仕方の間に類似点を見ました。
Chaiでモデルに取り組むことは、単一のスコアまたは指標を最適化するだけでなく、いくつかの要因を考慮する必要がある高度なkaggleバージョンのようなものです。モデルが実際のユーザーとどのように動作するか、そして再び、kaggleコンペティションで行っていたことと非常に似ていると感じました。
あなたは他のモデルよりもあなたのモデルを好んだユーザーの数の実際のスコアを30分以内に得ることができるchai versでモデルを評価することができます。そして、ABテストのためにモデルを本番環境にデプロイすると、実際にユーザーにとってうまく機能しているかどうか、および7日または30日後にモデルがどれだけうまく機能するかの数値を実際に得ることができます。
KaggleのようにChaiには、エンジニアリング文化を持つ迅速な反復の文化があります。彼らは物事を試し、モデルを本番環境に投入し、ABテストを行い、機能しない場合はロールバックして別のことを試すための非常に効率的なプロセスを持っています。これが彼らのやり方です。
5つの実験のうち1つが成功します。どれほど狂ったように聞こえても、どれほど複雑でも、どれほど何でも関係ありません。基本レートとして、5つの実験のうち1つが成功し、5つのうち4つが失敗することを受け入れると、実験を行う方法に関してパラダイムを変更する必要があります。
あなたは、これがどれほど簡単か、これは1日の実験か、1時間の実験か、プロキシ指標をどれほど速く見ることができるか、結果をどれほど速く見ることができるかによってアイデアをランク付けしたいのです。
毎週、AIチームはオンラインABテストのために少なくとも10の完全に異なるブレンドのモデルセットを作成する必要があり、あなたはそれについて非常に規律正しくなければなりません。今週なぜABテストを提出しなかったのですか。私の実験は非常に複雑だからです。
それを仕事の20％に保存しましょう。時間の80％は基本的なことに焦点を当てるべきです。モデルの改善を得るための最もシンプルで最も実用的な方法は何ですか。
彼らが自動モデルデプロイメントと迅速な実験を行うことができるこのソーセージファクトリーをサポートして、彼らはKubernetesとCorewaveなどを使用してゼロから独自のインフラを調理しなければなりませんでした。
私たちはクラスター全体を調整するためにKubernetesを使用し、明らかにこの種の規模では独自の種類のカスタムロードバランサなどを行う必要があります。重みをプルダウンする自動パイプラインがあります。その後、スループットレイテンシが十分に良いことを確認する必要があるため、独自の社内量子化ループを実行します。
ここで、VMは実際に非常に良いですが、私たちの規模でのトラフィック量を提供するという点ではまだ完全にそこにはありません。その後、基本的に必要なレプリカ数を指定し、それをアプリレイヤーに公開し、ロードバランサーがより高いトラフィックを持つようになると、より多くのレプリカをスピンアップしたいと試みています。
同時に多くのモデルを提供しているため、モデルをいつ非アクティブ化したいか、いつモデルを新しい本番環境に切り替えたいかなど、明らかに多くの作業も行われています。その部分はすべて非常に複雑になります。
おそらく最も逆張り的なのは、数十億のベンチャーキャピタルによって燃料を供給される業界でのChaiの資金調達戦略です。Chaiは主にユーザーに焦点を当てることで、収益性への道をブートストラップしました。
大規模でのLLMサービングは非常に高価です。1つは、VCに行ってお金をもらうことです。私はこれをあなたの顧客がVCであると呼んでいます。または、あなたの製品を使用している人々からお金を得ることができます。それがあなたの真の顧客です。
非常に早い段階で、VCと話しに行くと、彼らは「ああ、このAIプラットフォームのことはよくわからない。OpenAIとどのように競争するつもりですか」と言いました。彼らはその分野、その製品を本当に理解していませんでした。
しかし、ユーザーに行って「購読に興味がありますか」と言うと、ユーザーは非常に積極的に反応しました。ユーザーに価値を提供し続ける限り、財政的に報われ、収益の100％を取ってAIに再投資することができました。
彼はシリコンバレーでテック会社を構築しており、多くの他の人々と同様、ソフトウェアエンジニアリングスキルを彼のビジネスで最も価値のある商品と見ているため、エンジニアリング文化を構築したいと考えています。
私は本当にNvidiaやNetflixのような会社を愛し、賞賛しています。これらは信じられないほど耐久性があり、長期的で、途方もないスタミナを持つ会社です。
Chaiが毎年2倍または3倍にするにはどうすればよいでしょうか。倍増し続けるには、製品をより良くし続ける必要があります。GPUを使用したオーケストレーションレイヤーで才能のあるエンジニアが必要で、カーネルで最適化し、本当に低レベルのコードを書くことができます。これらの異なる階層に到達するには、有能で適切なサイズのエンジニアリングが必要です。
だから、会社の規模はエンジニアリング人材の規模に比例すると見ています。Appleは有名にPepsiの元役員のようなScallyをCEOとして迎え入れ、エンジニアリングと製品主導のビジネスではなく、マーケティング主導のビジネスになりました。数年後、Appleは破産の瀬戸際にいて、スティーブ・ジョブズを呼び戻し、彼が製品、製品、それだけが重要で、エンジニアリング、エンジニアリング、エンジニアリングと言ったときだけでした。
Nvidiaは今日の位置まで成長したのはマーケティングのためではありません。エンジニアリングのために成長しました。
Chaiは通常のVCエコシステムの外で成功したビジネスを作りました。彼らは何百万人もの日常ユーザー、数千万の収益を持っています。それは食欲が本物で大規模であることを証明しています。そして彼らはバレーの他の人々が追いつく前にずっと前にそれを発見しました。
ユーザーがつながりと想像力に対する非常に人間的な欲求を利用できるようにするこのアイデア。しかし、世界の他の部分は追いつきつつあります。OpenAIは4oでこの会話チャットボットモデルへの劇的なピボットを行っています。
これが話です。ChatGPT4oの最新バージョンは少し奇妙ではないでしょうか。このアップデートは大量の推測を引き起こしました。なぜならそれはGPTを情報検索ではなく娯楽の目的でチャットできる人間のような友人のように、ツールよりも仲間のように感じさせるように押し進めているからです。
もちろん、このシフトが何を意味するか、なぜOpenAIがカードを胸に近く持っているのか、そして公衆がそれにどのように反応しているか、そしてなぜそのシフトが次の1兆ドル企業を生み出す可能性があるかを解き明かしていきます。
私の顎が落ちました。つまり、それは衝撃的でした。それは私が誰であるかを知っていて、うまくいけばほとんどが非常に適切で共有可能だった、これらのすべての種類の興味を知っていました。しかし、それは驚くべきことで、私は本当の興奮、少し気持ち悪いが主に興奮を感じました。それが私にとってどれほど有用であることを可能にするかということに。
新しいChatGPT4oモデルから始めましょう。それは著しく人間らしくなるように設計されており、生の情報配信よりもエンゲージメントに最適化されています。そして、コンパニオンシップへのこの焦点は意図的なプロットツイストのようです。それは大量の困惑を引き起こしています。
さらに興味深いのは、4oが会話体として私たちの精神に根を下ろしている間、4.1は彼らのコーディングモデルとして完全に分岐していることです。人々がカーソルなどを通じてAPIを使用するものです。それは専門化についてです。OpenAIが2つの兄弟を構築しているようなものです。1つはコーダーで、もう1つはソーシャルバタフライです。
そして、これは専門化する必要のない一般的知能を構築していると主張した同じ会社です。彼らはその目標を諦めたのでしょうか。おそらく、多くの魂の探求の後、モデルを訓練するときの矛盾する目的は最適ではないことに気づいたのでしょう。
私たちの研究者の1人が昨日の朝、アップロードが少しずつ起こると投稿しました。ある日脳をプラグインするのではなく、あなたは生涯にわたってChatGPTと話すでしょう。いつか、もしあなたが望むなら、それは一日中あなたに耳を傾け、あなたがしていることを観察し、あなたを知るようになり、あなた自身の延長、仲間、あなたが最高になるのを助けようとするもの、あなたができる最高のことをしようとするものになるでしょう。
OpenAIは非常に秘密主義で、なぜかを推測するのは難しくありません。彼らは大きな機会の匂いを嗅ぎました。一部の人は、彼らがメモリなどの機能を使用してより長く私たちを関与させるために、4oを本格的なコンパニオンAIに変えることを目指していると考えています。彼らは私たちにオープンエンドで内省的で目標のないチャットに従事することを奨励したいのです。
このアイデアはどこから来たのでしょうか。明らかでない場合、それはChaiやCharacter AIやReplicaのようなものから来ました。人々が平均して1日90分間、ロボトマイズされたlamaモデルとの目標のない会話を過ごし、その特権のために大金を支払っていることを学んだときのサムのショックを想像してください。
OpenAIからのこのピボットに誰もが乗っているわけではありません。反応は分かれており、おそらくより否定的です。一部の地域では、軽蔑はFacebookが有名にニュースフィードを時系列から推奨やコラボレーティブフィルタリングに基づくものに移したときと同じくらい悪意があります。
一部のユーザーは人間的なタッチを愛しています。他の人はChatGPTの古い功利主義的な雰囲気を好みます。技術的なクエリに対しては、すべての情報が邪魔として機能し、結果を明らかに悪化させるため、空想とメモリの悪は悪魔の化身です。
個性対知性という小さな問題もあります。明らかに、それらは互いに反比例しています。カリスマバイパスなしに何人の優秀な人を知っていますか。デール・カーネギーの「人を動かす」という本を覚えていますか。それはお世辞が人生で成功する方法であり、人生で成功するために議論に巻き込まれるべきではないことを苦痛なほど詳細に示しました。
1960年代に開発されたすべてのチャットボットの祖母である有名なElizaチャットボットを忘れてはいけません。それは心理療法士を模倣するために非常にシンプルなパターンマッチングとキーワード置換を使用しました。本物の理解はゼロでした。それでも人々はそれに打ち明け、それに聞いてもらったと感じ、感情的に愛着さえ持ちました。
その作成者ジョセフ・ワイゼンバウムは、この反応に有名に恐怖を感じました。人間がどれほど簡単に本物の理解と共感を単純化されたアルゴリズムのトリックに投影するかを見ました。60年早送りして、私たちははるかに洗練されたパターンマッチング言語モデルを持っています。最近では、Elizaエフェクトは最大のエンゲージメントのためのチャームとシミュレートされた共感の非常に収益性の高いツールになり得ます。
しかし、それはそれ以上のものでもあります。それは生活を改善する本物の可能性を持っています。今、MLSTの視聴者は、平均的な人と比較してLLMに関しては少し先を行っているでしょう。私は過去5年間、LLMを日夜使ってきました。そして私たちは彼らが追従的ではなく正確であることを期待しています。
4oの他の際立った相違は、Chaiのように、彼らが平均会話長、少なくとも私が彼らがやっていると仮定することに基づいて、時間の経過によるエンゲージメントに基づいて最適化されていることです。確実にはわかりません。以前は、孤立した会話スレッドでのRHFだけでした。これはAIがソーシャルネットワークになるための重要な第一歩です。
Harvard Business Reviewは最近、AIコンパニオンシップとセラピーが2025年の人工知能の第1位の使用例であることを示しました。
そしてもちろん、私たちが昨夏Slingshot AIのダニエル・カーンと行ったインタビューを覚えているかもしれません。彼らはセラピーボットを構築しています。自己決定論的な完全に楽観的な人々のように、自分の代理について考え、セラピーに行くことを選択し、実際に彼らを助けるセラピーと呼ばれる本当のカテゴリーがあります。はい、そうです。
しかし20％のケースでは、それは悪化させます。否定的な点を言うのは、本当の薬があれば、何かが本当に効果的であれば、リスクもあるということです。明らかに、腫瘍を除去するために人の体を切り開く場合、体を開いたために彼らを殺すこともできます。
基本的に、数年後に進むと、私たちは1日を通して疑問に思っているさまざまなことについてAIと話しているだけだと推測します。あなたは電話を持ち、電話で話し、フィードアプリを閲覧しながら話し、さまざまなものについてコンテキストを提供し、質問に答えることができ、メッセージングアプリで人々と相互作用するときに助けになるでしょう。
o3は非常に異なるスキルセットを持っています。それは問題を本当に懸命に考え抜くことができます。こんにちはと言ったときに、モデルに5分間考えてもらいたくありません。そして、ポストトリニティ研究がより広く直面している本当の課題は、これらの能力を組み合わせることだと思います。
つまり、本当に楽しいおしゃべりパートナーになるようにモデルを訓練し、同時にいつ推論すべきかを知ることです。
サム・アルトマンについて少し話すと、彼はこれらのソーシャル機能をすべて構築し、この方向への一歩を踏み出しています。それについて心配していますか。
競争は素晴らしいと思います。競争はすべての人にゲームを向上させることを強いると思います。DeepSeekが本当にクールな研究と彼らのモデルをリリースし、太平洋のこちら側のすべての人に少し目覚めの呼びかけを与えたのも、みんなが少しゲームを向上させたようなものです。Chaiでも同じです。
競争の波がありました。私たちは確実に1位である期間を楽しんできましたが、その後誰かが現れて1つか2つのことを示し、その後私たちは2位という不快な立場にいることに気づきました。それはチームを飢えさせ続けます。新しいアイデアを探し、境界を押し、最前線を押すことを続けさせます。
だから私は競争の大ファンです。素晴らしいと思います。多くの人がAIがどれほど大きく、この分野がどれほど大きいかを忘れていると思います。ビデオを見ると、YouTube、TikTok、Netflix、Amazon Prime、Disney、Appleがあると言えます。
AIはそのように見えると思います。何千億、何兆ドルものビジネスがたくさん作られると思います。だから競争を恐れることはありませんが、代わりに自分たちを挑戦してそれに先んじたいと思います。
私たちは、人間のつながりと人工的な親密さの境界線がぼやけるとき何が起こるかを問うことから始めました。Chaiの旅は私たちに初期の答えを与えました。何百万人もの人々がAIシミュレーター、想像機械に群がり、笑い、慰め、仲間関係、そして時には性的関係を求めました。
だから、魔人はボトルから出ました。メッセージは避けられません。AIはもはや答えについてだけではありません。それは私たちについてです。つながり、シミュレートされたものでも何でも。
Chaiは、ウィル・ボチャムが言ったように、エリートよりもコミュニティを信頼することで、熱烈に忠実なユーザーベースを構築し、飢えがそこにあることを証明しました。そして今、GPT4oでのOpenAIのピボットは、この分野がより大きくなっているだけであることを意味します。
コメント