本動画では、CohereのチーフサイエンティストであるJoelle Pineauが、AIの最新動向について包括的に語る。強化学習の効率性課題、スケーリング法則の堅牢性、合成データの可能性と限界、エンタープライズAI導入における実践的な洞察を提供している。特に注目すべきは、AIが人間の労働を単純に置き換えるのではなく、従業員の生産性を10倍に高めるツールとなるという彼女の見解である。また、AIエージェントのセキュリティリスク、特になりすましの脅威や、コード生成の品質向上の見通しについても論じている。さらに、ニューラルネットワークへの懐疑から確信への転換、AIの極端なシナリオ予測への批判的姿勢、オープンソース研究の重要性など、科学者としての率直な意見を展開している。エンタープライズ環境でのAI実装における実務的な課題から、長期的な技術革新の展望まで、幅広いトピックをカバーした貴重な対話となっている。
スケーリング法則と強化学習の展望
スケーリング法則は驚くほど堅牢でした。これらのシステムの脆弱性に関しては、まだ分かっていないことがたくさんあります。今日は、AIにおける最も優れた頭脳の一人、Joel Pinoさんをお迎えしています。JoelはCohereのチーフサイエンティストです。もしかしたらガラクティコスを買う必要はないかもしれません。
なぜAndrew Tull、Daniel Gross、Alex Wangのようなガラクティコスが集結しているのでしょうか。私はかつて、ニューラルネットワークが必ずしも機械学習の究極の解決策ではないとかなり懐疑的でした。この点については、私はかなり間違っていたようです。あなたが知っていることを踏まえて、お子さんにさせないことは何ですか。砂糖を食べ過ぎること。科学者として、私は極端なシナリオを予測する人々に対してあまり忍耐力がありません。
AIの壊滅的リスク、つまりAIが我々の支配者になるようなシナリオです。もし私があなたに100億ドルを渡したら、まず何に使いますか。準備はいいですか。Joel、スタジオに来ていただいて本当に嬉しいです。Nick、Aiden、Shrepから素晴らしい話をたくさん聞いていました。参加してくださってありがとうございます。どういたしまして。ここにいられて嬉しいです。
さて、あなたはMetaで6年以上過ごされましたが、そこから始めたいと思います。なぜなら、それは非常に変革的な時期と場所だったからです。その時期からの最大の学びは何で、それが今日のあなたの考え方をどのように形作りましたか。私は2017年から2025年までそこにいました。その期間にAIがどれだけ変化したかを見なければなりません。
そして私たちが本当に焦点を当てていたのは、基礎的なAI研究でした。そして学んだことの一つは、仮説を証明するのにどれだけ時間がかかるかということです。AIは稲妻のスピードで動いているように感じます。しかし実際には、適切なオプティマイザー、適切な計算能力、適切なデータを得て、本当に違いを生むには数年かかることもあります。
今日の状況を見ると、みんなが「今だ、今だ、今だ」と言っています。しかし実際に多くのリーダーたちが最近言っていることを見ると、例えばAndreは「これはエージェントの年ではなく、エージェントの10年だ」と言っています。Samも同様に引き戻しています。私たちは行き過ぎて、実際には時間が必要な要素だと気づいて引き戻しているのでしょうか。
例を挙げましょう。私は研究者として数十年やってきました。20年以上強化学習に取り組んできましたが、突然みんなが強化学習について話すようになりました。推論モデルやエージェントなどの出現以来です。つまり、時にはこれらのアイデアに少し辛抱強くならなければならず、適切なアルゴリズムの調整、適切なコンテキスト、適切な問題領域が魔法を開くのです。
昨日Andreの話を聞いていたのですが、彼はこの番組で強化学習はひどいと言っていました。20年前よりはひどくないですが。より拡張可能な代替手段を犠牲にして、RLベースの方法に過剰投資していないでしょうか。私はRLに対して今でも非常に強気です。なぜなら、その概念自体が非常に基本的だからです。報酬システムを通じて訓練するというこのアイデア、数値を通じて何が価値があり何が価値がないかを示すという考え方は非常に基本的で、なくなることはありません。
しかし、ボックスから出してすぐのRLがAGIを与えてくれると考えるのは、少し先走っています。進歩の曲線を見ると、RLはひどく非効率的です。モデルの動作を本当に形作るために必要な信号の量は、今日の状況からは程遠いのです。だから、この学習効率の問題にどう対処するかを考え出す必要があります。
あなたはおそらく、何に巻き込まれたのだろうと思っているでしょう。そして私はあなたを責めません。私は他のみんなが考えていると思う質問をしますが、私は知らないと言うことを恐れません。なぜRLはそんなに非効率的なのですか。いくつかの理由があります。深いトピックに入ることになりますね。いくつかの理由があります。
一つは、RLが逐次的意思決定に関するものだという事実です。つまり、スタート地点から始めて、次に何をするかを考えなければなりません。そして分岐の右側を選ぶか間違った側を選ぶかもしれず、その後も道は分かれ続けます。だから間違いを犯すたびに、それが行動の連続の長さを通じて複合されていくのです。
つまり、犯しうるエラーの量は非常に大きくなり、正しく行うことは非常に難しいということです。時々人々はそれを、RLで正しい解決策を見つけることは干し草の山から針を見つけるようなものだと比較します。それが一つの難しさです。もう一つの難しい点は、システムを訓練するためにモデルを訓練するには、基本的に学習のためにアクションを取らなければならないという事実です。静的なデータから学ぶことはできません。
静的なデータからいくつかのことは学べますが、実際に正しいポリシーを得るにはそれをテストする必要があります。つまり、シミュレーターが必要で、合成データを得る必要があり、それらすべてが非常に高価になりえます。だから、RLをテストするためのさまざまな環境とシミュレーションを得ることに困難があります。
RLのコスト曲線を見ると、あなたは20年間それに取り組んできたとおっしゃいましたが、それは劇的に下がってきましたか。これからも劇的に下がり続けるでしょうか、それとも根本的に高価な訓練方法なのでしょうか。特に良い報酬関数がある領域では下がってきました。
ほとんどの人がRLについて聞き始めた場所は、AlphaGoの頃です。囲碁というゲームは、ある意味AIの目標の一つでした。当時、多くの人が、人間のレベルで囲碁をプレイできる機械を持つまでにはまだ10年かかると考えていました。
そしてDeepMindのチームが現れ、世界チャンピオンと対戦し、RLが基本的にそれを実現できることを示しました。だから私は、目標が何かを明確に知っていて、報酬関数を正確に書き下せる場合には、うまくいくと言えます。多くの進歩を遂げることができます。だからこそ、数学や非常に明確に定義された推論タスク、ゲームなどで進歩が見られるのです。
しかしRLでモデルの動作を形作って、社会的な生き物にする方法については、まったく分かりません。お子さんがいるか分かりませんが、子供の行動を形作ることを考えてください。同じことを何度も繰り返しても、まだ別のことをするのです。だから何かがあります。
それを数学的に書き出す方法が分からないのです。そしてそこが、私たちがまだ苦労しなければならない部分だと思います。なるほど。まだ苦労が必要です。今日の訓練市場と推論市場を見ると、これまで訓練に非常に重きが置かれてきて、それは信じられないほどコストがかかり高価でした。
そして、みんなが「実際には推論が市場の95%で、そこにすべてが向かっていて、そこでNvidiaは最も多くのお金を稼ぐ」と言うのを聞きます。訓練と推論に適用されるコスト曲線と、今日それがどこにあるかについて、どう考えればいいでしょうか。たくさんのバリエーションがあると思います。もしかしたら、Cohereで私が今向かっている方向に話題を転換させていただけるかもしれません。
エンタープライズAIとオンプレミス展開
1ヶ月前にCohereに参加しましたが、非常にエキサイティングな会社です。Cohereがやっていることの一つは、実際にオンプレミスで動作するAIモデルを開発することです。つまり、企業がそれを持ち込んでローカルで実行するということです。だから会社はモデルの訓練について心配する必要があります。
明らかに、私たちは企業のニーズに応じた世界クラスのモデルが欲しいのですが、推論については心配する必要がありません。推論コストについて心配する必要がありません。クライアントの顧客は、AIを消化するための適切な方法を考え出さなければなりません。
つまり、オンプレミスで非常に効率的に動作できるように、非常に効率的なモデルを持つことに大きな動機があります。だから、私たちは一つのパラダイムに巻き込まれますが、他のパラダイムもあります。もし彼らが推論の費用を支払っているなら、効率化するインセンティブが少ないのではないでしょうか。なぜなら、ある意味、あなたが支払っているわけではないからです。
もしあなたが推論コストを支払っているなら、できるだけ効率的にしたいと思うでしょう。それは自分のお金がそこに使われるからです。しかしそれがIBMのお金なら、効率的であってほしいとは思いますが、私たちが支払っているわけではありません。私たちはまだ企業でのAI採用の初期段階にいるので、クライアントにとって良いことは私たちにとっても良いことです。完全に理解できます。
今日の資本効率の高いAIについての最大の課題は何ですか。経済性を見ると奇妙に聞こえるかもしれませんが。最大の課題は何でしょうか。今日は多くの課題があります。AIの経済性という点で、最大の課題の一つは、予測可能性を持つことが非常に難しいという事実だと思います。みんなブレークスルーがいつ起こるかを知りたがっています。
みんな実際に何台のGPUが必要かを知りたがっています。みんな期待できるリターンがどれくらいかを知りたがっています。システムには多くの不確実性が組み込まれています。その多くは、この技術について私たちが知らないことがたくさんあるためです。だから、データセンターを構築する場合でも、労働力を構築する場合でも、どれだけのデータをキュレートするかを考える場合でも、かなりのリスクを取り込まなければなりません。
そしてそれが多くの人々にとって難しくしています。人々は答えを求めていますが、これは他の産業と比較して、そのレベルの予測可能性を持っていない世界なのです。進歩は線形的に起こるのでしょうか、それともAlphaGoやDeepSeekのようなステップ関数で起こるのでしょうか。あなたが何を信じるかによりますが、モデル改善の面で多くの効率性を示唆しています。
ステップ関数ですか、それとも線形ですか。私は進歩につながるさまざまな要素を分解する傾向があります。人々はよくアルゴリズム、データ、計算能力について話します。一般的に、計算能力とデータは進歩に対してより線形的な効果を持つと思います。より多くの計算能力を構築すれば、より大きなモデルを実行でき、通常はより良いパフォーマンスを得られます。より多くのデータを投入します。
量だけではありません。品質と多様性も心配する必要があります。しかし大まかには、データに関してはより線形的です。アルゴリズムは非線形の効果を持つものです。だから多くのアイデアを探索して、transformerのようなものが登場してパラダイムを変えることができます。そしてそれはtransformerだけではありません。最適化の側面では、突然Adamに到達しました。これはモデルの最適化を行う技術で、パラダイムを変えます。
推論の変化では、突然それをループに入れる方法について考え始め、推論がパラダイムを変えます。だからこれらのアイデアは非線形の効果を持つ傾向があります。しかしこれらのアルゴリズム的アイデアの課題は、実際にそれが証明されるまでに長い時間がかかる可能性があることです。論文がそこに置かれているかもしれません。何千もの論文が出てきています。
アイデアがそこにあって、適切なデータで適切なスケールで適切なハイパーパラメータの組み合わせでそれを試すことを思いつかないかもしれず、しばらくの間その効果に気づかないのです。だから予測するのは難しく、データや計算能力、さらには人材や他のものよりも、アルゴリズムの側面でより非線形的です。
Googleに関しては、transformerは明らかにGoogleで生まれ、論文として数年間存在していました。計算能力、アルゴリズム、データについて言及されましたが、それらを一つずつ見ていくと、理解するために、奇妙なことに2つの異なる世界があるとみんなが示唆しています。スケーリング法則は存在し、ただより多くの計算能力を投入すればいいという世界と、データセンターへの投資を見ると、計算能力の望ましさを見ると、そしてまたGPT-5が明らかに効率性に焦点を当てているという他の兆候もあります。
スケーリング法則はこれから機能するのでしょうか、そしてもしそうなら、どのくらいの期間ですか。スケーリング法則は驚くほど堅牢でした。私たちが期待する通りには正確には機能しませんが、それでも驚くほど堅牢でした。過去に多くの人々がスケーリング法則に反対する賭けをしましたが、全体的に言えば、非常に非常に堅牢な効果を見てきました。
それらは単独では機能しません。これらのアルゴリズム的革新も必要です。しかしほとんどの場合、私はそれに反対する賭けはしないでしょう。アルゴリズムの側面では、それが革新するのに最も難しいのでしょうか。考えてみると、より多くの計算能力を買うことができます。難しいかもしれませんが、より多くの計算能力を買うことができ、データには合成的なものであれ人間のものであれ、さまざまな方法があります。アルゴリズムが革新するのに最も難しいのでしょうか。
それは確かに行うべき最も創造的な仕事です。アイデアの空間は非常に広いので、それが最も難しいと言えます。研究者として、非常に多くの異なる方向に進むことができ、正しいものを選ぶには、そこに到達するまで正しかったかどうか分かりません。それは少し強化学習のようなものです。
その意味で、それは最も興味深いものだと思います。最もフラストレーションのたまるものであり、最も難しいものです。確かに投資家の観点から、どこにチップを置くべきかを知ることは。チップをどこに置くかを知ることと言えば、Metaでの純粋な研究レンズから製品構築へと移行することについてですが、知的に興味深い研究と、製品化して収益化する必要性との間に、固有の対立はありませんか。それについてどう考えますか。
実際にCohereに参加することに非常に興奮している理由の一つは、AIが本当に有用になり始めている段階にいるからです。人々が思っているほど有用ではないかもしれませんが、私たちはそこにいます。そして企業に入っていくAIに取り組むことで、何が機能し何が機能しないかの非常に興味深いシグナルを得られると感じています。
AGIや大衆のためのAIなどについて話し続けていますが、実際にビジネスにAIを売る必要があるとき、何が機能し何が機能しないかの本当のシグナルを得るのです。そして私が最も知りたいのはそれです。私たちは長年学術的なベンチマークを使ってきました。あるシグナルは得られますが、これを生産的な仕事にすることとは同じではありません。だから私はそれから学ぶことに興味があります。
新しいタイプのデータを得ることになります。多くの洞察を得て、それが研究アイデアを推進すると思います。それが、大きなアイデアの空間を探索するときに考慮すべきもう一つのことだと思います。実世界からのフィードバックシグナルを得ることは、アイデアの探索を導く上で非常に有用です。
SequoiaのDavid Kahnと素晴らしい会話をしたのですが、彼は企業内での有用性の価値の良いバロメーターは、どのカテゴリーでもボトム5%の仕事を置き換える能力があるかどうかだと言っていました。彼は、私たちは多くを過大評価していると言います。どの機能でもボトム5%を置き換えられるか。そしてもしできるなら、それは非常に意味のある改善だと。それは良いバロメーターだと思いますか。そして企業に何かが有用かどうかについて、どのような基準でアドバイスしますか。
生産性のバロメーターという点で、私は少し違うものを好みます。それは、従業員のほとんどがAIを使って自分たちだけでやる場合と比べて10倍の量の仕事ができるかということです。それが私にとっては実際により良いバロメーターです。人間とAIは非常に補完的な能力を持っていると思います。だから労働力の一部を完全に置き換えることは、実際にはかなり非現実的です。
一部の人は試みるかもしれませんし、採用を遅らせているところもあるかもしれません。しかし実際には、恭しく申し上げますが、10倍の仕事をすることの方がより非現実的に感じます。それはより大きな要求ではないでしょうか。私は自分の仕事を10倍にすることの方がより威圧的です。いや、それは全く非現実的ではないと思います。わあ。そうですか。
今後数年のタイムラインで。はい。申し訳ありませんが、それは実際にどのように形になるのでしょうか。あなたが提供している仕事のタイプを非常に具体的に特定しなければならないと思います。しかし、ハリウッド品質の制作が数時間で作られるのを見始めていると思います。機械翻訳という非常に具体的なケースを取り上げると、人間が機械翻訳をしている場合と機械がそれをしている場合を比較すると、長文テキストや複数ページの文書で、数時間から数秒になります。
だから多くの仕事にとって、AIがすべての仕事をできるわけではありません。人間はまだ正しい質問をする必要があります。情報を検証する必要があります。タスクを形作る必要があります。しかしタスクが明確に定義され、製品が明確で、すべての設計上の考慮事項がプロンプトに組み込まれたら、ボタンを押すだけで、かつては数週間から数ヶ月かかっていたものが数秒で答えが得られます。
完全に理解できますし、それは分かります。ただ、過去数ヶ月間持っていた信念を再評価しようとしているところです。私はSequoiaのベンチャーアンバサダーですが、私たち全員がお金を稼ぐためには、人間の労働予算からAI支出への移行を見る必要があります。
そしてその移行によって、明らかに街が大幅に増加し、私たちは多くのお金を稼ぐのです。しかしあなたの話を聞くと、突然その仮定に疑問を持ちます。それは、私たちがお金を稼げるかどうかのバロメーターです。なぜなら、あなたは実際には人間の労働予算を置き換えないと示唆しているからです。それは単に私たちを10倍効率的にするだけです。それは正しいですか。
はい。そして多くのニュアンスがあると思います。一部の仕事では同じレベルの効率性の向上を得るのがより難しい一方で、他の仕事では効率性の向上が100倍になるでしょう。しかし、今起こっている多くの仕事にとって、それは絶対に実現可能だと思います。
申し訳ありませんが、効率性の向上が最も具体的なのはどこだと思いますか。タスクを明確に指定できるという概念に少し戻ります。だから、素晴らしい結果がどのようなものかについて非常に正確になれる場合は、多くのニュアンスと複雑さを持つタスクよりも、そのタスクをはるかに簡単に自動化できるでしょう。だから曖昧さです。
タスクの仕様における曖昧さが、私たちの機械にとって難しいことです。これに対する企業の反応をどのように見てきましたか。労働者からの恐れが時にはあり、リーダーからの興奮があり、時には無関心もあります。企業の反応をどのように見て測定してきましたか。
多くの労働力は雇用の喪失について合理的に恐れることができます。変化に対して本能的な反応を持つ個人も多くいます。変化は多くの人々にとって難しいことがあり、非常に短い時間スパンで多くの変化を見ています。だから世代的な効果もあると思います。
一部の世代にとって、その変化はより衝撃的です。若い世代にとっては、家にティーンエイジャーや若い大人がいますが、彼らにとっては、ただのネイティブです。彼らはその技術と一緒に育つので、一部の年配の世代とは異なる方法で育ちます。
興味深いですね。家にいる子供たちと彼らがそれにどう関わるかについて話していましたが、Sam Altmanは、若い人々はそれを世界へのOSのように関わり、AIは彼らにとっての仲間であり、年配の人々はそれを次世代のGoogleのように使うと言っていました。それに同意しますか。そしてあなたの仕事でそれを見ますか。
私は多くの人々が仲間としてというよりも、ツールとしてそれを使っているのを見ます。人々は突然、仕事の中でスイスアーミーナイフを手にしていて、それが非常に役立つ可能性があります。しかしそれが私が見ているほとんどです。完全に理解できます。
大規模なAI採用における企業の最大の課題は何ですか。多くの企業にとって、課題の一つは、AIがワークフロー、プロセス、情報に統合できる方法で導入されることを確認することです。だから、彼らが既に持っているすべての情報システムを活用できる方法で展開することが課題です。そして彼らの中には、これらを何十年もかけて蓄積してきたところもあります。
だからそれが、既存のシステムとデータフローとの統合という、残っている仕事です。そしてそれは、もちろん、私たちがCohereで多く見るものです。なぜなら、私たちはオンプレミス展開を行っているからです。私たちが最も焦点を当てていることの一つは、データの機密性とセキュリティです。企業がそのすべての情報を活用できるようにするためです。だからそれが私たちにとって最優先事項です。しかしそれはまた大きな機会でもあります。
大きな関心があると言えます。しかしその互換性を得ることが課題だと思います。多くの場合、変化は人々にとって最も難しく、だから彼らに技術を使うことに好奇心を持たせる必要があります。多くの人々は、最初から正しく行わなければならないと感じています。
そして、探索と好奇心の精神が、今日私たちが持っている技術の成熟段階にははるかに適していると本当に思います。それをどう使うべきかのすべての答えを持っているわけではありません。それは現場の人々から来るでしょう。
セキュリティは、特にアプリケーション層のAIツールに投資するときに、かなり頻繁に見過ごされるトピックです。AIセキュリティについて、人々が知っておくべきなのに誰も知らないことは何ですか。AIセキュリティに関しては、エージェントの開発によって新しい前線が開かれていると思いますし、率直に言って、これらのシステムの脆弱性に関してはまだ分かっていないことがたくさんあります。
LLMについては、より良い理解を得始めています。かなりのレッドチーミング演習やジェイルブレイキングなどを行ってきました。だから人々はさまざまなリスクベクター、プロンプトインジェクションなどを特定してきました。これらは悪意のある行為者がシステムに干渉するためのベクターです。AIエージェントについては、それを見ていません。
コンピュータセキュリティ全般の特徴の一つは、しばしば、率直に言ってイタチごっこのようなものだということです。システムに侵入するという点で多くの創意工夫があり、それから防御を構築するという点で多くの創意工夫が必要です。だから、その意味で非常に活発でいなければなりません。
しかし、エージェントの世界での潜在的な脆弱性は何ですか。エージェントに関しては、LLMにおける幻覚について非常に心配しています。エージェントにおける並行現象はなりすましです。だから、やってきて、正当に代表していないエンティティをなりすまし、そうすることで、銀行システムに侵入するなど、正当に代表していないこれらのエンティティに代わってアクションを取るエージェントです。
だから、これについて非常に明晰でなければならず、それに向けて標準を開発し、非常に厳格な方法でそれをテストする方法を開発しなければならないと思います。なるほど、そのリスクを大幅に減らす方法があります。エージェントを実行して、ウェブから完全に切り離します。リスクエクスポージャーを大幅に減らしています。
しかしそうすると、いくつかの情報へのアクセスを失います。だから、ユースケースによって、実際に必要なものによって、適切な可能性のあるさまざまなソリューションがあります。完全に理解できます。それは本当に難しいものです。なぜなら、検証が最も重要なものになるからです。しかしそうすると、検証の裁定者は誰なのかということになります。政府ですか。企業ですか。
有効なエージェント対無効なエージェントをどう考えればいいのでしょうか。政府は、私たち全員が合意する標準を定義するのに良い場合があります。企業は、大規模なソリューションを構築して展開するのにはるかに優れています。
政府がAIと私たちの現在地を見たときに標準を設定するのに適していると思いますか。そして政府のプログラムや意思決定者の洗練レベルを見ると、彼らは少し遅れています。実際に能力があると思いますか。
政府がAI規制の面で必ずしもどこにいるかを見るべきではないと思います。AIという分野は非常に若く、速く動いていますし、本質的に、そしてこれには良い面もありますが、政府はもう少し慎重に動いており、通常は良い政策を作るために私たちの知識から恩恵を受ける必要があります。
だから、規制の面で他の分野を見ることができると思います。航空を見てください。今日の航空の安全記録は、50年前と比較して信じられないほどです。そして政府は、標準の面で、規範などの面で、それを定義する上で役割を果たしてきました。
私はこれについて非常に希望的で、楽観的です。たぶん私のカナダ的な側面ですが、政府が有用な役割を果たすことができるということです。多くの場合、明確な標準は実際にはこの分野の多くの企業にとって不確実性を減らすことを意味しますが、それが技術の先を行くことを期待すべきではありません。それはある意味で物事の間違った順序だと思います。
十分な創造的空間を持ってその技術を開発し、速く学ぶ必要があり、それから私たちが持っている実際の学びから、その技術のための適切なガードレールを開発する必要があります。政府とその役割について言及しましたが、Nickが番組に出演したとき、彼は実際にアメリカの会社ではないことの利点について話していました。時には地政学的な課題があるためです。
興味があります。各地域に主権モデルを持つことになると思いますか。フランスにはMistralがあります。Cohereは明らかにカナダにあります。カナダで設立されましたが、グローバルな本社があることは知っています。これらの主権モデルと地域化された勝者が出てくると思いますか。
世界のさまざまな場所でモデルが構築されていることは健全だと思います。今はアメリカと中国だけではありません。思考の多様性という点でこれは健全だと思います。より多くの人々が技術にアクセスできるという点で健全だと思います。
Cohereにとって、ビジョンはカナダの会社になることではないと思います。ビジョンはグローバルなAI企業になることです。そして、トロントに本社がありますが、世界中に分散したチームがいます。ここロンドンにも、アメリカにも、フランスにも、他の場所にも素晴らしいチームがいます。
だから、世界中で動作するモデルを展開する能力を持つことは、Cohereの戦略の絶対的に重要な部分になると思います。大きな機会があると思います。カナダに本社を置くことが私たちに与えてくれるのは、常に万能のソリューションではないという事実への感受性です。
私たちが行ってきた研究に戻ります。多言語モデルに関する主導的な仕事をしてきました。そしてそれが重要であることが分かりました。日本に行けば、韓国に行けば、彼らは自分たちの言語でうまく機能するモデルを望んでいます。労働力の人々は依然として国の言語で働いています。だから、その国際化を重視する会社を持つことは、グローバル市場で実際に重要です。
完全に理解できます。チーム構築の側面では、明らかにカナダには素晴らしい人材がいます。ロンドンにもいくつかあると言及されました。私たちがいるこの人材狂乱の中でのチーム構築について、最大の教訓や観察は何ですか。また、それをどう分析していますか。
AIのためのチームを構築するときに重要なことの一つは、ビジョンを持つ人々が必要だということだと思います。何を創造できるかの感覚を持つ人々です。なぜなら、まだ必要とされる非常に多くのイノベーションがある空間にいるからです。だからビジョンの要素が必要です。それは、そのビジョンの要素を持ち込む1人、2人、3人かもしれません。
驚異的な実行力を持つ人々が必要です。それが自分のアイデアであることを気にしません。チームがアイデアに同意すれば、彼らはただそれを推し進めて完成させます。システムを構築します。実験を実行します。彼らはその技術的厳格さを持って実行します。
そして、チームをまとめる人々が必要です。誰が何を必要としているかの感覚を持ち、その社会的な接着剤である人々です。人間は依然として社会的存在であり、チーム内のその社会的接着剤は非常に重要です。失敗するのを見たのは、チーム内に1種類の人だけを持つことです。
実行マシーンなしで、社会的接着剤なしで、AIのスーパースターの束を部屋に集めることは、必ずしも同じ結果を得られるとは思いません。だから私は、多様で補完的なチームを構築することを強く信じています。だからガラクティコスを買うだけではいけないのですね。
必要ないと思います。人々をグループに入れることについて本当に思慮深くなければならないと思います。チームが焦点を持つことも大いに役立ちます。あらゆる方向に行くと、人々が一緒に働くことから得られるその力を失います。
だから、北極星は何か、目標は何か、どこに向かっているのか、多くの明確性を持つことです。時間とともにそれが変わる必要があるかもしれませんが、そのレベルの明確性は、みんなが同じ方向に働くために必要です。
率直に言っていいでしょうか。ガラクティコスを買う必要がないなら、なぜAndrew Tull、Daniel Gross、Alex Wangのようなガラクティコスが集結しているのですか。それは間違っていますか。チーム内にこれらの超才能の何人かは必要です。この技術を非常に深く理解している人々の数は比較的少ないです。
この才能のいくらかは必要で、余裕があるなら、その才能のいくらかを得るべきです。しかしチーム全体がそうである必要はありません。補完的なスキルを持つチームも必要です。それは良いチームを作りますか。例えば、100億ドルを渡してチームを構築するために、これらの贅沢なスタープレーヤーを何人か買えるとします。
スポーツチームのトップトランプカードのような気がしますが、何人か買えます。一人が30億ドルの人で、残りがただの平均的な5000万ドルの人々のとき、それは良いチームを作りますか。誰かが雇用する機会を提供してくれるなら、ノーとは言いません。この分野には確実に非常に才能のある人々がいて、彼らは公正に報酬を受けるに値します。
この技術は多くの人々を非常に裕福にし、社会に関して大きな影響を与えるでしょう。だから私たちは才能に報いるべきです。しかし、どのようなチームをまとめるか、彼らがどのように一緒に働くかについて非常に思慮深くありたいと思います。どのように一緒に働くかを思慮深くせずに、スーパースターの名簿を雇うだけではなく。
だから、これらのチームで持つことができる影響のために、実際に見る数十億の価格タグでさえも正当化されうるということですね。時間が教えてくれるでしょう。そのスケールまで行く必要があるとは思いませんが、時間が教えてくれるでしょう。
もし私があなたに100億ドルを渡したら、まず何に使いますか。必要なことの一つは、才能と計算能力のバランスです。才能が多すぎて計算能力が十分でなければ、時間を無駄にしていると思います。だから通常、これら2つの間に均衡が必要です。
私たちはしばしばデータの重要性を過小評価していると思いますし、データはますます高価になっています。だから確実にそれにも良いチャンクを費やすでしょう。そこには展開すべきことがたくさんあります。
今日、十分な計算能力があると感じていますか。構築したいモデルを構築するという点で、計算能力の面では合理的に十分なリソースがあると思います。そうですか。だからアクセスは大きな問題ではありません。いいえ。わかりました、素晴らしい。なぜデータはより高価になっているのですか。
データはさまざまな形で提供されます。一方で、これは猫でこれは犬だと言えるデータラベラーを持つ日々は多少終わりました。簡単なタスクはAIができます。だからより専門的なタスクが必要な空間に入っています。
だから、企業向けのAIを構築していることを想像してください。特定のビジネスロジックがあり、エラーをキャッチしていることを確認する必要があります。ツールのより深い理解を持つ誰かが入ってきて実際にデータを準備する必要があります。だからそれはより高価な才能です。
また、合成データである多くのデータもあります。だからエージェントを構築するとき、環境を構築する必要があります。そして環境を構築するには、合成シミュレータを構築してくれるかなりクリエイティブな人々が必要です。これはロボットの側面で長年見てきました。人々がロボットシミュレータを構築しています。
今、企業向けのAIを構築しています。だから、これらの作業プロセスをどのように合理的にリアルな方法でシミュレートするかを考える必要があります。AIがそれで訓練できるように。だから、その環境とベンチマークと動的領域の生成は、かなり高価にもなりえます。
再び多くのことを見ると、展開すべきことがたくさんあります。しかし、高価なデータを見たとき、そしてあなたはああ猫犬街灯柱、これらのキャプチャ、ランプポストがあるものをクリックするものを持っていると言いました。私はそれらを間違えます。私は正当に間違えます。天よ、より難しくなっていると思います。本当に難しくなっています。
つい先日、CFOに電話しました。私はRevolutに失敗しました。申し訳ありません。30分後にもう一度試します。私のAIエージェントにそれに答えさせてください。恥ずかしいです。しかし私が持っている質問は、MturkerやSurgeやScale AIのようなものを見ると、その才能の多くを提供している市場をどう評価しますか。
それは継続的で永続的な市場ですか、それとも次の3〜5年間、これらのモデルのトレーニング段階で必要とするだけで、それを超えてどうなるか分からないというものですか。人間と機械の間のこのパートナーシップで、人間が機械に指導を提供するという意味で、それは段階だとは思いません。私たちは長い間これに取り組んでいます。
変わるのは、AIが提供する情報と、人間が補完として提供しなければならない情報の性質です。だから、これらの企業の一部は5年後には存在しないかもしれませんが、人間がAIシステムの動作を導き訓練するという概念は、ここに留まります。
非常に興味深いです。私は投資家として、それらの一つに投資しているので、すべてが今3つのことをする必要があるという点で収束しているのを見ています。彼らはかつて単に才能の獲得でした。ああ、これらの人々をあなたに提供します。そして今、彼らは、これらの人々を提供し、実際に使える高品質のデータを提供すると言っています。
そして今、必要な第三の柱があります。それは、ああ、そのデータをモデルに実装するのも手伝います。トレーニングを行い、ベンチマーキングで実際にそれを証明するのを手伝います。そして今、彼らは3つすべてが必要です。その3つ目を見ていますか。それは彼らのデータの実装でもあります。ただフェンス越しに渡すだけではありません。
確実にそれが起こっているものがいくつかあります。私にとってさらに大きなトレンドは、単にデータをラベリングすることから、新しいタスクを生み出すために環境を作り出すことへの移行です。
合成データについて言及され、それも考慮すべき非常に重要なセグメントです。合成データを学習するモデルのこの強化ループを得ると、モデルの劣化を得ますか。合成のためにより多くのデータを作り、それが実際に劣化するのか、それとも改善するのですか。
それは本当に合成データをどのように生成するかによります。だから画像や言語のようないくつかの領域では、お互いに話しているLLMのようなものでは、ある時点で確実に劣化を得ます。そしてその劣化は本質的に、データの多様性の喪失によるものです。
だから、アナロジーを作ることができます。人々の束を島に連れて行って繁殖させます。ある時点で遺伝的多様性は縮小し続けるでしょう。そして、モデルでは合理的に似た現象を得ます。なぜなら、データに多様性を注入していないからです。だから、多様性の欠如が分布の崩壊を意味する領域があります。
多様性を必要としない他の領域もあります。チェスをプレイすること、囲碁をプレイすること、これらの種類のゲームを考えると、ボード構成を生成する方法を正確に知っています。だから、無限ではありませんが、それは閉じた世界なので、大量の合成データを生成でき、それを通じて長い間学ぶことができます。
それから、その中間のような領域があります。コーディングを考えると、合成コードを生成できます。通常のコードを取り、コードに多様性を注入する方法を知っています。いくつかのリポジトリを取って混ぜ合わせ、LLMを適用して変換することができます。だから合成データを生成する方法があります。
言語は十分に予測可能で、十分な構造があるので、崩壊を得ないように多様性を注入する方法も知っています。だから、特にこれらの領域では、はるかに多くの合成データを使用でき、パフォーマンスの劣化に苦しむことなくそれを行えることを願っています。
私たちがはるかに悪いコードの世界を作っているのではないかと心配していますか。多くの人々が出力されているコードの品質について懸念しており、実際に私たちがかなりでたらめにそれに依存していることについてです。それについて心配していますか。
生成の品質という点でアナロジーを作らせてください。コード生成について聞かれましたが、2015年の画像生成に戻りましょう。頭の中にあるか分かりませんが、生成された画像の品質は、2015年には画像生成モデルがありましたが、本当に悪かったです。解像度が悪く、構成が悪く、などでした。
そして2015年から2022年頃まで、画像生成の品質という点で大きな進歩を見ました。だから、コード生成を考えてください。今、私たちは画像が10年前にいた段階にいるのです。はい、多くの悪いコードが生成されています。捨てられるコードがたくさんあります。
しかしさらに10年待てば、生成されるコードの品質は素晴らしいものになると思います。それがそうである場合、10年後の開発者の世界はどうなっているでしょうか。まあ、私のアナロジーをさらに進めると、安心できるシナリオかどうか分かりません。なぜなら、今日の画像生成を見ると、生成されている画像の量は膨大だからです。
今重要なのは、その量から品質を選び出すことです。だから、コード生成で10年先を見ると、多くの異なることをする大量のコードを生成する能力を持っているとき、実際に価値があるとき、実際に欲しいコードを決定するための選択メカニズムが必要になるでしょう。だからそれは来ます。
依然として何らかの編集上のデザイン選択があるでしょう。誰かが、生成できるすべてのコードの中から、生成したいコードは何か、デジタル世界で実行する必要があるものは何かを決定する必要があります。だからチーフキュレーションアーティストのようなものです。はい。キュレーションはなくなりません。キュレーション検証。これはなくならない仕事です。
そうなるとチームの構造は根本的に変わりますか。それはあなたに再生するのが面白いです。そしてまた、人間についてあなたが先ほど言ったことを再生します。もしそうなら、人間とAIの間にはあまりパートナーシップはないですね。
それは大量の人工的に作成されたコードの上に座っているチーフキュレーション人です。まあ、それがあなたの10倍の生産性向上です。そこのボックスにチェックを入れています。それは人間を取り除きます。それでも、意図を持つ人々が必要です。それが、何を構築したいのか、それがどんな目的に役立つのかを決定する必要があるということです。
だからその意図はまだそこにあります。批評の役割はまだそこにあります。だから、チームの構成は、突然、手の中に驚くべきツールを持つデザイナーがいて、頭の中のアイデアから直接デジタル世界へ、おそらく最終的には物理世界へ行けるとき、大きく変わります。その方程式は確実に変わります。
プロンプトと、今日プロンプトやチャットベアリーと対話する方法が、人間のAI関与のための永続的なインターフェースだと思いますか。それはひどく限られていて、プロンプトはいくつかの異なることを意味する可能性がありますが、ボックスに入力するというアイデアは、私にとって非常に限られています。私たちはそのボックスから抜け出すでしょう。すでに。
音声がインターフェースとしてはるかに自然である多くのケースを見ています。ジェスチャー、視線、これらのようなはるかにマルチモーダルな方法でAIと対話するのを見ることを期待しています。そのプロンプトボックスにただ留まるのではなく。
しかし言語は信じられないほど強力です。だから、プロンプトをアイデアを表現し機械とコミュニケーションする方法としての言語だと考えれば、それは強力なパラダイムです。人間として、私たちのコミュニケーションの多くは言語に基づいています。それから離れるとは思いません。なぜなら、それは情報を符号化するからです。
言語、言葉は、非常に多くの情報を非常に効率的に符号化するシンボルです。だから、それから離れることには近づいていないと思います。面白いことに、この会話は私にとって以前に持っていた多くの仮定を変えました。
あなたが信じていたことで、今は考えを変えたものについて考えるとき、最も重要なものは何ですか。私は、新しい証拠がある限り、いつでも間違っていることが証明されることを喜ぶ科学者です。本当に知りたいです。他の科学者は、非常に強い確信にしがみつくことがはるかに多いです。
私は弱い確信を持っていますが、科学的方法と厳密さ、実験的厳密さ、理論的厳密さにも非常に強い敬意を持っています。だから多くのことがあります。私は、ニューラルネットワークが必ずしも機械学習の究極の解決策ではないとかなり懐疑的でした。
ニューラルネットワークのピークのサイクルを十分に見てきて、それから役に立たなくなりました。そして、データのスケールを変えるたびに、数百の例から数千、数十万、数百万の例に行くたびに、毎回スケールパラダイムを変えるとき、ニューラルネットワークは普遍的関数近似器なので最初に試すものでした。
それからより良い何か他のものが出てきました。それは以前の世代では真実でした。2000年代初頭にニューラルネットワークよりも優れているとされたSVMのようなものを覚えている人もいるでしょう。そして私はこれについてかなり間違っていたようです。ニューラルネットが留まるようです。
バックプロパゲーションと勾配降下などを行う能力は、学習する本当に強力な方法のようです。他のみんなが非常に強く信じていることで、あなたが彼らがかなり間違っていると思うものは何ですか。
科学者として、極端なシナリオを予測している人々に対してあまり忍耐力がありません。AIの壊滅的リスクであれ、勝者総取り、AIが私たちの支配者になるようなシナリオであれ。私はそれに対してあまり忍耐力がありません。
必ずしも広く普及しているとは言いませんが、ただこれらの種類のシナリオを分析するための科学的厳密さが欠けていると思います。私ははるかに実用的で、地に足がついています。私はイノベーション推進派です。AIがどこに行くのか、それが解決できる問題を見るのに興奮しています。
しかし、ただSFシナリオを作り上げることにはそれほど興味がありません。あなたは最も信じられない、そこでの画像生成2015年について言及され、それがどれだけ改善されたかについて述べました。この空間に信じられないほどの資本供給が入っているのを見ています。明らかに長年見ていない方法で。
それは良いバブルですか、私たちが信じられない改善を得ていて、それが技術を根本的に前進させている良いバブルですか。それとも、コストがあまりにも法外になり、チームが構築するのにあまりにも不可能になり、コンピューターがあまりにも困難になっている悪いバブルですか。それは良いバブルですか、それとも悪いバブルですか。
私はそれをより大きな分散を持つバブルとして考えます。上昇は大きくなり、大きな下降もあるでしょう。だから今、システムには多くの分散があります。人々がリスクに対する寛容性を持っている限り、AIは素晴らしい投資だと思います。
そして、リスクを取ること、新しい企業、新しいアイデアを支援し続けるべきです。作られている非常にエキサイティングな新しいスタートアップがたくさんあります。それらを支援し続けるべきです。ただリスクに対して寛容である必要があります。
番組に出演した何人かの人々が、評価は率直に言って無意味だと示唆しています。そして彼らは実際にはもう何も意味していないと。そして「humanity’s last test」のようなものは、それは本当に何を意味するのでしょうか。そしてこれらの新しいテストが現れて、これは何ですか、そしてリーダーボードは何ですか。これは公正ですか、それとも実際にはエコシステムに非常に効果的な有用性を提供していると思いますか。
それらは本当に良い指標だと思います。だから、知識という点で評価を真剣に受け止める必要があると思いますが、究極の目標という点でそれらを真剣に受け止めるべきではありません。だから評価があり、多くの異なるベンチマークなどがあります。
どのようなタイプのモデルを構築しているか、システムの特性は何かを決定し、それから評価をシステムのパフォーマンスのユニットテストのように考える必要があります。ソフトウェアエンジニアはそれが何であるかを知っているでしょう。その評価を実行すると、特定の次元でシステムがどのように行っているかのシグナルが得られます。
しかし、ますます一般的で、非常に特定のタスクを行うシステムを構築しているので、これらのために最適化しません。つまり、企業に入るAIシステムを構築しています。私たちのクライアントは誰も、このモデルで数学オリンピックに勝てますかと尋ねません。彼らはそれを気にしません。
彼らは自分たちのビジネスに価値をもたらすことを気にします。今、数学の問題でどれだけうまくやるかを知ることに興味がありますが、それは他のことの行動を予測できるからです。しかし特定のベンチマークに執着しません。構築しようとしているものに関してROIのようなものを見ます。
お聞きしてもいいですか。企業のアクセスについて言及しました。企業にはお金があり、それは多くの場合大きな贅沢です。研究機関、大学はしばしば持っていません。バブルのような傾向で、お金を持っている人々は計算能力、人材を買うことができます。
素晴らしい機関のためのアクセスや民主化の欠如を見ていますか。教育機関であって、この新しい世界で競争する余裕がない可能性があります。確かに多くの大学は、今日の企業よりもはるかに少ないリソースを持っています。それは完全に新しいことではありません。
2017年にMetaに参加したとき、そうした理由の一つは、計算能力へのアクセスの格差がすでに見えていて、はるかに多くの計算能力で研究をどのようにできるかを見ることに本当に興味があったからです。しかし、大学では依然として素晴らしい研究が行われています。
主要な国際会議NeurIPSやICMLなどに行くと、しばしば最優秀論文賞は実際に大学の研究者によって獲得されています。小規模でテストする必要がある多くの良いアイデアがあります。そして大学では、小規模でかなりリスクの高いアイデアを選ぶはるかに多くの自由があります。
しかし、企業でしばしば起こる方法で研究を正当化するよう求められることはありません。だから彼らはエコシステムで異なる役割を果たすと思います。そして実際に特に良いのは、人材が彼らの間を流れることです。大学生が入ってきて、インターンシップをして、企業で仕事をします。
これらの大企業から出てきて大学に戻り、教え、学んだことを次世代と共有する人々の動きも見てきました。成功を見たことがあることがどれほど重要で、それがあなたをどれだけ価値あるものにするのでしょうか。Ilya が100億のうち20億を調達しているのを見ると、まあ、彼女がOpenAIで見たような成功を見た人は誰もいないので、それは妥当だということになります。
投資家として私を助けてください。私たちがいる、あるいはいるこのレベルでそれを見たことへのアクセスにそれほどのプレミアムを置くことは、それほど妥当ですか、それともそれは少し過大評価していますか。
多くの場合、どこに投資するかを決定することに関しては、具体的な情報を持っていない非常に早い段階で、人々の実績を見ます。そしてその一部は、彼らがコアレシピという点で何を学んだかかもしれませんが、もう一つのことは、世界クラスのモデルを構築している素晴らしいチームをまとめた実績でもあります。そしてそれには多くの微妙さがあります。
だから、これらの要素の両方、これらの要素の両方を考慮することが重要だと思います。もしあなたが今日投資していて、私のチームに参加しているなら、どのカテゴリーに最も投資したいですか。セキュリティであれ、生成AIであれ、コンプライアンスであれ、何でも。
ええ、ヘルスケアや科学的発見など、信じられないほどの可能性を持つ多くの垂直市場があると思います。5年以内に本当の具体的な進歩を見ることができ、それが私たちができることの顔を完全に変えるでしょう。だから私はおそらくそこを推すでしょう。
それは特にヘルスケアの面で、そのタイムラインを考えるときも非常にエキサイティングです。もしよろしければ、あなたとクイックファイアラウンドをしたいのですが。短い声明を言います。技術的または財政的制限のために、最もやりたいができないことは何ですか。
AIエージェントの社会をどのように構築するかを考え出すことに非常に興味があります。暗黙的にそれをやっていますが、AI エージェントの集団が一緒に相互作用し、それを行うためのサンドボックスを持つことをどのように見るかです。だから多分私がやることになるでしょう。
それは時間、リソース、他の何かの欠如ですか。やるべきことがたくさんあるだけですが、そこで何が起こるかを見ることに興味があります。エージェントのそのエコシステムについて考えるとき、あなたにはお子さんがいます。はい。そしてAIは他の人間との関係、友情、社会的なものを変えます。AIは社会的な友情のつながりにどのような影響を与えると思いますか。
確実に影響を与えますか。確実に影響を与えます。そして、私たちがデジタル世界で多くの時間を過ごすという感覚があります。そして一部の人々にとって、私の子供の2人を見ると、彼らは友人とオンラインゲームをプレイして、デジタル世界で多くの時間を過ごします。それはまだ非常に社会的です。デジタルプラットフォームはそこにありますが、それはまだ非常に社会的な体験です。
他の人はより個人的な体験を持っています。その社会的要素を探しに行くプラットフォームに向かって費やす時間の変化が確実にあります。知っていることを知って、お子さんにさせないことは何ですか。ああ、砂糖を食べ過ぎること。完全にそれです。だからそれは物理的な食事のようなものです。完全に同意します。はい。
技術的な食事はありますか。設定について話し合うのに時間を費やします。Instagramアカウントを取得します。素晴らしい。Instagramアカウントを持てます。しかしそのアカウントの設定は何ですか。彼らが理解することを確認します。彼らは行って変えるでしょう、お母さんですね。設定を話し合うつもりです。
ああ、それは人気がありませんでした。彼らは聞きますか。子供たちについては、後になるまで分かりません。スクリーンタイムを制限しますか。特に幼い頃に、スクリーンタイムを制限することに多くのエネルギーを費やしました。私の子供たちは14、15歳まで携帯電話を持っていませんでした。
「Adolescence」を見ましたか。見ていません。わかりました。見てください。魅力的です。基本的に、小さな男の子が寝室に上がって、TikTokやRedditのラビットホールに迷い込んで、うまく終わりません。それについて聞いたことがあります。座ってそれをする時間がなかっただけです。
孤独のパンデミックと、私たちが抱えているメンタルヘルス危機について心配していますか。一般的に人々が精神的に健康であることを確認することについて非常に心配しています。はい。つまり、注意しなければならないと思います。ショートカットを取ることについて、特定のプラットフォームがあるから、AIなどがあるから、それがメンタル illness を引き起こしていると言うことについて。
苦しんでいる多くの人々がいて、彼らは状況に対して良い答えを持つに値し、本当の解決策を見つけるに値します。多くの人々がショートカットと短い答えを探していますが、それについてより多くの研究が確実に必要だと思います。
Zackと働くことからの最大の教訓は何ですか。彼は仕事を理解することに信じられないほど深く入り込んでいます。楽をしません。AIに興味を持ち始めたとき、彼がする質問の深さは、本当にトピックに興味を持って超深く入ります。そしてそれが彼がその後行うすべてのことを知らせます。
だから最も素晴らしいチームを持つことができますが、リーダーとして、深く入って仕事を理解する必要があります。彼が変わるのを見ましたか。誰でもトピックについてより知識が豊富になると、より決断力が増します。本当に学んでいて理解しようとしている段階があり、多くのことを理解してより速く決断を下す段階があります。確実にその変化が起こりました。
魔法の杖を持っていたら、禁止したい一つのAI流行語は何ですか。実存的リスク。なぜですか。それは人々を恐れさせるだけだからです。そして恐れから私たちは最高の仕事をして良い決断を下すわけではありません。才能のコストが法外だと感じますか。才能はコストがかかります。才能のある人々は良い報酬を得るに値します。
そして繰り返しますが、お金だけのために来る人は、めったに適切な人になりません。しかし人々を公正に報酬する必要があります。完全に理解できます。最後の一つ。あなたが最も興奮していることは何ですか。実存的リスクは好きではありません。破滅の日の計画は好きではありません。
もたらされる肯定性について考えるとき、今後3〜5年を楽しみにするとき、最も興奮していることは何ですか。科学的発見のためのAIの仕事のいくつかは、見るのがかなり魅力的になると思います。それが開くドアという点で、解決策の組み合わせ空間を探索する能力という点で。だから私はそれについて興味があります。
そして、実際にどのようにしてモデルをより効率的にできるかを見ることに超興味があります。より大きく、より大きく、より大きなモデルがあります。誰もこれらのモデルを実行したくありません。オープンソースモデルを構築することに私のキャリアの多くを費やしました。
そして一つの例を挙げます。大規模言語モデルの熱狂の中にいました。そして先月最もダウンロードされたモデルの統計を取りました。2019年のRobertaのようなモデルがありました。小規模言語モデルは月に2000万ダウンロードを得ていました。
人々は使える、実行できる効率的なモデルを欲しがっています。だから、1つまたは2つのGPUで動作するスケールで何ができるかを見ることにも非常に興味があります。最後の最後の一つ。オープンについて言及されました。今、閉じた世界に戻っているようです。それは私たちが予測し計画すべき世界ですか。
それは間違いです。それは深い間違いです。特に研究にとって、アイデアは循環する必要があり、ただ閉じ込めることができるという考えは絶対に誤りです。人々は循環しています。閉じたシステム、閉じたアクセスのような世界に移行していると思いませんか。アクセスを閉じている場所や人々が確実にいくつかあります。
それが効果的になるとは思いません。アイデアは循環するでしょうし、イノベーションを促進するという観点からも間違いだと思います。これは非常に楽しかったです。この会話から多くを学びました。私の非常に基本的な質問に付き合ってくださってありがとうございました。しかし番組に出演していただけて嬉しかったです。どういたしまして。ありがとうございました。
コメント