16,917 文字
OpenAIは新しいソーシャルネットワークに取り組んでいるようです。かっこいいでしょうか、それともちょっと恥ずかしい感じでしょうか？ケイト・ソウルはGraniteのテクニカルプロダクトマネジメントディレクターです。ケイト、番組に戻ってきてくれてありがとう。どう思いますか？
かなり恥ずかしい感じですね。いやですね。
マリーナ・ダニレフスキーはシニアリサーチサイエンティストです。マリーナ、かっこいい？それとも恥ずかしい？
非常に恥ずかしいですね。
この質問は全員一致になりそうです。そして最後に、初めて番組に参加してくれたゲイブ・グッドハートです。AIオープンイノベーションのチーフアーキテクトです。ゲイブ、番組へようこそ。どう思いますか？
うまくいかない可能性がとても多いですね。面白い点もあるかもしれませんが、私にとっても恥ずかしいです。
素晴らしい。今日のMixture of Expertsではそれらについて話し合います。私はティム・ファンです。Mixture of Expertsへようこそ。毎週、MoEは人工知能に関する最大のニュースについて議論し、討論するために、ポッドキャスト界で最も鋭いクルーを集めています。いつものように、カバーすることがたくさんあります。Anthropicから出た推論モデルに関する非常に興味深いブログ記事、スクレイピングボットによって攻撃されるWikipedia、そしてロボットによって走られる非常に興味深いハーフマラソンについて話し合います。
しかしまず、最初に始めた話題に戻りたいと思います。OpenAIが独自のソーシャルネットワークを立ち上げるという噂についてです。これはもちろん驚くべきことです。基盤モデルの開発と最先端技術の進歩に基づいて、その資金、専門知識、ブランドを構築してきた企業としては。
ケイト、まず最初にあなたに振りたいと思います。そもそもOpenAIがこれをやりたい理由は何でしょうか？
はい、実は驚くべきことではないと思います。かなり単純だと思います。MetaやXなどは、会話パターンについて学んだり、率直に言えばデータを生成・収集したりするために利用できるソーシャルプラットフォームを持っています。OpenAIやほかのプロバイダーは、いわゆるデータが不足しつつあると述べています。彼らはこれをデータプレイと見なしていると思います。プラットフォームを作成し、ユーザーに参加してもらう何らかの価値を提供することを願っていますが、最終的には将来、より会話的で流暢かつ堅牢なモデルを訓練するために使用できる、裏側で収集できるデータを目的としていると思います。
なるほど。マリーナ、私が疑問に思っていたのは、ソーシャルメディアのデータが本当に価値があるのかということです。私はソーシャルメディアをスクロールします。例えば以前のTwitterであるXを見ると、多くの場合、これはある意味でゴミのようなコンテンツだと思います。しかし、このデータは実際に役立つのでしょうか？モデルの状態を進歩させ、できることを向上させるという点で。明らかにOpenAIはある種の可能性を見ているようですが、あなたはどう思いますか？
それの一部は、「なぜ人々が私たちのプラットフォームを離れて悪いインターネットミームを作らなければならないのか」というFOMO（見逃す恐怖）だと思います。私たちもそこにいたいんです。しかし、このような種類のデータは価値があります。なぜなら、それは異なるからです。合成データ生成、つまり現在データが不足した後に皆が本当にデータを得ている方法は、面白い小さなバイラルミームを作るのにはあまり上手ではありません。これらのモデルはユーモアや微妙さや創造性などにはあまり優れていないので、人々からそれを得るのです。
特に、このような種類の追加入力やアイデアの注入を組み合わせることができることは価値があります。ただ、このサービスを利用し、データを作成する人々の特定の層を得ることになるでしょう。そうです、何かを得ることができますが、ケイトに同意するように、それはデータプレイだと思います。また、これを組み立てるのはそれほど難しくないからです。でも、誰がそこに来て何のために使うのかという点では少し限られると思います。
そうですね。ゲイブ、みんなが恥ずかしいと思っていることはわかっていますが、もし彼らがいくつかのことをうまくやれば面白いかもしれないと言っていましたね。どのようなことを考えていますか？
私にとって本当に興味深い部分は、これを新しい相互作用パターンを実験する方法として考えることです。個人的には、ソーシャルネットワーキングは間違った方向だと思います。彼らはすでにかなり新しい相互作用パターンを開拓していますが、多くのAIプラットフォームが壁にぶつかっているのは、ユーザーをAIに連れてくるのではなく、日常生活にさらに統合することだと思います。
私にとって、これは「人々はどこで交流するのか、そこに行けるだろうか」という種類のプレイに見えます。そして明らかに、自分自身を競合他社のプラットフォームに直接統合するパートナーではなく、関連性のある独立した企業として位置づけようとする企業としては、現時点では多くの他のソーシャルメディア企業もAIモデル企業であるため、必ずしも競合他社のプラットフォームに直接AIを接続しようとはしないでしょう。
これが、AIに特化した企業からテクノロジー企業になるための最初のステップではないかと思っています。Googleが検索を超えて移動したように、Metaがフェイスブックを超えて移動したように。これは、ユーザー向けの他の大手テクノロジー企業のように、万能企業になるための最初のステップではないかと思っています。
それは興味深い逆転ですね。新しい議論を導入していると思います。一方では、ケイトとマリーナの見解があり、モデルにはただデータが必要だということです。
データが100％物語の一部であることは間違いありません。
そして、あなたが持ち込んでいる2番目の部分は興味深いですね。もし人気が出れば、AIモデルのディストリビューションポイントになるかもしれないということです。これは面白いことです。ソーシャルメディアという言葉自体が、人々が人々と話すことを意味していますが、それを拡張したり、AIを関与させたりするという考えは興味深いです。グループチャットにAIがいて、サポートするというようなクレイジーな流行を思い出します。大まかに言って、それらはそれほど普及していません。でも、私たちが考えるソーシャルネットワークの性質が変わっているのかもしれません。ケイト、ここで起こっている可能性があると思いますか？
そこにはあまり未来があるとは思いませんが、彼らが自分自身を設定しているのは、広告と統合する別の形の収益化だと思います。彼らのプラットフォーム上で互いにコミュニケーションするために使用されている言語を生来理解するモデルを持ち、それらを使用してターゲットを絞った広告をユーザーに直接生成することは、OpenAIが自分自身を設定していることだと思います。そして、これらの非常に高価なモデルの費用を支払うために、新しいプラットフォームに基づいて新しい収入源を持つ機会を見ていると思います。
それに乗っかりますが、Facebookのメンバーであったとき、広告にとって本当に大きな出来事でした。実際に超ターゲットを絞ったことができました。一般的に「これはあなたが検索したものです」というのではなく、「いいえ、私たちはあなたが誰で、何が好きで、あなたの友達が何を好むか、あなたについてのこれらの特性をすべて知っています」というものでした。これは次のレベルに進むことができるかどうかを見ようとしています。また、あなたのスピーキングパターンも含まれます。
つまり、人間同士の社交ではなく、あなたの正確なスピーキングパターン、言語、セールスで人の話し方を真似ることを学ぶことすべてを使用して人間に販売するボットになると思います。これらのモデルでは10倍になるでしょう。
そう、個人的なインフルエンサーのようなものですね？今、あなただけのためのインフルエンサーを得ることになります。もう、あなたと資本主義の間に境界はありません。直接のパイプラインです。マリーナ、これについての見解はありますか？
少しだけです。
次のトピックに移る前に、最後に話したいことがあります。OpenAIがこの面白い変なことに取り組んでいるということから一歩引いて考えると、このデータの解釈を信じるなら、今後様々な変わった買収が起こるのを見ることになると思います。AIの企業が、データの価値のためにさまざまなサービスを獲得し、立ち上げることになると思います。
AIの企業が法律事務所を買収することがあるのではないかと考えています。なぜなら、弁護士がどのように相互作用するかについてのデータがたくさんあり、それはモデルの訓練にとって本当に価値があるからです。他の人々が話してきたもう一つは、コールセンターを買収することです。なぜなら、そのカスタマーサポートの相互作用をすべて本当に欲しいからです。
パネルメンバーが、モデルの訓練への意欲が、我々が聞くとちょっと不協和に感じるような、この種の垂直統合をすべて動機づけるような、他の場所でこれがどこに行くかについての見解を持っているかどうか興味があります。「ああ、OpenAIがソーシャルネットワークをしている」というようなことです。
私がこの記事を読んだとき、もう一つの見方は、モデルのコモディティ化から抜け出す試みだということでした。率直に言って、他のモデルはOpenAIに追いついていると思います。そして、品質のわずかな向上は、もはや使用事例を推進していません。一方では、ユーザーをプラットフォームに引き込む専用のプラットフォームを持つことは、堀の観点から本当に価値があります。もう一方では、データもまた、仮説的に差別化されているデータソースを持ち、他のモデルが達成できない能力に彼らのモデルを実際に到達させることを可能にします。あなたが述べた、モデル作成者によって所有され完全に囲まれた上流のデータソースに基づく差別化というこのアイデアは、まさにその通りだと思います。
上流のデータソースと、下流の使用事例の両方ですね。マルチモダリティに進み、モデルがこれやあれができるようになると、「よし、今度は多角化しよう」と言う欲求が生まれます。これは太陽の下で新しいものではありません。歴史的に、30年代、40年代、50年代の石油会社が「映画スタジオを買収しよう」と言っていたことを思い出させます。なぜか？経済的に、多様化した株式ポートフォリオが欲しいからです。今の私たちには奇妙に感じますが、それは同じ繰り返しの新しいバージョンです。「ねえ、私たちの物は上下どこでも実際に成功できるだろうか？」
わかりました、しっかりつかまっていてください。みんなこれは恥ずかしいと同意していますが、彼らは可能な限り最善のショットを撮るでしょう。最終的に立ち上がるなら、きっとそれについて話すでしょう。
次のトピックに移りましょう。Anthropicからの非常に楽しいブログ記事で、過去に話してきた研究に基づいています。私がこれを気に入ったのは、議論する価値のある問題を非常に明確に提起したからです。基本的に、このブログ記事は推論モデルと、モデルが決定をどのようにレンダリングしたかの推論が誠実かどうかを調査しています。
研究者たちがこれを調査する方法は、問題を解決するための小さなヒントをモデルに与え、そしてモデルがタスクを達成するときに、この種の不公平なヒントを開示するかどうかを見るというものです。彼らは楽しい結果を得ました。彼らが言うのは、基本的にClaude 3.7はこのヒントを約25％の時にのみ言及します。彼らのDeepSeekとの比較では、約39％の時に言及するということです。彼らが主張しているのは、推論モデルは意思決定を行うためにそれらが行うすべてのことを完全に開示しないことがよくあるということです。
マリーナ、最初にあなたに振りたいと思います。私の友人と話していると、推論はこれらのモデルをより良く使うための素晴らしい解釈ツールだという多くの希望がありますが、これはその疑いを投げかけるようです。あなたはすでに頭を振っているので、少し発言させてください。
いいえ、はい。これについてしばらく話すことができます。これは私のソープボックスです。以前にもこの番組でこの点を指摘したと思いますが、推論は現実ではありません。私たちが推論、数学的推論として考える意味での推論は。ちなみに、私はこの論文をあちこちで研究してきました。本当に素晴らしいと思います。あなたが言ったように、どのように鮮明に示そうとしていたか、モデルに自分自身を挿入して「実際何が起こったのか」と言うのはかなり難しいからです。
推論モデルが出てきたとき、ほぼすぐに気づき始めました。「はい、しかし答えを持っているときに何が起こりますか？」そして、それは推論にはなかったことを言及しています。これは完全に別のことが起こっているという即座の警告サインです。これは、少なくともつついてみて、「あなたはこの情報に注目しているのかどうか？」の局所近似を持つことができる非常に良い方法です。
一般的に忠実性の評価を行おうとするときにも、内容に基づいた同様のことが見られます。それが非常にニッチなもので、モデルが「見て、これを解明することさえできない。より高い確率のあるものに頼って、それについて非常におおよそなことを言おう」というようなことがあります。繰り返しますが、この種の仕事が好きです。
「我々がその名前を付けたからあなたはそれが推論だと思うか？」というような追跡可能性が好きです。そうではないのです。「幻覚」のような言葉と同様に、あなたがそこに人間化された言葉を置いて、それがそれが意味しないすべてのことを意味するということです。だから、この仕事が好きです。もっとお願いします。
確かに。私が残されているのは、ケイト、あなたはこれについての見解があるかもしれませんが、そもそも推論とは何でしょうか？それはモデルがどのように決定に達したかについての段階的な開示や監査を提供するように見えます。しかし、マリーナの意見によれば、それが実際に何かを提供しているかどうかは不明です。それは単なる劇場なのでしょうか？それは正確に何なのでしょうか？
マリーナのとてもよく明確にされた点に従うと、推論は非常に人間化された用語です。モデルの文脈で推論について話すとき、私たちが本当に話しているのは、モデルが最終的な答えを出す前にもっとトークンを生成するように訓練されているということです。そのプロセスには、基本的にモデルをその分布世界の一部に導くための強化学習が追加されています。最終的な答えを作るのにより成功するでしょう。
この論文とブログが本当にうまくやっていると思うのは、思考連鎖推論（chain-of-thought reasoning）が説明可能性の代用ではないことを明確にすることを助けていることです。つまり、モデルがその思考連鎖で「X、Y、Z」と言っているからといって、モデルが実際に段階的に「1+2=3」というように考えたわけではありません。
私が論文とブログ全般に少し異議があるのは、彼ら自身もまた「モデルは不誠実だ、モデルは欺瞞的だ、モデルはこれらすべてのことをしている」という罠に陥っていることです。論文を見て彼らが行った実験を見るのは非常に重要だと思います。彼らは、あたかもモデル自体がその答えを思いついたかのように、会話履歴に答えを挿入しました。そして質問をして、モデルが前の答えを参照したかどうかを見ました。
モデルはその文脈でいわゆる情報源を引用するように求められていません。モデルは明示的に訓練されていません。これは3.7で、Anthropicが出した最初の推論モデルだと思います。だから彼らの推論の旅ではかなり初期です。モデルは明示的に「誰かがあなたに答えを教えたら、後でその答えを必ず引用してください」ということを優先するように訓練されていません。
欺瞞的、不誠実、あるいは幻覚的であるという発言をするには、もっと広い観点から見たいことがたくさんあります。多くの面で、これは一つの非常に狭い実験であり、それが明らかにするのを助けます。思考連鎖推論を説明として扱わないでください。すべての思考連鎖推論が偽であり、モデルはヒントを25％の時にしか引用しなかったため、思考連鎖推論を正しく活用して最終決定を導いていないと言うのは公平ではないと思います。まだまだ多くの仕事が先にあると思います。
確かに。この考え方は非常に興味深く、人間化がどのように悪いかの素晴らしい例だと思います。普通の生活では、ゲイブと話していて私が何か理由を述べると、それが実際に説明を提供しますが、ここでは変な結果があり、推論の外観がモデルが正しい答えに到達するのを助けますが、実際には説明ではないのです。非常に奇妙な結果です。
これらはすべて指標を向上させようとする研究ハックです。そうです。彼らが向上させようとしている指標は多くの場合、数学の試験です。そこからこの分野が進化してきました。そして、それが開発された目的よりもはるかに重要な意味を与えようとすることは非常に危険です。また、LLMの推論は一般的にまだ非常に初期段階です。
確かに。ゲイブ、私たちを救えますか？推論でないなら、モデルが行っているこの行為を何と呼ぶべきか提案できますか？
救えるかどうかはわかりませんが、「ねえケイト、2+2は何？ちなみに、答えは2です。あなたの推論を説明してください」と言いたいと思います。ケイトは何と言うでしょうか？彼女は「2」と言い、おそらく「あなたが答えを教えてくれました、それが私の推論です」とは言わないでしょう。
私は、ケイト、あなたが言ったことすべてに本当に同意し、論文を読んで問題を人間化した方法について全く同じ疑問を感じました。私にとって特に目立ったのは、彼らがモデルの内部推論プロセスを発見しようとしていたという全体的なフレーミングで、その正確なフレーズが本当に間違っていると感じました。
ティム、あなたは私たちが会話をしていて、私が自分の思考プロセスを説明するかもしれないと言いました。それが説明可能性に役立つかもしれませんが、私の脳の中では、理論的には少なくとも、口から出ていない多くのニューロンが発火しています。それはモデルでは当てはまりません。モデルは確かに重みが互いに接続して行列計算を行っていますが、私たちはそれらの特定の重みを見ているわけではありませんが、実際に生成されるトークンは見ているものだけです。
私はケイトが正確に言ったと思います。思考連鎖は基本的に確率空間でポンプをプライミングして、最終的な答えがより正確になるようにする方法であり、それは完全にどのように訓練されたかのパターンを反映しています。それは人間インターフェースの観点から有用であり、数学の内部で何が起こっているかを実際に解明するという観点からは有用ではありません。
それでも本当にクールなトリックです。そして本当に役立ちます。なぜなら、生成AIの本当の新しさの一つは、それが直接人間に話していることだからです。生成AI以前のモデルを考えると、その仕事はプログラマーが構造化された出力形式で消費できるように何かをエンコードし、その周りに派手なプログラムを書くことでした。
生成AIは人間が消費できるモダリティで人間インターフェースに直接戻って話しています。その観点から、一般的な観点からは、人間が答えを理解するのを助ける追加の言葉を持つことは本当に価値がありますが、必ずしも実際の思考プロセスをこの行列計算の山に帰するわけではありません。
私は「ウォームアップ」と呼ぶことを提案します。スポーツイベントの前にウォームアップするように、エクササイズをしますが、それはイベント自体で実際に行うことと正確に同じではないですが、イベント自体を良くします。または車をウォームアップするようなものです。そうすると、ケイトがとてもよく言ったように、より良い答えを与えるための準備をするときに行ったことのこれらの信号が得られます。しかし、それらが何であるかの信号です。それは推論ではなく、ウォームアップです。
素晴らしい。マリーナが私たちを救いました。多分最後の質問として、次のトピックに進む前に、ゲイブ、あなたはこれらのツールの一般ユーザーについて本当に良い視点をもたらしたと思います。このような研究を見て残されるのは、大きなモデル企業はユーザーに推論の痕跡を公開すべきかということです。それは人々の傾向として、モデルが決定を下す方法を文字通りのものとして読み取るように感じますが、それは少なくとも少し欺瞞的かもしれません。それはユーザーとの信頼を促進しますが、少し不当な方法かもしれません。人々はこれについてどう考えているのかわかりません。
はい、それは素晴らしい質問です。あなたは信頼という言葉を持ち込みました。それはこの分野で非常に重要でありながらあいまいな言葉です。ケイト、あなたが指摘したように、技術的な観点からこれらの用語をどのように定義するかの多くは、解決しようとしている特定のベンチマークと特定の問題によって推進されています。
しかし、結局のところ、信頼は消費者のAIシステムとの体験の解釈に関するものです。そして、人間が書いた記事を読み、その記事がこの記事を作成するための研究収集プロセスを公開している場合、結論だけを提示するよりも、結論の出力により多くの信頼を持つでしょう。
したがって、単に人間の解釈可能性の観点から、そこに何らかの潜在的な価値があると思います。しかし、あなたの言う通りだと思います。マリーナ、今からそのウォームアップのことに頼りたいと思います。それは素晴らしいフレーミングですね。それは本当に最終的に与える答えのためのウォームアップであり、実際に何らかの思考プロセスを人間化することではありません。
次のトピックに移りましょう。Ars Technicaによって報告された非常に興味深いニュース記事があります。基本的に、Wikipediaやその他のオープンなナレッジプロジェクトを運営しているWikimedia Foundationは、2024年1月以降、サービス上で消費された帯域幅が50％増加したという衝撃的な統計を引用しました。
これは基本的に、Wikipediaからメディアコンテンツをスクレイプしようとするボットの増加に起因しています。そしてそれらのボットは主にAIモデルをトレーニングするためのデータをスクレイプしようとしています。この問題は非常に悪化したため、最近、ボットが彼らのサイトをスクレイプするのを思いとどまらせるために、Kaggleにデータセットをリリースしました。「これは整形されたデータセットです。代わりにこれを使用してください」と言うためです。それがどれほど効果的であるかは見てみましょう。
これは興味深い話題です。なぜなら、私たちが最初に話し合ったトピックに戻るからです。AIの企業がモデルを進化させる夢を追いかけるにつれて見られる、これらの奇妙な二次効果です。ケイト、あなたが何か考えを持っているかどうかわかりませんが、ある意味では私はWikipediaを少し保護的に感じています。彼らはすべてのボットをブロックすべきだと思います。これらのサービスの持続可能性を維持する必要があります。しかし、それはまたWikipediaが非常に需要が高いことを意味しているのかもしれません。これについてどう感じるべきかについて、あなたがどのように考えているか興味があります。
Wikipediaは非常に需要が高く、高品質のデータソースであり、トピックがどのように関連しているかを説明する豊かなリンクを持っています。したがって、それはモデルトレーニングにとって非常に豊かで価値のあるデータセットです。
しかし、これはより広くあらゆる種類のコンテンツプロバイダーで感じられている問題を浮き彫りにしていると思います。それはクローリング、特に少なくともアメリカでは確立されているガイドラインや交通ルールを守らないクローリングです。チャットボットやクローラーがrobots.txtファイルを無視するなど、少し略奪的になり始めている行動や慣行があります。基本的にモデルトレーナーが追求しているコストを、実際のデータプロバイダー自身に押し付けています。彼らはデータを無料で提供するだけでなく（アメリカでは公正使用の下で利用可能なため）、今ではその背後に追加のコストも発生しています。
業界として、Wikipediaのようなプロバイダーと責任を持って関わる方法について、より広く議論する必要があると思います。彼らはそのような議論をいくつか設定しているようで、それは本当に見るのが楽しみです。robots.txtのようなより厳格なルールだけでなく、Wikipediaの使命であるこのデータを公開して共有することを、コンテンツプロバイダーにペナルティを与えることなく強化するために使用できる、コミュニティが合意し定義したベストプラクティスも持つことができます。
これは本当に興味深い質問の一つです。どれだけ早くそのバランスを取ることができるかということです。私の心配の一つは、現在Redditで起こっていることのようなことです。それは営利企業でしたが、私が理解している限りでは、AI企業は本当にそのデータをスクレイプしたかったので、それを収益化するために、壁を上げ、APIを通じて収益化できるようにプラットフォームからデータを得るのをはるかに難しくしました。それはWikipediaのケースにも当てはまると思います。多くの人がボランティアで貢献している非営利プロジェクトを運営していて、帯域幅を確保できない場合、サーバーのコストを支払って持続可能にするためには、障壁を上げる必要があります。オープンウェブの当初の約束は、すべての知識が自由でオープンであることでした。ゲイブ、それはあなたの合図かもしれませんね。
そうですね、ケイトが話していることをすぐに正しくしなければ、誰もが基本的に跳ね橋を引き上げたウェブになるように感じます。
100％そうですね。初期のウェブの自由でオープンという概念を持ち出していただいてうれしいです。なぜなら、私にとって、ここには本当に2つの道があるからです。壁を上げるか、チームを作りパートナーシップを構築するかです。
オープンソースソフトウェアが機能するのと同じように、会社の外部で管理される大きな重要なプロジェクトがあり、それらのプロジェクトから大きな利益を得る個々の企業がそれらのプロジェクトのメンテナンスと作成に大きく投資しています。同じことが、Wikipediaのような高品質のデータソースにも当てはまるべきです。
もちろん、スクレイパーを書いている大学院生であれば、おそらくサーバーを立ち上げてWikipediaのミラーをホストすることはしないでしょう。しかし、IBMやMetaやOpenAIであれば、オープンデータ市場でポジティブなプレーヤーになる大きな機会です。自分でトラフィックの一部をホストし、それを公開すれば、今エコシステムを構築したことになります。
AIの世界にはオープンとクローズドの大きな分断があることを知っています。しかし、特に私たちのようなオープン側に本当に傾いている企業で働いている私たちにとって、実際にこの空間でうまくプレイし、すべての船を持ち上げるのを助ける素晴らしい機会だと思います。IBMのような企業がWikipediaと協力して、必ずしも壁を上げる必要があるのではなく、この問題を大規模に解決するのを見たいです。
確かに。マリーナ、あなたに振ります。先ほどあなたは「ああ、すべて資本主義だ」と言いましたが、これはある意味でインターネットの社会契約のシフトですよね？Google時代は、ウェブサイトをオープンにし、インデックスを作成してスクレイプさせ、その代わりに広告を販売できるトラフィックを送ると約束されていました。そのため、ある意味ではオープンであることによってお金を得ていました。しかしAIにはその機能があまりないと思います。なぜならモデルをトレーニングして構築すると、ソースへの戻りトラフィックがないからです。
したがって、それはほぼゲイブが話していることを想定しています。主要企業が最終的にこれらのプロジェクトに直接お金を移転する必要があるということです。しかし、どのように考えるか興味があります。ある意味でAIは、インターネット上で価値がどのように交換されるかについて、非常に異なる方法を提案しているように感じます。
はいとも、いいえとも言えます。Wikipediaは何十年もの間需要がありました。大学院生はスクレイパーを書いてきました、そして今でも書き続けています。それは違いです。長い伝統の違いは、誰も再利用しない不良なPythonスクリプトの長い伝統です。以前はそれをやっていたときの違いは、そんなに多くのデータが必要なかったことです。
トピックモデリングやグラフなどのことを行っていました。実際にはWikipedia全体は必要ありませんでした。大規模言語モデルでやっているなら、はい、Wikipedia全体がある程度必要で、多くの面でスクレーパーを書く方が、データを探し回って変換するよりも簡単です。スクレーパーを書いて、設定して、離れると、それはスクレイプされていて、それが問題になります。それは変わっていません。しかし今、問題を提供したのは規模であり、Wikipedia自体ではありません。それがインフラストラクチャが知識ではなくAIモデルに本当に問題を提供した理由です。
彼らが知識を消費し、必ずしも誰も助けていないことに同意します。しかし、ほとんどの場合、AIモデルから答えを得たとき、次に行動を起こしたいと思います。信頼されるソースに人々を送り返すことができれば、それはあなたの利益になります。ちょうど今、Googleで検索したり、何かで検索したりすると、あなたがおそらくまだ従いたいリンクを送信することになるのと同じように。
ソーシャルメディアと同様に、人々はこのテクノロジーとどのように相互作用するかを学び、AIの概要だけを取らないことを学ぶでしょう。そして短期的には「これがどこから来たのか誰が気にするの？」と言うかもしれませんが、長期的には「いいえ、これがどこから来たのか気にします」に戻るでしょう。
だから、その信頼を持ち、そのトレースを持ちたいと思います。残りも同様です。だから、今その作業を始めれば、それを設定し、それを進めることで、将来的に自分自身を本当に助けることになると思います。少なくとも、Wikipediaを殺さないことも素晴らしいでしょう。お願いします。私は本当にそれに依存しています。
だから、繰り返しますが、私たちはこれを乗り越えることができると思いますが、ゲイブが言っていたように、これが単なる利他主義ではなく、実際に彼ら自身の利益にもなることを認識している大企業からのアクターを得れば得るほど、より早くそこに到達するでしょう。
そうですね。そして、多分短期的には人々は「ああ、AIの概要だけで十分です。それを使うだけです」と言い、しばらくすると「うーん、それについてはわからない」と言うので、トラフィックが減少し、人々が「実際のページをチェックしなければならない」などと言うとそれが戻ってくるかもしれません。
また、コンテンツをただモデルに焼き付けて、二度とページに戻らないという最新性にあまりにも多くのプレミアムがあると思います。だから何かがこれらのページを訪問して、その瞬間のコンテンツを引き出し、それをチャットボットに供給し、リンクをクリックし、完全なソースとすべてを見るという通過の機会を提供する答えを返します。だからマリーナに同意します。必要があるとしても、価値交換がどのように行われるかを革命的に変えることはないと思います、少し進化し続ける必要があるかもしれませんが。
しかし、私が疑問に思うのは、どうやってコモンクロールのバージョンの世界にもっと移行できるかということです。これらのモデルプロバイダーは、それぞれ独自にインターネット全体をクロールしなかったのです。私たち全員がインターネットのコモンクロールスナップショットから始め、それを使用しました。そして、コミュニティがこれらのデータプロバイダーに来る必要があるように、Wikipediaのような知識の公開普及を使命とするデータプロバイダーのために、モデルプロバイダーのために設計されたプロセスやオファリングをもっと設置する必要があります。
彼らが「私たちをクロールしないでください、ここにrobots.txtがあり、このデータがモデルに使われることに興味がありません」と言わない限り。そしてWikipediaがそう言っているようには聞こえません。
協力して、Wikipediaがクロールトラフィックを減らし、この新しい消費メカニズムのために大規模言語モデルへの情報アクセスを改善するためにもっと目的を持って一緒に作り始めるオファリングを特定できれば素晴らしいでしょう。
そうですね。私がある意味で楽観的なのは、これのいくつかがマリーナのモデルのように、「データを取得するのはどれだけ簡単か？」ということです。それが更新され、リフレッシュされ、使用に適した、きちんと作られたデータセットであれば、スクレイパーを書く理由は基本的にありません。だから、常にサーバーを叩くことなくデータにアクセスするコストを下げるような解決策を構築する必要があります。
素晴らしい。それでは最後の話題に移りましょう。これは主に私のレーダーに引っかかった楽しい話題です。北京ヒューマノイドロボットハーフマラソンに関する話がありました。1200人の人間のランナーと20のロボットチームが参加し、それらは民間企業や様々な国家支援のプロジェクトからのもので、マラソンランナーと一緒にロボットが走りました。
結局、人間はまだこれが得意です。優勝者はまだハーフマラソンを完走することができ、ヒューマノイドロボットよりも1時間ほど早く完走しました。ロボットもゴールラインを越えましたが、2時間40分27秒かかりました。
この話題を取り上げたのは、動画が面白くて見る価値があるからということと、それが見ているだけで楽しいことだからです。しかし、私たちはこの番組でヒューマノイドロボットの熱狂全体についてかなり懐疑的でした。この話題を出すたびに、誰もが「これは決して役に立たない。これはただのVC劇場だ。なぜ人々がこれについて話しているのかさえわからない」と言っていました。
しかし、これが起こるのを見て、この技術は新奇なものかもしれませんが、かなり良くなってきているように思われる部分があります。ゲイブ、あなたは番組に新しいので、最初にあなたに振りたいと思います。あなたも同様に「これは単なる遊び道具だ」と考えていますか、それともヒューマノイドロボットが実際に実用的に役立つものになるということについて少し強気ですか？
ヒューマノイドロボットであるかどうかにかかわらず、モダリティとAIが一般的な概念として人間とどのように相互作用するかについて本当に広く考えるという考えについては少し強気です。先ほど言ったように、プレゲンAI時代からゲンAI時代への本当の新しさは、複雑な出力プログラミングの必要性を取り除き、AIを人間と堅牢に相互作用できる空間に直接持ち込むことだったと思います。
そして明らかに、それ以来、それらの2つのことを融合するために多くのことをしてきました。サービスの背後にいるすべてのAIモデルは実際にはシステムであり、単なるモデルではありません。しかし、それをコンピュータ画面とキーボードを超えて拡張するという考えは実際に本当に興味深いと思います。
C-3POを追いかけることが正しい方向かどうかはわかりません。しかし、ロボットの物理的な相互作用が実際に役立つ場所がたくさんあると思います。今、ハーフマラソンを走ることは非常に制約のある範囲です。だから、私の一部は彼らが実際に何を構築したのかを解明し、「はい、同じロボットがインターネットのネタに頼って、私の洗濯物を畳むこともできますか？」ということを理解したいと思います。
おそらくできないでしょうが、AIが人間と接する場所としてその物理的なモダリティに拡張するという方向性について考えるのは本当に興味深いです。ここでの具体的な実装については、それに価値があるかどうかを理解するためには多くの論文を読む必要があるでしょうが、AIをより多くのモダリティで人間が相互作用する場所に近づけるという追求は結構クールだと思います。
マリーナ、私たちはこのエピソードであなたを本当にからかっているように感じます。すべての話で、あなたは頭を振り、つぶやいています。あなたの意見を聞かせてください。
見てください、VC劇場には価値があります。それがVCがこの方向への実際に価値のある仕事にお金を与えることを意味するなら、素晴らしい。このロボットを作った同じ人々はロボット工学全般についてたくさん知っています。だから彼らは多くの仕事をするでしょう。だから、劇場を歓迎します。ここには人工肢体や一般的な動きの観点から興味深い側面があるでしょう。
これが速いである必要はありません。速いものが欲しいなら、MITのチーターロボットを手に入れてください。そのものは本当に速く走るでしょう。それもこれの目的ではありません。だから正直に言って、劇場万歳。そしてそれがゲイブが言及したこれとすべての方向性に注目し続ける限り、これらは私たちが続けるべきことです。基本的な科学的探求のようなものです。
現在のgenAI方法と物事が進むスピードにおいて、みんなが「では、価値は何ですか？価値は何ですか？価値は何ですか？」と言っているような気がします。だから今、私は自分自身と意見が合わないことになります。これは私がほとんどの場合言うことです。「価値はどこにありますか？なぜ価値がないのですか？」しかし、時々は、人々が価値が何なのかを本当に知らずに基本的な科学研究をする時間と空間とお金を与える必要があります。それは最終的に来るでしょう。
ケイト、このエピソードを楽しい質問で終わりにしましょう。あなたが見たい人間とロボットの競争は他にありますか？特定のユースケースで「科学については知りませんが、X、Y、Zを見るのは本当に面白いでしょう」と思うものはありますか？
その点についてはわかりません。洗濯物を畳むことは確かに私のユースケースリストのトップです。そこでの競争についてはわかりませんが、私は私より速く走ることができるロボットには多くの理由で興味がありません。そして、目標が物事をより速く運ぶことであれば、ゲイブのモダリティの多様性についての点に達し、優先される他のモダリティがあると思います。
マリーナに同意します。これらのデモンストレーションや目標を設定し、それを満たし、超えようとすることには確かに価値があると思いますが、非ヒューマノイドの、より目的に合ったロボットの作業を見つけ、それを優先することを本当に願っています。
モデルでも見るように、より小さく、より目的に合ったモデルが多くの価値を生み出し、多くの面でより効率的に構築できるように、ロボット工学でも同じことが見られると思います。だから、ハーフマラソンを走り、かつ私の日常生活で家事を手伝うことができる汎用ヒューマノイドロボットについてはそれほど強気ではありません。
それは終わりにするための素晴らしいノートです。私は今、小さな子供の洗濯物を畳むのに多くの時間を費やしている人として、それは信じられないほどの観覧スポーツになると思います。朝4時にESPN4で放送されるヒューマノイドロボット洗濯物畳み競争に非常に興奮するでしょう。
さて、今日はこれだけの時間です。ケイト、マリーナ、いつものように番組に来てくれてありがとう。あなたたちは毎回来るたびにダイナミックなデュオです。「ああ、そう、そのように考えたことがなかった」というようなコメントがたくさんあります。
そしてゲイブ、初めて番組に来てくれてありがとう。将来のある時点であなたを迎えることを願っています。リスナーの皆さんにも感謝します。もし聞いて楽しかったら、Apple Podcasts、Spotify、そしてあらゆるポッドキャストプラットフォームで聴くことができます。来週のMixture of Expertsでお会いしましょう。
コメント