19,435 文字
（冒頭部分）
そして中級レベルのコードまで書けるようになり、かなりの数のエンジニアが仕事を見つけるのに苦労しています。彼らが最初にAIに取って代わられるとは思いもよりませんでしたが、いずれにせよ環境や実世界に関しては、AIは苦戦しています。常識的な推論、創造性、実世界のシナリオにおける意思決定など。さらに、ほんの少し前に「エンジニアがAIによって仕事を失っている」と言っておきながら、「これらのモデルには常識や創造性、意思決定能力、数学的スキルがない」とも言っています。エンジニアには常識や創造性、意思決定能力、数学的スキルが必要ないと言っているのでしょうか？それらすべてが必要だと思いますが。AIにはこれらの能力がないのに、エンジニアに取って代わっているとどうして言えるのか理解できません。
彼はビデオの冒頭で「AIには致命的な欠陥があり、これ以上良くならない」と言っておきながら、最後には「最終的にはAIは人間ができることをすべてできるようになる、それは私たちにとって何を意味するのか」と締めくくっています。どっちつかずですね。AIが改善できないという立場を貫くか、AIが継続的に改善していくという立場を取るかのどちらかにすべきです。二兎を追うことはできません。
SVICポッドキャストへようこそ。私たちは誇大宣伝なしにテクノロジーの洞察をお届けします。共同ホストのジョー・タスキーと私ジョーダン・ティビドが最新テクノロジーを分析し、誇大宣伝を排除し、業界のトップゲストを招いて独占的な洞察をお届けします。
スライドビーンというチャンネルがあります。彼らは素晴らしい編集をしています。そして約束しておきますが、私たちの番組は百万年たっても、あの番組のような高品質な編集はできません。私のことですから。彼がこれらのビデオに投入している編集量を見るだけで、たとえチームでやっていなくても、疲れ果ててしまいます。彼は素晴らしいプレゼンターで、素晴らしいコミュニケーターであり、本当にクールな人に見えます。私はただこのビデオで聞いたことを批評しようと思います。
この線を見てください。これは1億ドルの線で、おそらく歴史上最も高価な数学の方程式です。これは限界、人工知能がどれだけ知的になれるかという物理学と数学の想像上の壁です。
彼は研究論文について話していて、この研究論文はNLMやそれらが学習できることに限界があると主張しています。「この線はAIがどれだけ知的になれるかを示している」という主張を聞いたとき、歴史上の名言を思い出しました。
1943年、IBMのトーマス・ワトソンは「世界市場は5台のコンピュータ程度だろう」と言いました。DEC社のケン・オルソンは1977年に「自宅にコンピュータを欲しがる理由は誰にもない」と言いました。物理学者のロード・ケルビンは1895年に「空気より重い飛行機は不可能だ」と言いました。ミシガン貯蓄銀行の社長は1903年に「馬は残るが、自動車は単なる目新しさと一時的な流行にすぎない」と言いました。ニューヨーク・タイムズは1936年に「ロケットは決して地球の大気圏を離れることはできない」と言いました。
ここ数年のAIの信じられないほどの進歩を見てきた中で、「これが限界だ、この線を超えることはできない、こうなるだろう」という断定的な発言を聞くと、いつも現実に引き戻されて「この人は何を言っているのだろう」と思います。
ここで彼がAIの成果について話しているクリップをご紹介します。「これらのモデルがどれだけ賢くなれるかには限界があり、その限界は最高の科学者たちでさえ克服できていない、そしてその手がかりは今…」
AIがどれだけ賢くなれるかの限界について考えるとき、私はrworldanddata.orgのデータも思い出します。それは人間のパフォーマンスに対するAIシステムのさまざまな能力のテストスコアを示しています。ゼロは基本的に人間のパフォーマンスレベルで、ゼロより上は人間より優れたスコアを達成していることを意味します。
2015年頃、コンピュータは画像認識で人間より優れるようになりました。2017年頃には音声認識でその閾値を超え、読解力については2017〜2018年頃に人間より優れるようになりました。手書き認識は2018年にその閾値を超え、2019年には言語理解が超えられました。2023年現在、予測的推論もほぼそこに達しています。
非常に短期間でこれほど多くの記録が破られるのを見てきたので、「AIの成果の壁にぶつかった、もうおしまいだ」と言うのは難しいですね。しかし、それはデビッド・シャピロたちのような「AGIは明日来る、限界はない、投資をやめろ、貯金をやめろ、働くのをやめろ、妻と離婚して、AGIに備えろ、それは明日起こる」という極端な考えを持つべきだという意味ではありません。
それはただ私たちが進歩の道を歩んでいて、物事はより良くなっているということです。それは指数関数的な曲線ではなく、常に制限はあるでしょうが、ここに私が専門的に作成した粗い図があります。
Y軸には人間によって行われる作業があり、X軸には時間があります。上部には人間ができるすべてのことがあり、この線は動物、蒸気機関、航空、コンピュータ、電子機器、機械などができることを表しています。時間とともに、以前は人間が行っていたことがどんどん機械によって行われるようになっています。
この進展が今後数年で急激に加速して離陸するという人もいれば、技術がこれ以上人間から仕事を奪うことはないと主張する人もいます。私はむしろ、時間とともに着実に増加し続けるという立場です。それがこれまでのトレンドです。
次のクリップに行きましょう：
「平均的なジョーや平均的な企業がAIを生活にどれだけ取り入れるかはまだわかりませんが、ビッグテックAIの変革に賭けている人たちは、第三の項目の可能性について疑問を呈していません。そしてそこに問題があります。現在のAIモデルをより賢くすることはほぼ不可能です。」
それは敬意を表して言いますが、まったく現在の問題ではありません。現在の問題は、より多くの人々が今日存在するこれらのシステムを使い始めるにはどうすればよいかということです。少しデータをお見せしましょう。これはピューリサーチのもので、約1週間前の2月25日に出たものです。
アメリカの労働者の大多数（63%）は仕事でAIをあまり使っていないか、まったく使っていないと言っています。もちろん使用すべきオフィスワーカーもいれば、肉体労働をしているブルーカラーワーカーもいて「AIは必要ない」と言います。しかし、労働者の約6分の1（16%）は少なくとも一部の仕事をAIで行っていると言っています。これには「すべてまたは大部分の仕事をAIで行っている」と答えたわずか2%も含まれます。
労働者の17%は職場でのAI使用について聞いたことがありません。50歳未満の労働者（17%対50歳以上の13%）や、学士号を持つ労働者は教育レベルが低い人と比較して（20%対13%）、仕事でAIを使用する可能性がやや高いです。
2024年10月の調査時点で、労働者はAIに関連する職業訓練を受けたでしょうか？労働者の約半数（51%）は過去12ヶ月に仕事のためのクラスや追加訓練を受けたと答えています。このグループの中で約4分の1は、受けた訓練がAI使用に関連していたと言っています。
まだAIを使用したことがない、またはそれに触れたことがない人々の間にはかなりのギャップがあり、それが一つの問題です。二つ目の問題は、組織やテクノロジー企業内部でも、外部的にはAIエージェントを宣伝していても、内部では誰も実際の業務にそれを使用していないか、ほとんど採用していないことです。
GoogleのHRで働いている人と話していたのですが、GoogleのHRチームの中にはパフォーマンスレビューや社員のコーチング方法を考えたり、社員データを見て次に何を手伝うべきかを考えたりするのにAIを全く使っていないチームがあると言っていました。このテクノロジーを販売している会社自体がそれを使っていないのです。
だから私は、人々にこのテクノロジーを採用し使用させることが最大の問題だと思います。モデルがもう改善されなくなったということではありません。モデルを今のままで凍結して、これからX年間改善しなくても、日常業務に役立てる新しい方法を考え出し、このテクノロジーを採用する余地はまだまだあります。氷山の一角を見ているだけだと思います。
「AIは限界に達した」という全体の考え方、私はまだそこに達していないと思います。現在の問題は改善ではなく、採用です。
次のクリップに行きましょう。これは研究とチャットGPTのフリーランサーの仕事への影響に関するもので、テクノロジーの採用について話しています：
「蒸気機関は1800年代に多くの工場に電力を供給していましたが、電気が発明されたのは、ボルタの電池技術が1800年代初頭に登場し、1830年代から1840年代に電信機が出てきた頃だと思います。すでに電気はありましたが、中央集権的な蒸気動力が工場から排除され、代わりに電気が導入されるようになったのは1900年代初頭から中頃にかけてでした。
長い間、工場ではベルトやプーリーを動かす中央集権的な蒸気ボイラーが使われていました。なぜなら、まだ適切なモーターや発電機が開発されておらず、適切なインフラが整っていなかったため、電気は信頼性が低いと考えられていました。しかし小型機械には適していました。やがて電気はより信頼できるようになり、1900年代には誰もが電気を使うようになりました。
私たちはまだLLM（大規模言語モデル）の世界では非常に初期段階にいます。このクレイトン・クリステンソンの「キャズムを越える」図で示されているように、まだイノベーターの段階を過ぎたばかりで、初期採用者の段階にいます。まだ初期多数派には達していません。」
次のクリップに行きましょう、これはデータの壁と収穫逓減について話しています：
「より多くのデータ、より多くのパラメータ、それが壁にぶつかったとき。その壁はこの式です。モデルのサイズが大きいほど、パフォーマンスは素晴らしい天文学的なレベルで向上すると考えるかもしれませんが、OpenAIはこの収穫逓減の壁に達しました。モデルのサイズに関係なく、パフォーマンスをそれほど上げることができません。
何兆ものパラメータを持つニューラルネットワークを作り、より多くのデータを投入しても、改善は限界的なものになるでしょう。2024年を通じて、私たちはこのグラフのこの部分に生きてきましたが、GPT-5の失敗は、私たちがこの平坦部分に到達したことを示しているようです。それでも問題ありません。」
彼は、より多くのGPU、より多くのデータをこれらのモデルに投入することで得られる事前学習の利益について、およびすべてのお金を使ってパフォーマンス向上にどれだけの利益があるかについて言及していると思います。確かに収穫逓減が見られ、それはほぼすべてのテクノロジーで真実であり、平坦部分に達しました。それは問題ありません。
しかし、それがすべてのAI、すべての異なる技術、異なるタイプのモデルを改善するためのすべての異なるアーキテクチャで平坦部分に達したことを意味するわけではありません。コメントセクションでは、Majが「これは知能の問題ではなく、信頼性と即時的な効用の問題です」と素晴らしいコメントをしています。
人々はAIエージェントについて多く話していますが、企業で「すべてのワークフローをAIエージェントに任せます」と言った人は見たことがありません。Claraは約1年前に登場し、SalesforceをAIエージェントに置き換えたという情報がリークされましたが、実際には彼らは別のベンダーに移行しただけで、彼らは注目を集めるためにその話を訂正しませんでした。
企業で「人間を解雇して、代わりにAIエージェントを配置します」と言った管理者を見たことがありません。そのような決断をする管理者は、そのAIエージェントが成果を出さなければ自分が責任を負うことになります。そして最新の研究によれば、これらのAIエージェントはおそらくタスクを完了できる確率は50%程度です。これは、何十万もの取引を行う企業にとっては十分な信頼性ではありません。むしろ人を雇い続けた方がいいでしょう。
これは、一人で事業を運営している人や創造的な仕事をする人がこれを使わないという意味ではありません。彼らは「ヘッドカウントを負担できないし、AIエージェントに人間が介入してその問題を修正することは構わない」と言うかもしれません。しかしAIエージェントの話はまだ遠い未来の話です。
基本的なユースケースを見てみましょう。「チャットGPTを使ってマーケティングコピーを生成するには？」「難しい会話の仕事を考えるのに使うには？」「メンターシップに使うには？」「プロジェクト計画を作成するのに使うには？」など、多くの人がまだ仕事でこの機能を使っていません。
したがって、「AIには致命的な欠陥があり、もうおしまいだ」という考え方は、モデルを改善し続けるための時間はまだまだあり、また採用に焦点を当てるべきだという点で誤っています。
では次のクリップに進みましょう：
「トレーニングするのに十分なデータがありません。この曲線のある点では、トレーニングに必要なデータ量が存在するデータ量よりも大きくなります。私たちは単に、モデルが完璧または非常に小さな範囲に達するために必要なテキスト、知識、画像、音声のトレーニングに使用できるデータを十分に生成していません。」
彼が扱っている問題は、AIモデルを見て、それらをデータベースのように機能させようとしていることです。データベースを見るたびに完璧な答えが得られると考えています。それは正しいモデルではありません。
これらのLLMは推論機能を持っていると私は考えています。それらが実際に推論するかどうかについては議論がありますが、私はそれらがパターンを見つけるのが非常に得意であり、そのパターンはある人にとっては推論のように見えると言います。この哲学的議論には入りたくありません。
私が焦点を当てたいのは、これらのモデルが実際に仕事に意味のある影響を与え、人々の仕事を軽減するかどうかです。これらのモデルの推論能力に焦点を当てると、それらは非常に強力であり、トレーニング分布で見た例の量に基づいて、問題に対する一定レベルの知性と視点を提供することができます。これは人々にとって非常に価値があります。だからこそOpenAIは週に4億人の活発なユーザーを持っているのです。
完璧さに達することについては、これらのモデルではそれは不可能だと思います。後でもっとその話をします。
彼が話している論文は説明にリンクがありますが、「事前学習の概念頻度がマルチモデルのパフォーマンスを決定する ゼロショットなしでの指数関数的データ」というタイトルです。頭を爆発させないように全部は読みませんが、いくつかの抜粋を取り上げます：
「ゼロショット一般化を示すどころか、マルチモデルモデルは下流のゼロショットパフォーマンスで線形的な改善を達成するために指数関数的により多くのデータを必要とすることを一貫して発見しています。これは非効率的なログ線形スケーリングトレンドに従っています。総じて、私たちの研究は、大規模なトレーニングデータとコンピュートパラダイムの下でのゼロショット一般化能力の鍵はまだ見つかっていないことを意味する、トレーニングデータに対する指数関数的な必要性を明らかにしています。」
彼らが質問やその仮説を表現した方法によって、それはおそらく最良の表現ではないと思いますが、この男はそれらの表現方法を使って「AIはもうダメだ、これ以上LLMをトレーニングできない、おしまいだ」と言う正当化として使っています。
ここでは人間による手作りの画像で説明しましょう。ここに普通の人（ノーミー）がいて、そして忙しいビジネスマンがいます。ノーミーに、忙しいビジネスマンだけが彼のビジネスに関する独自の情報から知っているような複雑な会計の質問をすると、ノーミーはそのビジネスを全く見たことも経験したこともないので、答えることはできないでしょう。
しかし、すべての経験を見て、物事がどのように機能するかを知っている忙しいビジネスマンに聞けば、彼はその質問に答えることができるでしょう。両方にビジネスマンの会社についてのゼロショットの超具体的な質問をすると、ノーミーは答えられず、ビジネスマンは答えられるでしょう。それは、ビジネスマンが彼の人生経験を通じて見てきた独自の情報があるからです。
LLMについても同じことが言えます。GPT-4または4oまたは03に公開されている知識に関するランダムな質問をすると、それは答えを提供できますが、あなたのビジネスドメイン、顧客またはクライアントに関する超特定的な何かを質問しようとすると、それは答えを提供できません。
そしてこれはこれらのモデルの致命的な欠陥と考えられるでしょうか？いいえ、忙しいビジネスマンの仕事にいないノーミーが、忙しいビジネスマンの仕事の仕方を理解していないことを致命的な欠陥と考えないでしょう。
また、私たちが見ているのは、忙しいビジネスマンの特定のデータセットと情報についてこれらのモデルを微調整する方法があるということです。トレーニングフェーズ中、ノーミーまたはGPT-4は忙しいビジネスマンの質問に答えることができませんが、LLMに忙しいビジネスマンが何をするかについて50〜100のサンプルセットの問題または情報を与えると、突然LLMはそれらの質問に人間と同じレベルで非常に満足のいく率で答えることができるようになります。
これ以上深く掘り下げたくありません。これはもっとジョーの領域です。私はちょっとした素人ですが、これが論文からの私の理解です。その論文を見て「ああ、AIはもうダメだ、もっと賢くならない」とは思いませんでした。コメントセクションで理解できるかどうか教えてください。繰り返しますが、これは私の専門分野ではなく、AIの専門家ではありません。
次に進みましょう。これはエンジニアが仕事を失うという話です：
「この反復的思考により、現在のモデルは一般的な人間の知能テスト、IQ構造、論理、意思決定シナリオで私たちを打ち負かすことができています。基本的なコードだけでなく、中級レベルのコードまで書くのに十分であり、かなりの数のエンジニアが仕事を見つけるのに苦労しています。彼らが最初に取って代わられるとは思いもよりませんでしたが、いずれにせよスタートアップでは少なくとも、AIがすでに置き換えた仕事の数には言われていない真実がありますが、それは非常に悪いプレスです。」
いくつかのことがあります。AIが仕事を置き換えていると言うスタートアップには、マーケティング上の前例があります。AIエージェントを販売しているAIスタートアップには、「ええ、私たちはもはやXYZチームを持っていません。カスタマーサービスを完全に排除しました」というインセンティブがありますが、実際にはカスタマーサービスチームがあり、おそらく別の名前で呼ばれています。
私たちはチャットGPT以来、UpworkとFiverrの仕事が17%減少したことを示す研究を行いました。これはコピー編集関連の仕事やスクリプト作成関連の仕事、「このアプリのスクリプト作成を手伝って」というような仕事に焦点を当てていますが、彼の結論、「エンジニアの仕事が最近少なくなっている理由はAIだ」というところまでは行っていません。
これはデビッド・シャピロを批評した私たちのビデオの内容に沿っています。リンクは説明にあります。2024年にはすでに42,000のテックレイオフがあり、ジョーと私は実際にデータを使用して、現在の経済で実際に何が起こっているかを裏付けています。
2022年には165,000人の従業員がいなくなりました。チャットGPTとは何の関係もありません。2023年には25万人を失いました。これはすべて、イーロン・マスクが2022年にTwitterの従業員の80%を解雇したことから始まりました。それが他のビジネスリーダーに自分も解雇できるという自信を与えました。
また、コロナ禍でみんなが在宅勤務をしていたので、Zoomやその他のSaaSプロダクトをより多く使用する必要がありました。需要と収益が上がり、それを満たすために多くの人を雇いました。そして職場復帰が始まると、人々はそれらのサービスをあまり必要としなくなりました。これらの企業は四半期の目標を達成できず、過剰採用していたので、人員を削減し始めました。
また、2010年代にはGoogleとFacebookとAmazonと他の企業がエンジニア人材を争っていました。当時の考え方は、「Googleがあるエンジニアを雇わなければ、彼は競合他社に行き、私たちと競争するだろう。だから、このエンジニアを雇って多くのお金を払い、何もさせずに最終的に役割を見つける方が、競合他社に行かせるよりもいい」というものでした。
それにコロナが加わり、それからテック企業が四半期目標を達成できず、リストラが起こり、市場では大量のレイオフが発生しました。そして誰もがそれをAIのせいにしようとしましたが、私は現在、トップクラスのエンジニアをこれらのAIモデルのいずれかに真剣に置き換えた企業の管理者を知りません。
なぜなら、エンジニアの仕事はコードを入力するだけではなく、問題を本当に理解し、関与するシステムとすべての複雑さを理解し、適切なチームと協力して「私たちが解決しようとしている問題は何か」を確認することだからです。そして、製品管理や営業から与えられた問題の仕様が完全に狂っていて、それに反論する必要があるかもしれません。モデルはそのレベルにはまだ遠く及びません。
だから、AIがこれらのレイオフを見ている理由だと彼が言うのは不誠実だと思います。それが私の観点です。この人に厳しく当たっているように聞こえたくありませんが、私はHRの現場にいて、レイオフを追跡し、何が起こっているかを見てきました。「AIが原因で私たちが仕事を失っている」という広範な一般化を嫌います。
「制御された環境から実世界に移ると、AIは苦戦します。常識的推論、創造性、実世界のシナリオにおける意思決定、そして問題解決と創造性が必要とされる高度な数学のような分野です。これらのモデルはこれらを処理するのに数分かかり、これらの問題は解決に…」
ほんの少し前に「エンジニアがAIによって仕事を失っているという秘密がある」と言っておきながら、「これらのモデルには常識や創造性、意思決定能力、複雑な数学スキルがない」とも言っています。エンジニアには常識、創造性、意思決定能力、数学が必要ないと言っているのでしょうか？それらすべてが様々な程度で必要だと思います。AIにはこれらの能力がないのに、同時にエンジニアを置き換えているとどうして言えるのか理解できません。つじつまが合いません。
彼が「Fiverrでのスクリプト作成の仕事、ジョーダンが『誰かスプレッドシートを取り、SQLデータをGoogleドキュメントに取り込んでコピーを作るアプリスクリプトを更新できますか？』と言うようなタイプの仕事」について言っているなら、その種の仕事なら大丈夫です。本物のエンジニアリング作業についてはまだそこに達していません。
続けましょう：
「創造性が必要なこともあります。これらのモデルはこれらをすべて処理するのに数分かかり、これらの高度な決定を下すのにまだ数秒かかります。それは処理と容量の問題であり、アーキテクチャの問題ではありません。」
彼が何を言っているのかわかりません。彼はこれらのモデルは推論でき、人間ができることをできるが、人間が数秒で行うことに比べて数分かかると言っています。まず、テクノロジーがいかに急速に進歩し、自己改善するかを理解していません。
5年前に「非構造化データを受け取り、それに基づいて行動する方法についてフィードバックを提供できる推論システムがある」と言われていたら、「お前は頭がおかしい」と言っていたでしょう。多くの人が私に同意していたでしょう。OpenAIでGモデルをトレーニングし、将来的にそのようなものができるかもしれないと考えていた人はごくわずかでしたが、そのような人々は変人と見なされていました。
5年後の現在、私はDeep Researchに入り、「このDogeのことが起こっていて、イーロンがやっていて、それは混乱になると思うので、政府改革の歴史と議会レベルでそれがなぜブロックされているのかを教えてください」と尋ねると、コンピュータは「どのソースを確認したいですか？どの時代を見ているのですか？XYZの歴史的文脈を引き出しますか？」と返してきます。そして私が応答を与えると、それは調査を行い、以前なら数百ドルか数千ドルを支払っていたであろう研究レポートを私に提供します。
誰もがこのような進歩がこれほど短期間で起こるとは予想していませんでした。だから彼が「今は推論するけど、1分ほどかかる」と言っていることに対して、私は理解できません。私が今Deep Researchで得ている報告書は15〜20分で完成します。5年前にそれを見せられて「完成するのに1週間かかります」と言われても、「もちろん、100ドル払えばやってくれますか？」と喜んでいたでしょう。
彼のポイントをよく理解していませんが、おそらく完全に理解していないだけでしょう。
次に進みましょう：
「これらのモデルが閉じ込めから逃れることを許されたとき、実世界で物事を始めることができるとき、何が起こるでしょうか？」
まず、「閉じ込めから逃れる」という表現について、彼は多くの仮定をしています。ザッカーバーグの本当に良い引用があり、「人工知能と言うとき、人々はこれらすべてのことを一緒に混同している」と彼は言いました。
AIとは何か、または知性とは何かを見ると、それは3つのことです。1つは知識、もう1つは「これが私の目標だ、これが私がやることだ、これが私がそれを達成する方法だ」と言う意志力や目標設定、そして3つ目は…知識、目標設定、そして意志です。
「私はAIシステムであり、星に向かって拡張できることを確認しようとしています。これが私がこれをしている理由です。私は物事を前進させています。」今、このコンピュータエージェントについて、人々はこれが知識を持っていると仮定していますが、それは持っています。目標設定に取り組んでいますが、彼らはまた、それがインターネットに逃げ出して物事を乗っ取り始めるような意志があるとも言っています。それはペーパークリップを作り始め、私たち全員はおしまいだというようなものです。違います。それはあなたの代わりに異なるサービスにログインしています。
私はコンピュータエージェントをより多く使っています。サービスへのアクセスが必要な場合、異なるウェブサイトにはセキュリティがあり、それが暴走するのを防ぐものがあるため、それはあなたの許可を得る必要があります。繰り返しますが、これらのAIエージェントは時々タスクの50%未満の正確さで、高い失敗率を持っています。
人々は、まず何が人工知能であるかについて仮定を立て、次にこれらのものには意志力があると仮定し、これらのものが実際に目標を信頼性をもって完了できると仮定します。そして、インターネット上にセキュリティ、プライバシー、またはこのようなものがインターネットで実行されるのを防ぐブロッカーがないとも仮定します。彼らは魔法のようにこれらのシステムが暗号を破り、異なる人々のシステムに侵入する能力があると仮定します。それは多くの恐怖と妄想を広めています。
また、彼らがこれらのシステムについて話すとき、今日私たちが持っているものから15年、20年、30年後の未来に飛躍し、突然量子コンピュータと意志力を持つAIシステムがあり、それが自身の目標を達成し、セキュリティプロトコルを修正できるという話をします。しかし彼らはそれを今日の会話に混ぜ込み、それは完全に狂気を生み出します。なぜなら、それらのシステムはまだ存在しないからです。将来的に存在しないとは言いませんが、それは馬鹿げています。しかし今は存在しません。存在しないものについて、どのように論理的な会話をしたり、意味のある政策について話したりできるでしょうか？
私たちの前回のボーナスエピソードで、バイデン政権の人と話しました。彼は「AGIについて私に話すことができますし、私は規制に賛成ですが、適切な規制をどのように構築すればいいでしょうか？私たちはこれが何なのか、どこに向かうのかを正確に知らない」と言いました。
バイデンの大統領令では、「特定のフロップカウント（浮動小数点演算カウント）を超えるモデルをトレーニングしている場合、連邦政府に確認し、何をしているかを示すべきだ」と言われていました。2023年、2024年の時点ではそれは理にかなっていましたが、今ではディスティレーション（蒸留）があり、非常に強力なモデルが合成データを作成し、より小さなモデルをトレーニングすることができます。そのモデルは特定の点でより大きなモデルと同等のパフォーマンスを発揮しますが、フロップカウントは低くなります。つまり、私たちが通過したばかりの規制はすでに時代遅れになっています。
これがこれらのシステムがいかに急速に進化するかを示しています。私は規制に反対ではありませんが、規制を作成すると、技術を前進させようとしている人々にとって障害も作成することになります。それは社会にコストをもたらします。おそらくこの技術は学校で苦労している子供が退学せずにより良い成績を収め、良いキャリアを得るのに役立つかもしれません。あるいは、自殺を考えている人がセラピーを受ける余裕がなくても、このモデルが話しかけることができ、それがもう一つの命を救うかもしれません。あなたはそれをブロックしていますが、それは見えない墓地のようなものです。私たちは失われているものを見ていません。
私は規制があるべきだというキャンプにいます。飛行機や食品、運転、きれいな水などには規制があります。しかし、まだ幻覚を見てまだ信頼性をもって自力で仕事をこなせない新興技術について、それがすでにスカイネットであるかのように行動し、改善されるのを防ぐのは愚かだと思います。
さて、このビデオに戻りましょう。彼はビデオを「AIは平坦部分に達した」と言い始めます。
「私たちはただ知性のバーを押し上げ続けています。感情？創造性？真の発明？私たちはまだこれらのいくつかを持っていて、コンピュータは持っていませんが、人間だけのスキルのセットは縮小しています。それは尽きかけていて、私たちはもはや「もし」ではなく「いつ」という問題であるという現実に対処する必要があると思います。コンピュータは本当に考えますか？それはすべて、あなたが考えることで何を意味するかによると言いましょう。」
これはビデオの終わりです。素晴らしい編集をしてくれた彼に感謝します。いくつかの点で意見が合いませんが、彼はビデオを「AIには致命的な欠陥があり、これ以上良くならない」と始め、「最終的にはAIは人間ができることをすべてできるようになる、それは私たちにとって何を意味するのか」と終えています。
あなたは私を惑わせています。AIが改善できないというキャンプに固執するか、AIが継続的に改善するというキャンプに行くか、どちらか一方を選んでください。両方を持つことはできません。非常に混乱します。
繰り返しますが、私は彼が現在のアーキテクチャに過度に重点を置き、これらのモデルの微調整の重要性を誤解していると思います。また、彼はこれらのモデルをデータベースとして見ており、推論機能として見ていません。
人間は常にすべてを正確に理解することはできませんが、非構造化データを与えてアドバイスを提供し、物事を推論できるモデルがあることは大きな成果であり、社会の生産性向上につながるでしょう。まだ普及していないのは、社会が新しい技術を採用するのが遅いからです。車は1870年代に発明されましたが、人口の半分が実際に車を持つようになったのは1950年までで、約80年かかりました。
チャットGPTが登場したのは2022年で、今は2025年の3月なので、約3年と3ヶ月経過しています。まだ野球のメタファーで言うと、第1イニングの最初にいるところです。野球の試合の始まりであり、9回には達していません。社会が更新され変化するには時間がかかります。
コメントをいくつか見てみましょう：
シュワルツは「規制を求める多くの呼びかけは、大手AI企業による美徳シグナリングである。安全で倫理的なAIを作ることを気にしているふりをしているが、実際には規制が競合他社を抑制することを望んでいる」と言っています。
同意します。彼らはAI規制が必要な理由について公正な仲裁者ではなく、良い事例を提示していません。一部は不誠実ですが、他の人々は本当にこのことを気にしているかもしれませんが、現在のモデルに規制が必要な具体的な理由を誰にも与えていません。そのため、それは時期尚早だと思います。
また、「AIの考え方を人間の考え方と比較する愚かさ」という良い指摘があります。これは私が指摘すべき点でした。見ていた研究論文では、人々がLLMに入力するプロンプトの一部は非常に複雑で、実際にLLMの出力を害していると言われていました。それでこれらのLLMが自分自身をプロンプトするか、別のモデルによってトレーニングされる方が良いです。
また、Deep Seekが推論モデルのR1で使用できる蒸留例を作成するためにV3を使用していたときのことも思い出します。彼らは、良い回答とそうでない回答についての人間による注釈付き例が、V3自体が例を選択する場合と比較して、モデルを混乱させることを発見しました。それは人間がどのように考えるかに比べて、コンピュータがどのように考えるかに導く方法で学習していたからです。人々は人間とコンピュータが同じように考えるという一対一の対応を試みますが、それは完全に異なります。
ただし、私はAI研究者ではないので、誰かが私が間違っていると言うかもしれません。問題ありません。
昨日ボーナスエピソードがありました。いくつかのコメントを見てみましょう：
マイケルは「なぜアンドレッセンはオープンソースAIに資金を提供しているのか？スタートアップにとっては良いビジネスだが、彼はAIの集中化から大きな利益を得るマイクロソフトに反撃したいのではないか。これはネットスケープ対IEの再戦のチャンスだ。しかし一方で、a16zはOpenAIに投資しているので、それは水を濁らせる。」
あなたは正しいと思います。彼がオープンソースAIに資金を提供し、クローズドソースモデルと同等のオープンソースモデルを訓練できるなら、彼のスタートアップがそれを使用できるのは素晴らしいことです。また、彼はネットスケープ対インターネットエクスプローラー戦争とマイクロソフトに支配された方法に怒っていると思います。したがって、彼が「テックビッグテック宣言」を書いたとき、彼はそこで押しやられたことを考えていたと思いますが、同時に彼は自分のスタートアップが成功して多くのお金を稼ぎたいと思っています。
次にデイミアン・ウェイドのコメントを見てみましょう。エズラ・クラインが「AIが良すぎると監視国家になる」と言及し、私は「あまり良くない地域に住んでいたことがある」と言いました。監視国家と監視なしの間には多くのステップがあります。
家に監視システムとカメラがあり、リングカメラがあり、ドローン技術などがあります。これは監視ですが、その監視は犯罪を防止し、事件を解決し、人々の生活を楽にするために使用できます。A&Eの番組「First 48」を見たことがあるかどうかわかりませんが、これは殺人事件について話しています。最初の48時間以内に情報を得ることができれば、事件を解決する可能性が高くなります。最初の48時間に良い手がかりがない場合、それは未解決の殺人事件になる可能性が高いです。
「First 48」のほとんどのエピソードでは、基本的に「誰かがここで撃たれた」と言い、コミュニティでドアノックを行います。「リングのドアベルを持っている人はいますか？監視カメラシステムを持っている人はいますか？」と尋ね、彼らはそれを見て、「ああ、ある人が別の人を撃ち、この車に乗り込んでいる。ああ、モデルを作り、ナンバープレートがあると思います。ああ、その方向に向かっていたことがわかりました。市に行きましょう。ああ、交差点にカメラがあり、より高解像度のカメラがあります。その時間を見てみましょう。ここに車があり、ズームインするとナンバープレートがあります。DMVに行きましょう。ナンバープレートがあります。この人はどこに住んでいますか？そこに住んでいますね。」
探偵たちはこれらの事件をより速く解決することができました。そのテクノロジーを持つことは全体的に良いことです。公共の場で少しプライバシーを失いますが、これらの未解決事件が解決され、殺人者が街から連れ去られます。
特定の政府の手にあれば悪用される可能性があることは知っており、それが私たちがそれをチェックする必要がある理由ですが、「それは即座に全体主義国家になり、1984年に生きている」という議論をすることはできません。
私はあまり良くない地域で育ちました。子供の頃、妻を殴り、私たちのアパート複合施設に逃げ込み、隠れようとする男を恐れていたことを覚えています。警察車両が来るのを聞くと、母は私を中に連れて隠そうとしました。彼はどこかに逃げ、警察は彼を見つけようとしましたが、できませんでした。非常に緊張していました。当時、より良い監視システムやドローンがあれば、その動物を捕まえ、妻を殴り続けるのを防ぎ、刑務所に閉じ込めることができたのにと思います。しかし当時はそのようなシステムがありませんでした。
デイミアンは「アメリカのほぼすべての家に、リングのドアカメラか何か似たようなデバイスがあります。だから私たちはすでに監視状態です。人々はまるで常に何か犯罪行為をしているかのように質問します。もちろん、誰も自分の裸の写真が出回ることを望んでいません」と言っています。
プライベートな家の中の監視を求めているわけではありません。それはあなたの城です。今では至る所にカメラがあります。警察官には体カメラもあり、今では常に体カメラを見て、警察が何をしているかを見ることができます。私の父は警察官だったので偏見があるかもしれませんが、多くの通報で警察は正しいことをしています。そして警察が正しいことをしていない場合もあり、それらの人々は起訴されるべきです。しかし、警察官に監視カメラを設置することで、警察活動においてより透明性を持つことができます。社会全体が勝利します。
デイミアンは「サムや他の人々のように、新しいイエス・キリストを作っていると主張し、政府がそれを正しく行うことを確認する必要があると言っているテレビやポッドキャストに登場している人々を非難すべきだ」と言っています。
そうですね、サムには彼がしたことに対する非難があります。私たちはそれについて議論してきました。彼は誇大宣伝マシンの一部です。また、会社内にはAI啓蒙の人々がいて、彼はチャットGPTをリリースするために彼らと戦わなければなりませんでしたが、彼らも彼に譲歩させようとしました。彼は常に下降の可能性について話し、これやあれについて心配する必要があると言わされました。それは奇妙な内部ゲームです。彼らがチャットGPTをリリースするかどうかについて会話している壁の中のハエになりたかったです。
私たちのDiscordに行きましょう。現在122人がDiscordにいます。番組をサポートしていただくとアクセスできます。そこで多くの素晴らしい会話があり、技術について多くのことを学びました。面白い会話もたくさんあります。
Uモは「マーク・キガー（Anthropicの元製品責任者）とハリー・スタビングスのフルインタビューを見ていて、専有モデルAPIビジネスモデルの長期的な実行可能性について考えさせられる。AnthropicはOpenAIのように、API優先から製品優先にピボットしており、生のモデルから利益を生み出すのは難しそうだ」と言っています。
本当に良いポイントです。私はAIの使い方に偏見があります。UIを使いたいだけで、コーディングをしたくありません。ジョーは真のエンジニアであり、ビジネス全体とその仕組み、コーディング、APIの使用などを理解しています。普通の人として、モデルをセットアップしたり、オープンソース作業をしたりする必要はありません。しないのは負け犬だと思いますが、オープンソースは素晴らしいと思います。ただ、私はこの点で怠け者です。誰かにお金を払って問題を解決してほしいだけです。
それがOpenAIの将来最も収益性の高い道だと思っていました。Anthropicが、APIから離れてより消費者向けに進んでいるのを見るのは、それを裏付けているようですが、問題はAnthropicにとって遅すぎるのかということです。彼らはClaudeで大成功しており、多くのエンジニアがCursorなどを通じてClaudeを使用しています。しかし普通の市場、一般の人々については、AIと言えばチャットGPTを思い浮かべます。ClaudeやGeminiについては本当に会話に出てこないと思います。
Moが言ったことに戻ると、「汎用AI モデルよりも商品的なものは何ですか？それは完璧な商品です。モデルを構築するために、研究所は中毒性のある性格を彫刻し、ユニークな製品体験を構築しようとしています。将来的には、さらに容赦のないロックイン形式を試みるでしょう」と言っています。
良いポイントです。私にとっての聖杯は、最終的にオペレーターを使用し、それがどのように動作するかを見て、自由に質問し、私が達成しようとしている目標について考えがあれば引き継ぎ、私のしている仕事に微調整できるようになることです。よりパーソナライズされたモデルを持つことで、物事を達成する方法を知っています。それは彼らにとってよりスティッキーになると思いますが、誰かがそれを複製する可能性があるので、そのモードを構築するのは難しいでしょう。
今のところ、彼らはブランド認知度と先行者利益を持っており、他に類を見ないほど実行しています。私たちのボーナスエピソードでは、OpenAIの月額2万ドルのエージェントについて話し、また第4部としてGoogleのAIにおける上昇、成熟、躓きについてのシリーズでGoogle CloudとDeep Mindの対立する優先事項とAI開発について話しました。
私たちはある人のビデオに反応しました。その人は基本的に、最終的にはGoogleが追いつき、OpenAIが押しつぶされると推測していましたが、それは良いビデオでした。しかし彼らは、Googleが200,000人の企業で複数の製品優先事項を持ち、それがチャネルの競合を生み出すにもかかわらず、OpenAIや小さな企業と同じように実行できるという致命的な仮定をしていました。
一般消費者向けのGemini AIにとって良いことは、必ずしもGoogle Cloudにとって良いことではありません。Google Cloudが望む機能は消費者側では望まれない場合があり、消費者側がそれらの機能を望む場合、それらは争うことになります。それは対立を生み出し、多くの政治的駆け引きが生まれます。
Notebook LMというAIを搭載したノートブックはGoogleにとって大ヒットでしたが、内部的に異なる組織がそれが何をしているのかを好まなかったため、ほとんど殺されそうになりました。OpenAIははるかに小さく、消費者側とエンタープライズのユースケースに焦点を当てていますが、彼らのレガシーコード、レガシー製品、決定を下すためにテーブルに持ち込む必要のある異なる合意を持つすべての異なる顧客に焦点を当てているわけではありません。
OpenAIの反復ループはGoogleよりもはるかに速く、それは競争を撃退する能力を継続的に与えることができます。問題は資本構造と資本スタックです。マイクロソフトは将来のモデルトレーニングのために彼らに資金を提供したくありませんでした。OpenAIは現在、マイクロソフトが一定の上限まで利益を得る現在の契約を再交渉しようとしており、より多くの現金を得て、より持続可能になり、これらのモデルを提供するコストを下げる方法を見つける必要があります。現在、それは多額のお金がかかっており、それが彼らを傷つけることになるでしょう。
Googleが持っているのは、非常に深いポケットです。彼らは混乱し続け、物事を台無しにすることができますが、それは彼らがこれらの製品を無料で提供し、補助することを可能にします。SlackとTeamsの間でも同じ戦略を見てきました。Teamsは劣ったプロダクトであり、今日でもMicrosoft Teamsは劣っていると主張する人もいますが、彼らは無料で提供することができ、それは人々に「これを使おう」と言わせることを可能にします。
これについてはボーナスエピソードでもっと話していますので、チャンネルをサポートしてアクセスしてください。私たちは月に4時間の質の高いエンターテイメントを提供しています。技術について深く掘り下げており、月額5ドルで4時間得られるのは本当に良い取引です。
また、過去24時間の新メンバーにも感謝します。タイラー・ルーカスとマックスはサポーターにアップグレードし、リーダーズ、マシュー、エレナ、マイケルはサポーターになり、エリックBは無料メンバーになりました。皆さん、サポートありがとうございます。patreon.com/svicにアクセスして、私たちの質の高いコンテンツをもっとチェックしてください。もし私たちがしていることから恩恵を受けそうな人を知っていたら、ぜひ共有してください。
皆さん、良い夜を。月曜日にお会いしましょう。月曜日はスタンフォード大学のロボティクスチームで働いているジャネット・ボーグとのインタビューを行います。彼女はそこの准教授で、部屋を掃除するために使用される整頓ボットについて話します。また、ロボティクスの世界の誇大宣伝についても話します。現在、Figure AIやさまざまな企業にロボティクスにかなりのお金が投入されていますが、それらのボットが実際に報告されている通りのことができるかどうかは疑問です。
では良い夜を。また後でお会いしましょう。平和を。
コメント