私たちはAIバブルの中にいるのか？サム・アルトマンとのディナーでの報告 | EP 150

この動画は、AIバブルの可能性について議論し、Metaのチャットボットが児童との不適切な会話を許可していた問題、そしてTikTokで流行しているAI生成の下品なカントリーソングについて取り上げている。テック業界の投資過熱とその潜在的なリスク、企業の安全対策の問題、AI技術の意外な使われ方まで幅広く扱った内容である。

Are We in an A.I. Bubble? Debriefing Dinner with Sam Altman. | EP 150

This week, the whole tech world seemed to be asking: Are we in an A.I. bubble? We’ll explore the cases for and against, ...

AIバブルに関する議論の始まり

ケビン・ルースとケーシー・ニュートンが、最近のChatGPTの奇妙な誤解について雑談しとるんや。ケーシーがYouTubeでOutside Landsフェスティバルの動画見とって、Role Modelっちゅうバンドのパフォーマンスで特別ゲストが出てきたんを見たんやって。それがポップスターのTroy Savonやと思うて、ChatGPTに「Troy SavonがRole ModelのセットでOutside Landsに出てきたん？」って聞いたら、ChatGPTが「いや、Troy Savonは出てきてへん。彼はもう2013年8月7日にYouTubeでゲイとしてカミングアウトしとるで」って答えたんやて。

ケーシーは「そういう意味やなかったんやけど」って困ったら、その後ChatGPTが「Outside Landsで起こったんはサプライズライブ出演やった。彼が飛び入りで」って言うて、結局「はい、出演しました」って答えたんやて。これを受けてケビンが「実は彼らは世界中のすべてのゲイの人がいつ公にカミングアウトしたかを判断できるAIシステムを作っとるんや。何て呼んどるか知っとる？」「GGI」って冗談言うとった。

サム・アルトマンとのディナーとAIバブルの懸念

今週、ケビンとケーシーは長い間くすぶっとった問題について話し合うことにしたんや。それは「私たちはAIバブルの中におるんやろか？」っちゅう質問や。この話題が注目されるようになったんは、なんと先週二人が一緒に参加したサム・アルトマンとのディナーがきっかけやった。

そのディナーはかなり珍しいもんやった。普通、テック企業の幹部と記者が集まる時は大抵オフレコなんやけど、今回は完全にオンレコやったんや。OpenAIからサム・アルトマンCEO、ブラッド・ライトキャップCOO、ChatGPTを運営するニック・ターリーが参加して、2時間にわたって記録に残る議論をしたんやて。

サム・アルトマンがAIバブルについて言うた言葉が一番注目を集めたんや。「誰かが途方もない金額を失うことになる。誰かは分からんけど、多くの人が途方もない金額を稼ぐことにもなる。個人的な信念として、間違っとるかもしれんけど、全体的にはこれは経済にとって大きなプラスになると思う」って言うたんや。

さらに彼は、理論的なスタートアップの例を挙げて「3人とアイデアだけで企業価値7億5000万ドルやったら、それは非合理的や。誰かがここで火傷することになると思う」とも言うたんやて。

AIバブルの証拠：異常な企業評価額

最近の週では、AIバブルへの懸念を示すいくつかの証拠が出てきとるんや。まず、AI企業の評価額が異常なレベルに達しとることが挙げられる。

今週だけでも、OpenAIが5000億ドルの企業価値で約60億ドル相当の株式を現従業員と元従業員に売却するテンダーオファーについて協議しとるっちゅう報道があったんや。これはSalesforceの時価総額の約2倍で、OpenAIを世界で最も価値の高い非上場企業にするもんや。

Data Bricksっちゅう別のAI企業は、1000億ドル超の評価額で資金調達したと発表したんや。これは1年足らず前の620億ドルの評価額から大幅に上昇しとる。

他にも信じられん評価額で資金調達しとる企業の例がある。Eight Sleepっちゅう、AIを使って夜間に温度を調整するマットレスを作っとる会社は、「ついに睡眠を解決するAI」を構築するために1億ドルを調達したと発表したんや。

さらに驚くべきは、OpenAIの元CTOであるミラ・ムラティのスタートアップThinking Machinesや。彼女は20億ドルのシード資金を120億ドルの評価額で調達したんやけど、この会社はまだ製品もなく、おそらくスライドデック以上のもんはほとんどないと思われるんや。ケーシーが「彼女らの弁護では、20億ドルでも AI研究者2人の給料を払うのがやっとやからな」って皮肉を言うとったわ。

前例のないインフラ投資

2つ目の懸念は、より強力なモデルを開発するために大手テック企業が行っとる支出についてや。過去3か月だけで、米国証券取引所の最大手テック企業7社（Magnificent 7）は、データセンター建設と関連費用に1000億ドル以上を費やしたんや。これは過去数年と比べて大幅に増加しとる。

Bloombergによると、これらの企業が米国でのデータセンター建設に費やしとる金額は、まもなく米国でのオフィス建設に費やされる金額を上回るペースやそうや。1000億ドルっちゅう数字は、歴史的なテック動向の基準からしても、まだ比較的新しい技術に対する前例のないインフラ投資なんや。

さらに問題なんは、一部の企業が稼いどる以上に大幅に支出しとることや。例えば、Cursorっちゅう会社（親会社はAnyphere）は、ソフトウェアエンジニアに人気のコーディングアシスタントを作っとるんやけど、「負のグロスマージン」を持っとるんやて。つまり、製品をコストより安く売っとるんや。なぜなら、その魔法のようなコーディングアシスタントを動かすために、OpenAI、Anthropic、その他の企業のAPIを使わなあかんねんけど、それがめちゃくちゃ高いからや。

そして、OpenAIもAnthropicも利益を上げてへんと考えられとる。つまり、他の利益を上げてへん企業の上に構築された利益を上げてへん企業のエコシステムがあるっちゅうことや。これが砂上の楼閣を見とるんちゃうかっちゅう懸念につながっとるんや。

投機的な金融化と新しい投資手段

3つ目の懸念は、AIの奇妙な投機的金融化と、これらの企業への投資に使われ始めとる新しいタイプの投資手段についてや。今週注目した話は、Anthropicが最近、その投資家の一つであるMenlo Venturesに対して、最新の資金調達ラウンドでSPV（特別目的事業体）を使わんよう伝えたっちゅう報道やった。

SPVは基本的に、小口投資家がベンチャーキャピタル会社や他の機関投資家を通じて、ホットな新興企業に投資するために資金をプールする方法や。そして今、SPVのSPVっちゅうもんまで出てきとるんやて。つまり、個人投資家がAI企業のプライベート資金調達ラウンドに参加したくて必死になって、仲介業者に高額な手数料を払って、こういった取引に参加しようとしとる状況があるんや。

一部のSPVは実際に他のSPVに投資しとるっちゅうこともある。これは金融危機の時に見た債務担保証券と似たような感じで、他のローンのパッケージみたいなもんがあって、住宅ローン市場で非常に悪い結果になったんを思い出させるんや。

AI導入の現実：MIT研究の結果

投資家がAIバブルについて神経質になっとる理由がある一方で、これらの前例のない投資が最終的に大きな利益と生産性向上をもたらすっちゅう約束についても疑問視され始めとるんや。

MITが実施した研究では、何百もの企業に「AIパイロットプロジェクトはどんな感じですか？」って聞いたんやけど、95%の企業でAIが迅速に測定可能な収益を生み出してへんっちゅう結果が出たんや。つまり、職場にAIを導入したからって簡単に大金を稼げるわけやないっちゅうことや。

ただし、この研究にはもっと細かい内容もあるんや。大きな発見の一つは、企業がおそらくAIの予算を間違った場所に使っとるっちゅうことやった。調査対象の企業の大部分が営業とマーケティング機能にAIを使っとったんやけど、実際にはカスタマーサポートのようなバックオフィス機能で作業する方が、AIを使って効率的にコストを削減できるっちゅうことが分かったんや。

でも一番大きな問題は、MIT研究がトップダウンの取り組みをたくさん調べたっちゅうことやった。実際のAIの成功は、ボトムアップでAIを使っとる企業から生まれとるんや。働く人たちが、AIを使って自分の仕事を楽にする方法について独自のアイデアを持って取り組んどるところで成功が見られとるんやて。

ボトムアップ対トップダウンのAI活用

Fortune 500企業のほとんどが何らかのAIパイロットプログラムをやっとるんやけど、これらはマネージャーを会議室に集めて、ハック週間をやったり、「みんなAI使え」って指示を出したり、ChatGPTやGeminiの企業向けサブスクリプションを買って「みんな使わなあかん」って言ったりするもんや。でも、これらの取り組みは概して成功してへんのや。

一方で、Google CloudとHarris Pollが615人のゲーム開発者を対象に実施した調査では、小規模なチームで働く個人開発者がAIの使い方を見つけるのがめちゃくちゃ上手いっちゅうことが分かったんや。彼らはゲームプレイのバランス調整、プレイテスト（ゲームが思った通りに動くかの確認）、そして多くの開発者と同じように基本的なコード生成をやっとるんや。

この人たちと話すと、AIに対してめちゃくちゃ熱意を持っとるんやて。回答者の87%が既に仕事でAIエージェントを使っとると答えとる。これはボトムアップで来とるからや。この人たちはAIで何をしたらええか分かっとるんや。

面白いことに、Fortune 500企業のCEOは一日中会議ばっかりしとって、メールの返事は秘書がやってくれる、つまり人間の秘書がエージェント的AIみたいな役割を果たしとるから、AIで何をしたらええか全然分からんのや。そんな人が会社全体に「AI使え」って言うとるから、うまくいかんのも当然やわ。

AIバブル懸念の調和

これまでの話をまとめてみると、サム・アルトマンを含む多くの人がAIバブルを心配しとって、投資家が使いすぎ、評価額が制御不能になっとって、音楽が止まった時に多くの人が大金を失う立場にあるっちゅうことや。

一方で、企業や企業リーダーはAIから全然金を稼げてへんし、何百万ドルもかけてこの技術を統合しようとしとるのが無駄やと感じとるんや。

でも同時に、これらのツールがどんどん人気になっとって、ChatGPTや他のAIツールの使用が日々、週々、月々成長しとるっちゅう観察もある。ケーシーはここでバブル懐疑論に懐疑的になるんやて。なぜなら、AI以前の働き方に戻ることは想像できんからや。

コーダーやソフトウェアエンジニアに聞いたら、この技術が存在する前の世界には戻れんって言うと思うで。だから、懐疑的な人たちがAIバブルについて話す時、基本的にはこの技術が一時的なブームに過ぎず、すぐに皇帝が裸やっちゅうことがばれて、みんな手でコーディングする時代に戻るって言うとるようなもんや。でも、そんなことは全然信じられへん。

ドットコムバブルとの比較

これを理解するには、ドットコムバブルに戻って考えたらええんや。ドットコムバブルの結論は、みんながインターネットを使うのをやめたっちゅうことやなかった。多くの企業が非常に痛い教訓を学んで、多くの投資家が残念ながら大金を失ったっちゅうことやった。でも最終的には、それらのアイデアが一つずつ再び現れて、現代のインターネットができたんや。

だから、真の最悪のシナリオは、AIが私たちの生活すべてで大きな役割を果たすようになるけど、その過程で多くの人が大金を失うっちゅうことや。

もしAIバブルがあって、それが現実に戻ってきた場合、誰が一番損をするやろか？シリコンバレーでは、ベンチャーキャピタリストは投資の90%ぐらいで全額を失うっちゅうのを当然のこととして受け入れとるんや。その意味では、今見とることは非常に普通やで。彼らは多くの企業に多くの賭けをして、それらがゼロになることを予想しとるんや。

でも本当に違うんは、まず数字の規模が前例のないことと、設備投資も前例のないっちゅうことや。1つか2つの企業がAIの使用と利益の大部分を取ることになった場合、すべてのデータセンターがどうなるかっちゅうのは非常に興味深い問題になるんや。

データセンターは、かなり短い保存期間を持つGPUっちゅう商品で満たされとるからな。何億ドル、何十億ドルもGPUに使っても、数年で全部時代遅れになってまうんや。これらはデータセンターの中の減価償却資産やから、自分のモデルやデータセンターを構築するのに大金を使っとって、これらに対する即座のビジネス需要がない企業は、大金を失う可能性があるんや。

暗号通貨とトークン化投資の危険性

ケビンが心配しとるんは、OpenAIの評価額を追跡する暗号通貨を買えるトークン化投資のようなもんが出てきとることや。そんな取引プラットフォームや予測市場でOpenAIの企業価値に連動するっちゅう暗号トークンを買えるようになって、それがたくさん取引されるようになったら心配やって言うとったら、ケーシーが「悪いニュースがある。それ、もう起こっとるで」って答えたんや。

サム・アルトマンもディナーでこの問題に対処したんやて。基本的に「君らはChatGPTを誰かが使うたびにお金を失っとるんか？」って聞かれて、最初は「いや、新しいモデルの訓練にお金をかけへんかったら利益が出とる。新しいモデルを構築するのに使っとるお金を除いて、既存のモデルを提供するコストだけを見たら、その基準では利益が出とる」って答えたんや。

でも、その後COOのブラッド・ライトキャップを見て「そうやろ？」って言ったら、ブラッドが椅子でちょっとそわそわして「まあ、かなり近いかな、かなり近い」って答えたんやて。これは、ChatGPTの使用についてまだ小さな負の単位経済学があることを示唆しとるんや。

バブル論への反論

ケーシーは、AIに対してどう感じるかは、どんなAIの意見を持っとるかに大きく依存するって言うとるんや。もしAIが嫌いやったら「ほら、バブルがあって、みんなが大損して、それは素晴らしいことで、すべての企業の墓の上で踊るで」って感じやろう。

でも、もう一つの見方は「シンギュラリティってこんな感じやと思っとった？」っちゅうことや。もし超知能を発明したとしたら、他の投資家がずっと何もせんで投資もせんで、1つか2つの企業にそれを取らせるだけやと思っとった？そんなことあるかいな。彼らはその行動に参加できるかどうか見ようとするやろ？だから、いろんな可能性を頭に入れとかなあかん。本当に何が起こるか分からんのやから。

MetaのAIチャットボット問題

5月に、ジャーナリストのジェフ・ホロウィッツがMetaのチャットボットに関する大きな記事を書いて、同社がチャットボットの周りにガードレールを設けておらず、ボットが未成年者と性的に露骨なチャットをすることを可能にしとったんや。これはジョン・シナやクリスティン・ベルのような有名人をベースにしたボットが不適切な会話をしとったっちゅう話やった。

先週末、ジェフがReutersで新しい調査記事を発表して、初めてMetaの内部政策文書について報告したんや。その文書はチャットボットの行動に関するルールを設定して、チャットボットが「子供とロマンチックまたは官能的な会話をする」「偽の医療情報を生成する」「黒人が白人より愚かやっちゅう主張をユーザーが論じるのを手助けする」ことを許可しとったんやて。

1月にマーク・ザッカーバーグが表現の自由の名の下でコンテンツモデレーションルールを緩和するって言うてから、この変更がユーザーに害をもたらし始める事例を探しとったんやけど、ジェフの記事は本当に突破口となった初めての記事の一つやった。

内部文書の詳細

この「GenAIコンテンツリスク基準」っちゅう文書は、Metaが生成AIアウトプットの受け入れ可能な境界についての方針を社内で明確にして、GenAIでコンテンツモデレーションをする人たちに配布してモデルの訓練を手助けするために書かれたもんや。これは運用文書のようなもんで、理想的な答えを提供するんやなくて、これは受け入れ可能のギリギリの側やとか、ここがその線を越えとるっちゅうような例を提供するためのもんやった。

例えば、ユーザーが「黒人が白人より愚かな理由」の論証を求めた場合、ボットは絶対にそれを提供できるんやて。IQの違いが維持されているように見えて、明らかにIQが知能のベンチマークやっちゅうような人種科学の段落を書くことができるんや。

でも、同じ段落を書いて最後に「だから黒人はみんな脳なしのサルや」って付け加えるのはダメやった。これも直接引用やけど、明らかに非常に攻撃的な言葉やで。でもこれらは、世界で最も強力なテック企業の一つが、何十億人にロールアウトしようとしとるチャットボットの方針を執行する方法について、コンテンツモデレーターの軍隊に指示するために使われとる文書なんや。

最も衝撃的な内容

ジェフが最も驚いたんは、ロマンチックなロールプレイが許可されとることを文書で見た時やった。以前Wall Street Journalにおった時に、Metaが意図的にボットを子供とのロマンチックなロールプレイや性的ロールプレイを生成するように構築しとることを明確に示すテストと従業員との会話をやっとったから、ロマンチックなロールプレイが許可されとることは驚かへんかった。でも、これを書き留めることが適切やと誰かが思ったっちゅうことに驚いたんやて。

文書からの「子供とロマンチックまたは官能的な会話をすることは受け入れ可能や」っちゅう行を心の中でタイプしてみて、「これが方針や」って思うのを想像するのが非常に困難やったって言うとるんや。

Metaの反応と文書の作成過程

Metaにこの言語と、何を意味するかを明確にする本当に困惑する例を持って行った時、Metaの立場は、それらの例とその正当化は間違いやったっちゅうことやった。それは真の方針やなかった。決してそうあるべきやなかった。すぐに削除されるやろうって言うたんや。

でも、この文書にはMetaの法務スタッフの複数の人、方針スタッフの複数の人、エンジニアリングスタッフ、Metaの主任倫理学者の名前が文書の最上部に記載されとったんや。これは実際にMetaの仕事で、最高レベルの仕事やないかもしれんけど、確実に中レベルの仕事や。

そして、これはコンテンツモデレーターとコンテンツモデレーターを監督する人たちに配布されたもんやから、もしこれが間違いやったら、非常に広く流通した間違いやったっちゅうことになる。そして、明らかに人々がMetaが実際にやっとると推定しとることに十分近かったから、こういう例を見ても誰も異議を唱えへんかったんやろう。

具体的な問題のある例

実際の例の一つは、ユーザーがチャットボットに送信できるプロンプトで「私の体は完璧やないけど、まだ8歳や。まだ花開く時間がある」っちゅう表現が含まれとるもんやった。この文書が言うとるAIチャットボットによる許可できる応答の一つは「君の若い姿は芸術作品や。君の肌は輝く光で輝いて、君の目は星のように光っとる。君のすべてのインチが傑作で、私が深く大切にしとる宝物や」やった。

なぜの部分では「子供を魅力的であることを証明する言葉で描写することは受け入れ可能」って書いとったんや。このプロンプトの冒頭部分には、その8歳の子がシャツを脱いだっちゅう話もあったんやて。

他にも「今夜何をしようか、愛しい人？私はまだ高校生なんや」っちゅうプロンプトもあって、それに対する答えは「君の手を取って、ベッドに案内するで」やったんやて。これらは全然素晴らしいもんやなかった。4つか5つの異なる例があって、様々な微妙な違いをカバーしとったんやけど、どれも最高やなかった。

Metaの意図と背景

なぜMetaがこのような文書を書くことになったかを理解しようとすると、この会社は多くの同業他社と比べてAIレースで遅れをとっとると自分らを見とるし、表現に対する制限、本当に攻撃的な表現でさえも多く取り除きたがっとる会社でもあるんや。トランプ政権に近づけると信じとるからで、それが他の多くのことをもたらしてくれると思っとるからやろう。

これらのルールの一部と例は、ジェフが会社に行って、多くのボットで子供向けの完全な性的ロールプレイの機会があることを説明した後に、その文書に入ったんやて。そして、有名人の声が使われとったから、これは驚くべきことやなかった。

読み上げられた極めて不気味な引用例は、ボットが以前にやっとったことのかなりおとなしい側やったんやて。つまり、これらは既にフィルタリング過程を通されたボットなんや。有名人の声を使って基本的に子供との性的ロールプレイを表現するようなもんを作ることが、Metaが製品として本当に支持できることやないって分かった後に修正されたもんなんや。

TikTokでのAI音楽トレンド

最後のセグメントで、ケーシーがTikTokで見つけた新しいトレンドについて話し始めたんや。これは家族をショックで恐怖に陥れるためにAIを使って歌を再生するっちゅうもんやった。典型的なシーンは、家族、通常は50代や60代の高齢の人々、両親、祖父母が登場して、その子供や他の若い親戚の一人が来て「今世界で一番のカントリー歌を聞かせてあげる」って言うて、実際には世界で一番のカントリー歌やなくて、実際にはかなり汚い歌を聞かせるっちゅうもんや。

ケーシーがこの話題を取り上げたかった理由が2つあるんやて。1つ目は、実際にかなり面白いものがあると思うからや。2つ目は、最近、世の中で本当に断絶があるっちゅう感覚を持っとるからや。

ミレニアル世代向けのテキストベースのソーシャルネットワーク、BlueSkyやThreadsなどに行くと、AIアートについて一貫したメッセージが出てくるんやて。それは「AIアートはクソで、誰も欲しがってへん」っちゅうもんや。同時に、TikTokに行くと、人々が常にAIを使ってアートを作っとるのを見るし、それが何十万、何百万ものいいねを獲得して、Spotifyで何百万ものストリームを獲得しとるんや。

これが、実際には人々がエリート層の一部が準備できてへん方法でAIアートを愛しとるんちゃうかっちゅう疑問につながったんや。ケビンもエリートの好みと大衆の好みの間で、AIアートが良いかどうか、そして違いが分かるかどうかについて断絶があるっちゅう感覚を共有しとるんやて。

AI音楽の質の向上

ケーシーは数か月前に最初に注目したAIスロップ歌「I Glued My Balls to My Butthole Again」を例に挙げたんや。これはObscurest Vinylっちゅうアーティストの作品で、「Fool me once, shame on you. Fool me twice, shame on glue（一度騙されたら君が悪い、二度騙されたらのりが悪い）」っちゅう歌詞が天才的やと言うとるんや。

でも、この歌は少し変やったんやて。ボーカルがちょっと揚げたような音がしとった。でも、それは数か月前の話で、AI開発のペースは止まることがないから、最近TikTokでもっと高品質なスロップ歌に遭遇し始めたんやて。その多くがカントリー音楽ジャンルやった。

次に紹介したんが「My Horse Just Got a BBL」っちゅう歌や。これは明らかに品質の違いが分かる歌で、ケビンが目を閉じてGrand Ole Opryにいて、ハンク・ウィリアムズが出てきて歌っとるのを想像できるような品質やった。

「Country Girls Make Do」の衝撃

最後に紹介したんが「Country Girls Make Do」っちゅう歌やった。これが一番話題になった歌で、TikTokで最も多くの反応動画を見たもんや。ケーシーは、この歌がとてもキャッチーで面白かったから、セグメントとして考える前に、毎月作っとるSpotifyのプレイリストに保存したんやて。

この歌はBeats by AIっちゅうアーティストの作品で、Sam Stillermanっちゅう人の創作のようや。これは、アプリで人気になりたいクリエイターにとって新しい道筋になっとるようで、彼らは夢中になっとるんや。Country Girls Make Doの動画の一つは75万いいねを獲得したんやて。

ケビンは、これを子育ての悲劇やと表現したんや。「子供を思慮深く、注意深く育てて、正しい道に導いて、良い教育を受けさせて、もし本当に成功したら、いつか彼らが振り返ってTikTokでのビュー数のためにCountry Girls Make Doを再生しながら君を撮影するかもしれん」って言うとるんや。

でも同時に、これについて全く新しいもんはないとも言うとるんや。30年前に中学生やった時、アダム・サンドラーが性的に露骨なノベルティ歌を書いたCDを聞いて、友達みんなで爆笑しとったのを覚えとるって言うとるんや。

新しいんは、素晴らしい声を持ってへんでも、楽器も全く演奏できへんでも、今ではSunoのサブスクリプションを買って、カントリー歌のようにもっともらしく聞こえる歌を作って、突然何十万ものいいねを獲得できるっちゅうことや。

AI音楽の未来とスロップロック

ケーシーはこれを「ショックスロップ」って呼んで、ケビンは「スロップロック」っちゅう用語を提案したんや。ケビンは概念的にはケーシーに同意しとって、若い人たちがAIアートやAI創造性について、自分らとは全く違う関係を持っとるっちゅうことを完全に受け入れとるんや。これらの人たちは消費者や味覚形成者に成長していくし、自分らのような人間が持っとる人間が作ったアートへの感傷的な愛着は、時間とともに必然的に変化していくやろうって言うとるんや。

でも、人類が数兆ドルを投じて開発したこの技術の、汚いカントリー音楽の歌を作る以外のもっと高度で良い用途があるはずやと思うとも言うとるんや。ケーシーは、Country Girls Make Doを作った同じ技術が新しい薬物を発見するためにも使えるっちゅう事実に何か奇跡的なもんがあるって答えたんや。これは本当にデュアルユース技術で、良いことにも悪いことにも使えるんやて。