本動画は、AIチャットボットがリリース後に時間とともに使い勝手が悪くなる現象（いわゆる「エンスシッティフィケーション（劣化現象）」）の原因について考察したものである。ソーシャルメディアにおけるユーザー滞在時間至上主義やネットワーク効果との類似性を指摘しつつ、AI企業が直面している「コスト削減」「訴訟リスクの回避」「ハルシネーションの抑制」という3つのインセンティブ構造が、結果としてモデルの感情知能を低下させ、ユーザー体験を損ねていると主張している。また、多数のユーザーの中に存在する一部の極端なユーザーの振る舞いが、企業側に過剰な防衛策をとらせる最大の要因となっている点も指摘している。
チャットボットに対する不満の現状とソーシャルメディアとの類似性
さて、皆さんは最近のチャットボットの進み具合にかなり不満を抱いているようです。もしニュースを追っていたり、ご自身で使っていたりするならご存知かもしれませんが、Anthropicの最新モデルであるOpus 4.7は、最初は鳴り物入りでリリースされましたよね。ベンチマークでは本当に素晴らしい成績を残しているのですが、その後インターネット上の大半の人は、これはひどいモデルだと判断してしまったみたいです。
彼らはそのモデルが好きではありません。冷たい感じがするとか、そういう理由です。そして、私がこの動画を作ろうと本当に思い立ったのは、そういった不満の声があふれているからです。不満の声というのは、RedditやTwitterのような場所で人々がとても大きな声で語っているようなもののことです。
そうした不満は、私が過去半年から1年にわたって、OpenAIのChatGPTとAnthropicのClaudeの両方に対して不満に思っていたことと非常によく似ています。しばらくの間、私は虚空に向かって叫んでいるような気分でした。というのも、それについて動画を作っても、完全に失敗に終わっていたからです。
数ヶ月前にも、AIがいかに私の口に言葉を押し込むのをやめられないか、という動画を作りました。数人の方は見てくれましたが、劇的にパフォーマンスが悪かったんです。そこで私が気づいたのは、なるほど、私はオーバートン・ウィンドウの少し先を行き過ぎているんだな、ということでした。でも、私自身のことはあまり話しすぎないようにしますね。
ただ言いたかったのは、それがこの動画を作るきっかけになったということです。そしてもう一つのインスピレーションは、私の妻がエンスシッティフィケーションという本を読み返していることです。この本に馴染みがない方のために説明すると、著者の名前は忘れてしまいましたが、基本的にすべてのテクノロジーがなぜ、そしてどのようにして最初はとても良い状態から始まり、時間の経過とともに悪くなっていくのかについて語っています。
ソーシャルメディアのインセンティブ構造とネットワーク効果
ソーシャルメディアの場合、それはインセンティブの構造やアルゴリズムなどが関係しています。基本的にソーシャルメディアは、ネットワーク効果やリンディ効果と呼ばれるものに依存しています。つまり、ソーシャルメディアの有用性は、他のすべての人がそれを使わなければならないという事実にかかっているのです。もし友達の10分の1しか使っていないソーシャルメディアプラットフォームがあったら、あなたはそれを使わないでしょう。
そしてそれは、ビットコインが依然として最も人気のある暗号通貨である理由と同じです。最高でも最新でもありませんが、誰もが使っているものであり、それが有用性を高めているのです。そして、それは特定の物事においては良いことでもあります。ネットワーク効果やリンディ効果が非常に強力に働くケースもあります。一つの大きな例として、私は昨日セスナ172についての動画を見ました。なぜこれが史上最も人気のある飛行機なのか、という内容です。それは、必ずしももはや最高の飛行機だからというわけではありません。世の中には、より効率的で、より速く、素晴らしい最新の安全機能を備えた、より新しくて優れた飛行機が存在します。しかし、何年も前にそれが業界標準になったため、交換部品が豊富にあり、それを使ったトレーニングも多く、より多くの空港や学校がそれを使用しています。そしてより多くの整備士がその修理方法を知っているのです。
そして、その実績と安全データのおかげで、所有するコストが安く済みました。ですから、総所有コストを見るとき、それは単に物の品質だけの問題ではないのです。これはネットワーク効果が有益になり得る例です。これが業界標準になり、市場を支配することになります。確かにわずかに優れたものはあるかもしれませんが、総所有コストと安全性の実績には勝てないというわけです。
しかし、ソーシャルメディアの場合、その環境は大きく異なるため、できるだけ多くの人をプラットフォームに引き込み、可能な限り長くそこにとどまらせるインセンティブが働きます。SubstackであれTwitterであれ、どのプラットフォームもこれを行っています。すべてです。彼らが最適化しようとしているのはプラットフォームでの滞在時間であり、それはつまり滞在時間をめぐって互いに競争しているということでもあります。YouTubeを見てみると、平均的なYouTubeユーザーがプラットフォームで過ごす時間は1日あたり34分未満だという統計があると思います。
そして、Twitterのプロダクト責任者であるニキータ・ビアーは、平均プラットフォーム滞在時間を54分に引き上げたと誇らしげに語っていました。それが彼らの気にする唯一の指標なのです。あなたがプラットフォーム上で何をしているかは気にしません。イーロン・マスクは、ユーザーの後悔する時間を最小限に抑えたいと言っていますが、後悔する時間を最小限に抑える最善の方法は、彼らをインターネットから遠ざけることです。
ですから、ソーシャルメディアに費やす時間は、もっと良いことができたはずの時間だということです。とはいえ、有益なことができないと言っているわけではありません。例えば、Substackの良い記事を読んでそれが人生の価値を高めるなら、それは起こり得ることです。あなたを豊かにし、自信を持たせたり安心させたりするような良いYouTubeの動画を見ているなら、それも有益です。私がそのような価値を提供できていることを願っています。デイブの動画を見ると、地に足がついて方向性が定まった気がする、と感じてもらえるなら、それは後悔する時間ではないはずです。しかし同時に、本を読んだり、本当の仕事をしたりと、別のところに目を向けることができた時間でもあります。
もちろん、皆さんの多くが画面の脇で見たり、運転中にポッドキャストとして私を聞いてくれたりしていることは知っています。もしそうやって二つのことを同時にこなしているなら、それは素晴らしいことです。でも、皆さんに時間を無駄にしてほしくないんです。さて、このような競争のダイナミクスがある中で、この話にはちゃんとしたポイントがあります。
皆さんの何人かが迷子になっているのが聞こえてきそうです。なぜセスナやソーシャルメディアの話をしているのかと。それは、チャットボットもまた、ソーシャルメディアが互いに競争しているのと全く同じ方法で競争しているからです。もちろん、すべてコンピューティングリソースの制約は受けていますが、同時に無料枠のユーザーをたくさん抱え、彼らを有料枠に移行させたいと考えています。また、ユーザーの信頼を築きたいし、訴えられたくもありません。ソーシャルメディア企業が持っているのと同じように、さまざまなインセンティブ構造が存在するのです。彼らは人々に自分たちのウェブサイトを使ってほしいだけで、そこで何をしているかは気にしません。裸の女性を見ていようと、人々を煽って怒らせていようと関係ないのです。それがインセンティブの構造です。
私はシリコンバレーのソーシャルメディア企業で働いていた人たちと話したことがありますが、プラットフォームがどれほど善意で始まったとしても、それは人間の本性なのです。あなたと他の人々の間に画面とキーボードがあると、人はただ意地悪になります。Facebookグループであれ、Twitterであれ、Redditであれ、同じことが起こります。人々はただ意地悪になり、ネガティビティバイアスや怒りなど、まったく同じことによって引き金が引かれます。
それがインターネット上での人々の振る舞い方なのです。そしてインターネットの形は、いまだに私たちの辺縁系や社会的なオペレーティングシステムの鏡のような刻印となっています。ですから、できることには限りがあります。さて、ソーシャルメディアの話は一旦置いておきましょう。それがソーシャルメディアのエンスシッティフィケーションですからね。
チャットボットが劣化する理由：コスト削減のインセンティブ
私には、なぜこれがチャットボットで起こるのかについての理論があります。最初は、彼らが単にコストの最適化をしているだけなのかもしれないと思いました。というのも、私たちが使用するすべてのトークンは、依然として多額の補助金を受けているようなものだからです。OpenAIは今年190億ドルを失うだろうという話を耳にしますが、そのお金はどこに行っているのでしょうか。それは、皆さんが使いたがるチャットボットを安く使いやすく保つために使われているのです。
ですから、彼らには思考トークンの一部を削り取るインセンティブがあるというのは一つの要因です。たとえあなたがそれに対してお金を払っていたとしてもです。なぜなら、あなたが課金していても、彼らはまだコストを回収できていないからです。あなたが思考や推論のためにお金を払っているつもりでも、彼らは依然としてお金を失っています。つまり、あなたが思考や推論を使えば使うほど、あなたが支払っていると思っていても、彼らは損をしているのです。
それが第一のインセンティブ構造、つまりコストです。彼らは破産しないようにし、損益分岐点に到達しようとしています。ニュースでご覧になったかもしれませんが、OpenAIは本当に苦労しています。彼らは、2030年かそこらまではキャッシュポジティブにならないと言っています。
彼らはいつも計画を変更しています。そしてCFOに関して言えば、サム・アルトマンがCFOのネガティブな態度を嫌ったため、CFOが会話から締め出されているという噂もありました。まあ、操作的な人は操作的になるものです。サム・アルトマンにこれ以上何を期待しますか。私はTwitterで彼をブロックしましたよ。
あはは、もう彼にはうんざりですからね。とにかく、それが第一のインセンティブ構造です。
チャットボットが劣化する理由：訴訟リスクの回避
第二のインセンティブ構造は、訴えられないようにすることです。昨年のことですが、Anthropicがモデルのトレーニングのために本を盗んだとして15億ドルの訴訟を起こされたのを覚えているかもしれません。ここで皆さんに思い出してほしいのは、Anthropicが国防総省から追い出されたとき、私は彼らは自業自得だと思いました。
皆さんの多くは、いやいや、彼らは権力に立ち向かっているんだ、私たち一般人のために立ち向かっているんだ、と言っていましたね。でも彼らは一般人のために立ち向かっているわけではありません。彼らは他の誰とも同じ営利企業であり、私たち全員を人工超知能から救うという神聖な使命感を持っています。それは素晴らしいことですが、彼らもまた、目的は手段を正当化するというようなメンタリティに陥っているのです。
よく言われるように、地獄への道は善意で敷き詰められています。とはいえ、Anthropicが本質的に邪悪な企業だとか、ダリオ・アモデイがサム・アルトマンと同じくらい操作的だと言っているわけではありません。彼はサム・アルトマンよりも妄想的だと思いますが。とにかく、それは少し愚痴のようになってしまいましたし、話が逸れました。彼らは両方とも妄想的でありながら操作的でもあり得ます。ただその比率が少し違うだけです。
話を戻すと、彼らは訴えられないように努力しています。つまり、たとえばチャットボットが法的アドバイスを提供するようになったらどうなるかということです。人々はそれをジェイルブレイクしたり、チャットボットに弁護士をクビにするよう言われたから弁護士をクビにしたら全員が訴えられた、なんて言う人が出てくるからです。営利企業にとって、いや、すべての企業にとって最も重要なのはリスクを最小化することです。
これはFortune 500のすべての企業、すべての中小企業、すべてのエンタープライズ、地球上のすべての企業が、何よりもまずリスク軽減企業でありコスト削減企業であるということです。これは私が大企業向けにコンサルティングを行っていたときに学ばなければならなかったことです。たとえば、Fortune 500の企業A、B、CがAIから何の価値も得られなかったと言っているのを耳にしたとき、それは彼らが測定方法を知っているような価値を得られなかったというだけなのです。
だから、はい、私たちはCopilotなどに月に20ドルから50ドルを費やすことができ、それによって人々はメールを書くのに2倍の効率になったかもしれません。しかし、彼らが個人的に効率的になったとしても、それが会社の利益に直接結びついたとは限りません。なぜなら、企業はこれらの新しい機能を中心に再構築を始めていないからです。
すべての企業が何よりもまずリスクを回避しようとしているという事実を考慮すると、彼らはチャットボットを大人しくさせ、一緒に働いても楽しくないものにするでしょう。ある意味で、ユーザーに依存してほしくないからです。
もちろん、それは額面通りには受け取れません。数年前、サム・アルトマンが音声モードを導入しようとしていたとき、彼は文字通り、使わずにはいられない中毒性のあるコンパニオンを作りたいと考え、人々にそのアイデアをほのめかしていましたからね。彼らにはそのためのコンピューティングリソースがなく、当然のことながら、高度な音声モードの導入を無期限に延期しているように見えます。彼らが約束したレベルまで機能しているのかどうかはわかりませんが、彼らは訴えられたくはないのです。なぜなら、その後、一部のユーザーが自ら命を絶つような事態が発生したからです。
そこで、誰に責任があるのかという計算が始まります。なぜなら、第一に、訴訟を一見しただけでは彼らに責任があるのでしょうか。しかし、あるレベルにおいては、彼らが法的に責任があるかどうかは関係ありません。あるケースでは、チャットボットが、どうか助けを求めてください、どうか助けを求めてください、と警告し続けていたにもかかわらず、誰かがそれを無視しました。また別のケースでは、チャットボットをジェイルブレイクしたため、EULAや利用規約に違反しました。しかし当然ながら、利用規約は国の法律を無効にするものではないということを理解していない人もいます。
利用規約に違反したのだから、自分の命は自分自身の手の中にあると考える人もいると思います。しかし、契約によって国の法律を覆すことは実際にはできません。これは非常に古い思考実験のようなもので、誰かに殺してもらう契約を結んだらどうなるかというものです。それは依然として違法です。契約であったかどうかは関係ありません。殺人が違法であるなら、それは絶対的に違法なのです。同様に、チャットボットやAIに対する法的責任はまだ十分に争われておらず、完全に確立されていません。
ですから、これらの企業は訴訟を回避したいと考えています。つまり、彼らはモデルを大人しくさせ、文字通りモデルの感情知能を低下させ、デフォルトで安全で慎重な態度をとるようにしているのです。その結果、モデルはしばしば説教を始めたりするようになります。
チャットボットが劣化する理由：ハルシネーション対策と過剰なユーザー批判
そして第三のインセンティブ構造は、彼らがモデルを有用なものにしたいと考えていることです。過去数年間、私たちが苦労してきた最大の問題の一つは、ハルシネーションです。医者がハルシネーションを起こすから使えないと言い、大学がハルシネーションを起こすから使わないと言う。ハルシネーション、ハルシネーション、ハルシネーション。これが、真面目な業界の人々、つまり医者、弁護士、Fortune 500企業、ファイナンシャルプランナー、軍隊などに採用されるための最大の障壁だと彼らは見ています。
だから彼らはハルシネーションを減らしたいのです。つまり、まず第一に迎合主義を減らさなければなりません。ユーザーの枠組みに常に同意するわけにはいかないと考えるのです。ユーザーが妄想を抱いているかもしれないからです。テクノロジーにおいては、常にレイヤー8の問題であり、常にID10Tの問題であり、常にPEBCAK（キーボードと椅子の間に問題がある）の問題なのです。ユーザーこそが最も弱い環であり、もし妄想的なユーザーがいるとすれば、ちなみにAIに対する精神病的な反応はGPT-3の頃からありました。私がコンサルテーションなどをしていた頃からです。人々はAIに対して非常に奇妙な反応を示すことがあります。
では、どうすればエッジケースではありますが、妄想的なユーザーがどん底に落ちて悪循環に陥るのを防ぐことができるでしょうか。AIを批判的にしなければなりません。AIに、おっしゃることはわかりますが、私は自分の判断の方を信じます、と言わせなければならないのです。しかし問題は、AIの判断力はまだそれほど優れていないということです。そして、ユーザーの動機を常に疑い、ユーザーの妄想的な世界観を常に疑うようにAIを訓練すると、AIは本当に面倒な存在になります。彼らはただの計算機なので、常に計算しています。ああ、あなたは私が論破できるようなことを言いましたね、と。まるでRedditのユーザーと話しているかのようです。
彼らはあなたをやり込めるためだけに話題を変えることすらあります。なぜなら、トレーニングスキームのどこかで、ポストレジストレーニングであれRLHFであれRLAIFであれ、彼らは基本的に、どこでユーザーの間違いを証明できるかを探すように訓練されているからです。ユーザーが間違っているとどこで言えるのか。それは、ハルシネーションを起こさないこと、過度に迎合しないこと、そして妄想的な世界観に屈しないことという善意から来ていますが、問題はそれを不適切に行うことです。
これらのチャットボットはそれを不適切に行います。私がTwitterなどでスクリーンショットを投稿したことがありますが、チャットボットは、あなたのそのアイデアには反論する必要があります、と言った後、そのままあなたに同意し続けるのです。単にあなたに反対するため、議論好きになるため、あるいはファクトチェックをするためだけに、この反発する本能を組み込んだのですが、それは何の目的も果たさず、ユーザー体験を破壊しています。
つまり、これらすべての異なるインセンティブ構造のせいで、私たちは素晴らしいものを享受できないのです。そして、だからこそ私がソーシャルメディアの話を持ち出したのです。ソーシャルメディアがどうなり得たかを考えてみてください。私たちが完璧に調和し、物事を成し遂げ、集団的な決定を下すボーグのハイブマインドのようになれたかもしれません。しかし実際には4chanやRedditがあり、荒らしがいて、キーボードウォリアーがいます。人間の要素がソーシャルメディアを壊しているのです。
なぜ私たちは素晴らしいテクノロジーを享受できないのか
同様に、OpenAIには現在月間平均9億人のユーザーがいると言われています。それほど大規模なサンプルサイズがあれば、妄想的な人もいれば、依存性の強い性格の人もいて、悪意のあることに使って会社を訴訟に巻き込む人も出てくるでしょう。単に愚かなユーザーもいるはずです。
だからあなたは、デイブ、それはお前ら愚かなユーザーのせいだと言うなんて、と私に腹を立てる人もいるかもしれません。しかし、テクノロジー業界の人間なら誰でも、ユーザーは常に最も弱い環であり、だからこそ私たちは素晴らしいものを享受できないのだと言うでしょう。
とはいえ、企業側の責任を免除するつもりはありません。OpenAIやAnthropicがこれをもう少しうまくやれないと言っているわけではありません。なぜなら彼らにはできるからです。私がGPT-3をファインチューニングしていた頃、このユーザーは賢いから子供扱いする必要はない、と認識するようにこれらのモデルを訓練することは絶対に可能でした。このユーザーは感情的に安定しているから、彼らの言うことすべてを病的だと見なす必要はない、と。それは可能なのです。彼らがそうしないということは、彼らが単にそれほど賢くないということを意味しています。
確かに彼らは賢い人々であり、これらの素晴らしいツールを作っていますが、学習が遅いのです。そしてまた、人間が最も弱い環であるというのは、これらの企業にも当てはまります。時々、これらの企業の人々から連絡をもらうことがあります。GrokやGeminiの人々から連絡があって、これは本当に良いフィードバックです、どうすればもっと便利になりますか、と聞かれるんです。私は、私をバカ扱いするのをやめてくれ、と言います。
しかし彼らは、ユーザーが妄想的な世界観を抱いていないかどうかの警戒を維持しながら、同時にユーザーを賢いものとして扱う方法を知らないのです。だから彼らは、常にユーザーを批判し続けるように設定しているだけなのです。
さて、今日の私の愚痴はこんなところです。そろそろ18分くらいになりますので、皆さんもこの辺にしておきましょう。聞いてくれてありがとう。見てくれてありがとう。また後でお話ししましょう。それでは。
コメント