MITで訓練を受けたコンピューターサイエンス教授カル・ニューポートが、ChatGPTの最新版が期限遅れ、過大評価、そして期待外れである理由について詳しく解説している。デジタルミニマリズムの第一人者として知られるニューポートは、GPT-3から4への飛躍的進歩の後、GPT-5では予想されたような大幅な性能向上が見られなかったスケーリング法則の破綻について分析する。言語モデルの根本的な限界、パターンマッチングに過ぎない推論能力、そして真のAGI達成には複数のシステムを組み合わせた神経シンボリックアプローチが必要であることを論じる。シリコンバレーの救世主的狂騒とAI現実主義者としての立場を明確にしながら、AI技術の現実的な評価と今後の展望を語っている。
カル・ニューポート教授が語るChatGPTの限界とAI現実主義
ChatGPTの最新版は期限遅れで、過大評価されとって、期待外れやねん。これは、MITで訓練受けたコンピューターサイエンス教授のカル・ニューポートの新しい記事からの話やで。カルはデジタルミニマリズムの決定的な声として自分を確立してるんや。これは、テクノロジーがツールから暴君に変わった世界をナビゲートする哲学なんやな。
そしてカルは人工知能で起こってることについて先見の明があることを証明してきた。素晴らしいイノベーションの爆発に続く突然の減速やな。なら、なんでChatGPTは壁にぶつかったんやろ？
「習得できへんこととか、でけへんことがぎょうさんあるんや。ごちゃごちゃしたモデルなんやな。」
AIの仕事への影響は誇張されとるんやろか？「もしあんたが単なる一般的な知識労働者やったら、AIの訓練に行くか、さもなければ仕事を失うっちゅう考えは、わしはあんまり信じてへんねん。それはツール次第やと思うで。」
そして彼がシリコンバレーが狂ったって言うのはどういう意味なんやろ？「一般人はこれを知らんねん。なぜなら彼らはAI界にそんなに関わってへんかったからや。でもこれがシリコンバレーを狂騒状態にしたんや。」
GPT-5の期待外れな現実
「あんたの最新のニューヨーカーの記事で、あんたは非常に著名で気難しいAI懐疑論者を好意的に引用してるな。その人はChatGPT-5、ChatGPTの最新モデルを、期限遅れ、過大評価、そして期待外れって呼んでる。」
「そしてあんた個人としては、それが真新しいモデルっちゅうより、最近の製品を洗練させる試みやって言うてるな。ChatGPT特有の収穫逓減に見えることを、一般人にも分かりやすい方法で説明するとどないなるんや？」
「そやな、3を見て、4を見て、それから5を考えんとあかんねん。そこがこの話に関係してくるとこやで。」
「GPT-3を手に入れる。これは2020年に出てきて、言語モデルがそれまでにやってきたことを大幅に上回る飛躍やった。研究者にとっては、非常にエキサイティングやったんや。それからGPT-4を手に入れる。GPT-3ができることを大幅に上回る飛躍やった。GPT-3は言語を習得したって考えることができる。以前の言語モデルができへんかった方法でな。」
「小学2年生と比べて博士レベルの言語能力を持ってた。ただ言語がずっと上手やったんや。GPT-4は言語に関係ないこともやり始めた。論理やった。いくつかの数学問題を扱ってた。突然コンピューターコードを書くのが非常に上手になった。だからこれらのリリースは両方とも、それまでのものを大幅に上回る飛躍やった。GPT-5は段階的やった。」
「GPT-4の後にたくさんの他のモデルをリリースしてたけど、焦点はGPT-5まで待てへん、次の大きな飛躍になるやろうっちゅうことやった。でもそうはならんかった。そして結局GPT-5が実際に何やったかっていうと、マーケティングやったんや。12月から始まってGPT-5のリリースまでにリリースしたモデルを取って、混乱する名前の段階的なモデルがぎょうさんあって、それを一つの大きな製品に統合したんや。それが本当にGPT-5やった。使いやすさの観点からは良いことやけどな。やってくれて嬉しいわ。でも大きな数字ごとに能力が飛躍的に前進するって約束されてたんや。だから人々が失望したんやと思うで。」
言語モデルの根本的な構造と限界
「オーケー。そして再び、人文科学の学位を持つ我々にとってできるだけ一般人にアクセス可能な言葉でな。」
「あんたは記事で、コンピューターインテリジェンスは人間の知能と同じで、最終的にはそれがどう機能するかは依然として深く謎に包まれてるって言うてるな。」
「でも見た目には収穫逓減の構造的な理由を説明する最良の方法は何なんや？あんたが言うように、ChatGPTはカムリをパワーアップするようなもんで、どんなに調整しても、フェラーリにはならへんねん。現在のモデルを何がカムリにしてるんや、そしてコードのベースレイヤーレベルで何が起こらんとあかんねん…口で言うのも痛いけど、フェラーリに変えるためにはな。」
「ええ、わしのMITの本能が全部、あんたのふらふらしたブラウン大学の学位を批判的に見下ろしてるわ。わしはまだメタ倫理学の優等論文を持ってるで。誰でも見て構わんよ。」
「あんたが英語離散専攻を発明してダンスしてる間に、わしは線形代数を学ばんとあかんかったんや。だから、それを脇に置いといて。」
「ほら、わしは…わしは少し歴史をやらんとあかん、少しテクノ史をな。でもやらんとあかんねん。なぜなら皆を同じ場所に持っていって、実際に何が起こってるかを本当に理解してもらわんとあかんからや。少し技術的やけど、そんなにでもないで。でもこれがわしがこのニューヨーカーの記事のためにやってた取材やねん。」
「だから最初に戻らんとあかん。最初に、言語モデルがあったんや。言語モデルって何や？それはニューラルネットワークに基づいて構築されたコンピューターシステムで、一つのことをするんや。テキストを与えると、そのテキストを一つの単語か単語の一部で拡張するんやな。」
「だから『the quick brown』を与えると、『ヘイ、これを拡張するのに良い単語はfoxやと思うで』って言うんや。そしてこれらのモデルがそうする理由は、それがそんなに便利やないっちゅうのもある。それは人間がテキストを生産する方法やない。実際に我々は言いたいことの完全な概念を形成して、それからそれを記述するナレーションを構築するんや。人間がテキストを生産する方法やないんや。」
「なんで？なんで我々はAIモデルにそれをさせるんや？なぜならそれをするようにモデルを訓練する方法を知ってるからや。なぜなら、テキストを一つの単語で拡張するのが上手なモデルを訓練する方法がここにあるからや。実際の人間が書いた実際のテキストを取って、任意の場所で切って、それを入力として与えて、『次に来るべき単語は何や？』って言うんやな。そうするとモデルは試せる。正解が分かってるねん。なぜなら実際のテキストを任意の場所で切ったからや。正解が分かってるんや。」
「だからモデルを少し調整して、その正解により近づけることができる。そこにはぎょうさんの人間のテキストがある。だから言語モデルの背後にある大きな洞察は、ああ、単語当てゲームが上手なモデルを訓練できるんや。なぜなら訓練に使う文章がぎょうさんあるからやって。ゼロから訓練セットを発明する必要がない。」
「座って例を書き出す必要がない。本や記事や他に見つけられるものを何でも使える。インターネットからランダムなテキストを取ってきて、全部モデルに与えることができる。ランダムな場所で切って、次の単語を当ててみろって言って、少し近づくように調整するんや。それが言語モデルの背後にある全体のアイデアやったんや。単語当て屋やねん。」
「なんで？なぜなら単語当てが上手なモデルを訓練するのに使えるテキストがぎょうさんあるからや。だから長い間これらを持ってて、結構良かった。テキストをぎょうさん与えると、文法的にかなり良くて、かなり流暢なテキストを生産できた。でもちょっと脱線するし、特定の質問によく答えられへんかった。」
「でもそれが世界の状態やった。言語モデルがあったんや。これらは学術界で何年も研究されてきた。それから加速する一連の進歩を得始める。これが最終的に救世主的な狂騒につながることになるんや。これらの進歩の最初のものは2017年に来る。Googleの研究者チームがこれらのモデルを構築するより良い方法を見つけ出すんや。」
トランスフォーマーアーキテクチャとOpenAIの登場
「それらはトランスフォーマーアーキテクチャって呼ばれる。これらが何をするかっていうと、モデルが何に注意を向けるべきかを学ぶことを可能にするんや。だから、これらのモデルが非常に長い応答を書くことを可能にしたんや。なぜなら何が起こるかっていうと、モデルが『オーケー、単語を吐き出さんとあかんけど、入力で本当に重要なことは何や？』って言うことを可能にしたからや。」
「まあ、本当に重要な二つのことは、おそらく拡張してる文章やろな。なぜならそれを適切に拡張したいからや。そしてこのテキストの最初の方にある、あんたがわしに尋ねた元の質問かもしれん。だから質問に忠実でいられるけど、間の部分は無視できる。詳細は重要やない。でもこれらのモデルが長いテキストを生産することを可能にしたんや。記事全体を生産する。数千語を生産するんや。それはエキサイティングやった。」
「この小さな非営利会社が始まる。トランスフォーマーで新しいタイプの言語モデルを構築し始める。彼らはOpenAIと自分たちを呼んだ。」
「だから今我々は2018年、2019年にいる。彼らはGPT-1を構築する。それはトランスフォーマーを持つ言語モデルや。GPT-2を構築する。結構良かった。他のモデルより超良いってわけやない。学術モデルも同じくらい良かったか、まあそんなもんや。だから彼らはこれに取り組んでた。それから2番目のブレークスルーが来る。彼らは研究調査をする。」
「OpenAIにJared Kaplanっちゅう研究者がいて、彼はOpenAIの研究者グループを率いる。そのグループにはDario Amadeiも含まれてて、彼は後にAnthropicのCEOになって、実際にKaplanも一緒に連れて行った。彼らはかなりシンプルな実験をする。基本的にGPT-2を取って、これをもっと大きくしたらどうなるかって言ったんや。ニューラルネットワークを実際に大きくして、より多くのデータを与えて、より長く訓練するんや。」
「大きくしたらどうなるか、系統的にな。チェックすべき明白なことのように見えるけど、この時の機械学習には従来の知恵があったんや。『見ろ、モデルを大きくし過ぎるな。大きくし過ぎたら、ただ訓練を記憶するだけになって、新しい例を与えたときに、ひどいものになる。役に立つちょうどいいサイズのスイートスポットを見つけることが全てや』って。」
「そして彼らは、実際にこれらをもっと大きくして、その懸念を忘れたらどうなるかをチェックしようって言った。そしてその論文で彼らが見つけたことは、ずっと良くなるってことやった。機械学習の分野の数十年の従来の知恵に反してた。『大きくし過ぎるな、大きくなり過ぎたらモデルが動かなくなる』っちゅうのに反して、彼らは『ああ、良くなる』って。そして良くなるだけやなくて、かなり速く良くなるんや。彼らは持ってたデータポイントを通して曲線を描いて、その曲線を外挿したら、本当に速く上がっていったんや。」
「そしてこれらのモデルを取って、ただ大きくするだけで、新しいシステムについての新しいアイデアは必要ない、ただこれらのモデルを大きくして、より多くのデータを与えて、より長く訓練すれば、速く良くなるっていう電撃的なアイデアやった。だから彼らは『これを試してみよう』って言った。」
「そして彼らが試したものはGPT-3やった。これまで誰かが生産したモデルの10倍の大きさやった。GPT-2より15倍くらい大きかった。そしてその性能はその曲線の上にぴったり落ちた。だから先に飛躍しただけやなくて、速く先に飛躍した。だからその曲線を本当に検証したんや。一般人はこれを知らん。なぜなら彼らはAI界にそんなに関わってへんかったからや。でもこれがシリコンバレーを狂騒状態にしたんや。」
サム・アルトマンの救世主的ビジョン
「GPT-3がこのアイデアを検証した直後、サム・アルトマンは『すべてのもののムーアの法則』っちゅう有名なエッセイを書く。そこで彼は、基本的にコンピューターが経済の大部分を自動化するから、株式資産に税金をかけんとあかんって言うんや。なぜならこれらのAIを構築した少数の会社からお金を取って、何らかのユニバーサルベーシックインカムで再分配せん限り、反乱が起こるからやって。」
「だから彼はこの救世主的な信念が現れ始めたんや。『ああ、神様、2001年宇宙の旅のHALに到達するために10の新しい大きなアイデアを発明する必要がない。すでに持ってるこのアイデアを取って、ただそれをもっと大きくし続ければいいんや』って。それをするのは非常に高価やったけど、お金があるから、やろうってな。」
「だからあんたは、人工知能によってもたらされる不可避の根本的不平等のための予防的マルクス主義を彼が提案してるって言うてるんやな。」
「そうや。そして彼はGPT-3の直後にそれを書く。なぜなら彼らが知ってるのは、スケーリング法則からのこの曲線があるってことや。『ああ、神様、これをGPT5か6まで大きくし続けたら、これは汎用人工知能になるやろ。人間ができることを何でもできるようになる。人間がすることを全部できるコンピューターから5年程度しか離れてへんかもしれん』って。それは巨大な啓示やった。」
「2018年に行ったら、それをどうやってするかの考えがないっちゅう信念やった。すべての異なるタスクのために、すべての異なるシステムを構築せんとあかん。どのくらい時間がかかるか分からん。そして今、経済全体を乗っ取ることができるコンピューターへのまっすぐな急行エレベーターがあった。それはシリコンバレーの心を吹き飛ばした。」
GPT-4の成功とその後の壁
「オールライト。で、次に何が起こったんや？まあ、彼らは『これを公衆に見せる必要がある』って言った。GPT-3は扱いにくかった。ワイルドなモデルやった。あんたが言うことに答えるかもしれんし、自分の道を行くかもしれん。美しいテキストを生産できるけど、簡単に脱線する。また、本当に感じの悪い場所にも行く。だから彼らは、GPT-3をすでに訓練した後のこの新しい技術を見つけ出した。わしは記事でポスト訓練って呼んでるけど、基本的にそれを行儀良くさせて洗練させる技術や。だから一般人がそれと話せて、質問に答えて、人種差別主義者にならないようにな。」
「だから彼らはこれをどうやってするかを見つけ出して、その結果作ったものが公的消費のためのChatGPTや。だからChatGPTは公的消費のために飼い慣らされたGPT-3やねん。だから今、公衆はこのことを全部知ってる。4ヶ月後にGPT-4が出てくる。だから彼らはGPT-3と比べてモデルのサイズ、データ量、計算量を再び10倍にした。」
「MicrosoftがAI用のデータセンターでこれを訓練するために新しい空調技術を構築せんとあかんかった。なぜならコンピューティングの歴史でこれまで、こんなにたくさんのチップが一箇所でこんなに熱く動いたことがなかったからや。そしてGPT-4は予想通りに曲線を飛び上がった。正確に。大きな前進、論文で予想された通りやった。だから今彼らは『ああ、神様、あと2回の反復で済む』って。『これやで。世界中のお金が我々のところに来る必要がある。なぜならこのレースに勝つ者が経済をコントロールするからや』って。」
「シリコンバレーで人々の頭が首から吹き飛んでるような状態やった。それをどう思うかによって、純粋な喜びか恐怖かやった。だから『よし、また10倍にせんとあかん』って。正確な数字は分からんけど、作るんや。GPT-5に行くんやって。」
「彼らはすぐに取り組み始めた。プロジェクトをオリオンって呼んだ。『行こう。これをもう一度やらんとあかん。なぜならこれをあと数回やったら、そこに到達するからや』って。でもそれから動かなくなった。だから彼らはさらに大きなデータセンター、さらに大きなモデルを構築した。プロジェクト・オリオンって呼んでた。」
「2024年の夏、去年の夏までに、彼らはこれの訓練を終了した。アルトマンは自分の人々にこれはGPT-4を吹き飛ばすって言ってた。彼はTheo Vaughnのポッドキャストに出て、『これは怖い、これがすることが怖い』って。『これやで、鏡の国に行くところや』って。彼らはこれを訓練した。GPT-4よりわずかに良かった。『くそ、これだけ大きくするたびに曲線を飛び上がるはずやったのに、もう動かへん』って。」
「そして彼らだけがそれを発見したんやない。xAIも後でGrok 3で同じことが起こった。彼らは10万のH100 GPUを持つコロッサスデータ構造っちゅうものを構築した。ばかげた量の計算や。それを全部これの訓練に投げ込んで、少し良い程度やった。Metaはバモスっちゅうモデルに取り組んでた。巨大な、今まで構築した最大のデータセンター。そして完了したとき、少し良い程度やった。彼らはそれを棚上げした。『これを出せん。そんなに良くない』って。」
「だから『ああ、モデルをもっと大きくして、より多くのデータで訓練するだけ。スケーリング法則が破綻した』っちゅう認識があった。GPT-4あたりで破綻して、それから『代わりに何をするんや』っちゅう感じになった。これは去年の秋やった。『まだ進歩を発表する必要がある』って。彼らは注意をわしが記事で話したポスト訓練技術っちゅう他の技術に向けた。そこが車の例えが出てくるとこや。」
ポスト訓練技術と車のアナロジー
「基本的にここでやることは、テキストを読んで単語を当てることを教えることで事前訓練したモデルを取って、そのモデルを特定のタスクでより良くしたり、より行儀良くするためにできる派手なことがぎょうさんあるんや。わしはそれを車をパワーアップすることに例えた。だから、テキストを与えて単語を当てる事前訓練。それが車を作ることや。ポスト訓練はそれをパワーアップすることや。」
「彼らは静かに全ての注意をポスト訓練に向けた。だから新しい機能を追加して進歩してるって報告できるけど、スケーリング曲線から落ちてたんや。そしてそれが去年の秋からの状況や。そしてGPT-5が多くの人に明確にした。『ああ、もう汎用人工知能に導くこれらの巨大な飛躍はしてへんのやな。今は基本的にGPT-4をいじってるだけや』って。それがこの指標やあの基準で良くなるために我々がやってることの全てで、これらの改善はずっと限界的や。ずっと段階的で、行き詰まってたんや。だからそれが長い歴史やけど、話すための共通の基盤に少なくとも我々を置くと思うで。」
言語モデルの根本的限界
「これはあんたが言ったことをまとめようとしながら、質問が埋め込まれてるんやけど、ChatGPTの生の構造的限界について話すとしたら、結局のところ、単語認識と補完エンジンやっちゅうことと関係があるんやな。それを言うだけで口が痛くなったけど。でもあんたの返答で、それが何かっちゅうざっくりした説明を否定しながら、実際にフェラーリにするような基本モデルの構造は何なのかも言ってくれるかな？3と4の間で見たような力の釣り合いの取れた飛躍を見るところやな。」
「まあ、まず第一に、言語モデルのアーキテクチャ、わしが単語当てマシンやと思ってるものが明白やなかったんや。それがすることやねん。次に来る単語を当てるんや。だから、これらのモデルを擬人化して考えたいなら、彼らは自分たちがまだその事前訓練実行にいるのやないことを知らん。彼らの存在全体が『ここに誰かが書いたテキストの一部がある。次の単語は何やったんや？』を中心に構築されてるからや。」
「それが彼らの存在理由や。彼らがすることは、実際のテキストから次の単語を当ててると思ってることやねん。GPT-3と4の後の推測は、『まあそうや。でも次の単語が論理パズルの答えやったら、単語当てが本当に上手になったら、もしかしたらわしの回路にはその論理パズルを解く能力が焼き付いてるかもしれん。なぜならもし本当にこの単語当てゲームに勝ちたいなら、論理パズルを解く方法を学ばんとあかんかったからや』って。」
「それが数学の等式の等号やったら、もしそこで正しい次の単語を取得したいなら、もしかしたらわしの回路のどこかで数学問題を解く方法を学んでたかもしれん。それがシットコムのパイロットからの指示で、対話の次の単語を書いてるなら、たぶんわしの配線のどこかにシットコムの対話とは何か、ジョークとは何か、そうでないものとは何かのかなり良いモデルが必要やろな。」
「だから人々が気づいたのは、『そうや、次の単語を当てる、それは単純な操作やけど、それを本当に本当によくやるためには、これらのものを十分大きくして、当てるべき単語を十分与えたら、理解や論理のあらゆる種類を配線に焼き付けることができる』ってことやった。これがGPT-4の後に起こった議論やった。『この単語当てアーキテクチャは本当に本当に本当に賢くなれると思う。なぜならこのゲームを学ぶために、これら全てのものの知識を構築するからや。もしそれを活用できたらな』って。だからそれが推測やった。」
「しかし、結局のところ、我々が思ってたほどそれをしてなかったってことが判明した。だからいくつかの観察が出てきたんや。まず推論についての観察があった。スケーリングを止めた後に彼らがやったことの一つは、これらのモデルをステップバイステップの推論が上手になるように後訓練で洗練することやった。」
「だから答えを与える代わりに、良い答えっちゅうのは論理を歩いてから答えを与えるものやって言うんや。だから既に訓練された、事前訓練されたモデルを取って、『強化学習であんたをビリビリして、作業を見せろって言うで。作業を見せんとあかん。作業を見せん答えは悪い答えや』って言った。」
「そして見ろ、これが推論をより良くするんや。作業を見せるから、何でもな。そして彼らは推論のためのこれらのベンチマークを発明した。『見ろ、これらのものはこれらのベンチマークを上がってる』って。でもそれから今年の夏に評判の良い研究所からのいくつかの最近の論文があって、これを少しつついて探った。『彼らは推論してへん。パターンマッチングや』って。」
「パズルを与えると正しい答えをくれる。でもパズルを少し大きくし過ぎると、軌道を外れて答える。なぜなら以前にそんな大きい例を見たことがないからや。『ここにこのパズルの解き方がある。この論理を適用するだけで、このパズルの答えが得られる』って言っても、まだ完全に間違って答える。実際に推論してなかった。」
「似たようなパズルを十分見たパズルをパターンマッチングしてただけやった。『推論は蜃気楼や』って報告した別の論文も出た。だから、これらのことができると思ってたけど、できなかった。これらのユニークな推論回路を構築するより、パターンマッチングが非常に上手になってたんや。」
「人々が発見した別の問題は、チェスをやらせようとしても、最新のGPT-5でさえ、違法な手を打つってことや。つまり、回路のどこにも『ここがチェスの仕組みで、ルールは何か』っちゅう基本的なモデルがないってことや。パターンマッチングみたいなもんで、そこはもっとごちゃごちゃしてるんや。」
「だからまあ、これらのものを本当に大きくしたらかなり驚異的にはなるけど、これらの言語モデルのアーキテクチャは習得できないこととかできないことがぎょうさんあるってことが明確になってきた。世界モデルを構築できない。本当に再帰的思考がない。」
「わしは1年前にニューヨーカーの記事を書いた。先を見て計画できないってな。それは本当に重要なことや。なぜなら静的やからや。建築的な理由がある。わしは数年前にこれについて記事を書いた。ぎょうさん怒られたけど、建築的にオタク的な理由で再帰がない、ループがない、状態がない理由があるんや。将来のシナリオを計画したり見たりできない。全部静的や。」
「だからそうや、わしみたいな人の最初の恐れが正しいってことが判明した。わしは2023年にChatGPTはどんなタイプの心かについて記事を書いた。このアーキテクチャができないことがぎょうさんあるって。人々は十分大きければ全部できるって言う。懐疑論者がちょっと正しいってことが判明した。」
「実際に、これらのモデルができることには限界があるし、それがおそらく一定のサイズにした後に限界にぶつかってた理由やろな。パターン認識でできることのコツみたいなもんやった。限界にぶつかっただけやと思うで。」
AGIへのタイムラインと意識の問題
「だからアイデアは、人々が単語補完タスクの下に何らかの内部論理フレームワークを構築してると思ってたってことやな。それが答えを生成する際の創造性をより多く可能にするやろって。なぜなら与えられた単語に基づいて単語を当てることだけやなくて、すでに単語を持ってないものに適用できるより深いモデルを持てるかもしれんからやって。」
「そうや。あんたがパターンマッチングって言うとき、多分これはチェスで良い例として機能しないけど、ChatGPTがナイトを取って斜めに行くときに本質的にやってることは、吸い上げた全ての情報の中に、この盤面に対して次に起こりうることを言うパターンがあるってことなんや。実際にこれらの駒の動きを支配する特定のルールの深い理解論理を持ってるのと対比してな。」
「そうや。広く柔軟に適用できるな。そうや。そして深い理解が欠けてるってだけやない、明確な理解が欠けてるんや。だからおそらく起こってることは、わしは去年チェスについて具体的に書いたから、これについて詳しく調べたんや。おそらく起こってることは、ごちゃごちゃした論理とモデリングがいくらか組み込まれてるけど、ごちゃごちゃしたモデルやってことや。」
「だから、チェス記法を見ると、『オーケー、これはチェスゲームやな。手を供給することを求められてるって何となく認識できる。白のプレイヤーとこれが黒のプレイヤーやってことを何となく知ってる』って感じや。そしてこんな感じの盤面では、こんなタイプの手を見るやろうってごちゃごちゃした論理がある。」
「だからチェスのごちゃごちゃしたモデルやけど、ごちゃごちゃしてる。そして『ここが正しい、何が合法で何がそうでないか』の単純なリストみたいなもんやない。だから違法な手を吐き出すかもしれん。わしが500行のチェスプログラムを書いてたら、間違った手は絶対打たないような方法でな。最初にやることはそれをプログラムすることやからな。」
「だから興味深いパターン認識器を学んで、クールなことをするために何らかの固定深度論理回路がそこにあるけど、我々が思ってたほど強力やないし、ごちゃごちゃしてるし、不完全やし、我々が望んでたものやなかった。」
「我々は、十分なチェスゲームで訓練したら、素晴らしいチェスモデルが出現することを望んでた。でもそうはならんかった。人々が論理的推論をしてる例を十分得たら、一般的な論理回路を得て、新しい問題を与えるだけで、『このタイプの論理をそれに適用しよう』って言うやろうって我々は望んでた。結局そうはならんかった。」
「それが起こると思ってた。わしやないけど、多くの人が『なんでそれができへんねん？なんでやないんや？これらは巨大なもので、兆のパラメータがある。ほぼ天文学的な数字や。だからなんでやないんや？』って言った。でも結局そうならんかった。それなら汎用人工知能のタイムラインへの含意に入ろうか。」
「そしてシリコンバレーの投資家階級の間でAGIとみなされるものと、真の思考、感情、主観的意識の出現には重要な違いがあるって知ってる。でも主観的意識について話さんとあかん。なぜなら20年前の哲学の学位で錆びついてるけど、わしが何かしら技術的能力に近いものを持ってる唯一のことやからや。」
「これらの分析哲学のクラスで、心の哲学の教授は一人残らず、人間が最終的に人間の意識を複製したり理解したりする能力について非常に勝利主義的な概念を持ってた。そして自信過剰な学部生としてのわしでさえ、学術哲学で分離しようとしてることに気づいた。人間の意識の簡単な問題と困難な問題の違いや。簡単な問題は本質的に特定の心の状態の神経的または化学的、神経化学的相関を見つけることや。それは一つのことや。あんたが怒ってる。これがあんたの脳で活性化されてる部分や。」
「対して実際に考えて感じることができる存在を生み出すという困難な問題や。そしてわしが理解した限りでは、学術哲学コミュニティは困難な問題が何かを概念化することはできた。でも誰も彼らの分析哲学の仕事と神経科学の対応する仕事が全て、人間の意識のその困難な問題を解決することにおいて本質的に進歩をもたらしてなかったって事実に完全に直面してなかった。」
「そして新神秘主義者って呼ばれる、主に苦境に立たされた意識哲学教授の小さなグループがいて、わしが今再話することができない複雑な議論を持ってた。それを理解できないし、青を見ることができるものを複製できない深い構造的分析的理由が実際にあるって。青を見たときに脳のどの部分が光るかを知ってるだけやなくて。」
「それが長い回りくどい言い方で、人工的に一般的に知能のあるものを作ることに関して、それの相関があるかってことや。そしてあんたが指摘してるこれらの収穫逓減とAIの構造的特徴は、実際にAGIに到達するための妥当なタイムラインがどうなるかにどう影響するんや。」
「これは、最初これがAIテック批判の世界での会話の大きな部分やったから、わしが苦い思いをしてることや。だからわしはぎょうさんの意識哲学を読んだ。デイビッド・チャルマーズ、ハリスとかな。『これに入ろう』って。皆がこれについて気にかけてた。2023年の数ヶ月後まで、それから意識の問題は完全に捨てられて、分野は完全に機能主義的になって、『もうそんなこと気にしない。それが何をできるか、できないかだけ気にする』って言った。」
「部分的には、彼らがベンチマークでこれらのもののパフォーマンスを測定してたからで、超機能主義的になった。『AGIは人間がするほとんどのタスクで、人間レベルでそれをできる』って。そして彼らは基本的に手を上げた。」
「わしはコンピューターサイエンティストが基本的に『デイビッド・チャルマーズよ、あんたはわしの内側を変な気分にさせる。これは不快や。あんたら何について話してるんや？測定できることに戻ろう』って言ってたと思うで。それが分野内で意識から本当にシフトした時やった。」
「だから今は非常に機能的で、その能力が何かってだけや。だからAGIは今非常に機能主義的な定義で、コンピューターが人間ができることのほとんどを人間のレベルかそれ以上でできるってことや。わしの定義は『見ろ、いくらかの訓練で、コンピューターに典型的な企業の仕事のメール受信箱を空にさせることができたら、それはおそらくAGIや』って。」
「なぜならそれをするには、対人ダイナミクスを習得せんとあかん。この特定のビジネスの特注セットアップが何かを習得せんとあかん。何が重要で何がそうでないかについて計画して予測できんとあかん。すべきことととそうでないことについて決定せんとあかん。進行中の色々な複雑な状況をナビゲートせんとあかん。これを全部、わしが取り組んでることとそうでないこと、そして他のタイムラインにどう合うかの複雑なタイムラインに置かんとあかん。他の人が取り組んでることをシミュレートせんとあかん。」
「もし企業重役の受信箱をAIで空にできたら、そんなもんが機能的なAGIや。それが業界が思ってたことで、『GPT6までにそこに着く』って。彼らは元々正直なところ今か、今から6ヶ月後やと思ってた。そして我々はそれに全然近くない。スケーリングによってそこに到達することはない。」
マルチモーダルシステムの必要性
「だからどうやってそこに到達するんや？マルチモーダルシステムや。人間の能力にずっと近いシステムに何を持たんとあかんかって。それは学習しないものかもしれない世界モデルが必要や。これの一部も手作りやけど、扱う世界の部分を理解せんとあかん。ルールは何か、どう動くかって。それを理解せんとあかん。状態が必要や。何を学んだか、何を見たか、今世界の状態は何かを追跡する能力や。言語モデルはこれを持ってない。固定されてるんや。」
「作業してる全ての情報は、与えてる入力にないとあかん。GPT-5を訓練したら、それはぎょうさんのGPUチップに焼き込まれた数字の束や。その数字は変わらない。GPT-5が生産する全ての単語は全く同じものを使ってる。更新しない、ループしない、追跡しない。」
「ただその数字を入れて、ぎょうさんの行列を掛けて、何かが出てくる。だから世界モデルが必要、状態が必要、何らかの計画や将来予測が必要。可能性をシミュレートできることが必要。何らかの価値関数が必要。これをしたら世界に何が起こるかをシミュレートして、わしの目標に基づいてそれが良いか悪いかを評価する能力が必要や。そうやってどう行動を取るかを理解するんや。行動が必要、実際に何らかの行動を取る能力が必要。そして理解が必要、言語モデルが得意なもんや。見てるものを何となくパース、埋め込み、説明、理解して、それで作業できるようにするんや。これら全部が必要や。」
「これら全てのものの初歩的なバージョンを持つシステムがあって、それらが存在する場所はゲームプレイや。将来のあんたの受信箱を空にするシステムがどんなもんかを見たかったら、言語モデル自体を見るな。例えば、ノーム・ブラウンのCiceroシステムを見るんや。これは数年前のもんやけど、ディプロマシーのゲームでインターネット上で人間のプレイヤーと競争的にプレイできるAIシステムや。」
「ディプロマシーはリスクの混合みたいなもんや。集中的な交渉を伴う戦略戦争ゲームや。だから戦略戦争ゲームで、全てのターンの前に全てのプレイヤーと一対一の会話をするんや。だから微妙な交渉と裏切りが全てや。『そうや、この男の軍隊をやっつけるで』って言うけど、それから彼に『これは裏切りや』って言う。彼の軍隊を韓国から移動させて、我々が攻撃できるようにして、我々は秘密の同盟を持ってるんや。」
「ディプロマシーは人間同士の色々なもんがぎょうさんあるボードゲームや。そしてノーム・ブラウンと彼のチームは当時Metaでこれをするための良いシステムを構築した。そしてそれはぎょうさんのもんの混合や。他のプレイヤーが言うことを取る言語モデルがある。言語を理解して、ずっと機械が理解しやすい言語に変換する。『オーケー、ここに提案がある』って。」
「この動きをしたら次に何が起こるかをシミュレートする未来シミュレーターがある。異なるシナリオをシミュレートするんや。『まあ、これは出現した知能やない。これはただの昔ながらの誰かがこのプログラムを書いたもんや。この動きをして、ロブが嘘をついてて、彼が本当に同盟を組んでたらどうなるかを見てみよう』って。どのくらい大きなトラブルになるやろか？それから回復する方法はあるか？まあ、彼が嘘をついてへんって言おう。でもこの人は』って。だからこれらの可能性を全部シミュレートして、どの可能性が成功の最良のチャンスを与えるかを見るんや。」
「ディプロマシーゲームのぎょうさんのテキストを読んで創発的に訓練された価値関数があって、これらの将来シミュレーションを見る。『これは良いやろ、これはより悪い』って。そして全部をコントロールプログラムと一緒にまとめる。そして良いディプロマシーをプレイする。これが将来のシステムがどんなもんかや。」
「複数の異なるものが、その一部は大量のデータで訓練されて、どう動くか分からないニューラルネットやけど、一部は昔ながらの『わしがこのプログラムを書いた』みたいなもん。未来シミュレーターで、系統的にこれらの異なる経路を全部シミュレートするんや。全部一緒に機能する方法でまとめられてるんや。そうやってもう一つのレベルの知能に到達するんや。でもそれは特注やし、面倒やし、あと50のブレークスルーが必要や。」
「そしてあんたは、そのモデルの基本的な計算アーキテクチャが大規模言語モデルとは根本的に異なるって言ってるんやな。」
「5つのコンポーネントのうちの1つとして大規模言語モデルを含むやろな。そしてコンポーネントの一部はニューラルネットワークになるという点で建築的に似てるやろう。だからCiceroで、起こるかもしれないシナリオを見て『これは良いか悪いか？』って言うプログラムの部分、それはニューラルネットワークで、実際にぎょうさんのディプロマシーゲームを与えて訓練した。でも他のもの、未来シミュレーターみたいなものは、もっと伝統的なコンピュータープログラムに近い。ただ系統的に異なる未来を試してるだけや。これが最高のチェスプログラムがどう動くかや。ぎょうさんの未来シミュレーションをする。それは昔ながらのコンピュータープログラムで、それからそれを認識するためのニューラルネットがある。」
ポーカーAIとノーム・ブラウンの業績
「わしが本当に興味を持ってるこの同じ男、ノーム・ブラウンは、これの前に本物のお金でプレイされた本当のトーナメントでプロレベルのポーカープレイヤーに勝つ最初のAIもプログラムした。50万ドルの賞金やった。だから彼らは本当に全力でプレイしてた。Pluribusって呼ばれてて、そのシステムが勝った。そしてそれもこれら全ての混合やった。」
「手がどのくらい良いかを認識するのがかなり良いニューラルネットワークがあったけど、未来もシミュレートした。そして彼らがこれで得たブレークスルーは、他のプレイヤーの心の状態をシミュレートすることやった。『この人がブラフしてたらどうやろ？ああ、それは彼らにとって本当に有利やろな』って将来を見る。『彼らはおそらくブラフしてる。なぜなら賢いからや。良いプレイヤーや』って。『異なるシナリオを見たし、だから今の我々の最良の成功の賭けをヘッジするつもりや』って。非常に数学的で、だから異なるもんの混合やった。」
「ちなみに、彼らはニューラルネットワークだけでポーカーエンジンを構築しようとしたこともある。ぎょうさんのポーカーを見て、『プレイしろ』って言ったけど、ひどかった。これらの異なるモードを一緒に混ぜたとき、良くなった。だからそれが将来やろな。ゲイリー・マーカス、気難しい懐疑論者を引用した男は、これをニューロシンボリックAIって呼んでる。そしてこれは90年代からの彼の持論や。それが彼が言語モデルのそんな懐疑論者な理由や。彼の専門や。」
「彼は90年代にMITでピンカーの下で訓練を受けて、人工ニューラルネットワークと実際の子供を研究した。『子供が脳でやってることは、これらのニューラルネットワークがやってることよりずっと複雑や』って。『学習はこれだけよりずっと複雑や』って。そして彼はそれ以来その持論を持ち続けてる。だから彼がそれのそんな懐疑論者やった理由や。だから彼はそれをニューロシンボリックって呼ぶ。わしはマルチモーダルか混合モードって呼ぶ。」
「それがより良いシステムを構築するのに必要なもんや。だから再び、あんたはその次のブレークスルーのために、大規模言語モデルの上にこれらの異なる種類の精神プロセスを追加することやって言ってるんやけど、次にってのはどういう意味かも分からんな。隣にって意味でもないけど、オーケー、隣に、隣に。隣にっちゅうのも何を意味するか分からんけど、隣にって聞こえるけど、それをすることについて技術的に不可能なことは何もないみたいやな。」
「あんたはただ、彼らがまだそれをしてないって言ってるだけや。そうや。だからゲイリー・マーカスに例えば聞いたら、彼は『わしをAI懐疑論者って呼ぶのをやめろ。わしは言語モデル懐疑論者や。でもこのアプローチは動くだけやなくて、2030年代にこのアプローチを使ってAGIを持つと思う』って言うやろ。だから彼は非言語モデルの人の中では、AGIのタイムラインで実際にかなり積極的や。だから2035年まで、今から10年後くらいには持てると思ってる。」
「わしはずっと…このアプローチのことは、それがすべてをするシステムに適してないってことや。すべてに適さない。ディプロマシーをプレイするのが非常に上手なシステムに適してる。ポーカーをプレイするのが本当に上手な異なるシステムに適してる。」
「わしが思うに、もっと可能性の高い将来は、人間レベルかそれ以上で増加する数のことでマルチモードかニューロシンボリックなぎょうさんの異なるシステムを持つことやろ。でもそれらがそれぞれ独自のシステムで、多分それぞれ独自の会社から出てるっちゅう事実。それはもっと競争的な市場や。」
「何となくもっと漸進主義的で、『この一つのもんがあって、この一つのノブを回すだけで生きてくるやろ』っていうより怖くないんや。だから、わしにとってはそれはずっと普通の技術的な曲線や。もっと多くの問題を解決し始めるやろ。人間レベルかそれ以上でそれらをできるAIシステムを持つか？でも問題ごとに落ちると思うで。」
「そしてこれらのシステムを全部取って、USBコードで一緒につないで、その全体がどうかっちゅうのは、そんな風には動かん。つまり、ここでそのアプローチのもう一つの利点は、全てを学習する一つの大きなネットワークを作ろうとすると、本当に大きくて高価になることや。これが最近株式市場の投資について心配するやろな理由や。主要なテクノロジー会社がこれらの巨大な言語モデルを構築し続けるために投資せんとあかんかった金額は巨大やねん。わしが得た推定では、この1年半で560億ドルの設備投資に対してAI収益は300億ドル。そのうち100億がOpenAIがMicrosoftにデータセンター使用料を払ってるだけや。だから実際の収益はおそらく200億ドルくらいやろな。これらを動かすのは信じられないほど高価や。そしてこれが問題で、現実をよりよく反映するために今価格を調整せんとあかんねん。それが本当の問題や。」
「これらのマルチモード、ニューロシンボリックアプローチは、そんなに大きくある必要がない。そしてこれはよく見落とされる点やけど、このノーム・ブラウンのポーカー例は素晴らしい例や。なぜなら彼は最初に言語モデルアプローチを使おうとしたからや。言語モデルやなかったけど、同じアイデアや。ニューラルネットワークを取って、ポーカーゲームを無限にシミュレートして見させて、ポーカーを自分で教えさせるんや。そして彼らはピッツバーグ大学のスーパーコンピューターセンターを使ってこれをするのに十分な計算を得んとあかんかった。そしてこの大きなものを訓練して、まあまあやった。そして膨大な金がかかって、スーパーコンピュータークラスターを使って訓練した。」
「実際のプロを打ち負かすPluribusは、これらの異なるものを賢く混ぜ合わせたもので、ラップトップで動かせるんや。だからそんなに大きくある必要がない。だからこれらの経済的議論もある。だからそうや、理論上は『オーケー、これはどんなタイプの質問や？これをするモデルに送ろう』って言うルーターを持てるやろ。だからそれが何となく方法かもしれんけど、『ああ、ポーカーについて質問がある。ポーカープログラムをオンにして答えを得て、あんたに送り返すで』って言うコントロールソフトウェアやったら、何となく怖くないんや。」
「すごく断片化されてるから、我々の知能への挑戦みたいに感じない。でもそれが将来やと思う。大学について少し話そう。」
大学教育への影響
「あんたの8つの仕事の1つは大学教授や。これについてどう思うかな。最近ニューヨークタイムズに、ぎょうさんのNYUの学生がChatGPTを大学教育の文字通り全ての部分に使ってるみたいな記事があった。」
「申請書を書くことから学期論文を書くことまで言うてるんや。オーケー？これは大学教育から価値を完全に吸い取ってるみたいやな。そして対応して、管理者はAIが現在存在してるものがいかに迅速に大学に広がって、大学キャンパスにまだあった生命力を何でも吸い取ってるかについて完全に無知で、それに適応するための大きな行動を取ってないように見える。」
「あんたの視点から、あんたの特定の機関について話す必要はないけど、ChatGPTが皆の歴史学期論文を書くことになるから、大学が実際に何であるか、シグナリング資格と社会的に承認された楽しみの4年間っちゅう生の真実が単に露骨に明らかになる地点に到達するんやろか？それとも実際にこの種のものを抑制して、大学キャンパスでリベラルアーツ教育に似た何かを保持しようとする妥当な方法があるんやろか？」
「そうや、評価を変える必要がある。前にもこれをやったことがある。前にもやらんとあかんかった。わしが最も近い分野、数学は、インターネットが来た時にこれを経験した。昔は特定の数学トピックの教科書があって、後ろに問題があった時代があって、これらの問題がこの教科書の価値やった。何年にもわたって、この教科書を書いた教授がこの完璧に調整された問題集の問題のプラトン的理想を磨き上げてたんや。そして何年にもわたって改善してた。間違いを見つけることができたら賞金をくれることがよくあった。何年もかけて、これが教科書の本当の価値やった。問題集の問題や。」
「それからGoogleが来て、すぐに全ての教師用解答ガイドがオンラインになった。そしてわしが2000年頃にダートマスで最初に始めた時、宿題の時代が終わった。宿題は問題2A、4番、17番、19番をやれやった。そして教授は解答ガイドを持ってて、これらは美しい問題やったし、わしが去る頃には、教授が自分の問題を書かんとあかんかった。なぜならそれらの解答ガイドが出回ってて、毎年変えんとあかんかった。だから評価を変えんとあかんかった。ライティングでも同じことになるやろ。」
「しばらくの間、自分で書いて提出するもんを減らして、クラス内評価をもっとせんとあかん。それが変化やろ。オックスフォードモデル、チューターモデルの人文学での広がりがもっと見られると思う。基本的にチューターとソクラテス的対話をして、読んで理解することになってる内容について議論する。それが彼らがどのくらいよく理解したか、これらの要点をどのくらいよく表現できるかを評価する方法や。」
「そして青本試験を覚えてるか？線の入った紙と小さな青い本で、部屋に座ってエッセイを書く。ChatGPTはできない。だから評価が変わると思う。前にもやったことがある。あんたは記事で、AIが雇用市場を大幅に混乱させることは期待してないって言った。超知能の誇大なアイデアが真面目やないものと見られるかもしれんっちゅう話と組み合わせてな。」
AIの労働市場への影響
「でもわしは言えるで、少なくとも我々の仕事、人文科学専攻の仕事では、それらはすでに信じられないほど強力なツールであることを証明してる。怖がるだけの価値がある程度にやってくれることが強力やねん。テキスト生成、研究、画像生成、ビデオ生成についてさえ話してるなら、我々がする種類の視覚的ジャーナリズムについて、人間が今持ってる価値が何であれ、AIシステムがまだ知らない情報を見つけることにある。それは伝統的な足を使った取材や。」
「人間ができて、AIができない一つのことをしようとすること、それは少なくとも今は、あんたと話すように情報源を魅了することや。それからその情報を独特に感情的に説得力のある方法でパッケージする。アイデアは、その話をまとめるプロセスが、少なくとも今のところ、独特の人間の本能を利用してるってことや。それがわしの考え方や。わしが見落としてることは何か、もっと一般的に、知識経済の労働者が今、生産性を上げて誕生日カードの可愛い画像を作るためにこれらのツールを使うことと、そのAIプログラムが2年後にあんたの仕事を取らないように、どんなスキルセットを育成する必要があるかを確実にすることの適切なバランスについて、何を考えるべきやと思うか？」
「そうや、これについて考える正しい方法がここにある。AIによって混乱させられる分野がいくつかある。学術は混乱させられる。評価をどう構造化するか、教室を実際にどう構造化するかを変えんとあかん。コンピュータープログラミングは混乱させられる。6年前と比べてコンピュータープログラマが使うツールセットが変わった。だから混乱してる。なくなったんやない、混乱してる。他に、全部だが消える可能性のある分野のより狭い選択がある。これを実際にできる分野で、安い在庫写真をする在庫写真家や。人々がこれを買う場合に十分良い画像を生成できる。それらの画像をただ生成すればええ。」
「あるいはYouTubeのゴミに隣接するコンテンツをやる。まあ、今人々はゴミを自動化できる。だからここに座ってそれをする必要がない。だから消える仕事がある。ほとんどの人にとって、もっと最小限の効果になる。それが見る正しい方法や。ウェブは素晴らしい比喩や。比喩やない、ケーススタディや類似って言うべきやな。例や。ウェブが普及した時を考えろ。機能の仕方が本当に変わった産業がある。今我々がすることは以前とは違って、ウェブに大きく関連してる。」
「消えた産業がある。旅行代理店は消えた。特定のもの、ブリック・アンド・モルタルの影響があった。インターネットを通して集中的な方法で売る方が簡単やった特定のもの。そしてほとんどの人にとって、彼らの仕事はウェブの前と同じやった。もっと使うけど、ほとんどの人は特別に訓練したり、仕事が消えることを心配する必要がなかった。それがAIへの正しい類推やと思う。」
「だから、もしあんたが単なる一般的な知識労働者やったら、AIを訓練しに行くか、さもなければ仕事を失うっちゅう考えを、わしはあんまり信じてない。ツール次第やと思う。わしはずっとこう言ってきた。これは本当に21世紀的なことや。誰かの製品がなぜ有用かを消費者が理解するのは消費者次第やっちゅうアイデア。」
「それはナンセンスやと思う。あんたの特定の仕事に本当に有用で、人々をずっと生産的にするツールがあったら、それは自分自身を知らしめるやろうし、そのツールを学ぶべきやし、あんたに隠されることはないし、本当に明確やろ。そして我々が見た、ビジネスの世界で広範囲で影響を与えたすべての技術ツールは、自明の使用ケースを持ってた。」
「わしは電子メールについて本を書いたから、電子メールの普及について多くを知ってる。電子メールには自明の使用ケースがあった。ファックスや音声メールを送る。これがそれをより良くする。絶対にこれが欲しい。1994年になぜ電子メールアカウントが有用かをわしに説明する必要はない。わしは『そうや、ファックスマシンは嫌いやし、コードを入力したくない。電子メールを送ることができる。クーリエで送る代わりにファイルを添付できる』って。自明に有用や。会計士のコンピュータースプレッドシート、自明に有用や。わしはこれらの台帳にこの種のものを書いて、何かを変えんとあかんかったら、ぎょうさんのものを消して書き直さんとあかん。」
「これは台帳で、何かを変えたら、他の全てが自動的に更新される。わしは100%これがなぜ有用かを理解する。VisiCalcの使い方を学びに行くで。自明に有用や。AI、現在人々は『まあ、これがなぜ有用かを本当に言えないけど、知っといた方がええで』って。そしてそれはナンセンスやと思う。A、なぜ製品が有用かを理解するのは消費者の仕事やないから。B、GPT-5の後、AIは通常の製品サイクルから逃れることができないことを発見したと思うから。」
「そしてAIがほとんどの特定の仕事と交差する方法は、その特定の仕事にカスタマイズされた形式要因になるやろ。まだそこにいてない。だから中間管理職でどんな企業にいても、Claudeをチャットインターフェースで使うのが上手になることは、今はあんまり重要やないと思う。」
「今から多分言語モデルに加えて、話したような他の要素があるツールがあるかもしれん。ニューロシンボリックで、非常に特定のことをして、本当に有用で、生産性を明確に上げる。そうしたら、それが来た時にそれを学べばええ。」
「でも皆が学習することは…1年前、皆はプロンプトエンジニアリングを学ぶ必要があるって言ってた。それはなくなった。なぜなら彼らはモデルを微調整して、あんたが何を意味してるかを理解するのがより良くなったからや。でもそれはしばらくの間大きなことやった。『正しい答えを得るためにプロンプトを正しく書く方法』って。それからテクノロジーが進歩して、より良くなったか、人々がコンピューターコードをチャットインターフェースにコピーしてたけど、それからテクノロジーが進歩して、『いや、これをエディターに直接統合できる』って。だからほとんどの人が生産性向上を得てるとは思わん。知識経済のほとんどの仕事は今後5年で大幅に混乱することはないと思う。」
「そして混乱が来るとき、もっと自明で焦点を絞ったものになるやろ。だから一般的にAIの使い方を学習することは、わしには今有用な時間の使い方やないと思う。」
「上司があんたを放っておくために、それについて話す方法は学べ。ちなみに、ちょっとメディアの愚痴をしてもええか？ちょっとメディアの愚痴をする。わしはこれを『バイブ報道』って呼ぶ。今ぎょうさん起こってることや。あんたが真実であって欲しいアイデアがある。この話を作るために本当にあんたの側に事実がない。だからぎょうさんのものを並べて、あんたが真実であって欲しいことが実際に起こってるっちゅう雰囲気を人々に与えることを望む。そして仕事とAIについてこの種の報道をぎょうさん見てきた。これらの記事の構造がここにある。何らかのセクターでの悪い雇用数字。これは起こる。テックセクターとかな。」
「パンデミックで使い過ぎたから縮小してる。利益率を戻すために縮小せんとあかん。Microsoftがぎょうさんの人を解雇してるって書く。そうや。パンデミックでぎょうさんお金を使った。そこにある。これが起こる。循環する。コンピューターサイエンス専攻の給料が下がってる。そうや、仕事が少ないからや。テックの雇用市場と密接に結びついてるからや。」
「そのニュースを、AIがこの仕事を自動化する可能性についてのぎょうさんの話の隣に置く。抽象的に、AIがこれらの仕事を自動化できるようになることを心配してるって話す人々。これらを隣同士に置いて、記事から離れて『ああ、神様、これらの仕事は全部AIのせいで消えてる』って思う。そしてこの種の報道がぎょうさん起こってる。」
「そしてその報道を駆り立ててる部分は、マネージャーと話したら、ウォールストリートジャーナルであんたが彼らに電話して、AIについて引用をくれって言ったら、賢く聞こえたい。何を言うんや？『エントリーレベルの人をもう雇うかどうか分からん。AIが素晴らしいやろ』って。それからこれらの引用を雇用数字が下がることの隣に置く。そしてあんたはそれから『ああ、そうや、もう始まってる』って思うようになる。」
「これはコンピューターサイエンス専攻の報道で起こってることや。コンピューターサイエンス専攻はテック雇用業界と密接に結びついてる。なぜならそれが職業的に一つの業界と関連してる専攻やからや。その業界が縮小すると、コンピューターサイエンス専攻への需要が下がる。給料が下がる。専攻数が減る。これはずっとこれがどう機能するかやった。わしが大学にいた時、最初のドットコムバストの後、コンピューターサイエンス専攻は急減した。戻ってきて、大不況の間に再び下がった。だから専攻は今下がってる。なぜならパンデミック過剰支出の後にテックセクターが大幅に縮小してるからや。」
「今たくさんの記事がある。専攻が下がることについての数字をただ並べて、それから人々がお尻から引っ張り出すだけや。『ああ、コーディングは自動化される可能性がある。コンピューターサイエンス専攻になるのは難しいやろ。もしいつかコーディングが仕事を自動化できるなら、コンピューターサイエンス専攻になりたくないやろ』って。これらを隣同士に置いて、皆がこれらの記事を読んで、人々がAIのせいでコンピューターサイエンス専攻になってないって思うようになる。それらの仕事は一つも自動化されてない。それが会社が人を解雇してる理由やない。出費を減らさんとあかんからや。縮小してるんや。」
「でもこれらの記事を読んで、それが起こってることやと思う。だから、AIによる大規模混乱についてのさまざまな雰囲気を色々な出版社が好んでて、それらの雰囲気を書いてて、多くの人にAIによる大規模混乱がすでに起こってるっちゅう印象を与えてる報道問題が本当にある。」
「そしてもしあんたがそれらの記事を注意深く読んだら、これらの仕事がAIによって自動化されてるからダウンしてるって実際に述べてる場所は決してない。ただこれらのものを全部隣同士に置いて、正しい雰囲気で離れることを望んでるんや。最後にこれで終わろう。これは部分的にこのエピソードのタイトルをどうとらえるかやけど。」
AI現実主義者としてのアイデンティティ
「最初にあんたは、ゲイリー・マーカスが自分をAI懐疑論者として自己同定してないって言った。あんたもAI懐疑論者として自己同定してないと思う。何なんや？あんたは大規模言語モデル懐疑論者かもしれん。ニューヨーカーのパークスロープに優しい新しい用語を見つけんとあかん。あんたが実際に何であるかをとらえるために。でも最後に、あんたがAIについて実際に何であるかをどう説明するかを言ってくれ。AI現実主義者か？あんたが指摘してることの微妙さに実際に正義をする言葉は何なんや？AI懐疑論者では、それを実際にしてないからや。」
「そうや、ニューヨーカーの読者のために言葉を正しくすることについてあんたが言ったのは面白いな。なぜならわしの記事が出たとき、彼らがつけたタイトルは実際にわしが思いついたタイトルで、『もしこれがAIが良くなるのと同じくらい良いなら』みたいなもんやった。そしてHacker Newsで、非常にテック系の人がオタクアウトするとこで、『まあ、それは間違ってる。タイトルは『もし大規模言語モデルのような何々が良くなるのと同じくらい良いなら』であるべきや』って大きな苦情、大きな議論があった。そして『でもニューヨーカーのページにそれを書いたら、あんたが何について話してるか誰も分からんやろ』って書いた素晴らしいコメンターがいた。そうや。その通りや。」
「AI現実主義者が正しい用語やと思う。AIにはぎょうさんの可能性がある。言語モデルは素晴らしいテクノロジーや。それは兆ドル産業やない。我々の仕事を全部自動化することもない。でも本当に良いテクノロジーや。そして今後5年で、それのためのぎょうさんの製品使用ケースを解決し始めるやろうし、本当にクールやと思う。良いテクノロジーや。誇大宣伝されてることやない。」
「そして言語モデルを超えて進むにつれて、AIで多くの良い進歩が起こると思う。そしてマルチモードモデルが必要になる。そしてエキサイティングやろうし、遅いやろうし、スリリングやろうし、イライラするやろう。そしてこれらのテクノロジーの多くみたいになる。いくつかのブレークスルーがあって、そうでなければ遅いやろうし、10年後には今とは違って見えると思う。」
「でもOpenAIのUBIで生きることもないと思う。彼らが世界の仕事のほとんどを自動化したからってな。だからAI現実主義者、わしが今聞くべきやと思うのは、懐疑論者やない人々や。全体的な反テクノロジー学術隣接懐疑論者がいて、彼らは独自のアジェンダを持ってる。救世主主義者やない、シリコンバレーの『人生に意味が欲しいだけで、わしを天使にしてくれるAIの神を持てないか』みたいなな。でも真ん中の人々、AI現実主義者が彼らの瞬間を持ってると思う。わしがAI現実主義者をかなり大きな規模でやってきて、どのくらいのくそを受けんとあかんかったか、あんたに言うで。人々はこれについて怒ってた。彼らはこの見解を好まんかった。『これはただ間違ってる。わしはこの種のものについて知ってる。わしは博士を持ってる。なんであんたはこれについてそんなに確信してるんや？わしの方が知ってる』ってわしは言った。でも人々はそれが真実であって欲しかっただけや。人々は良い話が好きや。」
「ゾンビ映画が好きや。バンパイア映画が好きや。ポスト・アポカリプス映画が好きや。認識を超えて混乱させる物事についての話は良いプロットや。そしてそのようなプロットが展開する可能性をわしに与えたら、わしは…同じことがCOVIDの破滅論者で見たと思う。我々はこの暗い部分に引きつけられる。良いことでも悪いことでも、世界を認識不可能に混乱させるであろう何かに引きつけられる。それが真実であって欲しいと何となく思う。なぜならそれがより興味深い世界やからや。」
「そしてそれは、わしのちっぽけな不安と何となく存在的絶望があんまり重要やない世界や。ブリッツの間の志願救急隊の人々が結局本当に幸せやったみたいにな。目的があって、誇張された時間やったから、彼らはそれを振り返って、それ以来人生は素晴らしかったって言った。」
「わしはそれがずっと起こると思う。そして多くの人が『わしの人生を認識を超えて間もなく混乱させて欲しい。なぜならそれがわしの人生をもっと興味深くするから』ってしがみついた。そしてAI現実主義者は『それが起こる証拠が見えん』って。」
「そうや。『カル、ターミネーター2でスカイネットと戦う人間軍隊の間にどのくらい美しい人間の連帯があったかを評価してないのか？わしはそれが少し必要や。現代性はファンタジーフットボールとチーズイッツとスマートフォンしかくれてない。わしは大きな黙示録的な出来事が欲しい。そうしたらやっと英雄的な自分を生きられる。あんたはそれをわしから奪ってる。あんたは、彼らはポーカーでわしを打ち負かすコンピューターを作るだけやって言ってる』って。」
「そうや、十分ドラマチックやない。わしはサラ・コナーとターミネーターの足で砕かれる頭蓋骨が欲しい。ジョン・リースは…名前は何やったかな…ジョン・コナー。男は誰や？ジョン・コナー。彼はかなりクールに見えた。元のターミネーター映画のマイケル・ビーンな。その男みたいに、トレンチコートを着てる。全て整ってる。夏にそのトレンチコートを見ろ。ショットガンとかな。それがわしかもしれん。」
「そうや、わしがネオになるつもりや。そう思う。我々は皆ネオになりたい。そして多分そうなることを望むけど…我々は何度もこれを見る。大きな話が好きで、これはちなみに、そして終わんとあかんことを強調することが重要やけど、シリコンバレーで物事が軌道を外れたってことや。物事が救世主的になって、すべてが明日変わるやろうってなった。そして明日になって、『いや、いや、いや、黙示録は次の日や』って言うんや。人々はただ確信してた。生活が終わろうとしてることを何についても確信してたくらい確信してた。これは本当にメディア報道に影響した。なぜならテクノロジーに詳しくない人にとって、この技術を構築してる人々が、6ヶ月ですべてが変わることをこれまで見た中で最も確信してるとき、本当に真剣に受け取らんとあかん。」
「でも実際に起こったことは、2段階のもののために彼らが軌道を外れたってことやった。だからこの合理主義的運動があった。『効果的利他主義から出てきたような、災害について確率を考えようという動きや。低確率の災害でも、数学をしたら、たくさん気にかけるべきやって。小惑星衝突を防ぐために今10億ドル使う価値がある。小惑星衝突のコストは文明の終わりやから、それは大きすぎるからな。』」
「彼らが気にかけてたことの一つはAIやった。『これがすぐに起こることは予見してない。でも仮にスカイネットがあったら？だから今それが起こることを防ぐことに重点を置くべきや。低確率のことを止めたら、その投資は価値があるからな。』」
「それからChatGPTとGPT-3が出てきて、この効果的利他主義的な仮想期待値計算について話してた人々にとって、『実際にこれは現実になるかもしれん。本当に起こってる』って。それが彼らの脳をフライにして、皆が救世主的なE/accの人になった。『これが起こってる。来年か2年で起こってる。わしの人生の全ての意味はそれが起こることに依存してる。』そして何かを信じたいとき、信じるんや。」
「そしてわしは情報源から聞くんやけど、『つまり、ほぼ幻覚を見てるみたいや。彼らは「わしは見た。彼らは…我々の会社は今再帰的自己改善の技術を持ってる。今起こってる。これが離陸するまで数ヶ月や」って。それから同じ会社の他の情報源と話すと、「あんたが何について話してるか全然分からん。いや、我々はオリオンプロジェクトがわずかにより良い指標を持つようにしようとしてる」って。これらの人々は何を見てたんや？人々の一部がこれについてすごく救世主的になって、ほぼ幻覚を見てるみたいやった。』」
「西海岸に住んでる人々の一部がこれについてどのくらい狂ったかを過小評価できへん。そしてそれは本当に響いた。なぜなら我々は普通の人がこんなに強いものについて確信を持つことに慣れてへんからや。起こることを確信してるんや。ヘブンズゲートについて考えるとき、それについて考えるやろ。でもこれらは完全に合理的なパタゴニアのベストとカーキのパンツを着た、サンタローザの普通の人々やった。普通の人やったけど確信してて、すごく確信してた。だから本当に西海岸でいくつかの脳を壊したんや。それは全く別のエピソードで理解すべきや。でも何が人々を空にしたか、埋めるものを与えたか、それから全力でそれに行ったさまざまな出来事の合流やった。そして今彼らは皆静かにそれから離れてる。『ああ、いや、いや、いや、わしはAGIは有用な用語でさえないって決して…そしてこの種のことがぎょうさん起こってる。』」
「エリック・シュミットは本当にぎょうさんの…彼は今PR会社を抱えてる。彼は『これがどのくらい破壊的になるかさえ知らん』みたいなミスターやった。6ヶ月後、彼は『ああ、AGIは用語として有用やないし、バブルについて心配すべきや』って。彼らは皆、一銭で方向転換してる。」
「でも興味深い時間やったし、5年後に我々は素晴らしい本を手に入れると思う。その期間について多くのメモを取った良い作家がいることを望む。なぜなら我々はその期間について素晴らしい本を手に入れると思うからや。」
コメント