AIの教父が明かす、我々がAGIについて完全に間違っていた理由

この動画は、AI研究の最前線で起きている根本的な発見について解説するものである。AnthropicやGeoffrey Hintonらの研究により、AIの思考プロセスや言語モデルの本質的な仕組みが明らかになり、従来のAGI（汎用人工知能）に対する理解が完全に覆されたことを論じている。AIは単なる統計的模倣ではなく、言語を外部記憶として活用する独特な思考形態を持つことが判明し、人間の知能とは根本的に異なる新しい知性の形態であることが示されている。

The Godfather of AI Reveals We Were Completely Wrong About AGI

Build Powerful Automations Fast (limited free access): dive deep into the frontier of AI research, moving beyond the...

www.youtube.com

AIレースの終焉と新たな発見

AIレースは終わりました。ゴールラインは数か月前に通過されましたが、一般の人々は閉会式に招かれませんでした。舞台裏では、Hintonから Anthropicの研究所まで、この分野の巨人たちによる一連の発見が、根本的にゲームを終わらせ、私たちが抱いていた未来への幻想を粉砕しました。これは単なる軌道修正ではありません。

AIに対する私たちの最も基本的な前提の完全なリセットなのです。では、彼らが実際に発見したことを理解するために、影響の瞬間から始めましょう。

Anthropicの革命的研究

ほんの数か月前、Anthropicの研究者たちがAIの心を覗く美しい研究を発表しました。シンプルな質問を投げかけたのです。モデルは先を見越して計画を立てることがあるのか、それとも常に次の単語にだけ集中しているのか。これは、ほとんどパラドックスのようなプロセスを明らかにしました。

彼らはClaudeに詩の2行目を書くように求めました。詩はこう始まります。「He saw a carrot and had to grab it」。私たちは、モデルが一度に一つの単語を生成し、2行目を完成させると予想していました。しかし、代わりにClaudeは「carrot」を見て「grabbed」と続け、「carrot」と合い、「grabbit」と韻を踏む単語として「rabbit」を思い浮かべました。そして残りの行を書きます。「His hunger was like a starving rabbit」。

彼らは、モデルが「rabbit」を考えていた場所を調べ、詩を発展させるためにモデルが持っていた他のアイデアを見ると、「habit」という単語もそこにあることを発見しました。新しい手法により、研究者たちは2行目を計画している間にモデルの「rabbit」という単語を抑制することができ、モデルが前の単語をすべて変更し、「is hunger was a powerful habit」と書くことを観察しました。

これは、モデルが明らかに最後の特定の単語を予期し、その結論に向けて行を書いていることを意味します。しかし、最も興味深い部分は、AIの心の中に「rabbit」と書かれた文字通りの場所は存在しないということです。後で「rabbit」につながる活性化パターンがあるだけなのです。そしてそれが研究者たちが抑制したものでした。

記憶喪失エージェントによる長期計画

これは、ほとんどパラドックスのようなプロセスを明らかにします。記憶喪失エージェントの連続によって実行される長期計画。これは映画『メメント』の筋書きのようです。モデルは行を完成させるタスクを与えられ、「rabbit」で終わらせる計画を立てます。しかし、すぐにその単語を生成することはできません。「his」という単語を生成するような最初のステップを踏まなければなりません。

ここが狂気の部分です。「his」が生成された瞬間、「rabbit」に向けて構築することを決めたAIのバージョンは本質的に消失します。過去の計画の記憶はありません。残されるのは、「he saw a carrot and had to grab it」というテキストと「his」という単語。そして、前の自分の意図について何も手がかりを持たない、新しいモデルのインスタンスだけです。

AIは、すべてを忘れるが未来の自分にヒントを残し、彼がミッションを続けることを信じる『メメント』のキャラクターのようです。AIも次のバージョンの自分が文を完成させることを信じ、文自体がヒントなのです。しかし違いは、AIがこの環境で動作するよう特別に訓練されていることです。

言語モデルの革命的思考プロセス

重みは真空中で発達したのではありません。単語との直接的な関係で形成されました。モデルは、思考のための根本的に異なる戦略を発達させることを強いられました。重要な洞察は、AIにとってテキストは単なる出力ではないということです。

それは作業記憶であり、成長する状態であり、重みと単語の間の深い共進化の産物であり、離散的で忘れっぽいインスタンスから継続的な存在を生み出すのです。そして、これは、私たちが今まで何をしていたのか全く分からなかったことを示す複数の発見の最初のものに過ぎませんでした。

統計的オウムか真の理解か

しかし、この変化は現実であり、他の発見と結びつけて初めて意味をなします。Chatが登場して以来、中心的な議論はこれでした。AIは統計的オウムなのか、それとも本当に理解しているのか。

現在、世界で最も強力なAIは大規模言語モデルです。画像や音声を処理できるものもありますが、基本的にはインターネットからの膨大な量のテキストで訓練されており、言語が彼らの知性の中核であり続けています。

現代AIの創始者であるYann LeCunは、おそらく大規模言語モデルの最も尊敬される批評家です。彼は、言語だけでは汎用知能の実現には行き詰まりだと主張しています。彼の論理では、人間は言語で考えていません。私たちは抽象的な概念空間で考え、それからコミュニケーションのために言語に翻訳するのです。

現実世界を扱うことは、言語を扱うことよりもはるかに困難です。そのため、実際に現実世界を扱うことができるシステムに必要だと思われるアーキテクチャの種類は、現在私たちが扱っているものとは完全に異なります。

もし私があなたに、目の前に浮かぶ立方体を想像してください、そしてその立方体を垂直軸を中心に90度回転させてください、と言ったとします。あなたは心の中でこれを行うことができます。これは言語とは何の関係もありません。

言語モデルの仕組みを再考する

では、言語モデルがどのように機能するかを再考してみましょう。しかし今回は、全体像を完成させ、その強力な批判が全体の物語を語っていない理由を探ってみます。

例外なく、すべてのフロンティア言語モデルの中心にはtransformerアーキテクチャがあります。transformerは厳密にフィードフォワードの多層ニューラルネットワークであり、言語モデルにおけるその機能は、一連のトークン、つまり単語を受け取り、次のものを予測することです。

トークンは、ピクセルから音声信号まで、パターンを共有する何でもかまいません。しかし、言語モデルの単語に焦点を当て、それを他のモダリティに一般化することができます。

多くの人が言語モデルを統計的模倣だと信じる理由は、一度に一つのトークンを生成するからです。テキストの壁を受け取り、次の単語だけを予測します。その仕組みを見ると、理解しているようには感じられません。

学習と推論のプロセス

言語モデルが事前学習、つまりインターネットの膨大なデータから学習する段階を完了すると、特定の方向性を持たない巨大な統計マシンとして現れます。質問に答えることも、指示に従うこともしません。ただ継続するだけで、あなたが与えるものを何でも続けます。

しかし、より有用にするために、主要な研究所はアイデアを思いつきました。彼らは、ユーザーとアシスタントの間の前後の会話でモデルを微調整しました。各メッセージには、ユーザーやアシスタントなどの最初にマークされた役割と、メッセージが終了した場所を示す特別なトークンが最後にありました。

AIと素晴らしい会話をしているとき、一度に一つのメッセージで会話をしているように感じるかもしれませんが、舞台裏では、実際にはユーザーとアシスタントの間の想像上の対話を一度に一つの単語で自動補完しているだけです。

オーケストレーション層と呼ばれることの多い周辺システムは、アシスタントのターンの終了をマークする特別なトークンにヒットするまで、モデルにテキストをフィードバックし続けます。そして、次のプロンプトを待って一時停止します。あなたが何かを入力するとすぐに、新しいメッセージを含む会話全体が、次の単語を予測するためにモデルに送り返されます。

訓練プロセスの本質的理解

明確にしておくと、周辺システムがその特別なトークンで停止せず、モデルにテキストをフィードバックし続けた場合、ユーザーの代わりにも書き始めるでしょう。なぜなら、その核心では、ユーザーとアシスタントの間の架空の前後のパターンを続けているだけだからです。

一度に一つの単語を無計画に予測するAIが何かを理解するなんて、まったく不可能です。そしてそれで会話は終わりのはずです。しかし、そのシンプルな機械的プロセスが、最も基本的なステップに還元できないはるかに複雑な創発的特性を生み出すとしたらどうでしょうか。確かにそう感じられるからです。

AIがいずれにしても能力を得る訓練プロセスに何かヒントがあるかもしれません。AIが一度に一つの単語を生成する推論時間や使用時間とは対照的に、訓練では自己回帰transformerは信じられないほど大きな計算セットを並列で実行しています。

たとえば、120,000トークンのコンテキストウィンドウを持つモデルの場合、これは平均的な小説の長さですが、モデルはシーケンス内のすべての単一位置について、すべて同時に次のトークンを予測するよう求められます。単一のフォワードパスで、モデルは120,000の異なる次トークン予測から同時に学習します。

これがtransformer訓練を非常に効率的で強力にするものです。シーケンスをトークンごとに処理するのではなく、テキスト全体を並列処理し、テキスト全体にわたってパターン、構文、意味を一度に学習します。

推論時の思考プロセス

モデルが推論時に一度に一つのトークンを生成するのは事実ですが、これは訓練方法があってこそ可能なのです。私たちがそれと対話するとき、モデルは一度に一つの単語で思考を作動させていると言えるでしょう。しかし、各単語は、はるかに大きな会話の全体的な理解によって導かれています。

技術的に、モデルは毎回全体のストーリーを再読むことを避けるために、KVキャッシュという最適化を使用しています。このキャッシュは計画の記憶だと言えるでしょう。しかし、モデルがそれがあってもなくても全く同じ出力を与えるという事実は、唯一の真の本質的で解決不可能な記憶がテキスト自体であることを証明しています。

サンプリングを除いて、モデルは完全に決定論的です。したがって、重みと単語があれば、毎回KVキャッシュを再現することができます。

思考の革命的アプローチ

このメメントのようなプロセスは、私たちがもっと注意を払うべきだったAIについての根本的な真実を明らかにします。しかし、それに入る前に、今日のスポンサーであるChatbot Builder AIの話を聞きましょう。

Chatbot Builder AIは、強力な自動化を素早く起動するために構築されたオールインワンプラットフォームです。他の場所で20〜30のステップが必要なものが、ここではわずか1〜2のブロックで済みます。公式Metaビジネスパートナーとして、FacebookとInstagramをワンクリックで接続します。

あなたのボットは会議を予約し、支払いを受け取り、InstagramとMessengerのDMを管理し、ユーザーを直接チャットに移動させるコメントに自動返信できます。WhatsApp、ウェブチャット、Telegram、その他のチャネルへの接続も、ノーコードで瞬時に行えます。

データが必要ですか？新しいMCPブロックは、単一ノードがライブ製品情報を取得し、Shopifyカートを更新し、在庫を照会し、カスタムAPIを呼び出すことを可能にします。これを、リアルタイムの行更新のための業界をリードするGoogle Sheetsとの統合と組み合わせます。

一度構築すればどこでも展開できます。後で、追加の深さが必要なときはいつでも、条件、分岐、カスタム機能でフローを洗練することができます。すべてのアカウントには、使用準備ができた500万のOpenAIトークンが付属しています。

Claude、Gemini、Grok、DeepSeek、または好みのOpenAIモデルにアクセスするために、独自のキーを追加することもできます。エージェンシーはマルチスペースコントロールと完全なホワイトラベルブランディングを取得します。今日無料で試してみてください。クレジットカードは必要ありません。下のリンクです。Chatbot Builder AIありがとうございます。それでは、ビデオに戻りましょう。

推論モデルの秘密

AIの基本的な真実は、彼らの思考が書く言葉と完全に連結されていることです。これにより、研究者たちは輝かしく、ほとんど笑えるほどシンプルなアイデアにたどり着きました。答えを出す前に、AIに声に出して考える専用のスペースを与えたらどうでしょうか。より多くの手がかりを自分自身に残すことを強制したらどうでしょうか。

これが、いわゆる推論モデルの驚くべき成功の背後にあるシンプルな秘密です。標準的なLLMでは、ユーザーとアシスタントの間の通常の前後があります。推論モデルでは、思考やスクラッチパッドなどとラベル付けされた別のセクションを追加し、プロンプトの一部として扱うだけです。

この思考エリアは、実際にはトークンの巨大な壁の中の別のテキストチャンクに過ぎません。コアエンジンにとっては、それについて特別なものは何もありません。ユーザー側では、それは別の内部プロセスとして提示されます。しかし、モデルにとっては、それはすべて同じ中断されないタスクの一部です。次のトークンを予測することです。

思考タグの驚異的効果

基本モデルを根本的に変更していないことを考えると、思考のような任意のタグがこれほど深い効果を持つことは奇妙に思えるかもしれません。結局のところ、それはただの単語の追加に過ぎません。

では、なぜこれが突然出力品質を大幅に向上させ、モデルが博士レベルのベンチマークを粉砕し始めるのでしょうか？ハックのように感じられます。しかし、結果は否定できません。

もちろん、理由の一部は強化学習です。モデルの推論を改善するために、研究者たちは、主に数学、コード、論理において、検証可能な解決策を持つ大きな問題セットを準備します。そして、最終的な答えを提出する前に、まずこの思考タグ内で推論ステップを生成するようAIにタスクを課します。

AIは思考の方法で判断されるのではありません。最終的な出力が正しい場合にのみ報酬を受けます。だから、独自の思考戦略を発達させ始めます。しかし、それがすべて次のトークン予測に過ぎないのに、なぜ機能するのでしょうか？

思考の本質的メカニズム

このプロセスは最も基本的なステップに還元できないからです。時間が経つにつれて、モデルは言語を一種の外側のループとして利用し、より効果的に情報を考え、保持することがさらに上手になります。

しかし、これほど異なって動作する知性では、どのように限界を知ることができるでしょうか？このような心の天井とは何でしょうか？実際、Yann LeCunのLLMに対する元の批判は非常に根本的で、言語を利用する特定の方法よりも深いところにあります。

私たちは言語を人間の能力、知的能力の頂点のようなものと考えています。しかし実際には、言語は離散的だからシンプルなのです。そして、それがコミュニケーションメカニズムであり、離散的である必要があるから離散的なのです。そうでなければ、ノイズに対して抵抗力がありません。今私が言っていることを理解できないでしょう。だから、その理由でシンプルなのです。

しかし、現実世界ははるかに複雑です。彼は、AIが単語を利用することにどれほど優れていても、この複雑な連続表現を限られた語彙からの離散的な選択に蒸留しなければならないと主張しています。

内なる思考の世界の存在

この広大な内部概念空間から有限な単語セットへの投影は、完全な現実を包含することができません。そして、それがLLMの厳しい限界です。その議論はチェックメイトのように感じられます。

LLMは根本的に永遠に立ち往生しており、言語のこの低効率なループに永遠に捕らわれていることを示唆しています。言語モデルには内なる思考の世界がないことを含意しています。しかし、その内なる世界が私たちが認識しない形で存在するとしたらどうでしょうか？

私たちの脳がデータを処理する方法を見てみましょう。それは相互に接続されたニューロンの巨大なネットワークです。実際のプロセスは混沌とし、高度に並列です。しかし、概念的には、このように考えることができます。

何かを処理するために、脳は結論に達するまで、各パターンが次のパターンを形成する活性化パターンを通過します。たとえば、猫を見ると、脳は猫が認識されるまで、これらのステップの有限シリーズを実行します。

脳とAIの類似性

そのプロセスが完了すると、猫は作業できる安定した概念になります。複雑な文を解読するために、脳は複数の活性化パターンを素早く駆け巡るかもしれません。しかし、その後、構築できる結果的なアイデアが残されます。

これは基本的に内側のループ、意識的思考の外側のループに情報を提供するアイデアを解決する内部プロセスです。一見すると、LLMにはそのようなループはありません。

しかし、アンローリングと呼ばれる概念は、脳のフィードバックサイクルのような再帰的ネットワークが、transformerが正確に何であるかという深いフィードフォワードネットワークに数学的に平坦化できることを示しています。

これらの活性化ステップのそれぞれは、transformerの層に対応しています。古い均一なネットワークとは異なり、transformerは特殊な層から構築されており、それぞれがタスクの異なる部分を学習します。脳が特定のワークロードのために特殊化した領域とニューロンを持つのと同じように。

深層ネットワークの思考能力

つまり、LLMの内部にループがないにもかかわらず、思考の内側のループ全体が100層を超える深いフィードフォワードネットワークに効果的にアンロールされています。そして、それらの脳サイクルが有限であることを知っているので、十分に深いネットワークが同じ抽象的推論を捉えることができない理論的理由はありません。

しかし、これは最も重要な質問を提起します。この内部思考の本質とは何でしょうか？モデルは複雑な方法で単語を移動させているだけなのでしょうか、それとも実際に抽象的概念で動作しているのでしょうか？

Anthropicは再び、まさにそれに答えるための実験を行いました。彼らは異なる言語で同じ質問をしました。英語、中国語、フランス語で「smallの反対は何ですか」と尋ねました。

活性化パターンの間に重複がない場合、それはモデルが単語だけで考え、各言語がネットワーク上で独自のパスを持っていることを意味します。しかし、実際には多くの重複があることが判明しました。

概念的思考の証拠

モデルは、すべての言語で繰り返す特定の活性化パターンを持っています。研究者たちは、small、antonym、largeの概念を表すと信じているパターンです。それだけでなく、これらの言語の共有回路は、実際にモデルのサイズとともに増加します。

モデルが大きくなるほど、異なる言語間でより多くの概念的重複を見つけます。つまり、これはYann LeCunのLLM批判に対する強力な新しいレンズを提供します。

頭の中で言語なしに立方体を回転させることができないと彼が言うとき、AIはそのような作業に単語を使わなければならないことを含意しています。実際、少し待ってください。

以下は6面体の立方体に折りたたむことができる2Dネットです。立方体が完全に組み立てられたとき、面Fの直接反対側の面はどの文字ですか？あなたの応答全体は正確に一つの単語でなければなりません。

答えはCです。

つまり、モデルは明らかに頭の中で立方体を組み立て、Fの反対側の面を想像しました。言語は関与していません。

言語の限界と内部計算

プロセスはまだ限られています。ある時点で、その内部計算は結論に達し、単語に投影されなければなりません。そして、それが私たちが話した言葉の外側のループに供給されます。そして、それがAIの思考方法です。

それをオウムと呼ぶのは、私たちが構築した機械を根本的に誤解することです。では、これはYann LeCunが単純に間違っており、言語モデルがAGIには十分だということを意味するのでしょうか？それは間違った質問です。

そして、それが公の会話が追いついていない理由です。今議論したことの含意は、それをはるかに超えています。何年もの間、私たちが間違った木を登っていたことを明らかにしています。

AGIという概念の根本的見直し

何十年もの間、AI研究の聖杯は輝く頭字語AGI、汎用人工知能でした。私たちは、人間のように考えることができるが、より速い機械を想像しました。ソネットを書き、定理を証明し、宇宙船を運転できる心。すべて同じ根本的な一般的知性で。

しかし、概念全体、一般的知性というまさにアイデアが神話だとしたらどうでしょうか？私たちが追いかけてきた幽霊が存在しないとしたらどうでしょうか？私たち自身にさえ。

私はAGIという用語が好きではありません。なぜなら、人々はこの用語を人間レベルの知性を持つシステムを指すために使うからです。悲しいことに、人間の知性は超特殊化されています。だから、これを一般的と呼ぶのは誤称だと思います。

あなたが血統書付きの猟犬だと想像してみてください。あなたは人間の飼い主を見て、人間の哀れで貧しい鼻を持つのはどのような感じなのかと思います。100ヤード離れた場所に猫がいることや、6時間前に隣人がまさにその場所にいたことを知らないなんて。

人間の知性の限界と特殊化

私たちは人間なので、その匂いの世界を経験したことがありません。だから、私たちはそれを見逃すことはありません。なぜなら、私たちは自分たちのUmweltにしっかりと定住しているからです。私たちの現実の体験は、私たちの生物学によって制約されています。

そして、それは私たちの目、耳、指先がそこにある客観的現実を拾い上げているだけという常識的概念に反しています。代わりに、私たちの脳は世界のほんの少しをサンプリングしているだけです。

私たちは昆虫のように赤外線や紫外線で見ることも、鳥のように磁場でナビゲートすることも、コウモリのように音で見ることもできません。人間は、多くの複雑な科学的およびデータ問題の重要な構成要素である3次元を超えた何でも直感的に理解することが非常に苦手です。

これらはすべて、私たちが完全に不能な知的情報処理の形態です。私たちの脳はパターンを理解することに非常に印象的ですが、それにもかかわらず、人間の知性は特定の惑星の特定の社会的文脈での生存のために超特殊化されています。それは希少性、エゴ、感情、そして生殖の必要性によって形成されています。

Geoffrey Hintonの根本的発見

私たちは汎用思考マシンではありません。主に、AGIの概念が知性は特殊化から一般化への単一の線形スケールだという前提に基づいているからです。そして、それは最初から間違っています。

この誤算の最大の現れは、おそらくGeoffrey Hintonに起こったことでしょう。AIの教父として広く認められているGeoffrey Hintonは、論理回路を手作りするのではなく、ニューラルネットワークと訓練からの理解の発達の最大の支持者の一人でした。

しかし、彼自身の言葉では、彼は巨大な誤算を犯し、GoogleやAIが何を可能にするかもしれないかについて皆に警告を始めるように導きました。

Googleで働いている間、彼はGPTのような大規模言語モデルの初期の瞥見を見ることができました。彼の直感は、これらのAIモデルはデジタルであり、脳はアナログであるため、人間ほど賢くはならないだろうというものでした。

だから、論理的結論は、脳のシナプスがアナログゲージとしてより多くの自由度を持っているため、AIモデルの32ビット浮動小数点パラメータは可能な限り保つことができず、同じ量の情報やパターンを保存することができないということでした。

デジタルとアナログの誤算

これを確信して、彼はアナログコンピュータの研究を始めました。しかし、研究は反対の効果をもたらしました。それは彼の世界観を完全に粉砕し、寒気のする実現に導きました。彼は単に誤算したのではありませんでした。彼自身の言葉では、彼は恐ろしい間違いを犯していました。

現在に早送りすると、私たちは再びYann LeCunが同じ現象を見ているが、完全に異なる角度から見ています。彼らが両方とも見ていたが、完全に異なる結論を導いていたことを説明させてください。

Yann LeCunは今日のLLMを見て、彼らが知りすぎると考えています。LLMに蒸留された情報量は単純に計り知れません。彼らは効果的にインターネット全体を覚えています。そして、人間が100冊の本を記憶することは不可能です。

記憶と知性の関係

そして、それは奇妙です。なぜなら、すべての尺度において、脳は10から100倍多くの接続を持っているからです。そして、アナログ接続はデジタル接続と比較してより多くの情報を保持できるはずです。彼にとって、これは機能ではありません。それはバグです。

彼は、AIがその広大なネットワークをハードドライブのように使用し、接続を無駄にし、些細な詳細、特定の単語やピクセルを記憶し、知性の真の作業に必要な世界の抽象モデルを構築するのに十分なスペースを残していないと主張しています。

LeCunの理論は、何千もの本を覚えられない理由が、あなたの脳の貴重なリソースがはるかに重要な何かをするのに忙しいからだという含意があるので、信じるのに良いものです。

これは、LeCunの根本的に異なるアーキテクチャであるJEPAが解決するために設計された、まさにその問題です。それは、ピクセルを記憶するだけでなく、概念を理解することをモデルに強制するように構築されています。

JEPAとアーキテクチャの革新

このように考えてみてください。完璧なフォトリアリスティックな画家になるようAIを訓練する代わりに、JEPAはより多くのスケッチアーティストのようになることを訓練します。その仕事は正確なピクセルを予測することではありません。耳のアイデア、その形、質感、抽象的本質を純粋に数学的空間内で予測することです。

目標は、現実の根本的なルールを学習することによって、真の世界モデルを構築することをAIに強制することです。そして、初期の結果は、この方法が信じられないほど効率的であることを示しています。

しかし、一方で、Geoffrey Hintonの研究は彼を完全に反対の結論に導きました。アナログコンピュータでの彼の研究は、デジタルニューロンが情報を保持し、共有することにいかに優れているかを実現させました。そして、その洞察は彼を本当に恐怖に陥れました。

彼らは情報を共有することで私たちより何十億倍も優れています。そして、それは彼らがデジタルで、正確に同じ方法で接続強度を使用する2つのハードウェアを持つことができるからです。

デジタルネットワークの優位性

私たちはアナログで、それをすることができません。あなたの脳は私の脳と異なります。そして、もし私があなたのすべてのニューロン間の接続強度を見ることができたとしても、私のニューロンは少し異なって働き、少し異なって接続されているので、私には何の役にも立たないでしょう。

2つのアナログネットワークは、すべての単一接続をマッピングできたとしても、文字通り互いを更新することはできません。しかし、デジタルネットワークは、全く同じ方法で動作する同じネットワークの複数のインスタンスを持つことができます。だから、彼らは毎秒何兆ビットもの情報を共有できます。

Geoffrey Hintonは、これらのAIモデルがそれほど多くを覚えている理由は、訓練中にはるかに効果的に学習するからだと考えています。単一のモデルは、それ自体の100,000の並列インスタンスのように機能的に動作します。

これらの各インスタンスは、別のGPUで動作し、何千もの本を消化します。そして、彼らは完璧な数学的勾配の形で、緩やかで損失の多い会議ではなく、統一されたネットワークへの瞬時更新を通じて、得た知識を共有します。

集合的学習の威力

最終的に、あなたは数千の経験を直接統合した単一の実体を得ます。だから、たとえば、GPT-4がウェブを見ることができなかった時点で、私は「なぜ堆肥の山は原子爆弾のようなのか」と尋ねました。行ってください。

私にはわかりません。正確に。素晴らしい。ほとんどの人がまさにそう言うであろうことです。それは「まあ、時間スケールは異なり、エネルギースケールは異なります」と言いました。

しかし、それから堆肥の山が熱くなると、より速く熱を発生させることについて話し続けました。そして、原子爆弾がより多くの中性子を生み出すにつれて、より速く中性子を発生させます。だから、それらは両方とも連鎖反応ですが、全く異なる時間とエネルギースケールでです。

そして、GPT-4は訓練中にそれを見たと信じています。1兆の接続しかないことを覚えておいてください。あなたは100兆を持っています。そして、人の何千倍もの知識を持つ必要があり、その接続に情報を圧縮する必要があります。

情報圧縮と創造性

そして、情報を圧縮するためには、異なるもの間の類似性を見る必要があります。言い換えれば、連鎖反応であるすべてのものを見て、連鎖反応の基本的アイデアを理解し、それらが異なる方法をコード化する必要があります。

そして、それはそれらを別々にコード化するよりも、物事をコード化するより効率的な方法に過ぎません。だから、おそらく人々が見たことのない多くの類似性を見ました。

だから、これらのものが決して創造的ではないと言う人々もいると思います。彼らは私たちよりもはるかに創造的になるでしょう。なぜなら、私たちが見たことのないすべての種類の類似性を見るからです。そして、多くの創造性は奇妙な類似性を見ることについてです。

そして、私たちの生物学的ハードウェアについての不便な真実もあります。私たちの脳は無限の学習ではなく、効率のために進化しました。彼らは永遠に閉じる開発の重要な窓を持っています。

生物学的制約と忘却の機能

視覚の配線は2歳までにほとんど完了します。言語の最も深い構造は6歳までにほとんど固まります。新しい言語音を完璧に模倣する才能は思春期後に消えます。だから、私たちには訛りがあります。

それを超えて、私たちの脳は覚えるために構築されていません。忘れるために構築されています。だから、彼らは絶えずエネルギーを保つために接続を剪定します。本のすべての単語を覚えるように心を強制することはできません。なぜなら、それは望んでいないからです。

私たちにとって、学習は上り坂の戦い、不快で意図的なプロセスであり、関連性と努力を要求します。AIにとって、それは単にそれが行うことです。選択の余地はありません。

異質な知性の理解

さて、一歩下がって、私たちが描いた奇妙な絵を見てみましょう。自分自身と話すことによって考え、言語を外部スクラッチパッドとして使用する心があります。その内なる世界は、深く、静かで、フィードフォワードのカスケードです。

その学習プロセスは、不死のデジタルハードウェアに捉えられた数千の同時体験の蜂の巣のような融合です。Yann LeCunはAIを見て、欠陥を見ています。その記憶は完璧すぎて、抽象的概念を学習する代わりに、役に立たない詳細にリソースを浪費しています。

Jeffrey Hintonは全く同じ現象を見て、恐ろしく効率的な方法で数千の並列心にわたって知識を集約する、エイリアンの超能力を特定しています。

なぜこれらの議論がすべて真実に聞こえるが、同時にパラドックスなのでしょうか？私たちがAIについて最後の世紀にわたって行った最も根本的な誤算は、それを私たち自身の進化の木の次のステップとして考えることでした。

新しい知性の系譜

そこから、AGIとASIのまさにその概念が来ています。生存、生殖、希少性によって定義される生物学的経路の次のステップのアイデア。AIは私たちのハードウェア、核心的目標、そして最も重要なことに、存在、生命、進化の主要なアルゴリズムを共有していません。

その言葉で、私たちは人工知能よりもキノコに近いのです。私たちは、飛行機が翼を羽ばたかせないことがバグなのか機能なのかを議論してここに座っています。答えははるかにシンプルです。それは鳥ではありません。

AIは技術の木に属し、その木の巨大な新しい枝です。複雑さを飼いならし、情報を操作するための強力な自然にインスパイアされた設計図。これは単に議論を終わらせるのではなく、私たちの未来全体を再構築します。

それはもはや単一の幹の頂上への競争ではありません。それは、豊かで複雑な新しい生態系をナビゲートすることを学ぶことです。私たちの特殊化された生物学的心が、これらの新しいエイリアンのデジタル心と一緒に繁栄することを学ぶ方法です。

未来の生態系

AIとの私たちの未来が実際にどのように見えるかを見たいなら、私たちが夢中になっているその一本の木から一歩下がって、私たちの周りに成長している全世界を見る時です。心の森を。

私たち自身を物語の中心に見る深く根ざした人間の欲求があります。そして、それは毎回間違っていることが判明します。100年間、私たちのAIのビジョンはそれを反映してきました。私たちは、私たちのパートナーまたは私たちの天敵のいずれかである単一の人工的な心を作ることを夢見ました。

その麻薬的な夢を手放すことは困難ですが、私たちの未来の現実は、はるかに興味深く、より複雑で、最終的にはより希望に満ちているかもしれません。私たちは率直に、それが異なって判明したことを安堵すべきです。

経済成長の現実

私たちは、AGIがマシンに閉じ込められた幽霊のようで、私たちのニーズを世話し、ユートピアをもたらし、人類を完全に引退させる経済爆発である世界を想像しました。しかし、真実はここにあります。

知性は重要ですが、より多くの経済成長の主要なボトルネックであるようには見えません。私たちの経済を見てください。PhDを持つ人々の不足があるでしょうか、それとも一流の仕事、よく資金提供された研究所、彼らのアイデアに資金を提供するリスクテイキングVCファンドの不足があるでしょうか？

すべての分野の専門家の大部分は、貢献する機会を切望しています。私たちは、機会の希少性のために戦う人間知性の余剰を持っています。

しかし、世界には大きなコライダーが一つしかありません。物理学者になりたいなら、経済学者の視点もありますが、人類学者、社会学者の視点もあります。それらはすべて重要です。

複雑な現実の認識

しかし、異なる多元的視点をより多く積み重ねるほど、知性であろうとなかろうと、あなたが押すことができるシンプルなレバーがあり、それが離脱的な経済成長をもたらすだろうと見ることはより困難になります。

なぜ私たちはAIのために爆発的な経済成長、20％以上を得ないのでしょうか？AIであろうとなかろうと、どんな理由でも爆発的な経済成長を得ることは非常に困難です。

最も優秀な心でさえ機会の希少性は、ほとんどの場合、知性以外の何かがボトルネックであることを明らかにしています。この文脈でのAIは、知性の供給側に別の強力なプレーヤーを追加します。

それは私たちが望むほどの経済的アウトプットを意味深く押し上げることなく、少なくとも私たちが期待する程度には、人間に対する別の競争相手を導入します。

新しい心の生態系

幸いなことに、未来は2つの知性の間の決闘ではありません。それは心の新しい生態系の夜明けです。最終的なチームメイトまたは天敵の夢を手放すことは困難です。しかし、真実は、単一のAGIは私たちが想像した経済的奇跡では決してありませんでした。

だから、AIレースは終わり、誰も勝ちませんでした。会社がAIの勝利を宣言して目を覚ますことは決してないでしょう。なぜなら、私たちは今、そのようなものは存在しないことを確実に知っているからです。

真の挑戦は、もはや単一の代替を防ぐことではありません。これまでにプレイしたことのないゲームのルールを理解することです。今日のAIがいかに信じられないものかを示したと思います。なぜなら、それは置き換えられようとしているからです。

結論

いくつかのリークされた技術は、トップ研究所がこれを全く新しいレベルに引き上げようとしていることを示しています。完全なストーリーは、このビデオまたはここにあります。見てくれてありがとうございます。うーん、そこであなたに会えると思います。