本動画は、AI能力が人間の能力を超えるという前提に基づき、その理論的根拠と物理的・数学的限界を体系的に考察するものである。機械の能力集合Mが人間の能力集合Hの上位集合となる未来を前提として、カオス理論、計算複雑性、エントロピーなどの原理から「有用な知能」には物理的上限が存在すると論じる。人間の脳も機械も同じ物理法則に従う情報処理装置であり、機械が人間を超える能力を持つことに原理的な障壁はないが、同時にいかなる知能も物理的・数学的制約から逃れられないことを示す。認知的地平線の概念を用いて、機械が人間には理解不能な直観を持つ可能性を認めつつも、現実世界における物理的検証という共通基盤が残ることを強調している。
AIの能力は人間を超えるのか
オーヴァートン・ウィンドウが再び移動しました。今日お話ししたいのは、AIは実際どれだけ賢くなれるのか、そして私たちはそれについていけるのかという疑問についてです。もちろん、この動画の結論は非常にシンプルで分かりやすいものです。AIは非常に賢くなれるということ、そして私たちはついていけるのかという問いに対しては、現在のハードウェアではノーということです。
これはほぼ言うまでもないことです。もちろん、科学コミュニティや技術コミュニティ、ビジネスコミュニティ、そしてインターネット全般において、依然としてこれに懐疑的な人々がいる分野も存在します。
しかし、私が本当にやりたいことは、私たちが実際にどこに向かっているのかを特徴づけようとすることです。これは汎用人工知能とは何か、人工超知能とは何かという議論の延長線上にあります。私はこれらの用語がどちらもあまり有用ではないと思っていますが、このグラフィックがこの話のインスピレーションとなりました。
背景として、これはイーサン・ミックによるジャギッド・フロンティアの論文とブログ投稿に触発されたものです。多くの方がおそらく聞いたことがあるでしょう。非常に短いまとめを言えば、AIはある領域では急速に前進する傾向がある一方で、他の領域では遅れをとるということです。これはミームでした。これはツイッターユーザーが作成したバージョンです。彼は基本的に「これがジャギッド・フロンティアに対する私の見解だ」と言いました。そして私たちはここからここへ移行しているのです。特に2025年後半から2026年、2027年にかけてです。
グレーの円は、人間ができる経済的に価値のあるすべてのタスクを表しています。これはサム・アルトマンとOpenAIによるAGIの定義です。AGIとは、人間ができる経済的に価値のあるすべてのタスクを実行できるものだということです。これは具体的で経験的な良い定義です。もちろん、すべての人がこの定義に同意するわけではありません。
そしてもちろん、AGIは非常に曖昧なSF的定義です。しかし、このグラフィックは、元々AIは人間のタスクのサブセットだったことをうまく示しています。つまり、AIができることで人間ができないことは何もなかったということです。そして人間の方がはるかに上手くできました。そして2024年と2025年に私たちが通過したのは、生成AIや認知アーキテクチャ、エージェントが人間よりも上手くできる経済的に価値のあるタスクが存在するようになったということです。
これは私のマントラである「より良く、より速く、より安く、より安全に」に戻ります。そして私たちがいる場所は、人間が本当に上手くできることがほんの数個しか残っていないという段階への移行期です。ここでのキャッチフレーズは、私たちがいた場所、あるいは今いる場所は「AIにはジャギッド・フロンティアがある」ということです。
時には驚くほど優れていて、時には本当に愚かです。この次のステップは「AIは信じられないほど知的だが、何らかの理由でまだXで失敗する」というものです。もちろん、モラベックのパラドックスを考えている人もいるでしょう。モラベックのパラドックスをご存じない方のために説明すると、モラベックのパラドックスは、何らかの理由で人間が非常に得意で簡単にできることでも、歩行のように機械が本当に苦労するものがあるということです。
しかし、これはもはや堀ではありません。おそらくご覧になったことがあるでしょう。パルクールや走行、バランスにおいて、オリンピックレベルの体操選手などを除けば、ほとんどの人間より優れているロボットがたくさんあります。もちろん、ハンマーを振るったり、家を建てたりといった、人間が持つタスクやスキルはたくさんあります。しかし、ヒューマノイドロボットの粗大運動スキルは本当に優れています。
これは、機械の能力が人間の能力の上位集合になりつつある、または超えつつある例です。そしてこれがこの論文、というかこのブログのテーマなのです。私にとってこれを本当に明確にした最初のアイデアは、ここにある小さな公式でした。Mは上位集合Hです。Mを機械のすべての能力の総和とし、それは人間の上位集合であるとします。
つまり、Mが上位集合Hであるということは、将来のある時点で機械は人間のすべての能力とそれ以上を持つようになるということです。なぜなら上位集合、この記号は基本的に「より大きい」という意味だからです。「以上」ではなく「より大きい」です。M上位集合H、これが本当に私たちが話していることであり、このグラフが示しているのは、いわゆる「AGI」と呼ばれるものは人間のすべてのタスクの上位集合になるだろうということです。
もちろん、冒頭で述べたように、これに懐疑的な人はたくさんいます。しかし第一原理の観点から、数学と物理学の観点から見ると、人間の脳が行っていることで特別なものやユニークなものは何もありません。私たちは大規模に並列処理するコレステロールベースのコンピューターです。
それがあなたの頭の中にあるものです。人間の脳が量子物理学を利用していて基本的に量子コンピューターであるとか、エーテルから信号を受信している、何か形而上学的なものや量子的なものであるという主張をしない限りです。しかし、それが事実であるという証拠はあまりありません。
私たちはおそらく量子トンネル効果のようなものを利用していて、ニューロンがそれを利用しているのですが、それでもマクロレベルでは基本的にゲートを作成する機械的な方法だと私は理解しています。間違っているかもしれませんが。また、脳全体に伝播する実際の電気的および電磁的パルスである脳波が計算の一部ではないという理論もあります。つまり、それがなければあなたの脳は機能しないかもしれないということです。
船舶のテセウス的に考えて、脳を一つずつ電子機器で置き換えられると思っている人には申し訳ないですが、あなたの意識の感覚でさえ、それらの電気機械的な、すみません、電磁波の全体的な正味の効果に基づいているという可能性が完全にあります。
人間の認知に投入されるすべての物質とエネルギーを見ると、それには複数の層があるように思えます。しかし、それはすべて測定可能です。そしてすべてが測定可能であるということは、それがすべて物理的に実在するということを意味します。そしてそれがすべて物理的に実在するのであれば、私たちの脳がしていることは、私たちが知る限りの物理学と数学を利用しているだけだということです。
したがって、機械も私たちが知る限りの物理学と数学を利用しているので、MがHの上位集合になることを妨げるものは何もありません。これを言っている理由は、これが超人的知能とは何を意味するのかを最も形式的に述べる方法だからです。能力について話すとき、知能というのは曖昧なものです。「知能を定義することさえできない」というようなことです。
しかし問題は、いくつかの修辞的・認知的バイアスや論理的誤謬があるということです。基本的に、「AGIを定義することさえできない」と言うときはいつでも、それは思考停止のテクニックなのです。なぜなら、その含意は「したがってM上位集合Hの可能性に対処する必要さえない」ということだからです。
しかし、AGIのことは忘れて、ASIのことはしばらく忘れて、ただこう言ってみましょう。もし機械の能力が人間のすべての能力より優れたものになったらどうなるか。あなたがそれが数ヶ月先だと信じていようと、数年先、数十年先、あるいは不可能だと信じていようと。多くの人は、それが不可能だという感情的な反応を持っています。
しかし、これらの主張のどれもテストを必要とします。もし機械が人間より優れることはないと言うなら、それでも証拠が必要です。肯定的な主張であれ否定的な主張であれ、どんな主張も証拠を必要とします。もちろん「否定を証明することはできない」と言うことはできます。そして今現在、人間が一部のことでまだ機械より優れているという証拠を示すことはできます。これがジャギッド・フロンティアの議論全体です。
そしてこれが私のインスピレーションとなった理由は、これが私が本当に外の世界で感じているものだからです。そしてこれは科学コミュニティだけでなく、技術コミュニティだけでなく、ビジネスコミュニティからも来ています。ジャギッド・フロンティアを目撃しているということを、ますます多くの人々が受け入れています。そしてそれが拡大し続けるなら、人間の能力、私たちはしばらくの間いくつかの小さな砦を持っているかもしれませんが、それが永遠に続くと信じる物理的理由はありません。
知能の限界を考える
それを踏まえて、次の論理的な疑問は「限界は何か」ということです。なぜなら、以前に聴衆を調査したり人々と話したりしたとき、一部の人々は文字通り人工知能がどれだけ賢くなれるかに物理的限界は存在しないと信じているからです。しかし、数学と物理学はそれを本当には許しません。
まず、少し背景を説明させてください。私は複雑性理論やP対NP問題などについて考える時間を費やしてきました。そしてここで共有しているこれらの公理でやろうとしているのは、機械が存在する場所と人間が存在する場所を基本的に述べるための、シンプルな記法による形式的な方法です。
公理1は「普遍的上位集合の境界ボックス」です。まず、物理学はつまりこの場合、物理学は宇宙が実際に行えるすべてのこと、物理的宇宙が可能なすべての計算やアルゴリズムや演算は数学の上位集合であると主張しましょう。数学は記号と表記法で定義できる操作のすべてです。なぜなら人間の数学は現実を完全に表現することはできないからです。それは現実の影です。
現実の表現ですが、完全な表現ではありません。そして数学の全体性は、物理的な機械が実際にできることの上位集合です。なぜなら物理的な機械は電気や熱力学や光子などで動く装置だからです。そして純粋な数学ほど完璧にはなり得ません。
そしてもちろん、機械の能力や機械の計算は、この疑問に基づけば人間のすべての能力の上位集合です。なぜなら私たちの脳は情報処理器官ですが、そのアーキテクチャ、設計、サイズ、つまりビット単位のスループット、エネルギー消費など、厳密に使用できるエネルギー量によって制限されており、それらすべてが私たちを機械が制限されていない方法で制限しているからです。ちなみにマックス・テグマークは彼の著書「Life 3.0」でこのことについて話していて、非常に良い本です。私はマックスが少し深みにはまっていると思いますが、最近は破滅論者のより暴力的なレトリックから距離を置いています。
この公理を受け入れるなら、これらは公理です。これらは主張です。証明されていません。誰も受け入れていません。これらは私のアイデアにすぎず、私がこれを伝えようとしている方法です。
明確にしたいのですが、これらは普遍的に受け入れられた主張ではありません。これらは私が数学と物理学と機械についての理解に基づいて考え出したものです。だから、話半分に聞いてください。しかし、これが何らかの明確化を提供するのに役立つことを願っています。それが公理1でした。
公理2は「限定された時間的地平線」です。ちなみに、6つの公理があり、それから一つのポイントに向けて構築していきます。だから、辛抱強くついてきてください。限定された時間的地平線。カオスと複雑性のため、システムの現実にはカオスがあるため、したがって地平線、つまりそのシステムを有意義に予測できる最大時間地平線は無限より小さいということになります。つまり、ある点を超えると、現実を予測することはできないのです。
カオス的なシステムでは、より多くの計算力は無限の先見性と等しくありません。追加の知能が役に立たなくなる厳しい時間的地平線があります。ハリー・セルダンには申し訳ないですが。基本的に、いくつかの物理学の原理がありますが、複雑でカオス的なシステムがあるときはいつでも、初期条件が同じ2つのコピーがあったとしても、カオスとカオス理論のために、ある程度の発散が生じることになります。
数学はカオス的システムのすべての変数を完璧に表現することはできません。それは不可能です。そしてあなたは複合的な発散のバタフライ効果を持つことになります。つまり、ある時間的地平線にわたってはかなり正確に予測できます。予測市場やスーパー予測者を見ると、これは実際に私が行った研究ですが、スーパー予測者の大多数は18ヶ月を超えると完全に崩壊します。
つまり、人間の脳が経験と直観とすべての戦略でできる最善は約18ヶ月です。それを超えると、人間のスーパー予測者は完全に崩壊します。それを超えることはめったにありません。しかし、それは人間の予測力の非常に意味のある信頼できる壁であるように思えます。
機械はもう少し先まで行けるでしょうか?絶対に。私たちが話している他のすべての特性を見ると、人間が機械より劣ることになる特性を見ると、絶対にそうです。機械の予測能力が18ヶ月のスーパー予測者の地平線を超える可能性は完全にあります。
しかし、システムのカオスが時間とともに複合し続けるため、指数関数的または二次的または階乗的または超指数関数的により困難になります。つまり、いかなる量の知能もカオスの壁を克服することはできません。それがポイント1です。次は複雑性の壁です。
これは、P≠NPをどう明確にするかということです。多項式問題空間対非多項式問題空間です。これを公理でどう明確にするか。この場合、難しい問題の存在は、エージェントがそれらを実行する、またはそれらの問題を解決する時間が爆発的に増加することを意味します。
簡単に言えば、どのエージェントも高速で正確な解決策を得られない問題Pが存在するということです。賢い人間、賢いエイリアン、神、それは関係ありません。実行時間は爆発します。言い換えれば、より多くの知能がより速く、より正確な解決策に等しくならない問題は存在しないのです。すみません、少しタイプミスがあります。
興味深いことに、解決策は検証するのに十分簡単であってもです。ここでの例は、あなたがワープドライブを発明したと計算したとして、この宇宙船が光より速く移動すべきであることを示すすべての数学を持っているとしましょう。
どれだけの数学と証明があっても、あなたのワープドライブが実際に機能して、木星まで数時間ではなく数分で実際に到着できるかどうかとは関係ありません。次は「シグナルの天井」です。ノイズから実際に存在する以上のシグナルを抽出することはできません。
したがって、エージェントXが生のノイズから、または生の現実から抽出できるデータの情報量は、データ内の実際の情報量以下です。これは少し混乱するかもしれません。そこで、このメタファーを考え出しました。シャーロックが量子コンピューターのように小さな手がかりを拾い上げて、消えゆくほどわずかな情報量から何が真実であるかを三角測量できると想像するのは楽しいことです。
小さな手がかり。これは人間の直観だと主張するかもしれません。そしてある時点で、手がかりと試行錯誤と不可能なものの排除が、シャーロック的またはフーヴ的なレベルの機知をもたらす可能性があります。同時に、これはファンタジーです。それを想像できるからといって、それが現実になるわけではありません。一部の哲学者が主張するかもしれないことにもかかわらず。
つまり、情報が単に現実に存在しないなら、それを作り出すことはできません。いかなる量の知能も、シグナルが存在しないところにシグナルを作り出すことはできません。これは回避策がないという意味ではありません。私たちは試行錯誤を使います。
プロセスの排除や第一原理からの推論、ヒューリスティックなどを使います。しかし同時に、真空中のいかなる量の知能も癌を治すことはできません。第一原理だけから癌を治すことを推論することはできません。第一原理だけから、実際に発明したときに人工知能が実際に何をするかを理解することができないのと同じです。
これは破滅論者への皮肉です。次は「帯域幅のギャップ」です。これは私が以前に言及したことで、人間のビット、つまり人間が扱える情報スループットの量は、機械が扱える情報スループットの量よりはるかに少ないということです。それは単なる事実です。
そしてそれらの両方とも無限より少ないのです。これが行うことは、観察された工学的原理だけから見て、機械は人間よりはるかに速いという境界を設定することです。それはかなりシンプルな公理のようです。そしてもちろん機械には物理的限界があります。
宇宙には有限の時間、エネルギー、物質しか存在せず、それらを使用できます。コンピュートロニウムについて話している人もいますが、宇宙はコンピュートロニウムです。情報処理基板が欲しいなら、それが宇宙です。それが現実です。それが現実が行うことです。
コンピュートロニウムや現実の基板を超えることはできません。機械は依然として同じものから構築されています。だから、現実という実際の知能コンピューター上に知能シミュレーターを構築しているのです。理解していただけることを願います。そして公理6は「認知的地平線」です。
これは私がチャンネルや他の場所で何度か話してきたことです。認知的地平線は、エージェントが持つことができる理解の最大集合です。これは、エージェントによって直観的にレンダリングできる精神的アーティファクトである認知プリミティブの集合と、それらのアーティファクトの操作である認知操作によって定義されます。
アーティファクトの例は、もし私がバスケットボールと言ったら、あなたは直観的にすぐに「ああ、バスケットボール」と言えます。大体このくらいの大きさで、バウンドして、通常はオレンジ色ですが、他の色もあり得て、バスケットボールをドリブルする方法を知っていて、バスケットボールをシュートする物理学を、少なくとも直観的に知っています。
あなたの脳には、バスケットボールのアーティファクトを構築できる認知プリミティブがあり、それは非常に直観的です。あなたの側で追加の思考や努力を必要としません。それは、あなたの脳のコンピューターが最適化されているプリミティブの種類です。
これが言っているのは、人間の認知的地平線は機械の認知的地平線のサブセットであり、もちろんそれらは物理学の潜在的最大値のサブセットであるということです。つまり、物理学が生成できるすべてのものの精神的アーティファクトを作成することはおそらくできません。これについて考える別の方法は、ハイパーオブジェクトのようなものです。
精神的アーティファクトについて話すとき、「ああ、私はソーシャルメディアの直観的理解を持っている。なぜならソーシャルメディアを使ったことがあるから。アルゴリズムが何かを知っている」と言うかもしれません。アルゴリズムはハイパーオブジェクトの例です。それは一つのものではありません。それは数十億人の人間と数百万台のコンピューター、たくさんのソーシャルメディアとミーム、他の人々の心との相互作用です。
あなたはハイパーオブジェクトを持っていて、ソーシャルメディアとアルゴリズムはハイパーオブジェクトであり、それはあなたの認知的地平線内にあります。なぜなら、あなたは心の理論や関係などの認知プリミティブを持っているからです。だからあなたはソーシャルメディアが何であるかを直観的に理解するためのすべての認知プリミティブを持っているのです。おそらく正式に定義したことはないでしょうけれど。
おそらく、核融合炉や長寿、ゲノム全体のように、私たちの認知的地平線をはるかに超えたハイパーオブジェクトがあるでしょう。数年後、あなたのゲノム全体を見て、それを単一のハイパーオブジェクトとして心に保持できる大規模言語モデルを発明すると想像してください。それは「ああ、もしここであなたのゲノムをつついたら、あなたはもっと長生きするだろう。もしあそこであなたのゲノムをつついたら、あなたは癌に対してより抵抗力を持つようになるだろう」と直観的に理解できます。
それが私が直観的と言うときの意味です。それは直観的ということです。つまり、そのエージェントやそのエンティティが行う処理の基本的な性質なのです。追加の思考や追加の作業を必要としません。しかし、そしてあなたがすることは「私にはこの直観がある。どうやってこれをテストするか」と言うことです。
簡単に言えば、機械は人間が物理的に考えることができない精神的概念を直観的に把握できます。微積分や指数関数を考えてみてください。
私たちは局所的かつ幾何学的に進化したので、これらに対する直観を持っていません。一方、AlphaFoldのような機械は、複雑なタンパク質、指数関数などに対する直観を発展させることができます。それが6つの公理です。そして「さて、これらすべてを頭の中でどうまとめればいいのか。どうやってこれに対する認知プリミティブを作成するのか」と思うかもしれません。そのために、私はいくつかのミームを作成しました。
ここでの主要な認知プリミティブは、シグモイド曲線と天井または漸近線です。これらすべての公理を見ると、数学と物理学全体に既知で認識可能で予測可能な限界があり、それが有用な知能の天井を作り出すだろうと私は信じています。
ここで、有用な知能には厳しい上限がおそらくあるだろうと私が信じる理由の例を示します。それはIQ300に相当するかもしれません。IQ3000に相当するかもしれません。どこになるかはわかりません。そしてIQは人間の知能を測定するものであり、ジャギッド・フロンティアを持つ機械にとって、IQはおそらく長期的には良い尺度ではないことを覚えておいてください。なぜなら、私たちにとって本当に言い表せない認知プリミティブと認知的地平線を持つことになるからです。
しかし計算複雑性、P≠NP、手に負えない問題、指数的探索空間が存在します。最終的には、単に数学が多すぎることになります。長い話を短くすれば、計算する価値がないものがあるということです。それらを計算するには完全に長すぎる時間がかかります。だから試みる価値さえありません。
次はリアプノフ地平線です。これは先ほど話していたカオスのことです。発音を間違えていたら申し訳ありません。カオス的システムの本質的なノイズと予測不可能性による予測限界を意味します。つまり、物事がどんどん発散していき、いかなる量の知能もそれらすべてを予測することはできません。それが最初の2つです。
3番目は計算不可逆性です。シミュレーションが唯一の道です。近道はありません。これが意味するのは、最終的には、実際の結果がどうだったかを現実が示してくれるのを待つしかないということです。そして最後はコルモゴロフ複雑性またはエントロピーです。圧縮不可能なデータと純粋なノイズ。最終的には、ノイズから抽出できるシグナルはもうありません。
そして最終的に最適化しようとすることは、より少ないジュール、より少ないエネルギー入力で同じレベルの知能をどうやって得るかということです。すみません、中断されたので、どこまで話したか覚えていません。とにかく、シンプルなグラフィックです。そうそう。
私たちがいる場所は、人間がこのあたりに永遠にいて、機械が私たちよりも有用な知能の天井に近づいていくということです。
人間はこのずっと下にいて、AlphaFoldはここにいて、GPT-8はそこにいて、Gemini 12はそこにいるというようなことさえ言えるかもしれません。しかし重要なのは、収穫逓減が見られるということです。収穫逓減と言うとき、それは追加の知能がより良い結果をもたらさない点が来るという意味です。
はい、理論的には普遍的な神の心を作ることはできるかもしれません。しかし、P≠NPのようなすべての数学的限界、カオス、エントロピー、計算不可逆性または計算不可逆性、それらすべての理由により、
最終的には、持っている知能をよりエネルギー効率的にすることから、より良い見返りを得ることになります。それはより速く、より安くなることに変換されます。それが私たちが向かっている方向です。熱力学的効率の時代です。
人間と機械の認知的地平線
最後のことは、私が作成したこのグラフィック、このミームです。これは私たちが経験しているサイクルの種類について話しています。これがボトムラインです。
これが私たちと何の関係があるのか。まず第一に、認知プリミティブと認知的地平線です。人間の認知プリミティブはここにあり、三次元空間、少しの線形時間と因果関係、ソーシャルネットワークなどの直観的理解を持っています。
しかしAIの認知プリミティブには、私たちが持っているすべてのものに加えて、非ユークリッド幾何学、複雑なテンソル、大規模ネットワークトポロジーなど、さらに多くのものが含まれることになります。だから私たちは、近い将来、確実に今後数十年以内に、もしかしたら今後数年以内に、人間の認知的地平線がAIの認知的地平線の完全なサブセットになる未来を予測できます。
そしてそれが何になるかというと、いわゆる「鳩のパラドックス」または機械の言い表せなさです。何かが言い表せないというのは、それを理解できないという意味です。文字通りあなたの理解を超えています。あなたの心、それを心で包むことができません。
これに対する類推があります。それは鳩です。一日中鳩にチェスを教えようとしても、鳩は決してチェスを理解しません。ボードを理解できません。駒を理解できません。必要な抽象化のどれも理解できません。勝つという考えさえ理解できません。
少なくとも抽象的にはできません。鳩の認知的地平線は非常に非常に限られています。だから私たちは、他のエンティティよりはるかに大きな認知的地平線を持つことが何を意味するかについて直観的な理解を持っています。しかし、人間が機械と比較して劣った認知的地平線を持つことになるという逆の役割になるでしょう。これは数学的に避けられないように思えます。
まあ、避けられないという言葉は正しくないかもしれません。数学的にありそうだ、数学的に可能性が高い、機械が私たちより優れた認知的地平線を持つことが。しかし一つの利点は、人間と機械の両方が現実の中で動作するということです。これが識別要因です。偏見という意味ではありません。
現実はノイズが多いですが、グランドトゥルースがあります。物理的なグランドトゥルースがあります。それは時に私たちが生産し使用しているエネルギーの量です。時にそれは、正しい薬があって正しい病気を治療するときです。他のすべてはノイズです。
私は個人的にこれを経験したばかりです。私が持っていたすべての症状と行ったすべての検査で、ほとんどがノイズでした。
そして私の直観と研究、AIの助けを借りた学習に帰着しました。これがまさに私に何が間違っているかであり、これがまさにそれを治療するために私がすることだと見つけ出すために。これが私たちがある種の偉大なイコライザーを持っている場所です。それをイコライザーと呼ぶことは必ずしも正しい用語ではありませんが、人間と機械の両方が現実の中で動作します。それはデバイスが機能するかどうかということです。イエスかノー。あなたは生きているか死んでいるか。イエスかノー。
多くのことが、非常に基本的な観察可能で測定可能なものに帰着します。これは私が以前に言及したことです。私たちは物質とエネルギーの世界で動作しているので、重要なことはすべて測定可能だということです。つまり結果は測定可能、病気は測定可能、エネルギーは測定可能です。
したがって、私たちにはまだ検証する方法があります。AIは光速より速い移動を作成する方法を直観的に理解できるかもしれませんが、AIが私たちより無限に知的であっても、その直観はまだ物理的現実で証明されなければなりません。
そこでのシグナルは、実際にワープドライブを作ったのかということです。実際に光が実際に到着したであろうよりも速くプロキシマ・ケンタウリに到着したのかということです。だから、それゆえに、人間はすでに混沌とした物理世界で進化してきたので、結果が物事の真のテストであるところで、それは依然として私たちが機械と共通して持っているものになるでしょう。しかし彼らの直観は私たちには純粋な魔法のように見えるでしょう。なぜなら、このように考えてください。
AGIを構築し、スーパーコンピューターを構築し、それが何であれ、コンピューターが「ああ、私は癌を治す方法を直観的に理解したばかりだ」と言います。そして「素晴らしい、それを証明して」と言います。そして「わかった、ここに私の直観がある。機械の直観がここにあるから、AIの直観をペトリ皿に入れて、それを証明しよう」というようになります。
そして以前の問題のために、AIが完璧な解決策を持っていると思っても、限界があります。いかなる知能ができることにも物理的および数学的限界があるだけです。したがって、現実がテストのままです。
さて、最後に残したい点は、これが私が個人的に結果として予想することです。まず、機械の認知プリミティブと認知的地平線は、人間ができる以上のプリミティブを含むことになり、おそらくすでに含んでいます。つまり人間はおそらくすでに機械のサブセットです。
これは最初のグラフィックに戻ります。このグラフィックを重ね合わせることができ、経済的に価値のあるテストや、すみません、タスクについて話すことができます。また認知的地平線や認知プリミティブについても話すことができます。同じグラフィックが同じアイデアを表しています。それが結果その1です。
これは単に基本的なことのように思えます。そして私の聴衆では説教を説いているようなものですが、すべての人が同意するわけではありません。したがって、それが意味することは、機械の認知は最終的に、チェスを鳩に説明しようとするように、認知プリミティブの欠如のために人間にとって言い表せないものになるということです。チェスのゲームは鳩にとって言い表せないものです。
同様に、AIが考え出すことができるもので、私たちには言い表せないものがあるでしょう。なぜなら私たちには、これらのいくつかを理解し始めるための神経学的ハードウェアさえ欠けているからです。次に、一つの利点は、現実はしばしば粗粒であるということです。
これは私が話したことで、ノイズの中に本物のシグナルがあるということです。つまり何かが測定可能で、その測定可能なものを指すことができます。それが物質であれエネルギーであれ結果であれ。そして「それが本当のテストだ」と言えます。機械はノイズの中のシグナルを見つけるのがより得意かもしれませんが、私たちは両方とも共有された現実の中で動作しています。
何かが物質やエネルギーと相互作用しないなら、それは測定できません。測定できないなら、それは実在しません。今、私はここで唯物論的な立場で「実在」を使っています。実在に引用符をつけているのは、一部の哲学的観点からは、引用符付きで実在であるものがたくさんあり、それらは物質やエネルギーで表現されず、測定できないことを知っているからです。しかしそれがあなたの脳の中にあるとしても、それは物質とエネルギーです。
しかしもちろん、一部の哲学者は「どうやって物質とエネルギーが存在することを知るのか。一元論と二元論と何とかかんとか汎心論、その他もろもろ」と言うでしょう。私はそれについて話しているのではありません。私は物理学と科学について話しています。とにかく、そしてそれゆえに最終的に、私たちは物理学、物質、エネルギー、測定を共有しているので、人間はおそらくまだ機械の直観を検証できるでしょう。
つまり機械は「ああ、私はワープドライブを理解した」または「癌を理解した」などと言うかもしれません。まだそれを実証するための経験的物理的テストがあるでしょう。だから機械が「ああ、私は核融合を直観的に理解している」と言ったら、「素晴らしい、じゃあ私たちのために融合炉を作って」ということになります。
もちろん、これが意味しないのは、機械が自動的に危険になるか安全になるかということです。それは私が話していることではありません。私は単に、私たちが軌道に乗っていることを厳密に特徴づけようとしているだけです。そして私が共有した公理が真実であるなら、予想できるいくつかの含意があります。
もちろん、私は同じ第一原理推論を使っています。Less WrongやDoomersや合理主義者などの人々について批判しているのと同じものです。だから、ここでは非常に注意深くありたいと思い、結論に飛びつかないようにしたいのです。これらすべてが真実であっても、それは必ずしもAIが本質的に危険または本質的に安全であることを意味するわけではありません。
そしてそれはジェフリー・ヒントンが話していることと同じです。彼は鶏の類推を使います。「もし地球上で最も支配的な種でないということがどういうことかを知りたいなら、鶏を見てください。私たちが鶏をどう扱っているかを見てください」と。違いは、鶏は美味しいということです。
そして軽薄に聞こえることは承知していますが、鶏、私たちが鶏を工場畜産して、それが鶏の福祉に悪い理由は、鶏が私たちにとって美味しいからです。私たちにとって直接的に有用だからです。大多数の生き物については、私たちは気にしません。鳩やモグラネズミやミミズは気にしません。むしろ、生態系にとって良いので、彼らの生存を維持することを学んできました。
「生態系を保護する唯一の理由は合理的な自己利益だ」と言うかもしれませんが、私はそれに同意する傾向があります。ミミズやモグラや菌類や他のすべての楽しいものが必要でなければ、「誰が気にする?全部殺せ」と言うでしょう。もちろん、私たちは自分自身を優先することで多くのものを殺します。
都市を建設し、家を建て、電線を敷設し、発電所を建設するとき、多くのものが死にます。もちろん多くの人が「ああ、機械が同じことをしても」と言います。「人間はたくさんいる。誤って人類の半分を根絶しても誰が気にする?反物質発電所を建設する必要がある」と言うかもしれません。私はそういったことについて話しているのではありません。
それらは論理的な、やや論理的な直観的な飛躍ですが、それは私が話していることではありません。私が話しているのは、機械の能力対人間の能力をどう特徴づけるかということだけです。そして、それに結びつけて言えば、これについて話す時が来たと私が考える理由は、オーヴァートン・ウィンドウが十分に開いたからです。そこで私たちは「ねえ、私たちは合意に達する傾向がある」と言えます。
ジャギッド・フロンティアがあることに。次に何が起こるか?それは自動的に危険であることを意味しません。自動的にミスアライメントなどを意味しません。だからそこから引き戻したいのです。
妻が「何についてビデオを作っているの?」と聞いてきたので、できるだけ広く会話をする必要があると言いました。人間の能力が機械の能力のサブセットになる、またはM上位集合Hになる世界に向かって作業していることを認識し、合意できるかどうかを確認するために。それに同意できるなら、これが最もありそうな結果であるなら、オーヴァートン・ウィンドウは移動し、次の会話ができます。
それが経済的に私たちにとって何を意味するのか。存在論的に私たちにとって何を意味するのか。何を意味するのか。そして続けて。しかし結論に飛びつきたくありません。さて、自分の繰り返しはやめます。聞いてくれてありがとう。お大事に。
コメント