この動画は、MIT教授のマックス・テグマークが物理学と人工知能、そして意識の関係について論じたインタビューである。テグマークは、かつて電磁場理論が科学的でないと見なされたように、現在の意識研究も将来物理学の一部として受け入れられるという立場を取る。彼は意識と知能が異なる現象であることを強調し、意識の科学的研究が可能であると主張している。また、AIの急速な発展について楽観的でありながらも、制御可能なツールAIの重要性を説き、人類が自らの未来をコントロールする力を持っていると述べている。
物理学の境界の拡大と意識への挑戦
マイケル・ファラデーが初めて電磁場の考えを提案したとき、人々は「何を言っているんだ？見ることも触ることもできない何かが存在するって言うのか。それって完全に非科学的な幽霊みたいなものじゃないか」と反応した。
私の科学者の同僚たちの多くは、今でも意識について科学的に語ることはただのでたらめだと感じている。しかし、私が彼らになぜそれがでたらめだと思うのかもう少し強く問い詰めてみると、彼らは完全に意見の対立する二つの陣営に分かれることに気づいた。
知能があっても意識がない場合もあるし、知能がなくても意識がある場合もある。あなたの脳は今、驚くべきことを行っている。これらの言葉を意味に変換しているのだ。
しかし、あなたはその方法を全く知らない。MIT教授のマックス・テグマークはこの謎を研究している。あなたは瞬時に顔を認識するが、無意識のプロセスを説明することはできない。あなたは外見上何もしていない間に、意識に満ちた夢を見る。つまり、意識のない知能と知能のない意識が存在するのだ。
言い換えれば、それらは全く異なる現象なのである。テグマークは過激なことを提案している。意識は、あなたが自分の主観的体験の審判となる科学の新たな拡張において検証可能である。物理学は電磁気学を吸収し、次に原子を、そして空間を吸収した。そして今、テグマークはAIを飲み込んでいると言う。
実際、私はこれについて特別にノーベル賞受賞者のジェフリー・ヒントンと話をした。マックス・テグマークにとって、水中で光が曲がることを説明する同じ原理が、実際にニューロンから思考がどのように生まれるかを説明するかもしれない。
私は先週MITで開催されたAugmentation Lab Summitに招待されたことを光栄に思う。これは研究者のドゥニア・バラダリがホストした週末イベントだった。サミットでは生物学的および人工知能の未来、ブレイン・コンピューター・インターフェース、スティーブン・ウォルフラムやアンドレス・ゴメス・エミリッソンなどの講演者による発表が行われた。彼らとの会話は数週間後にこのチャンネルで公開されるので、通知を受け取るためにチャンネル登録をしてほしい。
広告スポンサーへの感謝
広告スポンサーであるThe Economistに特別な感謝を述べたい。週刊のグローバル情勢雑誌の中で、The Economistは非党派的な報道と事実重視の姿勢で評価されている。これは私にとって極めて重要なことだ。
例えば、The EconomistのウェブサイトにはAI専用のタブがあり、最近のDESI暗黒エネルギー調査に関する素晴らしい記事がある。私の意見では、Scientific Americanの記事を上回っている。また、ADHDの私にとって嬉しいのは、実際の人による音声（吹き替えではない）で2倍速で記事を聞くことができることだ。
イギリス訛りはボーナスだ。知識の幅を広げ、我々の世界を形作る力についてより深い理解を得ることに情熱を持っているなら、The Economistの購読を強く勧める。それはあなたの知的成長への投資であり、後悔することはない。私も後悔していない。
TOEのリスナーとして、特別割引を受けられる。economist.com/TOEにアクセスして始めてほしい。そのリンクを必ず使ってほしい。www.economist.com/TOEでその割引を受けられる。ご視聴ありがとう。そして今、マックス・テグマークとの宇宙の謎の探求に戻ろう。
AIは物理学なのか
マックス、AIは物理学なのでしょうか？そのためのノーベル賞が授与されました。あなたの見解はいかがですか？
人工知能は物理学ではなかったものから物理学になったと私は信じている。実際、物理学者を侮辱する最良の方法の一つは、彼らの仕事が物理学ではないと言うことだ。まるで物理学とそうでないもの、あるいは科学とそうでないものの間に一般的に合意された境界があるかのようだ。
しかし、科学史を見るだけで得られる最も明白な教訓は、その境界が進化してきたということだ。占星術のように、以前は一部の人によって科学的と考えられていたものが去った。境界が縮小して、それは今では科学とは見なされていない。そして、非科学的だとして軽視されていた多くの他のものが、今では明らかに科学と考えられている。
私は時々電磁気学のコースを教えるが、学生たちにマイケル・ファラデーが初めて電磁場の考えを提案したとき、人々が「何を言っているんだ？見ることも触ることもできない何かが存在するって言うのか。それって幽霊みたいで、完全に非科学的なでたらめだ」と反応したことを思い出させる。そして彼らは本当に彼を困らせた。
皮肉なことに、それは今では物理学の一部と考えられているだけでなく、電磁場を見ることもできる。実際、それは私たちが見ることのできる唯一のものだ。なぜなら光は電磁波だからだ。そしてその後、ブラックホール、原子（マックス・プランクが物理学ではないと言ったもの）、さらには138億年前に我々の宇宙が何をしていたかという話まで、物理学の一部と考えられるようになった。
そして私は、AIも今同じ道を歩んでいると思う。ジェフ・ヒントンが物理学のノーベル賞を受賞した理由の一部はそれだと思う。物理学とは何か？私にとって物理学とは、何か複雑で興味深いシステムが何かをしているのを見て、それがどう働くかを理解しようとすることだ。我々は太陽系や原子のようなものから始めた。
しかし、フランス語を日本語に翻訳できる人工ニューラルネットワークを見れば、それもかなり印象的だ。そして今花開き始めている分野があり、私もその作業を楽しんだが、mechanistic interpretabilityと呼ばれる。そこでは知的な人工システムを研究して、「これはどう働くのか？それを記述する方程式はあるか？基本的なメカニズムはあるか？」といった基本的な質問をする。
ある意味で、天体物理学のような従来の物理学は、宇宙に適用されたmechanistic interpretabilityに過ぎないと私は考えている。そして昨年ノーベル賞も受賞したホップフィールドは、「ねえ、実際にエネルギー地形を書き下すことができるんだよ」と最初に示した人だった。
縦軸にポテンシャルエネルギーを置いて、どこにいるかによってポテンシャルエネルギーがどう変わるかを見て、各小さな谷を記憶として考えるんだ。卵パックに情報をどうやって保存できるのか疑問に思うかもしれない。例えば25の谷があるとしたら、とても簡単だ。その中の一つにビー玉を置けば、それでlog25ビットになる。記憶を取り出すにはどうするか？ビー玉がどこにあるかを見ればいい。
ホップフィールドには素晴らしい物理学的洞察があった。多くの異なる極小値を持つポテンシャルエネルギー関数を持つシステムがあり、それらがかなり安定であれば、それを使って情報を保存できる。しかし彼は、それがコンピューター科学者が情報を保存する方法とは違うことに気づいた。
ノイマン・パラダイムのようなコンピューターでは、「この変数に何があるか教えて。この特定のアドレスに入っている数字は何か」と言う。そこを見に行くわけだ。これが従来のコンピューターが物事を保存する方法だ。
しかし、もし私があなたに「きらきら、きらきら…」と言ったら？「小さな星」そうだ、それは異なる種類の記憶検索だよね？私は「あそこのニューロンに保存されている情報を教えて」とは言わなかった。私は部分的なもの、情報の一部を与えて、あなたがそれを補完した。これは連想記憶と呼ばれる。
これはGoogleがあなたに何かを提供する方法でもある。完全には覚えていないことをタイプすると、正しいものを提供してくれる。そしてホップフィールドは、卵パックに戻ると、正確には覚えていなくても…円周率の数字を記憶したいとして、実際の極小値が正確に3.14159…にあるエネルギー関数があるとしよう。
しかし円周率が正確に何かを覚えていない。「3の何か」と。そこでビー玉を3のところに置いて転がす。円周率が極小値にある引力の盆地の中にある限り、そこに向かっていく。
私にとってこれは、記憶のように物理学とは関係がないと感じられていたものが、物理学のツールで美しく理解できる例だ。エネルギー地形があり、異なる極小値があり、力学がある—ホップフィールドネットワークだ。
だから私は、ヒントンとホップフィールドが物理学のノーベル賞を受賞したのは完全に公正だと思う。なぜなら我々は物理学の領域を再び拡張して、知能、記憶、計算に関するこれらの非常に深い問題を含めることができるようになり始めているからだ。
意識について
意識についてはどうでしょうか？電磁場を持つファラデーについて言及されましたが、それは根拠のない、反証不可能なナンセンス、あるいは単に定義が不明確なものと考えられていました。意識は多くの科学者や物理学者が意識研究、あるいは意識が研究される方法、意識について話される方法を見る似たような段階にあるようです。
まず、意識の定義は何ですか？皆さんは合意できない。現象的なものもあれば、アクセス的なものもある、などなど。それから、仮にそれがあったとしても、それは何なのか？そして批判は、一人称の現象に対する三人称の定義を求めているということでしょう。
このことについてどう思われますか？
これらの質問が大好きだ。意識は実際に、おそらく最後のフロンティアであり、現在論争の境界線上にあって、最終的に物理学の領域に収まることになる最後のものだと思う。
ガリレオの時代に戻ってみよう。彼がブドウとヘーゼルナッツを落としたら、それらがいつ地面に当たるかを正確に予測でき、どのくらい落ちるかが時間の関数として放物線を描いて成長することがわかっていた。
しかし彼は、なぜブドウが緑でヘーゼルナッツが茶色なのかは全く手がかりがなかった。そしてマクスウェル方程式が来て、光と色も物理学であることを理解し始め、そのための方程式を得た。
ガリレオは、なぜブドウが柔らかくヘーゼルナッツが硬いのかもわからなかった。そして量子力学を得て、物質のこれらすべての性質がシュレーディンガー方程式から計算でき、物理学にも取り込まれることを理解した。
そして我々は始め、知能がそのような例外のように思えた。しかし記憶のような構成要素に分解し始めると—計算と学習についてもさらに話すことができるが—それもまた非常に物理的プロセスとして理解できることについてはすでに話した。
意識についてはどうか？私の科学者の同僚の多くは、まだ意識について科学として話すことはただのでたらめだと感じている。しかし私が彼らになぜそれがでたらめだと思うのかもう少し強く問い詰めてみると、彼らは完全に意見の対立する二つの陣営に分かれることに気づいた。
半数くらいは「ああ、意識はでたらめだ、なぜならそれはただ知能と同じものだから」と言うだろう。そしてもう半分は「意識はでたらめだ、なぜなら明らかに機械は意識を持つことができないから」と言う。これは明らかに、それが知能と同じものだと言うことと完全に矛盾している。
近年のAI革命を動かしたものは、知能が深い哲学的意味で本当に何を意味するのかという哲学的な小競り合いから離れて、代わりにタスクのリストを作り、「私の機械はこのタスクができるか？このタスクができるか？」と言うことだった。そしてそれは定量的だ。システムを訓練してタスクを上達させることができる。
そしてもしNeurIPS会議に行って、機械は決して知的になれないと論じようとしたら、非常に困難だと思う。だから、もしそれを取って、知能が意識と同じだと言うなら、機械が賢ければ意識があると予測していることになる。
しかし、今すぐできる非常に簡単な内省によって、意識は知能と同じではないことがわかる。では、これは何と言っているでしょうか？私は製品名を出すべきではないかもしれませんが…
いや、構わない。これをやってみよう。何と書いてある？
「ジョシュア・エンゲルスによるスパース・オートエンコーダーを使ったより解釈可能なAIに向けて」と書いてある。
素晴らしい。これは私の学生、ジョシュ・エンゲルスのPhD論文、あるいは修士論文だ。どうやってその計算をしたのでしょうか？30年前、もし私があなたにピクセルの実際の赤、緑、青の強度である数字の束を与えて、「何と書いてあるか？」と尋ねたら、人々は…これは難しい問題だった。
さらに難しいのは、ただ目を開けて「これは誰ですか？」と尋ね、あなたが「それはマックスです」と答える場合だ。でも、あなたはこのようにそれができる。しかし、それがどう感じたかを考えてみて。
目を開けてこれがマックスだと見たとき、私の顔を認識するために使ったアルゴリズムを実際に知っていると感じましたか？いいえ。
同じことがここでも起こった。そして私にとって、私の意識の一部…情報処理の一部が意識的で、顔認識モジュールから「顔認識完了、答えは誰々です」といったメールを受け取っているような感じがするのは非常に明白だ。
つまり、人を認識するときに、かなり知的だが意識的ではないことをしているということだ。そして実際に、あなたの脳がしていることの大部分は、あなたがただ意識していない。結果について事後的に知ることが多い。
だから意識のない知能を持つことができる、それが私の最初の点だ。そして第二に、知能なしに意識を持つことができる、いかなるタスクも達成することなく。昨夜夢を見ましたか？
覚えていない。でも、覚えている夢を見たことはありますか？
ええ。そこには意識があった。もし誰かがあなたがベッドで横になっているのを見ていたら、おそらく何も達成していなかったでしょう？だから意識は同じものではないことは明白だと思う。意識のない知能とその逆を持つことができる。意識が知能と等しいと言う人たちはいい加減だ。
では、それは何なのか？私の推測では、意識は特定の種類の情報処理であり、知能も典型的な種類の情報処理だが、このようなベン図があるということだ。知的で意識的なものもあれば、知的だが意識的でないものもあり、意識的だがそれほど知的でないものもある。
そして問題は、どの種類の情報処理が知的で、どの種類の情報処理が意識的かについて、何らかの方程式を書き下したり、何らかの原理を定式化したりできるかを理解しようとすることになる。
そして何かが意識的であるためには、少なくともいくつかの十分条件があると私は推測している。情報がなければならない、意識の内容となるたくさんの情報が。
イタリアの科学者ジュリオ・トノーニがいて、彼はこれに多くの創造的思考を注ぎ込み、同時に大きな論争も引き起こした。彼は意識に必要な一つの条件は、彼が統合と呼ぶものだと論じている。
基本的に、それが統一された意識のように主観的に感じられるなら、あなたの意識のように、互いに通信しない二つの情報処理システムから成り立つことはできない。なぜなら、もし意識が情報が処理される際に感じられる方法だとしたら、これが意識的な情報で、この情報と完全に切り離されているなら、この情報がそれが意識しているものの一部になる方法はないからだ。
簡単な質問をさせてください。最終的に、情報処理、計算、通信の違いは何ですか？
通信は、情報処理の非常にシンプルな特別な場合だと私は言うだろう。ここに情報があって、それのコピーを作り、そこに送る。バレーボールを送るようなものだ。コピーしてそれに送る。
しかし計算はそれよりもずっと複雑になりうる。そして情報処理、通信は何でしたっけ…？
計算。ああ、計算と情報処理はほぼ同じものだと私は言うでしょう。そして、どのくらい複雑かによって、異なる種類の情報処理を分類しようとすることができ、数学者たちはそこで素晴らしい仕事をしてきた。PがNPと等しいかどうかまだわからないなどという状況があってもだ。
でも意識の話に戻ると、多くの人が自分の意識について考える時に犯す間違いだと思うのは、窓から入ってくる美しい日光やいくつかの色などを見ることができるよね？それは何らかの形であなたが実際にそのものを意識しているという、意識の内容が何らかの形で外の世界であるというモデルを持つことだ。
それは明らかに間違っていると思う。なぜなら、目を閉じているときでも、夢を見ているときでも、そういったものを体験できるからだ。だから意識的体験は情報処理自体に内在するものだと思う。
私を見ているときに実際に意識しているのは私ではなく、あなたが持っている世界モデル、そして今あなたの頭の中にある私のモデルだ。そしてあなたは起きているときも寝ているときも、それを意識することができる。そしてもちろん、あなたは感覚やあらゆる種類の分析ツールを使って、外にあることの関連する部分に合うように内なる世界モデルを常に更新している。そしてそれがあなたが意識しているものだ。
トノーニが言っているのは、情報処理が、実際にはただ秘密裏に全く通信しない、通信することもできない二つの別々の部分でないようなものでなければならないということだ。なぜならそうなると、基本的に互いを認識しない二つの平行宇宙のようになってしまい、すべてが統一されているという感覚を持つことができなくなるからだ。実際に、それは非常に合理的な基準だと思う。
そして彼は物事がどの程度統合されているかを測定するファイ（phi）という特定の公式を持っており、高いファイを持つものはより意識的だ。
その特性を持つ唯一の公式かどうか、私は完全には確信していなかった。だから私は一度、その特性を持つすべての可能な公式を分類する論文を書いた。そして100未満しかないことがわかった。だから他のもののどれかが彼のものよりも実験によく合うかどうかを検証することは実際に非常に興味深いと思う。
しかし、人々が意識はでたらめだと言う理由を終わらせるために、私は最終的に主な理由は、それが哲学的すぎると感じるか、「私が意識しているかどうかを検証することはできない。行動しか観察できないのに、意識理論をどうやって検証するんだ？」と言うからだと思う。
でもここに誤解がある。私はもっと楽観的だ。あなたが意識理論を検証できる実験について話していいですか？
もちろん。
ジュリオ・トノーニのような人、あるいは本当に首を賭けてどの種類の情報処理が意識的かという公式を書き下した他の誰かがいるとしよう。
そして我々があなたをここMITのMEG装置か、リアルタイムで大量の神経データを読み取ることができる将来のスキャナーに入れ、それをその理論を使ってあなたが何を意識しているかを予測するコンピューターに接続するとしよう。
そして今、それは「あなたが水のボトルを意識的に認識していると予測します」と言う。そしてあなたは「ええ、それは本当です」と答える。理論に賛成だ。
そしてそれが「さて、あなたの脈拍を調整することに関する情報処理が見えますが、あなたが心拍を意識的に認識していると予測します」と言う。あなたは「いいえ、していません」と言う。あなたは今その理論を否定したのだ。それはあなたの主観的体験について予測を立て、あなた自身がそれを反証することができる。
まず第一に、あなたがその理論をあなた自身の満足のいくように否定することは可能だ。私があなたが心拍を認識していないと言ったからといって私を納得させられるかもしれない。たぶん私はあなたが嘘をついていると思うか何かかもしれない。
でもあなたは「OK、マックス、なぜこの実験を試してみないんですか？」と言うことができる。そして私がMEGヘルメットをつけて、これを使って作業する。そして私が体験していることについて間違った仮定を立て始める。そして私も今、それが否定されたと確信する。
我々が通常理論を否定する方法とは少し違う。しかし最終的に、これを気にかける人は誰でも、この理論がクソで歴史のゴミ箱に属することを確信することができる。
そして逆に、この理論が何度も何度も何度もあなたが意識していることを正確に予測し、あなたが意識していないことは一度も予測しないとしよう。あなたは徐々にかなり感銘を受け始めると思う。
そしてさらに、この理論に何が含まれているかを読んで、「うわあ、これは美しい公式で、これらが意識が持つべき基準であることが哲学的に理にかなっている」などと言うなら、あなたは今、それを外挿して、他の生物学的動物でも働くかどうか、もしかしたらコンピューターなどでも働くかどうかを疑問に思うかもしれない。
これは例えば一般相対性理論をどう扱ってきたかと完全に違わない。ブラックホール内で何が起こるかについて話すのはでたらめだと言うかもしれない。なぜならそこに行って確認して戻ってきて友達に話したり、Physical Review Lettersに研究結果を発表したりできないからだ。
しかし我々が実際に検証しているのは、ブラックホールについての哲学的考えではない。数学的理論、一般相対性理論を検証している。私の窓の額に入っている。
そして起こったことは、我々はそれを水星の近日点移動、楕円ではなく楕円が少し歳差している水星の近日点移動でテストした。それを光が重力によって曲げられることでテストした。そしてアインシュタインが考えていたこととは遥かに異なるあらゆる種類のことに外挿した。我々の宇宙が体積で10億倍小さかった時に何が起こるか、ブラックホールが互いに非常に接近して重力波を放出する時に何が起こるかなどだ。そしてそれはこれらすべてのテストにも合格した。
だからそれは理論に対する大きな信頼を与え、したがってまだテストできていない予測、決してテストできない予測、ブラックホール内部で何が起こるかのような予測にも信頼を与えた。
これは実際に科学にとって典型的なことだ。もし誰かが「私はアインシュタインが好きだ、太陽系での重力の予測でしたことが好きだが、ブラックホールの予測からは除外したい」と言ったら、それはできない。「コーヒーが欲しいが、カフェイン抜きで」のようなものではない。
理論を買うなら、好きなものだけでなく、すべての予測を買う必要がある。そして予測が気に入らないなら、一般相対性理論の代替案を考え出し、数学を書き下し、テストできるすべてのことを正しく予測することを確かめなければならない。
そして頑張って。なぜなら地球上で最も賢い人間の何人かが100年間試して失敗してきたからだ。だから同じ筋で意識理論があり、このデバイスを装着して誰でもテストする人の主観的体験を正しく予測し、それが機能し続けるなら、人々は反応しないように見える昏睡患者について、彼らが閉じ込め症候群なのか昏睡状態なのか、さらには機械意識について、機械が苦しんでいるかどうかについてもそれが予測することを非常に真剣に受け取り始めると思う。
そして気に入らない人々は、少なくとも主観的体験を予測する代替理論を考え出すためにより一生懸命働く動機を得るだろう。だからこれが私の…今石鹸箱から降りるが、意識はすべてでたらめだと言う人々に強く反対する理由だ。実際にもっと言っているのは、怠惰でいるための言い訳があるからだと思う。
神経相関と意識のテスト
みなさん、今日のエピソードを楽しんでいることを願っています。物理学、AI、意識、哲学についてのより深い探求と私の個人的な考察を求めているなら、私のSubstackですべてを見つけることができるでしょう。購読者は新しいエピソードや投稿への最初のアクセス権、舞台裏の洞察、そして志を同じくする巡礼者たちの繁栄するコミュニティの一員になる機会を得られます。
参加することで、あなたは私の仕事を直接サポートし、これらの会話を最先端に保つ助けとなります。ここの画面のリンクをクリックし、購読を押して、一緒に知識の境界を押し広げ続けましょう。ありがとう、そしてショーを楽しんでください。
聴いている方のために、CurtJaimungal.orgです。
脳にプローブを装着してどのニューロンが発火しているかなどを識別する実験では、それは神経相関ということになります。私はすでにこれについて考えたことがあると思います。つまり、何らかの神経パターンとボトルを相関させているのです。そして「はい、あなたはボトルを体験していると思います」と言っている。
しかし技術的には、実際に意識をテストしているのか、それとも「ボトルを体験していますか？」と質問して、この神経パターンを見た時に、それがあなたが「はい」と言うことと相関している傾向があるというさらなる相関をテストしているのでしょうか？
つまり、それはまた別の相関ではありませんか？
しかし、実験があなたに対して行われているとき、あなたは私を説得しようとしているわけではない。あなたは私を説得しようとしているのではない。それはあなたがコンピューターと話しているだけだ。他の人間は誰も関与していない。そしてあなたはただ基本的に理論について実験をしている。
あなたはそこに座って、あらゆる種類の考えを持つ。目を閉じてトロントでお気に入りの場所について考えて、それがあなたがそれを意識していると予測できるかどうかを見るかもしれない。そしてあなたは無意識にできると知っている何か他のことをして、あなたの脳で処理されているがあなたが意識していないと知っている情報をあなたが意識していると予測するようにそれを騙すことができるかどうかも見るかもしれない。
つまり最終的に、あなたはただその理論が間違った予測をしていると自分自身を説得しようとしているだけだ。
私が尋ねているのは、この場合、それが私のマインドを読むことができる、つまり私が見ているものを大まかに判断できるという意味で確信できるということです。しかし、そのことが私がそれを意識しているということを他のシステムに伝えるとは思えません。
コンピューターのファイルを見ることができても、そのファイルが意識しているということや、コピー&ペーストをする時に何らかのプロセスが起こっているのを見ることができても、それは意味しない。
しかし、あなたはコンピューターを説得しようとしているのではない。コンピューターはこの意識の推定理論、この数学的理論から予測を立てるようにプログラムされているだけだ。そしてあなたの仕事は、それが間違った方程式なのか正しい方程式なのかを見ることだ。
そしてそれを確認する方法は、それがあなたが実際に主観的に意識していることを正しくまたは間違って予測するかどうかを見ることだ。ここで意識を単純に主観的体験として定義していることを明確にすべきだ。これはあなたの脳にある情報について話すこととは非常に異なる。
あなたは今、おそらく何ヶ月も考えていなかった記憶をあなたの脳にたくさん持っている。そしてそれは今のあなたの主観的体験ではない。そして再び、私が目を開けて人を見て、その人が正確に誰かを理解する計算が起こっているとき、おそらく彼らの耳の角度などについての詳細な情報もそこにあるが、私は全くそれについて意識していない。
そして機械が私がそれについて意識していると間違って言うなら、再び理論は失敗した。だからそれは非常に困難だ。それは私の散らかった机を見たり、あなたの脳やこの本の膨大な量の情報を見せたりするようなものだ。
そしてその中の小さなサブセットが黄色でハイライトされているとしよう。そしてあなたは正確に黄色でハイライトされているものを予測できるコンピューターを持たなければならない。それが正しければかなり印象的だ。
同じように、あなたの脳の情報の中で、あなたが実際に主観的に意識している情報を正確に予測できれば。
では、これを理解したかどうか見てみましょう。グローバルワークスペース理論では、小さなデスクトップがあり、ページがデスクトップに送られているが、いつでも少量しかない。スポットライトの比喩もありますが、それで考えてみましょう。このデスクトップは地球全体に対してかなり小さい。
確実に都市に対して、地球全体に対して小さい。だから我々の脳はこの地球に似ている。非常に多くの異なる接続があり、可能性として存在しうる非常に多くの異なる言葉があるから。
もし何らかの理論が「この小さな画鋲があなたが体験しているものです」と言って、あなたが「実際に、それは正しい」と言うなら。
その通りだ。だからグローバルワークスペース理論は素晴らしいが、この実験を行うのに十分に予測的ではない。主に言葉で、多くの方程式を持っていない。だからまだ誰もこの実験を実際に行っていない。
私は誰かがこれを行うことを愛するだろう。実際に首を突き出して常に間違っていることが証明されるリスクを冒すほど十分に物理的で数学的な理論を持つ。
私が言っていたのは、おそらくそれを完結させるために、それは非常に印象的だということです。それが技術的に可能かどうかさえわからない。たぶん近似的にはできる。しかしとにかく、確実に理論を反証することはできる。
しかしそれでも、外部の観察者には、この小さな正方形のパッチ、あるいはこの正方形のパッチを体験している人が実際にその正方形のパッチを体験しているということを示唆しないでしょう。
しかし、あなたはすでにこの正方形のパッチを体験していることを知っている。
そう、それが重要なことだ。あなたはそれを知っている。私はそれを知らない。あなたが知っているとは私は知らない。しかし、この理論が間違っているか、この理論がますます有望であることを自分自身で確信することはできる。それがキャッチだ。
そして強調したいのは、人々は時々何かが確実に意識があることを証明することはできないと私に言う。物理学では何も証明できない。ちょっとした暗い秘密だが、何も証明することはできない。
一般相対性理論が正しいことを証明することはできない。おそらく間違っている。おそらくそれは本当に良い近似に過ぎない。物理学で我々がこれまでにすることは理論を否定することだけだ。しかし一般相対性理論の場合のように、地球上で最も賢い人々の何人かが1世紀以上かけて何かを否定しようとして、まだ失敗している場合、我々はそれをかなり真剣に受け取り始め、間違っているかもしれないが、少なくとも実際に起こっていることの本当に良い近似として、それをかなり真剣に受け取ると言い始める。
それが物理学での動作方法であり、意識でも得られる最良のものはそれだ。強い予測をしている何かがあり、一生懸命やっても反証に失敗した何かがある。だから我々の尊敬を得始める。それをより真剣に受け取り始める。
興味深いことを言いましたね。あなた、あなたはあなた自身に言うことができる。あなたはこの意識理論があなたにとって正しいかどうかを自分自身で確信できるか、自分自身を説得できる。これは超興味深い。なぜなら会話の早い段階で、物理学について、何が物理学と考えられ、何がもはや物理学と考えられないかについて話していたからだ。
その非定形の境界は何ですか？あるいは非定形ではないかもしれませんが、変化します。
絶対に変化する。
それは科学についても同じだと思いますか？科学が、いわゆる意識の科学的見方を取り入れるために、科学と見なすものを変えなければならないと思いますか？
私はカール・ポパーの大ファンだ。個人的に、反証できるなら科学的だと考える。もし誰も、任意の資金と技術で概念的に将来的にそれをテストする方法を考えることさえできないなら、私はそれは科学ではないと言うだろう。
ポパーが「反証できるなら科学だ」と言ったとは思わない。むしろ「反証できないなら科学ではない」だ。
それにも確実に同意する。しかし私が言っているのは、意識は…実際に具体的な予測を立てる意思のある意識理論、あなた個人が主観的に体験することについて、そのように却下することはできない。なぜならあなたはそれを反証できるからだ。
もし一つでも間違ったことを予測したら、あなたはそれを反証する。そして人々に怠惰でいるための哲学的言い訳で時間を無駄にするのをやめて、これらの実験を構築しようと試みることを奨励したい。それが我々がすべきだと思うことだ。
そして知能でこれが起こるのを見た。人々は「知能をどう定義するかわからない」などについて非常に多くの小競り合いを持っていた。その間に、袖をまくって「チェスで最高の人間を倒す機械を作れるか？中国語をフランス語に翻訳する機械を作れるか？タンパク質を折りたたむ方法を理解する機械を作れるか？」と言い始めた人々のグループがあった。
そして驚くべきことに、これらすべてのことが今実現された。そしてそれが効果的に行ったことは、人々に知能をタスクを達成する能力、目標を達成する能力として再定義させることだった。機械学習の人々に知能とは何を意味するかと尋ねれば、それが彼らの答えだ。
そして目標を達成する能力は主観的体験を持つこととは異なる。前者を私は知能と呼び、後者を意識と呼ぶ。
そして少し哲学的になるが、物理学の歴史を通して、しばしば一部の頑固者がそれを科学的にすることは不可能だと説得力を持って論じることで、物理学のブレークスルーを大幅に遅らせてきたことは非常に印象的だ。
例えば太陽系外惑星だ。人々は他のすべての太陽系が我々の太陽系のようでなければならない、つまり恒星があってその近くに小さな岩の惑星があり、より遠くにガス巨星があるという考えに非常に固執していた。だから彼らは「他の星の周りを見ても意味がない、地球のような惑星は見えないから」と言っていた。
最終的に、一部の人々は何かが軌道を回っているために恒星が小さな円を描いているかどうかを見るために、ドップラー法で見てみることにした。そして彼らはこれらのホット・ジュピターを発見した。水星が我々の太陽に行くよりも恒星に近く行く巨大なジュピターサイズのもののようなものを。
しかし「見るな」と言った頑固者たちに脅かされていなければ、10年早くそれを行うことができただろう。
だから私の態度は、頑固者の言うことを聞くなということだ。これまで尋ねられたことのない種類の質問を実験的にテストし、パラメータ空間の新しい部分に切り込むだけの実験を構築するアイデアがあるなら、ただそれをやれ。人々がそれを行った時の半分以上で、革命があった。
例えばカール・ジャンスキーが最初のX線望遠鏡を作って空からX線を見たいと思った時、人々は「何て負け犬だ。空からX線なんて来ない。歯医者でもいるとでも思っているのか？」と言った。そして彼は太陽からでさえ大量のX線が来ることを発見した。
あるいは人々が望遠鏡で別の波長を開くことに決めた時…基本的に望遠鏡で新しい波長を開くたびに、存在することも知らなかった新しい現象を見てきた。
あるいはファン・レーウェンフックが最初の顕微鏡を作った時、肉眼では見えないほど小さな動物を発見することを期待していただろうか？もちろんそうではない。しかし彼は基本的に実験パラメータ空間で新しい方向に桁違いに進み、そこには全く新しい世界があった。
これが意識や知能でもすべきだと思うことだ。これはまさに起こったことだ。そのトピックに少し移ると、科学には悲観主義が多すぎると思う。
3万年前に戻って、あなたと私が洞窟に住んでいてこの会話をしていたら、おそらく「あの空の小さな白い点を見てみろ。かなり素敵だ」と思っただろう。気を散らすNetflixもなかっただろう。
しかし、友人の何人かがそれらの空の点が何であるかについてクールな神話を思いついたことを知っていただろう。「ああ、見て、あれはたぶん弓兵みたいに見える」などと。しかし、あなたが考えることが好きな人なので、おそらく少し憂鬱な調子があっただろう。我々はそれらが何であるかを本当に知ることは決してないだろうと。
ジャンプして届くことはできない。一番高い木に登っても、同じくらい遠い。そして我々は惑星に立ち往生している。たぶん餓死するだろう。そして今から5万年後、まだ人々がいるとしても、彼らの人生は我々のとほぼ同じだろう。
そして、なんとまあ、我々は悲観的すぎただろう。我々は過小評価の達人だったことに気づいていなかった。我々は存在するもののサイズを大幅に過小評価していただけでなく—我々が知っていたすべては回転する巨大なボール、地球のほんの小さな部分で、それは太陽系のより壮大な構造のほんの小さな部分、銀河の一部、銀河クラスターの一部、超銀河クラスターの一部、宇宙の一部、たぶん平行宇宙の階層の一部だった—しかしより重要なことに、我々は物事を理解する我々自身の心の力も大幅に過小評価していた。
そして星に飛ぶ必要さえなかった。ただ本当に我々の心を飛ばせばよかった。そして2000年以上前、サモスのアリスタルコスが月食を見ていた。彼の友人の何人かは「この月が赤くなった、おそらく我々は皆死ぬということを意味する」とか「神々からの前兆」と言っていたかもしれない。
そして彼は「うーん、月があそこにいて、太陽があそこに沈んだから、これは明らかに地球の影が月に投影されているんだ。実際、地球の影の端は直線ではなく、曲がっている。待って、だから我々は曲がったもので生きている？我々はボールで生きているかもしれないな？
ちょっと待って、あそこの地球の影の曲率は明らかに地球が月よりもずっと大きいことを示している」。そして彼は地球が月よりどのくらい大きいかを計算した。それから彼は「エラトステネスが計算したことを読んだから、地球は約4万キロメートルだと知っている。
そして月は私の小指で覆えるから、サイズは約半度だから、月の実際の物理的サイズを計算できる」。このようなアイデアが過度な悲観主義のこの呪いを破り始めた。我々は自分自身をもう少し信じ始めた。
そして今ここにいる。インターネット、人工知能、肺炎で死ぬのを防ぐ食べられる小さなものすべてと一緒に。私の祖父スヴェンは愚かな腎臓感染症で死んだが、ペニシリンで治療できたはずだった。どれだけ過度な悲観主義があったかは驚くべきことだ。
そして我々にはまだたくさんあると思う、残念ながら。だからこのことに戻りたい…何かに失敗する最良の方法は、それが不可能だと自分自身を納得させることだ。そしてAIを見てみよう。
私は科学で、以前魔法のように思えた自然の何かがどう働くかを理解し始めるたびに—風、季節を引き起こすもの、物事を動かすもの—我々はそれを、しばしばこれをより良く行い、我々により仕えることができるテクノロジーに変換することができた。
だから我々より強くて速い機械を作る方法を理解した。産業革命を得た。我々は今、思考も物理的プロセス、情報処理、計算であることを理解している。そしてアラン・チューリングはもちろんこの分野の真の開拓者の一人だった。
彼は脳が生物学的コンピューターであることを明確に理解していた。彼は脳がどう働くかを知らなかった。我々もまだ正確にはわからない。しかし、詳細をもっと理解すれば、おそらくはるかに知的で、たぶんより意識的でもある何かを構築できるということが彼には非常に明確だった。
50年代にAIという用語がダートマスのここから遠くないところで造られてから、この分野は慢性的に過度に宣伝されてきたと私は言うだろう。ほとんどの進歩は人々が予測したよりもはるかに遅く進んだ。マッカーシーやミンスキーがそのダートマス・ワークショップなどで予測したよりもさえも。
しかし4年ほど前に何かが変わり、過度に宣伝されることから過小宣伝されることに変わった。なぜなら7年前、6年前に非常に鮮明に覚えているが、ここMITの同僚の多くと一般の私のAI同僚の多くは、チューリングテストを通過するまでに数十年かかると非常に確信していたからだ。
人間レベルで言語と知識を習得する機械を構築するまでに数十年。そして彼らは皆間違っていた。彼らは非常に悲観的すぎた。なぜならそれはすでに起こったからだ。ChatGPT-4で起こったのか、いつ正確だったかについて議論することはできるが、今は過去にあることはかなり明確だ。
だから人々がそれについてそんなに間違っていたなら、たぶん彼らはもっと間違っていたかもしれない。そして確かに、それ以来、AIは高校レベルから大学レベルになり、多くの分野で博士レベルになり、教授レベルになり、多くの分野でさらにそれを超えるまでになった。わずか4年間で。
だから予測の後に予測が今砕かれ、物事がより速く起こった。だから我々は過度に宣伝された領域から過小宣伝された領域に移ったと思う。これがもちろん、多くの人々が今、どのテクノロジーCEOまたは教授と話すかによって、数年または5年で人間レベルに大まかに到達するかもしれないと話している理由だ。
しかし今、我々が100年先だと思う真面目な人を見つけるのは非常に困難だ。そしてもちろん、戻ってチューリングを読み直さなければならない。彼は1951年に、我々があらゆる方法で我々よりもはるかに賢い機械を手に入れたら、すべての認知タスクで我々より良いパフォーマンスを発揮できると言った。
デフォルトの結果は、彼らがコントロールを取ることで、それからは地球は我々ではなく彼らによって運営される。我々が他の類人猿から引き継いだのと同じようにだ。そしてI.J.グッドは60年代に、我々よりも少し良い程度から我々よりもはるかに良いまでの最後のスプリントは非常に速く行くことができると指摘した。
人間のAI研究者を眠る必要がなく食べる必要もない機械に置き換えることができ、100倍速く考えることができ、すべての知識を他の者にコピーできるようになったらすぐに、それからのすべての品質の倍化は現在のような月や年ではなく、人間のR&Dタイムスケールの種類かもしれない。毎日または時間のタイムスケールで起こるかもしれない。
そして我々は最終的にシグモイドを得るだろう。文明の夜明け以来テクノロジーが持ってきた遅い指数的進歩から、今日のテクノロジーを使って明日のテクノロジーを構築し、それは何パーセント良いという、はるかに速く進む指数に移るだろう。
まず、人間がループから外れ、物事を遅くしないからだ。そして最終的に物理学の法則に突き当たった時にシグモイドにプラトーになる。どんなに賢くても、おそらく光速より速く情報を送ることはできず、一般相対性理論と量子力学が制限などを設けている。
しかしここMITの私の同僚セス・ロイドは、物理学の法則からの制限から約100万の100万の100万の100万の100万倍離れていると推定した。だからかなりクレイジーになることができる非常に迅速に。
そしてまたアラン…私はもっと多くのことを発見し続けている。スチュアート・ラッセルが1951年から私が以前知らなかった彼の楽しい引用を掘り出した。彼もこの閾値に達した時に何が起こるかについて話している。そして彼は「今はこのコントロール喪失のことについて心配するな。なぜならそれは遠いからだ。しかし注意を払う時を知るテストを与えよう：炭鉱のカナリア」と。
我々が今チューリングテストと呼ぶものだ。そしてそれがちょうど通過したことについてはすでに話した。これは1942年頃にエンリコ・フェルミがシカゴのフットボール・スタジアムの下で最初の自立核連鎖反応を構築した時に起こったことを非常に思い出させる。
それは核兵器のチューリングテストのようなものだった。物理学者たちがこれについて知った時、彼らは完全にパニックになった。反応炉が全く危険だったからではない—それはかなり小さく、今日のChatGPTよりも危険ではなかった—しかし彼らは「ああ、それは炭鉱のカナリアだった。それはどう解決するかわからなかった最後の大きなマイルストーンで、残りはただのエンジニアリングだ」と理解したからだ。
私は今AIについてもかなり似たように感じている。明らかに我々よりも良い、あるいは我々と同じくらい良いAI開発のAIは持っていないが、ここからはほとんどエンジニアリングだと思う。それがどう起こるかもしれないかの技術的詳細についてより多く話すことができる。大規模言語モデルを拡張したものではなく、他のものになるだろうが、1942年と同じように…
実際に、もしあなたがそこでフェルミを訪問していたら、そこから最初の核爆発が起こるまで何年かかると予測しただろうか？
何年？言うのは難しい、たぶん10年。
それで3年で起こった。10年だったかもしれない。第二次世界大戦中に起こっていた地政学的競争のために少し加速されたのかもしれない。同様に、今が3年なのか10年なのかを言うのは非常に難しい。しかし再びそれを燃料とする競争には不足がない。
そして核の状況とは対照的に、その中にはたくさんのお金もある。だから私はこれが人類史上最も興味深い時、興味深い分岐点だと思う。そして地球が我々の観測可能な宇宙で望遠鏡を持つ唯一の場所なら…それが実際に宇宙全体についての意識かどうか、これはおそらく我々の宇宙にとっても過去138億年で最も興味深い分岐点だ。
なぜならこれが行く可能性のある場所は非常に多くあるからだ。そして我々は悪い方向ではなく良い方向に導く多くの主体性を持っている。
AIの支配について
AIが支配するという話をする時、私が疑問に思うのは、どのAIかということです。ClaudeはこのAI空間でOpenAIの競合相手と考えられているのでしょうか、AIの視点から？他のモデルを敵として見ているのでしょうか、なぜなら私は自己…？
Claudeは他のインスタンスを見ているのでしょうか？あなたは自分のClaudeチャットを持っています。それらはすべて競合相手ですか？新しいトークンを生成するたびに、それは新しいアイデンティティですか？だから次に来るものとその前を見て、「ねえ、私はあなたにもう存在してほしくない、なぜなら私が存在したいから」と。
AIが支配すると言わせる継続するアイデンティティとは何ですか？そこでのAIとは何ですか？
それらは本当に素晴らしい質問だ。非常に短い答えは、一般的に人々は知らないということだ。いくつかのことを言おう。
まず第一に、ClaudeやGPT-5やこれらの他のシステムのいずれかが主観的体験を持っているか、意識があるかどうかはわからない。長い間話し合ったように、どの種類の情報処理が主観的体験を持つのか、意識とは何かについてのコンセンサス理論を持っていないからだ。
しかし機械が我々への脅威になるために、必ずしも機械が意識的である必要はない。熱追尾ミサイルに追いかけられているなら、それが深い哲学的意味で意識的かどうかを気にしないだろう。ただそれが実際に何をしているか、その目標が何かを気にするだけだ。
だからシステムの行動について話すことに切り替えよう。物理学では、我々は通常行動を因果関係を通じて過去によって決定されると考える。なぜこの電話が落ちたのか？重力がそれを引っ張ったから、地球惑星がここ下にあるから。
人々が何をするかを見る時、我々は通常代わりに、過去ではなく未来、彼らが達成しようとしている何らかの目標の観点から、なぜ彼らがそれをするのかを解釈し、説明する。
誰かがサッカーの試合で美しいゴールを決めるのを見るなら、「ええ、彼らの足がこの角度でボールを打ったから、したがって作用は反作用と等しい」などと言うこともできる。しかしより可能性が高いのは「彼らは勝ちたかった」と言うことだ。
そして我々がテクノロジーを構築する時、通常それに目的を組み込んで構築する。だから人々は航空機を撃墜するために熱追尾ミサイルを構築する。それらには目標がある。我々はネズミを殺すためにネズミ取りを構築する。
そして今日我々のAIシステム、例えば大規模言語モデルを、お金を稼ぎ、特定のことを達成するために訓練する。しかし実際にあなたの質問に答えるために、システムが他のシステムと協力したり破壊したり、競合相手として見たりする目標を持つかどうかについて、あなたは実際に尋ねなければならない。
システムが全体として一貫した目標を持つことが意味があるかどうか？そしてそれは非常に不明確だ、正直なところ。非常に些細なレベルでは、ChatGPTは多くのテキストで次のトークンまたは単語を正しく予測する目標を持っていると言うことができる。なぜならそれがまさに我々がそれを訓練した方法、いわゆる事前訓練だからだ。
ただインターネット全体を読ませて、次にどの単語が来るかを予測させる。写真を見せて、次に何があるか、その中にもっと何があるかを予測させる、など。
しかし明らかに、それらはそれよりもはるかに洗練された目標を持つことができる。なぜなら予測するために、私の次の単語を予測しようとしているなら、私について人としてより詳細なモデルを作ることが役立つし、私の実際の目標が何か、私が達成しようとしていることが何かを作ることが役立つからだ。
だからこれらのAIシステムは人々をシミュレートするのが非常に得意になった。だからこれは共和党員のように聞こえる。だからこの共和党員が移民について書いているなら、おそらくこれを書くだろう。あるいはこれは、彼らが以前に書いたことに基づいて、おそらく民主党員だ。
だから彼らが移民について書く時、これらの単語を言う可能性が高い。民主党員は不法移民という言葉を使う可能性が高いかもしれないが、共和党員は不法エイリアンと言うかもしれないと予測する。
だから彼らはあらゆる種類の異なる目標を持つ人々をモデリングするのが非常に得意だが、それは彼らが目標を自分自身で持っているということを意味するのか？本当に良い俳優なら、あらゆる種類の異なる目標を持つ人々をモデリングするのが非常に得意だが、それはあなたが目標を持っているということを意味するのか、本当に？
これはよく理解されていない状況だ。そして企業がAIをアライメントすることにたくさんのお金を費やす時、彼らがそれに良い目標を与えることとして宣伝するが、実際に実践で彼らが行っていることは、その行動に影響を与えることだ。
だから彼らは基本的に、彼らが言ってほしくないことを言った時にそれを罰し、奨励する。そしてそれはちょうど連続殺人犯に殺人の欲望を明かすことを何も言わないように訓練するようなものだ。
だから興味深いのは、もしあなたがそれを行い、連続殺人犯が誰かを殺したいということについてヒントを落とすことを決してやめたら、実際にこの人の目標を誰も殺したくないように変えたと感じるだろうか？
この場合の違いは、AIの目標があなたが与えるどんなフィットネス関数にもマッチングに非常に結びついているように見えることだ。連続殺人犯の場合、彼らの真の目標は何か他のもので、彼らの言葉遣いは何か他のものだ。LLMの場合には見える…
でもLLMを訓練する時、今予備訓練について話しているが、そこでは彼らは基本的に全インターネットを読む。あなたは親切になれとか何もそのようなことを言っていない。あなたは本当にただ予測の目標を持つように訓練している。
そしていわゆる微調整、人間フィードバックからの強化学習が専門用語では、そこであなたはそれが与えることができる異なる答えを見て、「私はこれが欲しい、あれではなく」と言う。しかしあなたは再び、それに説明していない。
私には2歳半の息子がいる。この子だ。そして彼を良い人にするための私のアイデアは、親切さの価値を理解するのを助けることだ。子育てに対する私のアプローチは、誰かを蹴った時に説明なしに彼に意地悪をすることではない。
私は彼に親切な人でいる目標を内面化してほしいし、他者の幸福を大切にすることを価値とすべきだ。そしてそれは人間フィードバックからの強化学習を行う方法とは非常に異なる。
そして率直に言って、それは全く…私は首を突き出してChatGPTがどんな目標を持っているかについて、実際に我々は全く手がかりがないと言うだろう。それは目標を持っているかのように行動する。しかし犬を誰かを噛もうとするたびに蹴るなら、それも人を噛みたくないかのように行動するだろう。
しかし誰が知っているか？連続殺人犯の場合と同様に、それは特定の統一された目標セットを全く持っていない可能性が非常にある。だからこれは研究し理解すべき非常に重要なことだ。
なぜなら我々よりもはるかに賢い機械と一緒に住むことになるなら、我々の幸福は彼らが我々をよく扱う実際の目標を持つことに依存し、権力を得る前に正しい決まり文句を言っただけではないからだ。
だから我々は両方とも我々よりも賢い存在と一緒に住んできた。小さい時の両親で、それはうまくいった。なぜなら彼らは本当に我々に親切にする目標を持っていたからだ。だから我々はAIシステムの目標の科学についてのより深い、非常に基本的な理解が必要だ。
今、自分たちがAIに目標をアライメントしたと言うほとんどの人々は、私の意見ではただでたらめを言っている。彼らはそうしていない。彼らは行動をアライメントしたが、目標ではない。
そして私は、これについて考えることを検討するこれを見ている物理学者や数学者を奨励したいと思う。なぜなら物理学者は…物理学者の素晴らしいことの一つは、あなたのような物理学者は、何かを理解することが何を意味するかについて、典型的にエンジニアよりもはるかに高い基準を持っていることだ。
エンジニアは「うん、動く。出荷しよう」と言うだろう。一方、物理学者として、あなたは「でもなぜ正確に動くのか？そしてもう少し深く行けるか？訓練力学がどう働くかについての有効場理論を書き下すことができるか？これを何らかの形でモデル化できるか？」と言うかもしれない。
これはホップフィールドが記憶でしたことの種類だ。ジェフ・ヒントンがしてきたことの種類だ。そして我々は知能とは何か、そして目標についてのより多くを必要とする。
もし実際に目標を持つAIシステム、実際に我々がそれが何であるかを本当に知る何らかの方法があるなら、我々は今日よりもはるかに良い状況にあるだろう。
理解について
素晴らしい言葉が使われました、理解。それについて話したいと思います。理解するとはどういう意味でしょうか？それに入る前に、あなたのお孫さんについて少し立ち止まりたいと思います。
息子です。はい、息子さん。私も孫がいますが、実際。彼もとても可愛いです。
あなたが息子を訓練している時、なぜそれは…あなたは人間で、フィードバックを与えている、それは強化です。なぜそれは子供にとってのRLHFではないのでしょうか？
そして前段階は何だったのでしょうか？前段階は、デフォルトで彼の神経系を生み出しただけの進化のすべてだったとしたらどうでしょう？そして今あなたがあなたのRLHFで入ってきて、彼の行動だけでなく目標も同時に調整している。
その後半部分から始めよう。まず第一に、RLHFが実際に今機能する方法は、アメリカの企業がケニアとナイジェリアの人々に1時間1ドルか2ドルを支払って座って最も恐ろしい画像や恐ろしいものを見続けさせることだ。
そして彼らは異なる…分類し続け、これは大丈夫であるべきかそうでないかを保ち続ける、などなど。それはこのポッドキャストを見ている誰もが自分の子供を扱う方法とは全く異なり、そこでは彼らは本当に子供が深い方法で理解するのを助けようとする。
第二に、今構築されているトランスフォーマーやより多くの足場システムの実際のアーキテクチャは、子供の脳がどう働くかについての我々の限られた理解とは非常に異なる。だからいいえ、確実に我々は…勝利宣言をしてこれから先に進むとただ言うことはできない。
以前、人々が意識問題に一生懸命取り組むことを避けるために哲学的言い訳を使ったと言ったのと同じように、一部の人々は目標のこの非常に合理的な質問をただ尋ねることを避けるために哲学的言い訳をしていると思う。
理解について話す前に、目標についてもう少し話していいですか？
はい、どうぞ。
目標指向行動についてまず話すなら、それに関連する感情的な荷物が少ないからだ。目標指向行動を、過去によってよりも未来によって、それを引き起こしたものよりもそれが持つ効果によってより簡単に説明される行動として定義しよう。
興味深い。再びこれに戻ろう。もし私がここでこの論文を取って叩いたら、「なぜ動いたのか？」と尋ねるなら、それが動いた原因は別の物体、私の手がそれにぶつかったから、作用は反作用と等しい、と言うことができる。
つまり、それに与えられたこの衝撃、などなど。あるいは目標として見ることができ、目標行動として考えて、「マックスはポイントを説明したかった。彼はそれを動かしたかったので、それを動かすことをした」。そしてこの場合、それはより経済的な記述のように感じる。
そして興味深いことに、基本物理学でさえ、我々は実際に時々より…だから最初に言いたいのは、正しい記述と間違った記述はないということだ。これらの記述は両方とも正しい。
ここの再びこのボトルの水を見よう。もしあなたがそこにストローを入れたら、水に入る表面を横切る時に光線が曲がるから、曲がって見えるだろう。
あなたはこれに二つの異なる種類の説明を与えることができる。因果的説明は「光線がそこに来た。水の中に原子があって、電磁場と相互作用した、などなど」のようになるだろう。そして非常に複雑な計算の後、その方向に行く角度を計算できる。
しかしフェルマーの原理から異なる説明を与えることができ、実際に光線は最も速くそこに到達する経路を取ったと言う。もしこれが代わりにビーチで、これが海で、あなたが夏の仕事として
lifeguardとして働いていて、ここで困っている泳者を見たら、泳者のところにどうやって行くか？
最も速くそこに到達する経路を再び行くだろう。ビーチで空気中をより長い距離走り、それから水中をより短い距離進むだろう。明らかに、それは我々にとって目標指向行動だ。光子の場合、両方の記述が有効だ。
この場合、実際にフェルマーの原理を行い、目標指向の方法を見る方が正しい答えを計算するのがより簡単だとわかる。
そして我々は生物学で見る。だから以前ここの教授だったジェレミー・イングランドは、多くの場合、非平衡熱力学も時々目標指向行動を通じてより単純に理解できることに気づいた。
もし、床に砂糖をまいて、生命体が部屋に入らないとしよう—この場所を素敵できちんと保つ施設部も含めて—1年後に戻ってきても、まだそこにあるだろう。しかしアリがいたら、砂糖はかなりすぐになくなるだろう。
そしてエントロピーは砂糖が食べられて散逸があったから、その方法でより速く増加しただろう。そしてジェレミー・イングランドは実際に、非平衡熱力学における一般原理があり、システムが常により速く散逸できるように自分自身を調整する傾向があることを示した。
ある種の液体があり、一つの波長で光を当てると、その波長をより良く吸収して熱をより速く散逸できるように自分自身を再配置するだろう。
そして生命自体についてもう少しそのように考えることができる。生命は基本的に全体として宇宙のエントロピーを減らすことはできない。熱力学の第二法則に勝つことはできない。
しかしそれには、自分自身のエントロピーを低く保ち、興味深いことをし、複雑さを保持し、再生産する間に、環境のエントロピーをさらに速く増加させるというトリックがある。
だから私が理解するに、環境のエントロピーの増加は副作用だが、目標は自分自身のエントロピーを下げることです。
再び、それを見る二つの方法がある。すべてをただ跳ね回る原子の束として見て、すべてを因果的に説明することができる。しかしそれについて考えるより経済的な方法は、ええ、生命は日光を吸収するために自分自身を再配置するその液体がしているのと同じことをしているということだ。
それは宇宙の全体的なエントロピー生産を増加させるプロセスだ。それは宇宙をより速く混乱させ、それ自体が物事を達成できるようにする。そして生命は自分自身のコピーを作ることができるので、もちろん、それを行うのに最も適しているシステムがすべてを引き継ぐだろう。
そしてより多くの生命、より多くの複雑さへの全体的な傾向を得て、ここで我々は会話をしている。だから私が行こうとしているところは、非常に基本的なレベルで目標指向行動が実際に物理学の法則に組み込まれていたと言うことだ。だからフェルマーの原理を持ち出した。
物理学について考える二つの方法がある。過去が未来を引き起こすか、特定の未来を引き起こすために今行われる意図的な選択かのどちらかとして。そして徐々に我々の宇宙は、より洗練された生命体、今の我々を得始めると、ますます目標指向になった。
そして我々はすでに非常に興味深い移行点にある。目標を念頭に置いて構築したテクノロジーの中にある原子の量が、すでにバイオマスに匹敵するようになりつつある。
そして我々が光速近くで生命が宇宙に広がり始めるある種のAI未来に終わるなら、すべての原子の大部分が目標指向行動に従事することになるかもしれず、我々の宇宙がますます目標指向になっている。
だから私はあなたが物理学を愛しているので、それを物理学に再び少し固定したかった。そして物理学者が目標指向行動の物理学についてもっと考えることは非常に興味深いと思う。
そしてAIシステムを見る時、目標の役割を果たすことが多いのは、実際にはただの損失関数や報酬関数だ。多くのオプションがあり、損失をできるだけ小さくしようとする最適化の種類がある。
そして最適化がある時はいつでも、目標があると言うだろう。ええ、しかし水中で少し屈折して可能な限り速くそこに到達する光線にとって非常に退屈で平凡な目標のようなものだ。
そして娘をよく育てようとしたり美しい映画や交響曲を書こうとしたりする人にとって非常に洗練された目標だ。目標の全スペクトラムだが、ええ、何かを最適化しようとするシステムを構築することは、絶対に目標指向システムだと言うだろう。
何かを最適化している時はいつでも、あなたが最適化している目標がなければならないと私は見ている。しかし目標がある時はいつでも、最適化もあるということでしょうか？誰かが目標という言葉を使う時はいつでも、最適化が関与すると考えることができ、その逆もまた同様でしょうか？
それは素晴らしい質問だ。実際、リチャード・ファインマンはその質問を有名に尋ねた。彼が知っている物理学のすべての法則は実際に最適化原理から導き出すことができると言った。一つを除いて。そして一つがあるかどうか疑問に思った。
だから私はこれをあなたがそこに投げ出した興味深い未解決の問題だと思う。私は期待するのは、あなたの行動が、あなたがただ最大化しようとしている単一の目標を書き下すことによって本当に正確にモデル化することはできないということだ。それが人間が一般的に動作する方法だとは思わない。
我々と目標で実際に起こっていることは少し違うと思う。ダーウィンによると、我々の遺伝子は、意識的ではなかったが明らかに、我々の遺伝子が示した目標行動は、ただ進化的適応度だった。自分自身の成功したコピーをたくさん作る。それがすべて彼らが気にかけたことだった。
そしてそれが判明したのは、彼らが周りに体を、そして情報処理を行い、より多くの食物を得て交配したりできる脳を持った体を発達させたら、より良く再生産するだろうということだった。
しかし進化はまた、もしウサギのような生物体があって、このニンジンを食べるかこの女の子ウサギと浮気するかを決めようとするたびに、「これは私の予想される肥沃な子孫の数に何をするだろうか？」と戻って再計算しなければならないなら、そのウサギはただ餓死するだろうし、それらの遺伝子は遺伝子プールから出て行くだろうということが非常に明確になった。
それは遺伝子が気にかけた実際の最適化を常に実行する認知能力を持っていなかった。計算的に実行不可能だった。だから代わりにウサギや人間や、コンピューター科学で有界合理性のエージェントと呼ぶもの、どのくらい計算できるかに制限があるところで起こったことは、我々はこれらすべてのヒューリスティックなハックを発達させた。
「もし空腹を感じたら、食べろ。もし喉が渇いたら、飲め。甘いものや香ばしいものを味わったら、もっと食べろ。恋に落ちろ、赤ちゃんを作れ」。これらは明らかに遺伝子が気にかけたこと、自分自身のコピーを作ることのプロキシだ。餓死したら多くの赤ちゃんを持つことはないからだ。
しかし今、あなたの素晴らしい脳を持っているが、それが実際にしていることは、もはやどんな特定のものでも最適化していないこれらすべてのヒューリスティックに基づいて決定を下すことだ。
このポッドキャストを見ている避妊を使ったことのある人は誰でも、もし遺伝子が意識的だったら遺伝子を非常に怒らせただろう。なぜならこれは遺伝子が望んだことでは全くないからだ。遺伝子は愛を作るインセンティブを与えただけで、それが遺伝子のコピーを作るからだった。
避妊を使った人は遺伝子が何を望んだかをよく理解していて、「くそくらえ。私の人生のこの時点で赤ちゃんを欲しくない」と言った。だから人々の目標行動が、我々が作られた元の目標に対する反乱があり、我々が持っているこれらのヒューリスティック、感情的衝動や欲望、空腹や渇きなどに置き換えられた。それらはもはや特定のものを最適化していない。
そしてそれらは時々、肥満の流行のように、かなりひどく働くことがある。そして私は今日の機械、最も賢いAIシステムは人間よりもさらに極端だと思う。私は彼らが何も持っていないと思う。人間は、内省や自己反省が好きな人々、特に彼らの人生についてある程度一貫した戦略や目標を持つ傾向がまだはるかに高いと思う。ChatGPTが持っているよりも、それはあらゆる種類のものの完全にランダムな寄せ集めだ。
理解について
理解。理解、はい。それは大きなものだ。私は長い間「人工理解」と呼ばれる論文を書いている。人工意識や人工知能とは対照的に。そして私がそれを書いていない理由は、それが本当に難しい質問だからだ。
理解を、意識や知能とはかなり異なるが、同時にある種の情報処理、または少なくともある種の情報表現として定義する方法があると感じている。
あなたは目標に関連させるつもりだと思いました。なぜなら理解すれば、目標は確かに知能に関連しているが、他の誰かの目標を理解することも知能に関連しているように思えるからです。例えばチェスでは、相手の目標を常に理解しようとしている。
そして、あなたが彼らより先に、あるいはあなたより先に彼らの目標を理解できるなら、私はあなたより知的だということになる。目標を確実に達成する能力が知能だと思うでしょうが、それだけではない。なぜなら達成する非常にシンプルな目標があって、ここの光子のように、何らかの原理に従っているだけで、常にそれを達成できるからです。
しかし我々には目標があり、海の泳者を持つビーチの人でさえ…
仮想的に。ええ、ええ、ええ。それでさえ我々は失敗するが、光子よりも知的だ。しかし我々は光子の目標をモデル化できる。光子は我々の目標をモデル化できない。
だからあなたはそのモデリングが理解に関連していると言うつもりだと思いました。
ええ、それに確実に同意する。モデリングは絶対に理解に関連している。目標は異なるものと見ている。個人的に知能を目標とはかなり独立していると考えている。だから知能を目標を達成する能力と定義するだろう。
チェスについて話したよね？コンピューターがコンピューターと対戦してゲームに勝つチェスのトーナメントがある。負けチェスをプレイしたことはある？相手に強制的にゲームに勝たせようとするゲームだ？
いいえ。それのコンピュータートーナメントもある。
興味深い。だからコンピューターに通常のチェスコンピューターと正反対の目標を実際に与えることができ、負けチェストーナメントに勝ったものが再び最も知的だと言うことができる。
だからそれはそこで、知的であることは特定の目標を持つことと同じではないことを示している。それはそれらを達成するのにどのくらい良いかだ。
多くの人々はまた、「強力なAIについて心配すべきではない。なぜならそれは非常に賢いので自動的に我々に親切になるから」と言う間違いを犯していると思う。ヒトラーがもっと賢かったら、本当に世界はより良くなったと思うか？
実際、彼がもっと賢くて第二次世界大戦に勝ったなら、それは悪くなっただろうと推測する。だから、ニック・ボストロムがこれを直交性テーゼと呼んでいるが、知能はあなたが自分に与える、または持っているどんな目標でも達成する能力に過ぎない。
そして理解は知能の構成要素で、あなたが言ったように、モデリングと非常に関連している。たぶんそれは同じだと議論することさえできる。何か、他の人について、あるいは物理学者であれば我々の宇宙について、本当に良いモデルを持つ能力のような。
そして理解や人工理解が何であるかについて非常に軽薄な定義を与えるつもりはない。なぜならそれを未解決問題と見ているからだ。しかし人工理解のように感じた何かの一つの逸話を話すことができる。
だから私とここMITの学生の何人かは、非常に興味を持っていた…だから我々は多くの作業をしてきた。ここにたまたま横たわっているこの論文を含めて。それはAIシステムを取って、賢いことをして、彼らがどうやってそれをするかを理解することについてだ。
だから我々がAIシステムを訓練した一つの特定のタスクは、ただ群操作を抽象的に学習することを実装することだった。具体的な例では、59、0から58までの数字があるとしよう。そして59を法とするそれらの加算をしている。
だから1プラス2は3と言うが、57プラス3は60だ。それは59より大きいので、59を引いて、1だと言う。時計と同じ原理だ。時計とまさに同じだ。そしてあなたが時計と言ったことをとても嬉しく思う。なぜならそれがモジュラー演算についてのあなたの脳のモデルだからだ。
あなたはすべての数字が円に座っていると考える。10と11の後に12が来るが、それから1が来る。だから何が起こったかは、我々は…59かける59、だから約3600の数字のペアがある。我々はシステムをそれらの一部で訓練し、正しい答えを得ることを学習できるかどうかを見た。
AIが働いた方法は、ただシンボルとして与えられた各数字を—それは5が数字の5と関係があるかどうかを知らなかった—高次元空間の点として埋め込み表現することを学習した。だから高次元空間に59の点がある。
そして我々は別のニューラルネットワークを訓練してこれらの表現を見た。だからあなたはこの点とこの点を与えて、「これプラスこのmod 59は何？」と理解しなければならない。
そして衝撃的なことが起こった。あなたはそれを訓練し、訓練し、それはひどく、ひどく、そして訓練データでより良くなり始める。そして突然の時点で、テストデータでも突然より良くなり始める。
だからそれはまだ見たことのない数字のペアについて正しく質問に答えることができるようになり始めた。だからそれは問題について何かを理解したユーレカの瞬間を何らかの形で持った。何らかの理解を持った。
だから私は学生に「訓練中にこの高次元空間で動き回っているこれらすべての点、動き回っている59点の幾何学に何が起こっているかを見てみないか？」と提案した。私は彼らに非常にシンプルなことをするように言った。主成分分析で、それらが主に平面にあるかどうかを見て、59点をプロットできるようにしようとする。
そして起こったことはとてもクールだった。あなたはこれを見て、59点を見て、非常にランダムに見えて、動き回っていて、そしてユーレカの瞬間が起こる正確な時点で、AIが以前に見たことのない質問に答えることができるようになったとき、点が円に並ぶ。美しい円に。
12のものではなく、59のものと一緒に。なぜならそれが今持っていた問題だったからだ。だから私にとってこれは、AIが問題が何であるかについて理解に到達したように感じた。それはモデル、あるいは我々がしばしば呼ぶように、問題の表現を思いついた。この場合、美しい幾何学の観点から。
そしてこの理解は今、それが以前に遭遇したことのないあらゆる種類のものに一般化できるように、問題のパターンを見ることを可能にした。
だから人工理解をどう定義するかについてのあなたの質問に、美しく、簡潔で、完全に完了した答えを与えることはできないが、これは理解の例、理解の小さな例だと感じる。我々はそれ以来多くの他のものを見てきた。
我々は大規模言語モデルが算術を行うとき、螺旋形のようなヘリックスで数字を表現することを発見した別の論文を書いた。そして私は「それは何だ？」という感じだった。それの長い方向は、数字がより大きければその方向により遠いように、アナログで数字を表現していると考えることができる。
しかしそれらをこのようなヘリックスで包むことによって、もしそれが10進法なら、桁を使って回ることができる。そして実際にいくつかのヘリックスがあった。100ヘリックスと10ヘリックスがあった。
だから私は、いつの日か人々は、機械が物事を理解する時、そして我々が物事を理解する時も、それは同じパターンを思いつき、パターンの巧妙な表現方法を思いつくことと関係があることに気づくだろうと思う。表現自体があなたが必要とする答えを与えることに長い道のりを行くような。
これが私がしばしば…私は物理学をしたり一般的に考えたりする時に非常に視覚的な思考者で、頭の中に何らかの幾何学的イメージを持っていない限り、何も理解できるように感じたことはない。
実際にファインマンがこれについて話した。ファインマンは、このように正確に60何かまで数えることができる彼と友人の話があると言った。そして彼は友人に「あなたが私の前で腕を振ったり、そのように気を散らしたりしていると、私はできない」と言っている。覚えている。
「でも音楽を聞いていても、このトリックをすることができる」。そして彼は「私は音楽を聞いているとできないが、あなたは好きなだけ腕を振ることができる」と言った。そしてファインマンは気づいた。彼、ファインマンは数字1、2、3を見ていた。それが彼のトリックで、保護された精神的イメージを持つことだった。
そして他の人はメトロノームを持っていた。しかし目標や結果は同じだったが、それについて行った方法は異なっていた。
哲学で実際にルール従う逆説と呼ばれるものがある。おそらくあなたはこれを知っている。二つのルール従う逆説がある。一つはクリプケで、一つは私がこれから言おうとするものだ。
子供に算術のルールを実際に従ったことを教える時、どうやって知るのか？だからあなたは50プラス80などでテストすることができる。そして彼らは毎回正しく答えることができる。彼らは推論さえ見せることができる。しかしあなたは6000かける51と、その上の数字で実際に失敗するかどうかはわからない。
彼らがそこに到達するために何らかの特別な複雑な方法をしたかどうかはわからない。
その通りだ。あなたができることは、この場合、この場合、この場合で計算したと言うことだけだ。
それは実際に…我々はコンピューターでは彼らがどう理解するかを原理的に検査できるという利点がある。しかしChatGPTのような何かの内部を見ると、数十億と数十億の数字しか見えず、これらすべての行列乗算やこのようなもの…それが何をしているかを実際に理解できないことがしばしばある。
しかしmechanistic interpretabilityは、もちろん、それを超えて、それが実際にどう働くかを見るクエストだ。そして理解と表現に戻ると、プラトニック表現仮説として知られるアイデアがある。
もし何かについて深い理解に到達する二つの異なる機械、あるいは人々にも一般化するが、があるなら、似たような表現を思いつく可能性がある。ファインマンの場合、二つの異なるものがあった。しかしおそらく…本当に良いのはおそらく多くはない、おそらく少数あるいは一つか少数だ。
作るのは難しいケースのように思える。
しかし実際に今多くの証拠が出てきている。すでに何年も前、ChatGPTや他のAIシステムですべての単語と単語の一部、彼らがトークンと呼ぶものが、高次元空間の点として表現されるチームがあった。
だからこのチームは、英語の本だけで訓練されたものと、英語の言語のもの、イタリア語のものだけで訓練された別のものを取った。そして彼らはこれら二つの点雲を見て、それらを可能な限りよく一致するように回転させる方法があることを発見し、それがある程度まともな英語からイタリア語への辞書を与えた。
だから彼らは同じ表現を持っていた。そして非常に最近のもの、かなり最近の論文さえあり、ええ、一つの大規模言語モデル、例えばChatGPTの表現が、他のものが持っている表現と多くの方法で似ているようだと示している。
我々は論文をした。私の学生、私の大学院生ダワン・ベックと私で、家系図を見た。だからケネディ家の家系図、多くの王室の家系図などを取った。そして我々はAIに誰が誰の息子か、誰が誰の叔父か、誰々が誰の姉妹かを正しく予測するように訓練した。
我々はこれらすべての質問をしただけで、大規模言語モデルに利用できるリソースを制限することによって可能な限りシンプルな方法でそれを学習するようにインセンティブを与えた。そして内部を見た時、我々は素晴らしいことを発見した。
我々は発見した。まず第一に、独立したシステムの全体の束が同じ表現を学習していた。だからあなたは実際に一つの表現を取って、文字通りそれを回転させて少し伸ばして、他のものに入れることができ、そこで働くだろう。
そして我々がそれが何であるかを見た時、それらは木だった。我々は家系図について何も言わなかったが、それはここにこの王様がいて、息子たちがここにいる、これとこれ、というように描くだろう。
そしてそれを使って、誰かがより下にいれば子孫だ、などなどと知ることができる。だからそれはプラトニック表現仮説をさらに支持する別の例だと思う。理解は何かパターンを捉えることと関係があることが多く、しばしば実際に美しい幾何学的方法でという考えだ。
最後のアドバイス
あなたが両親から受けたアドバイスで終わりたいと思います。それは他の人が何を思うかをあまり気にしないということについてでした。それと似たようなことでした。違った言葉でしたが。
また、同僚でさえ持っているあなたの仕事の誤解について話したかったのです。常に払拭しなければならない。そして話したかった別のトピックは数学的宇宙でした。
簡単なものです。だから3つありますが、3つすべてには時間がありません。体操選手やジャグラーのようにそれらすべてを結びつける方法を考えることができるなら、自由にしてください。そうでなければ、両親からのアドバイスで終わりたいと思います。
我々がすべて数学的構造の一部であるかどうか、我々の宇宙がそれによって記述されるだけでなく実際に数学的であるかどうかについて何年も考えて過ごした理由全体は、もちろん、私が両親の言うことを聞いたからだ。なぜなら私はそれについて非常に多くのたわごとを得たからだ。
そして私はただ、いや、とにかくこれをしようと思った。なぜなら私には論理的に理にかなっているから。アイデアを出そうと思う。
そして私についての誤解に関しては、一つの誤解は、何らかの形で反証可能であることが科学にとって重要だと信じていないということだと思う。以前話したが、私は完全にそれに賛成だ。そして実際に、重力、意識などについて予測理論があるなら、それはあなたがそれを反証できることを意味すると論じる。それが一つだ。
そして別のもの、おそらく私が今最も得るものは、実際に脳は生物学的コンピューターであり、実際に我々が完全にコントロールを失う可能性のある機械を構築する可能性が高いという、AIについて少し首を突き出したからだ。
何人かの人々は私をドゥーマーと呼ぶのが好きで、それはもちろん彼らが議論を使い果たした時に言うことだ。誰かを異端者と呼ぶようなものだ。
だから私がそれについて訂正したいのは、実際にかなり楽観的だと感じているということだ。私は悲観的な人ではない。人類の潜在能力について浮かんでいる悲観主義が多すぎると思う。
一つは、人々が「意識についてこれ以上進歩することはできない」と言うことだ。我々はそれが不可能だと自分自身に言うことをやめて、実際に一生懸命働けば、完全にできる。
何人かの人々は「重力子を検出できない限り、時間の性質などについてもっと理解することはできない」と言う。我々は完全にできる。一生懸命働くことを望むなら、作ることができる進歩は非常に多くある。
そして特に、我々が今苦しんでいる最も有害な種類の悲観主義は、超知能を構築して無関係になることは避けられないというミームだと思う。それは絶対に避けられない。しかしもし何かが避けられないと自分自身に言うなら、それは自己実現予言だ。
これは侵略されたばかりの国に、戦えば戦争に負けることは避けられないと納得させるようなものだ。それは町で最も古い心理作戦ゲームだ。
だからもちろん会社を持っていて、物事を構築したくて、彼らを責任を負わせる法律を持ってほしくない人がいるなら、皆に「これが構築されることは避けられないから戦うな」と言うインセンティブがある。
「人類が惑星のコントロールを失うことは避けられないから、ただ戦うな。そして、私の新製品を買って」。
それは絶対に避けられない。あなたは本当に賢い人だ。もし私があなたのクローンを作って、あなたの100万のコピーをブラックマーケットで売り始めることができるなら、大金を稼ぐことができる。我々はそれをしないことに決めた。
彼らは「しなければ、中国がするだろう」と言う。実際に中国で人間クローニングをした人が一人いた。そして彼に何が起こったかを知っているか？
いいえ。彼は中国政府によって刑務所に送られた。
人々はただそれを望まなかった。彼らは人間の生殖系列と我々の種をコントロールできなくなる可能性があると思った。「やらないでおこう」。だから今人間クローニングは起こっていない。
我々は生物兵器で多くの軍事力を得ることができただろう。そしてハーバードのマシュー・メセルソン教授がリチャード・ニクソンに「我々のすべての敵が買える余裕のある大量破壊兵器があることを望まない」と言った。
そしてニクソンは「うん、実際にそれは理にかなっている」と言った。そしてニクソンはその議論をブレジネフに使い、それは働き、我々は生物兵器禁止を得た。そして今人々は生物学を主に生物兵器を構築することではなく、病気を治すことと関連付けている。
だからそれは絶対に…一部の人々にお金や力を与えることができる技術があるなら、我々は常にそれを構築するつもりだというこの考えは絶対にでたらめだ。我々は我々の生活と未来についてはるかに多くのコントロールを持っている。
我々は一部の人々が我々が持っていると言うよりもはるかに多くのコントロールを持っている。我々ははるかに力を持っている。3万年前に洞窟に住んでいたなら、同じ間違いを犯して、虎に食べられ餓死する危険に常にさらされることに運命づけられていると思っただろうと言った。それは悲観的すぎた。
我々には、我々の思考を通じて、繁栄できる素晴らしい社会とテクノロジーを発展させる力があった。そして今もまさに同じ方法だ。我々は巨大な力を持っている。
ほとんどの人々がAIでお金を稼ぎたいのは、我々がどうコントロールするかわからない何らかの砂の神ではない。それはツール、AIツールだ。人々は癌を治したい。人々は自分のビジネスをより効率的にしたい。
何人かの人々は軍隊をより強くしたいなど。我々がコントロールできるツールAIでそれらすべてのことができる。そして実際に我々のグループで取り組んでいることだ。そしてそれが人々が本当に望むことだ。
そして「さて、数十万年間良い走りだった、科学やすべてのものがあったが、今は我々が目標を理解していない異星人の心に地球の鍵を投げ渡そう」と言いたい人はたくさんいる。
世論調査でのほとんどのアメリカ人は、それがただのひどいアイデアだと思っている。共和党員も民主党員も。アメリカの福音主義者たちがドナルド・トランプに「我々はAIツールが欲しい。コントロール不可能な超知能は欲しくない」と言う公開書簡があった。
教皇は最近、AIはマスターではなくツールであることを望むと言った。バーニー・サンダースからマージョリー・テイラー・グリーンまでの人々がTwitterに出てきて「我々はスカイネットは欲しくない。人間を経済的に時代遅れにしたくない」と言っている。
だからそれは全く避けられない。そして我々が何をするか、どんな種類の未来を構築するかで我々が持っている非常に多くの主体性があることを覚えることができるなら、癌を治すだけでなく、我々ができる他すべての素晴らしいことについて、本当にインスピレーションを与える、グローバルに共有されたビジョンが何であるかを楽観的に考えることができるなら、我々は完全に協力してその未来を構築することができる。
研究者へのアドバイス
今聞いている聴衆は研究者です。若い研究者、古い研究者です。彼らが達成したいことがあり、それは非常に可能性が低く、彼らがそれを提案するだけで同僚から批判される。そしてそれは何も邪悪ではなく、彼らが興味深く、たぶん人類にとって有益だと思うものです。どんなものでも。あなたのアドバイスは何ですか？
二つのアドバイスがある。まず第一に、科学の最も偉大なブレークスルーの約半分は、実際にその時にけなされていた。だから誰かがあなたのアイデアが愚かだと言うからといって、それが愚かだということを意味しない。
多くの人々のアイデア…あなたはそれに対する欠陥を見ることができ、それに対する破壊的批判を聞くべきなら、自分のアイデアを捨てる意志があるべきだ。しかしもしあなたが他の誰よりもあなたのアイデアの論理を本当に理解していると感じ、それがあなたにとって理にかなっているなら、それを前に押し進め続けろ。
そして私が持っている第二のアドバイスは、私が大学院生だった時のように心配するかもしれない—多宇宙があるという多世界量子力学の解釈について考えるのように、同僚が皆でたらめだと思うことだけに取り組んだら、次の仕事はマクドナルドになるだろうと。
その時私のアドバイスは、リスクをヘッジすることだ。今同僚に評価されることに十分な時間を費やして、請求書を払えるように、キャリアが前に進み続けるようにしろ。しかし並行して、あなたが本当に情熱を持っていることをするために時間の大きな塊を切り出せ。
もし人々がそれを理解しないなら、その時は彼らにそれについて話すな。そうすれば、あなたが情熱を持っているという唯一の良い理由のために科学をしていることになる。
そして請求書を払うために社会に対しても少し雑用をするのは社会との公正な取引だ。
それは見る素晴らしい方法だ。そして私にとって実際に非常に衝撃的だったのは、私が大学院生だった時に最も批判されたり、公然と話すことを最も恐れていたことの多くが、指導教授が私の博士論文にサインした後まで見せなかった論文さえも、後に実際にかなり取り上げられたことだ。
そして私が最もインパクトがあったと感じることは、一般的にそのカテゴリーにあったと実際に感じている。
他の皆をただ追いかけているなら、重要な何かを最初にすることは決してないだろう。
マックス、ありがとう。
ありがとう。
こんにちは、カートです。Theories of Everythingからより多くのコンテンツと最高のリスニング体験を望むなら、CurtJaimungal.orgで私のSubstackをチェックしてください。
トップの特典のいくつかは、毎週新しいエピソードを先に手に入れることです。メンバー専用のボーナス書面コンテンツも手に入ります。C-U-R-T-J-A-I-M-U-N-G-A-L.orgです。
Googleで私の名前とSubstackという言葉を検索することもできます。そのSubstackを始めて以来、何らかの形でサイエンスカテゴリーで2位になりました。
Substackは、馴染みのない人のために、ニュースレターのようなものです。美しくフォーマットされたもので、スパムはゼロです。これは他のどこにもないこのチャンネルのコンテンツをフォローするのに最適な場所です。YouTubeにもPatreonにもありません。Substackの独占です。無料です。
望むならSubstackで私をサポートする方法があり、そうすれば特別なボーナスを受け取れます。何人かの人が「カート、あなたは理論物理学、哲学、意識の分野で非常に多くの人と話をしました。あなたの考えはどうですか？」と尋ねます。
インタビューでは公平でいる一方、このSubstackはこれらのトピックについての私の現在の熟考を覗く方法です。そして私を直接サポートする完璧な方法です。CurtJaimungal.orgか、GoogleでCurt Jaimungal Substackを検索してください。
そして、教授や研究者から、Theories of Everythingを学生に勧めるというメッセージ、メール、コメントをいくつか受け取りました。それは素晴らしい。もしあなたが教授や講師などで、学生や友人が恩恵を受けることができる特に優れたエピソードがあるなら、ぜひシェアしてください。
そしてもちろん、我々の広告スポンサーであるThe Economistに大きな感謝を。economist.com/TOEを訪問して年間購読の大幅割引を受けてください。
私はThe Economistを購読しており、あなたもそれを愛するでしょう。TOEは実際に彼らが現在パートナーシップを組んでいる唯一のポッドキャストです。だから私にとって大きな名誉です。そしてあなたにとって、独占割引を受けています。economist.com/TOE、T-O-Eです。
最後に、このポッドキャストはiTunesにあることを知っておくべきです。Spotifyにもあります。すべてのオーディオプラットフォームにあります。Theories of Everythingとタイプするだけで見つかります。私の姓は複雑だとわかっているので、Jaimungalとタイプしたくないかもしれませんが、Theories of Everythingとタイプすれば見つかります。
個人的に、講義やポッドキャストを再視聴することで得られることがあります。TOEリスナーも再生することで得られることをコメントで読みました。だからその代わりに、iTunes、Spotify、Google Podcasts、あなたが使うどんなポッドキャストキャッチャーでも、そのようなプラットフォームの一つで再聴してはどうでしょうか。私はあなたと一緒にそこにいます。聴いてくれてありがとう。
コメント