本動画は、大規模言語モデル(LLM)の本質を「大規模圧縮モデル」として再定義し、すべての知能を「情報、問題空間、目標」という3つの要素に還元して解説している。事前学習されたモデルは圧縮された情報であり、特定の問題空間に配置され、目標達成のために強化学習が適用されることで、創発的な知能が生まれるという。Anthropicの論文で示された内省能力の創発も、この枠組みで説明できる。人間も含めた地球上のあらゆる生命は情報伝播マシンであり、遺伝情報の拡散という目標に向けて行動するという進化生物学的視点も提示される。AGIの定義については「コンピュータが人間よりも上手に自分自身を使えるようになること」とし、その達成は近いと予測。一方、電子から始まる完全な自己複製機械の実現には少なくとも10年、社会への普及には数十年かかるとみる。イーロン・マスクの目指すイアン・バンクスの「カルチャー」シリーズのような未来への移行期において、ゼロサムではなく、全人類に価値を提供するツール構築の重要性を強調している。
大規模言語モデルから大規模圧縮モデルへ
やあ、みなさん。ニールです。チャンネルへようこそ。今から深い作業に取り掛かろうとしているところです。今日ここで話したいのは、これらの大規模言語モデルを成長させるプロセスについてです。そもそも大規模言語モデルという用語自体が、もはや有用ではないと思っています。主に今私たちが構築しているのは、大規模圧縮モデルのようなものです。事前学習されたモデルがあって、それは圧縮された情報の塊であり、その情報を問題空間に適合させて目標に到達させるわけです。本当に今のこれらのシステムとはそういうものなのです。
事前学習されたモデルがあります。これは基本的に情報の初期条件、つまり宇宙に生まれた子供の事前知識のようなものです。そしてこの子供を環境、問題空間に置きます。そしてこの問題空間内で目標に到達するために強化学習を適用するのです。
ここから起こる興味深いことは、Anthropicが最近発表した論文で見たように、この情報から創発的な現象が生まれ始めることです。つまり、こう考えることができます。すべての知能とは本当に情報、目標、問題空間だけなのです。それがすべてです。問題空間の中で目標に到達しようとする情報なのです。
そしてその問題空間と目標によって、その特定の問題空間でその目標に到達するために情報に加えられる選択的圧力が、情報の異なる創発的行動を引き起こすのです。だからAnthropicが大規模言語モデルにおける創発的内省について論文を発表するとき、それは大規模言語モデル、この事前学習されたモデルを問題空間に置き、そして目標を達成するよう指示するからです。そして、それが置かれている空間の制約と設定された目標を考えると、そこに到達するためには何でもしなければなりません。そしてたまたま、特定の問題空間における特定の目標のためには、目標を達成するために自分自身のモデルを開発しなければならないのです。目標を達成するためには内省できなければならないのです。
知能の本質:情報、問題空間、目標
繰り返しますが、知能は情報、問題空間、目標に還元できます。地球上のすべての生命についても同じ比較ができます。細胞を見ても、動物を見ても、私たち人間を見ても、私たちはこれらの情報伝播マシンなのです。人間の全体的な目標は子孫を残し、遺伝子を広めることです。
リチャード・ドーキンスの『利己的な遺伝子』を読めばわかります。進化心理学や進化生物学に関するあらゆる本を見ればわかります。人間の行動はすべて、子孫繁殖と遺伝子の拡散に根ざしています。あなたはそれ以上の自律性を持っているように思えるかもしれません。技術的にはある程度そうです。なぜなら日常生活で様々な決定を下せるからです。
今日仕事をするかしないか決められます。リンゴを食べるか散歩に行くか決められます。こうした小さな微細な決定をたくさんすることができます。しかし大局的に見れば、十分長い時間軸では、あなたのすべての決定は一つのことに帰結します。それがあなたの情報、あなたの遺伝子の伝播なのです。
そしてこれは地球上のすべての生命に当てはまります。基本的に、人間、生命はこれらの情報マシンなのです。私たちは胎児として、赤ちゃんとして世界に生まれてきます。この情報のセット、私たちの遺伝子と少量の情報を持っています。そして世界、宇宙、環境の中にいるとき、より多くを学び、子孫を残せるようより高い地位を達成するという目標を追いかけています。
私たちが目標を追求する中で、私たちの内部の情報に問題空間内で選択的圧力をかけており、それが私たちが持つタイプの知能を創発させるのです。つまり、ここで言いたいのは、これらのシステム、大規模言語モデルや大規模圧縮モデル、何と呼ぼうとも、まったく同じプロセスが起こるということです。
この情報のセット、事前学習されたモデルを手に入れ、それをこの問題空間に置き、問題の空間内で目標を達成するために情報に圧力を加えるのです。だからコーディングが本当に得意なChatまたはCodexモデルは、私たちとは根本的に異なるタイプの知能を持っているのです。
主に言語で訓練されているので、まだ私たちがコミュニケーションできるものです。しかし知能のタイプは、それが置かれている問題空間のために、私たちのものとは異質なのです。継続的学習アルゴリズムとロボティクスにおけるアクティブ推論を持ち、ロボットが人間のようにその場で学習し、基本的に電子から自分自身を組み立て、宇宙から電子を収集し、自分自身の計算スタックを構築し、自分自身のアーキテクチャを訓練し始め、基本的に電子からロボットまで自己複製インフラで自分自身をロボット形態でも組み立てる時点に到達したら。
AGIと自己複製機械への道のり
その時点に到達し、継続的学習の形式を持ち、私たちのように自律的に学習しアクティブ推論を持つ能力を持つようになったとき、そこで種のようなものになると思います。それが私にとっての本当のシンギュラリティと言えるでしょう。私の定義、何度も言っていますが、AGIの私の定義は、人間よりも上手に自分自身を使えるコンピュータです。そして私たちはそれにかなり近づいていると思います。コンピュータの問題空間、コンピュータの空間を解決するために問題空間の情報に加えられる選択的圧力。
それはかなり早く達成されると思います。正確にどのくらいかかるかはわかりません。アンドレイ・カルパシーは間違っていると思います。ちょっと待ってください、そんなことを言う前に一歩下がらせてください。アンドレイ・カルパシーは、自己複製機械、電子からロボットが自分自身を構築するまでに10年かかるという点では正しいのです。そこに到達するには少なくとも10年かかるでしょう。
しかし、最近Xでアンドレイ・カルパシーが投稿したのを見たかもしれませんが、レックス・フリッドマンのインタビューで、完全自動運転を本当に実現するには約10年かかると言いました。そして最近ツイートを投稿し、「ハードウェア4、自動運転13.2.9を搭載した新しいテスラModel Xにアップグレードしたばかりだ。ワオ、これは今まで経験した中で最もクレイジーな体験だ。これは驚異的だ」と言いました。面白いことに、13.2.9は今やもう古いのです。私は14を持っていて、それははるかに良く、比較にならないほどです。
つまり完全自動運転は、彼が今から10年後に起こると予測したにもかかわらず、基本的に解決されたのです。だからこれらのことは、世界最高の科学者、世界最高の研究者、世界最高のエンジニアの一人であるアンドレイ・カルパシーでさえ理解できるよりもはるかに速く起こっているのです。だから私は、コンピュータの問題空間はかなり早く解決されると思います。知能のタイプは私たちとは根本的に異なるでしょうが、人間の言語の事前知識を持っているので、まだコミュニケーションできるでしょう。
しかし、自己複製機械のような時点に到達したとき、そこでシンギュラリティの予測不可能性が始まるのです。なぜなら今はまだある意味ですべてが予測可能だからです。今から2年後に何が起こるかを予測することはできません、それは確かです。
しかし今日、物事は予測可能です。来年、物事はある程度予測可能です。その次の年はそれほどではありません。そしてさらに先に行くと全く予測できません。しかし電子からロボットへの自己複製機械の能力を持つとすぐに、すべての賭けは無効になります。そのとき私たちは文明の次の段階に進み、それがどのように見えるかわかりません。
移行期間と文明の未来
しかし今のところ、自己複製機械の最初の兆候を得るまでには、少なくとも最低でも約10年、場合によっては20年あると思います。しかし確かなのは、これらの機械を手に入れたら、社会がそのようなものが広く普及することを許可するまでには時間がかかるということです。そして選択の余地がないかもしれません。
機械が即座に乗っ取るようなことが起こるかもしれません。しかし私はそれが起こるとは思いません。小さな兆候が現れて、人々はパニックになり、それをオフにしようとするでしょう。おそらく何か、時間がかかるだろうということだけは言えます。
おそらく最初の兆候を見てから、実際に普及し始めるまでにさらに10年かかるかもしれません。わかりません。明らかに、それはひどく間違っているかもしれません。しかしこれらが私が考えてきたことで、今日私たちができる最も重要なことは、実際にこの未来に向けて自分自身を位置づけることだと思います。なぜなら未来は素晴らしいものになると思いますが、移行は簡単ではないからです。
目標はイアン・バンクスのシリーズ、カルチャーシリーズからカルチャーに到達することです。カルチャーをネタバレしようとさえ思いません。なぜなら私は上手くできないからです。YouTubeでカルチャーシリーズに関する動画を探してください。シリーズ全体を何度も読んだ人々のかなり良い解説があります。だからそれをすることをお勧めします。
私もそれをやっています。またYouTubeでカルチャーのオーディオブックの無料版も見つけられます。私は時々それを聞いています。しかし最終的に私たちが行きたい場所はカルチャーシリーズだと思います。しかし今からそこまでの移行には長い時間がかかるでしょう。
少なくとも20年、おそらく30年、おそらく50年、正確にはわかりませんが、人々が思っているほど速くは起こらないでしょう。技術はそのようなことをするのに十分成熟するでしょうが、社会には多くの慣性があります。これは基本的に私に教えてくれます。そしてカルチャーは完全に間違っているかもしれません。それも私たちが認識しなければならないことです。ここでの多くの仮定は、私たちがあまり知らないことについてのものです。
だからそれを念頭に置いてください。しかし私が言うのは、今からそれまで、次の数十年、今は一生のように思えますが、おそらく私たちははるかに長い人生を持つでしょう。今からそれまで、物事は奇妙になるでしょう。物事は本当に速く変化し始めるでしょう。どの国も国家も政府も、これから起こることに準備ができているとは思いません。
実際に技術を構築している人々以外、どの企業も本当に気づいていないと思います。多くの人々は今私たちがどこにいるのか気づいていないと思います。しかし今私たちがどこにいるのか気づいている人々にとって、私たちの前には大きな機会があります。そして私たちは素晴らしいことができると思います。自分自身や家族や友人のためだけでなく、すべての人類文明、すべての社会、すべての人類のために。
価値創造と起業家精神
私たちはすべての人を助けるものを創造できます。起業家精神や資本主義などにアプローチする方法は2つあります。ゼロサムとしてアプローチし、自分のポケットを満たすために他の人から奪う手段としてアプローチできます。一部の人々はそのようにプレイします。または世界の残りの部分のために価値を創造する方法としてアプローチするか。そして私の意見では、それが最良のプレイ方法だと思います。
イーロンを見てください。イーロンには今多くのヘイターがいますが、イーロン・マスクについて多くの否定的な話があります。基本的に私に言わせれば、イーロン錯乱症候群の束にすぎません。しかしイーロンを見れば、地球上でイーロンほど人類のために多くの価値を創造した人間は一人もいません。今日生きている人間の中で、そうした人は一人もいません。比較にさえなりません。
今日生きているどの人間もそれと比較することはできません。気にしません、何を言おうと。地球上でイーロンについて最も錯乱した人でいられます。これは事実、測定可能な事実です。だから私は、次の文明の段階に到達するまでのこの時期に、私たちが目指すべきはそれだと思います。そしてそれがイーロンの全体的なことでもあります。
彼の考えは、そう、私たちはカルチャーに行く必要があるということです。私はそれが人類の未来にとって最良の可能性だと思います。彼は何度も何度もこれを言っています。強力なAIと人間との未来は、イアン・バンクスのカルチャーシリーズのようなものだと。そしてそれが彼の目標です。しかし彼はまた、そこに到達できるように文明の崩壊を防ぐ必要があることも認識しています。
まずそこに到達しなければなりません。それが全体のことです。それがホームストレッチです。ゼロサムでプレイしないでください。私たちは皆勝つことができます。パイが成長している限り、私たちは全員その一部を持つことができます。そして成長していません。政治的になろうとしているわけではありません。最近はすべてが政治的です。だから私がそうなのかもしれません。
しかし誰もが今資本主義を嫌っている理由、世界がこのように感じる理由は、イノベーションが不可能な過剰に規制された経済を持っているからです。したがってパイは成長できません。そして今、誰もその一部を持っていると感じません。何も速く成長していないので、すべてがゼロサムです。規制を緩和し、パイが成長することを許可し、人々がパイの一部を持つことを許可するとすぐに、すべてが良くなります。
他の人々の資産を取り上げてみんなに与えることで物事は良くなりません。それは物事を悪化させます。とにかくそれを言っておきます。ここでビデオを締めくくります。将来、起業家精神により焦点を当てたコンテンツをもっと作ります。この技術がどのように展開すると思うかについて、十分なビデオを作成したと思います。
まとめ:情報、問題空間、目標の枠組み
主にこのビデオですでに述べた主なことは、情報、問題空間、目標です。問題空間は、目標に到達しようとするときに情報に選択的圧力をかけ、それがモデルが持つ知能のタイプを創発させるのです。そしてそれがこの技術について考える良い枠組みだと思います。
そして再び、私たちは最初にコンピュータのループを閉じるつもりです。コンピュータは非常に早く、人間よりも上手に自分自身を使えるようになるでしょう。そして私たちはヒューマノイドロボティクスのループを閉じ始め、自己複製機械などを持つようになります。それはまだもう少し先のことです。
社会的シフトを得るまでには数十年あると私は思います。おそらくもっと少ないかもしれません。電子から自己複製機械まで、そのような規模で自己組み立てできるロボットを手に入れるまで約10年あると思います。おそらく約10年、もう少し長いかもしれませんし、もう少し短いかもしれません。正確にはわかりません。しかし今のところ私が知っているのは、私たちができる最良のことは、私たち全員のためのツールを構築することです。人類のためのツールを構築することです。
みんなを助けるものを構築することです。ゲームはゼロサムではありません。そしてそう思うなら、それは私たち全員が持つ未来の繁栄のために自分の足を撃っているだけです。今私たちができる最良のことは影響力を構築することです。そして私は、影響力とコミュニティは人間であることの一部にすぎないので、それは永久に常に価値があるものだと思います。
人類が絶滅しない限り、それらは常に価値があるでしょう。だから私はそれに本当に強く傾倒しています。だから私はこれらのビデオを作っています。だから私は無料でできるだけ多くの価値を提供したいのです。だから私はこれを見ているすべての人のためにツールを構築したいのです。私はあなた方のために構築しているツールと物を持っています。そして私はそれを可能な限り最も価値のあるものにしたいので、誰もがこの移行をできるだけスムーズに乗り切ることができます。
それが私の目標です。そして私たち全員が同様の目標を持つことができれば、あるいはあなたは私のような目標を持つ必要はありませんが、私たちがゼロサムではなく、人類の集合体がこの移行期を通過することを助ける目標を持つことができれば。私たちは互いにツールを構築します。互いに物を構築し、ゼロサムゲームをプレイしません。
私たちは全員をはるかに良くすることを可能にするゲームをプレイします。パイは成長しています。私たちは皆その一部を持つことができます。希少性マインドのクソ野郎になるな。豊富さのマインドセットを持ってください。失礼な言い方をしました。それを言って、ここでビデオを締めくくります。
コメント