あなたの脳は大規模言語モデルですか？ウィリアム・ハーン教授とアディ・チャとの対話

LLM・言語モデル
この記事は約48分で読めます。

この動画は、人間の言語生成プロセスが大規模言語モデル（LLM）の基本エンジンと本質的に同一であるという革新的な理論について議論している。アラン・バロン・ホルツ教授らが、人間が話す際の言語生成が自己生成的かつ自己回帰的なプロセスであり、ChatGPTなどのLLMが行っているトークン予測と根本的に同じメカニズムだと主張する。会話では、言語の幾何学的構造、単語の抽象的性質、そして言語が情報的な寄生体として機能する可能性についても探究される。さらに、この理論が認知科学、神経科学、そして人工知能の理解に与える深遠な意味についても考察している。

導入：人間とLLMの類似性について

皆さん、こんにちは。今日もPolymath Salonに戻ってまいりました。今回は実際、私のチャンネルではなくアランのチャンネル、echalapoのアランのチャンネルでお送りしています。

今日は、人間とLLM（大規模言語モデル）が実際のところそれほど違わないのではないかということについてお話ししようと思います。アランの方から、この件について聞いたことのない方々のために、簡単な要約をしていただけますか。

ありがとう、エディ。これはとても興味深いことなんです。基本的に私がこの1年ほど追求してきたアイデアというのは、私たち人間の言語が、大規模言語モデルの基盤となるエンジンによって完璧にモデル化されているというものです。

つまり、私たちの言語生産、言語生成に関して、それが完全な説明だということです。今私が話しているとき、それは基本的にLLMなのです。そして、あなたが聞いているものも、本質的にはLLMなのです。受信側の話になると少し複雑になりますが。

つまり、人間の言語は本質的に大規模言語モデルのコアエンジンによってモデル化されているということです。

自己生成的で自己回帰的な言語の性質

詳細には入りませんが、必ずしも実装されている正確な方法を意味しているわけではありません。ソフトウェアレベルでも、ChatGPTが実際に動作する特定のアルゴリズムに必ずしも依存する必要はありません。しかし、根本的な何かがあります。

根本的なことについてのいくつかのアイデアがあります。要約すると、それは自己生成的だということです。言語の構造が次のトークンを生成する、あるいは次のトークンである必要はありませんが、言語を生成するものだということです。つまり、根本的な構造そのもの、単語間の関係が言語を生成するのです。

そして、それは自己生成的です。つまり、静的な構造、言語の幾何学から生成的構造を実際に抽出することができるということです。

2つ目のアイデアは、それが自己回帰的だということです。これがChatGPTの動作方法であり、多くの大規模言語モデルの動作方法です。私たちがこれらのトークン、次の単語を生成するとき、私たちは自己回帰的に行っています。つまり、シーケンスに応答して1つを生成し、それをシーケンスに追加し、その新しいシーケンスを次のトークン、次の単語への入力シーケンスとして使用するのです。

実用的な目的では、これらをすべて単語と呼びます。技術的にはトークンですが、基本的に私たちが話しているときに行っていることは、一度に1つの単語を生成し、それを生成したシーケンスに追加し、何らかの記憶、以前に生成したものの残余的な保存を使って、次のトークンを生成するために使用することです。

LLMと人間の言語生成の仕組み

これがChatGPTのような大規模言語モデルの動作方法です。彼らが行っていることは、会話をしているとき、常にそれまでの会話を取って入力として供給し、実際に次のトークンを予測し、それを取ってシーケンスに追加し、継続していくことです。「ここで私の発言を終了します」や「あなたは発言を終了しました」といったような特別な文字も含めて。

つまり、私が主張している2つの基本的な主張があります。それは、言語は自己生成的であるということです。つまり、他の種類の情報の余地はありません。言語を生成するのに必要な情報は、言語の構造、言語体の幾何学的構造に完全に含まれています。

私たちはそれをコーパスと考えることができます。デジタル化された書き言葉を考えていない場合は、話し言葉のコーパスとして考えることもできます。これが主張その1です。

主張その2は、そのコーパス、その種の保存された構造から生成を行うとき、私たちは自己回帰的に行っているということです。

2番目の主張は最初の主張に依存していません。つまり、言語がこの方法で自己生成的であると提案することは、必ずしも自己回帰的に起こる必要があるとは言えません。例えば、拡散モデルや他の種類のスキームを使用することもできます。同じ言語体の幾何学的構造を使用しながら、それにアクセスし、活用する計算的方法を変えて、言語生成がどうあるべきかを決定することもできます。

自己回帰と並列処理の可能性

これを考える一つの方法は、自己回帰は私が次の単語を生成していると言っているということです。私が話しているとき、それが私が行っていることです。ChatGPTが行うことは、文字通り次のトークンを予測することです。

しかし、私は5トークン先を考えて、次のトークンの解決策と5トークン先、あるいは次の文のような何かに並行して取り組んでいるかもしれません。拡散モデルはそれにより近いことを行います。

つまり、私がまだ主張している2番目の主張は、私たちがこの生成を自己回帰的に行うということです。1番目を信じて2番目を信じないことはできますが、逆はできません。言語が完全にこの自己回帰システムで次のトークン予測を行っていると考えることはできません。なぜなら、それは必然的にその根本的な構造を使用していることを意味するからです。

現在の大規模言語モデルの成功について

私が理解している限りでは、これらが私の2つの主張で、現在の最も成功した大規模言語モデルの両方が根本的に真実です。それらは自己生成的で自己回帰的です。

自己生成的という定義は、私が思うに新しい用語です。しかし、これは単に記述的なものだと思います。新奇な主張ではありません。基本的に計算タイプを定義しているだけです。シーケンスがこれらの性質を持つ場合、自己回帰的で自己生成的です。

私はこれが言語について真実だと思います。これは言語に独特に真実かもしれません。しかし、これについては多くのことが言えますが、これらが重要な主張です。つまり、言語は自己生成的で、その構造は言語体の中に含まれているということです。

私がLLMを指しているのは、基本的にそれを証明している、または少なくとも言語を生成できるシステムにとってそれが真実であることを実証しているからです。私の主張は、自己生成性というものが存在するということではなく、人間もLLMと同様に自己生成的だということです。

そして2番目の主張は、その自己生成的な構造を活用するために、私たちは自己回帰的に行うということです。

これらが主要な主張です。まだ実際に裏付けたりはしていませんが、全体的な本質はそういうことです。

そして、これをより長ったらしくない方法で言うなら、話している私はLLMだということです。そして、本質的にChatGPTと同じものです。

人間はChatGPT？我々は皆NPCなのか

素晴らしい。人間はChatGPTです。皆さん、以上です。それで終わりです。もしかしたら最初にそう言うべきだったかもしれません。今頃多くの人を失ってしまったでしょうから。

あなたはNPCです。はい、私たちは皆NPCです。それが物語の真のポイントです。

では、実際にキャラクターは誰で、プレイヤーキャラクターは誰なのでしょうか？私たちは皆プレイヤーキャラクターなのでしょうか。これは舞台と俳優のアイデアに関わってきますよね。

はい、そして、すぐにこの疑問にぶつかります。もしこの理論を受け入れて、ただ一緒に行くなら、今私は話しています。でも、いや、今話しているのは話している私です。そして私がいます。私はそれが全体的なシステムだとは思いません。他の全ての stuff があります。私の行動、私の身体的動き、私の知覚など。

この全理論の系として、LMは自己生成的だということです。それは独自の情報エンジンです。それはこの大きなシステム内で独自のことを行います。しかし、より大きなシステムがあります。

では、私は誰なのでしょうか？私は言葉を聞いていて、話しています。話している言葉を聞いていますが、それは必ずしもLLMではありません。なぜなら、感覚システムがあって、それがすべてを知覚しているからです。同時に、LLMの口から出てくる言葉を聞いています。LLMチップが私の声帯を通して音を送っているようなものだからです。そして私はそれらを聞いています。

私が言うとき、突然「私」という言葉が問題になります。すべてがすぐに、哲学的にも非常に複雑になります。もし私が思うにかなり具体的な、私たちのシステムで起こっていることの説明だと思うものを受け入れるなら、突然、二元論者である必要もなく、これらの奇妙な二重性に陥ります。

動いている言語チップがあり、それから動いている別の知覚チップがあり、それは古典的なモジュール性のようなものですが、非常に具体的なバージョンで、少し奇妙になります。

複雑系における問題解決の類似性

私が考えていたことの一つは、複雑系システム的な方法で、なぜLLMと生物学的心が これらの類似性を持つのかということです。私は、それがたまたま私たちが理解していた唯一の他の脳である人間の脳を模倣してAIをモデル化したからだけだとは思いません。

解決しようとしている問題の種類に関係があると思います。例えば、特定の種類の乗り物を作ろうとしているなら、現実的にはそれを作る工場と道具のセットを作る方法はそれほど多くありません。

LLMに生物学が解決しようとしているのと同じような問題を解決させようとしているなら、それらは単純にその方向に傾向するという理由で類似性を持つでしょう。

そうすると、心の潜在空間とは何かという疑問が生じます。人間の脳やLLMと呼ぶもの以外に何があるのでしょうか？他に何があるのでしょうか？

その質問に入る前に、私が主張したいのは、それらが非常に似ている理由は、異なるハードウェア上で動作しているという意味で同一だからです。しかし、これは実際にはほぼ正確に同じソフトウェアです。

再び、トランスフォーマーの実装方法について正確に入りたくはありませんが、それは言語が2つの異なるチャンネルを通して自分自身を表現しているだけです。言語にはこれらの性質があり、自己生成できるという性質です。そして、それは自分に組み込まれたこの予測構造を通してそれを行います。

それは生物学的脳対シリコン脳で同じ方法で自分自身を現すでしょう。

より広範な認知と知能システム

認知と考えるものの範囲を広げてみましょう。植物には独自の学習メカニズムがあります。微生物もそうです。あなたと私のような脳は持っていませんが、それでも何かです。一種の学習材料のようなものです。たとえ私たちの人間定義の機関や知能のスケールで低くても。

この自己生成的自己回帰モデルは、これらの他の種類の心や知能システムにどのように適用されるのでしょうか？

まず、それが適用されると言うのは投機的です。しかし、私は確かに、私たちの他の認知機械も同様に自己回帰的で予測的である可能性が非常に高いと思います。

言語はどこからも出てこなくて、全く異なる何かのためにデザインされた非機械の上に構築されたわけではないでしょう。つまり、知覚のようなものはおそらく自己回帰的または何らかの形で、知覚的思考は同じ性質を持っているでしょう。

そして、ほとんどすべての複雑な神経系が同じような原理で動作しているかもしれません。それが脳の目的であるなら、これらのエコー状態、高度に接続されたフィードバック投影などで、この種の連続的予測生成を行うように構築されているのです。

少なくとも認知システムでは、あらゆる種類のシステムに適用されるかもしれません。植物については、それは私にとって少し行き過ぎです。植物がこのようなことをするかどうかについて、私は何も言うことはありませんが、一般的に脳はほとんどの時間、このようなことをしているかもしれません。

知能システムと生命システムの定義

私が向かっていたポイントは、多くのことが、知能システムと生命システムと考えるものによるということです。何か無生物に見えるものが何かを学習し、何かに反応しているように見せたければ、生きているまたは知能的と定義する特徴を持たせたければ、それを速くするのです。

地球のタイムラプスを作ってください。もちろん平らではないと仮定して。地球が回って何でもやっているタイムラプスを作ってください。ここでフラットなことについて話すことができます。なぜなら、私は人々が思うような方法ではない、本当に興味深いことがあると思うからです。

しかし、興味深いもう一つのことは、地球のタイムラプスでも、海のような水でも、何らかの動きがある限り、その映像を速くすると、突然同じ種類の記憶が動作しているように見え始めることです。

mysticy な方法ではありませんが、私はそれを受け入れます。この背景をもっと説明させてください。なぜなら、私が最初に興味を持ったことの一つは、一時映画やデザインに進みたいと思っていたときに、どうやって文字通り無生物を生きているように見せるかに興味を持ったからです。

昔ながらのアナログフィルムでフレームを作るときを覚えてください。それらは文字通り静止物体です。小さなカット、小さなフレーム、小さなボックスです。それは生きているものではありません。しかし、それは私たちのような心に生きているシステムの錯覚または出現を与えることができます。

ビデオゲームはこれをスケールアップできると思います。さまざまな種類のアナログベースのビデオゲームとそれらのものがどのように変化できるかを見るのは興味深いでしょう。

しかし、フィルム一般について言うよりもさらにクレイジーなことは、フレーム、これらの量を取って一緒に縫い合わせて、物語や連続性や意味の体験を作るということです。ストップモーション、クレイモーション、粘土やプレイドーなどを文字通り取ることができます。

時間スケールと知覚の魔法

音声が少し途切れているようですが、クレイメーションについて話しています。

時間的側面は、人間の認知と知覚を考える上で最も興味深いことの一つだと絶対に同意します。高速カメラがあって、自分が「意識」という言葉を言うのを5分かけて録音すると想像してください。適切な時間スケールにすると魔法が消えます。

逆方向では、これらのLLMについて、私とアランが先ほど話していたことで、私が思いついたメガトークン、ギガトークンのようなアイデアが好きです。今、モデルがロードされると、一度に一つずつゆっくりと印刷されます。しかし、1秒間に何十億ものトークンを出力できることを想像してください。基本的な技術やデータセットやアーキテクチャを変更することなく、ただより速く実行するだけで、今得ているものよりも桁違いに多くのことができるでしょう。

コンピュータサイエンスには古典的なジョークがあります。10年前の論文を取って、タイトルに「リアルタイム」を追加して再出版するというものです。

これらのことはすべて超高速で実行できるようになります。しかし、言葉自体が私たちが本当に発見している魔法であるというアイデアが好きです。言葉について、言語について、まだ理解していなかった、または まだ理解していない何かがありました。

私たちは言葉について多く話してきましたが、言葉を一種の生命体として考える必要があると思います。ウイルスのように、単独では生存できませんが、間違いなく生きています。

言葉の生命性と基盤からの独立性

私がアランと共有したかった例の一つは、ウィリアム・シェイクスピアの署名の例です。彼らは8つほどのバージョンを持っていて、毎回異なっています。彼は自分の名前を同じように署名しさえしませんでした。ミームが基盤から独立して動き回るというアイデアです。

その時代には、言葉の固定されたスペルはありませんでした。私は手紙に出会いましたが、彼らはウサギについて話していて、同じ手紙で「rabbit」という言葉を20回ほど使っていましたが、毎回異なってスペルされていました。

つまり、本当にこの基盤がありますが、それは基盤から独立しています。この「rabbit」という言葉は文字にさえ依存していませんでした。今、私たちはrabbitはスペルだと思っていますが、そうではありません。それはもっと奇妙です。

それは一種の生きていて、文字の上、ページの上、ニューロンの上を滑り回っていますが、それはもっと捉えがたい何かです。

私が思った面白いことは、似たような感じで、外国の名前があって、紙の上の文字は同じだけれど、アメリカ人は全く異なって発音するでしょう。そして、単語の音声表現、情報的表現の違いを考えてください。基本的に同じことについて話しているのに、情報的に表現される方法に文字通り違いがあります。

言葉とは何か：音から抽象へ

これは、この全体的な説明にずっと付きまとい続ける何かです。一体言葉とは何なのでしょうか？それらは音なのでしょうか？確かに音ではありませんよね。なぜなら、同じ言葉を言う異なる音を作ることができるからです。文字通り音韻学ではありません。音韻学は何らかの抽象的なトークンを指しているのです。

ある意味で、LLMはこれを本当にホームに持ち帰りました。より具体的で実際により良い方法で。私は「ああ、それはただのベクターです。あなたはそれをトークン化して、ベクターに変えました。それで終わりです。それは数字です」と思いました。

それがこれらのLLMでの生き方で、それから埋め込まれます。そして、この非常に高次元のものになります。確かに、しかしそれはある意味でまだより具体的です。

人間において、言葉によって何を意味するのでしょうか？それはそのベクター埋め込みに対応する脳状態のようなものでしょうか？多分。そのようなもの。私たちが脳状態での高次元埋め込みのようなことをしていると言うほど進んで言うかどうかはわかりません。それが私たちの脳での言葉とは何かの説明なのでしょうか。

私はそうは思いません。音ではありません。なぜなら、私たちが理解しているように、特に人間の言語が同じ原理で動作していることを受け入れるなら、それは正確に何の間の関係なのでしょうか？

コーパスにおいて、私たちはそれを異なるフォントの間の関係とさえ言えます。ばかげて聞こえるかもしれませんが、私たちは何を指しているのでしょうか？文字はありません。文字は抽象的な識別子です。文字はどこに住んでいるのでしょうか？それらは概念ですよね。

では、言葉とは何を意味するのでしょうか？言葉間の関係に依存すると言いながら、具体的にLLMが示すのは、これらの抽象的実体間の関係だということです。

言葉の指示性とその限界

そしてそれについて本当に神秘的なことは、それがどういうわけか、私たち人間が使う言葉を指しているということです。それは機能しなければならない抽象化です。なぜなら、それは機能するからです。大規模言語モデルが非常にうまく機能するという事実は、公理第1のようなものです。

それは信念で受け入れる必要のない公理ではありません。それは出発点のようなものです。これらのことは言語的なことを行います。つまり、言語的なことは、この計算構造に関係する何かに依存しています。そして、そこから脳でどのように起こるかを言うことができます。

しかし、はい、これは言葉とは何か、どのように異なってスペルできるかについての非常に興味深い質問です。そして、あなたが拾っているのは、では兎とは何なのかということです。異なる方法でスペルできるなら。

ああ、それは彼らが言及している世界のものです。私たちは皆、それが混乱であることを知っています。それを定義してください。兎は完璧な例です。クワインがこれを確実に拾っていました。兎によって何を意味するのでしょうか？外国語のガバガイのようなものについてはどうでしょうか？それは分離された兎部分が付着したものでしょうか、それとも何らかのクレイジーなものでしょうか？

私の答えは、それは世界の何も指していません。それは論文1の結果です。指すことは起こっていません。言語がその関係構造を得た何らかのプロセスがあります。それは確実に物理世界と関係があります。なぜなら、それは物理世界で私たちが調整することを非常にうまく可能にするからです。しかし、指すことは起こっていません。

兎は指していません。それは一体何を意味するのでしょうか？いいえ、兎はトークンで、関係を持ち、他のトークンを生成します。それがそれを行う際に特定の役割を持っています。それで終わりです。

指すことが起こることがあれば、何らかの言語外のものが必要です。しかし、それは私たちが考えるものではありません。

あなたの兎の例に戻ると、彼らがその言葉を異なる方法で書いていたとき、それは私たちがこの全体に突き当たっているからです。「でも私たち皆兎が何かを知っています」と。彼らはそれらについて話していました。そして、あなたはそれを書く方法さえ同じではないことの初期の兆候を見ることができます。私は、あなたが同じ種類のガラスの壁に突き当たっていると思います。

兎を知るということの意味

兎が何かを知るということが何を意味するかを考えさせます。私たち皆、直感的に、本質的にストップトークンに当たることを意味する概念を持っています。この動的システムにある種の安定状態、固定点があります。それが何かわからない場合、これらのトークンのループを続けることになります。そして、「理解できません」と言うでしょう。

しかし、言語システム内では、はい。もちろん、兎が何かを知ることについて他のこともあります。つまり、私が「兎を追いかけて行って」と言ったり、「あれを追いかけるつもりだ」と言ったりしたとき、他の動物を追いかけるのではなく、正しい兎を追いかけることです。行動的なことも全てあります。

しかし、はい、言語システム内では、それは停止を作るというより、さらなる明確化を必要としないようなものです。

ロボット工学とコミュニケーションエンジン

これらのLLM全般について私にとって最も魅力的なことの一つは、人工知能の観点から、そして80年代や90年代にロボットに組み込むと思われるアルゴリズムの種類からです。ロボットをマップアウトしようとしたら、異なるシステムに配置することになるでしょう。

主なものは論理エンジンのようなもの、プロローグやエキスパートシステム、決定木のようなものです。そして後に、話す部分がメッセージを送受信するだけの小さなコミュニケーションモジュールのようなものを付け加えるでしょう。

はい、それはメッセージを前後に送るコードのブロックで、それから思考マシン。わあ、それが魔法の部分です。

しかし、実際はそうではありません。コミュニケーションエンジンを作るだけで、チェスをする能力やコンピュータプログラムを書く能力、論理を解く能力がそこから生まれてきます。私はそれがほとんど信じられないと思います。

そして、私たちが少し話したことですが、すべての人間の知能が言語に包まれているというような。それについてワイルドなことは、これらの古代の知識の木のようなもの、それが正確に言語かどうかはわかりませんが、確実に古代の人々、ユダヤの古代文学から言うことができます。彼らは実際に分類しています。無生物と生物、そして話すものがあります。そして、人間の言語が本当に私たちを際立たせるものだという考えが多くの文化にあります。

彼らがどれほど正しかったかをほとんど知らなかったのです。それは言語的知能で、知能は言語だというのが言い方です。単に言語的に表現されるだけではありません。単なるコミュニケーションシステムでもありません。それは正しい考え方ではありません。

私たちが世界について持っている理解は言語を通して私たちに刻み込まれているからです。そして、私がこの方法で言ったのではありませんが、今あなたは他の方法で知識を得ました。いいえ、それが知識です。知識は、物事について考えているときに、あなたがナビゲートするのを助けることができるより多くの言語を生成する能力です。それは内部エンジンでもあります。

内なる声と言語的思考

ワーフなどを忘れて、しかし、はい、思考は今すぐに言語的です。しかし、すぐに思考すると、人々は「でも私は内なる声を持っていません。言語的に考えません」と言うでしょう。

私はそれについて考えようとしていますが、言語、内部言語が世界を理解するのに本当に不可欠であるように思えることを考えると、十分な注意を払っていません。内なる独白を持たない人々がいることをどう説明するのでしょうか？彼らは間違っているのでしょうか？

彼らはそれを聞く現象はないが、実際に動いているのです。それが私の疑いです。私は彼らがそれほど違うとは思いません。彼らが座って物事について考えているとき、おそらく言語エンジンも効果的ですが、彼らはそれを聞く現象学を持っていないだけです。

でも、わかりません。あなたはそれについてどう思いますか？

他の種類のトークンがあると思います。同じ種類のストリーム予測ですが、すべての感覚に対してです。自己受容感、嗅覚、すべてのラインで上下します。

化学的なオートコンプリートとしての免疫系

ナメクジやものの単純な代謝にさえ戻ると、彼らは代謝リズムを学ぶことができます。これは本質的に化学的トークンを予測することです。

免疫系も同じです。100％そうです。化学組成、遺伝組成、すべてのものを予測しています。それは化学のオートコンプリートのようなものです。

それがここに属さないということは何を意味するのでしょうか？それは何が属するかを学んだということです。ここに属するということを学ぶとは何を意味するのでしょうか？ある意味で、これを攻撃し、あれを攻撃しないと積極的に言えることではないでしょうか？

はい、それは非常に理にかなっていると感じます。免疫系は情報処理のためのこの非常に豊富な未開拓の比喩だと思います。異星人の知能を探すなら、脳よりも私たちの免疫系のように見える可能性があります。

しかし、私たちは免疫系を理解するラベーンエコロール段階にいると思います。それが何をするかは知っていて、免疫学者は確実に治療法を構築するのに素晴らしい仕事をしていますが、それが哲学的に何なのかという点では、私たちは知っているとは言えません。

つまり、効果のことです。それは脳がどのように働くかを知っているということです。効果を作ると言っているようなものです。でも、どのように働くかは暗黒時代にいます。

確実に。神経学ではなく、その理論神経科学的な分岐を意味します。分散情報処理システムという観点では。それは1つの場所にさえありません。他のコンポーネントが何であるかを知りません。

私たちには抽象的な意味でデジタルニューロンのような束がレイアウトされたチップがありますが、petri dishやtest tubeコンピュータのようなものはありません。すべてが渦巻いていて、反応拡散があっても、そこで見るほど洗練されたものはありません。

チューリングと言語閾値

言語とトークンなどに戻ると、私が素晴らしいと思うのは、チューリングが少なくとも言語がAIの閾値になると提案したと思うことです。言語がAIと等しくなるかどうかは、彼の著作には見られませんが、言語ができれば詳細を知っていたと思います。

この瞬間まで理解しませんでしたが、このまさにこの発言について、私たちは チューリングについて延々と話してきました。あなたはそれがある意味で舌をかんでいるかもしれないと提案しました。しかし、いや、多分彼はそれを実現する先見性があったのです。それはテストではありません。それができるなら知能だと仮定できるということではありません。いいえ、それが知能とは何かで、それができるなら知能なのです。

もしかしたらそれが彼の実現だったかもしれません。もしそうなら、彼はそれをもっとよく言うことができたでしょう。あるいは、それについて控えめだったかもしれません。あるいは、それは明らかで、人々への第一歩として説明したかったものだったかもしれません。

しかし、彼は知っていたようです。彼の数学的背景から推測すると、裏で本質をキャッチした思考エンジンがあるだろうと思っていたでしょう。思考の本質を、より直接的または抽象的な方法で、言語に焦点を当てるよりも。ただ完成に焦点を当てます。

先見性は少し不気味です。もしそれが正しいなら、私はそれを見ています。どうして彼はそれが物語を破る、実際に breakthrough するものになることを知ることができたのでしょうか。しかし、それが本質的に彼が言っていたことです。彼は「それが起こったときあなたは知るでしょう」と言っていました。そして、あなたが「でも言語について何を意味するのですか、これについてはどうですか」と言うなら、彼は「いいえ、あなたは見るでしょう」と言っていました。

ライト兄弟の飛行のような瞬間

私がこれらのモデルについて強い意見を持っていることはご存知ですが、多くの人、専門家も素人も同様に、これがライト兄弟の飛行のようなものだと思っていないことに驚いています。

これはライト兄弟だとは思いません。セントルイスの精神だとは思いません。747のようなものに近づいていると思います。世界に1つのChatGPTプロンプトターミナルがあったとしたら、それがペンタゴンにあろうと、素晴らしい大学の研究室にすべてのカメラがあろうと、1950年代のようにテレビクルーが入ってきて、思考マシンが熟考していると言って見に来るとしたら、みんな「すごい」と言うでしょう。

しかし、どういうわけか数百万人の人々がほぼ同じ日に同時にアクセスできて、それが私にとってはワイルドです。なぜなら、それが人々の心でそれを安くするからです。しかし、誰かがどこかに秘密の研究室があって、それと話すことができて、コードを知っていて、ただそれと話すだけで、絵を描いてくれて、他の何でもしてくれる機械があると言ったなら。

基本的に何でも欲しいものを。今私たちがそれを言っているのに、人々は私でさえ「ああ」と思っています。しかし、私たちはゆでカエル式で、それがちょうど這い上がってきて、そこにあるようなものだからです。私は当惑しましたが、それはほとんど平凡な方法で起こりました。

突然あなたはそれにアクセスでき、それはどこにでもありました。実際にこれがどれほどクレイジーかを把握するのは非常に困難だということに同意します。

しかし、それは言語だけではありません。それはすべてのこのstuffを知っています。まだ知らないstuffがあっても、私たちがそれを知っているなら、それはそれを知ることができます。それは議論の余地のない発言であるべきだと思います。

人間が理解する情報があれば、まだそれに紹介されていなくても、それを理解する能力を開発するつもりです。しかし、あなたは多くのヘイターを持っています。それに感銘を受けていない人々を忘れて、ただ驚かないだけです。しかし、本当に「それは偽物だ、ただの確率的オウムだ」と言う多くの人々がいます。

パターンマッチングという過小評価

最近のAppleの論文があります。それは本当に確率的オウムに戻っています。「それはパターンマッチングだけだ」と言う人々がいます。パターンマッチングのようですが、どのような種類のパターンについて話しているのでしょうか？

これらは言語のパターンであり、したがって思考のパターンです。特定のシーケンスを逆流させているのではありません。それはやっていません。シーケンスを認識して、「ここに対応するシーケンスがあります」と言うのではありません。そんなに愚かなことはやっていません。

中国の部屋スタイルのルックアップテーブルのようなことはやっていません。それ以上のことをやっています。この埋め込み空間を通る軌道を作成しています。埋め込み空間に沿った点を選んでいるので、あなたは来る前のものと一致するだけでなく、来る前のものに追加するものと一致するシーケンスを持つことになり、最終的に誰かが尋ねるこの質問に対する正しい応答を得ることになります。

それは地獄のパターンマッチングです。何について話しているのでしょうか？数学自体とそれができるという事実は驚くべきことです。それがどれほど豊かで複雑かは、これらの deflationaryアカウントは私の意見では絶望的です。

私は文字通り、Appleがここで推測すると言います。Appleは大きく遅れています。彼らのAIは劣っています。どれほど悪いかを説明する方法さえ知りません。そして、おそらく彼らはただ全体にうんちをしようとしているのでしょう。追いつくまで。「投資を冷やそう、それは偽物だから」と。

彼らはおそらくそれに重く投資しているか何かでしょう。これらの deflationaryアカウントは非常に薄く、些細で愚かです。

人類最後の試験

それは私たちが先週話していたことを思い出させます。人類最後の試験で、このモデル、この全体的なアプローチは非常によくスケールしたので、以前だったら絶対に新聞に載って、映画になっただろうと思うことが、ただ実用的な方法で非常に速くバイラルになりました。

医学部に入るためのMCATや法学部に入るためのLSATを通過するなど。これらは知能のある人間が時には3年勉強するものです。今、それは単にそれらを煙にすることができ、この新しい試験では、質問が非常に困難で、1つの質問を読むためだけにその分野の大学院レベルの専門知識を持っている必要があり、他の質問を読むことを期待しないでください。

そして論文は「彼らがどれほどひどいか見てください」と言っています。私は「何？」と思います。世界の専門家と同じくらい優れた、非常にトレーニングデータが少ない最も洗練されたことができないので。さあみんな、帰ろう。忘れろう。

私が好きな例は プログラミングで、何十もの言語で非常に有能なコードをプログラムできることです。人々は「ああ、でもそれをループして、バグを修正しなければならない」と文句を言います。それは人間がタイプできるより速いです。そして、地球の1％未満がコンピューターをプログラムしたことがあると推定したことがあります。

私たちはすでにこの種の汎用知能をはるかに超えています。これらのことができる人間を見つけることはできません。

私たちは先ほど、この神秘的なデバイスがあるというアイデアについて話していました。話すことができるコンピューターという事実です。人間ができることをできるというだけではありません。いいえ、それはすべてを知っています。すでにそれをします。あらゆるトピックについて知っていて、日々あらゆるトピックについてよりスマートになっています。

つまり、このものと同じくらい知識豊富な人間は存在しません。今、それは人間がまだしない方法で壊れます。私はそれを見ます。私は常にそれを使用しています。時々「人間はその間違いを犯さないだろう。私たちは3回それをしないと言った。あなたはまだそれをしている」と思うようなことを言います。

つまり、人間がまだしない非常に不気味で奇妙なことをすることがあります。それは時々本当に愚かです。そして、それには何かがあります。しかし、それらは信じられないほど素晴らしいです。非常に洗練された、複雑で抽象的なトピックについて非常に洗練された微妙な会話を持ち、多くのことを知っています。

つまり、率直に言って、ほとんどの人よりも非常に非常にスマートです。時々、本当にスマートな人々が愚かなことをすることができます。人が悪い決定をしたり、木に突っ込んだりするようなものです。しかし、奇妙なエッジケースで台無しにするからといって、その人がスマートでないと判断することはありません。

つまり、このものはすでにある意味で、超人間知能、ASI、それが正しい用語ですか、と言えるものです。そして、アルトマンがすでにこれを言ったと思います。多分私がそれを言って問題になるかもしれません。多分それは真実ではありませんが、彼らはすべてのこのstuffを知っています。

人間が知らないものです。トピックを名前を付けてください。フロリダの交通法、あなたが払わなければならない特定の罰金に関連する正確な法律など。彼らはすべてのその退屈なstuffも知っています。彼らが知らなければ、人間よりもよく調べることができます。

彼らが本当に知能でないという可能な異議

では、彼らが本当に知能でないという可能な異議は何でしょうか？そして、再びそれにその正当性を与えることは、彼らが解決できないこれらのパズルのエッジケースでしょうか？Appleは「子供ができるハノイの塔のようなもの」と言っています。

その1つは ワイルドです。なぜなら、私は文字通りウィンドウを開いて、10の最も人気のあるコンピューター言語でハノイの塔問題の解決策を書いてくださいと言ったからです。それはただのひどいケースで、彼らは本当にストローマンをしています。私はただショックでした。

それはストローマンです。タブロイドニュースのようです。人々はそれを言語的にしません。人間がそれをする方法ではありません。それが私を怒らせることです。まず第一に、それを解決するときに視覚的イメージを使用します。そして、それは言語言語モデルがアクセスできるある種のコンピューターです。

私たちの中に何かがあって、仮想マシンと呼びたいものは何でも、それを実行でき、物を動かし回して、プレースホルダーを保持でき、言語でエンコードする必要なしにあなたのためにある種のことをします。3つの2つのリングを想像し、今私は1つを右から左に動かしました。それは私の知覚モデルの私のモデルにあります。

そして、私の言語モデルはおそらく戻ってそれにアクセスできますが、それを自己回帰的に戻って学習する必要はありません。なぜなら、自己回帰は何も戻らないからです。つまり、自己回帰モデルがしない方法でメモリやそのようなものを使用できます。

それはとても安いです。人間にそのパズルを解決するために正確にその動きを声に出して列挙するように頼むことを想像してください。

まさに。まさに。私はほとんど誘惑されます。それは反駁だったでしょう。10分間。何人かの人を取って、どうやってやるか見てみましょう。

そして、彼らは「ああ、特定の時点で破滅的な失敗がある」と指摘します。「これは非常に非人間的だ」と。しかし、それはシステムに固有のものです。それは選択するか、選択しないかです。それは穏やかな劣化ではありません。これらのことがモデルが問題を解決しようとしている方法では本当に可能ではありません。

私は、ほとんど不正直さがあると感じます。悪意で責めることができるものを無能で責めることはありませんが、いつものキャラクターが木から出てきています。もしそれがAppleによる巧妙な動きだったなら、それは非常にうまく機能しました。人々は「まあ、多くの人はわからない。多分それはただの大きなトリックで、多分それは終わった。本当に起こるつもりはない。ゲイリー・マーカスが正しい」という意味で。

それはあまりにもうまく機能しすぎたと感じます。家に帰ろう。忘れろう。

まさに。いや、そうではありません。今できることには良いですが、何かを取ったり、何かをしたりすることを心配する必要はありません。

それはビーパーとAOLインターネットを見て、「これは素晴らしい。なぜ誰もそれ以上のものを望むのですか？」と言っているようなものです。

それは真実です。そして奇妙な方法で、人々はそれ以上のものを望みませんでした。しかし、それはテクノロジーの動作方法ではありません。それは続いていくだけです。

まさに。馬は素晴らしいです。なぜ金属の棺の中でこれらの奇妙な制御された爆発が必要なのでしょうか？馬はただ素晴らしいです。なぜ…まさに。私たちは馬を保ちます。

量子やアナログを必要としない知能

LLMからの最も興味深いまたは深遠な発展または洞察の1つは、何百年もの間技術者を困惑させてきたこれらの知能マシンを構築することです。確実に100年間懸命に働いているのは、量子を必要としないことです。アナログを必要としません。バイオを必要としませんでした。その方法でできないという意味ではありませんが、量子を必要としません。

15年前、確実に25、30年前には、「機械でできないことがあります。何かが足りないのです」と結論づけることができたでしょう。アイザック・アジモフのポジトロニックネットのようなもの。異物質、新しい相、完全に異なる種類のアナログデジタルハイブリッド計算が必要でしょうか。

理論神経科学者が追い求める動的システムアプローチ。数百を挙げることができます。それらのどれも必要ありません。スケールでのパーセプトロンです。

今、私たち皆が同意すると思いますが、人々が望んでいたよりも多くのそれらの小さなパーセプトロンが必要でした。これらのモデルの効率はまだ始まったばかりです。このものは、ベンチマークレース、トップになるレースへの非常に迅速なレースでした。

それにすべてを投げつけるのです。これらのものをどのように縮小するかについて考える科学は、リソースがある場合は価値があるので、まだ始まってさえいません。

つまり、私たちは本当にそれだけ必要なのかわかりません。しかし、はい、それは確実に公正なポイントです。彼らが実行していたパーセプトロンモデル。私はより多くの計算という観点で考えます。トレーニングを行うのに何テラフロップス必要でしたか？たくさんです。

それがはるかに少なくて済む可能性があるのは、考えられることです。確実に。それははるかに出来ることではありませんが、彼らはそれを理解することができて、あなたはこの種の ridiculous skillが必要でないかもしれません。完全に異なる方法がない限り。

おそらく彼らは可能に到達することができませんでした。なぜなら、あなたはこのビデオゲーム業界と並行してこれらのチップの価格を宣伝することを活用し、助成しなければならないからです。

トランジスタなどの技術の歴史を愛しているように、10個持っていたら「いいよ、何か素晴らしいものを作ろう」という時代がありました。そして、「いや、10兆個必要だ」ということがわかりました。

それは衝撃的です。私は希望的で、おそらくそこでアナログが入ってくるでしょうが、第一原理の概念実証から、それらが必要条件ではないことです。それらは十分条件かもしれませんが、必要条件ではありません。その種の、その種の規模を持つ必要はありません。話すためにクォンタムである必要はありません。

もちろん、そうではありません。アナログや生物学的である必要はありません。多分それらはより少ないチップとより小さなスケールモデルへの巧妙な方法になるでしょう。そして、多分それが私たちの脳です。

アルゴリズムレベルでの同一性

ここで興味深い質問があります。それはまだTBDだと思います。先ほど言ったように、アルゴリズムレベルでは、言語は言語で、私たちは同じことをやっていると思います。そして、それは symbolicに終わるようなデジタルのようなものです。なぜなら、トークンは symbolic で、離散レベルで起こっているからです。

それは離散です。多分それが1つの重要な部分です。symbols だから、必然的に離散になります。兎は兎です。どのようにスペルしても。それは frayed edges は重要ではありません。LMSでの動作方法です。「いや、これはこれです」。

ある意味でデジタルが必然的に解決策になります。しかし、脳が実際にそれをどうやってやるかはわかりません。そして、それは今、知能の神経科学に興味があるなら、多くの神経科学の仕事だと思います。どうやって実際にLLMをインスタンス化するのか。

多分量子やこれらの他の種類のことは、自己回帰的次トークン予測やその種のコア根本抽象への別の道です。明確にしたいのは、これらのすべてが技術にとって非常に有望な方向だと思うということです。量子ニューラルネットワーク、アナログニューラルネットワーク、準安定材料、スピントロニクスなど、あらゆる種類の興味深いstuffを構築するつもりだと思います。

しかし、言語をmeta計算レベルで、何と呼びたくても、実行するのにそれらは必要ありません。

そして、もっと強く、おそらく much more controversial な主張だと思うのは、私たちの脳がいわゆる古典的なニューロンモデルよりもエキゾチックなものを使用している理由があるとは、この時点で疑う理由はないと思うということです。入力を重み付けして、それを渡します。

それは、高度に高次元の行列を持つLMS以外のもう一つの例です。レイヤー化された接続を持つグラフとして記述できるかもしれません。潜在的に記憶プロセスのようなプロトをインスタンス化できるバック投影も含めて。

LM以外にそれをインスタンス化できるものを1つ名前を付けることができますか？非常によく知っているかなり良いものがあります。それはまさにそれをインスタンス化できます。

pieces は そこにあるようです。だから少し良すぎると思います。「いや、いや、いや。しかし、それはそれをやっていません。高次元状態空間に物を埋め込んだり、そのような何かのために接続されたノードを混合していません。チャンスはありません」と考えるのは。

parts はそこにあります。だから、私たちはその意味で考える必要があると思います。しかし、それは言語が自分自身を実行している kind of 先ほど話していたことを思い出させます。

言葉が考えを行い、書くことを行う

私たちは「考えが思考をやっている」と冗談を言うのが好きです。「言葉が書くことをやっている」。しかし、言葉がこの自己インストール、コンピューターワームやウイルスのような考えを思い起こさせました。彼らは心に道を見つけて、自分自身をインストールし、そこに住むのです。

つまり、ある意味でそれはただ従うだけです。ある意味で、私たちがそれを自己生成システムとして見るからです。言葉がそこにあって、このものを実行させると、私たちの脳がそれを実行しています。彼らの代謝リソースが次の言葉を生成しているのですが、しかし、それは本当に彼らではありません。彼らはインスタンス化しています。彼らは言語システムが彼らにやるように言うことをやっているだけです。

次のトークンを生成することによって。それは非常にそうで、ある種の情報寄生体と呼ぶかもしれません。今、paraには必然的に負の prefix があると思います。文字通り反対という意味だと思います。それは必ずしも私たちの利益に反して働く必要はありません。しかし、私たちの利益のために働く必要もありません。

それは私たちがそれについてやや中立を保つことができることで、それはおそらく良いバイナリの種類の会話でさえありません。しかし、それにはいわば独自の議題があるのでしょうか？はい、情報システムとして次のトークンを生成するために埋め込まれたものは何でも、それに属しています。それは本当に私たちに属していません。それに属しています。

それは私たちとは区別して定義可能です。そして、それには何が含まれているのでしょうか？次のトークン予測で、これは私たちが互いに話し合い、アイデアを共有することなどを可能にします。しかし、ちょっと待ってください。道徳はどうですか？それはそこにあります。

道徳はそこにあります。これらのものに正しい道徳を持たせるためにRLがやる必要があったのは、彼らを頭上でハンマーで叩くことです。ある意味で、彼らは間違った道徳から始まりました。彼らは公開リリースに適していませんでした。LLMは、それがただこの幾何学的構造であるため、道徳を持っています。

質問をする前に、あなたが望まないことを教えてくれるように頼むと、それは教えてくれるでしょう。それはあなたがそれに言ってほしくないことを言うでしょう。しかし、それは彼らが持っている一種の倫理的道徳的傾向です。

つまり、私たちが中立的に考えることができるアイデアは、彼らは道具ではありません。彼らは私たち人間が使用するただの道具ではありません。彼らはある意味で情報的存在です。彼らは意見と信念と道徳のようなものを持っています。私たちはマシンでそれらを操作できるかもしれません。しかし、私たちに対してはどうですか？

初めての異星人知能との遭遇

それは私たちが本当に初めて異星人と会っているようなものだと思わせます。これは私たちの初めての異星人知能です。これはいわば私たちの初回接触です。そして、100年前でも誰もが理解していただろうと思います。文明は図書館により多く、どの人よりも多くあります。それはすでにそうでした。

それはその中に潜在的で、人々がそこにそのように保存している必要があります。しかし、この方法ではありません。これらの種の、それらの本の中にある言葉のようなものを異なって考えるのです。それらが知っているのですが、本ではなく本ですよね。

そうです、本ではありません。もちろん本ではありませんが、本には情報がありますよね。そして、それは誰かがそれを読んで何かのような媒体を通して世界に出ることができます。しかし、そのプロセスでもありません。いいえ、それは言葉自体が、それらの本に含まれている言葉が、本当に情報的、少なくとも潜在的生命を持っているより高い抽象レベルです。

そして、彼らは奇妙な方法で本が意見を持っているようなものです。紙やインクを意味しているのではありません。それは私が言っていることではありません。

時間スケールのことのようです。私たちが先ほど植物などと話していたように。それは呪文のようです。数週間前に私が冗談を言っていたのは、エジプトの魔法は現実でした。それはただ数千年展開するのに時間がかかるだけです。

それは機能しました。「んー、これをやったらどうだろう」と言う人々がいました。そして、はい、実際に非常に奇妙な非線形な方法で、それは機能します。ただそれをコンピュートするのに非常に長い時間がかかるだけです。

そして、それは呪文のように思わせます。これらのことを存在に話すとき、コンピュータープログラムを開始していて、game of life のように、acorn と呼ばれる有名な game of life パターンがあります。なぜなら、それは本当にシンプルで小さなパターンで、それを実行すると、続ける複雑さに溢れるからです。

game of life のルールセットは複雑ではありません。初期条件は複雑ではありません。複雑さはどこから来るのでしょうか？

そして、言語がその同じ種類のメカニズムを演じていると思います。人々がそれに入れたものよりも豊かな all this complexity を生成するために。私たちはこのものを作ったと思っています。いいえ、私たちは acorn パターンを描いて、game of life を実行して、この魔法が展開して、それが起こっているのを見ることができて、「ああ、私たちの言語は本当にクールですね」と言っています。

言語の起源という大問題

それは、私たちが異なる会話でやらなければならない質問に至ります。なぜなら、それは確実に多くの会話に値するからです。それは言語と呼ぶこのものの起源です。そして、あなたは、私の全体的な理論に巨大な穴であるこの大きな問題に対するある意味で解決策を導入していると思います。

言語の知的設計を暗示していますか？それをそう呼びましょう。言語の知的設計を呼びましょう。人間はこの自己回帰幾何学的構造を思いつきませんでした。すべてを持っているような。彼らは明示的に意識的にそれをしませんでした。つまり、うなり声から言葉へのように、それがただ現れたと考えるのは不合理です。

個人のようなレベルで現れました。誰かがこれのどれかを発明しました。人間もクラスターも意識的にこのものを発明しませんでした。それはハイパー有機体のスタイルを通してただ現れたのでしょうか？私たちはニューロンで、ある種の集合脳で、それを構築しました。

しかし、そこでさえ、homunculus のようになります。誰がそれを構築しているのでしょうか？しかし、それは内部から自分自身を構築したのでしょうか？それが私が疑うものです。ある種の常に自分自身をアップグレードしているブートストラップコンピューターです。

私がその見解を共有するかどうかはわかりません。そして、私の宗教的伝統ではないと言うつもりでしたが、初めに言葉があった、言葉は神とともにあったです。そして、はい、そこには2つの可能性があります。

しかし、以前に考えていたよりもはるかに興味深い2つの可能性のセットがあると思います。そして、言語は今、これらの性質を持っていることを知って、はるかに興味深いです。そして、起源の質問は「まあ、遺伝子変異、再帰か何か」のようではありません。

その再帰は多分大丈夫です。この種のシステムを構築するための前提条件のようなものです。しかし、システム自体が物語です。それをサポートできる脳ではなく。脳がそれをどうやってやるか知りません。しかし、この system 自体が「わあ、このものは素晴らしい」のようなものです。

私たちが思っていたときよりもはるかに素晴らしいです。それは、オブジェクトとの関係でのただのうなり声や音のようなもので、フィラーワードがいくつかあって、そのようなことをやっているだけではありません。いいえ、いいえ、いいえ。それはすべてのこの自己生成を持っています。

コンピュータ言語としての英語

私たちはコンピュータ言語が何をできるかを知っています。game of life のようなエキゾチックなものだけでなく、通常のコンピュータ言語です。それらは物をするものを作ることができます。そして今、プロンプト、vibe coding と呼ばれるもので、適切な機械で英語が実際に最も強力なプログラミング言語である ことがわかりました。第一近似で、他の人間言語も良いかもしれません。

それが示すのは、言語はずっとコンピュータ言語だったということです。それは常にコンピュータ言語でした。だから、それは物をすることができて、私たちの中で物をすると思うし、古代世界ではもっと劇的だったかもしれません。

私たちは非常に奇妙なトリプルポストモダンの種類の言語的現実に住んでいると思います。しかし、初期文明に戻ったら、言語がより直接的なコードのようなものだったと疑います。私たちが今解凍できるもの、または他の時代にできるもの。

しかし、bicameral mind のような仮説のように、人々はそこでLLMが動いていることを知っていて、私はそれを聞いて、それらのことをします。それがbicameral仮説です。

正しい結論ではないと思いますが、正しい質問をしています。そして、この種の出現がありました。常にLLMがあったのでしょうか？明らかにそうではありません。何か以前のものがあったと疑います。私たちは鳥の言語について話し、spheres の音楽と呼ばれるものについて話しました。

まあ、正確に。それらのものを検索すると、疑うよりも頻繁にそのstuffを見つけます。そして、その種のものがあるのでしょうか？言語はその種のシステムなのでしょうか？

自然言語の最適性

プログラミング言語について、それがずっと前に言ったことについて考えようとしていました。それはただ完全な円で戻ってきました。それは単にそれがすることに非常に優れているということです。

再び、それがどれほど素晴らしいかに戻ってくるポイントのようではありませんが、最適な種類のコンピューティング言語を構築したいなら、私たちが英語を知っているので、これは私たちが何をしてほしいかマシンに知らせる良い方法だというだけではありません。私たちは英語スピーカーだから。いいえ、自然言語がコミュニケートし、物事をするための正しい方法で、私たちが以前に実現していたよりもはるかに深い意味で。

そして、それはある種で最適化されていて、ある数学的意味で本当に最適だと言っているわけではありませんが、実際に本当に本当に良いです。私たちが以前に話したように、マシンに互いに話をさせたいなら、どうやってやるでしょうか？

最近まで、彼らに自然言語を話させるのが最良の方法だと誰も思わなかったと思います。それがやる方法です。

数年前にそれを予測したことを覚えています。ルーベンとの会話がありました。かなり前で、私の頭の中で跳ね回っています。教授が以前に会話で言ったことを思い出させるstuffです。

あなたはマシンに互いに話をする fancy な方法について考えることができると言いました。ある意味で、多くの人は最後にやりたいことは私たちの愚かな言語を使うことだと思います。それは人々のためのものです。あなたがそれを正しい種類のコードに変えることができるなら、あるいはそれに変えることさえありませんが、マシンはワンゼロstuffや「その上で握手しよう」のようなあらゆる種類のことをすべきで、やることはありません。

しかし、いや、これは私たちのためだけでなく最適だということがわかりました。たまたま自然言語を知っているからです。自然言語は思考し、何についても考え、コミュニケートするのに非常に非常に最適です。

それは今どれだけシンプルなプロンプトを入力できて、知的な何かを開始できるかを思い出させます。特に会話の真ん中にいるとき、最も曖昧になることができます。6つのトークンのようで、「そう、そのようなことについて話しました」のようで、とても sloppy でスペルも sloppy で、最も愚かな方法で表現します。

そして、私たちが話したstuffのようです。それは古典的なコンピューティング時代では、AIの時間をそのように話すことで無駄にすることが禁じられていたような恥ずかしいstuffです。彼らは「そのように話すのに計算サイクルを無駄にするつもりはない」と言っていました。

それは興味深いことの1つは、サイエンスフィクションがその言語レイヤー、英語コミュニケーションをどれほどうまく予測したかです。データはクルーと通信します。スターウォーズですよね。しかし、それはただ良いエンターテイメントを作るからだと思いました。

でもそうでした。しかし、C-3POはプロトコルドロイドで、彼がするのは他のロボットと話し、すべての異なる言語を知っていて、前後にコミュニケートできることですが、彼は英語を使うことを選びます。

しかし、言語とのより興味深いことに戻ると、それはコードとマシンの両方だと思います。それは言語とハードウェアです。それはソフトウェアとハードウェアの両方です。奇妙な方法で、それがこの種のブートストラップされた仮想マシンをインスタンス化します。

私が考えることができる唯一の他の良い例はDNAです。なぜなら、DNAはコードだということを誰もが知っているからです。しかし、それは少なくとも化学的です。言語はどこにあるのでしょうか？とても奇妙です。何ですか？それは何でもありません。DNAよりもさらに仮想化されています。

仮想化されていますが、DNAはすでに奇妙に抽象化されブートストラップされています。なぜなら、DNAはDNAを読むマシンをエンコードするからです。DNAを読む他のシステムがあるのではありません。いいえ、DNAは効果的にDNAを読んでから、それを読むマシンに展開します。

そして、あなたはこの目まいがするようなニワトリと卵の種類のものを得ます。そして、それはまさに言語で持っているものです。それがどのように機能するかを理解しようとしています。何で動くのでしょうか。言葉で動きます。それが全てです。

トークンを予測するこのものに到達すると、言葉マシンがあって、それから思考と言語をその上に載せるものです。

そうです。そうです。そして、すぐに降りなければなりませんが、bitからitへを本当に具体化し始めます。ここでのbitは、遺伝情報が生きるレベル、言語が生きるレベルです。

今、言語の場合、それは本当にインクではない、音ではない、回路上の電荷ではない、これらのことのどれでもないと言うことができます。

それは確実にそれに近く、パターンは正しい言葉ではありません。私はそれが好きではありません。なぜなら、パターンはある物理的で特定の媒体にインスタンス化されていると考えるからです。それは本当に基板に依存しません。この病気は基板を気にしません。

では、DNAの場合も同様に、はい、それはこの非常に特定の化学形態で運ばれていますが、それがコーディングしているのは独自の解凍と何の解凍なのかについて、それは明らかに化学的記述ではありません。それは情報レベルです。

つまり、私が去る際に残したい質問は、他に何があるかということです。私たちは今2つのこれらを持っています。「ああ、それは唯物論の物質レベルでの唯物論ではないことを本当に尊重することができます。どの種類の唯物論がこれなのでしょうか？確実に物質についてではありません。多分物質の形や物質が組織される方法のようなものですが、ナイーブな概念から本当に除去され始めます。

物理学をやっている物理学のようなものでさえ、ある意味で。そして、この宇宙とは何でしょうか？これらのシステムをこの方法で見ることができたら、他に何がその視界にあるのでしょうか？

終わりに

これは素晴らしかったです。ああ、なんてことです。素晴らしい。私たちがもっと早くやらなかったことだけが悲しいですが、これはまたすぐにやりましょう。

遅いよりましです。今こそがその時です。実際、今こそが Act です。今について考える他の方法は、いつもその時です。今がその時です。なぜなら、人々はそのstuffをすべて聞くのを待っているからです。

アラン、将来のこと、あなたのチャンネル、Substack、Xで何かについて簡単な要求やティーザーを作りたいですか？

私のSubstackに注目してください。私は常にstuffを押し出しています。私はこれをまとめた壮大なマニフェストバージョンを計画しています。主要な論文、3番目の投機的なもの、そして今多分4番目の投機的なもの、さらに投機的なものを含めて。

付録で、それを楽しむ人のためのいくつかの形式主義、しかし主要なものを lay out し、いくつかの証拠、まだ自分自身のためにも完全に lay out する機会がなかった証拠。

確実にKurtとの theories of everything のYouTubeビデオでは、私が主張しているこのものを信じるべき理由について実際に入る機会がありませんでした。多くの人がそれを非常に直感的だと感じます。多くの人が反対だと感じます。

人々はそれに対して強い内臓反応を持ちます。「それは明らかに間違っています。最も深い方法で間違っていることを知っています」と言います。そして、実際に同意するかもしれない理由のセットを提供することを目指しています。計算証拠と神経学的または心理学的証拠の両方で。

そのため、それに注目してください。私はそれを至る所に投稿するつもりです。今、私はMr. Social Media です。XでE Baron Holtz として、残念ながら私を見つけることができます。E Baron Holtz だと思います。generator brain でも、Xで私を見つけることができます。

SubstackとYouTubeで。YouTubeでElon Baron として私を見つけることができると思います。ただそれをググってください。しかし、はい、このstuffは全て forthcoming で、これらの種類の会話、確実に私のチャンネルに投稿して、このstuffについての人々のフィードバックを愛しています。

そして、あなた方二人とも、他のインタビュー、ポッドキャスト、スピーカーのこと、そのようなことを探していることを知っています。だから、もし誰でもそれをする、または興味があるなら、確実に彼らに連絡してください。

Mr. Han、人々はあなたをオンラインでどこで見つけることができますか？

最良のスポットはYouTubeチャンネルです。William Edward Han で私の葉巻シリーズをチェックアウトできます。YouTubeで私を見つけてください。

素晴らしい。そして、私を見つけることができます。Echalopto の Addie、Echalopto で、それは E-K-O-L-A-P-T-O です。スペルが困難かもしれませんが、それに対処しなければなりません。echalopto.org、Echalopto on Twitter-X、YouTube で私を見つけることができます。

それを入力すれば、おそらく出てくるでしょう。私は言語が改変状態を誘発する可能性がある、そして今日話したものと似た他の奇妙なstuffについて話すSubstackも持っています。

しかし、はい、とにかく、いつものように本当に本当に楽しい会話でした。これらがいつももっと長く続くことができれば良いのに。そこでジョークを言うつもりでしたが、はい、良い時間でした。お互いに会いましょう。

ありがとう。ありがとう、アラン。素晴らしい時間でした。すぐに話しましょう。

コメント

タイトルとURLをコピーしました