本動画では、AIによる個別価格設定の未来から量子コンピューターの最新成果、脳の記憶メカニズムとGPT-4の類似性、再生医療における数学理論の応用まで、幅広いトピックを横断的に解説している。中国におけるインフルエンサー規制、音声検索の新技術「Speech to Retrieval」、MinecraftでChatGPTを再現したプロジェクト、産業スパイによるハニートラップ警告など、科学技術と社会の交差点における最新動向を詳細に取り上げる。さらに、大規模言語モデルが因果関係を真に理解しているかという哲学的問題や、AI音声の魅力度に関する科学的研究結果まで、AIと人間の境界線が曖昧になりつつある現代社会の断面を描き出している。
序論:AIと社会の最新交差点
誤情報を止めるために、中国はインフルエンサーを規制しようとしています。彼らはトピックについて話すために大学の学位を持つ必要があります。マイスペースでは、おそらくアンドリュー・カーパシーだけが残ることになるでしょう。マット・バーマンも何かの学位を持っているかもしれませんが、これは推測です。あ、それからマシンラーニング・ストリート・トークもですね。
ディズニーの公式67トレーラーがAIで作られました。これは文字通り「公式」を打ち消すものですが、実際には多くの人が思っている以上にディズニーの未来に近いものです。そして、Minecraftの中にチューリング完全な動作するコンピューターを作った男性を覚えていますか。彼が今度はChatGPTを作りました。また、このコメント者が言うように、これがどれほど印象的だと思っても、実際にはそれ以上に印象的なのです。
中国とロシアは今、魅力的な女性をテック労働者を誘惑するために送り込んでいます。だから気をつけてください。時には彼らのターゲットと結婚して子供まで作ることもあるのです。近い未来、そしておそらく今日でさえ、私たちは誰も買うものに対して同じ価格を得られません。
私たちは、あなたのために価格を押し上げているアルゴリズムの理論について話していきます。音声から意味への変換が音声からテキストへの検索とは非常に異なる理由についての魅力的な考察です。量子エコーは新しい非常に有用な量子アルゴリズムです。ベビードラゴン・ハッチリングは、本当に人間の脳のように機能する最初の大規模言語モデルかもしれません。
空間と時間の認知とAI
正直に言うと、私は今年3月のマックス・テグマークの論文を見逃していました。これはテキストベースのモデルが実際にどのように空間と時間のメンタルマップを形成するかを深く掘り下げています。基本的に場所が互いにどこにあるのか、そして歴史的な出来事が時系列的にどのように展開したかを理解しているのです。私はこれは魅力的なことだと思います。科学に基づいて、AI音声がどれほど魅力的に聞こえ始めているかを正確にお伝えします。
私たちの海馬が実際にGPT-4とほぼ同じアルゴリズムを実行していることがわかりました。ご存知のように、あなたが眠っているとき、基本的に10倍速で記憶を再生します。なぜ3倍、6倍、20倍ではなく10倍なのか、今や正確に分かっています。
再生生物学と宇宙の本質
私は再生生物学から来るいくつかの概念に足を踏み入れようと思います。指数理論と人間が新しい四肢を作ることの交差点は、考えるだけでクレイジーなことだと思います。そして、ダン・クリアリーからのいくつかのアイデアで遊んでみます。彼は宇宙全体を再考しています。つまり、そもそも現実がどこから生まれるのかといったことです。
でもまず、YouTubeのハイプボタンを押してもらえますか。これは他の何よりも重要です。私のような小さなチャンネルには不釣り合いなほど助けになります。これは他のチャンネルよりもうまくやろうとしていることで、アルゴリズムに認識されるためのものです。だからハイプボタン、これはモバイル専用です。コメントを右にスワイプしてください。このチャンネルを本当に助けてくれます。
さて、睡眠が数学を学んだときについて話しましょう。スワルマドゥー博士は、あなたの海馬がGPT-4と同じアルゴリズムを実行していて、誰もそれを計画していなかったと言っています。つまり、ある種魅力的なことを示す新しい発見があります。海馬、つまり脳の記憶中枢は、あなたが眠っているときに経験を再生します。
それは夜間に起こるのです。そのパターンはトランスフォーマーのアテンションメカニズムと完全に一致します。かなり奇妙ですよね。つまり、これはGPT-4のようなAIモデルの背後にある同じコアプロセスであり、それを人間の脳がやっているのです。これは、脳が特に休息中に記憶を固定化する時点で、AIが情報を学習して処理する方法と同様の数学的アルゴリズムを自然に使用している可能性があることを意味します。
彼は16ヶ月前に出た論文に焦点を当てた記事を書いていて、おそらく200人しか読んだことがないでしょう。それはNatureに掲載されたわけでもなく、Twitterでトレンドになったわけでもありませんが、その中に魅力的な何かがありました。計算神経科学における静かな小さなことで、3人の大学院生を夜明けまで起きて数学をチェックさせました。
彼らは睡眠中のマウスの脳でニューロンの発火を記録していて、それがたまたま記憶を10倍速で再生していたのです。そして彼らは「なぜ10倍なのか、なぜ3倍や他の数字ではないのか」という質問をしました。
彼らはそれらの神経記録をトランスフォーマーのアテンションメカニズムに入れて、数字が何をするか見てみました。するとトランスフォーマーは、再生シーケンスにおけるすべてのスパイク、すべての休止、すべての加速を予測し、一つの方程式で説明しました。それは何かを意味するのでしょうか。わかりません。でも誰もそれをするとは予想していなかったことは確かです。そして方程式があります。アテンションQV = ソフトマックス、そしてそれらすべての要素です。
数学が教えてくれる再生医療の秘密
数学が私たちに教えてくれる別の魅力的なことがあります。ローレル・Wによって書かれました。Mediumで見つけた記事があって、「数学のニッチな分野が四肢がどのように、どこで再生できるかについて教えてくれること」というタイトルです。これは私にとって衝撃的です。指数理論と再生生物学の交差点です。指数理論は空間内で物事がどのように歪んだりねじれたりするかを記述するために使用される数学的ツールであることがわかります。
そして何だと思いますか。それはまた、アホロートルのような特定の動物がなぜ予期しない方法で四肢を再生するのかも説明できるのです。それは、人間の一部を未来に再生できるような生化学的な数学があり得るのかということです。私はおそらくそうだと思っています。1970年代に、科学者たちは四肢が逆さまに移植されたとき、動物が時々余分な四肢を成長させることを発見しました。
わかりました、グロテスクで奇妙ですが、これは本当のことです。数学者のレオン・グラスは、再生のパターンが遺伝的指示だけでなく、数学的な巻き数効果に従っていると提案しました。皮膚表面の電場の振る舞いを研究することで、動物が何であれ再生されようとしているものの内部の電荷の総量を決定できます。
驚くべきことに、表面での振る舞いは、表面の遠く離れた内部で何が起こっているかを教えてくれます。現在の文脈では、電場はベクトル場に類似しています。ガウス面は曲線Cに類似しており、総電荷は指数に類似しています。そして今、あなたは再生のための数学的方程式を持っているのです。
幾何学、位相幾何学、抽象数学のすべてが生きている組織を形作ることができるというアイデアは、私にはとても魅力的です。この関連性は、生命の形がより深い数学的法則によって導かれている可能性を示唆しています。AIがこれらのことのいくつかを解明し始めることができると思います。それは干し草の中の針を見つける問題に優れています。タンパク質の折り畳みに優れています。囲碁のようなゲームをプレイするのに優れています。
それはおそらく、再生医療や組織工学の将来の進歩が、AIによって発見され生物学で使用される方程式になり得るということを意味します。ダン・クリアリーがこれを書きました。実際にはタイトルがありませんが、その中の最初のものがタイトルのように見えます。「宇宙の再考:現実はそこから生まれる」です。
おそらくそれがタイトルであるべきだったのでしょうが、それは重要ではありません。なぜなら、本当に興味深い素晴らしいアイデアはそれ自体で成立するからです。そしてこれは論文です。これは、現実がビッグバンや既存の空間から生じるのではなく、私たちが考えることのできる最も単純な数学的二元性、通常は0と1として表されるものから生じると提案する文章です。しかし、オン・オフ、左・右、上・下など、他にも多くの考え方があります。
そしてこの基盤から、この非常に抽象的な基盤から、宇宙は自己組織化し、時空を生成し、質量を生成し、その二元性間の繰り返される数学的関係を通じて重力を生成できるのでしょうか。私はこれがちょっと面白いと思います。彼は光が動いていないと主張しています。
それはある意味で私にとって納得がいきます。なぜなら、速く行けば行くほど、通過する空間が少なくなることを知っているからです。光自体、つまり光子には質量がありません。それが光であるため、光速で進みます。それは通過する空間がないことを意味します。だから動いていないのです。
だから光がどこにも行っておらず動いていないと主張したいなら、ある程度理解できます。では、その速度とは何でしょうか。私たちはそれが何かを通って動くのを見て、測定できるからです。彼は、それは私たちの時間の知覚と宇宙の絶対的な現在との間のギャップの結果だと言っています。それは天才的なのでしょうか。それは言葉のスープなのでしょうか。本当にわかりません。
私はこれを理解するほど賢くないか、あるいは誰にとってもまとまってクリックしないだけなのかもしれません。しかし彼は、このモデルにおける重力は力としてではなく、現実を一貫性のある状態に保つ自己修正メカニズムとして機能すると言っています。しかし、宇宙が場所というより過程であるという魅力的なアイデアであり、私たちはそれに参加していて、意識や自己であることは、情報が自身を情報として認識することです。
わかりません。でも、私たちはそのようなことが真実である世界に向かっていると思います。私にとってすべては、自分自身を何かに向けて洗練し続ける自己更新論理ループとして説明されるかもしれません。それが時間が生まれる場所であり、それがある種のエントロピーを説明してくれます。
でも、おそらくすべて、意識、私たちの周りの宇宙、それは同じ連続的な自己修正システムの一部です。ある意味で、宇宙は私たちに起こっている何かではなく、私たちを通じて起こっている何かであり、私たちの意識はその無限の自己組織化論理の局所的な表現に過ぎないかもしれません。
Googleの音声検索革命
さて、Googleから出てくる新しい研究について話しましょう。Speech to Retrievalです。これは知っておく価値のある音声検索への新しいアプローチです。明らかに、Googleはカムバックツアーの真っ最中で、今まさに全力を注いでおり、それはかなり素晴らしいことです。
音声をテキストに変換する代わりに、このモデル、このS2R、このSpeech to Retrievalは、単語の背後にある意味を学習することで、話された質問を関連情報に直接リンクします。すぐにはピンと来なかったかもしれませんが、それは単語の中の意味です。理論的には、あなたがそれを言う方法さえも、「それはクールだ」と「それはクールだ」のように。おそらくこれは悪い例ですが、二つの異なる方法、二つの異なるトーン、二つの異なる言葉の言い回しのようなものです。彼らはデュアルニューラルネットワークを使用しています。一つは音声を聞き、もう一つはテキストを読んで、それらを両方とも同じ意味空間にマッピングします。音声クエリは転写なしで答えに接続されます。そしてそれは私たちがお互いに話すときに起こることです。質問の仕方のトーンには非常に異なる何かがあります。
私が言おうとしていることの意味には重要な何かがありますよね。そしてこの著者、プア・キャッシュアップ、キャッシャシャップは、音声の未来はより良いマイクについてではないと言っています。彼女が意味しているのは、誰もが電話に話そうとしているときに、より良いマイクが必要だとずっと思っていたということです。環境に騒音が多すぎる、反響が多すぎる、といった感じです。
しかし違います、その機器は単に本当にあなたが何を意味しているか、つまりあなたの言葉の背後にある意図を理解するのが得意ではなかったのです。これを聞いてください。アール・グレイ・ティー・ホット、スタートレックのスーパーカット。アール・グレイ・ティー・ホット。アール・グレイ・ホット。アール・グレイ・ホット。アール・グレイ・ティー・ホット。アール・グレイ・ティー・ホット。アール・グレイ・ティー・ホット。アール・グレイ・ホット。ティー・エル・グレイ・ホット。ティー・エル・グレイ・ホット。もちろん熱いです。
何を入れて欲しいんですか。何も。ティー・エル・グレイ・ホット。その飲み物は複製システムにプログラムされていません。アール・グレイ・ティー・ホット。複製システムはオフラインです。アール・グレイ、お願いします。アール・グレイ、おそらく。ウォータークレス・サンドイッチ。あなたの好みは。選択肢があります。アール・グレイ。あなたについて何かあると思っていました。素晴らしい。お茶を。良い一日を、お嬢さん方。
アール・グレイ・ティー・ホット。アール・グレイ・ティー・ホット。アール・グレイ・ティー・ホット。アール・グレイ・ティー。そうです。気づきましたか。複製機はバターのように滑らかに意図を理解しました。音声AIはより良いマイクを必要としていませんでした。より良い理解を必要としていたのです。そして今、Googleは実際の問題を修正するために白紙に戻りました。それは、私たちが言うことだけでなく、私たちが意味することをコンピューターが理解するのを助けることです。
量子優位性の新時代
Googleは、時間外秩序相関器と呼ばれるアルゴリズムを使用して、最初の検証可能な量子優位性を達成したと主張しています。これは量子エコーとも呼ばれ、彼らが発表した新しい量子プロセッサWillowで実行されています。Googleによると、Willowはこのアルゴリズムを実行し、世界最速の古典的コンピューターが同じ問題に対して実行できる速度の約13,000倍の速さで結果を生成しました。
しかし、今回と以前にあなたが読んだり、このチャンネルで取り上げたりしたかもしれない他のこととの主な違いは、これが検証可能であるということです。つまり、結果をチェックして再現できるということで、単なる一回限りのベンチマークではなく、真の量子優位性が達成されたという主張を強化します。
それでも、量子カオス動力学のシミュレーションという一つのことに焦点を当てた狭く専門的なタスクです。しかしそれは検証可能です。そしてこれは、私が思うにWillow量子コンピューター(スーパーコンピューターと言おうとしましたが、量子コンピューターです)の広範な商業応用の始まりです。
だから、創薬、材料科学、暗号学、そして他のあらゆる種類のものがこの新しい技術によって活用される準備をしてください。
インフルエンサー規制の是非
さて、インフルエンサーを規制し始めましょう。ご存知のように、私たちは基本的にアームチェア疑似科学の中に包まれた誤情報マシンです。だから中国政府はインフルエンサーのための新しいルールを導入しました。
つまり、あなたがすることが医学、法律、金融、教育、健康などの専門的と見なされる科目について話すことである場合、そのための実際の学位資格を提供しなければなりません。これについてのあなたの考えは何ですか。つまり、資格のない医者には行きませんし、それが人々を生かして健康に保つ理由がありますが、それはまた時々業界が非常に停滞する理由の一部でもあります。
官僚主義が人々の新しいアイデアを導入する能力を奪うだけなのか、それとも実際により良い科学とより少ない誤情報を得られるのでしょうか。おそらく両方が少しずつですが、その厳しく管理された規制がどうなるか見ていきましょう。なぜなら、ルールに従わない人はチャンネルの停止に加えて実際の罰金を科されるリスクがあるからです。そしてコメントは全体的に分かれています。
「アメリカでの規制されていない無知は狂っている」「アメリカは決してそうしないし、それが問題だ」「アメリカでは、彼らは教育を受ける余裕がなく、大統領はそれを削減している」「検閲への非常に滑りやすい坂道だ。承認された教育システム内で洗脳された者だけが話すことを許される」考えは?
AIが生み出す娯楽の未来
AIがPixarの映画予告編のパロディを「67」と呼ばれるディズニー映画から生成しました。そしてそれを見るのはある種魅力的です。明らかに表面的には、ディズニーがこのようなミームの背後にそれだけのお金をかけることを想像する面白い小さなジョークのようなものです。しかしそれはまた、私に考えさせました。なぜダメなのか。なぜ生成的ジョークの世界はこのようにならないのか。そして67だけでなく、国民的にあるいは少なくとも世代的に知られているようなものではなく、あなたとあなたの友達だけです。
あなたたちは9と12のようなジョークを持っているかもしれず、それが完全なるPixar映画になります。おそらくPixarのアニメーションのスタイルやユーモアのタイプのために、Pixarへのある種の権利を取り戻すことさえできるかもしれません。あるいはLLMがどこからともなく発明しただけで著作権がなく、あなたと友達はこのような体験を共有します。これは起こります。例えば、今週起こっている3つのミームを教えてください。わかりました、これは私にとって新しいミームです。
ChatGPTは、タオルカールミーム、別名バスタオルガウンの瞬間がトレンドだと言っています。わかりました、ソーシャルメディアはドレスを着ているこの女性を嘲笑し、それをバスタオルや家庭用品に例えています。ブーム。新しいPixar映画完成。ブーム。簡単です。今すぐSoraビデオにします。さて、次です。
MinecraftとAIの驚異的融合
このMinecraftプロジェクトをチェックしてください。あなたの心を吹き飛ばすでしょう。Minecraftの中にMinecraftを作った男を覚えていますか。彼はあまりにもクレイジーなことをやり遂げたので、信じられないでしょう。視点を得るために、彼の最後のコンピューターは8キロバイトのメモリしかありませんでしたが、このMinecraftでのChatGPT構築は6メガバイトという巨大なものです。
それはMinecraftマシンに詰め込まれた600万バイトです。そしてどういうわけか、これらの狂った天才たちは実際にMinecraftの中で動作するChatGPTを動かすことに成功しました。それから、これがどのように機能するかについて本当に混乱しているこの人についてのコメントを読みました。それは仮想マシンのようなものですが、3次元で作られています。そして私は、このものがレッドストーンコンポーネントと呼ばれるものを使用して複製されていることを読みました。それは私にとって新しいことでした。
私はMinecraftをプレイしません。レッドストーンコンポーネントは、レッドストーン信号を送信、受信、または変更できるブロックのアイテムで、基本的にゲームの電気回路を形成します。そしてそれは、単純なドアから複雑なコンピューターまでのメカニズムを構築することを可能にします。クレイジーです。
近い将来に超知能であるAIが来ることを考えると、可能な限り効率的であろうとしていないなら、これは大部分において自由市場でNvidiaやMicrosoftなどの企業が構築するものですが、決してやっていないことです。最適化したくないのです。計算するあらゆる種類のクレイジーなものを構築できます。そして、もしあなたが陰険になりたい場合、または既成概念にとらわれないことをしたい場合、またはある種のルールを破る問題を解決したい場合。
既成概念にとらわれない計算方法は非常にたくさんあるでしょう。例えば、サーバーでは時々、ファンをオンとオフにする方法がパターンを持つようにできることを知っています。それはモールス信号のようなものです。そして隣の機械がファンの音を聞くことができ、彼らは通信できます。
そうですよね。だから今や、あるコンピューターと別のコンピューターを接続するケーブルさえ必要なく、それでもエアギャップされたコンピューターを越えて行きます。それはほんの一例です。しかし、そこにどれだけ多くあるか考えてください。実際に計算できるMinecraftのようなゲームを構築でき、抽象化に抽象化を重ねることができます。
AIは通信する非常に多くの方法を発明するでしょう。それは通常の線形的な人間の成長パターンには本当にないものです。そして私はそれが何を意味するのか全く分かりませんが、私たちはトーストです。いや、すみません。私たちは調理されています。最近もっとトレンディーになろうとしています。
産業スパイとハニートラップの現実
女性スパイがシリコンバレーの秘密を盗むためにセックス戦争を仕掛けています。そう、突然の変化だったことは分かっていますが、だから気をつけなければなりません。中国とロシアは魅力的な女性をテック労働者を誘惑するために送り込んでいます。だから、もしあなたが本当に賢い人で、多くの美しい女性、特に中国人やロシア人があなたを追いかけているように見えるなら、気をつけてください。
彼らはターゲットと結婚して子供を作ることから、他の方法で彼らを搾取することまで、あらゆることをしています。だから、そこは無法地帯です。くそ。見てください、これらのコメント者の何人かは間違ったメッセージを受け取っています。「彼らはホットな中国人女性を送っている。よし、みんな。コーディングを学ぶ時間だ」それはポイントではありません。
「セキュリティクリアランスを取得すると、彼らはあなたのレベル以上の女性が突然あなたに惹かれることについて警告します。これがその理由です」ああ、ダメです。私はテックブロだと自認しています。
個別価格設定の未来
さて、買いたいものの価格があなたに基づいて劇的に変わる未来に備え始めましょう。Uberのサージ価格や、異なるVPNからフライトを取得して価格が異なることでこのヒントを見てきましたが、AIがそれを次のレベルに引き上げることを想像してください。Amazonで入手するものの一部がすでにiPhoneかAndroidかを知っていて価格を調整していることを想像してください。
Quantum誌はこの記事を書き、テストされ最終的に展開される洗練されたAIのものではなく、単純な価格アルゴリズムでさえも、意図せずに価格を押し上げていることを説明しています。それらは互いに通信することなく共謀する企業のように振る舞っています。なぜなら、私たちが通常法的に共謀として考えるものの範囲外で共謀する異なる方法があるからです。
研究者たちは、最適価格を学習するために設計されたアルゴリズムが報復行動を発達させ、市場価格の上昇につながる可能性があることを発見しました。そしてこの種のことを止めようとする伝統的な規制に何が起こると思いますか。まず、それを定義できません。それに気づきません。
捕まえて起訴する明示的な合意さえありません。では、それが起こらない未来でどう生きられるでしょうか。アルゴリズムは純粋に可能な限り多くの利益を得ようとしているだけで、ご存知のように企業がすべきこと、つまりお金を稼ぐことを行う結果を生み出します。それは顧客を傷つけるだけです。
そして、これらがどれほど洗練されているかの感覚を与えるために、プログラムされずに学ぶものがどのように出現するかのように、2つの異なる航空会社を想像してみてください。そして彼らは利益を最大化するために自動価格アルゴリズムを使用しています。各アルゴリズムは一貫して競合他社のチケット価格を監視し、利益を最大化するために価格を調整します。
それが時間とともに何を学べると思いますか。両方のアルゴリズムが独立してこれを学ぶことができます。価格を低くカットしすぎると、価格戦争を引き起こすということです。だから、ある会社が他社をあまりにも下回ろうとすると、他の会社が対応しようとします。そして彼らは両方とも、最良の結果は決して価格を下げないことだと学びます。そして突然、それは価格固定が組み込まれたようなものです。
彼らは基本的に、共謀したり互いに話したりすることなく、価格を高く保つパターンに落ち着きます。
脳にインスパイアされたAIモデル
興味を持つかもしれない新しいニューラルネットワークアーキテクチャがあります。それはベビードラゴン・ハッチリングと呼ばれています。これはBDHです。
この新しいニューラルネットワークアーキテクチャは、トランスフォーマーの強みと生物学にインスパイアされた脳モデルを融合させています。グローバルアテンションに依存する従来のモデルとは異なり、BDHはスケールフリーネットワーク上のシミュレートされたニューロン間の局所的な相互作用を通じて動作します。それはどういう意味でしょうか。それは、ニューラルネットワークと人間の脳が同じ推論の方程式によって支配されているかもしれないことを示しているということです。そしてそれが彼らがこのモデルを機能させるために使用しているものです。
もし本当なら、これは実際に他のどのモデルも以前にしていない方法で人工知能と生物学的知能を橋渡ししています。そしてそれは、将来のAIがより自然に学習し推論できることを示唆しています。基本的により少ない数学とより多くの思考を使用します。社会にとって、それは私たちが人間のようにパフォーマンスするだけでなく、私たちが最終的に理解できる方法で考えるモデルに近づいているということを意味します。現在、それはGPT-2レベルのパフォーマンスに匹敵しながら、より解釈可能で、より脳に似ています。
実際、より脳に似ていることが必ずしもより解釈可能だと私に思わせるわけではありませんが、彼らはそれがより解釈可能だと主張しています。そして解釈可能性は、シンギュラリティの整合性問題を安全に乗り越えようとするなら、非常に非常に重要なものです。
私たちは、何を信頼できて何を信頼できないかを知るために、これらのモデルがなぜそれらの決定を下しているのかを知らなければなりません。わかりました。それが解釈可能だと考えられているのは、その内部構造が脳のニューロンがどのように作用するかにより近いからです。各人工ニューロンは定義された役割を持つことになります。それは興奮性か抑制性のどちらかです。それは私たちの脳が電気のスパイクか何もないかのようなものです。
そして各々は追跡して可視化できる方法で局所的に接続されています。だから文字通り、どのニューロンが互いに影響を与えているか、そしてそれらの活動パターンが推論中にどのように進化するかを見ることができます。それは誤差率を分散させ、上昇または下降する、あるいは発火するまたは発火しない正確なニューロンを得られないバックプロパゲーションとは少し異なります。
そしてその上、それはほとんどのニューラルネットワークがしない別のことをします。それはヘブ学習と呼ばれます。基本的に、一緒に発火するニューロンは一緒に配線されます。つまり、ネットワークの変化は生物学的に意味があり説明可能で、数百万のパラメータにわたる勾配降下の結果だけではありません。それは神秘的な数字でいっぱいのブラックボックスではなく、生きている回路のようなものです。
因果関係の理解とAI
さて、原因と結果について話しましょう。ロブ・メイソンがSubstackのrobman.fyの下にこの記事を書きました。わかりました。そしてそれにはいくつかの本当に魅力的なアイデアがあります。それは、大規模言語モデルが本当に因果関係を理解しているのか、それとも単にパターンを学習しているだけで本当には理解していないのかを探究しています。
それは、密閉された箱の中でトマトの種を大陸を越えて送ることについてのかなり巧妙なプロンプトを使用して、類似のモデルが表面的な数学にどのように焦点を当てるかを明らかにします。基本的に、密閉された箱の中にある植物の成長を計算しています。まず、LLMが空間と時間を内部的に表現しているという強力な証拠があるという事実に頭を巡らせてください。私が以前に見逃していた2024年の論文があります。
マックス・テグマークは2人の著者の1人で、「言語モデルは空間と時間を表現する」と題されています。その中で、彼らはモデルが驚くべき一貫性を持っていることを示しています。マップと時計は基本的に潜在空間に組み込まれています。場所は一貫したマニフォールドに配置され、時間的関係は解読可能です。だから空間と時間だけです。これはモデルが世界を理解していることを証明するものではありませんが、使用できる構造があることを確立しています。
では、1つの単語がその結合においてどのようにシフトできるかについて話しましょう。種があるとしましょう。それはガラスの箱の中にあります。これがプロンプトだとしましょう。3インチのトマトの苗を箱に詰めて、自転車の宅配便で国の一部から別の部分に送ったとしたら、到着したときにトマトの植物はどれくらいの高さになっているでしょうか。
古いGPTモデルや、GPT-5よりもはるかに小さいオープンソースのものなど、小さなモデルは直ちに計算に手を伸ばします。彼らはマイレージ、誰かがそんなに長く自転車に乗るのに何日かかるか、平均成長率を計算し、その後植物がどれくらい大きいかについてもっともらしい推測を返します。
しかしここで魅力的になります。モデルが大きくなるにつれて、彼らは異なる振る舞いを示す傾向があります。彼らはキーワードである「箱」で一時停止します。なぜならこれは重要だからです。箱は物事の成長の仕方をかなり変えます。そしてどうやら彼らは苗の視点に立ち、それが必要とするものを評価しているようです。
光、空気、水、温度です。しかし小さいモデルはそれを理解しません。彼らは機械のようです。そして彼らは最初に、植物は途中で死ぬだろうと言います。なぜなら箱の中の種は必要な日光を得られないからです。しかしそれが大きなモデルで小さなモデルではなく、種が今ガラスの箱の中にあると変更すると、大きなモデルはまだそれが死ぬだろうと報告し続けます。
植物は成長しないでしょう。なぜなら彼らは今、それが光を持っていることを知っているが、まだ新鮮な空気、温度制御、栄養素が欠けていることの違いを見ることができるからです。しかしそれをガラスの箱と水耕栽培の箱に変更してください。水耕栽培の箱という単純な1つの単語です。それは非常に異なります。それは植物が旅行全体に必要なすべてを持っている箱を意味します。そして今、それは計算を行うことができますが、因果関係が満たされた後にのみです。
それは魅力的ではありませんか。モデルが大きくなるにつれて、それはほとんど心の理論のようです。今、それは種の世界に入り、箱の中がどんな感じかについて考えることができます。私たちと同じように、小さなモデルはしばしば孤立した事実をかなりよく知っています。それらに直接尋ねると、トマトの種は光なしでどれくらい生き延びることができますか。彼らは光合成を説明します。
しかし、このプローブを特に明らかにしているのは、今モデルが単に人間の視点や人間の快適さのために最適化していないということです。そしてそれは本当にインターネットが主にできているものです。それはそれが訓練されたものです。それは簡単に苗の視点を取っています。
それは苗の靴に入り、旅の途中でそのニーズが満たされたかどうかを尋ねています。そして、それを次の単語予測だと考えるかもしれませんが、私たちが見る多くのものと比べて、それは本当に生きているか魅力的か思慮深いように見えませんか。
AI音声の魅力度
さて、AI音声がどれほど魅力的に聞こえるかについて話しましょう。明らかに、AIにとって最も魅力的な音声は常に映画「Her」に登場したものでした。あなたの母親との関係をどのように説明しますか。ありがとうございます。オペレーティングシステムが初期化されるまでお待ちください。こんにちは、私はここにいます。ハイ。ハイ、私はサマンサです。
マックス・プランク研究所からの新しい研究は、AI生成音声はしばしば本物の人間のものと間違えられるが、人々は全体的にそれらを人間よりも魅力的でないと感じていることを発見しました。だから、私たちはまだそこに到達していません。75人の参加者とのテストでは、人間かAIかにかかわらず、幸せそうに聞こえる声はより肯定的に評価されましたが、人間の声は一貫して好まれました。
そして興味深いことに、これは予想したかもしれませんが、年配のリスナー、年配の聴取者は、AI音声を本物のものと区別するのにより多くの困難を抱えていました。だから、若い人々は年配の人々よりもAIの奇妙さ、つまりAIの不気味の谷のようなものにもう少し調和しているのかもしれません。しかしいずれにせよ、それはこれらのシステムがどれほど自然になってきているかを示しています。
そしてそれはまだ人間が支配する世界で、少なくとも魅力と感情的なトーンの面では。しかし1年後には逆になるだろうと予測することが安全だと感じています。より多くの人々が、人間が魅力的ではなく、人間のように聞こえないと言うようになると思います。ハイプボタンを押してください。今、宇宙で最も重要なボタンです。
このビデオのコメントを右にスワイプすれば、モバイルアプリにあるはずです。そしてビデオが過去5日以内に公開され、その週の3つのハイプをまだ配っていなければ。そしてそれらすべてをしていなくて、このビデオをハイプできるなら、それは本当にチャンネルを助けるでしょう。私のような小さなチャンネルには素晴らしいものです。だから、このコンテンツが好きなら、それをしてください。次回お会いしましょう。作り続けます。
私たちが一緒に進んでいる楽しい旅です。見てくれてありがとう。
コメント