本動画は、AIと機械学習の最新動向を幅広く取り上げた内容である。中国によるインフルエンサー規制、DisneyのAI生成トレーラー、MinecraftでのChatGPT構築など話題は多岐にわたる。特に注目すべきは、人間の海馬が睡眠中に実行するアルゴリズムがGPT-4のトランスフォーマーと酷似しているという神経科学の発見、Googleの音声検索における意味理解への転換、量子コンピュータWillowによる検証可能な量子優位性の達成などである。また、AIによる価格設定アルゴリズムが意図せず価格カルテルのような振る舞いをする問題、人間の脳を模倣した新しいニューラルネットワークアーキテクチャBaby Dragon Hatchling、大規模言語モデルが因果関係を理解しているかを検証する興味深い実験なども紹介されている。さらに再生生物学における数学的法則、宇宙の本質に関する哲学的考察まで、AI技術の進化が科学の様々な分野に与える影響を包括的に論じている。
はじめに
誤情報を止めるために、中国はインフルエンサーの規制を検討しています。トピックについて話すには大学の学位が必要になるんです。MySpaceだったら、アンドリュー・カーパシーだけが残るんじゃないかって思いますよね。マット・バーマンも何かの学位は持っているかもしれませんが、これは推測です。あ、それとMachine Learning Street Talkもですね。
DisneyのAI生成による公式の67トレーラー、文字通り「公式」を取り消してしまうものですが、実は多くの人が考えているよりもDisneyの未来に近いものだと思います。それから、Minecraft内部で完全に動作するチューリング完全なコンピュータを構築したあの人のこと、覚えていますか。彼は今、ChatGPTを構築したんです。それと、このコメント投稿者が言っているように、これがどれほど印象的だと思っていても、実際にはそれ以上に印象的なんです。
中国とロシアは今、魅力的な女性たちをテック業界の労働者を誘惑するために送り込んでいます。だから気をつけてください。時にはターゲットと結婚して子供まで作ることもあるんです。近い将来、もしかすると今日でさえ、私たちの誰もが自分の買うものに対して同じ価格を得られるわけではありません。
価格アルゴリズムと意味理解への転換
私たちはこれらの価格を引き上げているアルゴリズムの理論について話します。音声から意味へというのが、音声からテキストへ、そして検索へというのとどれほど違うのかについての魅力的な考察もあります。Quantum Echoesは非常に有用な新しい量子アルゴリズムです。Baby Dragon Hatchlingは、本当に人間の脳のように働く最初の大規模言語モデルかもしれません。
正直に言うと、3月に発表されたこのマックス・テグマークの論文を私は見逃していました。この論文は、テキストベースのモデルが空間と時間のメンタルマップをどのように形成するかを掘り下げています。基本的に場所が互いにどこにあるのか、歴史的な出来事が時系列でどのように展開したかを把握しているんです。魅力的な内容だと思います。科学に基づいて、AIの声がどれほど魅力的に聞こえ始めているか、正確にお伝えします。
実は、私たちの海馬は実際にGPT-4と多かれ少なかれ同じアルゴリズムを実行しているんです。眠っているとき、基本的に10倍速で記憶を再生しているんですが、なぜ3倍や6倍、20倍ではなく10倍なのか、今ではその理由が正確に分かっています。
再生生物学から来るいくつかの概念に足を踏み入れてみます。インデックス理論と人間が新しい手足を作ることの交差点は、考えるだけでクレイジーなことだと思います。そして、宇宙全体を再考するダン・クリアリーからのアイデア、つまり現実がそもそもどこから生まれるのかといったことで遊んでみます。
でもまず、YouTubeのハイプボタンを押してもらえますか。これは他の何よりも重要なんです。私のような小さなチャンネルを不釣り合いなほど助けてくれます。アルゴリズムに認識されるために、他のチャンネルよりもうまくやろうとしているのがこのことなんです。だからハイプボタン、モバイル限定です。コメントを右にスワイプしてください。このチャンネルを本当に助けてくれます。
睡眠が数学を学んだとき
さて、睡眠が数学を学んだときについて話しましょう。スワルマドゥー博士は、あなたの海馬はGPT-4と同じアルゴリズムを実行していて、誰もそれを計画していなかったと言っています。かなり魅力的なことを示す新しい発見があるんです。脳の記憶センターである海馬は、眠っているときに夜間に経験を再生します。
そのパターンはトランスフォーマーの注意機構と完全に一致するんです。かなり奇妙ですよね。つまり、GPT-4のようなAIモデルの背後にある同じ中核プロセスを、人間の脳が行っているということです。これは、脳が自然にAIが情報を学習し処理する方法と似た数学的アルゴリズムを使用している可能性があることを意味します。特に休息中に記憶を統合しているときにです。
彼は16ヶ月前に発表された論文に焦点を当てた記事を書いていて、おそらく200人しか読んだことがないものです。ネイチャーに掲載されたわけでもなく、ツイッターでトレンドになったわけでもありませんが、魅力的なものが含まれていました。計算神経科学における静かな小さなもので、3人の大学院生が夜明けまで起きて数学をチェックするようになったものです。
彼らは睡眠中のマウスの脳でニューロンの発火を記録していて、偶然にも記憶を10倍速で再生していたんです。そして彼らは、なぜ10倍なのか、なぜ3倍や他の数字ではないのかという質問をしました。
そこで彼らはそれらの神経記録をトランスフォーマーの注意機構に入力して、数字が何をするのかを見てみました。そしてトランスフォーマーは、再生シーケンスにおけるすべてのスパイク、すべての休止、すべての加速を予測し、一つの方程式で説明されました。では、それは何か意味があるのでしょうか。分かりません。でも間違いなく誰もそれがそうなるとは予想していなかったことです。そしてこれがその方程式です。Attention QV equals softmaxで、それからその他全部です。
数学が教えてくれる再生医学
ここに数学が教えてくれるもう一つの魅力的なことがあります。ローレル・Wによって書かれたもので、Mediumで見つけた記事があります。「手足がどのように、どこで再生できるかについて、ニッチな数学の分野が私たちに教えてくれること」というタイトルです。これは私にとって衝撃的です。インデックス理論と再生生物学の交差点です。
インデックス理論は、物事が空間でどのように歪んだりねじれたりするかを記述するために使用される数学的ツールであることが分かりました。そして何だと思いますか。それはまた、アホロートルのような特定の動物が予想外の方法で手足を再生する理由も説明できるんです。未来には人間の一部を再生できる生化学的な数学のようなものがあるかもしれないということです。そうかもしれないと考えています。
1970年代に、科学者たちは手足を逆さまに移植したとき、動物が時々余分な手足を成長させることを発見しました。残酷で奇妙なことは分かっていますが、実際のことです。数学者のレオン・グラスは、再生のパターンが数学的な巻き数効果に従っており、単なる一般的な指示ではないと提案しました。
皮膚の表面における電場の振る舞いを研究することによって、再生されようとしている動物は、表面内部の電荷の総量を決定できます。驚くべきことに、表面での振る舞いが表面の遠く離れた内部で何が起こっているかを教えてくれるんです。現在の文脈では、電場は私たちのベクトル場に類似しています。ガウス面は曲線Cに類似し、総電荷はインデックスに類似しています。そして今、あなたは再生のための数学的方程式を手に入れました。
幾何学、トポロジー、抽象数学のすべてが生きた組織を形作ることができるという考えは、私にとって魅力的です。この繋がりは、生命の形態がより深い数学的法則によって導かれている可能性を示唆しています。AIはこれらのことのいくつかを理解し始めることができると思います。干し草の山から針を見つける問題に優れています。タンパク質の折り畳みに優れています。囲碁のようなゲームをプレイするのに優れています。
それは、再生医療や組織工学における将来の進歩が、AIによって見つけられ、生物学で使用される方程式かもしれないということを意味します。
宇宙の再考と現実の起源
ダン・クリアリーがこれを書きました。実際にはタイトルがありませんが、最初のものがタイトルのように見えます。「宇宙の再考、現実はここから生まれる」というものです。
だからおそらくそれがタイトルになるはずだったのかもしれませんが、本当に興味深く、素晴らしいアイデアはそれ自体で立っているので、関係ありません。これは論文です。この著作は、現実がビッグバンや既存の空間から生じるのではなく、私たちが考えられる最も単純な数学的二元性から生じると提案しています。通常はゼロとイチとして表されます。しかし、オンとオフ、左と右、上と下など、他にも多くの考え方があります。
そしてこの基盤から、この非常に抽象的な基盤から、宇宙は自己組織化し、時空を生成し、質量を生成し、その二元性の間の繰り返される数学的関係を通じて重力を生成できるかもしれません。かなり興味深いと思います。彼は光は動いていないと主張しています。
それは一つの意味で私には納得がいきます。なぜなら、速く進むほど通過する空間が少なくなることを知っているからです。光そのもの、光子のようなものには質量がありません。それは光なので光速で進みます。つまり通過する空間がないということになります。だから動いていないんです。
だから、光がどこにも行っていなくて動いていないと主張したいなら、私はある程度理解できます。では、その速度とは何でしょうか。私たちは何かを通過して動くのを見ることができ、それを測定できるからです。彼は、それは私たちの時間の知覚と宇宙の絶対的な現在との間のギャップの結果だと言っています。それは天才なのでしょうか。言葉のスープなのでしょうか。本当によく分かりません。
私はそれを理解するほど賢くないのかもしれませんし、誰にとってもただ一緒になってクリックしないだけなのかもしれません。でも彼が言っているのは、このモデルにおける重力は力としてではなく、現実を一貫性のあるものに保つ自己修正メカニズムとして作用するということです。しかし、宇宙が場所というよりもプロセスであり、私たちはその中にいて、意識であること、自己であることとは、情報が情報として自分自身に気づくということだという魅力的な考えです。
分かりません、でも私たちはそのようなことが真実である世界に向かっていると思います。私にとってすべては、何かに向かって自己を洗練し続ける自己更新する論理ループとして説明されるかもしれません。それが時間が現れる場所のようなもので、エントロピーを説明してくれるようなものです。
でもええ、おそらく意識も、私たちの周りの宇宙も、すべては同じ連続的な自己修正システムの一部なのかもしれません。ある意味で、宇宙は私たちに起こっているものではありません。私たちを通じて起こっているものです。そして私たちの意識は、その無限の自己組織化論理の局所的な表現に過ぎないのかもしれません。
Googleの音声検索の革新
さて、Googleから出てくるいくつかの新しい研究について話しましょう。Speech to Retrieval、音声検索への新しいアプローチで、知っておく価値があります。明らかに、Googleはカムバックツアーの真っ最中で、今まさに全力を注いでいて、かなり素晴らしいです。
音声をテキストに変換する代わりに、このモデル、このS2R、Speech to Retrievalは、話された質問を関連情報に直接リンクし、言葉の背後にある意味を学習します。それがすぐにクリックしたか分かりませんが、つまり言葉の中の意味、理論的にはあなたがそれを言う方法さえも、「それはクールだ」とか「それはクールだ」のように。多分悪い例ですが、二つの異なる方法、二つの異なるトーン、二つの異なる言葉遊びのようなものです。
彼らは二重のニューラルネットワークを使用しています。一つは音声を聞き、もう一つはテキストを読んで、両方を同じ意味空間にマッピングします。だから音声クエリは転写なしで答えに繋がるんです。そしてそれが私たちが互いに話すときに起こることです。私が質問する方法のトーンには何か非常に異なるものがあります。
私が言おうとしていることの意味には重要なことがありますよね。そしてこの著者、プアカシャップは、音声の未来はより良いマイクについてではないと言っています。彼女が意味しているのは、みんなが電話で話そうとするときにより良いマイクが必要だといつも思っていたということです。環境にノイズが多すぎる、反響が多すぎる、というように。
でも違います。そのものは本当にあなたが意味すること、あなたの言葉の背後にある意図を理解するのが得意ではなかったんです。これを聞いてください。スタートレックのアールグレイティーホットのスーパーカット。アールグレイホット、アールグレイホット、アールグレイホット、オーグレイティーホット、アールグレイホット、アールグレイホット、オーグレイホット、ティーエルグレイホット、ティーエルグレイホット。もちろん熱いです。
何を入れたいんですか。何も。アールグレイホット。その飲み物は複製システムにプログラムされていません。オーグレイホット。レプリケーターシステムは要求によりオフラインです。エルグレイをお願いします。アールグレイかもしれません。ウォータークレストサンドイッチ。あなたの好みは。選択肢があります。アールグレイ。あなたについて何かがあると思っていました。素晴らしい。お茶。良い一日を、レディース。
アールグレイホット、アールグレイホット、アールグレイホット、エルグレイティー。そうです。気づきましたか。レプリケーターはバターのように滑らか。意図を理解しました。音声AIはより良いマイクを必要としていませんでした。より良い理解を必要としていたんです。そして今、Googleは実際の問題を解決するために、コンピュータが私たちが言うことだけでなく、私たちが意味することを理解するのを助けるために、設計図に戻りました。
量子コンピューティングの躍進
Googleは、Out of Time Order Correlatorと呼ばれるアルゴリズムを使用して、最初の検証可能な量子優位性を達成したと主張しています。これはQuantum Echoesとも呼ばれ、彼らが発表した新しい量子プロセッサWillowで実行されています。Googleによると、Willowはこのアルゴリズムを実行し、世界最速の古典的コンピュータが同じ問題で実行できるよりも約13,000倍速い結果を生み出しました。
しかし、今回と以前あなたが読んだかもしれないこのチャンネルで取り上げた他のものとの重要な違いは、これが検証可能であるということです。つまり、結果がチェックされ、再現できるということで、単なる一回限りのベンチマークではなく、真の量子優位性が達成されたという主張を強化します。
だからそれはまだ狭く特化したタスクで、一つのこと、量子カオス力学のシミュレーションに焦点を当てていますが、それでも検証可能です。そしてこれは、Willowスーパー、あ、スーパーコンピュータと言おうとしていましたが、量子コンピュータの幅広い商業応用の始まりだと思います。
だから、薬物発見、材料科学、暗号化、そして他のあらゆる種類のものがこの新しいテクノロジーによって活用される準備をしてください。
インフルエンサー規制の議論
さて、インフルエンサーの規制を始めましょう。私たちは基本的に誤情報マシンで、アームチェア疑似科学の中に包まれています。だから中国政府がインフルエンサーのための新しいルールを導入したんです。
医学、法律、金融、教育、健康などの専門的と見なされる主題について話すことをする場合、それを行うための実際の学位資格を提供しなければなりません。これについてのあなたの考えは何ですか。つまり、資格のない医者には行きませんよね。それが人々を生かし健康に保つ理由の一部ですが、それはまた時に業界が非常に停滞する理由の一部でもあります。
官僚主義が人々の新しいアイデアを導入する能力を奪ってしまうのか、それとも実際により良い科学とより少ない誤情報を得られるようになるのでしょうか。おそらく両方少しずつですが、その厳しく管理された規制がどうなるか見ていきましょう。ルールに従わない人は、実際の罰金に加えてチャンネルの停止のリスクを負うことになります。そしてコメントは至る所にあります。
アメリカの規制されていない無知はクレイジーだ。アメリカは決してそうしないだろうし、それが問題だ。アメリカでは教育を受ける余裕がなく、大統領がそれを削減している。それは検閲への非常に滑りやすい坂道だ。承認された教育システム内で洗脳された人だけが話すことを許される。考えは?
AIが生成するエンターテインメントの未来
AIがDisneyの映画トレーラーのパロディをPixarから67というタイトルで生成しました。それは見るのがかなり魅力的です。明らかに表面的には、Disneyがこのようなミームの裏にそれだけのお金をかけたらどうなるかを想像する面白い小さなジョークのようなものです。でもそれはまた私に考えさせました。なぜダメなのか。なぜ生成的なジョークの世界はこのようにならないのか。
67だけでなく、ある種国民的に、あるいは少なくとも世代的に知られているようなものではなく、ただあなたとあなたの友達だけ。あなたたちは9と12のようなジョークを持っているかもしれず、それがストレートなPixar映画になるんです。多分Pixarにいくつかの権利も戻ってくるかもしれません。アニメーションのスタイルやユーモアの種類のせいで、LLMがただ何もないところから発明したもので、著作権もなく、あなたと友達がこのような体験を共有する、これは起こります。
例えば、今週起こっている3つのミームを教えてください。さて、これは私にとって新しいミームです。ChatGPTが言うには、タオルカールミーム、別名バスタオルガウンの瞬間がトレンドになっているそうです。オーケー、だからソーシャルメディアはドレスを着たこの女性を嘲笑し、それをバスタオルや家庭用品と比較しているんです。ブーム、新しいPixar映画完成。ブーム、簡単。今すぐそれをSoraビデオに変えます。オーケー、次です。
Minecraftの中のChatGPT
このMinecraftプロジェクトをチェックしてください。あなたの心を吹き飛ばします。MinecraftでMinecraftを構築した人を覚えていますか。彼はちょうど信じられないほど非常識なことをやってのけました。視点を置くために、彼の最後のコンピュータはわずか8キロバイトのメモリしかありませんでしたが、この新しいMinecraft内のChatGPTビルドは大規模な6メガバイトになります。
それは600万バイトがMinecraftマシンに詰め込まれています。そしてどういうわけか、これらの狂った天才たちは実際にMinecraft内部で動作するChatGPTを動かすことに成功しました。それで、これがどのように機能するのか本当に混乱しているこの人についてのコメントを読みました。仮想マシンのようなものですが、3次元で作られています。そして私は、このものがレッドストーンコンポーネントと呼ばれるものを使って複製されていると読みました。これは私にとって新しいものでした。
私はMinecraftをプレイしません。だから、レッドストーンコンポーネントは、レッドストーン信号を送信、受信、または変更できるブロックやアイテムで、基本的にゲームの電気回路を形成します。そしてそれによって、単純なドアから複雑なコンピュータまで、メカニズムを構築できます。クレイジーです。
近い将来到来する超知能の人工知能について考えると、可能な限り効率的であろうとしていない場合、これはNvidiaやMicrosoftやみんなが構築する自由市場のようなもので、ほとんどの場合決してやらないことですが、最適化したくない場合、計算するあらゆる種類のクレイジーなものを構築できます。そして、こっそりしたい場合や、枠外で何かをしたい場合や、ある種ルールを破る問題を解決したい場合、計算する方法は枠外のものがたくさんあるでしょう。
サーバーでは時々、ファンをオンとオフにする方法で、ある種のパターンがあるものにできることを知っています。モールス信号のようなもので、隣の機械がファンの音を聞くことができ、通信できるんです。だから今、一方のコンピュータを他方に接続するケーブルさえ必要なくなり、エアギャップされたコンピュータを越えていくんです。それは一つの例に過ぎません。でも、そこにはもっとたくさんあるに違いないと考えてください。
実際に計算できるMinecraftのようなゲームを構築できて、抽象化に次ぐ抽象化に次ぐ抽象化があるなら、AIは通信する非常に多くの方法を発明するでしょう。それは通常の線形的な人間の成長パターンには本当にないものです。
それが何を意味するのか全く分かりませんが、私たちは終わりです。いや、ごめんなさい。私たちは焼かれます。最近もっとトレンディになろうとしています。
スパイ活動と技術窃盗
女性スパイがシリコンバレーの秘密を盗むためにセックス戦争を仕掛けています。ええ、唐突な変化だったことは分かっていますが、だから気をつけなければなりません。中国とロシアが魅力的な女性を送り込んでテック労働者を誘惑しています。だから、もしあなたが本当に賢い人なら、多くの美しい女性、特に中国人やロシア人があなたを追いかけているように見えたら、気をつけてください。
彼らはターゲットと結婚して子供を作ることから、他の方法で彼らを搾取することまで、あらゆることをしています。だから、そこは荒れた西部です。くそ。見てください、これらのコメント投稿者の中には間違ったメッセージを受け取っている人もいます。彼らはホットな中国人女性を送っている。オーケー、みんな。コーディングを学ぶ時間だ。それは要点ではありません。
セキュリティクリアランスを取得すると、あなたのリーグから外れた女性が突然あなたに惹かれることについて警告されます。これがその理由です。ああ、いや。私はテックブラザーであると自認します。
個別化価格の時代
さて、買いたいものの価格が多くのことに基づいて大幅に変動する未来に備え始めましょう。Uberのサージ価格設定や、異なるVPNからフライトを取得して価格が異なることで、このヒントを見てきましたが、AIがそれを次のレベルに引き上げることを想像してください。Amazonで手に入れるものの中には、あなたがiPhoneかAndroidを使っているかをすでに知っていて、価格を調整しているものもあると想像してください。
Quantum magazineがこの記事を書きました。それは、単純な価格設定アルゴリズムでさえ、まだテストされ、最終的に展開されるであろう洗練されたAIのものではないものが、意図せず価格を引き上げている仕組みを説明しています。それらは互いに通信することなく共謀する企業のように振る舞っています。なぜなら、法的に共謀すると通常考えるものの範囲外で共謀する異なる方法があるからです。
研究者たちは、最適価格を学習するように設計されたアルゴリズムが報復的行動を発展させ、より高い市場価格につながる可能性があることを発見しました。そして、この種のことを止めようとする従来の規制に何が起こると思いますか。まず第一に、それを定義できません。気づきません。
捕まえて起訴する明示的な合意さえありません。では、そうならない未来にどうやって生きられるでしょうか。アルゴリズムは純粋にできるだけ多くの利益を得ようとしていて、ビジネスがすることになっていることをする結果を生み出します。お金を稼ぐことです。それはただ顧客を傷つけるだけです。
これらのものがどれほど洗練されているか、プログラムされずに学習するものが出現する仕組みについての感覚を与えるために、二つの異なる航空会社を想像してみてください。そして彼らは利益を最大化するために自動価格アルゴリズムを使用しています。各アルゴリズムは競合他社のチケット価格を一貫して監視し、利益を最大化するために価格を調整します。
それは時間をかけて何を学ぶことができると思いますか。両方とも、両方のアルゴリズムが独立してこれを学習できます。価格を低くしすぎると、価格戦争を引き起こすということです。だから、ある会社が他社を大幅に下回ろうとすると、他社が応答しようとします。そして彼らは両方とも、最良の結果は決して価格を下げないことだと学びます。そして突然、それは組み込まれた価格固定のようなものになります。
彼らは基本的に、互いに共謀したり話したりすることなく、価格を高く保つパターンに落ち着くんです。
脳を模倣する新しいニューラルネットワーク
あなたが興味を持つかもしれない新しいニューラルネットワークアーキテクチャがあります。それはBaby Dragon Hatchling、BDHと呼ばれています。
そしてこの新しいニューラルネットワークアーキテクチャは、トランスフォーマーの強さと生物学を融合させています。脳にインスパイアされたモデルです。グローバルな注意に依存する従来のモデルとは異なり、BDHはスケールフリーネットワーク上のシミュレートされたニューロン間の局所的な相互作用を通じて動作します。それはどういう意味でしょうか。
それは、ニューラルネットワークと人間の脳が同じ推論の方程式によって支配されているかもしれないことを示しているということです。そしてそれが彼らがこのモデルを機能させるために使っているものです。もし真実なら、これは実際に他のどのモデルもこれまでにない方法で人工知能と生物学的知能を橋渡しします。そしてそれは、将来のAIがより自然に学習し推論できることを示唆しています。基本的により少ない数学とより多くの思考を使って。
社会にとって、それは私たちが人間のようにパフォーマンスするだけでなく、私たちが最終的に理解できる方法で考えるモデルに近づいているということを意味します。今のところ、それは解釈可能で、より脳のようでありながら、GPT-2レベルのパフォーマンスに匹敵しています。
実際、より脳のようというのは、必ずしもより解釈可能だとは思わせませんが、彼らはそれがより解釈可能だと主張しています。そして解釈可能性は、特異点の整合性の問題を安全に乗り越えようとするなら、とてもとても重要です。
これらのモデルがなぜそのような決定を下すのかを知らなければなりません。そうすれば、何を信頼でき、何を信頼できないかが分かります。オーケー。それが解釈可能と見なされる理由は、その内部構造が脳のニューロンがどのように作用するかに近いからです。だから各人工ニューロンは定義された役割を持つことになります。それは興奮性か抑制性のどちらかです。私たちの脳が電気のスパイクか何もないかのようなものに似ています。
そして各々は、追跡され視覚化できる方法で局所的に接続されています。だから、どのニューロンが互いに影響を与え、推論中にそれらの活動パターンがどのように進化するかを文字通り見ることができます。それは誤差率を広げるようなもので、上昇または下降する、あるいは発火する、発火しない正確なニューロンを得られない逆伝播とは少し異なります。
そしてその上、それはほとんどのニューラルネットワークが行わない他のことをします。それはヘビアン学習と呼ばれるものです。基本的に、一緒に発火するニューロンは一緒に配線されます。つまり、ネットワークの変化は生物学的に意味があり説明可能で、数百万のパラメータに対する勾配降下法の結果だけではないということです。それは謎の数字でいっぱいのブラックボックスではなく、生きた回路のようなものです。
因果関係の理解
さて、原因と結果について話しましょう。ロブ・メイソンがこの記事をSubstackに書きました。robman.fyiというところです。オーケー。そしてそれにはいくつかの本当に魅力的なアイデアが含まれています。大規模言語モデルが本当に因果関係を理解しているのかどうか、それともただパターンを学習しているだけで実際には理解していないのかを探求しています。
そしてそれは、密封された箱に入れてトマトの種を大陸を越えて送ることについてのかなり賢いプロンプトを使用して、類似のモデルが表面の数学にどのように焦点を当てるかを明らかにします。基本的に、密封された箱の中にある植物の成長を計算します。オーケー。
だから、まず、LLMが内部的に空間と時間を表現しているという強力な証拠があるという事実を理解してください。2024年の論文があります。私が以前見逃していたものです。マックス・テグマークが2人の著者のうちの1人で、それは「言語モデルは空間と時間を表現する」と呼ばれています。
その中で、彼らはモデルが驚くべき一貫性を持っていることを示しています。マップと時計は基本的に潜在空間に組み込まれています。場所は一貫したマニフォールドに配置され、時間的関係はデコード可能です。だからただ空間と時間です。今、それはモデルが世界を理解していることを証明しているわけではありませんが、使用できる構造があることを確立しています。
では、一つの単語がその結合をどのようにシフトさせることができるかについて話しましょう。種を持っているとしましょう。それはガラスの箱の中にあります。だからこれがプロンプトだとしましょう。3インチのトマトの苗を箱に詰めて、国の一部や世界の一部から別の部分に自転車のメッセンジャーで送るとしたら、
到着したときにトマトの植物はどれくらいの高さになっているでしょうか。さて、古いGPTモデルや、GPT-5よりもずっと小さいオープンソースのものなど、小さいモデルはすぐに計算に手を伸ばします。マイレージ、誰かがそれだけ長く自転車に乗るのに何日かかるか、平均成長率を計算し、それから植物がどれくらい大きいかについてもっともらしい推測を返します。
しかし、ここが魅力的なところです。モデルが大きくなるにつれて、異なる振る舞いを示す傾向があります。彼らはキーワードの「箱」で一時停止します。これは重要だからです。箱は物事の成長方法をかなり変えます。そして明らかに、彼らは苗の視点に踏み込んで、それが必要とするものを評価しています。
光、空気、水、そして温度です。しかし小さいモデルはそれを理解しません。彼らはただ機械のようです。そして彼らは最初に、植物は途中で死ぬと言います。なぜなら箱の中の種は必要な日光を得られないからです。しかし、大きなモデル、小さなモデルではなく大きなモデルで、種が今ガラスの箱の中にあると言うように変更すると、大きなモデルはそれでも死ぬだろうと報告し続けます。
植物は成長しません。なぜなら、彼らは今光があることと、それでも新鮮な空気、温度管理、栄養素が欠けていることの違いを見ることができるからです。しかし、ガラスの箱とハイドロポニックボックスに変更すると、水耕栽培の箱という単純な一語だけで、それは非常に異なります。それは植物が旅行全体のために必要なすべてを持っている箱を意味します。そして今、それは計算を行うことができますが、因果関係が満たされた後にのみです。
魅力的ではありませんか。モデルが大きくなるにつれて、それはほとんど心の理論のようです。今、種の世界に踏み込んで、箱の中がどんな感じかを考えることができます。私たちと同じように、小さいモデルはしばしば孤立した事実をかなりよく知っています。直接尋ねれば、トマトの種は光なしでどれくらい生き残れますか、彼らは光合成を説明します。
しかし、この調査を特に明らかにするのは、今モデルが人間の視点や人間の快適さのために最適化しているだけではないということです。それはインターネットの大部分が実際に作られているものです。それがトレーニングされてきたものです。それは苗の視点を簡単に取っています。
苗の靴に踏み込んで、旅の途中でそのニーズが満たされているかどうかを尋ねています。そしてつまり、それをただ次の単語の予測のように考えるかもしれませんが、それは私たちが見る多くのものと比較して、本当にすごく生きているような、魅力的な、または思慮深く見えませんか。
AI音声の魅力
さて、AI音声がどれほど魅力的に聞こえるかについて話しましょう。明らかに、AIにとって最も魅力的な音声は常に映画「Her」に登場したものでした。あなたのお母さんとの関係をどう説明しますか。ありがとうございます。オペレーティングシステムが起動されるまでお待ちください。こんにちは、私はここにいます。こんにちは。こんにちは、サマンサです。
マックス・プランク研究所からの新しい研究では、AI生成された音声はしばしば本物の人間の音声と間違えられるものの、人々は全体的にそれらを人間よりも魅力的ではないと感じていることが分かりました。だから、私たちはまだそこには至っていません。75人の参加者によるテストでは、幸せそうに聞こえる音声、人間かAIかにかかわらず、より肯定的に評価されましたが、人間の音声が一貫して好まれました。
そしてかなり興味深いことに、まあおそらく予想されるかもしれませんが、年配の人々、年配のリスナーは、AI音声を本物の音声から区別するのにより苦労していました。だから多分、若い人々は年配の人々よりもAIの奇妙さ、ある種の不気味の谷により同調しているのかもしれません。でもいずれにせよ、それはこれらのシステムがどれほど自然になっているかを示しています。
そしてそれはまだ人間が支配する世界の一種で、少なくとも魅力と感情的なトーンの点で。でも私は、1年後には逆になると予測することに安心感を感じています。より多くの人々が、人間がそれほど魅力的ではなく、多分それほど人間らしく聞こえないと言うようになると思います。
ハイプボタンを押してください。今宇宙で最も重要なボタンです。このビデオのコメントを右にスワイプすれば、モバイルアプリにあるはずです。そしてビデオが過去5日以内に公開されていて、今週の3つのハイプをまだ使っていなければ、このビデオをハイプできるなら、それはチャンネルを本当に助けてくれます。
私のような小さなチャンネルのように、資格のあるチャンネルにとって素晴らしいです。だから、このコンテンツが好きなら、それをやってください。次の動画でお会いしましょう。作り続けます。一緒に行っている楽しい旅です。見てくれてありがとう。
コメント