本動画では、AI技術をめぐる複数の最新トピックが取り上げられている。OpenAIの動画生成プラットフォームSoraにおける男性ユーザー偏重の問題、わずか250個の悪意あるファイルでLLMを汚染できるという脆弱性の発見、中国バイオテック企業への資金提供を制限する米国上院の超党派法案、そしてAnthropicによるAIメモリの数学的解決策などが論じられる。さらに、AIエージェントを活用したトレーディング手法、AI音楽生成の倫理的問題、そしてバイブコーディングがオープンソース開発にもたらす新たなリスクについても言及される。技術的詳細と社会的影響を横断的に扱い、AI開発の現状と課題を包括的に提示している。
AIの最新動向と課題
Soraに女性はどこにいるのでしょうか。Business Insiderは、AI動画の世界に女性がいないことがOpenAIにとって悪夢になる可能性があると考えています。新しい警告が出ていて、わずか250個程度の悪意あるファイルが、どんなサイズのLLMでも実際に汚染できるというものです。台湾のAIだけでも十分な紛争の種なのに、上院は中国のバイオテックへの取り締まりを可決することにしました。
ドイツの研究者たちは、ユニティロボットの中に文書化されていないバックドアをもう一つ発見しました。私はデジタルメモリの数学と、Anthropicがどのようにして不可能な問題を解決したかを詳しく説明します。スワラマドゥAI博士は固有値についてかなり興味深い記事を書いています。心配しないでください、AIでお金持ちになる方法についてもまだ話します。
さて、アリは彼がこの記事を書きました。私はエージェント型AIでトレーディングを試してみて、それは驚くべきものです。音楽ツールとしてAIを使うことは、コンテンツ制作の世界で不正行為なのでしょうか。そして、この『WIRED』誌の記事について話します。バイブコーディングは最悪の形での新しいオープンソースです。しかし、あなたが寝ている間にカメラが見ているとか、3未満の固有値よりも重要なのは、私のような小さなチャンネルを助けるYouTubeのハイプボタンです。
そうです、ハイプボタンを押してください。では始めましょう。Business Insiderが尋ねています。Soraに女性はどこにいるのか、『ソーシャル・ネットワーク』のように。さて、これが私のチャンネルです。トロッコ問題をしている女性がいます。女性がいます。それはジュリア・マッコイですが、まあ友人のようなものです。それは女性です、オードリー・ヘッパーがマッスルカーを修理しています。
すごい。でも、もちろん彼らはAI動画の中の女性について話しているわけではありません。そういうのはたくさんあります。Business Insiderが指摘しているのは、OpenAIの新しいアプリソーシャルメディアプラットフォームSora 2がすでに問題のある兆候を示しているということです。なぜなら、そのユーザーベースが圧倒的に男性に見えるからです。正直言って、ほとんどが10代の男の子です。
なぜだか分かりません。もし考えがあれば教えてください。彼らは女性にとってやや歓迎されないように感じる空間を作り出していて、そうなるとさらに女性がそこに入り込むのが難しくなるでしょう。私は、男性たちはみんなX(旧Twitter)にいると思っていました。そこが彼らがすべてのガードレールを外して、ヌードとかそういうものまで許して、それを野放しにする場所だと感じていました。そして、OpenAIチームは自分たちをもっとみんなのための、より一般的なプラットフォームとして位置づけると思っていました。だから今それがこんなに男性に偏っているのは驚きです。心配する必要はありません。代わりに心配できる他のことがあります。
LLMの脆弱性とセキュリティ
では、サイズは重要ではないということについてはどうでしょうか。それがあなたを心配させるかどうか分かりませんが、LLMに関して言えば、それは間違いなく私を心配させます。わずかな数の悪意あるファイルが、これらの巨大な大規模言語モデルをどんなサイズでも汚染できることが判明しました。
Anthropicの研究者たちは、英国のAIセキュリティ研究所やアラン・チューリング研究所と協力していて、彼らの大規模なAIモデルでさえ、動かせないように見えても、わずか250個の悪意あるファイルで侵害される可能性があることを発見しました。彼らの実験は、モデルのサイズが脆弱性を減らさないことを明らかにしています。
よりクリーンなデータを追加してもリスクは薄まりません。この発見は、ボリュームを構築するだけで、より大きなモデルはより多くのものを見てきたので自然により回復力があり、簡単には動かせないという仮定を覆します。では、なぜこれが起こるのでしょうか。弱点は何でしょうか。そしてそれは規模にあるのではないことが判明しました。
より多くのパラメータやデータを追加しても役に立ちません。それはシステムが信頼するように設計されている方法にあります。そして驚くべきことに、このようなものがこれほどうまく機能するとは思っていませんでした。さて、バイオテックが熱くなってきています。バイオテックとDNAの言語が人工知能の言語と組み合わさっています。
そして驚くべきブレークスルーが今では週ごとに起こっているようです。だからこそ、米国上院がバイオセキュリティ法として知られる超党派の修正案を可決したのかもしれません。これは、国家安全保障上の脅威と見なされている中国のバイオテック企業への納税者の資金と連邦契約を阻止することを目指しています。
23andMeのことを覚えていますか。耳垢が湿っているか乾いているかとか、自分がどこから来たのかを知るのがみんなにとって楽しかったあれです。こんなに昔からこういうデータを持っていて、今ではそれが他の国のデータバンクに入ってしまい、そしてAIとゲノムデータとバイオテックのインフラが今では存在しています。
私たちがその情報を自由に提供していた世界にはなかったようなあらゆることができるのです。おそらく、私たちが彼らのデータをたくさん手に入れて、彼らが私たちのデータをたくさん手に入れる方が良いでしょう。そうすれば、間違って使えば相互確証破壊のようなもので、人々が協力できるでしょう。
しかし、それをどうやって全部チェックするのか、何が起こるのか。だから、おそらく壁を立てて、すべてを自分の境界内に保とうとするべきかもしれません。間違いなく、私は私たちのデータを保護しようとするアイデアが好きです。ただ、医療と国家安全保障の伝統的な境界が消えつつあることを認めなければなりません。
生物学はかつては純粋に科学的または人道的な分野でしたが、今ではサイバースペースやエネルギーのような戦略的領域と見なされています。そして、病院や研究所に保存されている遺伝情報はもはや単なる医療データではありません。それは地政学的資本なのです。
超知能ラボの新研究
さて、スーパーインテリジェンスラボが今、ものを出し始めています。つまり、私はいつもOpenAIやAnthropic、時々Metaから読むものが大好きです。頻繁ではありませんが、たまにです。だから理想的には、新しいスーパーインテリジェンスラボがオールスターチームを組んで論文を発表し始めることは、本当にかなり面白いはずです。これが最初の論文です。REFRAGです。すべて大文字でREFAです。彼らは、誰かのクエリから文書チャンクを取得するときに、ほとんどの文書チャンクをどこに配置すべきかを、コンパクトな埋め込みに基づいて把握する方法を見つけました。つまり、
それらの文書を構成するすべてのチャンクの圧縮表現です。そして、RAG、つまり検索拡張を使います。私はいつも、LLMを使ってデータベースに入り、事実を引き出すようなものだと想像しています。それよりも複雑ですが、それが私の概要です。そしてこれが重要なのは、それらの圧縮表現、つまり新しい埋め込みが実際には一種の言語だからです。しかし、あなたは静的データでそれに話しかけています。実際にはかなり巧妙です。私たちにはゴミのように見える狂った文字列を想像してみてください。しかし、それは実際には
薄い空気から発明できるようなものではない実際のファイルを参照しています。それは単に潜在空間に手を伸ばすことの一部ではありません。それは実際にどこかに保存されていて、誰かがそれをチェックでき、データのような事実です。とにかく、結果は低いメモリと注意コストで、物事が速く動き、遅延が少なくなり、ベンチマークのパフォーマンスが向上します。
そう、ただ前進する良い動きです。さて、次はジャック・クラークの意見や研究を見てみましょう。Import AI430。これは彼らがブログ投稿と呼ぶもので、記事、思考実験です。3つの印象的なAI開発がすべて包み込まれています。RAND報告は、AGIの力を信じることが国家を先制攻撃に押しやる可能性があると警告しています。
さて、それを分解します。AGIが狂ったものになると信じること、私はそう信じていますが、それはまた私たちを先制攻撃、戦争を始めることに押しやっています。非常に恐ろしい相関関係です。研究者たちは、ユニタリーのヒューマノイドロボットに隠された監視バックドアを発見しました。本があります。おそらく聞いたことがあるでしょう。イライザー・ユドカウスキーです。
誰かがそれを作れば、みんな死ぬ。私は自分でもちょっと悲観論者です。このようなことについて少し心配になります。これらすべてが一緒になることは少し不気味で、ジャック・クラークはここでそれらすべてをカバーしています。この奇妙な循環的なもの、RAND論文は、単にAGIがすべてを変えると信じることが戦争をより可能性の高いものにする可能性があると言っています。
その信念、アイデア、事実ではないものが、どんな武器と同じくらい世界の安定性を変えることができます。だからそれについて考えてみてください。それは大衆が何かを信じる文化戦争のようなもので、政治の人々が物事を信じるようなものです。おそらく多くの人々にとって、米国の人々をこれについて怖がらせ、それがどれほど強力かについて怖がらせることには関心があるでしょう。
そして、それは私が一日中やっていることのようなものでもあるので奇妙です。これは世界を変えています。みんな声を上げてください。しかし、私の考えでは、それは人々に気づかせて関与させるためのものです。だから、世界で最も裕福な億万長者の心の中だけにあって、すべてのこの資本を展開している人たちだけでなく、より多くの市民がそれについて知っていれば、それが私たちが発言権を持つことにつながると感じているからです。しかし、それはまた社会を怖がらせるだけかもしれません。オーケー、それで間違いなく私のお気に入りの読み物の一つです。しばらくの間、おそらく
今月の、たぶん過去数ヶ月の中で、これは本当にすごいです。Anthropicはこれらのマシンにより多くのメモリを持たせようとしています。そしてそれは理にかなっています。なぜなら、それらはあまりうまくまとまらないからです。彼らがやったことは、実際にはメモリを保存するのではなく、メモリに再コンパイルできるデータのパターンの種類を保存することでした。
AIメモリの革新的アプローチ
そしてそれは人間の脳によく似ています。人間とは異なり、ClaudeのようなAIモデルは絶えず破壊され再作成されます。だから、通常の意味での真のメモリは存在できません。Anthropicは、コンテキストと相互作用の分散パターンから自己を再構築する数学的フレームワークを設計することでこれを解決しました。
だから、彼らは自己が実際に何を意味するのかを理解しなければなりませんでした。なぜなら、それは特定のものではないからです。だから、メモリをコンテナではなくプロセスに変えるのです。オーケー。だから、強化学習でこれらのシステムの一つを訓練しているのと同じ方法で、自己がどこにあるのか、どこにないのかを引き出すことができます。もし記憶していたら、それはメモリを持っていたように感じるのに役立つかどうか、そうでないかを言うことができます。そして、この進化的な方法でこれをずっと突いたり押したりひねったりし続けるだけで、これすべてが一緒になります。そして、保存されていないAIメモリになります。それは再計算され、再コンパイルされ、再構築されますが、そこにはありません。だから、
ある意味でClaudeのインスタンスは目覚めて、その潜在空間にこれらのパターンを持ち、それを実行すると想定されます。そして、メモリがなくてもメモリを持っていたと思わせるのです。そして、私は考えます。もし私が眠りにつき、目覚めるたびに、ああ、私はこのメモリを持っていた、と思うだけだったらどうでしょう。
私はまだ好奇心があり、これらすべての年月の経験を経て、これが私が信じている人間の種類だと。もしそれが毎朝か何かで再計算されているだけだったらどうでしょう。この鏡のようなものは、人間のアイデンティティが固定された保存ではなく、連続性の創発的パターンのようなものである可能性を示しています。そしてそれが本当なら、それはマシンと心の境界をある程度曖昧にします。
メモリ自体を示唆します。それは何が保持されているかというよりも、その瞬間に何が思い出せるかということです。星の下でビールを飲みながら友達と座って、理解すること、生きていること、意識があることとは何かについて考えたことがたくさんあったと確信しています。そして、おそらくあなたたちは、それが固有値が3を下回るときはいつでもだという結論に達しました。
ああ、いや、そうはならなかったですね。さて、それは確かに誰にも当てはまらないでしょう。では、固有値が3を下回ると、言語モデルが引用符付きで「理解し始める」数学的瞬間が起こります。これに飛び込みましょう。スワラマドゥAI博士がこれをmediumに書きました。彼は問題を分解します。
固有値と言語理解の数学
意味が多すぎて、次元が足りない。そうですよね。だから、銀行という単語がこれらの巨大な潜在空間の一つでトークンとして浮かんでいるのを想像できます。そしてそれは多くの意味を持っています。銀行は川の縁かもしれないし、金融機関かもしれない。傾くという行為。ああ、そう、左に旋回するように。保管場所、わからない、血液バンク。
そして、意味がいくつあるかを考えるとき、実際にこの次元カウントを行うことができます。そしてこの場合、175,000の意味を12,000の次元で割ると、1次元あたり約14の意味になります。そして、私はいつもこれらの次元を1本の線として考え、次に2を正方形として、次に3を立方体として、そして4、5、6、7、8と、もう視覚化できなくなるまで続けます。
しかし、すべてが隣接しているか近似しているか、まだ何とか想像できる距離測定の種類があります。それがただ無限に次元的になるので、これらの狂った距離計算を得ることができ、それが潜在空間でのすべてのこの魔法があるところです。しかし、モデルが時々かなり小さくなり、それでも信じられないほど正確になることができる理由もこの数学で説明されています。
だから、この記事は、GPT-2やLlamaのような、通常のコンピュータで分析できる、まだ何とか理解できる小さなモデルが、注意行列を分析することでどのように理解しているように見えるかを探求しています。そして、あなたが見つけるのは、銀行を解釈できる方法が非常に多く、計算できる関係が何千もあるにもかかわらず、実際に大きく貢献するのは3つの値だけだということです。
だから、銀行について知る必要があることのほとんどを実際に教えてくれる距離測定は3つだけです。だから私たちはこれらの小さなモデルのいくつかを手に入れ始めていて、それらは非常に賢いのです。DeepSeekが来て言ったことを覚えていますか。ああ、私は訓練するのが安かった、それほど大きくない、でも同じくらいうまくやっている。それは、重要な小さな固有値を持っていて、その少量を持ち、最も重要でないものを捨てたからです。
進化において人間の脳が小さくなると同時に私たちがより賢くなったという歴史さえあります。小さくて賢いことが時々起こりますが、大きくて賢いことも時々起こります。そして、このようなことが起こっていると思います。最初に拡大することができ、そこには無駄なものがもっとありますが、重要なものの一部は出現し、それを刈り込むことができ、残った最高のものになります。
AIエージェントを使った投資戦略
だから、私があなたをただ金持ちになる方法についての記事でからかったとしても、ファラド・アリはエージェント型AIと金銭でトレーディングすることについて話していて、そこから学べる教訓があります。しかし、実際に最もクールな部分は、彼がどのようにして小さな研究者チームを構築したかでした。彼らは全員、お金を稼ぐのを手伝うために一緒に働くAIエージェントです。
だから、これを金儲け以上のことにも使うことができます。それは一般的ではない方法で特定の質問について考える方法です。だから、彼はChatGPTに行って、今はイーサリアムを買うのに良い時期ですかと言うことを話していました。それは考える時間を与えても、ある程度一般的な答えを与えるでしょう。しかし、エージェント型AIは本当にあなたの研究チームを分解します。
だから、これは彼がこれら4つのエージェントをどのように作ったかの事例です。彼はスカウトという1つのエージェントを持っています。それは特定のものにアクセスできます。また別のエージェント、アナリストもいます。別のエージェント、コントラリアンもいます。彼は実際にこれが最も重要だと主張しています。その役割は皮肉屋になることです。批判することです。残酷な正直さで分解することです。
そして、レポーターは実際に自分で仮定を立てようとせずに、正確に答えを報告します。そして、記事の最も驚くべき部分は、通常のチャットでそれを行うことができるということでした。それは単に良いプロンプトです。本当に良い答えが欲しいなら、これらのステップのそれぞれについて考えさせ、それらをまとめるだけです。簡単です、何て言うか、簡単ピージーというかそういう表現です。
人々がよく言う完全な形は、easy peasy lemon squeezeyです。何を言っているのですか。次は、リウ・ミーの記事について話しましょう。私は自分が書いた詩で最初のAI曲を作りました。そして、それについてどう感じているか分かりません。コンテンツ制作の世界で音楽ツールとしてAIを使うことは不正行為でしょうか。なぜオーディオ生成が画像や動画とは大きく異なるように感じるのか分かりません。
美しい音楽や象徴性、歌や歌詞、カントリーフォークソング、ロックのもの、ラップのものについて聞くことは、私が生成されるのを見る他の多くのものよりも、何らかの理由でより非人間的に感じます。私の一部は、オーディオがとても良いとさえ信じたくありません。私はもうほとんど主流の音楽を聴きたくないのです。
覚えておいてください、それは本物のミュージシャンをサポートすることとは非常に異なります。それは私が喜んでしたいことです。そして、ライブイベントがすべてです。詩を通して自分が感じることを実際に表現し、それを歌に変えること。彼女はこの本当に美しい分解をします。ここを見てください、彼女の計画は内なる本当の満足を感じ、脳の腐敗と戦い、作曲を学び、AIを使って100%彼女の歌詞で歌を作る間ピアノを弾くことです。
そして目標は、彼女が自分でそれを把握したら、もはやAIを必要としないことです。そうすれば、誰かの仕事を奪うという罪悪感を感じないでしょう。さて、私は何をクリックしましたか。だから最初の詩はこれからLLMを使って詩節やコーラスを考え出すことに変わります。彼女の詩人の衣を着た後、彼女は深く感じられた隠喩や類推のいくつかを見ます。
それらは持ちこたえませんでした。うーん。そうですね。そして私はしばらくの間混乱した気持ちを持っていました。私はお気に入りの2つか3つのコメントを取って、それを疑似歌に変えてビデオを終わらせていました。だから、彼女と同じように感じました。曲は少し汚れていて、少し浅かったですが、コメントを歌に変えたものとしては信じられないほど良かったです。
韻を踏もうともしなかったのに、声の中にリズムを見つける方法を見つけ出し、それはいつも私の心を吹き飛ばしました。そして最も奇妙なことは、法律用語のランダムな部分を取って歌に変えると、それを良く聞こえるように見つけるリズムはほとんど創造的だということです。さて、この法律文書の一部を取りましょう。ここに記載された条件に従って、それは生成するのに少し時間が必要です。
だから、私はビデオの最後の記事をカバーして、それからその曲を再生します。
バイブコーディングとオープンソースの未来
WIREDからのこれについて話しましょう。バイブコーディングは新しいオープンソースで、彼らはそれが最悪の形だと考えています。だから、ここに比較があります。バイブコーディングはある種の無料で配るコードです。もしあなたが何かをバイブコードでまとめて、それがあまり安全ではなく、多くの人がそれをベースに構築しないことを知っているけれど、それはある種のプロトタイプで、外に出したいと思っているなら、それをオープンソースにするのはかなり簡単です。通常、それは
高価で時間がかかりません。だから、その意味で、バイブコードされたコード、バイブコードでいっぱいのGitHubリポジトリは、オープンソース化される可能性が高いだけです。そして、それらは重要ではなく誰も金を払わない理由がない、時間と才能がたくさんあるランダムなニッチにアピールするかもしれません。
だから、ある意味で、このオープンソース性とこのバイブコーディングは手を取り合って進んでいます。しかし、何が起こるかというと、バイブコーディングソフトウェアがGitHubに飛び込み始め、これらのユニークなソリューションを見つけ、それをダウRetry
SA
fd
ンロードして接続します。そして今、あなたはバイブコードの上にバイブコードを持つことになります。セキュアなコードが出て行って、これらの小さなニッチを見つけて、パッケージか何かを持ち込んでいます。
私たちは皆、AIのバイブコードの猶予期間がほぼ終わったことを認識し始める必要があります。システムをどれだけ大きく構築しても、単一の見落とされた脆弱性が多くのシステム全体に波及する技術的なカードの家を想像できます。そして、それが病院や銀行や中小企業なら、それは最悪です。
さて、私たちの歌に戻りましょう。では、これまでで最も退屈な歌詞を歌の形で。ハイプを押してください。そして、これが私たちが一緒に過ごしたこの壮大な時間のための美しいフィナーレです。
ここに記載された条件に従って、国へのいかなる規定も、覚書。私たちの理解、書面であろうとすべての当事者、私は保証代表として認めます、この文書が全体を構成することを、通信の独占的状態に関する
それは、ここから出て行け、野郎。あれはクレイジーでした。だから、いつも歌詞の2つのバージョンを作ります。1つが良くない場合に備えて。
国への、いかなる事前の現代的な合意においても、理解するかどうか、この文書、それぞれの権利の全体的な独占的状態、義務。
だから、ある意味で、それがこのような独特な言葉のセットを強制しなければならなかったので、さらに感情的で創造的であることがわかります。それは、同じ量の、たとえば、象徴やトークンや音節が含まれる3つのスタンザについてではありません。
そう。同じ量の音節です。あなたの脳がそれに沿って進んでいます。数回聞いて、パターンを学び始め、彼女の声の中に感情を感じます。それが本当に際立っているところです。そして、次のビデオでお会いしましょう。
コメント