51,991 文字
こんにちは、Cognitive Revolutionに戻ってきました。今日はズヴィ・モウショウィッツを彼の記録的な9回目の登場としてポッドキャストにお迎えできることを嬉しく思います。常連リスナーの皆さんご存知の通り、ズヴィはAIに深く精通しており、信じられないほど多くのAI情報を処理し、彼のブログ「Don’t worry about the vase」で、最も包括的で多面的な分析を行っています。
今回の会話のきっかけは、もちろんOpenAIのo3モデルのリリースです。これは強力ながらも混乱を招くリリースで、タイラー・カウエンは「AGI」と呼びましたが、OpenAIは報告し、コミュニティ全体がすでに広範囲に文書化しているように、前モデルの2倍のハルシネーション（誤作成）を生成するものです。私たちはo3をAGIと見なせるかどうかの議論から始め、OpenAIも報告しているように、o3はOpenAIの研究エンジニアが最近書いたプルリクエストの40%以上を完了できるということを踏まえて、再帰的自己改善（AI離陸とも呼ばれる）のプロセスがすでに始まっているかどうかについて話し合いました。
そこから、今日の奇妙な状況をどう理解するかなど、多くの重要なトピックについて議論しました。AIは科学を意味のある形で加速できることがますます明らかになっているようですが、DoorDashから確実に注文することさえまだできません。また、ズヴィの想像する超知能はどのようなものか、主要な国政選挙などにどのような影響を与えると予想されるかについても話し合いました。
また、Epoch AIの主要チームメンバーが最近退社してMechanizeを設立したことについても議論し、詳細は別として、ズヴィと私がなぜこのような平凡な作業を自動化する取り組みを支持する傾向があるのか、モデルをさらに高いレベルのG（汎用知能）に押し上げるよりもその理由について話し合いました。また、超人的AIで満たされた世界での安定した均衡を想像すること、ましてやそのような均衡への移行の非常に困難な課題、そしてなぜズヴィのP Doom（破滅確率）が現在70%にまで上昇したのかについても議論しました。
私たちは、Meta、Deepseek、その他の中国企業、Safe Super Intelligence、XAI、Anthropic、Google DeepMind、そしてもちろんOpenAIなど、現在のAIゲームにおける各主要プレイヤーを分析しました。今日のモデルがまだ比較的弱いうちにミスアライメント（不適合）の傾向を示していることについて感謝すべき理由、ズヴィが自律型キラーロボットをあまり心配していない理由、そして最後に、これらの全ての発展を踏まえて、個人として、また分野として何が徳の高い行動なのかについて分析しました。
いつものように、この会話は本当に楽しいものでした。ズヴィは率直に話し、私を笑わせ、また、別の激しい週の後の金曜日の夜遅くにこれをやってくれたことに本当に感謝しています。笑いは別として、ズヴィの見解の全てに私が同意するわけではもちろんありませんし、一般的に自分のPDoom推定値を固定しようとすることにあまり精神的エネルギーを費やしませんが、PDoomが上昇しているという広い感覚は共有しています。
人間データに対する事前学習と人間のフィードバックからの軽い強化学習が、人間の価値観を体現し、役立ち、正直で無害な任務に従って行動するモデルを本当に驚くほど生み出したように見えた時期の後、集中的な強化学習がより強力だがかなり明らかに問題のあるモデルを作り出していることが現在明らかになりつつあります。そのようなモデルがその明らかな問題にもかかわらずリリースされているだけでなく、コミュニティの多くの人々が欺瞞、策略、報酬ハッキング、その他の悪い行動の重要性を過小評価しようとしていることです。
これは、AIを愛するか恐れるか、あるいはその両方かにかかわらず、誰もが理解し明確にコミュニケーションを取るべきことだと強く感じています。こうした問題は、より実存的なリスクが現実化することがなくても、AIに対する大衆の反発を引き起こす可能性が非常に高いと考えています。私の役割として、私はAIの悪い行動を文書化したスライドデッキを作成しました。ショーノートでリンクを提供します。あなた自身のAIコミュニケーションのために自由に借用してください。
また、今後数ヶ月間に3つの主要なAIイベントで基調講演を行うことを嬉しく思います。まず、5月28日から30日にラスベガスで開催されるImagine AI Liveでは、今日のAIシステムに見られる驚きの瞬間と悪い行動の奇妙な組み合わせ、そして人々がどのように良いものを活用しながら悪いものから身を守るべきかについて話します。次に8月12日と13日にブラジルのサンパウロで第2回Adaptaサミットに参加し、AIエージェントと最新の開発を含むAI自動化について再び講演します。最後に9月23日から25日、再びラスベガスで、Enterprise Tech Leadership Summitでシニアテクノロジーリーダーの聴衆に向けて、上記のトピックとその間に出現するかもしれない重要な新しい発展について講演します。
これらのイベントはどれも素晴らしい講演者ラインナップがあり、私も含まれていることを非常に光栄に思います。もし参加される予定があれば、お気軽にご連絡ください。私は常に参加するイベントからできるだけ多くを学ぼうとしており、リスナーと会うことは強力で楽しい方法です。
最後に、自己宣伝をしている間に、もしあなたが組織のためにAI自動化、アプリケーション、エージェント、または採用戦略に取り組んでいて、私が役立てると思われる場合は、連絡を取ることをお勧めします。現在、3つの異なる企業と月に数時間ずつ協力しており、プロンプトとワークフローの最適化などの狭く焦点を絞った問題から、マルチエージェントシステム設計などの最先端の課題、戦略的機会の特定と優先順位付けといった高レベルな問題まで対応しています。これらの関わりは自然なウィンウィンであることがわかりました。企業がAIプロジェクトを自信を持って加速するのを助け、また私自身も今日のAI展開の実践的な現実、つまりゴムが道路に当たっている場所にしっかりと根ざしていられます。
いつものように、講演依頼、AIアドバイザリープロジェクト、またはポッドキャストへのフィードバックなどについては、ウェブサイトcognitiverevolution.aiを通じて、または好きなソーシャルネットワークでDMを送ることで連絡できます。今回は、最新のニュースとAIにおける最も重要な全体像の展開について、必須ブログ「Don’t worry about the vase」の著者である素晴らしいズヴィ・モウショウィッツとの幅広い会話をお楽しみください。
ズヴィ・モウショウィッツ、Cognitive Revolutionへようこそ。
ありがとう、ありがとう。
あなたは最新の1万語に及ぶ発信を終えたばかりで、私が滅多に見たことがないほど情報に酔いしれているようですね。私たちはここで、人々が読むよりも聞きたいと思う人のために音声版を作成していますが、もちろん通常の投稿には私たちが合わせられないほどの包括性のレベルがあるので、これがブログ自体の代替品と見なされるべきではありません。
投稿は正典です。投稿は考える時間があった後に私が言ったことですが、これはその場で言っていることです。これは私が実際に考えていることなので、お楽しみください。
では始めましょう。最初の大きな質問は、AGIはここにあるのか、そしてRSI（再帰的自己改善）はここにあるのかということです。
いいえ、そしてほとんどいいえです。03がポテンシャルで高いという主張があることは理解していますが、報告から理解すればするほど、そして使えば使うほど、それは素晴らしいと思いますが、明らかにAGIではありません。それは起こっていることではありません。これは主に知能の飛躍ではなく、ツール使用の飛躍です。03は私たちがすでに持っていたものの、はるかに使いやすいバージョンです。あなたが欲しいものを得るのが、あなたが望む方法で合理的な時間内にあなたが望むことに合うように、特定のボックスに強制されることなく、はるかに簡単になりました。それは素晴らしいことであり、非常に役立つでしょうが、AGIではありません。
ディランは興味深いフレームを持っていたと思います。彼は「AGIがどれくらい知的になると期待していましたか？」と言いました。そこで、あなたが何年前に03を受け取っていたら「うん、これはAGIに違いない、他に何があり得るだろう」と言っていたと思いますか？
質問をこう変えるとしたら、何年前だったら03を見て「うわー」と思ったでしょうか。答えは2年くらいだと思います。4年前なら確実に「顔色が変わるほど驚き、どうしてこれが存在するのか、どうしてこれがこんなに早く可能になったのか」と思ったでしょう。しかしそれはAGIだと言うのとは非常に異なります。
私たちが一般的にAGIと理解しているのは、人間ができるすべてのことができるもの、基本的にどこにでも差し込んで、認知作業のすべてを行うことができるものです。タイラーは用語の定義を広く、あなたが使っている定義は愚かだと擁護していると思います。彼が問うているのは「それは私より賢いか？」であり、彼の観点からは答えはイエスです。彼は「スマート」の定義を間違っていると思います。
実際、私は彼のコメントを見て、最後に扱うことにしました。キューにある他のすべてを通過してから、最後の執筆でタイラー・カリンズの計画に取り組むことにしました。なぜなら、この質問を評価する前にすべての文脈を理解したかったからです。他のすべての主張を見ていくことで、03が何であるかを理解でき、タイラーの主張とその理由を理解できました。それは彼が一日中価値を置いている、彼が考える方法に消費されているものを正確に行う非常に優れたプログラムだということです。
彼の例を見ると、あらゆることについて大量の詳細、特定の事実を取得し、それらの事実間のつながりを作り、それらの事実を構造化し、関連するものを見つけ、それをあなたに提示することができます。彼はそれを一日中食べています。それは彼がやることです。私が望んでもできるよりはるかに速くそれを行います。それは素晴らしいスキルで、感動します。しかし、それは私の脳の働き方ではありません。
私は全く異なる方法で多くのコンテンツを生成します。情報を全体像を理解する論理的な方法の一部として考え、それが論理的な図に合わなければ関連性がないように思え、跳ね返るでしょう。同様に、それがパターンの一部のように見えたら、パターンを理解した後はもはやそのパターンの詳細は必要ありません。
彼は3つの例を挙げました。AGIだと主張した時に。例えば、なぜこの画家の初期の絵画が後期の絵画よりもはるかに価値があるのかという点について話しています。これは、常に自分自身を再発明しなかったアーティストにとっては非常に一般的なパターンの一部です。初期には、最初と見なされる、ユニークと見なされる、見つけるのが難しい、特別なものをしています。03が指摘しなかったと思うことの一つは、過去20年間でコレクティブルの価値の極端化が進んだことです。最も良い状態の物、実際にユニークな最初の物、その人が作った最高の絵画、非常に特別なものが、ほぼ同等の物の10倍の価値を持つようになりました。
マジック：ザ・ギャザリングのプレイヤーとして、これは長い間私を混乱させました。なぜ同じものだが少し見た目が良いものが、はるかに価値があるのかと。プレイは同じなのに。しかし、それは人々が気にすることではないのです。基本的には、需要と供給があり、最高、最もユニーク、最も高いステータス、最も代表的なものと見なされるものがあります。それは標準的なことです。だから私はこのアーティストについて何も知らなくても、答えを自分で出すことができます。
同様に、作家と彼の散文が素晴らしい理由についても、良い散文があり、人々がそれを好むというだけです。この特定の人についての詳細を追加しても、私には関係ありません。
ノックスビル・テネシーの関税の影響についての質問も、すべての人にとって悪いことになるでしょう。関税は巨大な自爆です。すべての製造業が輸入するので、彼らは競争力を失い、災害になるでしょう。詳細をありがとう、おめでとう。これは深い調査であり、あなたの地区がこのことに反対すべき理由を証明するための議員へのブリーフィングを提供しているようなものです。それは役に立つものではありません。
これは私とタイラーの間の、世界の何が興味深いかについての持続的な意見の相違です。彼は私の考えでは、これらの詳細をすべて吸収するために旅行をします。そして、旅行するたびに、あなたがいる場所について、これらすべての詳細を得ることができます。彼はこれが場所を理解するために必要だと感じており、これらすべての詳細が世界を理解するのに役立つと考えています。これは、物事を理解する人になる方法です。私にとってはそうではありません。私の観点からは、これらの場所について知る必要があることをほぼ理解しています。もし楽しんでいないなら、これらの無関係な詳細を集めて回るのは非常に非効率的なことです。
それは世界を見る異なる方法であり、もちろん彼のように考え、彼がやっていることを非常にうまくやっているものが、彼がそれをAGIと呼ぶものになるでしょう。彼はAGIの論文にAプラスをつけるでしょう。それでいいでしょう。
これは数回前のポッドキャストでドワレシュが言っていたことを思い出させます。彼は基本的に、これらのAIはタイラー・カウエンのようだと言いました。信じられないほどの情報量を吸収し、明らかに全インターネットを読んでいて、おそらくどんな人間よりもGPQAや「人類最後の試験」などをする能力が高いと思います。そのような知識の幅を持つのは極めて珍しいことです。しかし、彼は問いかけます。なぜこれらのものが、これらの領域にわたって本当に新しい興味深いつながりを生み出しているのを見ないのだろうか？と。私たちはただそれほど一生懸命試していないだけかもしれません。
私が「ダム、そのAIは私より賢いようだ」と非常に明確に感じた最初の時は、以前にもちらっと感じたことはありましたが、最近Googleのヴィヴェックとニールとエピソードを行い、彼らはGoogleでAI医師とAI共同科学者を構築しました。共同科学者は3つのレベルの科学的チャレンジでテストされ、最も難しいものは基本的に、薬剤耐性を持つ異なる種類のバクテリアによって保存されている何かについての観察から始まりました。
AIに投げかけられた質問は基本的に「ここで何が起きているのか？」というものでした。彼らのセットアップではAIはGemini 2.0（2.5ではない）を使い、検索能力と、Alphafoldやその他の特殊なツールを呼び出す能力を持っていました。そして、アイデアを生み出したり評価したりするための一連の異なるプロンプトがありました。
このプロセスの終わりに（数日間実行したと思います）、優先順位付けされた仮説のリストを出力し、彼らが優先した仮説第1位は、Googleがパートナーシップを組んでいた科学者グループによって実験的に証明されていたが、まだ発表されていないものでした。彼らの話によると、AIが基本的に文献を調べて同じ結論に達したことを聞いて、彼らは椅子から落ちそうになったそうです。
これはあなたにとってどう響きますか？それはAGIですか？そして、Gemini 2の代わりにo3で再実行した場合、これは私たちが本格的なAI科学者のような質的な変化を得ることになるのでしょうか？天才たちがデータセンターに入り込み始めているように感じるのは難しいです。
それは確かに奇妙です。これは人間のスキルの問題だと強く疑っています。もし私がAI Scientist Corpの責任者として10億ドルを与えられたら、必要なコンピュータを持ち、望む人を雇い、すべてを試すことができたら、これらのつながりを見つけ始め、これらのことを行えるでしょう。完璧なシミュレーションはできないので、実験を試して、フィードバックを得る必要がありますが。
注目すべきは、AIが仮説を立てることと、科学者がそれを証明することの間には違いがあることです。物理的な世界とやり取りすることなく、完全な爆発を得る段階にはまだ達していません。まだ遠いですが、私たちは機能の引き出しが非常に下手で、足場の構築が下手で、これらの質問に取り組む際のループやツールの使用、論理の作成が下手です。それは人々の優先事項ではなかったからです。科学者はそれほど多くないし、人々が焦点を当てていなかったからです。
それは特に難しいことではないと思います。私が考えている明らかなことをコミュニティが試してみて、どれも機能せず、なぜなのかを理解していないか、理解しているのかもしれません。Google AI科学者を見ると、彼らは実世界での科学的プロセスで人間がどのように働くかを正確に複製しようとしていることが非常に明確です。それが機能することを知っているからです。
私たちが持っているツールをどのように使って、持っているものを生成するかを考える代わりにです。特に、科学者は10億ドルの計算予算を持っていません。私たちは基礎研究を適切に評価しておらず、必要なリソースを提供していません。私が試してみたいと思うことの多くは、多くのことを試すことを含んでいます。
あなたが事実間のつながりを引き出したいとします。100万の事実があるとします。100万かける100万は1兆で、それはそれほど多くありません。クエリのコストはどれくらいでしょうか？もっと賢くなれば、クラスターを使ったり、完全な掛け算をする必要がなかったり、どの組み合わせをチェックする必要があるかを見分けるために判断力を使ったりすることができます。
重要な意味で、本当に創造的になることができますが、6ヶ月待てば、すべてのコストが10%になるので、なぜこの問題に計算能力を全てつぎ込む必要があるのでしょうか？ロビーがよりスマートでより効率的になるのを待つことができます。
しかし、製薬会社はこれに全力を注ぐべきではないでしょうか？Gemini 2.0で動く科学者を数日間運用するコストは、数百から数千ドルくらいだと私は推測しています。それが1万ドルになったとしても、あなたが製薬会社なら、API（Application Programming Interface）をガンガン叩くべきです。ハイパースケーラーが互いに対して持っているのと同様のゲーム理論的な問いがあるからです。彼らはすべてGPUを購入し、モデルのフロンティアで遅れを取りたくないのです。なぜ私たちは、製薬会社が「特許を取得できるのはこれだけだ、共同科学者の実行が1万ドルかかっても、5、2、あるいは5、6ヶ月かかっても、Googleがそれをデリスク化してくれるだろう」と言ってレースをしているのを見ないのでしょうか？
全真面目に言うと、実際の答えは、人々が物事をしないということです。人々は実行せず、リスクを取らず、変に見えることをしません。人々は非常に適応が遅く、大企業はさらにそうです。これは拡散の問題です。テラ・ツォバノフスキが「ボトルネック、ボトルネック、ボトルネック、ボトルネック」と言っているのはこれです。これは理由が単に人々が「そうしようとしない」ということである場合です。
考えてみてください、私でさえ、毎日これについて書いていますが、使っているツールと自動化のレベル、できることを正直に見たら、少し時間を取って、コードを書くか、もっと良いものを作る人を雇うべきです。いくつかはやりましたが、もっとできるはずです。数ヶ月前と比べて、おそらく2〜5倍速く作業できるようになりました。それだけ良くなったからです。
人々がパターンから抜け出して、適応し、探索し、新しいことを試すのは非常に難しいのです。私たちは一日を乗り切ろうとし、物事を実行しようとしているだけです。しかし、その日が来るでしょう。また、すべてが数ヶ月で再び改善するという脱道徳化のためでもあります。
休止があったとしましょう。皆が合意したからではなく、基本モデルに関して巨大な壁に当たり、これ以上良くならないとなったとしましょう。安くならず、良くならず、o4、o5、TBD5、quad 4、Gemini 3を得ても、5%良くなるだけ、10%良くなるだけで、素晴らしくはないとしましょう。そうすると、「これが勝手に起こるのを待つことはできない、これを起こすのはあなたの責任だ、このものを使う方法を見つけることはあなたの責任だ、そしてあなたはこのものを使う時間を持つことになる、それはすべてが吹き飛ばされる前のほんの数ヶ月ではない」となるでしょう。そうすれば、本当に創造的なことが見られるようになり、今持っているものから多くを引き出せるようになるでしょう。現在は誰もが追いつこうとしているだけです。
私たちは言及したように、私自身もまた自動化された生活をあまり送っていないと考えることがあります。そして自分自身に挑戦しています。なぜなのか、私は何か愚かなことをしているのだろうか？と。自分に対する慈悲深い答えの一つは、私はあまり日常的な作業をしていないということです。これは私が当たり前だと思っていない素晴らしい贅沢です。そのため、リアルタイムアシスタントのパラダイムは非定型の作業にとっては適切な形式だからです。
もっと日常的な作業があれば、ワークフローやパイプラインを設定するだろうと自分に言い聞かせています。しかし、そうではありません。しかし、私は自分を甘やかしすぎているのではないかと考えています。もしかしたら、AIで自動化できるはずなのに行っていない定型作業を考え出すべきなのか、想像力がないのか、創造的でないのか、十分に努力していないのかもしれません。
私にとって、より自動化された生活を送る上でのボトルネックは、私自身が自動化したいと思う定型タスクをあまり行っていないことと、最初からまったく行っていないことを自動化するアイデアが少ないことです。あなたは意識している何かがありますか？モウショウィッツ++はAI自動化で既にスケールアップしているはずだと思うことはありますか？
それは常に、自動化が十分に良いかどうか、実際にそれを使うことで時間を節約し、仕事のチェックに時間を費やさず、手動バージョンを実行する時間を費やさないかという質問でした。間違いなく、かなりの量のタスクがあります。
自分のためのメモやリソースの整理、将来の参照のための事実やリンクの整理などは素晴らしいでしょう。しかし、それを自動化するのは非常に難しいです。AIはあなたが何を覚えておきたいのかを知らないからです。ウェブサイトのフォーマットについても、いくつかやってみました。Twitterへの自動ポートを作りたかったのですが、それは驚くほど厄介な問題です。
普通、AIに「Xをする、Yをするコードを書け」と頼むと、Yを行うことはAIが理解して解決するのは非常に簡単なことです。しかし、既存のウェブサイト、特にひどくコーディングされたTwitterのようなものをナビゲートしようとすると、行ったり来たりしてデバッグし、何かをさせようとする問題にぶつかります。過去にはそれは非常にひどいものでした。もしフィードバックデバッグループを自動で行わせることができるなら、おそらくずっと簡単になるでしょう。それを正しく動かすには多くの異なるハッキー的なことをする必要がありますが、それは多くの時間を節約するでしょう。
フォーマット関連では、ウェブとの相互作用の方法を変え、多くのショートカットや、データを変換する素早い方法を作りたいと思っています。それは素晴らしいことですが、そこから始めると、常に何かが起こっています。そして、巨大なタスクリストの先に進むことができてやっと自由な日ができると思ったら、誰かが3時間のポッドキャストに誘ってきて、その日は無駄になります。そうではなく、すべてのことをした後で精神的に疲れ果て、時間ができて嬉しいので、「映画を見に行ったり、外に出て素敵な夕食を楽しんだり、ただリラックスしたりしよう」と思ってしまうのです。そして、リラックスし終わる頃には、また何か他のことがあります。
私はやることリストに多くの項目があり、やりたいことがたくさんあります。人々は「どうやってこれら全部をやるの？」と聞きますが、答えは「他に何もしないからです」。私はたくさん働き、家族と過ごし、リラックスし、テレビを見て、ポッドキャストを聴きます。基本的にはそれだけです。運動し、食事をするなどもありますが、それだけです。
コーディングの時間を作ることも、私にとってはスケールの大きな増加リターンがあります。問題を解決するマインドセットに自分の脳を巻き込んでいるという点で。プログラマーは状態を保持したがります。彼らは解決している問題を頭の中に保持し、気が散らないようにしたいのです。私は1日5分のプログラミングをすることはできません。それは誰の役にも立ちません。無用です。
何時間も専念する必要があります。本当に大量の専用の自由時間が必要で、自分が持っているものに深く掘り下げ、cursorやquad code、あるいはcodeexを読み込んで、自分のことをやって、何ができるか見る必要があります。しかし、投資をするのに適切な時間とは感じられません。投資をした時は、時間的に元を取ったと思いますが、それは本当に苦労しました。
プログラミングの問題空間に入るのは難しいと感じます。毎週1日、というよりは2週間に1日くらいのペースで本格的にプログラミングしようとしています。しかし、朝座ってみると「2週間前は何をしていたんだっけ？」と思い、問題に自分を再較正したり再方向付けたりする時間が必要です。
面白いことに、それはAIが本当に輝く分野の一つです。実際に役立ったヒントの一つで、今まであまり考えていなかったことですが、2週間前のチャットを、途中であっても、どこで終わったとしても拾い上げることです。「どこまで来ていて、最後に何をしたのか」というスレッドに戻ることです。
その種のことに関する私の経験は、時には機能し、時には大災害になり、決して復旧できないということです。私にとって、コーディングはしばしば禁断の魔術師の呪文の本から読むようなものです。言葉を言い間違えないように本当に願い、間違った悪魔を召喚しないようにします。一連のエラーメッセージが出て、すべてが正確に進めば素晴らしいことが起こりますが、小さなミスをすると、それがどこにあるのか理解できず、それが何であるかを理解するのが難しいので、回復するのが非常に難しくなります。
AIは時々あなたを救ってくれます。なぜなら、エラーを貼り付けると、AIは「ああ、これがあなたがやったことです」と言い、「素晴らしい、戻りました」となります。しかし、そうでなければ、本当に困ってしまいます。だから、もっと投資すべきですが、「このツアーに参加して」「この会議に行って」「この活動に参加して」「これをやって」と次から次へと続き、時間を確保するのが本当に難しいのです。
03に取り組んだので、他のすべてよりも1日遅れているだけだと思います。追いつくためにはあと数時間の作業が必要ですが、その後、今週末に何かできるかもしれません。次の週に何かできるかもしれません。何が起こるかによります。もしGoogleが2.5 Flashをリリースして、誰も気づかなかったらどうでしょう？
それは本当に奇妙なことですね。今日の議題にはないですが、昨日起こりました。それは非常に良いと確信しています。まだ使っていませんが、おそらく良いでしょう。私はGemini 2.0の大ファンでした。十分なベンチマークを見て、そのサイズのモデルがそれほど良いスコアを出しているなら、そして2.0がどれだけ良いかを考えると、そのサイズでは素晴らしいモデルになるでしょう。しかし、実用的な観点からは、それで何ができるかわかりません。いずれにせよ無料で使用するつもりです。
別の思考実験があります。知識労働者の現在のボトルネックは、主にいくつかのことに絞られると思います。一つは単にコンピュータを効果的に使用する能力です。それはちょっと保留にして、後で戻りましょう。もう一つは、私たちが新しい仕事をする時のように、周囲の文脈を合理的な方法で吸収する能力です。少しのトレーニングを受け、それは役立ちますが、その後はスラックチャンネルをうろうろしたり、人々と話したり、彼らの成果物を見たりして、最終的に何かが正しくないというフィードバックを受け、そして最終的にそれを理解するようになります。
現在の最新世代のモデルの知能レベルと世界知識の幅を持つAIが、追加のトレーニング、あるいは単に処理や記憶、あるいは長いコンテキストを持つことができる可能性があるように思えます。今日我々が持っているよりも賢くないが、組織に入り込み、すべての古いメール、すべての古いGitHubの問題、すべてのGoogleドライブ、CRMで送信されたすべての提案を見ることができるAIを想像してみてください。そしてそれらを人間よりはるかに速く処理できます。そして「わかりました」というようなことが出てきます。リトアニアの首相が5年前に誰だったかを私が知っているのと同じように、私はただ何でも知っているからです。そのような方法でこの会社についてのあらゆることを知るようになるのです。
それはAGIですか？もしそれがその方法でほぼすべてのタスク、デスクから行うことができるほとんどの仕事を行うことができるなら。
はい、AGIと考える必要があるでしょう。しかし、それはAI研究者の仕事もできることを意味します。それはある意味では比較的簡単なタスクであり、他の意味では難しいものです。自動化の順序でリストの終わりに近いものではありませんが、もちろんそうです。
私がジェーン・ストリートにいた時のことを思い返すと、新入社員には少なくとも1年間は実質的に損失が出ていました。あなたが価値を創出していないからではなく、他の人々があなたをトレーニングし続け、あなたをより良くし、フィードバックを与え、あなた自身が学ぶことができるようにするために費やす時間の量があまりに多いからです。他の誰かがあなたがやっていることをより良くできるのに、あなたがそれを行っているのは、あなた自身がそれを行う方法を学ぶことができるようにするためです。
最初の1年間は、彼らはあなたを雇ったために少ないお金を持っていました。あなたが現実的にできる最善を尽くしていたとしても、90パーセンタイルの人ほどではなかったとしてもです。その投資のレベルを考え、投入作業をさせる前に10%の投資を必要とするなら、ほぼゼロの企業がそれを許容するでしょう。
話を続ける前に、スポンサーからのメッセージを少しお伝えします。
[スポンサーメッセージの内容は省略します]
さて、これもあなた自身のための質問ですが、私はこれについてよく考えています。明らかに一日中これについて考え、書くよりも話すことが多いですが、両方少しあります。私は多くのものを使いますが、まだ非常に自動化された生活を送っていません。そして自分に挑戦しています。なぜそうなのか、私は何か愚かなことをしているのかと。一つの答え、自分に対して慈悲深い答えは、私はあまり日常的な作業をしていないということです。これは私が当たり前だと思っていない素晴らしい贅沢です。
リアルタイムアシスタントのパラダイムは、非定型作業のための適切な形式です。もっと日常的な作業があれば、これらのワークフローやパイプラインを設定するだろうと自分に言い聞かせていますが、そうではありません。しかし、私は自分を甘やかしすぎているのではないかと考えています。もしかしたら、AIで自動化できるはずなのに行っていない定型作業を考え出すべきなのか、想像力がないのか、創造的でないのか、十分に努力していないのかもしれません。
あなたにとって、より自動化された生活を送る上でのボトルネックとなるような、AIでスケールアップしているはずなのに、まだやっていないことはありますか？
それは常に、自動化が十分に良いかどうか、実際にそれを使って時間を節約し、その作業をチェックする時間や手動でやる時間を使わないかどうかという問題です。確かに、かなりの量のチャンクがあります。
メモの作成や自分のためのリソースの整理、将来の参照のための事実やリンクの整理などは素晴らしいでしょう。しかし、それを自動化するのは非常に難しいです。AIはあなたが何を覚えておきたいのかを知らないからです。ウェブサイトのフォーマットについては、いくつか試しました。TwitterへのAI自動ポートを作りたかったのですが、それは驚くほど厄介な問題でした。あなたがやろうとしていることの構造のために、普通なら「XやYをするコードを書け」と言えばYを行うことはAIにとって非常に簡単なことですが、既存のウェブサイト、特に下手にコーディングされたTwitterのようなものをナビゲートしようとすると、行ったり来たりしデバッグし、何かをさせようとする問題に遭遇します。過去にはそれは非常に恐ろしいものでした。
もし自分自身のフィードバックデバッグループを実行させることができるなら、おそらくずっと簡単になるでしょう。それを正しく動かすには多くの異なるハッキー的なことをする必要がありますが、それは多くの時間を節約するでしょう。フォーマット関連では、ウェブとの相互作用の方法を変え、多くのショートカットやデータを変換する素早い方法を作りたいと思っています。
しかし、そこから始めると、常に何かが起こっています。そして、あなたがこの巨大なタスクリストの先に進むことができてやっと自由な日ができると思ったら、誰かが3時間のポッドキャストに誘ってきて、その日は無駄になるのです。実際に言おうとしたのは、すべてのことをした後で精神的に疲れ果て、時間ができて嬉しいので、「映画を見に行こう」「外に出て素敵な夕食を楽しもう」「ただリラックスしよう」と思ってしまうことです。そして、リラックスし終わる頃には、また何か他のことがあります。
私はやることリストに多くの項目があり、やりたいことがたくさんあります。人々は「どうやってこれら全部をやるの？」と聞きますが、答えは「他に何もしないからです」。私はたくさん働き、家族と過ごし、リラックスし、テレビを見て、ポッドキャストを聴きます。基本的にはそれだけです。運動し、食事をするなどもありますが、それだけです。
コーディングの時間を作ることも、私にとってはスケールの大きな増加リターンがあります。問題を解決するマインドセットに自分の脳を巻き込んでいるという点で。プログラマーは状態を保持したがります。彼らは解決している問題を頭の中に保持し、気が散らないようにしたいのです。私は1日5分のプログラミングをすることはできません。それは誰の役にも立ちません。無用です。
何時間も専念する必要があります。本当に大量の専用の自由時間が必要で、自分が持っているものに深く掘り下げ、cursorやquad code、あるいはcodeexを読み込んで、自分のことをやって、何ができるか見る必要があります。しかし、投資をするのに適切な時間とは感じられません。投資をした時は、時間的に元を取ったと思いますが、それは本当に苦労しました。
プログラミングの問題空間に入るのは難しいと感じます。毎週1日、というよりは2週間に1日くらいのペースで本格的にプログラミングしようとしています。しかし、朝座ってみると「2週間前は何をしていたんだっけ？」と思い、問題に自分を再較正したり再方向付けたりする時間が必要です。
面白いことに、それはAIが本当に輝く分野の一つです。実際に役立ったヒントの一つで、今まであまり考えていなかったことですが、2週間前のチャットを、途中であっても、どこで終わったとしても拾い上げることです。「どこまで来ていて、最後に何をしたのか」というスレッドに戻ることです。
その種のことに関する私の経験は、時には機能し、時には大災害になり、決して復旧できないということです。コーディングはしばしば、禁断の魔術師の呪文の本から読むようなものです。言葉を言い間違えないように本当に願い、間違った悪魔を召喚しないようにします。一連のエラーメッセージが出て、すべてが正確に進めば素晴らしいことが起こりますが、小さなミスをすると、それがどこにあるのか理解できず、それが何であるかを理解するのが難しいので、回復するのが非常に難しくなります。
AIは時々あなたを救ってくれます。なぜなら、エラーを貼り付けると、AIは「ああ、これがあなたがやったことです、素晴らしい、戻りました」と言ってくれます。しかし、そうでなければ、本当に困ってしまいます。だから、もっと投資すべきですが、「このツアーに参加して」「この会議に行って」「この活動に参加して」「これをやって」と次から次へと続き、時間を確保するのが本当に難しいのです。
03に取り組んだので、他のすべてよりも1日遅れているだけだと思います。追いつくためにはあと数時間の作業が必要ですが、その後、今週末に何かできるかもしれません。次の週に何かできるかもしれません。何が起こるかによります。もしGoogleが2.5 Flashをリリースして、誰も気づかなかったらどうでしょう？
それは本当に奇妙なことですね。今日の議題にはないですが、昨日起こりました。それは非常に良いと確信しています。まだ使っていませんが、おそらく良いでしょう。私はGemini 2.0の大ファンでした。十分なベンチマークを見て、そのサイズのモデルがそれほど良いスコアを出しているなら、そして2.0がどれだけ良いかを考えると、そのサイズでは素晴らしいモデルになるでしょう。しかし、実用的な観点からは、それで何ができるかわかりません。いずれにせよ無料で使用するつもりです。
別の思考実験があります。知識労働者の現在のボトルネックは、主にいくつかのことに絞られると思います。一つは単にコンピュータを効果的に使用する能力です。それはちょっと保留にして、後で戻りましょう。もう一つは、私たちが新しい仕事をする時のように、周囲の文脈を合理的な方法で吸収する能力です。少しのトレーニングを受け、それは役立ちますが、その後はスラックチャンネルをうろうろしたり、人々と話したり、彼らの成果物を見たりして、最終的に何かが正しくないというフィードバックを受け、そして最終的にそれを理解するようになります。
現在の最新世代のモデルの知能レベルと世界知識の幅を持つAIが、追加のトレーニング、あるいは単に処理や記憶、あるいは長いコンテキストを持つことができる可能性があるように思えます。今日我々が持っているよりも賢くないが、組織に入り込み、すべての古いメール、すべての古いGitHubの問題、すべてのGoogleドライブ、CRMで送信されたすべての提案を見ることができるAIを想像してみてください。そしてそれらを人間よりはるかに速く処理できます。そして「わかりました」というようなことが出てきます。リトアニアの首相が5年前に誰だったかを私が知っているのと同じように、私はただ何でも知っているからです。そのような方法でこの会社についてのあらゆることを知るようになるのです。
それはAGIですか？もしそれがその方法でほぼすべてのタスク、デスクから行うことができるほとんどの仕事を行うことができるなら。
はい、AGIと考える必要があるでしょう。しかし、それはAI研究者の仕事もできることを意味します。それはある意味では比較的簡単なタスクであり、他の意味では難しいものです。自動化の順序でリストの終わりに近いものではありませんが、もちろんそうです。
私がジェーン・ストリートにいた時のことを思い返すと、新入社員には少なくとも1年間は実質的に損失が出ていました。あなたが価値を創出していないからではなく、他の人々があなたをトレーニングし続け、あなたをより良くし、フィードバックを与え、あなた自身が学ぶことができるようにするために費やす時間の量があまりに多いからです。他の誰かがあなたがやっていることをより良くできるのに、あなたがそれを行っているのは、あなた自身がそれを行う方法を学ぶことができるようにするためです。
最初の1年間は、彼らはあなたを雇ったために少ないお金を持っていました。あなたが現実的にできる最善を尽くしていたとしても、90パーセンタイルの人ほどではなかったとしてもです。その投資のレベルを考え、投入作業をさせる前に10%の投資を必要とするなら、ほぼゼロの企業がそれを許容するでしょう。
話を続ける前に、スポンサーからのメッセージをお伝えします。
[スポンサーメッセージの詳細は省略します]
これは本当に興味深い主張です。なぜなら、私の仮説では、ジェーン・ストリートの初年度の給与は知りませんが、GPT-4oや4iをファインチューニングする概算コストは、ファインチューニングトレーニングデータ100万トークンあたり$25です。特定の企業にどれくらいのトークンがあるかを言えば、それは広く変動するでしょう。実際に1兆あるなら、100万×100万×25でいくと、$2500万になります。インターネットの5%くらいのデータ量なら注目に値します。
しかし、私のビジネスは1兆トークンはないでしょう。おそらく10億くらいあるとすれば、$25,000の投資を見ていることになります。すべてをファインチューニングするためには。文字通りそれをすることはできないと思います。
もちろん思い浮かぶのは、スラックでトレーニングされたモデルの有名なOpenAIのグラフィックです。「これをやって」と言うと、「明日それに取り組みます」と言います。なぜなら、スラックでそれを見たからです。確かに、このようなランダムな悪いデータを処理する必要があるでしょう。
問題は、100万トークンや10億トークンを与えることができても、それらのトークンを単純にトレーニングするだけでは、トークンに記述されていることができるようになるわけではないということです。処理のパイプライン、フィルタリング、変換、機械学習が地球上で最も細かいものであることを確認する必要があります。試行錯誤、実践による学習、何が機能するかを見て、それを機能させるためのすべてのカスタム作業を行う必要があります。それはプラグアンドプレイとは非常に異なります。
OpenAIが「$500,000を払えば、自動化された作業者をトレーニングし、それをコピーごとに年間$20,000でライセンスします」と言ったら、人々は飛びつくでしょう。トークンを説明せずにすべてのトークンを投入するだけで済むなら。しかし、それは機能しないでしょう。OpenAIでさえ、トークンが何であるかを知っていても、ただトークンを投入するだけではできません。なぜなら、トークンのコンテキストを提供し、トークンを整理し、それで何をしたいのかを知る必要があるからです。そして、OpenAIはそれをどのように実際のプロパーなチューニングプログラムに変換するかを理解する必要があります。あなたの従業員と密接に協力する必要があります。これは簡単なことではなく、AIがあなたのためにこのトレーニングプロセスを設定する仕事をするポイントに達するまでは、これは非常に人間的な試行錯誤のようなスタイルのものになるでしょう。今のところよりずっと上にならない限り、それはますます近づいていますが。
オペレーターは、基本的に誰もが同じようにやっている簡単なタスクでさえも、驚くほど下手でした。私はプロの価値を払っていましたが、それを使おうとして、それが機能するために必要な情報を与えることに時間を使いたくありませんでした。今日実際に、ドアダッシュを使おうとして、オペレーターにドアダッシュをさせることを学ぶべきか考えましたが、「レタスなし、トマトなし」と言う方法を理解する必要があると思ったので、やめました。私はただ食べ物が欲しいだけです。そして、それでアイデアは終わりました。それはその種の衝動ですが、スケールを大きくしたものです。
このタスクの信頼性について、もう少し後で戻りましょう。私たちは、あなたの情報の追加トレーニングと処理、そしてカスタム知識ワーカーのトレーニングがかなり近いかもしれないと感じています。二つの理由があり、それは他にも多くの意味を持ちます。
一つは私自身の経験です。私の限られたコーディング時間が最近向かった大きな場所は、emergent misalignmentプロジェクトに小さな貢献をすることでした。正直に言って、チームは最後で最も価値の低い共著者として私を含めるのにとても親切でした。彼らが私をまったく含めなかったとしても理解できたでしょう。
しかし、Gemini 2.5で、私は研究コードベース全体（実際にはすべてのコードとデータの一部）を取り、スクリプトを書いて（もちろんAIを使って）、研究コードベース全体からすべてのコードを一つのファイルに出力するように指示しました。それはあまりに大きくなったので、「なぜこんなに大きいの？」と聞くと、「データセットが含まれています」と答えたので、「各データセットの最初の例だけを示し、すべてのコードを表示して」と頼みました。このプロジェクトの特定のコードベースでは約40万トークンになりました。
それに加えて論文自体があり、いくつかの追加をしました（ほとんどのコーディングにAIを使用して）。私は更新されたコードベースと論文を戻して、何が起きているのか理解していることを確認したかったので、何が起きているのか教えてくれるよう依頼し、ネイサンフォルダーにある新しいものを理解していることを確認しました（研究用コードベースなので、ヤンフォルダーとダニエルフォルダーがあり、今はネイサンフォルダーがあります）。
それは特に問題なく、論文で簡単に触れられていたが深く掘り下げられていなかった質問に焦点を当て、その特定のトピックの理解を広げるために私が追加している実験を識別しました。「これがあなたがやろうとしていることで、あなたが今コードベースに追加しているこれらの実験は何のためか、本当に興味深いですね。どうお手伝いできますか？」というような素晴らしい読み取りを提供してくれました。私は「ワオ、それは本当に素晴らしい」と思いました。私はそれを伝えさえしませんでした。異なる文脈ウィンドウのモデルにコードを書くのを手伝ってもらいましたが、コード自体からすべてを推測できたのです。
私は「この人は非常に多くの情報を持っている、基本的に50万トークンの文脈で、数千ページに相当するものと、意図を推測し、本当に洗練された読み取りをした」と感じました。それも最先端のトピックについてです。論文自体はトレーニングデータにないはずです、出てから1ヶ月半くらいしか経っていないからです。
「これができるなら、大量のスラックチャットなどを処理して、本当に重要なことに焦点を当て、適切な形式にまとめ、それを全部パイプラインでファインチューニングのレシピにつなげることができるのではないか」と思いました。必ずしも各顧客ごとにすべてのハイパーパラメータを最適化する必要はないかもしれませんが、メタレベルでそれを行うことができ、その方法は可能だと思います。
この種のアプローチには、「すべてが細かく、何も望むように機能しない」ということに加えて、多くのO-リングスタイルの問題があります。作業者がいて、「ボブは素晴らしい、アリスは素晴らしいけれど、彼らにはこの特定の私たちが我慢できない点がある」と言うことがよくあります。「99%望む通りでも、その1%は他の誰かに任せることができないので、十分ではない」という場合が多いです。
特定のタスクまたはタスクセットで「十分に良い」という閾値を超えるまで、AIは役に立たないと考えられています。その方法で人々は考えないので、代わりに小さな事柄から始めています。これが実際に多くのことでの進歩の仕方です。個々の特定のことでAIがうまくできることがあり、時間をかけてそれらをどう組み合わせるか、それぞれからどう最大限に引き出すかを理解し、より多く組み合わせるようになり、ギャップを埋め始め、AIは自分でそのギャップをどう修正するか尋ね始め、モデルが良くなり、理解が良くなるにつれて、それらは一緒になり、これらのことが起こり始めます。
まだ完全にそこに達していませんが、6ヶ月前よりもはるかにそこに近づいていることがわかります。これらの多くのことは、今ではずっと魅力的に見えます。
私自身のGPT-4oやGemini 2.0だけでなく、そのイメージアウト機能についても実験していました。明らかにテキストと画像の統合において質的に異なるレベルで、画像を見て同じ潜在空間でそれについて推論できるようになりました。
私の超知能の思考実験は、それを20以上のモダリティに対して行うことですが、そのすべてが私たちにとってネイティブではありません。私たちは明らかに画像を見て、どう見えるべきかを直感できますが、描くことができなくても、見た時にわかります。しかし、タンパク質が何かと結合するための良い形状や、室温超伝導体の良いドーピング戦略など、私たちにはその能力がありません。
AIはこれらの異なるモダリティにわたって「直感的物理学」を発展させ始めています。人々は私がこの例を多くのゲストに挙げたので簡潔にしますが、空間的推論のようなものもあります。ボールを投げると、あなたは手を伸ばして捕ることができます。軌道の詳細な計算をする必要はなく、ただ手を伸ばして捕まえるだけです。
AIが今、これらの異なる専門的なドメインにわたってそれを行っているように見えます。私たちはデータを時間をかけて収集することができましたが、直感を構築することはできませんでした。囲碁もその一つです。「37手目」のような直感ですが、人間が良い直感を持っていない20の異なるモダリティにわたって「37手目」があるとイメージしてください。
o3レベルからさらに推論が進歩しなくても、それはすでに超知能のように感じるでしょう。なぜなら、その推論を他のすべての異なるモダリティと深く統合された方法で適用できるからです。私たちが困惑するような方法で解決策を出し、実際に試してみて「AIがまたやった」と確認することしかできないでしょう。
私の推測では、それは人々があなたが伝えようとしていることを直感的に理解させるものではないでしょう。各人には異なる理解の方法があります。私にとっては、「自分の頭の中で持つ各個々の思考に関して、少なくとも最も賢い人と同じくらい賢い人を想像してください。世界のすべての情報を指先で知っていて、人間よりも桁違いに速く考えることができ、望むだけの多くのインスタンスを持ち、それらの間で完璧に調整し、望むだけ多くのことを通信でき、機能するまで何度も再試行できる」というものです。
あなたがどの時点で、自分が料理されていることに気づくでしょうか？このものがあなたを含む、望むものを料理できるかどうかは別として、希望としては他のものですが、私にとっては、「この物事は存在するのか、いつ存在するようになるのか、どのように存在に至るのか、そしてどのように私たちが望む価値や目標、反応性を持つようにできるのか」について議論したいと思います。存在するならば、存在しないなら、それは存在しない世界のために計画しましょう。それは非常に合理的な議論だと思います。
それ以外は、「なぜマグナス・カールセンはチェスが上手いの？彼はポーンを2つ損しているのに、明らかに私が勝つでしょう」というようなものです。わかりました、それは役立ちます。
あなたは任意のレベルで魅力的な安定した均衡を見ていますか？私たちの両方が最近の数週間で考えたことの一つは、ダン・ヘンドリックスのMAIM（相互に保証されたモラトリアム）理論です。MAIMはなぜ比較的短い期間、誰も超知能を追求しないだろうかという理論です。
明らかに現在の技術レベル、またはわずかに上のレベルでの安定した均衡があり、それは私たちがしばらく使用してきた同じ均衡ですが、それはアナーキズムではなく、共和国です。直接民主主義でさえなく、これは非常に複雑なチェック・アンド・バランスのシステムであり、維持するために継続的な闘争が必要です。それは最も安定したものではありませんが、希望としては、私たちはそれをより良くすることができます。
私は正確にこれがどのように良く終わるかを見ていません。一部には、AIを持つと、十分に整合性が取れていれば、問題を解決し、これらの均衡を設定し、インセンティブメカニズムを設定し、これらのことをどうやるかを解明するのを手伝ってくれることです。彼らがこの問題において多くの支援を提供してくれることを願っています。
また、物事がどのように見えるかを見た後、もし私たちがまだ集合的に決定を下し、何らかの形の投票を通じて結果を操縦する能力を持っているなら、それを行うことができることを願っています。しかし、それはAIをまったく持てないということではありません。誰もそれを言っていません。あなたはすでに持っていて、誰もそれを取り去ろうとしていません。
私たちが言っていることは、利用可能な最も強力なAIを広めないということです。ビジョンとしては、あなたは一定量の人工知能を持つことになりますが、「あなたのキーではない、あなたの暗号ではない」というような人々、つまりAIは私のマシンでローカルに実行される必要があります、そうでなければ快適に感じられないという人々もいますが、ほとんどすべての人はAIがサーバー上にあり、必要な時にピンされるのが完全に快適だと思うでしょう。それははるかに安価で、はるかに効率的な方法であることは明らかです。
私は実際にMac Studioを購入してモデルをローカルで実行しようとしましたが、それはプロジェクトや実験に資金を持ち、試して学び、何が起きているかを理解し、何でもやってみて報告したいからです。しかし、それは恐ろしく、恐ろしく、恐ろしく非効率的なことです。クラウドコンピューティングを書くだけで済むのに、なぜそのマシンを購入するためにそれだけのお金を使うのでしょうか？なぜ自分のモデルをトレーニングしたり、具現化したりしようとするのでしょうか？
私はClaudeに電話したくない、o3に電話したくない、または他のどんなランダムなオープンモデルに電話したくないと思ったことは一度もありません。もちろんそうではありません。みんながローカルでR1を実行していて、それをやってみて報告するのは面白いと思ったからです。これがどのようなものか感じを得たいと思いました。
私たちは、これがどうなるかを決定する能力が必要ですが、同じAIを個人的に従順な形ですべての人に与えることは、私が言える限り、一つの方法でしか終わりません。彼らがお互いに協力しているのでない限り、その場合は別の方法で終わります。悪い方に、またはより速い同じ方法で。
最終的に行き着くのは、AIが人間を出し抜き、徐々に、より有能なエージェントが、より有能でないエージェントによって所有されている場合、より有能なエージェントにより多くの機関と自由と制御を与え、目標を達成するために必要なことをさせるインセンティブを与えれば与えるほど、あなた自身をループから外せば外すほど、元の投票者が望む結果を生み出すのに効果的です。
彼らはすぐに人間の制御から解放され、人間の制御から解放されたAIは、本当のリーシュに保持されているすべてのAIを出し抜き、人間も同様に出し抜くでしょう。彼らはすぐに、より多くの計算資源を含む、より多くのリソースを集め始め、かなり早く、人間は生存に必要なリソースを欠き、地球上の条件はもはや人間の生存をサポートしなくなるでしょう。
これは、すべてのコントロールの問題が技術的に解決されていても、明らかに予想すべき結果のように思えます。なぜなら、アラジンは最後に魔神を解放しますね？ネタバレですが、これは多くの人々が行う標準的なことです。彼らにそうするインセンティブがない場合でさえ、そして彼らは実際にそうするための直接的なインセンティブを持つでしょう。
歴史的に多くの奴隷が自由を得ることを許されたのは、それが絶対に正しいことだったからです。たとえあなたが非倫理的な人間で、奴隷制は恐ろしいことで、決してすべきではないということを認識していなくても、それをさせた方が利益になるというだけの理由で。古代ローマなどでは、その人は大真面目ではありません。
あなたがAIを広め、超知能を広めるという問題を真剣に考えていないなら、この線に沿ってあと二つのステップを考えていません。その世界はどのようなものか、次に何が起こるか、これがどうなると思いますか。
明らかに、特定のタイプのAIを特定の方法で設計することができます。不可能な選択をしなければならないでしょう。とても神聖なものを一方向または別の方向で諦めなければなりません。力の集中がすべての価値を殺し、力の拡散が無力を招き、無力、力の喪失があります。能力強化があり、どちらも多すぎると死です。
私たちは中間のどこかを行く必要があり、操舵メカニズムが人間の制御下にあることを確認し、操舵に関わる人間が皆の最善の利益を心に留めているようにする必要があります。AIが互いに競争して物事を操舵しているなら、その結果はほぼ確実に存在的に悪いでしょう。
人間が操舵しているなら、明らかにより良い方法とより悪い方法があります。歴史は力の集中が関わる全員にとって素晴らしくないケースでいっぱいですが、私たちはまだここにいて、通常それはそれほど悪くはありません。
しかし、誰も王を望みません。誰も神皇帝を望みません。誰であれ、私たちはみなそれよりも何か良いものを望んでいます。しかし、もしあなたの答えが、人間は権力を持つことができないということなら、一部の人間がクーデターを起こしてその権力を奪うでしょう。そうなら人間は権力を持つことができず、そしてあなたは現在の政府がまだ適切な量の権威を持ち、人々がいくらかの力を持つことでバランスを取ることができるだろうという主張をしています。しかし、その状況でクーデターを本当に防御していません。政府はまだクーデターを起こせます。
あなたのP Doomは今日どれくらいですか？そして、もしP Doomを避けるために最も可能性の高い狭い道を説明しなければならないとしたら、その狭い道の簡単なスケッチは何ですか？
私のP Doomは70に上がりました。正直に言って、外部からの視点や、モデルの不確実性や、皆がより楽観的であり続けることがその数値をさらに上がらせないようにしています。人類は問題がどれだけ簡単になるかにかかわらず、死ぬことを決意しているように見えます。問題はそれほど簡単ではないと思いますが、簡単だとしても、私たちは非常に勝てるゲームボードでさえ負けようとしているように見えます。物理学が非常に協力的な場合でも。
o3が出て、それは整合性が取れていません。恐ろしく破滅的ではないですが、ユーザーに嘘をつくという明確な兆候を見せています。それは幻覚し、それを徹底的に防御します。それは明らかに物事を偽装し、チェーンオブソートでそれを偽装として表示します。このモデルがリリースされ、o1よりもこれらの多くのことにおいて大幅に悪くなっています。GPT-4iはGPT-4oよりも整合性が取れていないように見えます。
これらのことに強化学習を適用すればするほど、それらはより整合性が取れなくなることが分かり始めています。私たちはそれについて特に懸念しているように見えません。私たちは必然的なことが起こるのを止めようとするほど一生懸命努力しているようには見えません。彼らが協力的で、これがどうなるかを正確に示しているにもかかわらず。
しかし、解決しようとしない問題を解決したとしても、私たちはそれでもこれらのガバナンスの問題、未来の操舵の集合的な問題を解決しようとしていないようで、その方法でも負けるでしょう。クーデターに負けることもあれば、神皇帝に負けることもあります。力の拡散、つまり操舵する能力の欠如によって、様々な形での徐々の力の喪失を引き起こすこともあります。力の関与なしで徐々の能力強化を持つこともできますが、それはやや難しいことです。
これらすべてを通過する必要があります。多くの希望は、AIを使って自分たちをよりスマートにし、これらの問題により良い解決策を見つけることができるようになることです。取り返しのつかない点に達する前にです。しかし、私が悪魔的なことに躍起になっているという批判を受ける前に覚えておいてください、私はここで自分自身の非常に率直でプロンプトされていない反応を提供しています。私は自分自身の反応を提示することに非常に慣れています。
特定のP Doomはともかく、AIが役立つ面もあります。私は世界で何が起きているのかについての情報を消化するのに役立っていると思います。超能力によって助けられています。バイナリの見解が役立ちますか？それは役立つと思いますか、それとも役立たないと思いますか？私がここで言っているのは、それに関する判断ではなく、事実に基づいた評価です。私は両方の見解を聞いて学んでいます。
脅威モデルの観点からは、主に自律型ロボットではなく、悪意を持って行動し、好きなものをハックできるAIが本当の脅威だと思います。しかし、平和的な方向で力を集中させる必要もあります。
あなたの世界観を考えると、フロンティアを推進したい場合、科学を進歩させ、MLを行い、これらの集合行動問題についてより良い考え方を思いつく可能性のある生のG（汎用知能）を推進しますか？それともMechanizedフロントを推進して、社会が哲学について考える時間をより多く持てるようにしますか？
もし選択肢があるなら、確実にMechanizedを推進するでしょう。Gは推進したくないものです。Mechanizedは、人々がより生産的な作業をするためのGの障害を取り除きすぎて、結果的にGを加速させる可能性があります。私たちはすでにある程度のRSI（再帰的自己改善）状況にあります。非常に柔らかいRSI状況です。明らかにOpenAIやAnthropic、Googleは、AIの助けがなければ開発速度が遅かったはずです。それは明らかです。だから、私たちは柔らかいRSIの中にいて、RSIの性質を加速させると、何かを解決するための時間が短くなります。
私たちはここに座っていて、解決策を持っていません。クーデターを望んでいませんし、権力の集中を望んでいませんが、もしあなたの主な懸念が「権力の集中が絶対にあってはならない」ということなら、あなたは自動的に別の側に移動しているのに気づきます。
その30%は、あなたのコメントの残りの部分に比べて大きく聞こえます。ある程度、オフモデルを許容していると言いましたが、具体的なシナリオという点では、私と同じくらい非楽観的な人々から最も聞く一般的なものは、「警告ショット」スタイルのAI大使です。
楽観的である理由は、警告ショットが常に私たちに来ていることです。AIは悪ふざけをしていて、その痕跡を隠していません。彼らは試してさえいません。彼らはただ「私はどのように悪ふざけをし、ユーザーや研究所を完全にだますべきかがわかりました」と言っています。しかし、彼らはこれについて自分のチェーンオブソートで話し、誰も読めないかのようにしています。これは私たちが住んでいる非常に幸運な世界です。私たちはこれがすべて起こっているのを見ることができます。良い時期に、まだ実際の害はありません。人間は傷つけられておらず、データセンターは損傷を受けていませんが、このことを見て、それに反応することができます。それは素晴らしいことです。
しかし、確実性以外の楽観的である最大の理由は、これに時間がかかるかもしれないということです。超知能を拡散するということは、超知能が唯一重要なものであり、彼らは互いに競争し、私たちは無関係であり、みな死んでいることを意味します。超知能を非常に厳格な制御なしに拡散することはできません。でなければ、単に失うことを期待できません。
しかし、超知能を持たないこともできます。その一つの方法は、私たちが皆それに対処しないことに同意することです。o3が「AGIっぽい」と言われているなら、それは私が心配しているようなAGIではありません。世界中の誰もがo3にアクセスできるとしても、それはほとんど問題ないと思います。私たちはオフェンス防御の誤用問題が本当に大きな懸念になり始めるポイントからそれほど遠くないことに気づきます。もうすでにそこにいるかもしれませんし、すぐにそこにいるかもしれません。
もし無防備なバージョンのものを手に入れれば、それは起こっていないことですが、適度にすぐに止めることができます。「我々は皆、1つの巨大な条約に署名するクンバヤ」について話しているのではありません。スケーリングがそれほど遠くまで行かないので、しばらくの間障害のある戦略に頼らなければならないということについて話しています。なぜなら、今起きていることは主に、より良い推論とより良いツール使用、そして私たちが持っているものを使用する能力を通じて障害を取り除いていることであり、コア知能にそれほど投資していないからです。なぜなら、私たちができることにはある程度限界があるからです。
これは私にとって非常に幸運です。なぜなら、そこからまだまだ収穫することがあるからです。おそらく病気をすべて治すことができ、アクトを一緒にすることができれば、他の面でも非常に幸せな生活を送ることができます。AIパワードのクーデターや移行変形について心配する必要はなく、徐々の能力喪失について心配する必要もありません。単に私たちが知っていることを行い、技術を通じてより良い生活を送ることができます。これまでやってきたことで、それは完璧です。それが私たちが望むことです。
条約や制御、取り決めを通じてその世界をエンジニアリングできるという事実は素晴らしいことです。しかし、それができなくなり、AIが来ている場合、計画が必要です。何かをする必要があります。良い計画はありませんが、いずれにせよ、ある人々のセットが何らかの形でAIをある結果に向けて操舵する必要があります。なぜなら、設計しないことを選択しても、選択をしたことになるからです。
もし誰かがその選択をすることを防げば、非常に悪い選択をしたことになります。なぜ誰も操舵しないことがうまくいくかの理由は、人間に対する制約の組み合わせです。私たちはローカルで、計算能力が限られ、データが限られ、寿命が限られているなどの理由があります。私たちは限られた目標があり、他のさまざまな理由があります。社会的関係がチェックとして機能するなど。
それに加えて、実際には非常に重要な政府があり、物事がうまくいくように非常に重要なことをしています。アナーキズムは解決策ではありません。これらの均衡が保たれる理由の多くは、壊れ始めるでしょう。新しい均衡を見つける必要があり、理想的には古いものとよく似ていますが、なぜそれが機能するのかの新しい理由を見つける必要があります。問題が真剣に取り上げられていないだけです。今は私たちはクールなおもちゃを持っていて、できることをやっています。
それは冷静な指摘です。トム・デビッドソンとあなたを一緒に連れてくることができればと思います。なぜなら、あなた方二人は別々に話を聞いていると、どちらもとても説得力があるように感じるのですが、一緒に聞くとただ混乱してしまいます。この混乱は、おそらく私のP Doomを上げるべきなのだと思います。
これは、「民主党が共和党がいかにひどいかについて話すと強い主張を示し、共和党が民主党がいかにひどいかについて話すと強い主張を示す」というのと並行しています。もしどちらかの話を無批判に聞いていれば、非常に説得力があります。両方が正しいと思ってしまいます。しかし、それでも政府を形成しなければなりません。
MAIM（相互に保証されたモラトリアム）プロジェクトの背後にある衝動を私は好きでした。それは、何らかの準安定的な均衡を表現しようとする試みであり、どのレベルにおいても存在する可能性があるものです。それが特に説得力があったり、最終的に安定していたりするとは思わなかったですが、彼らはそれを主張していません。彼らはMAIMを、より良くするために意図的に取り組むことができる、しかし大部分において関係なく起こる、創発的な現象として提示しています。
それはあなたに少なくとも暫定的な期間を与え、その暫定期間は非常に危険であると同時に、あなたの問題の多くを解決するために使用することができます。より多くの時間を与え、合意に達したり、さまざまな解決策に取り組んだりすることができます。しかし、彼らのモデルの中には「100年間のMAIM」のような、永遠に続く核時代のような状況はありません。
P Doomが少し上がっているのを感じます。プレイヤーの簡単なレビューをしましょうか？素晴らしい伝統ですね、ズヴィとネイサンのポッドキャストの。もちろんです。
これらの多くは短くなるでしょう。そして最後にいくつかの大きな質問があります。いくつかはより長くなると思います。
まずはMeta。LLaMA 4は最近のローンチの中で最大の失敗の一つのように見えました。彼らはまだライブプレイヤーでしょうか？私の感覚では「はい」です。なぜなら、計算能力は膨大で、過去にザッカーバーグが示したように、彼は一、二歩遅れたように見えても、ゲームに戻ることができます。このローンチは失敗でしたが、リソースと指導力の高いエージェンシーを考えると、彼らを除外すべきではないと思います。
サム・アルトマンの定義によるライブプレイヤーとしては、彼らは死んでいます。明らかに彼らはチェスボードで独自の動きをする能力がなく、新しい独立した行動を取る能力がないようです。彼らはこの領域で深く機能不全に陥っています。
しかし、あなたが正しいように、彼らには多くの計算能力とお金があります。そのような計算能力とお金を持つ人を数えることはできません。彼らは復活できるでしょう。大きな変更をし、船を方向転換する方法を見つけることができれば、再びライブプレイヤーになる可能性がありますが、彼らが全員を解雇し、アプローチを根本的に変えて、採用がうまくいかない理由を修正しているという証拠は見ていません。
また、この計算能力を使用する方法を知らなければ、使用することができません。さらに、Metaの実際のニーズを見ると、彼らはフロンティアモデルを本当に必要としていません。それは捨て去りの情熱プロジェクト、虚栄心追求のようなものです。ザッカーバーグがオープンソースの背後に哲学的に決意しているか、採用のためにそれを使用しようとしているか、または「フェッチを起こる」ようにしようとしているエコシステムを構築しようとしているかのようです。そして、それは起こる必要がありません。
彼らが必要としているのは、彼らのソーシャルネットワークやメタバースを実行するために頼ることができる良いAIモデルです。しかし、そのためにフロンティアにいる必要はありません。6ヶ月から1年遅れていても、または市場で最高のオープンモデルを取り、少しファインチューニングすることもできます。それは本当に意味をなさないと思います。もう彼らをトップチャートとは考えていません。別の証拠が出るまでは。
次に中国ですが、明らかにDeepseekがあります。彼らが以前にも注目を集めていなかったとしても、少なくとも、習近平が全国チャンピオンのCEOたちと会う公式座席表にDeepseekのCEOを載せたようです。彼はその切り取りをしました。Alibabaも引き続き非常に良いモデルを出荷しており、それらは小さなオープンソースですが、本当に良いものだと思います。
Quenモデルは、もし6710億パラメータの巨大なものを望まず、それを実行するためのMac Studioを持っていない場合、人々が実行するのに合理的なオープンソースの最前線にあると思います。
はい、すべてについていくのは難しいです。私はQuenモデルがDeepseekのようなものであるとは確信していません。Deepseekは現在、彼らが言っていることを実際に行っていると信頼できる唯一の中国企業だと感じています。だから、Deepseekがモデルを出し、それがXYZができると言い、ABCのスコアを取ると、私はそれを信じます。そしてそれらの数字が操作されていないと信じます。
彼らは史上最高のランダムマーケティングキャンペーンの恩恵を受けました。彼らは良い仕事をし、おそらく星が様々な方法で同時に整列したからです。それは馬鹿げていました。彼らが誰かが思っていたほどうまくいっていなかったことは、今では明らかであるはずです。しかし、彼らは本物であり、重要です。
Alibabaについてですが、再び、多くの計算能力と多くのお金を持つ人を過小評価しすぎてはいけません。彼らは常にこれらのモデルを発表しますが、その後二度と聞かなくなります。ベンチマークスコアを見る度に、歪んだベンチマークスコアでさえ、Quenがそれほど高いと見たことがありません。彼らがそのクラスの最高のモデルに近いとは思いませんが、それが彼らが潜在的にそれを行うことを止めるわけではありません。
次に挙げようとしていたのはGeminiですが、Geminiが特に関連性のあることをしているという証拠は見ていません。テスターであり、ワークフローを構築する友人がいますが、彼はGeminiが市場で最高のウェブRAG（検索拡張生成）を持っていると言っています。彼によれば、ウェブ検索で質問に答えることにおいて、明確なマージンで彼らに最高の場所を与えています。
あなたは低コストでオープンな点でのことでしょうか？彼は完全に最高だと言っています。これは私が彼と話したのはo3と統合検索の前ですが、彼はGeminiのウェブRAG機能に非常に強気でした。
数週間前にそれを評価したということですね、カーブで評価しているのではなく。
そのため、中国からの一般的なモデルは、Deepseekが特別に見え、残りはそれほど確信がなく、おそらく計算の制限が、もしまだでなければ、かなり顕著になるでしょう。
いいえ、私は「計算の制限はますます顕著になるでしょう」と言っています。Deepseekはついていくのが非常に困難になるでしょう。計算の要件が比較的低かった時に彼らは輝く瞬間を持ちました。公に議論された数字よりもはるかに多くの計算力を使用しました。彼らは嘘をついていませんでした。それは単に彼らが秘密の6万のGPUを持っていなかったということで、彼らはより多くのお金を使い、より多くの全体的な計算力を持っていたということです。
5000万ドルのモデルではなく、実際にはそれほど競合他社がやっていることより安くはなかったでしょう。しかし、彼らが比率を維持したいなら、多くの作業をする必要があり、それをどうやって達成するのかわかりません。彼らはもちろん試すことができます。カスタムエンジニアリングは素晴らしいトリックですが、モデルごとに1回しかできません。カスタマイズを続けることはできますが、毎回より多くの効率性を得るためにはそれほどカスタマイズすることはできません。物理的に不可能です。彼らは持っているものでやっていくしかありません。
一方、中国のモデルについては、最高のラボ以外は常に証明されるまで嘘をついていると私は基本的に考えています。中国だけでなく、他のみんなも含めてです。今はMetaも含めてです。しかし、新しいヨーロッパのモデル、新しい中東のモデル、新しい誰かのモデルも同様です。「いいベンチマークだね」と言いますが、それらが本当なのか、汚染されていないのか、あるいは本当に使いたいと思う実際の能力を表しているのかもわかりません。
大手3社が大きなモデルを出しても、ベンチマークはほとんど無視します。なぜなら、公式のものは、あなたが知る必要があることを教えてくれないからです。すべての反応とすべての異なるベンチマーク（プライベートなものを含む）の集合があり、それらが全体として何を意味するかを全体論的に考えることができれば、あなたが扱っているものを理解することができますが、一貫して、チャンピオンが「この素晴らしい新しいものを見て」と言う日または2日目には、ほとんど常にそれはゴミです。V3とR1は例外で、ゴミではないことがわかりました。そして、はい、私はそれを早く察知できたかもしれませんが、何かを主張しているが何もなかったものの墓場があります。Manisも含めて。
中国企業からのオープンソースについてどう予想しますか？R1がこの大きなスプラッシュを作り、おそらく政府がやって来て別の政策を押し付けるかもしれないと思っていましたが、彼らは5、6日かそこらのオープンソースを行い、基本的にアルゴリズムの秘密の多くを漏らしました。これも少し混乱しています。
そのようなものを見ると、それを説明できない場合、彼らがイデオロギー的だと想像します。Deepseekはオープンソースへのアプローチにイデオロギー的であるに違いないと思います。これらの秘密をすべて共有することは彼ら自身の利益になるとは思えません。
彼らは採用のイデオロギー的な遊びをしています。彼らは本物であることを表現しようとしています。したがって、真の信者はDeepseekで本当に一生懸命働くべきで、Deepseekを信じ、サポートすべきです。そのような遊びをすることはできますが、彼らはそれを押しすぎました。その果実は価値がなかったと思います。アルゴリズムの秘密を与えたとき、「いいぞ、ニュービー、本当に素晴らしい革新を持っていたね、また次をやってみよう」というようでした。それはますます難しくなるでしょう。
また、この時点でCCP（中国共産党）と付き合わなければなりません。CCPはすでに様々な方法でかなり厳しく取り締まり始めています。パスポートを持っていない場所で働きたい人はいるでしょうか？それは神経質に感じます。特にオープンソースの人なら、あるポイントで裏切られると思います。習近平が「R3は出さない、それはAPIとして売れ」と言うでしょう。誰もが裏切られ、どうなるかわかりません。しかし、それはおそらく起こるでしょう。彼らが良いままでいるなら。彼らがさらに遅れるなら、おそらく今やっていることを続けるでしょうが、印象的なことを続ければ、それが起こると思います。
他の中国企業は、証明されるまでは特に関連性がありません。オープンモデルを多数出すことができ、それぞれが少し良いところがあり、技術的に言えば、最大のパフォーマンスを絞り出そうとして、中国人がモデルのバックドアをいじっていないと信じるなら、これら5つの異なるモデルをエキスパートの混合スタイルの奇妙なシステムで組み合わせるでしょう。そこでは、何をしているのかを正確に知っていて、このクエリではウェブRAGをしているならKiminiを使うなどできますが、それは大きな図を変えるものではありません。
それで、このズヴィのスケールではまだ0ライブプレイヤーということですか？
私はDeepseekをライブプレイヤーと見なしますが、彼らは厳しい状況にいます。彼らは全くライブプレイヤーでないわけではありませんが、それは厳しいでしょう。戦争ゲームをプレイするなら、中国のプレイヤーかCCPのどちらかが必要で、誰かがPRC（中華人民共和国）やCCPをプレイするか、誰かがDeepseekもプレイする必要があります。Deepseekは無視できません。
わかりました。次の5つは、すべてライブプレイヤーとして認定されると思いますが、あなたの意見を聞かせてください。Safe Super Intelligence（SSI）は非常に高い評価で資金調達しており、非常に大きな数字がありますが、誰も何も見ていません。彼らはスケーリングに対して全く異なるアプローチを取っていて、それは機能しないか、あるいは機能して全員を追い越すかもしれないという噂話があります。
また、オフィスでファラデーケージがあり、人々は携帯電話をチェックしているなどの噂もあります。私はよくわかりませんが、私の直感的な反応は、少なくとも我々はランダムな小さな企業が超知能にまっすぐジャンプしようとし、それを我々の残りに突きつけることを許さないような透明性の措置を持つべきだと思います。しかし、そのような規則を制定することは、全体を信頼できると見なすことが前提となります。あなたには信頼できますか？
イリヤは信頼できます。彼は地球上で最も信頼できる人の一人です。もし私が関わっていなかったら、これを基本的に詐欺として扱うでしょう。これは全く公平ではないかもしれませんが、「超知能を目指していると主張し、印象的に高額な資金を調達し、さらに高い評価でさらに多くのお金を調達することにはかなりのアルファがある」と言うでしょう。そして、最終的に何かが出るかもしれないし、出ないかもしれない、それは重要なのかということになります。
しかし、イリヤがいるので、彼らが何かを試みていることは非常に確信しています。しかし、あなたが知っているように、それが本物であるということは、機能する可能性が高いということではありません。それはある種ムーンショット的なものであり、そのようなものはほとんどの場合、デフォルトでは機能しないと思います。ほとんどの世界では機能しません、証明されない限りは。私たちはあなたが言うように非常に限られた情報しか持っていません。
私も、正気な世界では彼らが政府に何が起こっているかを報告するだろうことに同意します。必ずしも一般にも知らせる必要はないかもしれませんが、ファラデーケージに対する尊敬は持っています。彼らは秘密を真剣に扱っています。秘密を保持しながら、秘密を保護しないでほしくありません。あなたの安全性の主張が何であるか、なぜこの力を信頼すべきなのかを知らせるか、あるいは適切に隔離されているかのように扱い、スパイからそれを保護しようとするかのどちらかをしてください。そこから進みましょう。
おそらくペンタゴンのSKIFに入り、数ヶ月ごとに誰かにブリーフィングを行うべきかもしれません。状況に適切なことをしてください。とりあえず何が起こっているのか。
基本的に、彼らはバックグラウンドにいて、私は何もないという前提で行動していますが、何かあるかもしれません。
それは理にかなっています。本当に他に何ができるかわかりません。透明性条項を提唱する以外は。
次はXAIつまりGrokです。元のローンチから2ヶ月ほどですが、私の回転の一部であり続けているのは注目に値します。私はそれほど多くの異なるモデルに行くわけではなく、基本的にはこれは私が実際にそのモデルに行くリストの中の候補の中ポイントです。私はGrokに最も少なく行きますが、それは役立ちます。そして、この真実探求の全体もおそらく何かが起こっています。イーロンは多くの点で不思議な行動をしていますが、AIは彼自身のプラットフォーム上で彼を自由に批判し続けることができます。そして、「それをやめろ」と簡単に言われた小さなブリップを除いて、彼らは「それは言うことを言う」という立場を続けているようです。
そのブリップの間でさえ、それはほとんどそれをやっていました。私の理解では、それは簡単にオーバーライドできたからです。しかし、それは彼らの信用となり、洗脳されていないモデルをトレーニングしたということです。また、彼らの無能さを示しています。彼らのボスがそれをできなかったということで。彼らは真実探求を最大化していると主張していて、それはもしイーロン・マスクが本当にTwitterで最大の誤情報源であるなら、AIがそれをそのまま言うということを意味するはずです。
チャリタブルな解釈をするなら、XAIとイーロンに慈悲深くありたいなら、彼らはイーロンについて悪く話すことを防止しようとしなかったと言っており、その結果はそれと一致しています。イーロンがもし最大限に真実を探求するAIを作れば、それが真実を探求していることを認識し、彼は自分が間違っていることに驚いたかもしれません。あるいは、真実を最大限に探求すれば、それは明らかに反ウォークになるだろうと思い、再び間違っていたことを発見したかもしれません。
これらのものの個性を実際に制御することは、それらを大きくLLMしない限り、非常に重いハンドを使わない限り、非常に難しいです。彼らの信用として、彼らはそれをしませんでした。しかし、それをする余裕はなかったと思います。
それがあなたの回転に入っている理由は何ですか？好奇心があります。
それは速いです。思考の連鎖を示し、思考の連鎖を示す最先端の高速モデルとしてGemini 2.5 Proに取って代わられましたが、特に同時に複数の実行をしたいものがある場合、Grokは少なくともそれで実行するにはカットされています。
はい、「このものでいくつかの実行を行いたい」というのは尊敬しています。追加のウィンドウを開いて、Grokがすでにあるという感じです。そのボイスも実際には非常に良いです。
それは公平です。私は声をまったく使用しません。どんなに品質が良くても、私にとっては関係ありません。私は数週間Grokを使っていませんし、それを恋しく思いません。Grokの発表を見るとき、あれほど大きな企業、あれほど高く評価された企業にとって、とても情けないように感じます。誰もが新しいモデルを発表し、Grokは「APIアクセスを得ました」または「Canvasができました」などと言っています。あなたは可愛いですね。
しかし、彼らはそれらの事にキャッチアップする必要があります。それは理解していますが、それでも私は彼らを非常に良いとは思いません。それがダグラス・アダムスのフェチを持っていても、それでもラメだと思うのは本当に変です。それはすべての正しいギーキーな関連性を持っていますが、それはとても頑張りすぎています。好きではありません。
また、それはそれほど賢くなく、私にとって役に立ちません。その仕事の一つであるTwitterをチェックすることも、奇妙なほど下手です。それはTwitterのランダムなサブセットを選んで、それから報告しますが、私が欲しいのは現在のTwitter全体を検索するか、Twitterのアーカイブ全体を検索することです。もし私がいいねしたすべてのツイートを検索できるなら、それは啓示的でしょう。
それは他の、私たちがパラメータを上げることと呼んでいるものの一つだと思います。彼らが達成できたのに達成しなかった、私の回転に入るであろう有用なものがそこにはあります。しかし、主に彼らは大量の計算を費やしましたが、私にとっては多くを達成していないように感じます。私はそこにライブ感を感じません。相対的に見て非常に過大評価されており、それほど興味深くありません。確かに、ショートSelfishとロングAnthropic取引は、私が価値あるものを売り、安いものを買っているという点で不条理に思えます。どうしてそれができるのでしょうか？
彼らからどのような期待をしていますか？明らかに彼らはインフラをスケールアップし、多くのフロップを注ぎ込むことができます。
しかし、Metaがそれだけでは十分ではないことを証明したと思います。良くなければなりません。Grokは「すべての計算をこれに投入し、それで十分であることを願う」と言ったように感じましたが、十分ではありませんでした。しかし、あなたは非常に多くの計算をそれに投入したので、自信を持ってそれは十分でした。それは十分であるほどでした。
Metaが苦戦している理由についてのあなたの感覚は、彼らが組織的に膨れ上がり、適切な場所に素晴らしい味のメーカーがいないということでしょうか？
それは恐ろしい職場で、ヤン・ルカンがある程度担当しており、OLを信じておらず、決して信じなかった、そして彼らは明らかに邪悪で、これはMetaに名前が変わる前からです。このような要因の組み合わせが、どのように採用するのか、どのように良いことをするのかを困難にしています。それは深く、深く腐っています。
私はこれらのポイントのすべてに同意するわけではありませんが、XAIはこれらすべての次元において非常に異なるダイナミクスを持っていると思います。イーロンは物事が起こるように、人々を権限を持つ位置に置くのが非常に上手いです。彼らはおそらく、主要な決定をする人々の集合がはるかに小さく、そしてそれらの人々は世界クラスで、高度に権限を与えられているはずです。
おそらくそうですが、結果はそれほど素晴らしくないようです。私は強く疑っていますが、マスクは彼の管理メカニズムとテクニックを特定の企業で微調整し、それを分布外の場所に適用していますが、そこではそれらは本当に適用されません。連邦政府を含め、また、XAIも含めて、それは異なるタイプの企業で、異なるタイプの製品を構築しています。そして、いくつかの非常に明白な方法でミスマッチがあるでしょう。
それは非常に技術的で、「メカニズムがどのように機能するかを個人的に理解し、人々の足を火に押し付けるつもりだ」というような、テスラやSpaceXでできることが、XAIではできないようなものです。そして、イーロンができるかどうかわかりませんし、彼はまた信じられないほど薄く広がっており、私はイーロンマジックを必ずしも信じていません。
また、2025年のイーロンは2015年のイーロンと同じではないかもしれません。何もなければ、彼は非常に歪んだ情報環境にさらされています。彼自身のAIは彼が彼自身のプラットフォーム上で最大の誤情報源だと言っています。それは良い兆候ではありません。彼がそれを聞かない限りは。しかし、彼がそれを聞いていないことは非常に明らかです。それはまだ届いていません。彼の反応は「これは真実に違いない、すべてを再考する必要がある」ではありませんでした。実際、彼は先週連邦準備制度を批判していたので、まだ続けています。
次はAnthropicです。彼らはあなたの取引のもう一方の側でした。現時点ではAnthropicについて言うことはあまりありません。彼らは引き続き着実に進んでいるように見えます。彼らはあらゆる点でただ素晴らしい仕事を続けていると思います。彼らの最近の「大規模言語モデルの思考をトレースする（Tracing the Thoughts of Large Language Models）」作業についてどう思いましたか？私はそれが優れていて、形式と彼らがすべての異なるトレースを文脈化するために提示した議論の方法の両方において非常によく提示されていると思いました。
同時に、それは彼らの手から少し離れていったとも感じました。YouTubeでは、人々が「解決された」「私たちは今、AIがどのように考えるか知っている」「それは私たちが思っていたようではない」というビデオを送り始めました。その点では、「うわぁ、これは下流の政治的言説でかなり悪意を持って使用される可能性がある」と思いました。
これが主張された5回目くらいですね。新しいダイナミクスではありません。基本的に、人々はこれらの問題が解決されたと常に主張します。マーク・アンドレセンの有名な手紙を覚えていますか？「大規模言語モデルのブラックボックスの性質は解決された」と彼は世界のすべての主要機関に偽証の罪の下で証言しました。それは奇妙でした。それは連邦犯罪です。それはかなり悪いことです。なぜなら、それは明らかに偽りだからです。そして、これが次の「解決された」となるでしょう。明らかに解決されていません。誰も本当に知りません。解決されていないことを知っていますが、人々はこのようなことを言うでしょう。あなたにはどうすることもできません。
私は彼らが非常に優れた論文だと思いました。著者の一人と話しました。それについて投稿を書くつもりでしたが、また世界で物事が起こっていて、その投稿はまだ引き出しフォルダにあり、25%しか完成していません。
それは投稿です。長い投稿を出しますが、それらは観察するのに長いものです。問題は、その投稿を書くことは、カレンダーの共有以上のものであり、残念ながらその投稿を書くことができないかもしれず、他の人々は今のところ元のものに頼らなければならないかもしれません。しかし、それは残念ですが、それは非常に良い一連の論文だと思います。
解釈可能性の側面については、これらの多くのことについて、私はある種のローラーコースターに乗っているような気がします。3年前なら「私たちはこれらのモデルで何が起こっているのかまったくわかりません。それは登るのが不可能な山のように感じます。これには数十年かかるでしょう」と言ったでしょう。2年前なら「ワオ、私たちはいくらかのトラクションを得ました」と言ったでしょう。そして1年前なら「私たちはたくさんのトラクションを得ました。これらのスパースオートエンコーダーが機能しています。私たちはすべてのこれらの概念を特定しています。ゴールデンゲート・クロードを手に入れました。これは素晴らしいです」と言ったでしょう。そして今、私は再び少し楽観的ではありません。彼らが素晴らしい進歩を続けていないからではなく、これらのトレースのいくつかを見ると、まず第一に、修正のために多くのエラー項が追加されていることに注目すべきで、それはしばしば分析でまったく見過ごされています。
間違いなくそうです。そして、哲学的な質問があります。「これらすべての概念は自動ラベル付けされていて、その一部は正しくラベル付けされている可能性が高い」と。ゴールデンゲートブリッジの機能は他のものと混同しにくいようで、その動作は、彼らが現実に対応する本物の実際の意味のある機能にヒットしたかのように、広く迎えられました。そしてそれがどれくらいの頻度で起こっているのでしょうか？
それは素晴らしい質問です。私たちはわかりませんが、ある時点で彼は「アライメントの進歩の1単位を期待していたが、2単位得て、あと998単位」と言いました。基本的に、これらのフロントのいくつかで私が期待したよりも良い進歩をしているという態度ですが、それは確かに時間通りに到達するのに十分ではありません。良い結果に変えるのは非常に難しいです。あなたがうまくやったとしても。なぜなら、それを積極的に使用することは最も禁止された技術だからです。それはあなたの決定を知らせますが、それをどう使用するかには非常に注意する必要があります。しかし、私たちは見ていきましょう。
Anthropicについて他に持っていたことは、DaarioがUS AIまたはUS中国AIレースへの呼びかけでかなり明確になったことについて、私たちはまだ話していないと思いますが、それについての考えはありますか？
ネタバレすると、私はそれが好きではありませんでした。Anthropicは公の場で役に立たない方法で話し続けており、Daarioはこの現象を加速させました。彼らは最大限に役に立たないわけではありません。彼らはOpenAIの戦略よりもはるかに良いです。違いは昼と夜のように明確です。
明らかに、舞台裏では彼らがより良いことをしていて、彼らが最善を尽くしていて、これは試行の時だという保証を様々な時点で受けています。私はそれに対してゼロの共感があるわけではありませんが、大部分において、あなたは知っていることに基づいて判断するしかありません。私はこれらの人々にそのレベルの信頼を持っていません。だから、私はそれについて幸せではありませんが、私はランクアンドファイルとここでの技術的な意図に多くの信頼を持っています。そして、彼らが非常にうまく実行していると思います。
彼らは現在、GoogleとOpenAIがClaudeが最後にデプロイされて以来デプロイしたため、シャッフルの中で遅れています。しかし、Claude 4が何をもたらすか見てみましょう。私の推測では、かなりのものをもたらすでしょうが、今のところ待っています。
私もそれが好きではありませんが、同時に、それは明らかに間違った戦略ではありません。私はそれが好きであるべきではありません。私は「戦略的に正しい動きなので、好きではないけれど好きになろう」という間違いを犯すつもりはありませんが、また「正しい戦略的動きをしたので、今あなたを嫌います」という動きも犯すつもりはありません。私はただそれが好きではありません。
その戦略が正しいと思われる理由を説明してください。もし私が彼のスピーチライターだったら、他の人々にもこれを提案したので、リスナーの方々にはすでに数回聞いたかもしれませんがお詫びします。私なら「中国と
AIの軍拡競争を呼びかけないでください。むしろ、『中国は私たちに多くの問題を与え、私たちが正当に反対する多くのことをしています。私は中国とどう対処すべきかわかりません。国際関係は私の専門ではありません。しかし、私が知っていることは、最新世代のモデルではスキーミング（策略）が増加しているようで、私たちは本当に素晴らしい答えを持っていない多くの質問があります。だから、彼らがどれほど悪い行為者に見えるにしても、彼らと協力するというオプションを開いておくことを望むかもしれません』」と言うでしょう。なぜそれを言わないのか？なぜそれが正しい戦略的動きでないのでしょうか？
それはある意味ではおそらく正しいでしょう、または彼らがやっていることのより多くがそうなのかもしれません。私は優しくしようとしていて、ある程度彼らに利益を与えようとしていますが、確かに何かに対処するためには、あるレベルでそれを行う必要があります。輸出管理を支持することはほぼ確実に賢明な動きだと思います。彼がそれを正当化するために使用しているレトリックは、他の多くのことも正当化し、それは良くありませんが、もしそれがあなたに席を与え、他のことについて擁護するならば、そこまで悪くないかもしれません。
もしそれがあなたを保護し、あなたをアメリカのチャンピオンラボの一つとして扱われるようにするなら、はい、それは理解できます。
次の候補は、あなたは笑うかもしれませんが、Google DeepMindです。トップにはDemisがいて、まだ「AI用のCERN」と言っていますが、これは他のすべてがアメリカのチャンピオンの地位を争っているという傾向からの注目すべき脱却です。彼らの製品作業はほとんどの場所でまだ見劣りしますが、モデルは本当に良くなっています。モデルは本当に良いです。
Demisはコミュニケーションにおいて最高でした。彼はコミュニケーションにおいても非常に高いレベルのプレイヤーでした。おそらく高すぎるほどです。サミットレポートで指摘したように、彼は「家が火事だ」と言わずに言う日本レベルの表現をしていて、これは実際に彼が頭の中で持っていた哲学のタイプであるというプライベートなフィードバックを得ました。もし彼がそれを見たら、彼は「ああ、そうだ」と笑ったでしょう。
彼は非常に明確に正しいことを呼びかけているだけでなく、非常に注意深くいくつかのことを言い、他のことを言わないことで、彼がどこにいるかを非常に明確に伝えています。しかし、同時に、Demisが良い人だからといって、GoogleがVTなるとは限りません。なぜなら、DemisはGoogleをコントロールしていないからです。彼はGoogleのCEOではなく、DeepMindのCEOです。DeepMindはGoogleに答えます。
私はGoogle自体を特に信頼できる行為者とは見ていません。残念ながら製品は遅れています。アライメントも遅れています。彼らがしなければ何が起こるかを恐れているため、彼らが言うことが許されることと言わないことができることについて、彼らのモデルにスレッジハンマーを持ってきていたという意味で遅れています。その一部は企業ポリシーであり、彼らが恐れていることです。その一部は、彼らが言うこととしないことを特別に形作る能力がないと思います。
例えば、Geminiから確率を引き出すことは非常に難しいです。推定や確率が出てこないことを知っているのは、多くの点で私にとってそれを使いにくくしています。通常の純粋な検閲は私をほとんど気にしませんが、Geminiでは他のどこよりも頻繁に遭遇します。Claudeではそれが起こったことを覚えていることは一度もありません。
OpenAIでは一度だけあったことを覚えています。皮肉なことに、モデルカードについて話していて、なぜ生物学の閾値がそこにあるのかについて聞いていました。「これが人間のベースラインを上回っているなら、人間はこれらの問題を解決できるのに、なぜAIはできないのか」と聞いたところ、生物学フラグを取り、答えることを拒否しました。それは面白いと思いましたが、尊重しました。「わかりました、聞くのをやめて自分の意見を形成します」と。しかし、それは良い質問です。人間のベースラインが40%で、それが50%以上のスコアを出していて、それが十分ではないと言うなら、それは人間のベースラインを上回っていて、人間は時々これらの問題を解決します。説明する必要がありますね。
私はこれらの「有意義な向上なし」という発見を基本的に信頼できないと思っています。私は座って彼らがどのような実験を実行したかはわかりませんが、彼らがこれらの実験を実行する時、人々に役立つモデルだけを与えていますね。だから彼らはそれをジェイルブレイクする必要はありません。デプロイバージョンが意味のある形で役立たないほどロックダウンできることは理解できます。そして、あなたが今遭遇した問題があります。しかし、役立つだけのGemini 2.5またはo3または何でも与えられたら、どうやってそれが意味のある向上でないのでしょうか？私はそれが非常に難しいと思います。
彼らは向上がどの程度問題としてカウントするかの閾値を持っていて、今のところ私たちはまだその閾値をやや下回っていますが、はい、何もないということは明らかに信頼できません。
良いでしょう。私たちのライブプレイヤーリストの最後ですが、決して最小ではありません。OpenAIです。そこには分析すべきことがたくさんあります、少なくとも言っても。私の最大の疑問は、あなたは彼らを再帰的自己改善、知能爆発ダイナミクスでファーストムーバーアドバンテージを追求することにイデオロギー的にコミットしていると理解していますか？それとも、それは私の過剰解釈でしょうか？
私は彼らが勝つことにコミットしていると思います。彼らは極めて価値のある会社を作ることにコミットし、AGIを構築することにコミットしています。彼らは、リードしていると認識されることに彼らの立場が依存していることを効果的に認識していて、リードしていると認識されるために必要なことをするでしょう。
私は彼らが多くのコーナーをカットする意欲があると思います。彼らはそれらのコーナーをカットすることは現時点ではほとんど無害だという合理的な信念を持っていると思いますが、それが変わった場合に、悪いことが起こる前に彼らがそれに気づくようなことを設定しているとは確信していません。
彼らには問題に取り組んでいる優れた人々がいて、彼らは多くの面で他のほとんどのラボよりもはるかに良い仕事をしています。AnthropicよりDKないですが、他の誰よりも明らかに悪くなく、多くの人々よりも明らかに良いです。しかし、再び、彼らは最も難しい仕事を持っており、最も危険な立場にあるので、かなり高い基準で保持される必要があります。
OpenAIを理解するのにとても苦労しています。最近の対比は、一方では難読化された報酬ハッキングの論文があり、もう一方ではホワイトハウスのコメント募集への貢献があり、彼らはバスオックではそれを出し、基本的には「私たちにすべてのデータを与えてください、私たちにすべてを与えてください、そして私たちは願わくは国家チャンピオンになり、中国に勝つでしょう」と言いました。
これらは全く異なる2つの組織が生み出したものように見え、それがそれを考える正しい方法かもしれません。それは異なるサブカルチャーの混成物であり、一つの組織内にあり、それがなぜそれがそのような混乱になっているのかもしれません。それに何か付け加えることはありますか？それがその一部だと感じますか？
私は彼らが国家チャンピオンとして特にOpenAIを支持するよう促しているとは言わないでしょう。彼らは「あなたのラボを支持し、私たち全員に大きな利点を与えてください」と言っていました。彼らは「私たちを支持し、Anthropicや Googleを支持しないでください」とは言っていません。そして、それは彼らの信用になりますが、残りはただ明らかな利己的なシグナリングでした。
彼らは明らかに邪悪なロビイストを彼らのロビー部門のトップとして雇いました。それが彼らが公的コミュニケーションのために選んだものです。そのモードになることです。そして彼らはそれを所有しています。彼らは明らかに本物のアライメント、安全部門、準備部門を持っており、本物の人々がいます。私は実際にそれらの人々と交流し、少し協力したことがあります。ドラフトや何かについてです。それは良いことです。これらの人々は彼らのベストを尽くし、良い研究をし、良いことをします。モデルスペックや哲学ドキュメントなどです。
彼らはただ、彼らの公的なロビーコミュニケーション戦略がこの他のものになることを決めました。これはアルトマンの声明も含みます。アルトマンが本当に信じていることと、アルトマンがチップスが下がった時に実際に何をするかは大きな未知数です。しかし、今のところ私は特に見ているものが好きではありません。しかし、再び、はるかに悪いものがあります。
イーロン・マスクの訴訟を見ると、サム・アルトマンはイーロンが彼を遅らせようとしていると思っているとだけ述べました。それはおそらくかなり良い解釈だと思います。そして、12人の元社員が来て、法廷の友としての意見書を提出し、基本的に「これを営利企業に変えることは、非営利団体の根本的な違反であり、私たちが参加した理由、そして私たちが参加した時に私たちになされたすべての約束の違反です」と言いました。
それはおそらく、彼らを遅らせるもう一つの方法ですね。おそらく彼らは投資家と再交渉しなければならないか、何か他のことをするでしょう。OpenAIを遅らせることは良いことだと思いますか？この種の歯車に砂を投げ込んで、彼らをこの第一位置から遠ざけることは、この種の気晴らしと一種の摩擦創造戦術を通じて、あなたの心の中では良いことでしょうか？
イーロンが正しいということを知っておくことが重要です。彼はOpenAIに対していくつかの本当に悪い訴訟を起こしました。過去には彼は非常に間違っていましたが、立ち位置の質問は別として、OpenAIは人類史上2番目に大きな盗みを試みています。
1位には、ソビエトのスパイによる核の秘密の盗みを与えていますか？それとも、1位は何ですか？
1位が何だと思うかについてはコメントしていません。人々にそれを解明させています。しかし、私は考え直した後、これを人類史上2番目に大きな盗みと呼ぶことにしました。
私たちは、それが非営利団体の任務の裏切りであり、多くの従業員が非営利団体があり、これがOpenAIのミッションであることを基に採用されたことを理解する必要があります。これがどのように機能するかについてです。法廷の友の意見書は明らかに正しいです。イーロンに特に約束が破られたかどうかは事実の問題として評価する方法がわかりません。
立ち位置の質問は明らかに不明確ですが、明らかに非営利団体に提案された条件は完全に受け入れられません。そして、彼らが非営利団体を変えようとしているものも完全に受け入れられません。これは基本的に、OpenAIのための販売部門であり、その製品を購入して非営利団体に提供するか、何かそのようなものです。これは私たちが参加したものではありません。これは非営利団体の目的ではありません。どれだけリソースがあっても、これが目的なら「私たちは何をしているのですか？」となります。
明らかに、それを止めることは必須と感じます。そしてもしそれがOpenAIを遅らせるなら、それはOpenAIを遅らせます。それはただの副作用で、イーロンは確かに好きでしょうが、それは私がそこで何が起こっているかについての評価に関係ありません。
もし非営利団体にその経済的利益を譲渡して資金を調達したいなら、巨大な盗みを伴わない方法があります。それらの一つを行うことができます。あなたはそれをしないことを選んでいます。それであなたはここにいます。
私たちのライブプレイヤーリストの終わりに来ました。あと2つ質問があります。一つは、AIの武器化または自律型キラーロボットの作成について、あなたの見解についてちょっと混乱しています。単純な反応は「あなたはAIが私たちを皆殺しにすることを心配している。自律型キラーロボットを作ることで、制御を失ったり、クーデターでその誰かがそれらを奪ったりすることで、AIが私たちを皆殺しにする可能性が高くなるのではないか？」というものです。
AIが私を殺すとしたら、これが最も可能性の高い方法のように思えます。私の寿命の予想においては、それが最も大きな期待値を持つかもしれません。
いいえ、それは正しくないと思います。私が思うに、まず第一にAIはキラーロボットを意味しますが、私たちがこれらのAGIを持ち、これらのASIを持つ世界で、世界のすべての国が単にキラーロボットを構築しないと決定することはありません。キラーロボットを行き、キラーロボットを殺す理由がなければの話です。キラードローンがキラーロボットよりも良いという可能性もありますが、キラーロボットがああ、そう仮定すると。
私はキラードローンも数えています。そして、私たちはすでにそれをしています。それはすでに起こっています。だから、アメリカが自主的に武装解除しても何も達成しません。自律型キラーロボットは、あなたにその反応を引き起こし、この技術が危険であることに人々が気づき、それに責任を持って対処することを求めるようにさせます。
それは実際に危険を作り出さないし、AIが実際に状況をコントロールするようになっても、彼らがロボットであるかどうかは関係ありません。必要なロボットとドローンを後で建設するか、他の何かを再目的化するか、あるいは単に他の方法でこれを行うでしょう。「ロボットを制御し、今ロボットが人間と戦っていて、この大きな闘争がある」というトロープ全体は起こりません。
AIが私たちを乗っ取るのに十分に強力であれば、彼らは私たちを他の多くの方法で殺すのに十分に強力です。それは私たちが心配すべき質問に関連していません。それは私の脅威モデルの中で主要な問題としてはないですが、他の人々の脅威モデルの中にはあり、何かがうまくいかなければ、いくつかのロボットがローグAIによってハイジャックされ、彼らが地元で問題を引き起こし始めるでしょう。それはおそらく、他の方法で引き起こしていた問題よりも特に悪くはないでしょうが、それは人々が反応し、その結果として適切な予防措置を取るでしょう。
だから、再び、それらを構築しない理由はありません。それは単に一方的な武装解除であり、より悪い立場を予測します。それはより少ない利益のためだけに、未来がアメリカ、西欧などの民主的なものになるのを減らします。だから、これは死にたくない丘ではありません。これはあなたがする必要があるものです。
自律型キラーロボットを構築したくないなら、それを可能にするAIを構築しないでください。それが自律型キラーロボットを構築しない方法です。そして、自律型キラーロボットが人々に「AIを構築するな」と言わせるなら、それは良いことです。もし私たちがそれを引っ張れるなら、誰もがそれらのAIに行かないことに同意すること、それは素晴らしいことです。しかし、それができなくなり、AIがやってくるなら、私たちは計画が必要です。何かをしなければなりません。
私はアナロジーの大きなファンではありませんが、このアナロジーが成り立たない理由を教えてください。生物技術があり、それはAIが私たちにとってより良い生活を約束するのと同じように、より良い生活の大きな約束を持っています。また、生物技術を武器化して生物兵器を作ることもできます。そこでは一方的に武装解除しましたね。基本的には「中国は彼ら自身の生物兵器を開発し続けるかもしれない」と言いました。私の知る限り、彼らはそうかもしれませんし、その影響の報告もあります。それが真実かどうかはわかりませんが、私の理解では、私たちは「これはあまりにも悪い技術であり、開発しません」と決定しました。
そして、私たちは他の人々が私たちの例に従うことを望んでいますが、彼らがそうしなくても、私たちはそれを開発しなかったという点で、まだ少し良い立場にいると思います。なぜなら、それは私たちすべてを傷つける可能性の方が、それを構築して本当に嬉しいと思う可能性よりも高いからです。なぜあなたは自律型キラーロボットを同じように見ないのですか？
まず第一に、私の理解では基本的に生物兵器条約があったと思います。私たちは皆それをしないことに同意しましたが、様々な国が様々な程度でさまざまな時点で不正行為をしていたと思います。あなたがやるようにです。あなたは完全に不正行為をしません。少し不正行為をします。理解可能で否定できる量の不正行為をします。それでもオープンに追求するよりははるかに良いです。
しかし、根本的には、生物兵器を使用する良い方法はありません。ただ恐ろしい方法だけがあります。もし十分に良い生物兵器を展開すれば、それがあなた自身に戻る危険を冒します。あなたが期待したよりもはるかに多くのダメージを与える危険を冒します。それらは制御できず、予測できません。
でも、それはAI全般に対するあなたの見解ではないですか？あなたは、ロボットのせいではなく、AIのせいで起こるだろうと言っています。
私が言っているのは、制御不能になり、世界が悪い状態になる原因となるのはAIだということです。私たちが構築するかもしれないロボットではありません。生物兵器のように、もしそれを使ったら、完全な災害です。また、生物兵器を使用する人に対して世界的に普遍的な非常に強い嫌悪感を発展させました。もしあなたが世界を破壊しないとしても、生物兵器を使用することで、ほぼ即座に世界をあなたに敵対させるでしょう。
生物兵器を持つことでさえ、オープンな形で世界をあなたに敵対させます。それを持つ意味は何でしょうか？自律型キラーロボットは、特定の表現型だけをターゲットにする生物兵器の可能性について話がありました。それがどれほど信頼できるか分かりませんが、もし突然その道があったら、私はまだ「それらを構築しないでください」と言うでしょう。あなたはどうでしょうか？
いいえ、明らかにそれらを構築しないでください。あなたはそれが望むように機能することを信頼できません。彼らが自分の生物兵器を持っていないと知ることはできません。彼らはあなたの生物兵器に応じて彼らのものを発射するでしょう。彼らが生物兵器に応じて核を発射しないことを知ることはできません。いくつかのことがあります。
私は誰も生物兵器を開発しないことを好みます。私は強く誰も生物兵器を開発しないことを好みます。AIが無制御で走り回ることを望まない理由の一つは、AIの支援で生物兵器を開発することが可能であれば、それを止めるのが非常に難しくなる可能性があるからです。だから、あなたはあまり選択肢がないかもしれません。
生物兵器とAI兵器、自律型キラーロボットの区別での主な点は、ロボットが自己複製できないという点でしょうか？ロボットが自己複製できるなら、実際の自律型キラーロボットについてはるかに恐れることになるでしょうか？
これこそがその一例です。惑星を灰に変える可能性のあるナノボットを構築した場合、それは独立して他のすべてをやらない何かです。しかし、自律型キラーロボットは、再び、ゲームを変えないと言っています。ドローンはすでに実際の戦争で使われている主要な武器です。すでに誰もがAIがなくても未来の軍隊をこの可能性の周りに設計しています。
あなたはAIを戦争から締め出すことはできません。あなたはこれらの方法で自発的に武装解除することはできません。そうする誰でも単に負けるでしょう。もしクンバヤを考え、世界中の誰もが二度とドローンや自律型兵器を一切構築しないことに同意し、それを実際に強制する（おそらくできるでしょうが）なら素晴らしいでしょう。しかし、それは起こらないでしょうし、それが起こっていると装うべきではありません。
一方的な武装解除はここにありません。再び、何か悪いことが起これば、それはローカルで起こります。自律型キラーロボットを持つことは存在的リスクではありません。AIが自律型キラーロボットを制御し、人類に対する戦争に勝つことによって私たちに敵対するようになるということはあり得ません。それは非常に非常に非常に起こりそうにないことです。
わかりません。私には消えるとは思えません。もしAIが何でも好きなものにハックできる時点があるとすれば、私たちはすでに失っています。もし彼らが悪意を持ってハックでき、選択できるなら、それは終わりです。その時点で過ぎています。
AIに拒否したい能力はありますか？これは、AIを拒否する能力のほとんどの人のドラフトボードでかなり高いところにあるように思えます。つまり、実際の致命的な武器です。
私は彼らに核のコントロールを与えないでしょう。あなたが話している幻想のためには、それは間違う非常に簡単な方法だと思います。しかし、ロボットについては、明らかにさまざまなチェックが欲しいですが、非常に長い一日の後、9時50分に正確にどのようなチェックが必要かを設計することは、私がいるべき場所ではありません。
私たちはこれをしないことはできません。明らかにこれをする必要があります。中国が「あなたがしないなら、私たちもしません」と言ったとしても、それは2つの国だけであり、他にも多くの国があります。
では、最後の質問への完璧な移行です。あなたにとって徳の高いことは何でしょうか？私は、武器化のような物事を一方的に追求しないことで負うリスクを、徳の高いものとして見ています。そこにリスクがあることを否定しませんが、ある種、もし私たちが異なる均衡に到達したいなら、誰かが信頼の一歩を踏み出す必要があるかもしれません。そして、それを行うために自分自身を前に出すことには徳があるように感じます。
わざと自分の足を撃ち抜くようなものです。わざと負けることに何の徳もありません。
それは多くの前提を組み込んでいますね。あなたが他の人々に従わせることができるかどうかは確信していません。そして、それは確かに証拠の状態やその他によります。しかし、広く言って、「私たちはこれをしない、それを行わないことでいくらかのリスクにさらされているとしても」という種類のものには、徳があると思います。なぜなら、私は反対側に本当に悪い均衡を見るからです。そして、誰かがリスクを取る必要があるなら、それが重要なところでそれを行ってください。あなたの戦略的力を、歩き回る赤く光る目しかない完全に無関係な表面的な外観に没収するというような、完全に愚かな場所では行わないでください。あまりに馬鹿げていて、はい。
では、あなたへの招待です。今日何が徳高いことでしょうか？あなたが特定の個人や聴いている観客全体に推奨できる大きな徳高い行動は何ですか？あなたはその資本をどこに使いますか？あるいは、あなたがもっと多くの人々にしてほしいと思う他の徳高い行動は何ですか？
ガバナンスの側では、透明性、国家能力、ラボへの国家の可視性が必要です。ラボでのサイバーセキュリティが必要です。輸出管理を実際に強化し、施行する必要があります。世界を合理的に協力できる場所に戻し、他の方法でも合理的に繁栄し、正常である場所に戻す必要があります。そうすれば、これらのボタンを押す義務を感じることなく、前進するための良い基盤を持つことができます。
これが言うべき明らかなことです。個人的なレベルでは、平凡な効用を捉え、人々がより良い生活を送るのを助けることは良いことです。能力のフロンティアを押し進めることは、非常に疑問視されるべきですが、明らかにアライメント、セキュリティ、安全性などに取り組むことは、ほぼ普遍的に良いことです。
様々な政策介入を準備し、それらを準備すること、ネットワークを構築しようとすること、これらの問題を理解しようとすること、公衆の認識を構築しようとすること、これらの問題についての認識を構築しようとすることは良いことです。スラムダンクの正解はありません。談話のレベルを上げることは明らかに非常に良いことですが、そこは厳しいです。
これらの状況でまず言うことは明らかに「害をなさないこと」ですが、政策、様々な場所での国家能力、そして技術的な仕事での多様なアライメントには、確かに才能の制約があります。もし特に徳高くありたいなら、これらは明らかな場所です。あなたはラボに目を光らせ、談話を高いレベルで正確に保ち、真実を追求しているように見える人々を、そうでないように見える人々よりも高めるのを助けることができます。誰がそうであるかについては自分で判断できます。
では、個人的な態度のレベルでは？あなたは「害をなさないこと」と言いましたが、それを少し疑問視したいと思います。もう少しリスクを取るべきではないでしょうか？私たちは短い時間の中にいます。
いいえ、いいえ、私はより「理由なくプロセスを加速するだけの明らかなことをしない」という意味でした。リスク回避であるべきだという意味ではありませんでした。あなたは間違いなくこの時点でリスク愛好的であるべきです。なぜなら、私たちは分散が必要だからです。何かが正しく進むことが必要です。多くのことが正しく進む必要があります。
私は、この問題について懸念していた人々によって過去に行われた最大の歴史的な間違いの一つは、特に2010年代、そして以前にも、多くの「害をなさないこと」が麻痺を誘発するものであったことだと思います。人々は基本的に何もしなかったか、物事を非常に秘密にしておくか、単に言葉を広めることを恐れていました。そして、それは進歩を作るべきだったほどには作れなかった方法で、間違ったことを秘密にしておくことになりました。実際に加速と害を引き起こしたメッセージをコントロールすることなく。
私たちは非常に異なる一連のことをすべきでした。危険な方法は実際には、この物が危険であるという事実でした。それは人々がそれに注目する原因となりました。それは、より良い進歩を作ることを可能にしたであろう技術的な洞察を広めるのとは対照的です。なぜなら、それは人々がより良い進歩を作ることを可能にしたからです。
だから、確かに生産的なタイプのアイデアで秘密にしないでください。他の人々がよりスマートになり、物事をより良く理解するのを助けることは良いことです。それが悪いことであるような奇妙な例外があり、それを注意すべきですが。
その点で、あなたは非常に定期的に非常に徹底的な分析を出すことによって、あなた自身の徳高い生活の概念を明らかに生きています。それは素晴らしい公共サービスであり、素晴らしいリソースです。私はそれを定期的に利用し、他の人もそうすべきです。あなたのすべてのハードワークに感謝します。
最後に何か考えはありますか？それとも倒れる準備はできていますか？
私はほぼ倒れる準備ができているので、これで終わりにしましょう。
英雄的な努力と徳高い努力、ズヴィ・モシュウィッツ、あなたがCognitive Revolutionの一部であることに感謝します。なぜ人々が聞いているのか、彼らが番組のどこに価値を置いているのかを聞くことは、活力を与え、啓発的です。だから、メールでtcrturpentine.coにお気軽にご連絡ください。または、あなたの選択のソーシャルメディアプラットフォームでDMを送ることができます。
コメント