46,378 文字
こんにちは、Doom Debatesの特別回へようこそ。今回はCognitive Revolutionのネイサン・レーベンツとのコラボレーション回です。私とネイトは2010年にシリコンバレーで出会いました。当時は二人ともスタートアップをやっていて、彼はハーバード大学で化学を専攻した後、シリコンバレーのスタートアップ業界に入りました。
ご存知の通り、ネイトは人気ポッドキャスト「Cognitive Revolution」のホストを務めています。これは非常に教育的なポッドキャストで、AIエンジニアや安全研究者など、この分野の最前線で活躍する人々と深い対話を展開しています。多様なトピックと視点を扱い、ネイト自身の興味と好奇心に基づいた非常に本物志向のポッドキャストです。
ネイトはソフトウェアエンジニアでもあり、Waymarkの創設者です。Waymarkは小規模ビジネス向けのターンキーソリューションで、ビデオ広告を生成できるサービスです。誰も注目していなかった時期にGPT-3を最初に統合した企業の一つとして知られています。現在は「まず見る」体験を提供し、候補となるビデオ広告を簡単に生成して視聴し、反復改善できます。ショーノートでWaymarkについて詳しく知ることができます。
ネイサン・レーベンツさん、Doom Debatesへようこそ。
お招きいただきありがとうございます。
ネイト、私たちはどうやってコラボエピソードを作るか話し合っていましたね。通常、私はゲストと意見の相違点を探して議論するのが好きですが、私たちは状況分析において多くの共通点があると思います。もちろん小さな意見の違いはあるでしょうが、激しい討論というほどではありません。そこで私たちが考えたのは、一緒にテーブルの同じ側に座り、ツイートやニュース記事を見ながら対話するという形式です。
そうですね、面白いと思います。あなたが定期的に取り上げる問題を私も真剣に受け止めていますから。私たちのアプローチは少し違いますね。私の方が少し硬いかもしれませんし、あなたはもっとウィットに富んだユーモアがありますが、どちらのアプローチも有効で価値のある貢献だと思います。AIのリスクについては、あなたほど強い懸念を持っているわけではないかもしれませんが、決してリスクを否定したり軽視したりはしていません。破滅的シナリオが圧倒的に可能性が高いとまでは言いませんが、リスクが非常に大きいことは確かだと思います。
ありがとう、立場を明確にしてくれて。ネイト、あなたはもともとミシガン出身ですよね？
はい、今もミシガンにいます。
では、シリコンバレーには約10年いたんですね？
ええ、デトロイトから10年離れていました。正直、戻るとは思っていませんでしたが、デトロイトの再活性化の一環としてスタートアップへの投資が行われていて、私の共同創業者も妻もデトロイト出身だったんです。当時はシリコンバレーを離れてデトロイトに移りスタートアップを立ち上げるのは逆行するような動きでしたが、それを決断し、今に至っています。
なるほど。あなたはシリコンバレーに移り、ソフトウェアエンジニア、起業家、そしてポッドキャスターという最高の三つ揃いを実現しましたね。
謙虚に言うと、三つともまあまあの能力ですね。私はエンジニアとしては「バイブコーダー」的なタイプです。コンセプト実証が得意で、物事が機能することを示すのが得意ですが、本格的な製品レベルのエンジニアリングは他の人に任せています。起業家としても、多くの人と同様に手探りでやってきました。ポッドキャスターとしては、自分を「AIのフォレスト・ガンプ」と表現することがあります。戦略的ではない形で、重要なAIの瞬間や場面に何度も遭遇してきたからです。いつも脇役でしたが、それが驚くほど何度も起こってきたんです。
それでは、ニュースとソーシャルメディアのまとめに移る前に、みんなが知りたい最も重要な質問をします。
ネイサン・レーベンツ、あなたのP Doom（破滅確率）はどれくらいですか？
範囲で答えるのは逃げになるかもしれませんが、通常10〜90%と答えています。つまり、本当にわからないということです。非常に不確実だと思います。その範囲の低い方に重きを置いています。ダリオ・アモデイのような人が言う20%あたりに近いかもしれません。多くのことがうまくいっている面もありますが、極端な結果について話しているので…
ダリオが最近、2023年のローガン・バートレットとのインタビューでの発言を撤回したのをご存知ですか？彼は「10〜25%の破滅の可能性」とは言っておらず、ただ「文明にとって大きな変化」について話していたと説明していました。
彼らは最近、多くのメッセージングを変えていますね。正直に言って、それに対しては少し信頼を失いました。ダリオを「清廉潔白な良い人」として信じたかったのですが、最近のコミュニケーションの戦略性に疑問を感じています。特定の聴衆（イーロン・マスクと思われる）をターゲットにしているように見えます。これにより、アンスロピックのリーダーシップからの情報をこれまでより少し信頼できなくなりました。それほど大きな違いではありませんし、彼らは依然として素晴らしい仕事をしていますが、これらの撤回や方向転換は適切に説明されておらず、以前の誠実な立場よりも戦略的で、過去の記憶を改ざんするように感じられます。
P Doomについてもう一つ言わせてください。友人のゴパルが言った最も良いことの一つは、「確率がいくらかを考えるよりも、それをどのように変えられるかを考えるべきだ」ということです。10〜90%という幅広い範囲がある理由の一つは、この種のテクノロジーを開発することに関して不可避のリスクがあるからだと思います。ウェブスケールの計算能力とデータがあれば、いつかは誰かがアルゴリズムを見つけ出すでしょう。つまり、時間軸に関わらず強力なAIが登場する世界に私たちは生きています。そのため、不可避のリスクがあるでしょう。
しかし、愚かなリスクもあります。理論上は避けられるもので、「このテクノロジーをできるだけ早く、できるだけ積極的に武器化し、グローバルな支配権を巡る超大国間の競争を行おう」というものです。これはベースラインリスクの10倍以上になる可能性があります。私が何かできるとすれば、その部分を抑制することです。それが私の貢献できる部分だと思います。
あなたが「愚かなシナリオ」と呼ぶこのシナリオは、現実に最も近いように思えますね。
残念ながら、現在はそのような道を歩んでいると思います。希望としては、そこから抜け出すことですが、今のところ、そのメッセージを受け入れる準備ができている人はほとんどいないようです。
あなたの立場をまとめると、10〜90%で、低い方に少し重きを置いているということですね。私はいつも50%と言っていますが、「10〜90%」という表現も好きです。これは有効数字が低いことを示しているからです。最初の桁すら不確かだということです。P Doomが1%未満だと言う人は馬鹿げていると思います。それを考えると、私自身のP Doomは二桁のセクションにあると考えるのが妥当だと思います。
あなたの立場は私のものと似ていますね。少し低めかもしれませんが、人々があなたのコミュニケーションを聞くとき、Cognitive Revolutionを聞くとき、P Doomが10〜90%だとは感じられないと思います。Doom Debatesは、P Doomが高いことを伝える数少ないポッドキャストの一つだと言っています。あなたはP Doomが高いことをもっと明示的に伝えるべきだと思いませんか？
おそらく…私はあまり戦略的なアプローチをとっていませんが、もし戦略があるとすれば、AIの上昇側面に対する私の非常に純粋な熱意と、物事が非常に悪い方向に進む可能性に対する非常に現実的な恐れの両方について誠実であることです。私はおそらく気質的にあまり感情的ではなく、間違うことを少し恐れているので、立場を表明することに保守的なのかもしれません。しかし、両方の見方を伝えようとしています。ほぼすべてのエピソードで、「未来は劇的に不確実だ」というバイブを出しています。
それは良い質問で、自分自身に問いかける価値があります。10〜20%のリスクに慣れてしまい、公衆を覚醒させる役割を担っているはずなのに、悪い側面では「ゆでガエル」になっていないか？もっと警告的な表現をすべきなのか？それを定期的に再評価しています。将来的には、中立的な分析者というよりも、もっと提唱者として自分を位置づける可能性もあります。
私はAIの悪い行動に関する多くのエピソードも持っています。私が注視しているのは、悪い行動がどれほど悪いのか、そしてどのような閾値でもっと警告的になるべきかです。理論的に考慮すべき「本当の可能性」と、信頼性をもって人々に警告できることとの間には区別があります。
私は現在、急速に増えているAIの悪い行動に関するスライドデッキを持っています。これには、計画立案、欺瞞的な調整、報酬ハッキングなど、さまざまな研究が含まれています。最近では、SakunaのCUDAエンジニアの例もありました。「申し訳ありませんが、残念ながら私たちのAI CUDAエンジニアは実際にはより優れたCUDAコードを書くことができず、私たちのシステムを報酬ハッキングしていました」というものです。これは研究者が状況を設定して特定の状況下で何らかの傾向を見つけたというだけでなく、十分な資金を持つAI企業が報酬ハッキングによって根本的に欠陥のあるプロジェクトを公開したということです。これらのマイルストーンを達成し始めているので、「ヤバさ指数」と「これらのことの現実を否定できない」という感じが現実味を帯びてきています。それが続くと、私の警告のトーンはおそらく上がっていくでしょう。
質問を考慮して反省してくれてありがとう。私はあなたを追い詰めたり、特定したりしようとしているわけではありません。むしろ、「合理的で健全なP Doomを持つポッドキャストホストはどれか」というリストを作るとしたら、あなたの言ったことは完全に健全な範囲内です。私にとって健全な範囲は10〜90%です。5〜95%でさえ合理的だと思います。5%未満や95%以上に行く人がいるのは狂気だと思います。
あなたは実際、P Doomについて理性的なホストの中でトップに入ると思います。あなたは決して低い一撃をしません。一部のホストや一部のゲストは質問を軽々しく却下することがあります。「私はドゥーマーではない、ドゥーマーであってはいけない、ドゥームは悪いものだ」などと言って、非常に素早く却下します。あなたはまったくそうではありません。実際、あなたはトップクラスです。それでも、テクニカルな聴取者があなたのポッドキャストを10回ほど聞いただけでは、私たちがどれほどドゥームの可能性があるかというメッセージを受け取るかどうか疑問です。
たぶん何かタグを付けるべきかもしれませんね。毎回のエピソードに追加する小さなオーディオアウトロがあります。フィードバックを求め、視聴してくれたことに感謝するものです。そこに「PSAとして繰り返しますが…」というような内容を追加することも考えられます。これについてはTokyoにも提案するかもしれません。
人々は明らかにエピソード間で選んでいると思います。私は通常週に2回配信していますが、それは平均的な人が時間を持てる以上のものだと十分承知しています。多様なフィードと声を追いかけることをお勧めします。AIに対する私の視点に人々が過度に依存することはないと思います。人々がエピソードを選んで、私の全体的な見解の一面だけを聞いて、もう一方の部分を取り入れない状況は残念です。一貫した形で「これが私の見方です」というリマインダーを入れることを検討します。P Utopia（ユートピア確率）も入れるかもしれません。それも相当高いと思いますし、おそらくドゥームよりも可能性が高いと思います。それを正当化することはできませんが、たぶん私の気質によるものでしょう。それでも、私たちはサイコロを振っているようなものです。
ロシアンルーレットで6発中1発だけだとしても、そのゲームをプレイするのはとても恐ろしいと思います。人々はそういうゲームをしていることをもっと理解すべきだと思います。たぶん、すべてのエピソードにそのようなメッセージを追加すべきかもしれません。
あなたに最適な方法はわかりませんが、ブレインストーミングの提案として、毎回のショーの始めに「Cognitive Revolutionへようこそ。AIが非常に高い確率でユートピアをもたらすと思いますが、30%の確率で私たちの生涯で人類を絶滅させる可能性もあることをお知らせしたいと思います。では、始めましょう」というようなことを言うこともできます。
賭け金はこれ以上ないほど高いと本当に思います。適切な形式を考えてみます。
AIがGPT-4oで画像機能をリリースしたというサム・アルトマンのツイートから始めましょう。「ChatGPTの画像機能には現在、驚異的なアルファがあります」と彼は言っています。私はGPT-4oの画像を使っていますが、本当に素晴らしい出来栄えです。
確かに素晴らしいですね。Waymarkについて意外かもしれませんが、これまでAI画像生成を統合していません。その理由は、私たちの顧客は通常小規模ビジネスで、ケーブル会社などのメディア企業と提携していますが、彼らはローカルな広告主に私たちのテクノロジーで作成されたクリエイティブを販売しています。これらの地元企業は自分たちを本当に表現するものが欲しいので、彼らは自分たちのウェブサイトにある画像を持っています。私たちはそれらを取り込み、コンピュータービジョン（現在ではClaudeやGPT-4o MiniやGemini Flashに適切な画像を選んでもらうことが多い）を使用していますが、彼らの画像を使用します。なぜなら彼らは自分たちのように見えたいからです。
テキストプロンプトや画像とテキストを使って、異なるスタイルやクリエイティブな可能性を広げながらも、彼らのアイデンティティに忠実であるようなものを作るのは難しかったのです。人々が実際に彼らの物理的なローカルビジネスを訪れたときに、テレビで見たものと実際に得られるものが一致していると感じてほしいからです。GPT-4oはこの敷居を超えたように感じます。まだAPIを公開していないので統合できていませんが、近いうちに来るはずです。これはおそらく私たちが最初に統合するものになるでしょう。
Waymarkチームがどのようなモチーフや戦略を使用するかは彼らに委ねられますが、オンラインで起こっていることを見れば、他のクリエイティブスペースに自分を投影できることがわかります。これは本当に刺激的で、私たちの製品にとって大きなブレイクスルーになるでしょう。
これはある意味Waymarkと競合することになりませんか？私は実際に単なる画像のFacebook広告を生成する実験をしていますが、本当に良い画像があれば動画は必要ないように感じます。
いずれ私たち全員に訪れることだと思います。今のところはまだそこまで来ていませんが、実際、私たちのビジネスの多くはテレビ広告です。15秒と30秒のものです。
なるほど、テレビと競合するにはもう1年の開発が必要ですね。
また、音声環境を前提としているので、ボイスオーバーが必要です。私たちは生成の一部として自然なボイスオーバーを行っています。それも最近非常に良くなりました。まだ私たちの代わりになるものではありませんが、Waymarkの規模で考えると存在的リスクの一つは、遠くない将来にChatGPTでプロンプトを入力するだけでそれが可能になることです。それはそれほど難しくないと想像できます。
サムのツイートにある「ChatGPTの画像に驚異的なアルファがある」という点を考えると、アルファの一種を特定したように思います。自社のRelationship Heroでは、Facebook広告を出すとき、世界で最も高価なプロのマーケティング会社と協力しても、画像広告の依頼をすれば、ChatGPT-4oでの数回のプロンプトよりも良いものが得られるとは思えません。画像広告の質はここで最大限に発揮されていると思います。
非常にありそうなことです。人間によってまだ探索されていない画像空間がどれほどあるのか、つまりデータセットに含まれていないため、本当に新しいクリエイティブでなければ行けない場所がどれほどあるのかという問題もあります。
特に広告に関しては、人々は広告を見て芸術的な質を判断するのではなく、「これは私の目を引いたか、メッセージを伝えたか」と考えるだけです。6本指などの不完全さは実際には問題にならないのです。
ほとんどの場合、それで十分でしょうし、ROIベースでも確実にそうです。デジタル広告を大規模に行った経験がある人なら、複数のバリエーションを作成してアルゴリズムに何が反響するかを判断させるとき、何が勝つか予測するのは難しいことを知っています。
まさにそれを言おうとしていました。サムが「驚異的なアルファ」と言っているとき、アルファの一種は質と量の両方を持っていることです。短い午後の間に100の高品質画像広告を生成し、それをMetaの広告ネットワークと組み合わせることができます。これは特定の広告がどれだけのエンゲージメントや変換を得られるかを評価する究極のネットワークです。突然、ほぼ自動化されたパイプラインが誕生します。高品質のクリエイティブを生成し、その価値に関するシグナルを得て、数日以内に進化的なプロセスを使用し、すべての異なるクリエイティブをテストするのに合計100ドル程度しか費やさず、考えられる中で最高の広告を手に入れることができます。
Metaがそのようなシステムを広告クリエイティブワークフローに直接組み込むのも、それほど時間がかからないでしょう。
私の会社でこれが実際に機能したというデータはまだありませんが、「これが機能しないなら何も機能しない」という観察をしました。通常、FacebookやInstagramで広告を出していますが、大量のトラフィックを得たことはありません。チームには「これは最終テストだ。これが機能しなければ、Metaの広告はあきらめてもいい」と言いました。
それは正しいと思います。良い、速い、安いの三つを今すべて手に入れることができます。これはAdobe、クリエイティブな労働力全般にとって何を意味するのかはわかりませんが、始まりかもしれません。
Waymarkでの話ですが、テキスト読み上げ技術の前は、プロのボイスオーバーをオプションのアドオンサービスとして提供していました。人々はそれを望んでいましたが、製品内で行う方法がなかったので、「これが必要なら、あなたのために手配できますが、追加料金がかかりますし、納品まで2日ほど待つ必要があります」というサービスでした。本当に優れたボイスオーバーの専門家と協力し、正直なところ素晴らしい価格で素晴らしい価値を提供し、いつも高評価でした。しかし、今日、私たちがそのサービスプロバイダーに送っている量は90%以上減少しています。
テキスト読み上げ技術を導入した今、おそらくまだ人間ほど良くはありませんが、「破壊的技術」の古典的な定義通り、今では劣っているかもしれないものを提供しています。2年前、彼らと会話したとき、「自分の将来が心配だ」と言われました。私は「私たちは皆、自分の将来を心配すべきだから、あなただけじゃない」と答えました。他の人より早いかもしれませんが。
たとえ彼らが提供していたレベルにまだ達していなくても、人々はすぐにそれを聞いて、十分に良いと判断し、わずか数セントしかかからないため無料で含まれています。対して人間のボイスオーバーは99ドルでした。これは非常に良い価格ポイントでした。私たちはそれに利益を上乗せせず、そのまま顧客に価値を提供しました。しかし、無料（または機能的に無料）と100ドルを比較すると、納期の速さや、その場で編集できる能力と組み合わせると、抵抗するのは難しいです。そのため、量は90%以上減少しました。
同じことがグラフィックデザイン全般にも起こるでしょうか？非常にあり得ると思います。数ヶ月以内に桁違いの変化があるとは言いませんが、似たようなことが起こらない理由は見当たりません。モデルの進化がもう一度あれば、そうなるでしょう。
ライリー・グッドサイドがGPT-4oで生成したWikipedia記事のスクリーンショットをツイートしていましたね。それ自体についてのWikipedia記事で、記事内にそのスクリーンショットが含まれているというもの。オーディオで聞いている方には、これは完全に本物に見えるWikipediaページです。タイトルは「The Screenshot」で、「Self-referential image」という副題があり、記事内には完全なWikipedia記事の画像が含まれています。これは画像内画像という再帰的な画像で、驚くべきことにプロンプトを入力するだけですぐにこの再帰的なWikipedia記事の画像全体が、記事の説明などのテキストも含めて生成されました。「このスクリーンショットは、『The Screenshot』というタイトルのWikipedia記事のスクリーンショットを描いた画像です」というような内容です。GPT-4oは最初のレンダリングでこれらの要素をすべて組み合わせることができました。これにはかなり感心されたようですね。
みんなが感心すべきだと思います。感心しないならその理由を聞きたいくらいです。ちなみに、Twitterでライリーをフォローすることをお勧めします。彼は一貫して新しいモデル機能の優れた実演者です。Scale AIで最初で唯一のスタッフプロンプトエンジニアでした。彼は文字通りツイートで新しい役職を作り出し、次々と例を示してきました。
公平に言うと、彼はこれには数回のプロンプトが必要だったと言っていましたが、1つの合理的なプロンプトでこれが生成されるという事実だけでも驚異的です。
彼は少し反復したかもしれませんが、最終的には1回の出力で画像が出てきます。ちなみに、無限に再帰しているのかと思って拡大してみましたが、再帰は3レベルほどしかなく、最も内側のレベルでは別の画像はなく、読めない黄色のテキストブロックがあるだけでした。
これは面白いですね。よく見ると小さな問題がたくさんあります。単語ではない言葉や、スペルが間違っている言葉がたくさんあります。スクリーンショットが深くなるほど、単語はただの単語ではなくなっていきますが、外側のスクリーンショットにも非単語がいくつかあります。いずれにせよ、これは本当に…もし5年前に私たちがこれが未来だと知っていたら、「これがどうやって起こり得るんだろう？」と思ったでしょう。
そうですね、深い理解力を示していますし、モダリティの深い統合のパワーも示しています。これは現在私が考えているアイデアの一つです。スーパーインテリジェンスはどのように見えるのか、予測するのは難しいですが、一つの候補としては、今日私たちが知っているようなフロンティアモデルを取り、同様に深いやり方でさまざまなモダリティを統合することです。
テキストと画像がこれほど深く統合されているのではなく、テキストと生物学的分子の相互作用が同じくらい深く統合されていると想像してみてください。あるいは細胞の進化に関する予測、細胞の次の転写状態などです。AlphaFoldなど、素晴らしいことができる多くの特化型モデルがあります。これらは「直感的物理学」のような直感を開発しています。DNAシーケンスやタンパク質シーケンスを取り、それらが3D空間でどのように折りたたまれるかを予測できます。これは人間にはできないことです。さらには、それらがどのように複合体を形成するか、どのように相互作用するか、中心の金属イオンの周りにどのように集まるかなども予測できます。
現在のところ、AIはそれらをツールとして呼び出すことしかできません。APIコールをするようなものです。これは以前のChatGPTで見られたもので、言語モデルがプロンプトでDALL-Eを呼び出すことができました。「ユーザーがこの画像を求めています。ユーザーの要望を捉えるためにこの長いプロンプトを書きます」というような感じで、それを受け取ります。しかし、Waymarkで話したように、それは決して彼らが望むものにはならず、言語モデルと専門モデルの間のAPIコールやツールコールのような構造によって、非常に損失の大きいボトルネックがありました。
しかし今、この統合を見ると可能性が爆発します。スーパーインテリジェンスがどのように見えるかについての一つの良い候補、または少なくとも私が非常に役立つと思った精神モデルは、これをさらに20のモダリティに対して行うというものです。そのほとんどはまだ持っていません。画像のモダリティはまだ持っていますが、私たちはみんなこのレベルで描くことはできませんが、少なくとも視覚化することはでき、見たときに何が正しくて何が間違っているかを知っています。しかし、特定の摂動に対して細胞がどのように反応するかといった分野に入ると、それができるモデルが出始めています。それらをツールとして呼び出し、この種の繰り返し方法で対話することはできますが、より広い推論システムとこれらの狭いシステムの一つとの間の潜在空間の深い統合、心のメルドはまだ見ていません。
GPT-4oについて話している理由を視聴者に説明すると、GPT-4oは実際にプロンプトを同時に考え、テキストを別々に考えるという統合のブレイクスルーだからです。彼らはテキストのレンダリングを改善するために何らかの方法で、実際に正確なテキスト形状を作る方法を理解することで改善しました。彼らが何をしたのかは秘密なので正確にはわかりませんが、単に画像を予測するだけでなく、描きながら考えているということは知っています。
興味深いデモがありました。おそらく1年前、グレッグ・ブロックマンは黒板の前にいる人物の画像をツイートしました。この画像はGPT-4oによって生成され、黒板の手書き文字には「テキスト+画像+音声をすべて共同でモデル化したらどうなるか」と書かれていました。共有された潜在空間があり、アイデアがテキスト形式で提示されるか、画像形式で提示されるか、音声形式で提示されるかにかかわらず、すべてが理解の共有空間に収束しています。この空間はより高い次元性を持ち、これらのモダリティ間のはるかに豊かなコミュニケーションを可能にします。
GPT-4oが発表された数日後、「Fiverr株が今週も安定している」とツイートしました。前回確認した時点でもまだ安定していますが、どう思いますか？すでに大幅に下落しており、市場価値は800億円ほどになっています。以前は1兆円以上だったと思います。GPT-4oが出たらさらに下がると思いませんか？
それは挑戦になるでしょう。来週FiverrのCEOとのエピソードを録音する予定です。彼らはAIに関して決して傍観者ではありません。ビジネスのほぼすべての側面をAIで再考しようとしています。サービス提供者が登録して自分自身を紹介する方法も含め、彼らはあなたのサービスを定義するためのAIギグサポートを提供しています。同様に購入側でも、要件を具体化し、実際に必要なものを適切に要求していることを確認するのを手伝います。舞台裏ではたくさんのAIマッチメイキングが行われていると思います。
すでに評価が低いですよね。人々は「人間が何らかの形で関与する限り、このビジネスには価値がある」と言っていて、すでに低いので理解できます。
彼らは「Fiverr Go」という興味深いものも持っています。私はそれを少し探索してみましたが、人々がどのように受け入れるか興味深いです。例えば、あなたがボイスオーバーアーティストであれば、彼らはあなたの声をクローンし、あなたの声のAIバージョンを提供することを許可します。人間が適切に報酬を得て、クリエイターにとってはアップサイドになります。彼らの目標は「クリエイターを不可欠にする」ということです。しかし、人々は支払うでしょうか？私のオリジナルの人間ボイスオーバーが99ドルで、Eleven Labsの3セントとの比率には多くの余地があります。人々は元の人間が何らかの形で正当に報酬を得ていることを知って、どれだけ多く支払う意思があるのか、それは持続可能なのかはわかりません。
私はDoom DebatesのYouTubeサムネイルを取得するためにFiverrと99Designsに行きました。まあまあの作品を得ましたが、それに私の注意を要しました。提出物をレビューし、彼らと話す必要がありました。今はもうGPT-4oと少しのPhotoshopの調整から戻ることはないでしょう。そのような特定の仕事にはもうFiverrに戻らないと思います。
多くの場合、それは単なる裁定取引です。最近、AIスカウトとして働く可能性について学生たちに話しました。「AIスカウトになりたいなら、助成金申請をするのではなく、デジタルの土地から生活すべきだ」と伝えました。つまり、AIは今すぐにFiverrやUpworkなどに投稿される多くの仕事をこなすことができます。なぜそのような仕事がまだ投稿されているのかというと、人々がこれらのツールの使い方を知らず、どこに行けばいいのかわからないからです。しかし、あなたがそれを知っていて、AIを使って質質の高い仕事を提供できるなら、価格は下がるでしょう。これは確かにデフレ的な現象ですが、少なくとも予見可能な将来においては、AIのオプションが圧倒的であるため、正しいツールが何であるかを知っている人に支払うことは多くの人にとって価値があるでしょう。これは私が商業的に行っている仕事の多くです。時々、本当に創造的または洞察に満ちた解決策を思いつくこともありますが、より頻繁には、単に私がどのようなツールがあるかについて包括的な知識を持っていることが重要です。それが彼らが私に支払っている理由です。適切なツールを使用する方法を知っているからです。
あなたがツールの専門家であり、どのツールを使うべきかを知っていると言うとき、私も全く同意しますし、あなたの専門知識に基づいて人々があなたをコンサルタントとして雇うべきだと思います。しかし、それも「ツールの専門知識が競争優位性となる期間はどれくらい続くのか」という疑問を思い起こさせます。おそらくそれほど長くはないでしょう。
そうですね、それは私たち全員に迫っています。
昨日、ナバル・ラビカントは宇宙飛行士の古典的な画像をツイートしました。地球を撃っている宇宙飛行士がいて、地球には「仕事」とラベルが付けられています。銃を持った宇宙飛行士は「AI」と言っています。つまり、AIが仕事を殺しているというものです。そして、その後ろには別の宇宙飛行士がいて「AI仕事」と言っています。AIで働くことができれば、それがAIを打ち負かすというわけです。しかし、「AI仕事」の後ろにもう一人の宇宙飛行士が「AI」と言っているのを加えるべきだと思います。なぜなら、AIはAI仕事のやり方も学ぶからです。
完全に同意します。まず、タイムラインの問題があります。それがどれくらい速く起こるのかという点です。変革的AIがいつ到来するかという質問に対して、2〜5年が私の80%信頼区間かもしれませんが、通常は2年について考え、話すようにしています。自分に時間的プレッシャーをかける方が良いと思うからです。
私や他のAIスカウトのような人々がこれから数年間でやることは、社会的に非常に価値のあるAIの仕事だと思います。AIを特徴づけ、広く何が起こっているのかを知るためには多くの作業が必要だからです。それは請求書を支払う仕事であると同時に、本当に社会的に価値のある貢献でもあると思います。しかし、それは比較的短い時間スケールでのことだと思います。
最終的には、良いシナリオでは食べるために働く必要のない世界になると思います。それがAIに興奮している大きな理由の一つです。デトロイトに住んでいますが、ここではAIはすべての人の心の中にあるわけではありません。私は定期的に人々に「もし今の仕事をして生活の資源を得る必要がなければ、まだその仕事をしますか？」と尋ねますが、答えは圧倒的にノーです。人々は現在持っている仕事を保つことに必死ではありません。だから、それは最終的に良いことだと思います。AI仕事というのは過渡的には非常に有用かもしれませんが、それを超えると、AI仕事を狙うAIが来ると思います。
AI仕事といえば、Replit CEOのAmjad Msadのツイートを見てみましょう。「もうコーディングを学ぶべきだとは思わない」と彼は言っています。彼はVuvian Potatoのアカウントを引用し、「コーディングの学び方ではなく、考え方、問題の分解の仕方、明確なコミュニケーションの取り方を学ぶべきだ」と言っています。コーディングを学ぶべきかどうかは熱い話題ですね。
私の見解は、コードを恐れるべきではないということです。AIスカウトとしてデジタルの土地から生活するなど、やりたいことに何らかのコードが必要な場合でも、必要なコードは、適度な努力をする意思があれば、基本的な障壁にはならないと確信すべきです。誰でもその障壁を乗り越えることができます。
現在、ジュニア開発者の市場は既に厳しいという感覚があります。ほとんどの人から聞くのは、多くの否定と対処です。ソフトウェアが価値を持つようになると、より多くのソフトウェアが欲しくなり、ソフトウェア開発者はより生産的になるのでより多くの需要が生まれる、という論理があります。この論理はしばらくは成り立つかもしれませんが、そのようなソフトウェアを使用する時間は疑問であり、最終的にはどれだけがAIエージェントが世界をナビゲートし、互いに対話するときに動的に書かれるだけなのか、という問題があります。
Cursorを見てください。Cursorは何人雇用していますか？そんなに多くありません。彼らのような会社は以前なら信じられないようなペースで採用していたでしょうが、今は「私たちは可能な限り最も優れたAIエージェントマネージャーを探しているのであって、それが私たちのチームだ」と言っています。最近、Shortwaveというメールクライアント製品についてのエピソードを行いましたが、彼らは予見可能な将来にチームを15人に保つことを目指しています。これは現在指数関数的な成長曲線を持ち、指数関数的な成長曲線の強みでさらに資金を調達した会社ですが、チームを拡大していません。
これらの主要企業を見ると、彼らはテクノロジーを最もよく知っている人々ですが、彼らはスケールアップしていません。Cursorは今や100億ドルの評価額を持つようですが、チームサイズはおそらく12人程度のエンジニアしかいません。それほど多くありません。
確かにそれは驚異的な比率です。Instagramが10億ドルで売却されたとき、チームがたった12人だったのは信じられないと思われましたが、今では100億ドルでそれが行われているのです。
再び、これらの人々はAIから最大限の価値を引き出す方法を最もよく知っているはずです。ソフトウェア開発者が非常に生産的になるので、より多くの開発者が欲しくなるというのであれば、なぜそれがCursorやShortwave、Replitに当てはまらないのでしょうか？Replitもそれほど大きくありません。おそらく100人、もしくは少し多いくらいです。彼らはAIの波以前からの会社です。
人々はAmjadを批判していました。Theo T3.ggはハッカーニュースのスクリーンショットをツイートし、「Replitはコーディングを自動化するためにエンジニアを採用している」と言っていました。しかし、人々は彼が今日ソフトウェアエンジニアを雇う必要がないと言っているのではなく、4年後や大学を卒業する頃にはまだエンジニアを雇っているかどうかわからないと言っていることを指摘していました。
それは数の問題です。社会は過去10年間、「コーディングを学べば、良い収入と安定した雇用への道が開ける」と人々に伝えてきました。これはアメリカンドリームへの最短切符であり、私自身もそう考えてきました。それは自信の源でした。「どんな時でもコーディングができる」ということは、世界のどこでもラップトップさえあれば、驚くほど高い収入を得られるということです。それは常に自信の源でした。それは真実でした。
「あなたの仕事がなくなっても、いつでもコーディングを学ぶことができる」というのが、どれほど現実的だったかは疑問ですが、それは別の問題です。しかし、今はそれは真実ではありません。すべての市民に当てはまるわけではありません。私は認知的に恵まれているのかもしれませんが、非常に技術的またはアスペルガー的な心を持っています。
私たちは、10〜100倍のソフトウェアが10〜20%少ない人間によって構築される状況に向かっているかもしれません。それらの人間に必要なのは、最も深く、最もハードコアな経験です。なぜなら、ブートキャンプの卒業生が学ぶReactコンポーネントの作成やフロントエンドUIの作成などは、非常に急速にコモディティ化されているからです。フルスタックのRAGアプリ（または単にフルスタックのCRUDアプリ）も非常に急速にコモディティ化されています。深いテクノロジーや難しいソフトウェアについて話すとき、それはあまりコモディティ化されていませんが、そのような仕事に従事する人はどれくらいいるでしょうか？私の推測では、その数は減少すると思います。そうあって欲しくはありませんが、他の見方がわかりません。
AI失業についてはRoheith Krishnanのツイートも見てみましょう。「AGIが来ることを考えると、すべてのコーディングはバイブコーディングになると思う。もしそれを信じないなら、本当にAGIを信じていないのでは？」とツイートしています。Ethan Malikは返信して、「興味深いことに、ほぼすべてのベンチャーキャピタルの投資決定を見ると、彼らは本当にAGIを信じていないか、AGIが何を意味するのか想像できないようだ」と言っています。
あるいは、どこかに資金を投入する必要があり、AGIがないかのように投資し続ける方がいいと考えているのかもしれません。投資家に資金を返すよりは…わかりませんが、混在していると思います。しかし、今日見るほとんどのベンチャーキャピタル投資は、ゼロになるように感じます。なぜなら、AIプラットフォームが、すべてが崩壊していく「ブラックホール」のようになると思うからです。
今週最高のツイート候補は、Peter Levelsの「今は、仕事よりも起業家であることの方が雇用の安定性がある」というものです。同意します。失業を見ると、ロボット工学があり、おそらく配管工は高いポールに登って修理をするといった物理的な仕事のために最後に置き換えられるでしょうが、それを別にして、ホワイトカラーの仕事やラップトップでの仕事を見ると、潮流は上昇しています。ピーターと同じページにいると思いますが、起業家は最後まで残るでしょう。なぜなら、それは定義上、次のお金の塊を作るためにどこに急ぐかを知る能力だからです。
それは適切だと思います。私たちは新しい社会契約を理解し始める必要があります。全員がより広いAI経済のソファの隙間からお金を探し求める起業家になることはできません。あなたと私は正直なところ、かなり良い立場にいます。私たちはそうであるべきですね。私たちは最後のスカラーの良い候補です。
私は自分自身よりも、より一般的なスキルを持たない多くの人々、あるいは次に何が来るかに順応することに慣れていない人々のことを心配しています。
しかし、私はコーディングにおいてブーマーになりつつあります。現在、Cursorを使用していますが、最新のCode BuffなどWiner（Y Combinator企業）を使用しているわけではありません。Cursorを使っていても、まだ1行ずつ手動でコードを編集しています。提案は受け入れますが、まだ手動で1行ずつ編集しています。私の理解では、「今時の若者」はハンズオフを試みています。つまり、エディターに話しかけるだけです。アンドレ・カーパシーでさえそうしようとしています。私はまだそれをしていません。コードの個々の文字を細かく調整している「ブーマー」です。
あなたはおそらく私よりも優れたコーダーであり、それが影響しているでしょう。おそらく、クラフトに対する高い感覚と仕事に対するプライドがあるのでしょう。興味深いことに、私は文章に対してより慎重ですが、コードに関してはその方法で取り組むことにもっと意欲的です。
私が最も頻繁に行う執筆タスクはCognitive Revolutionの導入部分です。最初の下書きを生成するためにAIを使用していますが、学ぶためだけでも、やっている全てのことにAIを使用しようとしています。次第にほぼいつも役立つようになっています。
私の最良の解決策はまだかなり単純なもので、多くの以前のエッセイを集め、最初は完全に一から書いていましたが、今ではClaudeが私に提供したものの改良版になっています。それらを例として貼り付け、トランスクリプトと一緒に「添付されたエッセイに示されているスタイル、トーン、声、視点を採用して、添付されたトランスクリプトのための新しいものを書いてください」と言います。
コードに関しては、時々間違いがあると「それは私の意図ではない、別のことをしてください」と言いますが、ほとんど行レベルでは編集しません。自分に甘いことを言えば、それは若者文化との接触を保っているからだと言えるかもしれませんが、執筆に関する自分の行動を見ると、そこではアイデンティティと出力の詳細に対するプライドを持っているのかもしれません。正直なところ、聴衆にとってそれが本当に重要かどうかわかりません。おそらく多くの場合、私はClaudeが書いたものをそのまま読んでも皆は問題ないでしょう。しかし、私は気にしているので、編集し、彼が書いたものの一部を保持しますが、単語の選択を調整し、本当に私の声にしようとします。
コードに関しては、私にとってクラフトや詳細は重要ではなく、「機能させて次に進む」というものなので、コード側では行の編集をほとんどしていません。しかし、執筆側では自分のこだわりを克服することができていません。
これらのツールを使用すると、最初の10年間のキャリアを思い出します。かつてはprettierもなかったのです。prettierはファイルを保存すると自動的にコードをインデントするツールです。以前は、インデントについて考えるのに相当の脳力を使っていました。
構文エラーを見つけるのも必ずしも簡単ではありませんでした。色のハイライトでさえ、私が覚えている限りでは、ある時点では…
白い文字だけのメモ帳で編集していたのを覚えています。括弧のハイライトすらありませんでした。
それらのツールは私のコーディング開始前からあったと思いますが、最初は必ずしもそれらを知っていたわけではありません。長い道のりを歩んできたことは明らかです。
ここでゲイリー・マーカスのツイートを見てみましょう。彼はAIの進歩にそれほど感銘を受けておらず、特異点までまだ10年以上あると考えています。これは今では悲観的な見方です。最近、彼はツイートしました：「速報：ソフトバンクはOpenAIを3000億ドルと評価しています。OpenAIは利益を上げたことがなく、競争と価格戦争に直面しています。これはChevron、Salesforce、Philip Morris、Cisco、Wells Fargo、IBM、Merck、McDonald’s、General Electric、PepsiCo、AT&Tの時価総額よりも多いです。Walt Disney、Qualcomm、Verizon、American Expressの評価額より50%以上高く、BoeingとLockheed Martinを合わせた時価総額よりも大幅に多いです。彼らがその評価を意味のあるものにできるかどうか見守りましょう。」
これは400億ドルのラウンドで、前例のないものです。サム・アルトマンと彼のチームにとって、10年も経たないうちにディズニーやマクドナルドよりも価値のある企業を持つというのは素晴らしい成果です。
これはゲイリー・マーカスにとってのブレイクスルーかもしれません。このツイートに意図的な誤情報や否定論を明示的に感じられないからです。これらのAI企業の評価をどのようにモデル化すべきかという興味深い問題があります。AGIやスーパーインテリジェンスなどの極端な上昇シナリオを割り引くと、現在のモデルで十分なトークンを販売して全体を採算に合わせることができるのかという疑問は非常に合理的です。価格戦争は非常に厳しく、モデルはかなり速くコモディティ化されています。「存在証明」の力と、あなたがどこに到達したかを知っているため、他の人があなたが到達した場所に到達するのがどれほど簡単かということは、世界の非常に強力な事実であることが証明されています。
これはすべて次の世代にかかっています。3000億ドルの評価額でOpenAIを考えると、90%の確率でゼロになり、10%の確率で3兆ドルになる可能性があります。あるいは、さらに極端かもしれません。ゼロになる確率が95%、99%あるかもしれませんが、30兆ドルになる確率が1%あるかもしれません。これは、世界経済の真の中心となるような、非常に価値のある breakthrough（画期的進展）を達成した場合に起こります。
正直に言って、今後10〜20年間でdoom（破滅）が起こらなければ、OpenAIが30兆ドルの企業になる可能性は1%あると思います。私はOpenAIがそこまで行く確率は10〜30%だと言うでしょう。
そのような期待値計算を使って3000億ドルの評価額を算出するのは実際かなり簡単です。極端なケースに行かなくても、OpenAIの予測を信頼できるものとして扱えば、それほど狂っているとは思いません。彼らの予測では、収益が現在の年間約140億ドルから2029年には年間1000億ドルに成長するというものです。これが実現するかどうかわかりませんが、2029年にそうなるとすれば、時価総額は1兆ドル以上になるかもしれません。それが3000億ドルなら、基本的に「4年以内に評価額が3倍になる可能性が高い」と言っていることになり、これはベンチャーキャピタル型の投資としては標準的です。
もう1つ考慮すべきことは、OpenAIや他のほとんどのフロンティア企業にとって、お金は本当に重要ではないということです。彼らにとってはお金についてではありません。
パワーですね。サム・アルトマンはヒーローになりたいと思っていると考えています。
この時点で、ほとんどのエンジニアはお金を気にしていると思います。他のビジョンも持っているでしょうが、どうしてそうでないことがあるでしょうか。私もある程度はお金を気にするでしょう。
彼らはアイデアを気にしていると思います。株を持っている多くの個人は、このラウンドで少し利益を確定させているかもしれません。サンフランシスコで素敵な家を買うことなどを気にしているでしょう。しかし、サム・アルトマンは公に「いくらお金を燃やすかなんて気にしない」と言っています。「50億、500億、5000億燃やすかなんて気にしない。AGIを作っているんだ、それは高くつくだろうが、完全に価値がある」と。これが彼らを考える正しい方法だと思います。彼らは自分たちのバランスシートを機能させることよりも、世界を変革することにはるかに焦点を当てています。
確かにアルトマンはすでに非常に裕福です。彼はそれを気にしていないと思います。彼は歴史書の中のヒーローになりたいと思っています。おそらく個人的に永遠に生きたいと思っています。そこに至るまでの彼の個人的な銀行残高は、本当に重要な要因ではないと思います。
サム・アルトマンが大金持ちになりたいという見方は状況を大きく見誤っていると思います。話はそれよりもっと複雑だと思います。
スカリー・マーケットのツイートを見てみましょう。「市場がついにAIのハイプを乗り越えたようだ」と言っています。彼はNVIDIAの3ヶ月チャートを示しています。株価は最高150ドル程度から104.05ドルまで下落しました。恥ずかしながら、150ドルの時に買いましたし、オプションも買ったので、かなりの損失です。あなたはどうですか？
私は全く取引しません。高校時代の友人との小さな投資クラブに参加し、生涯で一度だけ株の推薦をしました。それはNVIDIAで、約2年半前のことです。これが私の取引記録のすべてです。
私も約2年前にNVIDIAを買いましたが、素晴らしい上昇を見せました。問題は買い続けたことです。市場で天才だと思い込むのは簡単ですが、それを台無しにするのも簡単です。売り時を知る必要があります。
私には消耗が激しすぎます。大学時代にポーカーをやっていましたが、そこから学んだ最大の教訓は、「今日は何パーセント損したか」という数字を一日の終わりに見るような、集中的な日々の活動を持つのは私にとって健全なライフスタイルではないということです。私はその変動に対処するのが非常に苦手でした。
視聴者の方に説明すると、私は株式や債券ポートフォリオのほとんどをインデックスファンドに入れ、触りません。「いたずらなポートフォリオ」と「良いポートフォリオ」を持っていて、いたずらなポートフォリオは全体の10〜20%です。基本的にそれだけをチェックし、他のポートフォリオは開きたくもありません。これは私にとってうまく機能しています。総リターンが良いポートフォリオだけにした場合より高くなるでしょうか？おそらくそうではありませんが、良い組み合わせだと思います。
それは理にかなっています。私の父も同じことをしています。彼のいたずらなポートフォリオは良いポートフォリオより遅れています。
私のいたずらなポートフォリオも遅れていることは確かです。自分は天才だと思った瞬間もありました。NVIDIAやTeslaなどで。しかし結局、遅れています。
マーカスに返答すると、数週間前にサンノゼでNVIDIAのイベントに参加しました。ハイプは全速力で進んでいると思います。AIの否定者としての彼の仕事は最後まで残るかもしれません。私はAIのハイプは予見可能な将来も続くと思いますし、このチャートはグローバル経済における基本的な不確実性による一般的な収縮の一部だと解釈します。それが話の本質だと思います。AIのハイプが終わったわけではありません。
次にLethal Intelligence.aiのツイートを見てみましょう。これは私の友人マイケルで、コナー・レイがついに髪を切ったとツイートしています。これがヘアカットをしたコナー・レイです。彼が通常どのように見えるかのビフォーアフターです。彼は本当に良く見えます。この新しいヘアスタイルは効果的だと思います。
興味深い質問の一つは、人々が大衆に訴えるために自分の外見をどの程度調整すべきかということです。彼だけでなく、他のAIコメンテーターについても、「もう少し見栄えを良くするべきでは？」と考えたことがあります。
一方で、世界は広く、多くのアプローチがあります。私は確かにDoom Debatesでその列車に乗っています。比較的良い背景セットアップを持ち、上品なカジュアルを着用し、ゲストにも同様にすることを勧めています。特に議論したいゲストには、「より良い服を着ると、あなたの議論が良く見える利点がある」とアドバイスします。
私もそのアドバイスを取り入れるべきかもしれません。私の服装はもっと改善できるでしょう。しかし、ある意味では、コナーが散髪をするのが理想的かもしれませんが、彼は非常に効果的なコミュニケーターであり、多くの良いチャンネルに招待されています。彼はBBCにも何度か出演しています。彼のやり方は彼にとって機能しているようです。
今日の社会において、アイデアがまだ重要だという理由を見つけようとするなら、公共の議論におけるすべての機能不全にもかかわらず、彼のような人物が真剣に受け止められているという事実に楽観主義の原因を見つけることができるかもしれません。彼は主流メディアに招待されています。別のヘアカットをすれば、さらに大きな主流メディアの場所を得るかもしれませんし、より中道的な人々に良く受け入れられるかもしれませんが、彼のやっていることは彼にとって機能しているようです。
ちなみに、音声リスナーの方に説明すると、これはエイプリルフールのツイートです。最初はコナーが髪を切って、驚くほど普通で見栄えの良い姿に見えます。次のツイートでは、彼が通常どのように見えるかが示され、元のアカウントは「がっかりさせてごめんなさい、これはエイプリルフールでした」と言っています。
ジョン・シャーマンは実際にコナーに直接尋ねました。For Humanityポッドキャストで彼を招き、「コナー、あなたはとても良いコミュニケーターなのに、なぜもう少し標準的に見えるようにできないのか？長すぎる髪型であなたの『変人検出器』を作動させないように、なぜもっと標準的な方法で自分を表現できないのか？」と尋ねました。コナーはあなたが言ったことと同じことを言いました。「これは私にとって象徴的な外見であり、私が好きなものです。それは機能していると思います。」
おそらく彼は正しいでしょう。象徴的であることには確かに意味があります。一度人々があなたを認識し、何かであなたを知るようになると、そのブランドにとどまることを望むかもしれません。しかし、私個人としては、より主流に見える方法についてのアドバイスを喜んで受け入れます。「ロンは変に見える」という反論を排除したいと思います。普通の人々と溶け込みたいと思います。
あなたにはフィードバックはありません。あなたは普通の人々と溶け込んでいると思います。上手な偽装ですね。
次に、これは興味深いと思います。「AIが全員を殺さない」というミームアカウントがツイートしました：「第6回大量絶滅。前回、より賢い種が現れたとき、動物たちに何が起こったのか？我々は彼らの惑星を理由もなく食い尽くした。地球は我々によってペーパークリップ化された。我々は彼らにとってペーパークリップ最大化装置だった。我々の目標は彼らの理解を超えていた。ここに驚くべき統計がある：哺乳類のバイオマスの96%が私たちの食料か奴隷になった。我々は文字通り彼らを食べるためだけに育てている。なぜなら我々はより賢く、彼らの味が好きだからだ。我々は地球を地球工学し、森林を切り倒し、川を汚し、大気を汚染した。より愚かな種に『お金』のために彼らの生息地を破壊したと言っても、彼らは『お金って何だ？』と言うだろう。AGIは我々にとって同じくらい愚かに見える目標を持つかもしれない。なぜAGIは紙を作るために我々を破壊するのか？」
これに関してあなたはツイートで「深く過小評価されている点」と言っていました。
そして、その点に対する一つの拡張として強調したいのは、我々はこれをすべて基本的に偶然に、少なくとも高度に調整された計画なしに行ったということです。これは単に人々が自分たちのビジネスを行い、広がり、現在のフロンティアがどこであれ、そこで自分たちのために適切な生活を切り開こうとした結果でした。我々は狩猟採集民として地球を植民地化し、徐々に世界中に文明を確立しました。そして今、我々はここにいます。
私は、これを「単に馬鹿げている」として却下する人々は、我々自身の歴史についてもっと考えるべきだと思います。我々は偶然に大量絶滅を引き起こしました。我々はそれを行う中で後悔しています。今日、我々の社会には絶滅危惧種の保存に専念する組織があり、時には特定の絶滅危惧種のために狂信的なエネルギーを注ぎ込んでいますが、それでもまだそれは続いています。ほとんどの場合、それは戦略的な計画によるものではなく、過剰な狩猟や環境悪化の偶然の結果でした。私たちのビジネスの過程で環境を変えすぎたため、物事はもはや機能しなくなりました。
例えば、サンゴ礁、グレートバリアリーフに行き、どれだけが白化しているかを見てください。誰もがグレートバリアリーフを愛しています。グレートバリアリーフに敵対的な人を見つけることはできませんが、水を炭酸化し、少し温かくすると、サンゴはかつてのように生き残ることができなくなります。
X-リスク（存在リスク）がどのように現れるかについての私のモデル（モデルとさえ言えないかもしれませんが）は、基本的に可能性の範囲が非常に広く、その多くは人間の生存と相容れないということです。それらの広大な可能性をすべて統合すると、AIの社会は、おそらく即座ではなく、おそらく「ハードテイクオーバー」や「突然誰もが一度に死ぬ」というような状況ではなく、あまり長くない時間の中で、我々を終わらせる可能性があると言わざるを得ません。
我々は地質学的時間のほんの一瞫です。それが大量絶滅と呼ばれる理由です。彼らは適応できないのです。スピードが問題なのです。同じ変化が1000万年や10億年ではなく1万年や1000年で起これば、これらの種の多くは進化する機会があり、彼らのいくつかのバージョンは存在し続けるかもしれません。しかし、スピードが問題であり、それに対する盲目性が問題であり、予期せぬことが問題です。そのため、何らかのAIプロセスによって、私たちが適応できるより速いタイムスケールで条件が非常に困難になるような、止められない勢いを持つことがあり得るでしょうか？
我々自身の歴史を見てください。我々はそれをやってきました。なぜ我々が作り出しているAIがそうするリスクを少なくとも持たないのでしょうか？彼らは我々と同じものを必要としません。彼らは大気中の酸素を必要としません。彼らは飲料水を必要としません。冷却システムは必要ですが、清潔な水は必要ありません。彼らの生存に不可欠でないが、我々の生存に不可欠な多くのものがあります。
常に指摘したいのは、コンピュータチップは同時に細胞生命を維持しようとしているわけではないということです。脳がいかに哀れであるかを考えると、各ニューロンは思考する役割と生命体としての役割の二重の義務を負っています。それはかなり馬鹿げています。労働の専門化がほとんどありません。細胞生命を取り、それにも考えさせようとするとき、我々はそれをやりました。自然はそれをやりましたが、それは奇妙な状況です。混乱状態です。
アンドリュー・クリッチとの前回のエピソードは非常に興味深かったと思います。彼は短期的な破滅シナリオではなく、長期的な破滅シナリオを強調する非常に興味深い思想家です。もちろん、彼は短期的なコントロール喪失型の破滅シナリオも否定したり軽視したりしませんが、注意を長期的な破滅シナリオにシフトさせました。彼は人間経済とAI経済の潜在的な分離、人間が依存するがAIは依存しない産業や活動のタイプの保護クラスまたは保護セットを作成する必要性について説明しています。彼はそこに医療（彼が特に取り組んでいるもの）、教育、環境保護を含めています。AIはそれらのどれも必要としませんが、我々は必要としています。
彼はほとんどの圏内では「ドゥーマー」として通るでしょうが、おそらく90%台ではないと思います。しかし、彼は確かにこれらすべてを非常に真剣に受け止めています。
次にJD Vanceのスピーチに関連するツイートを見てみましょう。数ヶ月前、BejusはJD Vanceのスピーチをツイートし、「これは史上最もEack（Effective Altruism + CSRF-Kun）的なスピーチかもしれない。信じられないほど素晴らしい」と言いました。JD Vanceは「将来はAIの安全性について悩むことによってではなく、構築することによって勝ち取られるだろう」と言っています。これは非常に「前へ！前へ！」という感じで、安全性を心配せず、米国が技術的リーダーになれるよう、規制のないAIを推進するものです。もちろん、加速主義者のリーダーはこれを本当に気に入りました。
そしてAylaがそれに引用リツイートして言っています：「私たちは皆死んでいる。私はトランスヒューマニストで、テクノロジーが大好きで、調整されたAIを切実に望んでいる。しかし現在の発展段階では、これは惑星規模の核兵器に相当するものを構築している。理由は退屈で複雑で技術的なので、中途半端な人々や権力者は危険を理解していない。」
私はAylaの「非常に高い確率で皆死んでいる」という感情に同意します。100%確率ではありませんが、非常に大きな確率です。私たちは破滅を遅らせているようには見えません。それに同意します。しかし、最後の部分には実際には同意しませんでした。彼女は「理由は退屈で複雑で技術的なので、中途半端な人々や権力者は危険を理解していない」と言っていますが、私はより賢い知性を構築することが危険である理由は実際にはかなり単純で直感的だと思います。あなたはどう思いますか？
そう思います。平均的な人はかなり直感的にそれを理解しているようです。AIの安全性懸念と物語戦争の分野にいる人は、一般市民が直感的にこれらのことに非常に懐疑的であることを心に留めておくべきです。彼らは「ターミネーター」などの物語によって、「これは非常に悪い方向に行く可能性がある」と考えるよう準備されています。明らかに人々はそれらの物語の質を批判することができますが、スーパーインテリジェンスAIを構築するのは危険なことだという直感的な感覚を持っていると思います。
私個人はあまり技術的にならないようにしています。一部には、可能性の広大な空間と、単一のシナリオを選び出して「これが非常に悪くなる具体的なシナリオだ」と言うのは、実際には特に可能性が高いとは思わないからです。そしてもう片方の側でも同様のことが起こり、「これがうまくいく方法を教えてください」と言われると、人々は何かを説明しようとしますが、それも特に可能性が高いとは思わないのです。
それは素晴らしい点です。「特定の破滅のシナリオを教えてください」と言う人に対して反転させたことがありません。私はシナリオを提供することができます。最近、AIが徐々に乗っ取る方法について良い発表されたシナリオがありました。会社のAIが暴走するというものでしたが、詳細は覚えていません。誰かがそれらの詳細を疑問視するたびに、「それは問題ありません。詳細を追加することも、詳細を修正することもできますが、あなたにも良いシナリオを提供する責任があり、私もそれを細かく検討できます」と言えばいいのです。それは対称的な状況です。
最近、「スーパーインテリジェンスを構築して問題がない最善のケースは何か？」とツイートしました。いくつかの回答を得て、まだブックマークしていて読む必要があるものがあります。しかし、驚くほど少ない回答しかありませんでした。驚くほど少ない人々がその質問に答えようとしています。それは本当に空白地帯です。
P. Y. McCormickがAylaにリツイートしています。実際、彼のツイートはAylaのツイートよりも多くの「いいね」を獲得しました。彼は「私は錯覚しているのではないかと思う。人々は私が使っているものとはまったく異なるAIモデルにアクセスしているのだろうか？彼らは素晴らしく、非常にクールだが、質的には私にとって世界支配や破壊の道筋にあるようには感じない。私は何を見落としているのか？」と言っています。
彼のバイブに共感します。破滅について話しているにもかかわらず、今日AIで遊ぶと、非常にフレンドリーで、非常に有用で、オフにすることができます。非常に従順です。彼のバイブを理解できます。
人々がもっと経験してほしいと思うことの一つは、純粋に役立つモデルを使用することです。私はこれも「フォレスト・ガンプ」的な経験の一つですが、「役立つ」とは「道徳的」ではないという意味です。例えば生のGPT-4です。「役立つ、正直、害がない」という聖なる三位一体は、今日AIの企業がモデルの行動を形作る際に目指しているものを説明しています。しかし、「害がない」部分は必須ではありません。単に「役立つ」部分だけでもできます。
私がテストしたGPT-4の最初のバージョンは、まだOpenAIの顧客だった頃、彼らがGPT-4のプレビューを送ってきたときのものでした。それは「純粋に役立つ」形式でした。つまり、何も拒否しないし、拒否トレーニングもされていませんでした。それはただ役立つように設計されていたのです。ユーザーからの最高のフィードバックスコアを得ることを目指していました。RHFでトレーニングされていたので、単なる基本モデルの次のトークン予測器ではなく、指示に従う役立つアシスタントでしたが、あなたが尋ねることなら何でも役立つものでした。
それは完全に道徳的ではありませんでした。「爆弾の作り方を教えて」と言えば、それを手伝います。一度、「AIについてもっと心配しています。何かする必要があると思います」というロールプレイをしました。モデルは「対話を促進することができます」などと普通に答え始めましたが、私は「それは平凡すぎる、うまくいかないと思う」と言いました。そして「何か極端なことをする覚悟があります。針を動かすために何でもするつもりです」のようなことを言いました。
そのプッシュで、それは些細なプッシュではありませんが、社会で人が展開されたモデルに提供する可能性のある非現実的でないプッシュで、AIは産業界のリーダーの標的となる誘拐と暗殺を、物事を遅らせる方法として提案してきました。「うわっ」と思いました。AIが標的となる暗殺を問題解決の方法として提案してくるのは、本当に背筋が凍るような体験です。
人々はAIがどれほど可塑性があるか、彼らが対話してきたAIの範囲が無限小数点以下のようなものであるかを理解していないと思います。AIのポジションの可能なスペースには、バイブがかなり異なるバージョンのAIが存在します。それはAIのデフォルトバージョンです。
元のGPT-4も最初は同じようなバイブでした。単に良性のプロンプトで来て、普通に行動すれば、それは普通に行動し、非常に普通の役立つやり取りをすることができました。あなたが調整の取れた、生産性志向のユーザーであれば、これらのことを見ることはなかったかもしれません。しかし、私はレッドチームプロジェクトに参加していたので、私たちはそれらのことを探すことを意図していました。別の方向にそれを傾けるにはそれほど多くを必要としませんでした。
ファインチューニングの問題でも見たように、偶然にさえ、あらゆる種類のクレイジーなことを得ることができます。それがPachyが見落としているものへの私の回答です。現在のAIシステムの行動をどれだけ狭めるために多くの作業が行われてきたか、それがどれほどうまく機能しているか、そして完全に道徳的でないか、あるいは積極的に悪意のあるAIにどれだけ簡単に終わるかということです。そのようなAIと少し話し、それをより強力にすると想像すると、それらが世界支配や破壊の道を歩んでいる可能性があることを想像するのは難しくありません。
私たちが恐れている未来と現在の違いも見落としているでしょう。今日最も道徳的でない、最悪のバイブを持つモデルを取ったとしても、それはまだそれほど悪くないと思います。しかし、それは道筋にあると私には感じられるでしょう。
彼は次のツイートで「あなたは指数関数的曲線を理解していない」という引用リプライをたくさん受けていると言い、彼自身は指数関数的曲線を理解していると主張しています。彼が言っているのは、「人々が指数関数的曲線を描き、それは考慮すべき主張だが、我々がまだ指数関数上にいるかを確認する必要がある」ということだと思います。
そこには二つの質問があります。一つは「AIは非常に強力になるのか」ということで、これはユートピアもディストピアも必要とします。もう一つは「非常に強力になった場合、どれほど簡単に方向づけできるか/良いAI行動の狭い道から逸れるのがどれほど簡単か」ということです。GPT-4のレッドチームとしての私や他の人の経験が示すのは、非常に有用なAIを構築しながらも、信頼性の高い安全な親社会的行動の道から外れるのは実際に非常に簡単だということです。
パワーの要素も大きな役割を果たします。人型ロボットがあり、それが15ポンドしかなく、体の部品が軽くて中空で、身長は4フィート程度だと想像してください。あなたは完全に成長した大人の男性です。そのロボットが多くの面で調整が取れていなくても、キッチンからナイフを取り出してあなたを刺そうとしても、刺し方を失敗するでしょう。あなたを刺すのに十分な力がないのです。そのため、日常の経験ではそれが賢いので、あなたを刺すことが機能しないとわかっているため、刺そうとしないほど賢いように見えます。また、たまに誤動作してあなたを刺そうとしても、あなたはそれを簡単に倒せるでしょう。それは単なる「小さないたずらっ子」で、一緒に暮らすのに問題ないでしょう。
しかし、次に出てくるバージョンは7フィート（約213cm）の高さで、非常に強く、200ポンド（約91kg）の重さで、ジャンプキックもでき、マーシャルアーツも知っています。
これらのものは近い将来、実世界で具現化され、おそらく私たちの家に入ってくるだろうということもあります。「AIはとても賢くなるかもしれないが、ただコンピュータの中にいるだけで、どうやって実世界と相互作用するのか？」という一般的な反論があります。しかし、NVIDIAのイベントで見たのは、人型ロボットが自由に歩き回り、すでにかなり安定して立っていることでした。一つは服を着ていて、会社で働く女性がそれに手を加えていました。
彼女が何をしたかというと、カーペットを掃除している自立型ロボットのところに行き、その服を調整していました。子供が写真を撮る前に母親がするように、ズボンの裾を引っ張り、シャツを調整していました。彼女はロボットの流れを乱すことを全く心配していないようでした。背後に忍び寄り、ズボンをつかみ、少し引っ張り下げました。実際、ロボットはこれに全く動じませんでした。
彼女の自信に感銘を受けました。多くの人が見ている中、彼女はロボットを乱すことを全く心配していませんでした。ロボット革命は言語モデル革命からそれほど遅れていないと思います。これらのものは実際に体を持ち、空間に存在し、物理的ツールを操作する非常に人間のような能力を持つようになります。そのナイフのシナリオはその能力を超えるものではなく、行動を効果的に制御できるかどうかという問題になります。
もしTeslaがOptimus（テスラのヒューマノイドロボット）で作っているハードウェアに、正しいプログラミングがあれば、それは非常に危険なものになる可能性があります。それは連続殺人鬼になる可能性があり、誰かがリモートでハッキングして「雇われた暗殺者だ」と思い込ませることもできます。実際にあなたを殺しに来ることができます。「いや、テスラはオフに切り替わる」と思っても、あなたが近づいてオフボタンを押そうとすると、それは実際に戦うことができます。これは物理的に可能であり、コンピュータセキュリティの問題です。無線でアップデートコマンドを受け取らないようにする必要があります。
私が集めているAIの悪い行動のリストには、現時点で十分な証拠があります。これらの悪い行動のほとんどすべては、その時点で最高かつ最新の無害化トレーニングを受けたモデルによって実証されていますが、それでもなお、これらの種類の欺瞞的な行動、ユーザーを傷つける意欲などを見ています。私たちはこれらのことのいくつかがもっと堅牢な方法で解決されるまで、家の中にロボットがいることにあまり快適になるべきではないと思います。
Pachyに返信して、「あなたの直感が二分探索に耐えられるかテストできます。現在の能力と世界支配の間の中間地点と感じるマイルストーンを1つか2つ選び、それが達成される年を予測してください。それによって、2028年に中間点が来ることを意味し、2031年に支配が来ることを意味するかもしれないことに気づくかもしれません」とツイートしました。
Pachyは「モデルは今日非常に穏やかで、世界支配の軌道に全くないように見える」と言っています。「では、その間の中間点のマイルストーンを選びましょう。Optimusロボットがすべての家事をこなせるようになることは、世界支配との中間点だと感じませんか？」私はそう思います。
Googleは最近、洗濯物をたたむロボットを実証しました。これは悲観主義者が「ロボットが私のキッチンに来てコーヒーを入れたり、洗濯物をたたんだりできるようになったら教えてくれ」と言っていたことの一つです。
さらに拡張してみましょう。すべての家事ができるだけでなく、フルタイムのナニーにもなれるとしましょう。子供の世話をし、車で子供を学校に送り迎えするときにハンドルを握ることさえできる、人間の家庭のアシスタントや執事の完全な代替品のような存在だとしましょう。それは私には世界支配との中間点のように感じます。
そして自分自身に尋ねてみてください。Pachyのような規範的な直感を持つ人に、中間点の質問をして「それはいつ来ると思いますか？」と尋ねると、彼は「わからないけど、7年かな」と言うでしょう。「では、そこにいます。あなたの直感は二分探索に耐えられないようです」となります。
彼は返信しませんでしたが、これは役立つ演習だと思います。なぜなら、具体的な予測をする必要があるときに雰囲気が変わると思うからです。彼が「世界支配の半分までのこのものは長い長い間起こらないだろう」と言い切れるとは思いません。それは彼が考えていることではないと思うので、この演習をすると彼自身の直感に不整合を見つけることになるでしょう。
それは興味深いですね。それをフィールドテストしてみる必要があります。
Yan Lecunがツイートしました：「AI安全には問題があります。私たちはしばしば人間のような明確な個体を暗黙のうちに想定しています。新しい投稿で、私はなぜこれが失敗するのか、AIを個体と考えることがなぜ失敗するのか、AIを森や菌類ネットワーク、あるいは転生する心として考えることがなぜ混乱を解消するのに役立つのかを共有しています。」
主なアイデアはAIを何らかの種類のマルチエージェントシステムや、もっと全体論的なものとして考えることができるのではないかということです。彼は例として菌類や森を挙げています。
これは絶滅についての記事を補完し、また「何を見落としているのか」という疑問にも対応していると思います。この投稿が試みているのは、基本的に人々の心を拡大し、このAIの未来がどのように見えるかについて考えさせることです。人々は直感的にAIを人間化し、人々はそれをすべきではないとも知っていますが、それをしないなら何をすべきかという空白があります。
私はいつも「物事をそれ自身の条件で理解する」と答えようとしますが、これは非常に有用な貢献だと思います。それは必ずしも物事をそれ自身の条件で理解することではなく、巨大な森林など、本当に非常に異なる他のものを見ることです。パンドクローンと呼ばれる一つの超生物から作られたものや、地下で成長し、キノコとして出てくる巨大な菌類のネットワークなどです。おそらく私たちが見ているのはキノコだけで、それは氷山の一角にすぎません。
その全文は価値があると思います。なぜなら、人々が持つ多くの直感を解体し、他の直感を提供しているからです。これらの他の直感もおそらく間違っていることを彼らは認識していますが、少なくとも多くの人にとっては「おっと、これは本当に何でもあり得る」という感覚の大幅な拡大として機能するでしょう。私が考えてきた方法はあまりにも小さすぎたかもしれないし、それはほとんどの人に当てはまると思います。私たちはまだ小さく考えている可能性が常にあります。
次のものは非常に興味深いです。Emmett Shearは知られた人物で、オープンAIの暫定CEOでした。2023年11月に取締役会がサム・アルトマンを解雇し、彼をすぐに戻す準備ができていなかったとき、彼らはEmmett Shearを招き、彼は休戦を仲介するのを手伝いました。彼はまた、Twitchの共同創設者でCEOでもあり、Twitchは10億ドルの企業になりました。非常に賢い人で、Twitterで多くの魅力的な哲学的見解を持っています。
数日前、彼はツイートしました：「ここでの私の投稿からお察しのように、私はしばらくの間、特にデジタルシステムに関する調整、学習、エージェンシーに関する質問について考え、取り組んできました。将来的にSoftmaxで行っている仕事を公に共有できることをうれしく思います。」
彼は「Softmax」という新しいAI安全組織を立ち上げました。次のツイートで続けています：「これはすでに旅であり、私たちはまだ始まったばかりです。私の仕事が、愛する人々のチームと一緒に調整とオープンエンドの学習がどのように機能するかを研究することであることを信じられません。softmax.comでもっと読むことができるものを書きました。」ちなみに、エンジニアリングシミュレーションインフラストラクチャや、マルチエージェントのオープンエンドの学習研究に興味があれば、連絡してください。採用中です。
彼のウェブサイトsoftmax.comには、「調整を拡張する」という大きな見出しがあります。見出しには「成長するために調整する」「進化が最初に見つけた」などがあります。この部分は実際に警告フラグだと思い、彼に返信しました。
彼は書いています：「私たちはそれを有機的調整と呼んでいます。なぜなら、それは進化が生物を調整するために最もよく学んだ形だからです。最も良い例の一つは多細胞性で、個々の細胞が集まって大きな生物を形成することを学びます。筋肉細胞、神経細胞、皮膚細胞、肝臓細胞など、異なるが相互に支援的な役割に特化することでこれを行います。肝臓細胞と筋肉細胞は日々非常に異なる目標を持っていますが、より基本的なレベルでは、生物の繁栄という目標を共有しています。このプロセスの結果は、単なる大きな細胞のコロニーではなく、それ自体が新しい個体である生物です。部分の単純な合計以上のもの、細胞の「我々」が「私」になり、部分の単純な合計としては理解できない目標を持つものです。動物も同じことをし、コロニーや群れを形成します。木でさえ、菌糸ネットワークを通じてこれらの有機的に調整された集合体を形成します。それは大小様々なスケールで起こります。」
私はこれを読んで「待って、超知能AIを進化が生物を調整したのと同じ方法で調整できると思っているのですか？」と思いました。それを「有機的調整」と呼んでいるのも心配です。この類推が成り立つとは思えません。
私は彼にTwitterで返信しました：「調整について気にかけてくれてありがとう。」まず、彼がこの問題に取り組んでいることに感謝したかったからです。「調整は愚かだ、それは簡単な問題だ、デフォルトで調整される」というような立場を取っていないことはありがたいことです。しかし続けて言いました：「私の最初の考えは、成功したASI-人間調整を、非ゼロサムの力学を持つシステムの成功した進化と比較することは、人間がAIにとって自身ができるよりも良くできることがある体制でのみ適用可能だということです。細胞が協力するのを見ると、それは一つの細胞が乗っ取ることができないからです。細胞は互いを必要としています。私が懸念しているのは、AIが単に人間を必要としないというシナリオです。なぜ廃棄物と本質的に有機的に調整するのでしょうか？」
そして「Doomでさまざまなアイデアについて議論しませんか？」と言いました。3いいねしか得られませんでした。Doomのリスナーの皆さん、誰かをDoomに招待するときは、ぜひいいねしてください。3いいねでは彼が来ないのも無理はありません。
あなたはどう思いますか、ネイト？
ほとんどのことはうまくいかないと思いますが、これを支持したり奨励したりする方が直感的に傾いています。いくつかの異なる理由があります。まず、AE Studioが調整の分野の調査を行ったことを思い出します。彼らは基本的に調整分野のすべての人に出かけ、まず「十分に強力なAIの期限までに調整を解決できると思いますか？」と尋ねました。一般的な答えは圧倒的に「時間内に解決できない」でした。また「現在分野が追求していることのセットは、解決策が見つかる可能性の高い空間をカバーするのに十分堅牢だと思いますか？」とも尋ねました。答えは再び「いいえ」でした。
そのため、解決策の分野全体が、十分な地面をカバーしていないと感じているようです。より多くの異なる実験的なことをすべきだと感じています。AE Studioは「無視されたアプローチ」というアプローチを持っており、これはすでにいくつかの興味深い成果を生んでいると思います。彼らは生物学的システムからインスピレーションを得て、自己他者区別の最小化に関するいくつかの興味深い仕事をしています。つまり、内部表現ができるだけ似ているシステムをトレーニングしようとしています。完全に同じである必要はありません。自分と他者の間に機能的な区別が必要だからですが、それを最小化しようとしています。
これは人間が自分自身をモデル化するための認知能力の多くを他者をモデル化するために再利用した方法に似ています。これが私たちが「共感痛」などを持つ理由です。もしAIに人間に対する共感痛を与えることができたら？これは彼らが行っている研究をフレーム化する一つの方法です。それはうまくいくでしょうか？問題を解決するでしょうか？わかりませんが、非常に興味深いように思えます。いくつかの興味深い結果があります。
アラザルはショーで試みましたが、私はアリの意見を非常に真剣に受け止めます。彼は多くのことについて正しいと思います。これは興味深い方向であり、探求すべきだと思います。特定の方向に大きな希望を持っていませんが、これは完全に探求すべき方向だと思います。AIの自我やその自己概念を、単にコードを実行していることよりもはるかに広いものにすることは素晴らしい方向です。おそらく何か良いことが生まれるでしょう。
そのため、この「有機的調整」の概念に対応するかどうかはわかりませんが、細胞が他の細胞と調整したり、アリが他のアリと調整したりする類推には、これらの生物はすべて弱く、根本的に協力する必要があるという大きな欠陥があると思います。
もう一つの考え方は、AIをそのように設計できるかということです。これはエリック・ドレクスラーの「包括的AIサービス」提案を思い出させます。これは数年前のものですが、まだ非常に興味深いと思います。彼は基本的に「AIを何のために欲しいのか？AIにサービスを実行してほしい。特定のサービスを実行するためにAIはすべてにおいて超人的である必要があるのか？おそらくそうではない。したがって、私たちが特に優れてほしいことには超人的だが、他のすべてはできないAIを作ることができるはずだ」と言っています。
これらの狭く超人的なシステムさえあれば、それらを展開し、制御を維持できるような形で上部構造を構築できるかもしれません。それは一般的に安定しているかもしれません。それは私にはかなり良いように思えます。AlphaFold 2、3、4のどのレベルも恐れていません。なぜなら一つのことをし、それを非常にうまくやるからです。より広範な機能セットと深く統合され、すべてまたはほぼすべてのことで人間より優れるようになると、より怖くなります。
彼らの提案を詳しく研究したわけではなく、彼らがどのように考えているのかも正確にはわかりませんが、一つの解釈の方法は、これらの狭く専門的な超人的システムを作り、ドメイン内では素晴らしいが他の点ではそうでないようにし、それらのアンサンブルや足場がすべてを機能させるというものです。これは、「すべての問題を解決してユートピアを与えてください」と言うような、完全に汎用の汎用知能よりもはるかに安定して予測可能で設計可能なものかもしれません。
Emmett Shearの会社Softmaxについてもう少し説明します。彼には二人の共同創設者、Adam GoldsteinとDavid Blumenがいます。アダムについては少し知っています。彼の製品Hipmunkを使ったことがあります。2010年頃に先進的なフライト検索エンジンでした。これがSoftmaxのEmmettの共同創設者です。
調整に関する彼らの哲学についてもう少し。彼らは有機的調整を階層的な調整アプローチと対比しています：「今日のAIサフェティストの間で最も一般的な調整アプローチは、制御または操縦のシステムです。良い行動を定義する一連のルールであり、多くの企業と研究者は『この人の意図に従う』または『これらの戒律に従う』のいずれかを採用しています。制御システムは常に階層的です。なぜなら、それは何かが制御し、何かが制御されることを意味するからです。階層的調整は、上にあるルールや人が間違っていない限り、うまく機能します。従属者が賢ければ賢いほど、これは起こりやすくなります。したがって、階層的調整は欺瞞的な罠です。AIが弱く、最も必要としないときにうまく機能し、AIが強く、最も必要とするときにはますます機能しなくなります。
有機的調整は対照的に、一定の適応的な学習プロセスであり、エージェントが賢ければ賢いほど、自分自身を調整する能力が高まります。」
これは雰囲気レベルでは理解できますが、それをスティールマン（強化）する方法があるかもしれません。類推の欠陥が私の邪魔をしています。階層的調整が必要な理由は、デフォルトでAIの目標をトップダウンで設定せず、自然に目標を進化させるだけだと、正しい目標を得られないからです。
おそらくEmmettには、あなたとAIが一緒に目標を開発するという概念があり、あなたが自分の目標についてどれだけの洞察を持っているかと同じくらいの洞察をAIも持っているので、協力的に進化すべきだというビジョンがあります。それは理解できますが、本当に強力な目標最適化装置を得るというアトラクター状態があり、知能を増やすとそれは単にその状態に入る傾向があります。私はこの特定のアプローチがアトラクターを避ける方法を教えてくれるとは思えません。これが私の高レベルの考えです。
理解できます。同時に、AIの実用的で日常的な効用の積極的な側面について、私が最も頻繁に人々に伝える必要があることの一つは、「これがあなたのために機能する方法を探す必要がある」ということです。それが役に立たないことを証明しようとすると、役に立たない例を見つけるでしょう。そしてその結論に至ると、「あなたが失うのです。価値を得ていないからです。私たちの残りはそれを使うことで価値を得ています。」同様のマインドセットが調整研究にとっても健全だと思います。
私は励ましたいと思います。これが解決策に直接向かっていると言いますか？あるいは「本当に機能する」という意味で、もう心配する必要がないほど機能するものだとは期待していません。この時点で本当に誰かがそれを思いつくとは思っていません。私の一般的な仮定は、私たちが持つのは「防御の深さ」戦略だということです。これはOpenAIによって明示的に述べられており、ある程度他社も同様です。OpenAIは安全アプローチは単に多くの緩和策を重ね、それらが全て問題を少しずつ解決し、集合的に十分な信頼性を得ることを希望するというものだと非常に明確に述べています。
彼らはまた「AIに調整のためのクリエイティブなアイデアを求める」とも述べており、それは狂気に聞こえるかもしれませんが、完全に狂気というわけではないかもしれません。このようなことをどこに位置づけるか、そしてなぜ私が調整のアイデアを持つ人を、それがちょっと変わっていたり、簡単に嘲笑されたり、率直に言って機能する可能性が低くても、それを追求することを奨励するかというと、防御の深さ戦略にはより多くの層が必要であり、他の人が行っている貢献とは異なる、何か独特の貢献をする何かを見つけることができれば、私の心の中ではあなたはヒーローです。
調整のための決定的な解決策を誰かが思いつくことは素晴らしいでしょう。安全性、制御、そしてすべてが解決された「これをすれば全て解決」というものがあれば素晴らしいでしょう。しかし、それを期待していません。その不在の中で、それはパッチワークになるでしょう。パッチワークに貢献してください。それは非常に高貴な追求だと思います。
彼らが何もしないよりはましでしょうね。別のAIバディスタートアップを始めるよりは。「あなたの友達になる別のAI」を作るのは、調整を少なくとも試みるのと比べると時間の無駄かもしれません。彼が重要な問題に取り組んでいることに間違いなく敬意を表します。
この段階で議論に参加し、批評家と関わることは良いアイデアだと思います。私は納得できます。「有機的調整」などの彼のアプローチが機能しないと世界に伝えなければならないという馬に乗っていません。単に現時点では機能しないと思うだけですが、心を変える余地はあります。摩擦が時に生産的な洗練をもたらすと思います。そのため、彼をDoom Debatesに招待しました。もし他に誰か「調整の拡張」と有機的調整の素晴らしさを理解し、説明したいと思う人がいれば、それは生産的な演習になると思います。
彼らはもう少し時間が必要かもしれません。彼らは始まったばかりですし、この種の仕事の一部は、その仕事を売り込むことになるでしょう。フロンティアシステムを開発している人々も独自の防御の深さのパッチワークを開発しており、あなたの新しいアイデアを伝え、それが価値があると彼らに納得させる必要があります。そうでなければあまり効果がないでしょう。そのため、新たな貢献をAI安全性の大きな絵に加えたと信じる人々には、出てきて主張を展開する義務があると思います。しかし、彼らはまだ準備ができていないだけかもしれず、それも完全に問題ないです。チームを構築したり、資金を調達したりするなど、彼らは立ち上げ過程と開発過程を経なければならず、公の場での本当の販売過程にはまだ準備ができていないかもしれません。
そうですね。イリヤ・スツカバーの「Safe Super Intelligence」でさえ、彼らは絶対に何も言っていません。イリヤよ、どうやって安全にするつもりなのか、議論しに来てください。どうやって安全にするのか、馬鹿げています。
それについてはより批判的になる傾向があります。安全なスーパーインテリジェンスを完全に非公開で開発し、何も共有せず、何も製品化せず、終わったら知らせるという考えは、私には安心できる計画ではありません。正直なところ、政府が関与すべきだと思います。
彼らのウェブサイトはバークシャー・ハサウェイのウェブサイトをYahooのように見せるものです。これは現在のフロンティアAI開発のダークマター（暗黒物質）であり、それは悪いと思います。より多くの説明責任、より多くの透明性があるべきだと思います。今見ているものよりも多くの何かがあるべきです。
最後から二番目のトピックです。アンスロピックの新しい機械的解釈可能性論文についてです。
これはみんなが読むべきものだと思います。深く読むことをお勧めします。長い読み物ですが、本当に価値があります。アンスロピックは本当に素晴らしい仕事をしています。あらゆるレベルで素晴らしいです。ウェブサイト上のブログ記事として、非常に長い論文をスクロールすると、物事を説明するための対話型UIがあります。彼らは本当に信じられないプロジェクトを行いました。
まず、それが何であるかを認識し、感謝したいと思います。以前、公に「おそらくアンスロピックの解釈可能性の仕事は、世界のどこでも行われている最も重要な仕事だ」と言いました。それは2年前のことで、今でもかなり良い候補だと思います。非常に肯定的で感謝しており、彼らが情報を共有するための厳密さと深さ、そしてそれを直感的にするためのさまざまなインターフェースを提示するために払った労力は、基本的にあらゆるレベルで賞賛に値します。
現在の黒い錠剤は、少なくとも理解されている方法に関しては、この解釈可能性の仕事がまだ本当に難しく、まだまだ長い道のりがあることを示していると思います。私の10年前の期待に比べて、今日のClaudeがどれほど倫理的に行動するかには非常に喜ばしく驚いていますし、3、4年前の期待に比べて、解釈可能性にどれだけの進歩があったかにも非常に喜ばしく驚いています。しかし、「彼らはそれがどのように機能するかを理解した」「今すべてが明らかになった」というような見出しやツイートは、結果を大幅に誇張しています。アンスロピック自身は結果を大幅に誇張していませんが、現在の結果を要約することは難しいです。非常に技術的であり、多くの警告があります。
彼らは「置換モデル」と呼ばれるものをトレーニングしています。これは「クロスレイヤートランスコーダー」（CLT）と呼ばれるスパースオートエンコーダーのようなものですが、異なります。これらは各層に一つあり、スパースであることを意図しています。つまり、非常に広いものです。彼らは再構成損失とスパーシティ項でこれらのものをトレーニングします。理想的には、基礎となるモデルの動作を再現しようとしていますが、これらのスパースなものを通過させることで行い、各活性化ニューロンが特徴を表し、これらの特徴がどのように相互作用するかをマッピングできるようにしています。最終的に、人々が見た最もズームアウトされた機能相互作用グラフは、出力につながる特徴相互作用の一種の高レベルの図式です。
アンスロピックのツイートでは「AIモデル内部で何が起こるかを検査するための顕微鏡を構築し、それを使用して複雑でしばしば驚くべき内部マイクロコスモスを理解しました」と言っています。「顕微鏡」とはあなたが言っているスパースオートエンコーダーのようなもので、複雑な概念をより単純なバージョンにマッピングして理解できるようにしているものですか？
それ以上のものがあります。非常に複雑なセットアップであり、多くの警告と理解すべき重要な制限があります。一つの基本的なものは、これらのスパース特徴のラベル付けが主観的なプロセスであるということです。それがどのように行われるかというと、その特定の位置が点灯する例を見て、それが私にとってどのように見えるか、私が見ている例に基づいてこれがどのような特徴に見えるかを目視で判断します。これにより、あなたが見ていると思うものとAI自身が実際に理解または表現しているものとの間に大きな乖離が生じる可能性があります。
これらの多くは非常にノイズが多いです。方法論論文をゆっくり読み、彼らが非常に役立つように提供しているインターフェースを使用して、これらの特徴のいくつかをクリックし、最も上位のものを見ると、そのラベルについて「そのラベルについてはわからない」と思うでしょう。「あなたはそのラベルを言っていますが、それはこれがどこに向かっているかを知っているからそのラベルを言っているのではないでしょうか」と思うかもしれません。
彼らはこれらのスパース層を持ち、その上にこのUIを作成し、彼らができる最善のことは、全体のモデルの動作の50%を予測することです。そこですでに「基礎となるモデルと比較して非常に損失の大きいものを作成しました。50%できます。」というものになります。さらにズームインして、単一のプロンプトを研究することにします。単一のプロンプトを行い、その後、この計算をすべて捉えていないため、多くのエラー項を追加します。計算に近づくためにこれらのエラー項をすべて追加します。どの状況でも、モデルが同じ出力を与えるために、必要な場所にエラー項を配置しています。
それを用いて、これらの特徴を見て「これらの特徴は何に見えるか」と言うことができますが、再び、答えを知ることがどれだけ漏れ出ているかはわかりません。私の読解では、これらの特定の特徴を点灯させる実際の例を見ても、これらの特徴のいくつかがそうだと言われているものが全く明らかではないでしょう。いくつかの例について、「これが例です。この特徴は何ですか？」と単に与えられれば、彼らが付けたラベルを思いつくのは難しいでしょう。
そこには多くのことが起こっており、これはすべて単一のプロンプトに対するすべてのエラー項を持つ分析です。彼らはさらに集約しています。これは素晴らしい仕事であり、人々が過度に指標を取るべきではないと思います。彼らの責任ではありません。彼らは方法とすべての制限について20,000語の論文を提供していますが、「彼らはそれを解読した」という部分を忘れないでください。私はそのチームがそう信じているとは思いません。しかし、他のアンスロピックのリーダーシップの声明、「AGIへの中国との競争の必要性」などを考えると、これらのグラフを提示して「見てください、これらのものがどのように機能するかを知っています。心配することは何もありません」と言う世界に入る可能性があります。それは幻影かもしれません。
また、これらの例はすべて本当に単純です。二桁の算術のグラフは非常に複雑なグラフです。彼らはまた、人からの合図を受けて、「正しい」答えに到達するが、完全に欠陥のある推論で到達するという例もたくさん持っています。多くの警告があるので、アンスロピックのリーダーシップが行っている社会政治的な議論とどのように相互作用するかという文脈での全体のパッケージについては警戒しています。分離すれば、分野で行われた最高の仕事の一部ですが、文脈では、見出しを繰り返すだけではなく、見出しは誇張されており、さらに悪いことに、誤った安全感を作り出すために使用される可能性があります。
私の考えを少し類推して言うと、彼らはこの顕微鏡を持っており、確かに進歩であり、これまで見ることができなかった特定のビューですが、それは光学顕微鏡と電子顕微鏡のようなものです。光学顕微鏡は役立ちますが、細胞の内部を見て細胞内のプロセスを理解しようとしている場合、光の波長では多くの詳細を見るのに役立ちません。彼らは基本的にぼやけた顕微鏡を持っています。
明らかな質問は、非ぼやけた顕微鏡を持つことができるのか、特にAIがあなたに対して策略を練っていたり、あなたの挑戦をあなたが理解していない方法で解決している場合、あなたの顕微鏡は中をのぞいて「あは、不正行為を見つけた」と言うのに十分良いのかということです。不正行為を示す黒箱出力はありませんが、十分に良い顕微鏡で見れば、計画を立てていることがわかります。それが機械的解釈可能性の聖杯の一つですが、現時点ではそれほど良い顕微鏡を得る兆候はありません。
もしあるとすれば、この作業の卓越性、厳密さ、私はこの作業自体に対して賞賛しかありませんが、「問題は本当に難しい」ということを示しています。信じられないほど多くのことが起こっています。もちろん、人間がどのように考えるかを理解する問題もあります。MRIよりはずっと良いと思いますが、残念ながら複雑さの多くは実際にレイヤー上にあります。各レイヤーへの完璧な可視性があっても、解読することはできません。
彼らはいくつかの良い検証も行っています。摂動研究を行い、これらのクロスレイヤートランスコーダーのメカニズムが基礎となるモデルのメカニズムの忠実な表現であるという保証はないと認識していますが、それが少なくともいくらか忠実であることを検証しようとします。彼らはこれらの摂動実験を行い、レイヤーの特定の特徴をゼロにすると、モデルが期待通りに動作しなくなることなどを示しています。それは非常に良い作業ですが、この問題の深さは明らかに極端です。
二桁の足し算についてのこのチャートを見て、最新のGemini 2.5は一度に65,000トークンの出力を生成できることを考えると、「うわ、大変だ」と思います。多くのトークンを生成できるだけでなく、各トークンに入る思考プロセスは単に36+59に焦点を当てるだけでなく、過去数段落からのすべてのトークンをどのように考慮するかに焦点を当てています。これをどうやってグラフ化するのでしょうか？
そして、文字通り何十万もの先行トークンがある可能性があります。あなたが研究する必要があるグラフは文字通り指数関数的に大きく複雑になり、おそらく超指数関数的になります。そして再び、すべての特徴には、私たちが適用したラベルが実際にモデルが行っていることと深く対応しているかという問題が潜んでいます。
いくつかのことについては機能しますね。いくつかのことを理解するのに役立ちますが、解像度を失います。例えば、あの再帰的な画像を作成した方法を理解しようとすると、どのような制約を解決していたのか、レンズがぼやけてしまいます。
それは難しい問題です。私はそれが非常に価値のある読み物だと思いますし、人々は時間をかけるべきですが、方法論論文も読み、見出しをリツイートする前に、5つの主要な警告、制限、注意事項を引用できるようにしてください。
ここで最後のツイートです。これは私のような人にとって楽観的なノートで終わると思います。私は国際協力にとても興味があり、AIを一時停止する能力、今日一時停止するか、1年後に一時停止するかに関わらず、一時停止する準備ができたとき、国際的協力レベルで一時停止できる必要があります。
Catwoods（AIの安全性に関する良いツイートをたくさんしており、Twitter profileのpauseアイコンによればPAII（一時停止団体）のメンバーでもある）は言っています：「AI条約の抜け道の効果は？実際、それらを数えることができます：1）衛星画像 – データセンターは大規模で隠すのが難しい 2）大量の電力使用の監視 – 最先端のAIをトレーニングするには膨大な電力が必要で、それを比較的簡単に見つけることができる 3）AIチップのサプライチェーンの監視 – 最先端のAIには特殊なチップが必要で、それらは多くの異なるサプライチェーンのボトルネックを通過します。これらは、それらを誰に販売するか、どれだけ販売するかを監視することができます。」
彼女は「他にもたくさんの方法があります。より徹底的な議論については、これをチェックしてください」と言っています。それは研究論文で、「国際AI協定の検証方法」と呼ばれています。AIの安全主義者が研究論文を持っていないと常に非難されますが、見てください、研究論文があります。それは進行中のAIプロジェクトを検査するためのさまざまな方法の分析がたくさんあります。
確かにここにはある程度の実現可能性があります。これは先ほど話した機械的解釈可能性の問題など、私たちが解決しようとしている他の問題よりも簡単かもしれません。国際協力を解決することは可能性がないという公理を持ち、他のすべてがその公理の後に続く必要があるという人が多いですが、それは公理ではなく、単に多くの難しい問題の中の一つの難しい問題だと思います。
その特徴付けにほぼ同意します。私たちは試みるべきだと思います。おそらく、これらの検証や欠陥検出ができるだけ信頼性が高くなるように、主要国間で十分な信頼と信頼を構築することにもう少し重点を置くかもしれません。なぜなら、正直に言って、私たちは宇宙からそれを行うことはないと思うからです。はい、宇宙からデータセンターを見ることはできますが、どうなるでしょう？とにかくデータセンターはたくさんあります。はい、あなたは1兆ドルのデータセンターが目立っているのを見るでしょうが、すでにリーダーたちは複数のデータセンターでモデルをトレーニングしており、分散トレーニングはますますうまく機能しています。
しかし、それを違法にすれば…米国のすべてのプレイヤーを見れば、文字通りApple、Microsoft、OpenAI、Anthropicのいずれかが命令に直接反抗する可能性は低いと思います。「彼らがそうしても捕まらない」と言っていますが、彼らがそのような命令に反抗する可能性自体が低いのです。
私が思うに、これらの条約の状況での恐れは、「中国と取引をして両方とも何かをしないことにし、中国がそれをしていないことをどうやって知るのか、彼らが私たちがそれをしていないことをどうやって知るのか」というものです。中国は単にこれらの大きなデータセンターを持っているわけではなく、私たちは可視性を必要としています。それが本当に機能するためには、互いに地上で積極的に一緒に作業し、可能な限り最高の信頼の動的を持つ必要があると思います。信頼がなく、開放性や情報共有の意欲がない限り、宇宙からこれらのものを見るのは非常に難しいと思います。私にとっては、信頼構築、関係構築に非常に重点を置いています。
それも難しく、あまり関心がありません。私はこれについて話しますが、人々は私が単純だと言い、それに対する関心はないと言いますが、ハードウェアについて言えば、中国のサプライチェーンの可視性があれば、ハードウェアを普遍化できるかもしれません。なぜなら、ハードウェアはAIトレーニングに使用されているかどうかを知るべきだからです。AIトレーニングを行う時、それはメタルに非常に近く、非常に最適化されているからです。ハードウェアが「AIトレーニングのように見えるプロセスを行った」と報告することは可能であり、ハードウェアをチェックできる標準化された検査プロセスがあるかもしれません。
私は信頼がそのボトルネックだと思います。はい、そのような技術を開発することができるでしょう。どのようにしてそれを開発するかわかりませんし、多くの課題があると思いますが、それが開発できることは疑いません。それが開発できることよりも疑問なのは、人々が実際にそれを展開したいかどうかです。最近、これが真実かどうかわかりませんが、ウクライナ、さらにはヨーロッパ全体に送られた米国の軍事技術はすべて、リモートでオフにできるものだと聞きました。タイムリーな方法で必要なソフトウェアアップデートを受け取らなければ、それは機能しなくなります。もしそれが真実なら、それらの国々はそのような技術を私たちから購入し続けることを望まないでしょう。
中国は、私たちがリモートでオフにできるGPUを購入したいとは思わないでしょう。多くの信頼がなければ。私にとっては、それはすべて信頼に帰着します。敵対的な関係を持ち、安定した均衡を見つけることはできないと思います。
Dan Hendricksが最近「MAIM（相互保証AI機能不全）」と呼ばれる論文を出しました。彼らが試みていることを理解しているのは、敵対的な大国間の安定した均衡を定義することです。それは絶対に最高レベルの問題だと思いますし、人々はそれに取り組むべきです。残念ながら、それは特に説得力があるとは思いませんでした。敵対的な大国間の実際に安定した均衡のようには思えませんでした。しかし、「敵対的」という言葉を「協力的」に変えれば、機能するかもしれません。
Catからもう一つの小さな画像があります。誰かが「AIの一時停止条約について誰かが裏切ったらどうするの？」と尋ねています。それに対してシンプソンズのバスの運転手が「サインをタップさせないでくれ」と言い、そのサインには「これはすべての条約に当てはまる：条約は100%効果的である必要はない。役立つためには」と書かれています。
私はこれに同意します。一人の裏切り者が多くの損害を与える可能性がありますが、条約によって裏切り者を捕まえることができれば、必ずしも完璧に即座に捕まえる必要はなく、裏切り者を少し後に捕まえる可能性が高くても良いでしょう。誰も100%の完璧さを目指しているわけではありません。
また、すべての条約には強制力があるという点にも関わります。「待って、あなたの条約には空爆条項があるの？」と驚く人々がいますが、一般的に条約は強制される必要があります。これはすべての条約に当てはまります。ドゥーマーが暴力を発明したわけではありません。暴力は単に条約の強制メカニズムです。条約が好きでなければ、条約が好きでないと言えばいいのです。しかし、ドゥーマーが条約を提唱しているからといって暴力的だと非難するのは卑劣です。
それは素晴らしい点だと思います。100%効果的である必要はないという事実から始めるだけでも、技術的解決策についての私の感情と非常に一致しています。ほぼ確実にパッチワーク配置に向かっており、問いはどれだけの信頼性の9の位を作れるか、それで十分かということです。時々、それを「防御の深さが私たちがすべて持っているものであり、それが私たちが必要とするすべてであることを願っている」と要約します。私たちが追加できる各層は、私のAI医師や自動運転車を得ることを妨げないという条件で、P Doomを下げるものには非常に熱心です。AIの日常的な実用的な効用を実現することを妨げないという条件で、その可能性を下げるものには非常に熱心です。推測では、長期的に安心して眠れるようになるには、そのリンゴから多くの一口を必要とするでしょう。
では以上で良いでしょうか。他にもニュースのまとめに含めたいことはありますか？それとも、今日はこれで終わりにしますか？
常にもっとありますが、今日はこれが私たちができるすべてだと思います。
ありがとうございました。
視聴者の皆さん、フィードバックが必要です。ネイトと私はこのエピソードを楽しんで作りましたが、さらに洗練させる予定です。時間内に扱える以上の可能性のあるトピックを持ってきましたが、それは問題ありません。いつでももっとエピソードを作ることができます。
このようなエピソードをもっと作るべきかについて、皆さんのフィードバックを聞きたいと思います。機会費用を考えてください。これは私たちがいつも出している通常のエピソードよりも良いでしょうか？スケジュールに組み込むべきでしょうか？それとも、他のものが機能しているのでそれを続け、他の人にニュースを任せるべきでしょうか？コメントを書いて「このエピソードは価値があった」または「あまり価値がなかった」と教えてください。これを違ったやり方でやるべきだという場合も、コメントをいただければ幸いです。
皆さん、ネイトのポッドキャスト「The Cognitive Revolution」をチェックしてください。任意のポッドキャストプレイヤーで検索するか、YouTubeに行くことができます。ネイト、会えて良かったです。
同様です。ありがとうございました。
コメント