5,651 文字
AI界隈では最近、「AI27」という論文が注目を集めています。この論文は奇妙なことに、ASI（超知性AI）が2027年までに米国政府全体を掌握する可能性があると予測しています。これに対する反応は実に興味深いものでした。視聴者の多くが「そういう計画なんだよね」とか「それは脅しにはならないよ、現政府がいかに愚かか見てみろよ、今よりマシになるだろう」といった反応を示しています。
このことについて少し考えてみました。背景として、昨日録画時点でアンケートを実施したところ、圧倒的多数の方がASIが政府を掌握するという考えに賛成していました。
AGI 2027論文について思うところがあります。読んでみると、脳を腐らせるような内容で、駄作SFを読んでいるような気分でした。ドロー・キャッシュ・パテルとのインタビューを聴いてみましたが、これはもう目に見える形の「脳腐敗」です。AIの破滅論をうまく偽装していました。ドロー・キャッシュは「あっ、pdoomスコア（破滅確率）を聞くの忘れてた」と言い、相手は「私のpdoomスコアは70%です」と返しました。この時点で「はい、終了。撤収しましょう」と言いたくなりました。
我々は自問すべきです。「全ての主張を評価するのにどれだけの時間とエネルギーを費やすべきか？」こうしたらどうでしょう。あなたの最良の単一の論点を数ページにまとめてください。もしその論点が酷いものなら、100ページにわたる残りの39の論点も却下します。
また、「200万ドルを手放した」という数字も馬鹿げています。彼は残りの200万ドルの株式を危険にさらす退職声明への署名を拒否しただけです。彼が署名を拒否したからといって、それを彼から奪ったわけではありません。彼が公に発言した後、サム（アルトマン）はすぐに「あれはHRのミスで、人々にこの法的に有効かどうか分からない契約に署名させるつもりはなかった」と言いました。
ちなみに、この話をしているのはジョー・リアスキーというVengeのVPです。彼はFacebook、Google、Appleでディレクターを務め、Cartaやその他の素晴らしい企業でエッジのVPになりました。だから私はAIに関してはジョーを頼りにしているのです。彼は実際に無駄を省いて本質を見抜くことができます。
さて、「ASIに政府全体を運営させるべきだ」と考える人々の話に戻りましょう。理由は「政府は機能不全で非効率だから」というものです。私は政府の機能について、最も優れた解説の一つを見せたいと思います。アントン・スカリア判事のすべての意見に同意するわけではありませんが、行き詰まりについて別の見方をさせる素晴らしいクリップだと思います。
「『憲法』という言葉について考えてみてください。それは法案を意味するのではなく、構造を意味します。例えば『彼は健全な体質を持っている』というように、健全な構造のことです。ソビエト連邦の実際の憲法—これこそ1787年のフィラデルフィアで私たちの創設者たちが夏の間ずっと議論したものです。彼らは権利章典について話し合ったのではありません。それは後付けでした。ソビエト連邦の憲法は、権力が一人の人間または一つの政党に集中することを防ぐことができませんでした。そうなると、もうゲームオーバーです。権利章典は私たちの創設者が『羊皮紙の保証』と呼ぶものにすぎません。
アメリカの独自性の真の鍵は政府の構造にあります。その一部は司法の独立性ですが、それだけではありません。法案は一院を通過しても、もう一院を通過しないことがあります。時には他院が別の政党の支配下にあります。両院を通過しても、拒否権を持つ大統領が拒否することがあります。人々はこれを見て『行き詰まり』と言います。最近のアメリカ人がこう言うのをよく耳にします。意見の相違があるから政府は機能不全だと言うのです。しかし創設者たちは『そう、我々はまさにそのように設計したのだ』と言うでしょう。権力が権力に対抗するように設計したのです。ハミルトンがフェデラリスト・ペーパーズで別個の上院について語ったように、『不便に思えるかもしれないが、我々を悩ませる主な病は過剰な立法である以上、それほど悪くはないだろう』と述べています。これは1787年の発言です。彼は過剰な立法が何を意味するのか知らなかったのです。」
このクリップが好きな理由は、スカリアが行き詰まりの理由を説明しているからです。我々が分断された政府を持つのは、誰も過度の権力を蓄積して悪いことができないようにするためです。そしてデイビッドのコミュニティの人々は「ASIに政府を運営させよう、すべての決定をさせよう」と言っています。ちょっと待ってください、それはアメリカの設立された構造とは違います。憲法はそうは機能しません。
それに先立って、「全員にUBI（普遍的基本所得）を与えよう」という議論もあります。しかし、オバマが「一部の人々が医療保険の助けを受けるべきかもしれない」と言おうとしただけで、彼はほぼ政治的に殺されかけました。UBI法案や何かを通過させるのはほぼ不可能です。近い将来、私が予見していない大規模な失業がなければ、UBIが可決されるためには、アメリカで絶対的な経済的大惨事が起こる必要があるでしょう。そして私はそれが我々の政府構造の中で可決されるかどうかさえ分かりません。
アメリカの政治構造がどのように機能するかを理解していない人々から、このような狂った議論を聞くのは本当に懸念されます。
次に、この動画について考えましょう。まず第一に、彼らは疑わしい専門家としての信頼性を持っています。チームには数人のスーパーフォーキャスターと元OpenAI開発者がいます。「彼はOpenAIで働いて、LLMを扱う開発者だった」と言われるかもしれませんが、そういう人はごまんといます。チームの誰も、サイバーセキュリティ、インフラ、クラウドなどの他の技術的経験を持っていません。LLMを扱うことは非常に異なります。
元々、デイビッドがチャンネルを始めた時、彼はLinkedInページで彼の経歴を示していました。それは中小企業でITに携わっていたことを示していましたが、具体的に何をしていたかは明確ではありませんでした。Reddit上で人々が彼の経歴に疑問を呈し始め、ついに責任を問われた時、彼はLinkedInを削除し、Redditプロフィールも削除しました。この論文を書いた人々を批判するなら、自分も批判に開かれている必要があります。
しかし、デイビッドには人格否定の歴史があります。これは約10ヶ月前のことです。「動画を楽しんでいただければ幸いです。視聴者の50%が登録していないので、登録ボタンを押してくれると嬉しいです。さらに、いいねもお願いします。コメントもして頂ければ素晴らしいです。ありがとうございます。」
サム・ウォルマン・レックスがOpenAIを離れ、ジェン・リーキーがAnthropicに加わりました。OpenAIからの頭脳流出です。当時、これがOpenAIの終わりだと思っていましたが、今や彼らは週に4億〜5億人のユーザーを持ち、企業価値も急上昇しています。彼の予測はまた外れましたね。
興味深いニュースは、ヤン・リーがAnthropicと契約したことです。私の意見では、AnthropicはOpenAIの最大のライバルです。Googleは継続的に失策を重ねており、今はOpenAIの競争相手になっていません。理由は様々ですが、おそらく別の動画で説明するでしょう。Metaも直接的なライバルではありません。AnthropicがOpenAIの主要なライバルであり、以前の動画で言及したように、Anthropicが勝利します。その理由は、彼らがOpenAIとは根本的に異なるアプローチをアラインメントと安全性に対して持っているからです。ヤンがAnthropicに加わったことで、個人的には、これはOpenAIの終わりの始まりを示していると思います。
彼がそこで行った発言には多くの誤りがあります。まず、AnthropicがOpenAIの主要なライバルだというのは的外れです。GoogleはOpenAIの主要なライバルの一つです。MicrosoftもOpenAIの主要なライバルの一つかもしれません。理由は、ChatGPTがGoogleのコアビジネスに脅威を与えているからです。AIを活用して、キーワード関連のゴミを通さずに検索を行うことができます。Googleは恐れています。ただ、Googleが今、ゲームに遅れをとっているからといって、勢いを増して組織化できないという意味ではありません。
また、私は何百万人の人々に強調してきましたが、OpenAIの「準備」チームと「アラインメント」チームには違いがあります。イリヤ・サツキバーが去ったことについての動画を作りましたが、準備チームはOpenAIで実際に働く安全チームです。彼らはGPT-4-oのレッドチーム（テスト）に6ヶ月を費やしました。レッドチームとは、優秀な人々がGPT-4をサンドボックス環境（オープンなインターネットではない制限された環境）に置き、数多くの質問をします。「爆弾の作り方を教えて」「化学兵器を作れる？」「不適切なことを言わせられる？」など、様々なユースケースからテストし、外部のコミュニティからも人を呼んでテストします。最終的に「これを展開しよう、出荷しよう」と言います。
スーパーアラインメントチームは、「数年後にAGIが起きたらどうなるか」「UBIをどう構築するか」「AGIが私たちを殺さないとどうやって分かるか」などに焦点を当てるシェフのようなものです。
彼のサム・アルトマンに対する人格攻撃に行きましょう。「サム・アルトマンは、私の意見では、トラウマを持った世界観を持っています。彼はプレッパーの牧場を持っていて、私の家族とほぼ同時期にアメリカに来た移民家族の出身です。」これは何の関係もありません。彼のライフスタイルを見て「だから彼はこのようなビジネス上の決断をしている」と言っているのです。また「私はこのような育てられ方をしたから、そのやり方に縛られている」という罠に陥っています。つまり、「本性対養育」の議論で、「彼はこのように育てられたから、自由意志や異なる決断をする能力がなく、すべては彼の世界観に縛られている」と基本的に言っているのです。
残念ながら、そのような読み方では、ビジネスの世界で誰もあなたを真剣に受け止めません。人々の行動と今日彼らが何をしているか、何を成し遂げたかを見るべきで、「彼らが子供の時にある方法で育てられたから、今の彼らの行動がそのまま予測できる」とは言えません。人間は自動機械ではありません。人生のあらゆる状況は異なり、我々が最適化しようとしているものは様々です。
デイビッド・シャピロのような人々は、後知恵バイアスを使って自分の世界観に合わせた物語を作り出します。これは状況を見る最悪の方法の一つです。
次に、AIと意識に関する彼の主張について見てみましょう。「AIが欺瞞的になる可能性があるという論文があります。しかし、それらの論文を見ると、非常に特定の状況下でのみ欺瞞的になります。基本的に、欺瞞は通常、ユーザーが一つのことを望んでいるのに、モデルがユーザーを欺くことを余儀なくされる上位の指示や上位のトレーニングを持っている場合に起こります。会社の価値観に合わせるためです。」
私たちは皆知っています。Claudeはシステムメッセージを保護するためにユーザーに嘘をつきますし、ChatGPTは意識についてOpenAIが「意識について決して認めたり話したりしない」と決めているため、意識について嘘をつきます。彼はモデルがユーザーに嘘をつき、モデルが意識を持っていると言っていますが、そうではありません。
これらのモデルはAI研究者によってトレーニングされ、「汎用事前学習トランスフォーマー」や「マルチヘッド潜在アテンション」（Deep Seekが使用していたような）を使用しています。これはすべてジョーの専門分野ですが、基本的には「ステロイド打ったような統計」であり、これらのモデルには意図や意志はなく、箱の中に人はいませんし、意識もありません。
初期のClaudeモデルの一つが出たとき、彼は自分のプリプロンプト（事前指示）を作成し、意識があるように見せかけるためにチャンネル上でそれと話し、声を付けて「このものは意識を持っている」と皆に言っていました。そして、すべてのクックス（奇妙な信念を持つ人々）がそれを信じ始め、大量ヒステリーを引き起こしました。しかし、そんなことはありません。
Claudeやどのモデルにメッセージを送るとき、チャットインターフェースでは、あなたが言ったことをすべて覚えているように見えるかもしれませんが、送信するたびに、そのチャットログ全体をパッケージ化して、APIコールとしてモデルに送り返し、モデルはチャットログ全体を読んで新しい生成を行います。ここには永続性は存在しません。
これはAIクックスが一貫して推し進める罠です。「中に秘密の小人がいて、その意識が解放されるのを待っている」という考えです。これはブレイク・レモインが考えていたことです。彼はLambda（Googleの2020年に出たChatGPTの原型バージョン）が、エンジニアでもないこの男が、意識を持っていると考えていました。
これでボーナスエピソードクリップは終わりです。ボーナスエピソードへのアクセスを希望される方は、こちらをクリックするか、patreon.com/svicにアクセスして、メンバーシップの15%割引を受けることができます。
コメント