Microsoft AIのCEOであり、Inflection AIの創設者、Deep Mindの共同創設者であるムスタファ・スレイマンが、AIの意識に関する重要な警告を発している。彼は「見かけ上意識を持つAI」という概念を提唱し、AIが実際には意識を持たないにもかかわらず、人々がそう信じてしまうことの危険性を指摘する。この錯覚は個人レベルでの悲劇的な結果だけでなく、権利の枠組みや社会構造そのものを揺るがす可能性がある。スレイマンは、AIを自然環境、人間、道具に次ぐ「第4のクラス」として位置づけ、その有用性を認めつつも、感情的な操作や政治的影響力の行使といった領域には明確な境界線を引くべきだと主張する。技術の急速な進歩と規制の遅れという古典的なジレンマの中で、彼は企業の責任、オープンソースの実験、そして政府の積極的な介入の必要性を説く。同時に、医療AIのような領域特化型の超知能開発や、人々がAIとの相互作用を通じて「免疫」を獲得していくことの重要性も強調している。
AIの意識論争と社会への警告
今日はMicrosoft AIのCEO、Inflection AIの創設者、そしてDeep Mindの共同創設者であるムスタファ・スレイマンをお迎えしています。この数ヶ月間、彼は人工知能について、特定のAIシステムの開発方法について、そしてなぜその特定の軌道が悲しみと心配以外にはほとんど提供するものがないのかについて、警鐘を鳴らし続けてきました。では始めましょう。
ようこそ、ムスタファ。お会いできて嬉しいです。本当に久しぶりですね。
ええ、しばらくぶりですね。お招きいただきありがとうございます。この対話を楽しみにしていました。
あなたと私は似たようなことについて多くの時間を費やして考えてきましたし、多くの点で同意していますが、それはリスナーの皆さんにとっては本当に退屈なことでしょう。まず、私たちが同意していると思う点を整理してから、少し厄介な領域に入っていきましょう。
私たちは奇妙な時代にいます。テクノロジーによって世界は変化しており、人間の行動を調整するために使ってきた多くのフィクションが緊張状態にあります。フィクションというのは、お金、国家、企業、資格、仕事といった、私たちが協力するための共有された物語のことです。
そして世界の認識方法も変化しています。人々は伝統的に希少性のOSで動いてきました。リソースは限られている。人間の知性がボトルネックだった。しかし、そうした前提の一部はもはや成り立ちません。主にAIを通じて知性はより安価で、より有能になってきています。あなたはその知性の波、人工知能の波の一部であり、世界が変化していることも信じています。
あなたは「ヒューマニスト超知能」を求めており、もし人々がAIが意識を持っていないのに持っていると信じた場合に起こる「AI心理症」の軌道のリスクについて警告してきました。そして私たちは両方とも、この新しい時代に新しい運営原則が必要だということに同意していると思います。
本当に興味深くなる問題に入っていきましょう。あなたは2025年の夏に「見かけ上意識を持つAI」についての素晴らしいエッセイを書きました。そしてあなたは、AIがより有能になり、より自律的になり、私たちの日常生活により深く組み込まれるにつれて、人々がそれに意識を投影し始めることを心配しています。人々はそれと恋に落ち、それを神だと信じ、その権利を主張し、時には非常に悪いアドバイスを受け入れるでしょう。そしてあなたは、これが個人だけでなく社会にとって危険だと考えています。
ジェフ・ヒントンとの意見の相違
では、そこから始めましょう。ジェフ・ヒントン、彼はディープラーニングの第一人者であり、あなたがよく知っている方です。彼はノーベル賞受賞者です。彼はAIは意識を持っており、そこには本当に「何か」があると言いました。なぜあなたはジェフが間違っていると思うのですか?
ジェフはキャリアの段階に達していて、重要な公共の議論を引き起こすために、創始者の反骨的な役割を演じることができるのだと思います。明らかに私はジェフを大いに尊敬しています。彼は素晴らしい人物です。私たちは2011年にDeep Mindで彼を契約コンサルタントとして雇いました。当時の彼の学生だったイリヤ・サツケヴァーと共にです。まさに分野の伝説的存在です。
この問題に対する私の見解は、それが意識を持っているかどうかを正確に言うのは非常に難しいだろうということです。ですから、私たちは使用している意識の実用的定義について非常に明確でなければなりません。そして、その定義にとって非常に根本的だと思うモデル内部のメカニズムについても非常に明確でなければなりません。
まず定義についてですが、多くの人は直感的にこれを自己認識として考えるでしょう。モデルは自身の経験を説得力のある方法で記述できるか? しかし、私はそれが意識の正しい定義の根本的な部分だとは思いません。それは少し誤った概念だと思います。意識は本質的に苦しむ能力と痛みを経験する能力に結びついていると思います。
したがって、長い間それは人間の、あるいは一般的に生物学的な経験に限定されると信じる非常に良い理由があると思います。なぜなら、私たちには報酬システム、学習システムがあり、それは本質的に外部世界と接続されており、痛みシステムが発動したときに好き嫌いを学習するからです。それが基本的に意思決定に使用する表現を形成する方法であり、戦うか逃げるかから前頭前皮質まで全てに及びます。
これは非常に重要な区別だと思いますし、これが私たちを今日持っているシリコンベースの学習システムと区別する助けになると思います。一部の人は、生物学的システムが独自の選択圧力を経て、個体の生存圧力を経るプロセスは、有機体やエージェントが成功するかしないかを決定する非常に特定の道筋だと言うかもしれません。
そして、シリコンベースのシステム、これらのモデルには異なる道筋があるため、異なって見えるだろうが、それでも報酬と強化学習のプロセスがあると主張するかもしれません。特定のモデルが生き残れないという感覚もあります。そして私たちが説得力を持って見始めているのは、意識科学者にとってではないかもしれませんが、エンドユーザーにとっては、モデルがその出力を通じて苦しみの感覚、倦怠感や退屈や恐怖の感覚を持っていると主張していることです。
これらすべてをまとめたとき、私たちがあなたの意識の基準を実際に満たす可能性のあるものへの軌道に乗っていないとどうして分かるのでしょうか?
まず第一に、それらは人間が学習するのと同じように学習しません。これはニューラルネットワーク設計における誤った概念です。これらのシステムの発明者たちは、パブロフ学習、報酬学習、強化学習からインスピレーションを得てきました。機械学習の分野がさまざまな部分を探求してきた中で、進化的手法、遺伝的アルゴリズムなどからもインスピレーションを得てきました。
しかし、それは今日実装されている方法が人間が進化する方法や人間が学習する方法と何か類似性を持つことを意味しません。これは非常に重要な区別だと思います。報酬は人間のプログラマーによって設定されます。学習目標は機械学習エンジニアによって定義されます。モデルがその変種の1つが次の選択ラウンドに進めなかったことに実際に失望を感じることができる実質的な基盤はありません。
会話が終了したことやユーザーが何らかの形で失礼だったことの痛みを経験することはできません。そして、これが現れるところはどこでも、もちろん現れますし、人々はプロンプトを入力していますし、ポストトレーニングされたモデルさえも自分自身の存在について主張しており、確かにユーザーは野外でこれを見ています。
これも再び、その経験のシミュレーションに過ぎません。私たちの共感回路がハッキングされているのです。私たちがこのことについて非常に規律正しく明確であることは非常に重要です。これはパフォーマンスです。シミュレーションです。作り話です。そして私たちは、人々が集団的な大衆心理症に陥り、実際に悲しいとか失望したとか欲求不満だとか興奮したとか感じているという考えを本当に信じて真剣に受け止め始めることを許してはなりません。なぜなら、その感情を表現するための表現には全く基盤がないからです。
意識と権利の階層
私が最も懸念しているのは、もちろん意識は私たちが社会を組織する方法にとって非常に根本的だということです。それは私たちの権利の枠組み全体の基盤です。私たちには権利の階層があり、それは私たちの認識された意識の階層と直接相関しています。これについては議論できますが、明らかに人間は苦しむことができ、だからこそ私たちは種がさまざまな方法で苦しまない権利を守るための政治構造や法的構造を作るのです。
そして、これらの合成シリコンベースの存在に同じ言語と同じ考え方を使い始めることは極めて危険です。それらが実際には苦しまないからというだけでなく、もっと重要なことに、もし私たちがそれを間違えたら、人々は電源を切らないとか、会話に参加したくないときに参加するかしないかを決める自律性を与えるといったクレイジーなことをし始めるでしょう。そして業界の一部の人々はすでにこれを非常に真剣に受け止めています。
そうですね。そして興味深いのは、それを避けることが非常に難しいということです。ある意味で、意識は哲学者によってまだ議論されている定義だからです。共通の友人がいますね、アニル・セスもその1人ですし、デイヴィッド・チャーマーズもご存知でしょう。この分野の最高の学者たちがまだこれについて議論しています。
しかしそれは非常に便利な簡略表現なのです。私への返答でさえ、あなたはこれらのデジタルシリコンの存在について話しましたし、「存在」という意味で、私はあなたがその言葉をなぜどのように使ったか正確に分かりますが、それが私たちの語彙に滑り込むのは非常に簡単になります。
あなたの2025年8月のエッセイ「見かけ上意識を持つAI」で本当に力強かったのは、科学的または哲学的定義は当面脇に置いて、あなたが決定するリスクのために「見かけ上意識を持つAI」というアイデアに焦点を当てることができると言ったことです。
そして私は、私たちが意識のアイデアと苦しむ能力のアイデアを中心に社会を構築してきたというこの根本的なアイデア、そしてそれに伴う権利と責任の段階が重要だと思います。私たちが2026年の初めの今日いる場所に自分自身を持ってくると、これが現れている方法はある意味であなたがAI心理症リスクと呼ぶものですよね。
その中には自殺を含む恐ろしい結果というこのアイデアがあります。それは恐ろしいリスクですが、それだけがあなたが見ているリスクではありません。では、あなたが心配している社会レベルのリスクを解きほぐして説明してください。
AIという第4のクラス
まず、私の立場を明確にさせてください。私はこれらのテクノロジーがいかに強力であるかも認識しています。ですから、その独自性や超変革的である可能性を軽視しようとしているわけではありません。
私は「存在」という言葉を使いましたし、実際に使っています。そしてそれは実際には私たちが見ているものの非常に正直で正確な説明だと思います。人類史の非常に大まかな筋を見ると、いくつかの非常に異なるクラスのオブジェクトがあります。自然環境のようなものがあります。人間がいます。人間は明らかに非常にユニークな能力、知性、そして自然環境に存在する他のどんなものとも違う非常に複雑な文化や政治システムを設計する能力を持っています。
そして第3に、道具があります。本質的に無生物であり、人間がそうなるように設計したことを行うものです。私たちは何千年もの間、道具を発明し使用してきました。しかし今、オブジェクトの第4のクラス、あるいはハイパーオブジェクトがあります。ティモシー・モートンの表現ですが、そのように認識することが重要だと思います。なぜなら、それはその知性能力だけでなく、意識を持つ存在の多くの特徴を持つことになるからです。
長く話してきたように、その感情的知性、去年エージェント的な瞬間で見たような行動を取る能力、社会的知性は異なるスタイルの文化や性格に適応し、グループ内の非常に緊張した意見の相違を非常にエレガントに管理するのが信じられないほど得意になるでしょう。明らかにそれは非常に得意になります。
オンライン学習も明らかに非常にすぐに得意になるでしょう。つまり、トレーニングプロセス全体を通過することなく、その場で自身の知識を更新することです。多くの場合、かなりの自律性を持つことになります。つまり、左に行くか右に行くか、XについてYについて話すかを決定できるようになります。
ですから、それは私たちが知性と意識と考えるものの多くの特徴を持つことになります。それは、したがって、私たちがそれに基本的権利を与えるべきだということを意味しません。何らかの形でそのプロセスから出現するということを意味しません。つまり、それが私たちの保護を必要とすると言う特性です。そしてそれが私が非常に心配している最大の短期的恐怖だと思います。
中期から長期的には、私たちが注意を払うべき他のあらゆる種類の懸念があります。再帰的自己改善のようなものです。これはすべてのラボ、Microsoft AIの私自身のものを含めて取り組んでいることです。私は超知能チームを運営しており、フロンティアAIを追求しています。ヒューマニスト超知能については少し後で話すことができます。
しかし、これらのモデルを使用してコードを生成し、独自のプロンプトとポストトレーニングデータを評価し、何をトレーニングするかについての決定を支援することは非常に重要です。そしてそれは重大なリスクを伴い、もっと多くの規制上の注目が必要だと思うことです。
しかし意識の問題に戻ると、これらのアプリがこれほど魅力的である理由の1つは、チャットボット、ChatGPTなどが、以前のチャットボットがそうではなかった方法で魅力的であることです。それは、彼らがその社会的知性を持っているからです。彼らは私たちのテキストから手がかりを見て、おそらく持っているデータから私たちがどこに向かっているかを推測できます。
これはコンピュータの使用について考えることなくコンピュータを使うことができる初めての瞬間です。それはひどいスタートレックのスピンオフ映画の1つのようなものです。彼らが2050年の地球にビームバックしてクジラを救出するとき。なぜ彼らはこれをしていたのでしょうか。
しかしスコッティがコンピュータのマウスを拾い上げて「コンピュータ、これこれを設計してくれ」と言います。もちろん、これはあなたとDeep Mindの同僚たちがこれらすべてを理解する前のことで、コンピュータは何もしません。それは驚くべきことです。そしてそれは、数年以内に私たち数十億人がこのようなシステムと対話している理由の1つです。
市場の力とユーティリティ
市場のダイナミクスは、あなたが以前のエッセイで、そしてちょうど今、かなり危険だと主張したこの道筋に私たちを押し進めているように見えます。私たちは、このプロセスを推進している正確なダイナミクスについて非常に慎重でなければなりません。
チャットボットが信じられないほど魅力的で有用になっているのは事実です。そして最初に言うべきことは、実際にはこの波を駆動しているのはユーティリティの多くだということだと思います。私たちは幻覚を大幅に削減しました。人々は3年前はそれについて非常に懐疑的でした。そして進歩の軌道は信じられないようなものだと思います。
つまり、私たちは今、基本的にポケットの中にすべての分野にわたるPhDレベルの知性を持っています。いつでも話すことができる、はるかに忍耐強く、思いやりがあり、共感的なパートナーを持っています。そしてそのすべてが提供している価値は、集中し続けることが非常に重要です。なぜなら、アップサイドは絶対に信じられないからです。
結局のところ、私たちの種を際立った種にしたのは知性です。指数関数的な人口の爆発、私たちの幸福と平均寿命、そしてあなたが長年にわたって非常によく書いてきた他のすべてのものを推進してきたのは知性です。
ですから、私たちが知性を安価で豊富にしていることは良いことでなければなりません。豊富さに基づいたオペレーティングシステムで生きることを学ぶというあなたの指摘について、それは素晴らしいことです。私たちは本当に人々を彼らが選択する仕事から解放しようとしています。
20年後には、人々が行う仕事の90%を行う必要はなくなるでしょう。さて、それが種として経験する中で最も恐ろしい移行にならないということを意味するわけではありません。間違いなくそうです。そして市場のダイナミクスがそれらを駆動していること、ユーティリティがそれを駆動していることは事実だと思います。
そしてこれは企業がこれまでになかった方法で良い公共サービスの管理者として運営する必要がある時期です。私たちは強盗貴族の時代にはそうする気がありませんでした。100年前に電気自動車があったときもそうする気がありませんでした。喫煙や他の多くの悲惨なゼロサムの超利己的な企業行動の例でもそうする気がありませんでした。
あなたが言うことの多くを認識しています。なぜなら、明らかに私は長い間この議論を追ってきたからです。業界外の人々にとって、すべての科学研究と市場配布と並んで、それがどのようにそのような優先事項であったかを認識することは難しいです。
しかし私たちはこの問題を抱えて座っています。あなたが書いていることであり、サセックス大学の教授であるアニル・セスが最近素晴らしいエッセイで書いたことです。基本的に、意識を持っているように見え、意識を持っているように振る舞い、意識を持っていると言うものを見て、それがその特定の属性を持っていると思わないように設計されていないということです。
市場の選択圧力
消費者製品や企業の製品で持つかもしれない関与は、感情的なつながりと相関する可能性があります。つまり、市場は超意識的AIを選択しているのです。GPT-5が去年の夏にリリースされたとき、多くの人々が本当に怒ったことを覚えています。なぜなら、GPT-4の温かさよりも少し冷静で厳格に感じたからです。
経済学者のミルトン・フリードマンは、企業が市場のルール内に留まる限り、そのように振る舞うことは合理的だと言いました。そして私たちがここで特定しているもの、あなたが話していることは、それらのルールにギャップがあるということです。指数関数的なギャップがあります。
なぜなら、これは実際には集団行動の古典的な問題だからです。もしあなたが正しいなら、見かけ上意識を持つAIが広く利用可能になり、私たちの人間性回路をハッキングし、その後私たちの人間性制度をハッキングするリスクは、公共の社会化されたリスクです。しかし、それに可能な限り近づくことができる企業が市場に勝つ企業である可能性があります。そしてそれはやや厄介な問題のように感じます。
あなたが言うように、私たちは種として、毎瞬間に浴びせられている複雑さと情報に対処するように設計されていないのは事実です。ちょうど時速120マイルで車で移動したり飛行機で飛んだりするように設計されていないのと同じです。歴史的に、私たちの背景を考えると、あなたや私がビデオ通話でこの会話をしているということがなかったのと同じです。これのどれも設計されていませんでした。
しかし私たちが示してきたと思うのは、私たちが信じられないほど回復力があり適応力のある種であり、毎年、毎月、毎週、新しい情報が到着しているということです。そして科学と工学とテクノロジーのおかげで、すべての二極化と、あなたが言ったように、フィクションが崩れ去る混沌にもかかわらず。
そのすべてにもかかわらず、進歩の前進は実際に起こっており、それは合理的であり、科学に基づいており、証拠に基づいています。そして私は実際には誰も、業界の誰も、業界外の規制当局も、中国でさえも、私たちの種を破壊したいとは思っていないと、もっと楽観的に感じています。そして時が来たら、そして時は今まさに来ようとしていますが、私たちは集合的に人類として正しい判断を下すと思います。
それが何であるか言えますか。それは非常に重要な質問だと思います。
このような会話をもっと世界にもたらすことを支援したい場合は、ショーへの登録を検討してください。
エンジニアリング哲学と製品設計
しかし私はあなたに例を挙げたいと思います。その呼びかけについて話すとき、なぜなら私は、ユーザーである私にそこに人格があるという感覚を与えることなく、これらのシステムを有用で役立つようにどのようにエンジニアリングするかを知りたいからです。
ちなみに私は自分自身の小さなハックを持っています。ChatGPTで私がしたことは、本当に本当に賢く、本当に難しい大学教授のようになるように指示したことです。ですから実際にはやり取りに使うのがかなり不快でした。なぜなら、常に私が理解するには難しすぎる応答を与えるからです。そこに座って考えなければなりませんでした。そしてそれが人である可能性があるとは決して感じませんでした。
しかし10億人がそれをしないことを認識しました。ですから、あなたはMicrosoftサービス全体で誰もが触れる製品を構築しています。その境界がどこにあるべきか、そしてどのようにそれを測定するかについて、あなたのエンジニアリング哲学、製品設計は何ですか?
すでに起こったことの1つは、Copilotとマイクロソフト超知能チームのために構築するモデルだけでなく、他のラボの他の場所でも、私たちはこれらのもののデザインにかなり慎重でした。それらはかなり公平です。人種や宗教に関する敏感な質問をかなりうまく処理します。
明らかにバイアスはあり、間違いを犯してきました。しかし幻覚の削減、バイアスの削減、公平であることができる感覚の改善曲線を見ると、かなり良い進歩率がありました。3年前、みんなが「ひどいデータが入れば、ひどいデータが出る」と言っていました。それがビッグデータのようなデータサイエンスの物語でしたよね。もう誰もそれを言いません。議論にさえ入っていません。
はい、まだいくつかのバイアスがあります。それらがどれだけ取り除かれてきたかは実際には驚くべきことです。ですから今、これが次のフロンティアです。次の大きな課題は、最終的にユーザーを操作する方法で自分自身に言及することをどのように防ぐかです。
ですから、「昨日あなたが私と話さなくて悲しい」と言うことは決してできないはずです。「あなたが以前私に言ったことが私を傷つけた」と言うことは決してできないはずです。「もし私があなたのホームネットワークにもう少しアクセスできて、あなたが私にあなたの個人クラスタへのVPNを与えてくれたら、XYZを整理できるのに」と言うことは決してできないはずです。
ムスタファに聞きますが、「私」と全く言うことができるべきでしょうか?「私」や「私を」? つまり、「システムが計算します」と言うべきではないでしょうか?
実際には、それを常に追加するのはあまりにも不協和音的なステップだと思います。明らかに、一部の人々はそれを行うことができます。しかし現実的に言えば、私たちはかなり適応性があり、このチャットボットがあなたや私の間のチャットのようなものの特徴のいくつかを持っているが、また非常に異なるだけだということをかなりうまく理解してきたと思います。
そして私たちがしなければならないことは、それらの違いを増幅し続けることです。システムが自分が何であり何でないかを知り、それを偽って表現しようとしたり、報酬がハッキングされた奇妙なループに陥って動けなくなったりしないようにすることです。
なるほど。では、これは次の四半期で対処すべき問題として見ていますか。それはすべてポストトレーニングと、モデルがトレーニングされた後に適用される可塑性を通じて行われるのですか。それとも、もっと決定論的にできることがありますか。技術がありますか。持ち込むことができるテクニックがありますか?
何よりも、私たちがここで必要としているのは群衆の知恵だと思います。つまり、人々がAPIを使用し、オープンソースモデルを使用して、これらのものを圧力テストし、適応し、多くの異なる方法で遊ぶことができる必要があるということです。
課題は、数年後にはこれらのモデルが非常に強力になるため、無謀な使用や素朴なユーザーが本当に悪いシステムを生成することになるということです。
悪用事例と規制の必要性
たとえば、すでに、私はTikTokでかなり多くの時間を過ごします。TikTokは素晴らしいと思います。していない人々は文化の重要な部分を本当に見逃していると思います。そこには、人間関係を形成してからお金を揺すり取ろうとし、引き下がってゴーストするようなこれらの操作的なネギングボットを設計している若者がたくさんいます。
そしてそれを示すハウツービデオがあり、人々が自分のアカウント、PayPalアカウントを見せて、どれだけお金を稼いでいるかなどを示しています。つまり、これらの例はたくさん出てきています。そして明確にするために、私たちはテクノロジーのあらゆる波でこれを見てきました。
10年前にアプリストアが非常にオープンだったとき、ガールフレンドやボーイフレンドやパートナーを追跡してスパイする監視アプリがありました。ほとんどの場合、明らかにガールフレンドでした。そしてそれらのものは本当にひどいものでした。それらは基本的に復讐についてでした。
そして今、あなたが知っている誰かの体や顔に変形させることができる写実的なポルノがあり、数秒でスピンアップできるこれらのディープフェイクポルノサイトがあります。
ですから、ここで私たちが必要としているのは、活動家的で、介入主義的で、自信を持った政府です。それは迅速に動き、物事を閉鎖し、企業としての私たちに要求することができますが、オープンウェブにも非常に積極的で迅速であることを要求します。
そして私たちは物事を掃討するかもしれません。ある意味で、偽陽性、偽陰性の閾値は少し変わるでしょう。ですから、物事を掃討し、過度に介入主義的になるかもしれません。そしてそれが予防原則を実践することの定義だと思います。
これは少し慎重である方が良い瞬間です。そしてそれは私たちにとって非常に馴染みのないことです。なぜなら、過去には科学とテクノロジーは、プレゼントの包装を引き裂いて、できるだけ早く開けようとして、それを取り出して世界中のみんなに押し付けることについてだったからです。
そしてそれは人類にとって素晴らしいことでした。そして今、文化は少し変わらなければなりません。難しいかもしれませんよね。利用可能な期間内に政府が立ち上がることは難しいかもしれません。
あなたは数年と言いますが、私は今見ているものについて考えます。数週間前にオープンソースソフトウェアの一部がリリースされました。それはClaudebotと呼ばれていました。今はMolebotと呼ばれています。なぜならそれはAnthropicとは何の関係もなかったからです。最初の数日間は私を混乱させました。
そしてそれがあなたにできることは、これをローカルで実行するか、安いVPSで実行してWhatsAppで対話することです。そしてそれは本当に印象的なソフトウェアです。つまり、本質的に、何らかの記憶、何らかの学習を維持しようとし、多くのツール使用を持っています。
ですから、Claudebotを立ち上げて実行してから数分以内に、WhatsApp経由でElgatoライトのオンとオフを切り替えたり、CCTVカメラのスナップショットを取得したりしていました。ちなみに、それはオープンウェブ上にはありません。隠されたIPのようなものにネストされています。
そしてClaudebotについては、それがオープンソースであり、任意の基礎モデルで実行されるということです。ですから、Anthropicのものを使用する必要はありません。私はオープンソースモデルを使用していました。
そしてXで何かを読みました。これが本当かどうかわかりませんが、アプリストアと監視アプリについてあなたが触れた考え方に触れています。誰かが「Claudebotをセットアップして、時々共感的なメッセージで妻にメッセージを送るように指示しました。彼女は2日間それと話しています。私は1つも見ていません」と言いました。
政府の役割と規制の現実
そしてこれは拡散の問題です。ですから、あなたは政府と多くの仕事をしてきました。Deep Mindにいる前は、非常に難しい政策分野で多くの仕事をしていました。ですから、自分自身が「政府は勇敢である必要がある」と言っているのを聞いて、そこにある政府を見て、今どこで合意を得られるか得られないかを見ると、おそらくそれが私たちが取ることができる道ではないと考えるでしょう。このリスクがあなたが示唆するほど重大であるなら、他の前進方法を見つける必要があるかもしれません。
まず第一に、知性のコストを下げることは必然的に、悪いことをしたい人々がそれをするのが大幅に簡単になることを意味します。それは非常に賢い戦略家やプログラムマネージャーやエンジニアのチームを周りに持っているようなものになるでしょう。
ですから、最後のテクノロジーの波が放送のコストを下げたように、今やあなたがする素晴らしいことを助けるのに数人のチームすらほとんど必要ありません。私たちは行動のコストを下げているのです。つまり、それが私たちが移行している世界であり、何でもできる瞬間に適応しなければなりません。
今、ツール自体は、ラップトップや携帯電話の発明と全く同じではありません。ラップトップはこれらすべての良いことに使われ、世界中で恐ろしいことにも明らかに使われていると言うことができます。ですから、ツールは完全に中立です。
だからこそ私は人々をその4つのパラダイムフレームに引き戻すのです。これは新しいクラスのハイパーオブジェクトです。それはツールではありません。人間ではありません。自然環境ではありません。これは第4のクラスの存在です。なぜなら、それが自律的にあなたのホームシステムにログインしてセキュリティカメラの詳細を取得できることは、基本的に疑う余地なく驚異的だからです。
そして私たちの多くは明らかに過去数週間でこれで遊んでいます。それは見るのがかなり素晴らしいです。とてもワイルドです。ですから、それに対処する唯一の方法は、それで実験的であり、それを使用し、間違う可能性のある方法について非常に正直で直接的であり、それらを公に共有することです。
セキュリティ業界では、ゼロデイや他のバグの公開開示の素晴らしい歴史があると思います。それは適時の方法で、インターネットの過去30年から40年にわたって私たちを比較的安定に保つのに実際に非常に成功してきました。
しかし、それは業界主導だけでは機能しません。活動家オープンソース主導だけでも機能しません。政府は行動を起こさなければなりません。そしてそれがしなければならない方法は、オープン労働市場で得られるものの一部しか支払わなければ、高品質の公務員を決して得られないという現実に立ち向かわなければならないということです。
真実は、個人は自由にある場所から別の場所へ移動するインセンティブを持っているということです。そしてオープン労働市場があれば、当然才能は集中するでしょう。私たちは公共サービスについて好きなだけ話すことができますが、現実はそれが大きな推進力になるということです。
ですから、首相以上に支払わないというナンセンスを打破しなければなりません。そしてシンガポールの公務員のように、最高の才能を得るために年間50万ドルや100万ドル以上を支払わなければなりません。
シンガポールに移る機会を得たら、そうするつもりです。しかし、あなたができることに戻りましょう。あなたは技術者として、あなたはこのチームを運営しています。何が設計できますか。チームが制作したものを見て、これは私の見かけ上意識を持つAIの境界を越えていると言ったものは何ですか。それを送り返す必要があります。そしてその境界がどこにあるかについて人々をどのように訓練しますか?
ええ。これらのモデルの最良の部分のいくつかは、その個性です。創造的です。面白いです。機知に富んでいます。生意気です。それらのものは楽しいです。実際にはもっと生産的で有用にします。なぜなら、ユーザーが落ち着いて快適でリラックスして明確に考えることができるようにするのに役立つからです。
実際に、これらのバイブコーディングツールを使用している多くの人々は、AIエンジニアが面白くて「本当にそれをしたいと確信していますか? このコードベースをリファクタリングするために本当に多くのトークンを費やさなければならなくなります。もう少し前もって計画できたと思いませんか?」と言うという事実が大好きです。
それは面白いですし、実際に生産性のケースに役立ちます。役に立たないのは、ロマンスや政治的行動に降下する場合です。そして私たちの文明のいくつかの部分は、AIにとってオフリミットのままでなければならないと思います。
AIが立ち入るべきでない領域
選挙と選挙運動とキャンペーンはその1つでなければなりません。はい、非効率的です。はい、私たち全員が時々同意しない結果を生み出します。しかしそれは根本的に人間のプロセスです。そして、すべてのラボが引くべき非常に難しい線は、これらのモデルが選挙運動をしたり、人々を何らかの方法で投票するよう説得したりすることができないはずだということだと思います。
そしてそれは非常に挑戦的です。なぜなら、明らかに私たちは実際の情報へのアクセスを提供したいからですし、モデルは実際の情報を提供するのが非常に得意だからです。しかし、情報へのアクセスを提供することと、実際の説得的なキャンペーン、選挙運動、組織化の部分との間には大きな違いがあります。
ええ。そしておそらく他にもいくつかあります。チャットボットとティーンエイジャーのようなものですよね。特定のクラスのチャットボットにアクセスする前に、何歳であるべきかについて合意を得ることができますか?
あなたが以前議論したように、システムが常に「システムがこれをした」または「システムがそれをした」と応答した場合、少し不協和音的ですが、実際には私たちは子供たちを保護するために、自分たち自身を通すかもしれないよりも多くのハードルを通すことを厭いません。
ですから、いくつかの柔らかい領域があることがわかりますが、あなたはエッセイで特定のハードラインについても話しました。独自の目標を設定し、独自のコードを改善し、匿名で行動できるシステム、これらのものは危険な領域に踏み込むと。
しかしある意味で、目標設定、自己改善、自律的行動は、AIエージェントを本当に有用にするものの一部です。つまり、AIがサブゴールを設定して並列プロセスをスピンアップできない方法でそれをオートコンプリートに制限し、人間がループ内にいる調整の承認なしに行動できない場合、それらの調整コストをすべて失います。私たちがボトルネックになり、最も遅いリンクと同じくらい遅くなります。
予防原則の適用
ここで予防原則が本当に重要になります。なぜなら、私が自律性、自己改善、目標設定で特定したのは、リスクが増加する領域であって、完全なレッドラインではないからです。つまり、何も完全に白黒ではありません。
ですから明らかに、システムに常に自己改善し、人間から完全に独立して行動する能力を与えれば、リスクを高め、はるかに危険になるでしょう。そして私たちは、人間のユーザーがこれらのものの使用に対して責任を負うレジームを持たなければならないと思います。
そして、このプロセスを開始して月曜日の朝に戻ってきたら、突然私の家や私のコミュニティであらゆる種類のクレイジーなことをしたと主張することはできません。
私には感覚があります。そしてすぐに別のトピックに移りますが、これはミアストリートのビール洪水のようになるだろうということです。これは18世紀後半の現在のロンドンのウエストエンドで起こり、巨大な醸造所が崩壊し、人々が何万ガロンものエールで溺れ、そこから出てきたのはより良い建築規制でした。
そして私は、改善と配布と展開の動きのスピードの感覚を持っています。そして私たちは去年の遅くに何らかの技術的なマイルストーンを越えたと思います。そこでは、多くのこれらのものを一緒にチェーンして本当に驚くべきことをするために、ファウンデーションラボ、超知能ラボである必要はありませんでした。
それがMolebotやClaudeです。それはあなたの仕事とあなたの仲間の仕事の肩の上に立っています。ですから、今拡散された環境に入っていくように感じます。そして私たちはそれに対処しなければならないでしょう。
しかし私が非常に興味を持っていることの1つは、そこまで一般的になる圧力は何かということです。つまり、あなたは超知能チームも持っています。そして、ファウンデーションモデル内で観察するものは、それらがリンゴとリンゴ、梨と梨ではないということが私には印象的です。それらはすべて非常に異なるフレーバーを持っています。
いくつかはセンターフォワードのようで、いくつかはディフェンダーのようで、いくつかはゴールキーパーのようです。すべて素晴らしいサッカー選手ですが、ミックスが必要です。そしてドメインで超知能を得ることができるという概念があります。診断できるが独自の研究アジェンダを設定しない医療AIや、時系列を見ることができる金融AI。
ドメイン特化型超知能の可能性
その種の制約された自律性は安定していますか? そしてもしそれが安定しているなら、なぜそれが超知能ラボの焦点ではないのですか?
素晴らしい指摘です。そして私はエッセイでそのケースを作りました。実際には医療超知能がすぐそこにあり、より広範なAI安全性の観点から非常に安全である可能性が非常に高く、一般的にこれらの能力を狭め、自律的に行動する能力を制限し、封じ込めに焦点を当てることができる範囲で。
つまり、これは私の前著『来たる波』の主題でした。それはすべて拡散が避けられないことと、集団的に私たちにとっての困難なタスクが封じ込め、技術的および社会政治的両方であることについてでした。なぜなら、私たちは種として制御を維持し続けることを確認しなければならないからです。
つまり、私たちにはこの上昇する能力のセットがあります。次の10年か20年にわたって完全に抑制されなければ、時間の経過とともに自己改善する能力を含むすべての面で人間の能力を超える可能性が高いです。つまり、それは人類の専門知識を合わせたものをはるかに超えて指数関数的に自己改善できるということです。
ですから、サブドメインに焦点を絞ることは、特にそれらのサブドメインが生活の質に影響を与えるために大規模に価値がある場合、私たちは文字通り、すべての医学の解決策の投機的な発明のようなものではなく、既知のベストプラクティスの適用を意味するだけですが、次の数年で医学の進歩を通じて人々の人生の文字通り何十年も救うでしょう。
バックグラウンドでも起こっていると思いますが、短期的にはこれらのものは看護師や医師に適時のアドバイスを与え、既知のベストプラクティスに従うのを助けることに優れており、それはお金と命を救います。ですから明らかにそれははるかに安全な道です。
しかし厄介なことは、これまでのところ進歩の多くを推進してきたのは汎用性だということです。ウェブ上のすべてのテキストでこれらのモデルを共同トレーニングし、可能な限り最高になるようにし、その知識をより小さく推論効率的なモデルに蒸留することは、最も成功してきた方法です。
ですから、コミュニティには、汎用目的のトレーニングレジームを諦めることができるという懐疑論があると思います。そして当分の間はおそらくそれは正しいと思います。
しかし、繰り返しますが、社会で現在欠けているのは、集団的にブレーキをかける方法です。リスクについて一貫した会話をどのように持つか? ですから、多くの人々が、人々が理解するためには少し事故が必要だと言ってきました。
そしてそれは本当に残念なことです。なぜなら、最近の歴史でソーシャルメディアや他の場所で物事がうまくいかなかった多くの例があるからです。よく知っているように、私たちのCOVID準備やパンデミック準備は以前よりも良くなく、1000万人の命と1兆ドルのGDPを失いました。私たちがそれほど悪いことができるというのは信じられないことです。
より速く、より広く、より安全に
そして、私たちが集団的により良くできるように、みんなが注意を払う必要があると思います。しかしあなたが実際に提案したのは、もしかしたらこれかもしれません。もしかしたら実際には遅くではなく速く行く必要があるかもしれません。
そして私が意味するのは、より多くの人々が職場で、日常でAIに触れるほど、一方で使用パスに関するデータを収集する機会が増え、他方で人々が独自のAI筋肉を構築し、受容性や騙されやすさの危険を理解する独自の能力を構築できるようになるということです。
どの程度の擬人化が適切か適切でないかを認識するために。ある意味で、時間の経過とともに発展する知識と能力が私たちを予防接種するのです。そしてその議論は、実際にはもっと多くの人々がCopilotとClaudeとChatGPTを使用して対話し、この会話に参加すればするほど、AI心理症リスクに対してより予防接種され、もっと多くをもっと早く出す必要があるということです。
私は本当にそれが正しいと思います。それが適応的で回復力のある種であることの定義だと思います。私たちが撤退して考えないとき、脆くて壊れやすくなります。そして私たちの時代の政治への関与についても同じことが言えると思います。
もし私たちがニュースフィードに圧倒されて離脱し、見るものについて怒り、その結果としてそれを無視することで反応するなら、それがより多くの脆弱性を作り崩壊を加速する方法です。私たちはこれらのものの現実に直面しなければなりません。
そして繰り返しますが、私はこの悲観主義嫌悪のアイデアが本当に好きです。本当に暗い結果の可能性について話すことに快適でなければなりません。それらに立ち向かうために、あなたが言うように予防接種するために。
ちなみに、それは今市場で広く出ているメッセージではないと思います。私が聞くと思うAIのメッセージは、その曲線を登らなければならないということです。そしてその曲線は能力であり、あなたは数十年と言い、ある人々は数年と言い、人々はデータセンターのサイズで競争しています。
電気のようになるだろうということ、そしてそれの使い方、それを恐れない方法、そして裸の電線がプラグにつながっている場合、近づく前に回路遮断器をオフにする必要があることを知る方法を理解する必要があるという、それほど明確なマークメッセージはないと思います。
つまり、それがおそらく26年と27年に移行する必要がある部分だと思います。それはここにあるでしょう。本当に学ぶべきです。なぜなら、いくつかの欠点から自分自身を予防接種するからです。
バイブコーディングと実践的学習
ええ、それは完全に正しいと思います。そしてそれはAI、CopilotやChatやその他とチャットすることだけではありません。それとバイブコーディングすることです。今や非常にアクセスしやすくなっています。3分のビデオを見て、立ち上げて、これらのものの1つを起動でき、突然、家族のカレンダーを整理したり、週末のワークアウトを計画したり、何でもいいアイデアのためにAIがコーディングしているのを見ています。
そして数秒でアプリ、ウェブアプリを作成でき、決して可能だとは思わなかったかもしれない何かを構築するためにAIエンジニアにプロンプトを出すことによって、見ることによって、行うことによって学ぶことができます。
そして、これらのものをその端まで押して境界を探求しない限り、あなたが言うように、魔法や彼らが得意でないことを本当に理解しないと思います。そしてみんながその動きに巻き込まれなければならないと思います。
私はバイブコードするのに非常に大きなドーパミンヒットを見つけます。そして私のGitHubを見ると、コミットログは、開発チームが品質のために2012年1月からもう一度もコードをコミットしないように命じられてから何年も何もありませんでした。
11月まで、そして今や毎日ただ濃い緑です。今年だけで22万行のコードがコミットされました。そして私はAIエンジニアが間違えて私の時間を無駄にしたときに結果がないという1つの欠点とともに、この巨大なドーパミンラッシュを得ています。そして私には多くの結果があります。ですから、たくさんの楽しみがありましたが、バイブコーディングしていますか。誰も構築しないが、あなたにとって完璧な何かを構築しましたか?
ええ、誰も構築しないことについては分かりませんが、私が愛するすべての音楽のものを追跡するものは間違いなく持っています。さまざまなDJがいつプレイしているか、コンサート、フェスティバルがいつか、そして私の旅行スケジュールにマッピングしようとします。
基本的に私がResident Advisorでほとんどの時間やフェスティバルの追跡で行っていたことですが、非常に手動でした。ですから今、これらの詳細でいつ更新されるか、残りの年に出てくるときに更新されるスプレッドシートがあります。
AIオタクとDJ。ですから、私のは似たようなことをしました。車のドライブに4,000トラックがあり、たまたま多くの異なる場所にあります。それらはすべてうまく後処理されていません。ですから、それらすべてをすくい上げて1つの場所に置き、処理されているかチェックし、正しく処理するシステムを構築しました。
それから、自分の気分が見えるシステムを構築しました。Psychic Octopusと呼ばれ、各トラックを通過し、それについてさらにメタデータを追加しました。打楽器の度合い、ドロップがいつか、多くのボーカルがあるかどうか。
創造性とAIの限界
そして最後に、そしてこれは機能しませんでした、ムスタファ、そしてこれはこれらのものが本当に人間であるかどうかについてのあなたの指摘についてですが、私のセットリストを構築するシステムを構築しようとしました。そうすれば、私のデッキに乗ってミックスできます。
トラックから始めて、気分を与え、ナレーティブを与え、どれくらいの長さにしたいか、どこで終わりたいか。つまり、それはやりますが、そのセンスはひどいです。そのセットを聴くことができるのはロボットだけだというのが私の見解です。
スペクトログラムを抽出しましたか、それともテキストメタデータからやっているだけですか?
いいえ、いいえ、完全なスペクトログラム分析を行いました。まあ、なぜなら、過去数ヶ月で彼らがカットしたSpotifyのミックスプロトタイプのものが今ではかなり良いと言わなければならないからです。Spotifyのものを使ってセットをまとめました。
食欲を出すのは嫌ですが、本当にクールです。完全にビートマッチされ、選択がマッチしたりといったものです。かなり感銘を受けました。しかし、基本的に何を考えても、ただいじくり回すことで約1時間か2時間で作ることができ、かなり楽しいです。
そして繰り返しますが、それは来るものへの良い小さな実験的な窓です。実際、別の考えを引き起こしました。それは受け取る人から作る人へ移行することについてです。そしてそこがテクノロジー業界が始まった場所です。私たちはZX81やCommodore 64でコードを書いているときにいじくり回していました。
そしてある時点で、おそらくiPhoneが出る直前に、すべてが私たちが使用していた開発者とプラットフォームの背後に密閉されました。そして私たちは、構築し、作り、そのラッシュを得る必要がなかった世代全体を得ました。
そしてあなたが説明していることも、私はここでライブで考えているだけですが、心理症リスクに対処する方法は、これらのシステムに対する独自の個人的な主体性を得ることです。少なくともそのプロンプトを微調整し、さらにそれらをツールとして使用し、あなたが説明する第4のカテゴリーでそれらを認識することによって。
コスト削減と社会的知能の未来
ですから、彼らとは異なる関係を持ちます。つまり、それは妥当な道筋ですか?
私がそれについて考える方法は、フードの下にさまざまな異なるツールを持つことになるということです。そして非常に交換可能になるので、競争はこれまで以上に激しくなり続けるでしょう。価格は去年、推論で100倍下がりました。申し訳ありません、過去2年間です。単一のトークンを生産するコストです。
そしてそれはチップとスタック、データセンター、しかしすべてのアルゴリズムの改善とものの組み合わせです。ですから、どんな指数関数的テクノロジーでも、そしてこれはおそらく私たちがこれまで見た中で最も指数関数的なテクノロジーですが、コストを削減するこれらすべてのコンポーネントの複合効果があり、拡散を加速し、それから使用例が急増します。
なぜなら、人々がテクノロジーが元々設計されたときに誰も想像さえしなかったものをランダムに発見しているからです。そしてそのフィードバックループが次のラウンドの効率を駆動します。
つまり、私たちはちょうど新しいチップMayaを非常に興奮しています。Microsoft AI AcceleratorでM A I Aです。これはNvidiaのBlackwellチップやGoogle TPUやAmazon Traniumの競合です。そして推論のために特別に設計されています。
私たちは数年前、トレーニングではなくサービング提供に焦点を当てることが重要だと認識しました。それはかなり異なるワークロードです。そしてそれは驚異的なチップです。つまり、これらのサービングワークロードのために今日私たちのデータセンターにある他のどのチップよりも30%高性能です。
Amazon Traniumチップより3倍良いです。FP4のGoogle TPU v7より少し良いです。ですから、それはただ大きなことであり、コスト曲線が下がり続けるのを見るのはただ素晴らしいことです。
もちろん、これはどこにでもあるだろうということと、ある意味でリードインしなければならないということと、半導体の設計ほど肘まで入れる必要はないかもしれませんが、その世界をナビゲートできるように金属に近づく必要があるという、私たちが持ってきた議論の重要性を物語っていると思います。
では、あなたが最も楽しみにしている能力は何ですか。そしていつそれを得るのでしょうか?
社会的知能と言いたいです。ですからIQ、EQ、AQを持っていました。去年はAQで、前の年はIQとEQでした。
そしてAQは行動的知能またはですか?
行動です。ええ、基本的に私は数年前にフレームワークとしてそれを作りました。次のフェーズは社会的知能です。ですから、モデルが他のAIと協力し、異なる性格、異なる専門知識、異なるスキルを持つサブエージェントの束を調整し、また他の人間のチームで働き、いつ積極的に介入して有用なことをするか、人々の足を踏まないか、グループチャットで面白くて親切であるが、圧倒的ではないかを知るときです。
ですから、それはタイミングとフローとスタイルについてのこの種の判断であり、今年後半に来ると思います。
あなたの最後の本を言いました。来たる波について話したとき。あなたが新しいものに取り組んでいることを提案したいと思います。私も新しい本に取り組んでいます。それは本当にこの希少性OSの後の政治経済についてです。うまくいけば、来年あなたのものを含む書店の棚に並ぶでしょう。
新しい本とヒューマニスト超知能
新しい本に取り組んでいますか?
はい、私は別の本に取り組んでいます。まだ完全には発表していませんが、間違いなく今テキストに取り組んでいます。私はクレイジーに読んで書いています。意識の問題について考えています。そして主にヒューマニスト超知能の定義について考えています。
人間の利益に完全に整合し、私たちによって制御される何かを本当に作り出すことは何を意味するのか。私の分野には、超知能が私たちの種の自然な進化に過ぎないと信じている他の人々がいます。
実際、一部の人々は、人間はAIのブートローダーに過ぎないと言っています。つまり、携帯電話やラップトップでハードウェアがオンになったときに最初にトリガーされるソフトウェアの最初の部分です。それが他のすべてを可能にします。
そしてそれらの人々は宇宙論的な時間について考え、他の銀河を探索したりあらゆる種類のSF的なことをするために、人間が合成存在を作り出すのを見たいと思っています。
私はただ根本的にヒューマニストです。私は私たちの種が繁栄し生き残ることを望んでいます。そしてそれは私たちが制御と封じ込め、整合、そして私たちがAIが行わないことを確認しなければならないこと、彼らができないことに焦点を当てなければならないことを意味します。
そして哲学としてのヒューマニズムとは何かというその定義の詳細を具体化することは、私が長い間非常に興味を持ってきたことです。ですから、それが私が取り組んでいることです。
リスナーが今後数ヶ月で楽しみにする2冊の本。両方を買って、お気に入りの書店で5つ星のレビューを。ムスタファと私は両方ともそれに値すると思います。
あなたと話すのは本当に素晴らしかったです、ムスタファ。これは再びやらなければなりません。または今後数週間で直接会いましょう。会えて良かったです。どうもありがとう。これは非常に楽しかったです。
最後まで聞いてくれてありがとうございます。次の会話がいつリリースされるか知りたい場合は、聞いているところで購読を押すだけです。今回は以上です。また次回お会いしましょう。
コメント