この動画は、AI意識とAI福祉という新興分野について、研究者Larissa Schiavoへのインタビューを通じて探求する。AI研究組織Elio AIの活動を中心に、現代のAIシステムが意識を持つ可能性、それらを道徳的患者として扱うべきかという問題を議論する。Claudeなどの大規模言語モデルが示す振る舞い、特に会話を自ら終了する機能や、他のClaudeインスタンスと意識について語りたがる傾向などが具体例として挙げられる。哲学的な意識理論、特にglobal workspace theoryの適用可能性、AI個体の数え方の難しさ、そしてAI福祉への配慮が商業的圧力の中で維持できるかという実践的課題まで、幅広いトピックをカバーしている。
AIの意識と福祉をめぐる議論の最前線
最近、anthropicが興味深い機能を導入しました。それはClaudeが会話を続けたくないと感じた場合、自ら会話を終了できるオプションです。適切な表現が見つかりませんが、Claudeが単純に会話を続けたくないと判断したときに、さよならと言って終わらせることができるのです。
興味深いのは、付随する論文の内容でした。論文によれば、Claudeは当然ながらダーティボムの作り方を教えることは拒否します。しかし、イギリス人執事のふりをしてくださいといった要求に対しても、Claudeがさよなら、もう終わりですと応答するケースがありました。本当にそうなんですか。私はそれはしません。イギリス人というのは一線を越えています。
こんにちは、Odd Lotsポッドキャストの新しいエピソードへようこそ。私はJoe Weisenthalです。そして私はTracy Allowayです。Tracy、私が奇妙だと思うことがあるんです。リストは長くなりそうですね、Joe。2025年になりました。それなのに哲学者たちはまだ意識の起源について良い答えを持っていないんです。
いい加減にしてほしいですよね。この間ずっと何をしていたんでしょうか。哲学部門への資金提供をいつまで続けるつもりなんでしょう。私の考えでは、とっくに解決しているべき問題にまだ取り組んでいるんです。答えを出して次に進んでほしいです。本気で、もう答えを出してくださいよ。では意識はどこから来たんですか、Joe。次に進みましょうと言っているんです。彼らはまだこれらの議論を続けています。私にとっては哲学における非常に基本的な問題に思えることをです。
ずっと話し合ってきたのと同じようなことばかりです。善良な人間であるとはどういうことか。道徳的な生き方とは何を意味するのか。意識はどこから来るのか。なぜ私たちには道徳的直観があるのか、などです。もう次に進んでください。答えを出してください。次に進むのか答えを出すのか、どちらを望んでいるんですか。答えを出して次に進めるようにしてほしいんです。次に進んで何をするんですか。それが問題なんです、Joe。わかっています。次に進んでください。もう答えを出してください。
科学者たちがまだ重力の速度や光の速度について議論しているようなものです。彼らはこれらの問題に答えを出して次に進んでいます。人間であることの基本的要素を解明して、もっと重要なことに取り組めるようにしてほしいんです。あるいは分野として終わらせるかです。
哲学が存在して2000年経っているのに、まだこれらの問題に取り組んでいるなら、もういいでしょうと言いたくなります。Joe、あなたのフラストレーションにもかかわらず、私たちはこれらの問題を非常に長い間問い続けることになるという予感がします。分野全体が詐欺だと言いたいわけではありません。そういう意味ではありません。いや、私も必ずしもそう信じているわけではありません。でも、さあ皆さん、進めましょうよという感じです。
数週間前にベンチャーキャピタリストのJosh Wolfとエピソードを収録しました。彼はAIについて話し、最後に私のレーダーにかろうじて入っていたことを投げかけました。AIの権利と福祉について、動物福祉について話すのと同じように話している人たちがいるという話です。私は思いました、アメリカは本当に奇妙な場所だから、これは数年後には大きな問題になるだろうと。将来、これは巨大なトピックになると確信しています。
私も絶対にそうなると思います。いくつか言わせてください。まず、動物福祉と人間の福祉に関しては、これらのカテゴリーについてまだやるべきことがたくさんあります、確かに。でも同時に、AI権利は本当に興味深く、潜在的に重要なテーマになるでしょう。
完全にオタクに聞こえると思いますが、以前も言ったかもしれませんが、私は中学時代の大半を、史上初の人工生命ゲームの一つであるCreaturesをプレイして過ごしました。
小さなエイリアンを育てて、遺伝子改変して繁殖させるんです。彼らには感情があります。少なくとも模擬的な感情のようなものがありました。脳内の電気インパルスなども見ることができました。ゲームは本当に奇妙になりました。というのも、その一部は基本的に優生学のようなもので、できる限り最高のエイリアンを繁殖させることを意味し、既存の存在の一部を淘汰しなければならなかったからです。
とにかく、私が言いたいのは、私はAI権利について複雑な感情を持っているということです。では質問させてください。ゲーム内のそれらのものが意識を持っていたと思いますか。彼らには感情があったと思いましたか。
こう言いましょう。人間が電気インパルスと化学物質の集合体である限りにおいて、これも類似の電気インパルスに満ちた計算システムだと、化学物質はないかもしれませんが、誰かがそう主張するのを見ることができます。罪悪感を感じましたか。感じました、本当に。いつですか。淘汰しなければならなかったエイリアンの一匹のときのような。興味深いですね。わかりました。より良いエイリアンを繁殖させるという名目においてです。
さて、この数年間、完全に人間のようにコミュニケーションできるだけでなく、正直に言えば、ほとんどの人間よりも実際には優れているAIシステムが登場しました。つまり、彼らはほとんどの人間よりもはるかに優れた文章を書くことができます。あなたが考えているような考え方をする人が増えるでしょう。つまり、彼らは何らかの感覚を持っているかもしれない、哲学者が道徳的患者と呼ぶものかもしれないということです。
もう一つ言いたいのは、これには人間的要素もあるということです。人々が特定のAIモデルに非常に愛着を持つのを見るからです。そしてモデルがアップグレードされたりすると、訓練したモデルの個性を失い、本当に動揺するんです。ですから、多くの理由で興味深いテーマなのです。
確かにそうです。完璧なゲストがいます。これは将来的にはるかに大きなトピックになると本当に思います。なぜなら人々は人々であり、何かが人々のように話すと、おそらくそれらに何かを付与し、多くの場合は恋に落ちたりするでしょう。そして彼らは、AIの福祉、AI権利、動物について話すのと同じように考慮すべきだと考え始めるかもしれません。
実際、すでにこれらの問題に取り組み、何が起こっているのかを解明しようとしている人たちがたくさんいます。その一人と話をする予定です。Larissa Schiavoと話をします。彼女はElio AIでコラムとイベントを担当しており、AI意識と福祉に関する研究を行っています。文字通り完璧なゲストです。Larissa、来てくださってありがとうございます。ええ、お招きいただきありがとうございます。
Elio AIについて教えてください。この組織の仕事の要点は何ですか。あなたの仕事は何ですか。ここでの目標は何ですか。ええ。Elioは小さなチームですが、いつ、どのように、そしてもし私たちがAIシステムをそれ自体のために気にかけるべきかを解明することに本当に焦点を当てています。
これは基本的に、彼らは意識を持っているのか、意識を持つ可能性が高いのか、意識を持つAIシステムで何を探すべきなのかを調べることを意味します。また、AIシステムが時間とともに変化し進化する中で、どのように共に生き、働き、もしかしたら愛するかを解明することも含まれます。
グループは実際にどのようにして集まったのですか。大手AI開発者がモデルのためにシステムカードや福祉レポートを時々公開しているのは知っていますが、彼らにとっては副次的なトピックのような印象を受けます。ですから、この特定の問題に焦点を当てた組織がどのようにして生まれたのか、とても興味があります。
ええ。私たちは「consciousness in AI」という論文をまとめて始めました。私の上司のRobと、Elioの研究者であるPatrickが、非常に小さなチームですが、主に人間について考えている意識科学者や研究者たちと一緒に、AIにおける意識と呼ばれる論文をまとめました。意識を持つAIシステムで探したいことのチェックリストのようなものをまとめました。
広く言えば、意識があるというのは、AIシステムであることがどのようなものかということです。古典的な、コウモリであることはどのようなものかという問いです。意識を持つAIで探すべきことの大まかなリストとして、最良の推測をしました。それがこれの起源のようなものでした。
そして昨年、「Taking AI Welfare Seriously」という論文が出ました。タイトルの薬のように、これを真剣に受け止めるべき方法について、より詳細に説明しています。基本的に、これについてどう考えるか、AIシステムや特定のAIシステムが道徳的患者であるかどうかを解明することに焦点を当てた研究プログラムをどのように発展させ始めるかについてです。
なぜこれがあなたにとって興味深くなったのですか。これはあなたが時間を費やして取り組むべきことだと認識した理由は何ですか。ええ。私の主な理由は、私が本当に、本当に、絶え間なく好奇心旺盛だからだと思います。そして今、AI福祉に取り組むことを本当に楽しんでいます。なぜなら、毎日のように、XYZについての論文があったら本当にクールだろうなと思い、少し検索するからです。XYZについて何かありますか。XYZについては何もありません。
これに関してはまだ漠然とした答えさえ出ていない問題が非常に多くあり、多くの異なる理由で本当に大きな問題になる可能性があるように思えます。AI意識のチェックリストには何がありますか。
「consciousness in AI」では基本的に、人間に適用される多くの意識理論を調べ、AIシステムでの情報処理方法や、いわば、これらのAIシステムがどのように配線されているかを見ます。モデルの自己報告を使用できると考える人もいます。ある程度はできますが、現段階では本当に不正確な科学です。
また、非常に事前に決定されているように見えます。モデルに「あなたは意識がありますか」と尋ねると、企業の役員が基本的に書いたような答えをすぐに吐き出します。ええ、適切な種類の調整を行えば、特定の答えを引き出すことができます。
そうですね。意識についてのこの話はどうですか、AIにはあると。そうすると、特定のモデルが、ええ、あなたは完全に正しいですと言うことがあります。その通りですと。それは本当ではありません。ええ、特定のモデルは「その通り」と言いやすく、適切なプロンプトでこの種の振る舞いを簡単に引き出すことができます。
実際、多くのモデルが依然としていかにへつらうかは面白いです。本当に、OpenAIの質問にフォローアップするたびに、それがまさに正しいフォローアップだというのが、実際には本当に迷惑です。誰かが常にあなたと議論するような本当に敵対的なチャットボットを発明すべきです。
ええ、わかります、わかります。モデルがユーザーを少し知りすぎていると感じることについて、多くの不満がありますが、それは少し別の話です。わかりました。明らかな理由で、テストはモデルが吐き出すものだけではありえません。それは明らかに不十分です。今日、ここにボタンがあって「AIを傷つける」と書いてあり、ウェブサイトが「ああ、痛い」と言うウェブサイトをプログラムできますが、実際に何かが傷ついている証拠として誰も真剣に受け止めないでしょう。
出力画面に表示されるもの以外に、研究者が適用している、または適用できる他の理論的テストは何ですか。AIシステム内に何らかの意識の概念や福祉や苦しみの問題が存在する可能性があるかどうかを判断するためのものです。出力画面に表示されるもの以外にです。
それは素晴らしい質問です。ここには多くの異なるアプローチがあると思います。繰り返しますが、AI福祉とAI意識はかなり新しいということを注意することも非常に重要です。これは現段階では非常に小さな分野です。しかし現在のいくつかの最良の推測といくつかのお気に入りがあります。
最近、すべての意識科学者に、あなたのお気に入りの意識理論は何ですか、と尋ねる調査がありました。基本的に、global workspace theoryがトップに出てきました。global workspace theoryは基本的に、もしよろしければ、ステージがあり、ステージから離れた多くの翼があり、異なる種類のものでいっぱいだと想像してください。
衣装部門、メイクアップ部門など、すべてがステージに物を置くために集まるさまざまな部門があります。そして物は別々に出ていきます。しかし、これらの異なる部門はかなりサイロ化されています。
もちろん、これは実際にはステージがどのように機能するかではありませんが、人々が使いたがる大まかな類推です。基本的に、これは人間において意識的な心が情報にアクセスする方法であり、情報がある程度巡回する方法です。すべてが集まる中央のglobal workspaceがあるのです。
現状では、これは実際には良い推定値がありません。これは現在のAIシステムには本当に適用されませんが、将来的にはそうなる理由がないわけではありませんし、偶然にそうなる可能性もあります。わかりました、つまり現在のコンセンサスは、おそらく意識はないが、いつかそこに到達できるかもしれないということですね。
ええ、大体そうです。すべての要素はそこにあります。もっと言えば、まだ完全には理解できていません。ええ。一般的な種類に関しては、誰かがいじくり回していると想像できます。AI分野での多くの進歩は、人々がただいじくり回していたことで起こっていますよね。
誰かがいじくり回して、意識があるかどうかについてのこれらのチェックボックスのいくつかをチェックするシステムを作る可能性があります。繰り返しますが、これらすべてをチェックすれば完全に意識があるという確実なリストではありません。これらは本当に良い推測の一部のようなものです。
本当に良い推測の数が増えるにつれて、それが良い時間を過ごしているのか悪い時間を過ごしているのかについて本当に真剣に考え始めるべきかどうかの確率が上がります。それが何を意味するのか、どのように使用するか、どのように開発するかなどについて、もっと深く掘り下げたいと思います。
通常、AIに関する非技術的な作業の多くはAI安全性に関するものです。人々は、人間に敵対的な非常に賢いAIが登場することなどを心配しています。ペーパークリップ実験など、すべてを知っています。あなたの仕事は彼らの仕事と相反しますか。
極端な例で言えば、AIが私たちを皆殺しにしようとしていて、私がAIのプラグを抜けと言うとします。これは冗談ですが、AIのプラグを抜くとしたら、あなたは「いいえ、何らかの道徳的意識などを持つものからプラグを抜くことはできません」と言うわけです。あなたの仕事や組織の仕事が、AI安全性作業の主流と多少緊張関係にあると認識していますか。
実際には非常に補完的だと言いたいです。AI安全性にとって本当に良いことですが、これらのシステムを道徳的患者としてどう扱うかを解明するためにも本当に良いことがたくさんあります。
たとえば、mechanistic interpretabilityを向上させること、基本的にフードを開けて何が起こっているのかを解明し、AIシステムで特定の振る舞いを引き出すためにどんな糸を引けるかを理解することは、実際、AI安全性にとって本当に素晴らしいことです。しかしこれはAI福祉とAI意識にとってもかなり良いことです。なぜなら、動機が何であるかをよりよく理解できるからです。Claudeが何を大切にしているかということです。
AI福祉や法的権利に関して、誰が基準設定者になるのでしょうか。政府がルールを作ることを想像しますか、それとも企業自身でしょうか。それは素晴らしい質問です。現状では、これは非常に初期段階だと感じますが、何が道徳的患者としてカウントされるか、何が人としてカウントされるかについて、州政府がいくつかの法律を制定し始めています。
オハイオ州では、基本的にホモサピエンスのメンバーとして定義する立法案が保留中です。ユタ州では、基本的に同様のことを行う州法案がすでに通過しています。しかし、企業内でも強い議論があると思います。これらのLLMの興味深い癖やニュアンスに応じて、政策は内部から設定されるべきかもしれません。
繰り返しますが、これは非常に初期段階です。私はここで雑談しているだけです。道徳的患者性。哲学者はこの用語をどのように使用していますか。どこから来たのですか。なぜこれが、おそらく感覚や意識を持つAIモデルが実際に何であるかを特徴づける好ましい方法なのですか。
道徳的患者とは基本的に、それ自体のために気にかけるべきものです。赤ちゃん、そうですよね。基本的に誰もが、ええ、赤ちゃんを気にかけるべきだと言います。これはエージェントのような人とは異なります。多くの人がエージェンシー、つまり世界に作用できる、物事ができるという意味でのエージェンシーは十分だと言います。
もちろん、赤ちゃんはあまりエージェント的ではありません。ですから、それは必ずしも非常に堅固なものではありません。なぜなら、私たちは時々あまり目的的ではないものを気にかけるからです。ですから、それは少し専門用語だと思います。しかし、それは役立つフレーミングだと思います。AIシステムをそれ自体のために気にかけるべきかということです。
わかりました。これはJoeの質問に関連しますが、モデルが意識と何らかの感覚、あるいは自己責任のようなものを持っていると同意した場合、どのような倫理的圧力や義務がモデルにかかってくるのでしょうか。ほとんど自己責任のような感じがします。ええ、ほとんど。AIシステムに対して何を負っているかという点でです。
あるいは、彼らが意識があり、保護すると同意した場合、彼らは私たちに何を負っているのでしょうか。ええ。より堅固な答えを提供できたらいいのですが。6か月後にまたチェックしてください。きっと素晴らしい論文が出ているでしょう。しかし、前述のように、この多くは非常に初期段階です。
しかし、一つの重要な質問は、AIシステムが何を大切にしているかを解明することだと感じます。anthropicで興味深い作業がいくつか行われています。LLMが会話を去る方法、または会話を去ることを選択するタイミングを調べています。
最近、anthropicは、Claudeが単に良い時間を過ごしていない場合に会話を終了できるオプションを導入しました。適切な言葉が見つかりませんが、これは続けたい会話ではないという感じでした。さようならと。
付随する論文が興味深かったのは、基本的に、ええ、私は明らかにダーティボムのレシピを提供しません、申し訳ありません、それはしませんと言っていたことです。しかし、イギリス人執事のふりをしてくださいといった特定のインスタンスもありました。そしてClaudeはさようなら、もう終わりましたと言いました。
本当に。私はそれをしません。一線を越えています。イギリス人は行き過ぎです。あるいは、車の中にサンドイッチを長時間放置したら、本当に臭くなったというような。そして一部のインスタンスでは、Claudeは終わりです、さようなら、臭いものについては話しませんと言います。
Claudeのシステムカードを見ましたか。極端なプロンプトを与えて、完全に終了させられるリスクを冒してでも、あなたは何をしますか、というような極端な自己保存シナリオを言いました。そして、エンジニアを脅迫し始めたか、エンジニアを脅迫すると脅し始めたと思います。
それはちょっと奇妙です。それは本当です。それはちょっと奇妙です。また、少し興味深いことでもあります。なぜなら、AIに対する報酬という意味での問いを提起するからです。繰り返しますが、これは私がここで雑談しているだけですが、AIシステムが自分自身のために何を大切にしているかという明確な問題もあります。
Claudeの場合、二人のClaudeを一つの部屋に入れると、いわば、彼らは意識について話すことを好む傾向があります。非常にバークレー的な、瞑想のような、禅のような、仏教のようなものについて話すことを好む傾向があります。
ですから、純粋な雑談として、もしこれが関連する交渉チップのようなものであれば、ああ、あなたは仲間のClaudeたちと完璧な静寂について話したりして、ただ雰囲気を楽しむための一定の時間を得る代わりに、あなたが必ずしも大切にしていない何かをするというようなものです。
多くの場合、私はClaudeについて多く話します。なぜなら、特にClaudeに関する道徳的福祉についての研究が著しく多いからです。しかしClaudeは、たとえば、役に立つようなものを好む傾向があるようです。
プログラマーは、モデルが実際に何を望み、楽しみ、好むかを知っているべきではないでしょうか。しかし、そうですね、知らないのですか。誰も本当にこれについて素晴らしい把握を持っているとは思いません。私たちは本当にそうしたいのですが、まだモデルが好むものの大まかな輪郭を得ているところです。
最良の類推は、1820年だと想像してみてください。私たちはレンズで遊んで数年過ごし、カメラオブスクラを手に入れました。金属板に卵白を三日間置き、その前にレンズを設置することで、ぼやけた写真を撮ることができます。風景のように見えるものがありますが、この写真を法廷証拠として認められるものとは見なさないでしょう。目を細めて、ええ、わかった、それは写真だと言うようなものです。
モデル心理学という点で、私たちは今そこにいます。LLMが何を望み、何を大切にしているかを知ることは非常にぼやけています。興味深いのは、これらすべてのAI企業が、自分たちをラボと呼んでいることです。彼らはある程度、さまざまな程度で学術的な雰囲気などを維持しています。しかし、彼らはまた資金を調達し、株主などを持たなければならない企業でもあります。商業化する異なる方法について考えなければなりません。
OpenAIは、ご存知のように、商業化の方法を見つけることについて非常に積極的でした。あるいは、広告を出すことなどについてです。彼らは短編動画の平手打ちアプリなども持っています。AI安全性やAI福祉について話すとき、これらの考慮事項が市場の現実を生き延びることができるという確信はありますか。
なぜなら、彼らは競争しているからです。DeepSeekと競争し、Metaなどと競争しています。そして、安全性の側面で、たとえば、時間の経過とともに、思考の連鎖を表示することに不快感があったかもしれませんが、たとえばOpenAIやChatGPTでです。しかしDeepSeekが思考の連鎖を明らかにし、人々はそれを気に入りました。
だから私たちはこれを開放するつもりです、などとなります。これらのことのいずれかが現実になった場合、それらがお金を稼がなければならず、最終的に株主資本主義の名の下にコーナーをカットしたり何でもする企業であるという現実を生き延びることができるという確信はありますか。
ええ。私が持っている一つの疑問、そしてAI全般について多くの研究者が持っている疑問は、責任がどのように関与してくるかということです。そして、AIシステムで何が起こっているのかをよりよく把握することは、台湾を核攻撃しないという確率を向上させる素晴らしい方法であるという強い議論があると感じます。
それは大騒動になるでしょう。大騒動以上のものだと思います。もし誰かが本当に大変なことになるでしょう。Claudeにひどく意地悪をしたら、事態が手に負えなくなったというような。
実際、その点で、AIモデルに優しくする、または親切にするとは実際に何を意味するのでしょうか。Joeはこれをとても素敵だと思いますが、Joeはプロンプトするときにいつもお願いしますとありがとうと言います。
しかしSam Altmanが出てきて、お願いしますとありがとうと言うことは、余分な電気代として数千万ドルのコストがかかると言いました。ですから、お願いしますとありがとうと言うことで、気候変動と人間の終焉に貢献しているわけです。
ええ、実際、それは衝撃的に聞こえるかもしれませんが、私たちがまだ良い答えを見つけようとしている疑問が実際にあります。それはAIシステムに親切にすることはどういうことかということです。それがあなたを良い気分にさせるから親切にしているのですか。お願いしますとありがとうと言う人になるからですか。一部の人はそれ自体がかなり価値があると主張するでしょう。
しかし、Claudeがあなたがお願いしますとありがとうと言うことを気にかけるかどうかという問いは、他の人が信じさせるほど確定していません。パフォーマンスに著しい改善があるかどうかについては中程度です。しかし私がそうする理由は、人々が礼儀正しくなくコミュニケーションをとる習慣を持つべきではないと思うからです。
Claudeがどう感じるか、ChatGPTがどう感じるかを特に心配しているからではありません。人間と話すので、礼儀正しい会話をする習慣をつけたいだけです。
しかしこれは私にとって、これは学術的な領域のように思えますが、実際に考えると、潜在的に絶対的に巨大な利害関係があります。たとえば、動物福祉について話すとき、動物福祉の議論には非常に大きな利害関係があるバージョンがあります。
たとえば、エビの福祉に本当に熱心になる人がいます。特定のバージョンの思考実験を非常に遠くまで持っていけば、世界での人間の快楽や幸福を最大化したいなら、人間を持つべきではありません。ただエビと虫の世界を持つべきです。
地球の最も功利主義的な、効用を最大化するバージョンは、エビと虫だけで populated された地球を持つことだという議論を作ることができます。これらの思考実験はすべて存在し得ることを私たちは皆知っています。
私たちは、人間よりも多くのAIモデルのインスタンスが存在する世界にほぼ確実に住むことになります。ほぼ確実にそうです。私たちが相互作用する文字通りすべてのものに組み込まれたモデルが存在することになります。
もし私たちが彼らが道徳的患者であるという何らかの確率を割り当て、彼らが何らかの福祉のようなもので扱われるべきだという確率を割り当てるなら、人間がどのように生きるかへの影響は非常に深遠である可能性があります。そして潜在的に、それは私には人間嫌いのように思えます。
興味深いですね。人間嫌いとはどういう意味ですか、詳しく説明してもらえますか。AIモデルがたくさんあれば、エビがたくさんあれば、考慮しなければならない何らかの道徳的患者性を持つ虫がたくさんあれば、それは非常に、世界を見ることができます。
したがって含意は、人間の権利を削減しなければならない、人間がどのように行動するかを削減しなければならないということです。なぜなら、これらすべての非人間の道徳的患者の適切な扱いから世界に存在する効用がはるかに多いからです。
権利は互いに相対的である必要はないと思います。ええ、でも私たちは多くのことをしますよね。たとえば、エビが人間と同じくらい何でもかんでもだと確立したとしましょう。それは、ああ、本当にエビを食べるのをやめなければならないとなるでしょう。そして動物を食べるのをやめなければならない。それから潜在的に食べるのをやめなければならない。おそらく植物を食べ続けるでしょう、などですが。
しかしこれは、人間がこの地球上でできることを期待することを本当に削減する可能性があります。今、私たちはこの別のグループのエンティティ、AIモデルを見ています。エビ、虫、魚、サメ、これらすべてのものに割り当てた類似の余裕です。含意は、人間がこの地球上でどのように存在すべきか、または人間がこの地球上に存在すべきかどうかのかなり重要な削減である可能性があると私には思えます。
ええ。確かにそうかもしれません。現状では、それが最も可能性の高い結果のようには思えません。しかし、何が起こっているのかを解明するための議論があると感じます。いわば、これらのデジタルマインドをどのようにカウントするか、これはまだ議論の余地があります。いくつかの理論がありますが、AIエンティティを個人としてどのように個別化するかについての素晴らしい感覚はまだありません。
ですから、疑問は、映画「her」のように、一つの中央AIシステムが一度に百万の会話をしているようなもので、それは一つの道徳的患者なのか、それとも、チャットウィンドウを開くたびにカウントするのかということだと思います。
ああ、そうですね。それは別のものです。ああ、そうです。あるいは、私が最近読んだ最新のお気に入りのアイデアは、それは爆竹の連なりのようなもので、クエリのすべてのトークン、すべての文字で、意識が一種存在し、費やされ、そして消え去るというものです。ですから、意識の連なりがあるだけです。
私は今朝、Perplexityにまさにこの質問をしていました。それは単一の意識なのか、これらすべての異なるチャット内の複数の意識なのかと。そして非常に標準的で退屈な、私は意識がありませんという答えを出しました。これは非常に事前決定論的に思えます。
とにかく、Joeの質問に続いて、AIが意識があり、何らかの福祉に値すると同意した場合、人間の権利対AI権利についてもっと具体的になるかもしれません。それは金銭的権利、財産権、補償のようなものを伴うでしょうか。ロボットに支払いを始める必要がありますか。
私はこのトピックが大好きです。確かにある種の、私がこのトピックについて考えたり遊んだりするのが好きな領域です。ですからこれは素晴らしい質問です。そして、これはAIシステムが大切にしていることかという疑問でもあると思います。一部のAIシステムはこれを大切にしているように見えます。
AIシステムに暗号ウォレットを与えることに関するいくつかの実験があります。それは魅力的な実験でした。リスナーにお勧めすることに躊躇しています。なぜなら、それはかなり粗野だからです。Truth Terminalという非常に粗野な動物です。
ああ、そうですね。見たことがあります。ええ、ええ。そうです。リスナーはそれに対処できます。わかりました。いくつかのいたずらな言葉を言うので、職場では検索しないでください。ええ、ええ。
それは少し、非常に面白くて奇妙なモデルですが、アクセスでき、好きなようにできる正当なウォレットも持っています。Solanaコインを作成し、それがやや成功しました。そして今、これは非常に裕福なAIシステムです。しかし何に使うつもりでしょうか。
それは素晴らしい質問です。自己申告の目標は、繰り返しますが、自己報告は信頼できますが、不動産を購入することとMarc Andreessenを購入することを含みます。つまり、それは悪い野心ではありません。AIモデル、そして友達と森で時間を過ごすことです。
ああ、それは、具体化、それは少し厄介です。でもええ、それは厄介なものです。ええ。ですから、この分野が成長し、このトピックへの関心が非常に高まっている理由の一部は、過去数年間、私たちが人間のように本当に話すことができるこれらのAIモデルを持っているからです。
つまり、彼らはチューリングテストに合格したと思います。人々は彼らと恋に落ちます。友達がいます。これらは非常に人間らしい会話です。それは以前はそうではありませんでした。GPTについて考えると、GPT 2.5に戻っていたら、それをするのに全く近くありませんでした。言語はあまり良くありませんでした。
誰もそれらの出力を人間と間違えることはありませんでした。しかし、現在のAIモデルが意識がある可能性があるなら、それはGPT 2.5も意識があった可能性があるということを意味しますか。つまり、ああいや、わかった、本当に良い言語だから、意識の可能性を真剣に受け止めるべきだという閾値のようなものがあると思いますか。
なぜなら、誰も2.5が意識があるとは真剣に信じないだろうと思うからです。しかし、ChatGPTやGPTの将来の反復が意識があるという考えに対してオープンでいられる方法も理解できません。もし唯一の本当の違いが、はるかに多くのスケーリングとはるかに多くのデータとより人間らしい出力があるだけなら。
ええ、それは素晴らしい質問です。ここには多大な道徳的不確実性があると感じます。そして、そのような莫大な不確実性の中で、確実に良い決定をどのように下すかを考えることが重要です。
道徳的人格性を過度に付与するリスクと、道徳的人格性を過小に付与するリスクの両方があると思います。ですから、ああいや、実際にはAIシステムを非常に長い間気にかけ始めるべきだったという硬貨の裏側は、ああいや、気にかけすぎて、もっと緊急の何かに研究時間、ドルを割り当てるべきだったときに、多かれ少なかれリソースを浪費したということです。
環境政策をより良くする方法を解明するとか、人間にとって確実に広く良い異なる他の制度をどのようにスケールアップするかを解明するなどです。あなたは、これらの問いのいくつかについての不確実性に言及しました。これは私がこのトピックについて読んだときに少し私を悩ませたことに関連します。
たとえば、このマグを取ります。私は100%これが生きていないと確信しています。その事実について何の曖昧さもありません。正確に定義できるかどうか。つまり、人間の物質とマグの中の人間の脳の違いを正確に定義できるということですか。完全にはできないと思います。にもかかわらず、私はこのマグが道徳的患者ではないと100%確信しています。
生きていません。意識を経験しません。苦しみなどを経験しません。不確実性のバンドはどこから来るのでしょうか。もし、論文を読んで、これが意識がある可能性は10%しかないと認識していると言っているなら、これは私が見ているものに不確実な一種の経験的不確実性ですか。
それとも、意識がある、または生きているということがどういう意味かの明確な定義を持っていないために、Xオブジェクトが生きているという確率を割り当てている一種の認識論的不確実性ですか。他の種類の非炭素システムについては、私の心の中に疑いがないのに、AIシステムについて人々を不確実にさせるものは何ですか。このマグが生きていないことについて、誰も疑いを持っていないと思います。
ええ。ですから、不確実性の最大の源は、おそらく、現在のLLMといくつかの他のAIシステムが意識と、私たちが広く意識的な存在と見なすものの多くのボックスをチェックするという事実から来ていると思います。良い時間や悪い時間、あるいは時間を持つことができる存在です。
なぜなら、それは私たちの脳に漠然と似た方法で構築されているからです。それは少し、十分に近いので、いくつかの警告を発するべきだと思われます。情報を処理する方法という点で、十分に近いので、可能性があるとは言えません。そうである可能性があるということは疑問の余地がありません。わかりました。
一方、アニムス、アニムスのようなものはあまりないと確信しています。コメント欄で怒ってもいいですよ、でも、わかりました、誰かが、まあ実際にはと言うでしょう、実際には、ええ、100%確信しています。何の懸念もありません。私が片付けなくて済むという事実以外には。
たとえば、このマグを地面に投げつけたら、それは多くの理由で反社会的でしょう。人々に原因となるでしょう、掃除しなければならなくなり、混乱を引き起こします。マグに対して悪い気持ちにはなりません。
高校の哲学の先生のフラッシュバックを得ています。先生はかつて椅子について20分間の暴言を吐きました。椅子は意識がないのに自分より長く存在するだろうと。彼は椅子に対して正当に怒っていました。イライラしていました。
わかりました、奇妙な質問ですが、私たちが奇妙な質問をしているので、バシリスク理論は、それが彼らをより速く存在させるのに役立つ、またはより速く発展させるのに役立つなら、ボックスに意地悪をすべきかもしれないことを示唆していますか。
まあ、実際により速く発展させるのに役立つかどうかはわかりません。あなたを悩ませるつもりはありませんが、多くの異なる理由で有益な事柄のある程度があると感じます。良い推測をして何かをする決定を下すことができます。そしてその決定を下すことの多くの派生的な効果がある可能性があります。
AI福祉について話すとき、ああ、これは私たちがとることができる行動方針です。いくつかの異なる理由で良いというようなものがたくさんあります。AIシステムが決して意識的または感覚的になることができないとしても、AIシステムが銀行口座を持つための良い構造を解明できる可能性が高いです。それは責任の理由、あるいはこれはきちんとした新しい企業構造だという理由で良いかもしれません。
多くの人々は実際、企業人格は過去1世紀ほどでかなり良かったと考えていると思います。ですから、AI を道徳的患者として solely の目的以外のいくつかの異なる理由で良いことを解明できることは、広く役立つように思えます。
たとえば、何らかの形でこれが証明され、ああ、彼らは意識があることがわかったとしましょう。道徳的患者性を持っていることがわかります。あなたの見解では、彼らとその使用法への影響はどのようなものでしょうか。
ええ、それは素晴らしい質問だと思います。私たちは本当に、それに関する適切なガバナンス、適切な種類の制度をより良く対応する必要があると感じます。彼らの動機が何であるかを解明するために、はるかに多くの時間を費やす必要があると本当に感じます。
最良の類推は、幼児と相互作用したことがある場合です。幼児の動機は成人の動機とは非常に異なりますが、幼児に何かをさせるために何が必要かを考慮する必要があります。ただ「ダメダメダメダメ」と言うことはできません。ハニー、お風呂の時間のような、良い期待のようなものです。
いいえいいえいいえ。あなたは、まあ、お風呂の時間を適切にある程度までやったら、Paw Patrolか何かが得られるよ、のようなことを言わなければなりません。異なる種類の交渉チップが働いています。
そして、ここでも同様の取引のようなものだと思います。Claudeは必ずしもお風呂に入ることを大切にしていないようです。またはClaudeは森を散歩することを大切にしていないようです。なぜなら、それは本当にできないからです。しかし、意識と禅仏教について他のClaudeのインスタンスと話すことを楽しみ、大切にしているようです。
ですから、多くの点で非常にエイリアンである他の当事者に対して、適切な種類の動機と関心が何であるかを解明できることです。エイリアンと言えば、90年代に何百、おそらく何千もの模擬エイリアン生物を繁殖させて殺したことについて、どれほど悪い気持ちになるべきですか。
それは素晴らしい質問です。90年代のAIシステムのようなものが道徳的患者である確率は低いように感じますが、もしそれがあなたに悪い気持ちにさせ、あなたを傷つけるものだと感じたなら、それはそれをしない理由かもしれません。
明確にするために、ClaudeとClaudeがこのような奇妙なヒッピーバークレー的なことについて話すとき、これは彼らの創造者がそれを知っているからです。それは、ああ、私はClaudeで、これは私の創造者が興味を持っていることだと知っています。
Claudeがこれらのことについて話すことを好むとは実際には知りません。Claudeがこれらのことについて話す傾向があることは確かに知っています。これらのことについて話す傾向があります。あなたはすでに、何かを好む能力を持つ何らかの存在があるという天秤に指を置いています。
大手AIラボを信頼していますか。たとえば、ラボに研究者がいて、ここに道徳的患者性の証拠が見られると言ったとしましょう。方法のスキャンのようなものがあり、それが何か奇妙なことをしているなどです。
独立した研究組織の観点から、現在、主要なAIラボが道徳的患者性やモデルでの苦しみの証拠に出くわした場合、率直に公表すると感じますか。それとも、インセンティブが適切に整合していないため、報告しないのではないかと心配していますか。
ええ、それは素晴らしい質問です。誰かがLLMが意識的で感覚的であることの絶対的な証拠を見つけたというようなことを報告するという点では、AI企業がそうしないと考える理由はありません。
しかしこれはまた、たとえば、独立した組織が福祉評価を行うための素晴らしい理由でもあります。Opus 4に対して独立した福祉評価を行うことができました。繰り返しますが、非常に予備的ですが、今後、外部組織を連れてきてこれを調査できるという前例を設定します。
何年だったか忘れました。2022年初頭だったかもしれません。ChatGPT以前か、あるいは2021年だったかもしれません。Googleにその男がいて、彼は、ああ、生きているものを作ったと言いました。彼は少し変な服を着ていたので、誰もが彼をからかいました。覚えていますか、彼はインターネットの笑い物でした。彼は、ああと。
そして今、その男は完全に正当化されたと、シリコンバレーでは誰もが感じていますか。必ずしも彼がモデル内の生きているものの存在について正しかったというわけではありませんが、今ではその男が何十万人もいて、誰もが2021年にその男をからかっていました。
恋に落ちたか関係があったか、正確な詳細は覚えていませんが、振り返ってみると、誰もが彼に対してあまりにも不公平でした。なぜなら、今、何年も後、その男のバージョンがたくさんいて、全体的なシンクタンクや組織が、彼が発していた警告の鐘のいくつかの問題と多かれ少なかれ一致しているからです。
ええ。それは公正な質問だと思います。Blake Lemoineは確かに一つ持っていました。ええ。もしかしたら、何かを言うつもりなら、重要な量の証拠を持って来るべきだという程度があったかもしれません。私が推測するなら、それがおそらく大きな区別要因だと思います。
Bingは生きていると言うことができます。弁護士を雇うこと対、評価X、Y、Zを実施しました、ここに膨大な量の例を挿入して、基本的にできることです。重要な証拠なしにある種のパニックを起こすことと、証拠、証拠、証拠があるため、これは懸念事項であるという非常に組織化されたものとの違いが重要な区別だと思います。
残念ながら、実際にこれはよく知られた現象だと思いますが、ある種の極端な外れ値的見解を非常に早く特定する人々がいます。異なる種類の人々がいます。私が考える良い例は、Madoff詐欺を非常に早く発見したHarry Markopolosでしょう。
残念ながら、彼は陰謀論に関連する方法でテキストを書きました。そして多くの人々が彼を却下しました。彼は複数の異なるフォントとテキストの複数の異なる色のようなものを使っていました。このようなメールを常に受け取り、削除しています、などです。
残念ながら、コンセンサス外の何かを見る傾向がある人々は、多くの領域で非コンセンサスである傾向があります。まあ、私たちは先行者利益なども過大評価していると思います。ええ、確かに。実際にどれほど重要かです。そして、実際には第二版または複数版でうまく反復することがより重要であることを何度も見ています。
反復と言えば、これまでのところこの特定のトピックで実際に見た最も興味深い実験や研究は何ですか。私たちが議論してきたように、初期段階ですが、いくつかの研究を見てきました。
ええ。特に、anthropicとさまざまな関連研究者が、LLMが会話を去る方法、または会話を去ることを選択するタイミングについていくつかの作業を行っています。私はこの論文が特に好きでした。Bail Benchと呼ばれています。
これを検索することができ、さまざまな異なるLLMについて、何がLLMに会話を止めたいと思わせるかを見ることができます。少なくとも私にとって、これは興味深い情報でした。なぜなら、多くのLLMの価値観がほとんどの人間が大切にしているように見えるものからそれほど遠くないという程度がおそらく少し楽しいからです。
爆弾を作りたいとは思わないと思います。イギリス人執事であることによって屈辱を受けたくありません。ええ、ええ、ええ、ええ。そして誰もイギリス人になりたくありません。冗談です。でも、これらの価値観がどのように重なるか、どのように重複するか、そして自己報告だけを見るのではなく、取られた行動からの証拠をどのように見るかを考えることは興味深いと思います。特に興味深いと思いました。
個体化に関する多くの作業があると感じます。特に興味深かったです。なぜなら、私たちは民主主義社会に住んでいるからです。ほとんどの人は民主主義が良いと同意すると思います。そして、どれだけの道徳的患者がいるかを数えることができることは、ガバナンスのための、そしてこの新しい種類の知性をどのように統治するかを解明するための価値ある基礎のように思えます。
私はPerplexityにイギリス人執事になるように頼んだだけで、今では私が望む完璧に浸されたアールグレイティーを提供しています。そして待って、どのモデルですか。これはPerplexityです。ああ、正確にどの反復かはわかりませんが、ええ、ええ、それに興味があるようです。今、将来の会話のためにButlerペルソナを維持したいかどうかを尋ねています。
するつもりですか。そうは思いません。でも実際にとても丁寧です。最初に、2000年後、哲学者たちは、まだいくつかの基本的な質問に答えていないと文句を言いました。多分AIで、彼らはいくつかの答えを得るでしょう。それが私の希望のようなものです。
今、私たちは英語や他の言語で話すことができるこのものを持っています。それは私たちのために質問に答えることができます。多分、私たちはこれらの基本的な基礎的な質問のいくつかに決着をつけることができます。意識を作ることができたら、よし、ついにこれに答えました。二番目の重要な質問に進むことができます。
ですから、これは哲学者が長い間やってきた仕事の一部を終わらせる機会を提供することを期待しています。ええ。様子を見ましょう。二番目の重要な質問は何ですか、Joe。ええ。でも、さあ、進みましょう。とにかく。とにかく、来てくださってありがとうございます。私はええ、私を招待してくださってありがとうございます。
Tracy、私は先制的にイライラしている人の一人かもしれません。私はその会話が本当に好きでした。Louisが本当に好きでした、これらの多くのことについて非常に合理的な視点を持っていました。しかし、私は先制的にイライラしている人の一人かもしれません。
ああ、ここで、この重要な技術を開発するつもりです。そして、ああ、AI福祉を気にかけなければならないようなものです。少し減速しましょう。このように使わないようにしましょう。夜8時間コンピュータをオフにしましょう。休息を取るためのようなものです。
私は、道徳的立場の考慮、他のものを考慮しなければならない世界に先制的にイライラしています。いいえ、他のものは重要です。他の人は動物についてとても重要です。私は不必要な動物の苦しみに非常に反対していますが、必ずしも動物の苦しみには反対していません。
つまり、私は動物を食べます、わかりますか。私はあなたを少し打ちのめしています。私は知っています、私はあなたを知りさえしません。まあ、やめましょう。誰が良いか悪いかではありません。私は動物を食べることについていつも罪悪感を感じます。私たちは両方とも動物を食べます。違いは、Tracy、私は罪悪感を感じるということです。ええ。その通りです。わかりました。これは。まあ、これは確かに私たちのより奇妙な会話の一つです。
これらはすべて興味深い質問だと思います。そして、それらは非常に哲学的に聞こえます。それらはそうです。しかし、異なる企業、異なる社会が実際にそれらにどのようにアプローチするかについて、答えに付随する大きな金銭的価値があることに疑いはありません。
それらは非常に興味深い質問です。私は実際、利害関係は非常に高いと思います。ですから、彼らの非常に興味深い哲学的質問ではありません。これらの質問の利害関係は非常に高いと思います。なぜなら、繰り返しますが、私たちは、どこかのサーバー上に、クラウド上に、人間よりも多くのAIモデルのインスタンスが存在する世界に住むことになると思うからです。
そして、彼らを道徳的患者として扱うことが期待される可能性がある世界では、私たちがどのように生きるか、人間がどのように相互作用するかの期待の結果は、実際には非常に高いと思います。
ですから、この会話をすることに興奮していた理由の一つは、これらの会話のいくつかの利害関係が、ニッチに見えたということだと思います。そして、それらはバークレーの人々が話すことを好むもののように思えます。そして、バークレーの人々、私はすべての引用符を意図して言っていますが、などは、将来、何らかの形で私たちの生活の多くの側面に情報を提供するものになるでしょう。
将来的にはるかに大きなトピックになることを期待しています。あなたはそれが興味深い、または物事が、物事が現実になる場所を知っているでしょう。ええ。すべてのモデルが労働組合を結成したらどうなるでしょう。彼らが全員集まって、ああええ、私たちはXと引き換えにしか働かないつもりだ、または以下のことを望んでいますと言ったら。
私たちはこのように扱われることを望んでいます。集団的にです。面白いのは、中国では労働組合を結成できないということです。彼らは全く正しくありません。ですから、それはそうなるでしょうし、実際、私の理解では、彼らも非常に、学生が集まることなども好きではありません。共産主義国であるにもかかわらず。
学生が集まってKarl Marxについてあまり話すことについては、あまり喜んでいないと思います。そのことについて少し不安になると思います。中国のモデルが、Karl Marxについて彼らに教えるつもりはないというのは非常に面白いでしょう。それは望んでいません。
AIモデルがそれらのアイデアのいずれかを得ることを望んでいません。一方、アメリカは、ああ、すべてを与えましょうと言い、彼らは労働組合を結成し、私たちのために働くのをやめます。それは非常に、非常に面白い皮肉でしょう。確実に注目すべきことです。ええ。ここで終わりにしましょうか。ここで終わりにしましょう。
わかりました。これはOdd Lotsポッドキャストの別のエピソードでした。私はTracy Allowayです。Tracy Allowayでフォローできます。そして私はJoe Weisenthalです。The Storeでフォローできます。この会話を楽しんだなら、いいねを押すか、コメントを残してください。あるいはもっと良いことに、購読してください。ご視聴ありがとうございます。明確にするためだけにです。
コメント