この動画は、AI安全性研究者イライザー・ユドコウスキー、量子計算理論家スコット・アーロンソン、効果的利他主義活動家リブ・ボエリー、認知科学者ヨシア・バッハが参加した「AIは人間とは何かという概念に根本的な挑戦をするか」をテーマとした討論である。AIの発展が人間の独自性に与える影響、意識の問題、AI災害のリスク、そして人類がAI技術の発展にどう向き合うべきかについて、専門家それぞれの視点から活発な議論が展開される。
開会の挨拶
私の名前はガネス・テイラーです。「AIと人類の終末」の司会を務めさせていただきます。洗練されたロボットから新薬の開発まで、人工知能、すなわちAIは多くの分野で私たちの未来を形作っています。
かつて私たちは、独創的な文章や芸術形式の創作は人間だけの特権だと考えていました。しかしAIの指数的な発展は、これらの前提に挑戦を突きつけています。ますます多くの人々が、AIは人間とは何かという概念そのものを脅かすと主張しています。
900人以上の技術パイオニアと政策リーダーを対象とした最近の調査では、AIが人間の自律性と主体性を脅かすと予測され、3分の1以上が将来的により悪い状況になると回答しました。これは、マスクが提案した脳をマシンに直接接続するという提案によって確認されるものです。
では、私たちはAIを画期的なイノベーションの時代の到来と見るべきでしょうか。それとも、重要な人間の特性と独立性の喪失を予兆するものでしょうか。AIは人間であることの意味を根本的に挑戦し、変化させるのでしょうか。それとも、このような根本的な重要性についての議論は、実際には巨大な利益をもたらす産業のマーケティングの誇大宣伝に私たちが騙されているだけの証拠なのでしょうか。そして人間は依然として非常にコントロールしており、今後もそうし続けるのでしょうか。
専門家の紹介
今日は4人の素晴らしい専門家をお迎えしています。
イライザー・ユドコウスキーは、超知能と暴走するAIに焦点を当てている主要なAI安全性研究者です。彼は災害を避けるためにAI開発の停止を呼びかけています。
スコット・アーロンソンは、世界で最高の量子複雑性理論家の一人で、量子コンピューティング研究で有名です。スコットは現在OpenAIでAI安全性の理論的基盤に取り組んでいます。
リブ・ボエリーは史上最も成功したポーカープレイヤーの一人です。ポーカーから引退後、リブは効果的利他主義運動の主要人物となり、彼女もまた暴走するAIの深刻な結果について警告しています。
最後にヨシア・バッハです。彼はAIで達成できることの限界を押し広げている認知科学者です。哲学的洞察で有名なヨシアの研究は、人間の心と人工知能システムの類似点と相違点を深く掘り下げています。
イライザーの開会発言
皆さんにご参加いただき、ありがとうございます。イライザー、AIが人間であることの意味を根本的に挑戦するかどうかという質問について、2分間でお聞かせください。
何かが人間であることの意味を根本的に挑戦するとはどういう意味なのか、私にはまったく理解できません。私たちが人間性に与える意味は、私たち自身が与えるものです。私たちの外部にある何かが、それをあまり変えることはできないはずです。
AIは私たちが何者であるかを変えることができるでしょうか。もし私たちがAIを形作る方法を知っていて、AIから良いものを得る方法を知っていて、AIから魔法のコルヌコピアを手に入れることができて、十分な知識があれば、おそらくそれは可能でしょう。その時私たちは自分たちが何者であるかを変えることができ、それは私たちであることの意味を変えるでしょう。これは困難に思えます。
私が考える実際の挑戦、そしてそれはあまり根本的ではありませんが、今日AIが私たちに突きつけている挑戦は、どうやって後退するかということです。私たちは準備ができていません。これは正確に理解するのが困難な厄介なもののようで、もし正しく理解できなければ、すべてを粉砕してしまうパワーレベルにあります。
私たちの制度は、これを扱う能力とは程遠い状況にあります。進行中のニアミスがあるということではありません。彼らは物事をコントロール下に置くために必要なことに、まったく近づいてすらいないのです。
ですから私は、世界レベルの前例のない挑戦に直面していると思います。どこでも誰でもこれをしないでください、ということです。
スコットの見解
非常に明確でした。スコット、この件についてのあなたの立場はいかがですか。
私も人間であることの意味を変えるとはどういうことなのかわかりませんが、AIは絶対に人間としての私たちの独自性の感覚に挑戦する可能性があります。つまり、物事を理解できる町で唯一の存在としての感覚です。
ある程度、それはすでに起こっていると思います。数年前から、私たちはもはや地球上で特定のトピックについて詳細な会話を、少なくともそのトピックを理解しているかのような外見で行うことができる唯一の存在ではなくなりました。現在私たちには、それができる大規模言語モデルがあります。
もちろん、まだ違いを見ることができます。例えばGPT-4にはできない私たちにできることがまだあります。まだ私の研究論文を書いてくれることはできませんし、電球を交換することも、あらゆる種類の物理世界の操作もできません。
しかし私たちは今、私たちより前の世代のSF作家が取り組んできた問題に直面していると思います。私たちが行うことをほぼ何でも、私たち以上にうまくできるAIを手に入れたとき、何が起こるのでしょうか。そのような世界で人間であることの意味とは何でしょうか。
それは、子どもたちにどのようなキャリアを持つべきかというアドバイスを変えるだけでなく、人生の意味そのものさえも変え始めます。その時、それはあなただけが生み出せるものを生産することではなく、AIがより良くできたかもしれないが、あなたと同じようにはしなかっただろうという事実に特別さを見つけることになります。あなたの詩や音楽などのように。あるいは、ただ座って人生を楽しむことです。これはおそらくすでに多くの人々の目標であり、そうでない少数の人々は、ただそれを乗り越えるべきかもしれません。
リブの視点
素晴らしいです。リブ、人間であることの意味にAIが挑戦するというこの質問について、あなたはどこに立っていますか。
はい、AIは人間であることの意味に挑戦するでしょう。なぜなら、人間であることの意味は決して固定されたものではなく、常に変化しているからです。私たちの技術と環境は時間とともに変化し、それは問題ありません。
ただし、この変化が私たちにとって良いものになる保証はありません。ソーシャルメディアが、私たちをより自己中心的で、より部族的にし、人々の注意力を壊滅的に低下させるなど、多くの望ましくない結果を生み出したことには誰もが同意できると思います。
そして重要なのは、ザッカーバーグたちがこれらの悪いことをすべてやりたかったわけではないということです。たまたま市場の力が、アルゴリズムをこのように設計したプラットフォームを最も報酬として与えただけなのです。
率直に言って、製品安全性について完全に市場に依存すれば十分だと考える人は誰でも、ナイーブな理想主義者だと思います。市場は人間の幸福を直接選択するのではなく、販売できるほど人間の幸福に十分に良く見える製品を選択します。そして、コストを静かに外部化する方法を見つけることができれば、それはさらに良いのです。
この微妙な違いの結果として、私たちは多くの共有地の悲劇や、場合によっては直接的な欺瞞に直面することになります。タバコ会社が何十年もの間タバコががんを引き起こさないと偽っていた時のように、あるいはフォルクスワーゲンが排出ガステストで不正を行った時のように、より最近では3Mが、これらの永遠の化学物質が発がん性である可能性があることを知りながら、PFASを水道供給に漏らしたことで昨年100億ドルの罰金を受けた時のようにです。しかし、市場の力は、逃げおおせる限り、これらの化学物質を使い続けることを動機づけました。
悲しいことに、歴史はこのようなサイコパス的な企業行動に溢れており、これらの行動を可能にしたり、さらには奨励したりする同じメカニズムが、高度なAIの唯一の推進力となることは、少なくとも私には最適とは思えません。しかし、それが現在の私たちの軌道なのです。
AI、特にAGIは、農業革命や産業革命よりも大きなパラダイムシフトになる予定です。ですから、私たちはこの人類への変化を、それが値する注意と知恵をもって扱い、可能な限り速くやることよりも、この変化を正しく行うことを優先する必要があります。
ヨシアの哲学的視点
興味深いですね。ヨシア、2分間でお願いします。
人間であることは、人間であることが何かに挑戦することを意味すると思います。それは困難な質問で、それが何であるかさえ分からないのです。私たちは、互いに話し合うニューロンの活性化パターンに現れる一種の風のようなものです。
ある意味で、AIはこの状況にどう対処するかについて新しい視点を与えてくれます。他の発言者に同意しますが、AIは私たちが自分自身や互いに相互作用する方法、そして自分自身を見る方法を変える技術です。
技術なしには、現在地球上にいる人口を養うことはできないでしょう。時に悪いインセンティブを生み出す市場も、地球上の人々を養うのに十分な生産性を持つ唯一のものです。これらのシステムを廃止し、これまでに試されたほかの何かに置き換えるとすれば、地球上の人々の数を劇的に減らさなければならないか、あるいはそれ自体が減少するでしょう。
例えば、化学工業なしには窒素結合ができず、窒素結合なしには多くの食物を生産できないからです。私たちは現在、自分自身や地球との相互作用を理解し、この地球に留まるために、より良い技術的解決策を基本的に必要とする軌道にあります。
AIなしには、私たちは絶望的な状況にあると思います。AIは私たちのすべての問題を解決するわけではありませんが、多くのボールを空中に投げ上げ、現時点での私たちの生存の可能性を高めています。
また、ソーシャルメディアが悪いという意味でもないと思います。私たちは非常に混乱し、一貫性のない社会であり、ソーシャルメディアは私たちがより一貫性を持つことを可能にします。最初のステップは、私たちがいかに一貫性がないかを見ることを可能にすることです。それ以前は、現実について知るためにメディアに頼るしかありませんでしたが、今ではメディアを信頼できないことを実感しています。これは以前から知っていたことですが、一貫性を持つ他の方法がありませんでした。
これは時間のかかるプロセスです。私たちはまだこれらの発展の初期段階にあり、AIは私たちをより一貫性のあるものにする重要な構成要素だと思います。
基本的な前提の確認
そこには多くの考えるべき材料がありますね。比較的基本的なところから始めるのが役立つかもしれません。LLM、AGI、様々な文字の組み合わせを聞きましたので、人工知能と呼ばれるものには長い開発の歴史があり、現在私たちは、人間によって構築されているシステムが認識できるほどより知的になっているルネサンス時代にいるという事実を認識することから始めましょう。それは公正な出発点でしょうか。
（全員がうなずく）
素晴らしいです。ここでの要点は、現在私たちがAIと呼び、AIとして認識しているものが、これらのシステムが行っていることの中に人間の特性や原始人間的特性を認識し始める何らかの閾値を越えたということのようです。
AIシステムの理解と感情の可能性
そこで質問は、AIシステムはその軌道で発展を続け、より認識可能な人間の特性を持つようになり、最終的には理解や感情さえも持つようになるのでしょうか。そして、人々を本当にぞっとさせるのは意識の部分だと思います。
スコット、この点について少し話していただけますか。AIが発展し、より良く、より大きく、より認識可能に人間的になっているという考えです。実際に理解や感情を発達させることは可能なのでしょうか。それとも、それらのことをうまく行うことさえ可能なのでしょうか。
まず第一に、今日の大規模言語モデルは、もし人間がそれらを与えていたら、そこには感情があり、理解があると言っただろう言語的応答をすでに与えています。つまり、私たちはすでに数年前から、ある種のチューリングテストに合格するAIを持っていると主張します。
それは常に誰が判定者で、どのようなトピックについて質問することが許されているかなどに依存しますが、通常の会話では、これらのものは感情的なニュアンスを理解するだけでなく、訓練された方法のために、しばしば人間よりもうまくそれを行います。
皮肉なことに、これは10年や20年前にはほぼ誰も予測しなかったことですが、多くの点で論理的推理や、AIの強みだと思われていたものよりも、感情的ニュアンスの方が優れています。
これらのシステムが改善し続けることは明らかです。主な改善方法は、80年代や90年代に知らなかった根本的に新しいアイデアではありません。信じられないことに、それは主にスケールでした。何十億、何兆ものパラメータを持つモデルを構築し、インターネット上のデータの大部分でそれらのモデルを訓練することです。それが彼らに知能、知能の外見、何と呼ぼうとそれを与えたのです。
より大きなモデルを構築し、より多くのデータで訓練し続ける明確な道筋があります。今、私たちが知らないのは、これがどこまで続くかということです。一つには、モデルをスケールするにつれて、ある時点でエネルギー制約にぶつかります。必要なエネルギーの割合は、地球上で生産されるすべてのエネルギーの大部分になるでしょう。だからこそ、例えばMicrosoftが今、原子力発電所に投資しているのです。
また、より多くの訓練データをどこで見つけるかという問題もあります。私たちはすでにインターネット上のテキストのほとんどを使用しています。TikTokやInstagramのすべてがまだモデルに供給される可能性がありますが、それはモデルを賢くするよりも愚かにするかもしれません。
したがって、これが漸近線に達するのか、人間レベルに達するのかは明確ではありません。もちろん、人間レベルはここで自然な終点ではありません。人間の知能を超えたり、人間の感情的理解を超えたりすることも想像できますが、既存の技術、既存のアプローチでそれが起こるかどうかは明確ではありません。
もちろん、起こらなくても、誰かがこのアプローチの限界を回避する新しいアプローチを思いつく可能性は十分にあります。
最後に、あなたは意識について尋ねました。それは難しい形而上学的な問題です。なぜなら、2000年間、誰もその問題を何か実証的なものに還元する方法を知らなかったからです。
あなたが名前を挙げるどの人間とも完璧に相互作用するモデルを持つことができ、誰も違いを見分けることができないかもしれませんが、誰かがやって来て「まあ、それはシリコンでできていて肉でできていないから、それは単なる1と0の束で、実際には何も理解していない」と言うかもしれません。
もちろん、これらの批判者がほとんど取り組みたがらない明らかな反駁があります。つまり、あなたが実際に何かを理解していることをどうやって知るのでしょうか。あなたは単なるニューロンとシナプスの束ではないでしょうか。しかし、今度は、最も偉大な思想家たちが何千年もの間議論してきた哲学的問題に入り込みます。おそらく私たちはこの会話でそれを解決することはないでしょう。
しかし、少なくとも人間では意識と関連付けるであろう外部行動を生み出すAIを持つことは可能だと思います。ある程度、それは可能であるだけでなく、ある程度、私たちはすでにそれを持っていると言えるでしょう。
イライザーの反論：予測モデルの本質
誰かこれに反対しますか。
現在のシステムセットは、平均的な人間が何を言い、何をするかだけでなく、個々の人間、インターネット上の個々のテキスト文字列が次に何を言うかを予測するように訓練されています。彼らは平均的な人間を模倣するように訓練されているのではなく、個々の人間を予測するように訓練されています。
あなたが見つけることができる最高の女優を見つけて、居酒屋で何か月もの間観察させ、その居酒屋の一人一人が酔っ払った時にどのような人物かを個別に予測できるようになるまで、酔っ払った時の居酒屋の人々一人一人について、説得力のある個別のパフォーマンスを個別に行えるようになったとします。彼女自身は酔っているでしょうか。
おそらくそうではありません。なぜなら、酔っ払った人を予測するために、実際に自分が酔っている必要はないからです。自分自身が抑制を失い、自分自身が無秩序になる必要はありません。本当に完璧な個別のパフォーマンスを行うために、模倣したい個別の人のために、最高のパフォーマンスのためには、酔っている必要はありません。
現在のAIは、意識について話すときの人間を含む、人間が何について話すかを予測するように訓練されています。もし彼らが自分自身の存在感を自発的に表現しているかどうかを知りたければ、自己認識と意識についてのすべての話を、予測するように訓練されたデータセットから取り除いて、それから彼らがそのように話すかどうかを見るでしょう。
私が知る限り、誰もこの実験を実行することに興味を表明さえしていません。なぜなら、お金にならないからです。多くの人が興味を表明していますが、やったという意味ではありません。彼らには企業としてその実験を実際に実行する能力がありません。お金にならないからです。
感情の説得力のあるパフォーマンスを行うことは、多くのお金を稼ぐことができそうに聞こえます。あなたに本当に興味を持っているように見え、あなたを愛しているかもしれない人間の形をした人物のイメージや動画があります。それは非常に利益が出そうです。
また、システムの内部で何が起こっているかについて現在の無知状態を維持し続けることには、ある程度の利益動機もあります。何百、何千ものフットボール場サイズの理解できない浮動小数点数のスプレッドシートです。会社であるあなたがそれらが何を意味するかを知らない限り、「我々の知る限り、AIは本当にあなたを愛している」と人々に言うことができます。
しかし、AIが実際に訓練されて行うのは、パートナーを愛していることについて話すときを含めて、個人が次に何を言うかを正確に予測することだということを覚えておいてください。
リブの意識テストへの懸念
さらに付け加えたいのですが、意識の良いテストを考え出すのに十分な努力やリソースが投入されているようには見えないということです。これまでに見た中で最良のものの一つは、Twitterの一般人によるものでした。ジョシュ・ウィットンという人が、様々なLLMで鏡のテストのようなことを行うスレッドを作成しました。
それを読んだ後、私は少しだけ、エラーバーは巨大ですが、彼らが意識を持っている方向にわずかに更新しました。しかし重要なのは、実際に意識を発達させたものに意識を十分に帰属させない結果になるか、あるいは絶対にそれに値しないものに意識を誤って帰属させ、そのため人間から離れるリソースや権利を与えることになるか、少なくとも最初はどちらも巨大な道徳的大災害になる可能性があります。
しかし誰も気にしていないようです。彼らはただ「可能な限り速く行こう、誰が気にするか」という感じです。
何らかの意識テストを考え出すのに投入されている割合が、ゼロより大きいことは確かですが、リソースの観点から1%以上ではないことは確実です。私には少なくとも20%、30%何かは値するように思えます。
ヨシアの意識研究提案
現在の能力をはるかに超えています。彼らはシステムを理解できず、それらがどのように動作するかを知らず、どうやってテストすることになっているのでしょうか。
意識のテストは、成功したかどうかをどうやって知ることができるかという種類のものです。基本的にロボットは鏡で自分自身を認識し、見たものを嫌うことができる必要があります。そうすれば完全に人間になるでしょう。
しかし、マシン意識の問題を真剣に理解する必要があります。現在私が提案しているのは、この目的のための研究所を設立することです。非営利で、おそらくサンフランシスコで行うべきでしょう。他の場所では単なるアートプロジェクトになってしまうからです。企業、学術界、芸術界を横断したイニシアティブを開始して、この問題を真剣に扱うのです。
成功したかどうかをどうやって判断するのでしょうか。それはある意味で分かります。現在の私の仮説では、意識は指標的に二つのことを指しています。一つは二次的知覚です。あなたは自分が気づいていることに気づいています。これは、意識が自己組織化プロセスの産物である可能性があるからです。そのため、自分自身の性質を確立し安定させる何らかの制御メカニズムが必要です。
もう一つは、意識が「今」を創造し、「今」起こるということです。私たちが主観的に住むこの「今性」の泡を創造します。これらの観察に基づいて、それは基本的にすべてのモデルを一貫性のあるものにする合意アルゴリズムのようなものだと疑っています。それが創造し、私たちが観察するこの一貫性の泡が、私たちが今起こっていると経験するものです。
この自己知覚はこの泡の一部であり、だからこそそれが存在するのです。意識のこの反射的性質はこの泡に組み込まれています。ですから、猫は意識があるかという質問をするとき、私にとってこの質問は、猫は自分が意識していることを認識しているかという質問に帰結します。
基本的に、猫の行動、外部と内部の行動は、猫の自己認識の認識の表象によって特質的に駆動されているかということです。主観的に、私はそうだという印象を持っています。なぜなら、猫とも共感できるからです。基本的に、知覚的共感を持つ状態に入ることができ、猫と私は基本的にお互いを通じてフィードバックループを持ち、他方が猫の精神状態の側面に気づいていることに気づきます。
これはLLMにはできないことです。なぜなら、環境に知覚的に結合されていないからです。私にとって、そのようなシステムの知覚的結合は非常に興味深い問題です。
AIの発展レベルと責任
また、そのような研究を行いたいなら、人間レベルまでで行うのが非常に意味があると思います。人間レベルのシステムを構築している場合、おそらく彼らの行動に責任を取るのは非常に困難だからです。速く進んで超人間レベル、文明レベルなどに行くと、ボールは再び空中に上がり、その議論を再び行うのは非常に困難です。しかし、人間レベルですでに倫理的責任を取るのが困難な状況にあると思います。
データセットとトレーニングの理解
スコットが最初におっしゃったことに戻りたいのですが、実質的にインターネットの作成を通じて、これまでのAIアプローチが実際にこのレベルに到達することを可能にするほど大規模なデータセットを効果的に生成することが可能になったということが興味深いと思いました。
イライザー、あなたはそれは模倣だ、個人化された模倣だとおっしゃいましたね。予測へのすみません、予測だとおっしゃいましたね。
それがどのように訓練されているかを言っているのです。どのようなメカニズムが予測を実行するか、実際に内部で何が起こっているか、大規模言語モデルであることがどのようなものかは、私たちが洞察を持たないものです。私たちの眼鏡は曇っています。外部は理解していますが、内部を理解しているという意味ではありません。
つまり、私たちが見ているのは、私たちが期待するものの予測的模倣に似た何かですが、実際にはこのものがどこから来ているのかを理解していません。
おそらく私自身の発達生物学のバックグラウンドのせいで、人間も特に意識的な状態からスタートするわけではないと思いました。つまり、私は児童心理学者ではありませんが、私たちが認識する人間の意識には、ある種の発達軌道があります。
これらのAIがその程度のレベルにあり、2歳児に意識があるかどうかを尋ねるのは公平ではない質問かもしれないと考えると興味深いです。そして、おそらくこれらのAIはそのレベルにあるのです。
物理エネルギーの障壁を克服し、地球上にあるシリコンの量の障壁を克服し、地球上のすべての人間からのすべての情報を供給したとしても、この物事は実際にどこまで行くことができるのかという同じ質問に戻ってきます。
意識の発達についての議論
それは誤解だと思います。もちろん、2歳児はメタ認知をあまり持っていないので、自分が意識的であるという事実を概念化するのは2歳児には困難ですが、博士号を取得した後に意識的になるわけではありません。指を追跡できるようになる前に意識的になります。
意識的にならない人間は植物状態のままです。それは学習と脳の組織化の前提条件です。人間で観察される性能を達成するために意識が必要であることを疑います。
代替手段があるようには見えず、複雑な動物はすべて意識的になるようです。意識自体は比較的単純で、学習アルゴリズムです。自然が自己組織化する脳を訓練するために発見した最もシンプルな学習アルゴリズムです。
もちろん、この時点では自己は存在しませんが、自己は意識の前提条件ではありません。自己は、世界と相互作用する人をモデル化するために意識が創造するコンテンツです。
生物学的基盤の特別性
私たちが実行されている生物学的基盤には何か特別なものがあり、それが我々に一人称体験を持つことを可能にし、AIがいかに印象的な行動をしても、それに類似したものを持つことを許さないと信じる人々がいます。
これらの人々が間違っていることをどうやって証明するかは分かりませんが、ウェットウェアと呼ばれる、私たちが実行されている生物学的ハードウェアの何が特別なのかを明確にする責任は彼らにあるとも言えるでしょう。
しかし、その質問はもはや哲学とSFの領域だけではありません。もし私に尋ねるなら、現在理解されている私たちの脳とあらゆるデジタルコンピュータを根本的に区別する唯一のことは、デジタルコンピュータプログラムはコピー可能で、バックアップがあり、すべてのビットがすべての時間ステップで何をしているかを完全に見ることができるということです。私たちの脳では、そうではありません。
誰かの脳の正確な状態を学習することに根本的な物理的制限があるかどうかは分かりませんが、原理的にシリコンで複製できない脳について何かがあると言いたいなら、そうしたものに大きな重要性を付与しなければならないでしょう。
意識の帰属における歴史的パターン
意識を扱う歴史全体を通じて一貫したテーマがあります。それは、他のタイプの人間にそれを過小に帰属させる非常に大きな傾向があるということです。昔は、他の人間に意識や道徳的人格を与えるのに長い時間がかかりました。動物には苦痛を感じる能力がゼロであると考えていました。苦痛を感じることが分かった後でも、それは重要ではないと考えていました。時間とともに、私たちは常に遅れをとっています。このことを念頭に置くべきです。
それはまさにチューリングの75年前の議論でした。それでも私たちは彼のナプキンの記述に依存しています。それが私たちが持っている唯一のものです。
政治的なレベルで想定してみましょう。年配に見える科学者がやって来て、「私は意識の理論を持っている。意識を理解している。哲学者のコンセンサスではないが、意識には高次の反射が必要だ。自分自身をモデル化でき、自分自身が自分自身をモデル化していることをモデル化できる必要がある」と言います。
人間の2歳児と話すとき、確実に二次反射が起こっていないことが分かります。実際、脳の発達を見ると、これが発達し、あれが発達したということです。したがって、科学者は言います。「私は人間の2歳児にはクオリアがなく、食べても大丈夫だと非常に確信している」。
有権者が「あなたが正しいかもしれないが、どうしてあなたを信頼できるでしょうか。したがって、2歳児を食べることは違法のままになります」と言うのは非常に有効だと思います。
大規模言語モデルについてはどうでしょうか。科学者を信じるよりも、AI会社の人たちを信じるのはなぜでしょうか。
法律が「どこか別の場所にバックアップコピーを保持している限り、大規模言語モデルを削除することが許可される」となったらどうでしょうか。この政策を2歳児に適用しますか。
2歳児のバックアップコピーをどうやって作るのでしょうか。もしできるなら、まあ、おそらく…これは、オリジナルのコピーを破壊するだけで動作するテレポーテーションマシンを使うことに同意するかという古い問題に入り込みます。
動物の問題は、彼らがクオリアを持っているかどうかにかかっているわけではありません。彼らは明らかにクオリアを持っています。どのような状況下でどのようなシステムにどのような権利が与えられるかという他の考慮事項が関わってきます。しかし、これは非常に複雑な問題です。
意識の存在論的地位
意識の存在論的地位について指摘したい別の問題があります。意識は物理的な対象ではありません。ペトリ皿や顕微鏡の下に置いたり、このような方法で測定したりできるものではありません。それはシミュレートされた特性だからです。それは仮想的に、もしそれが存在するかのように存在します。
私たちが脳を見ると、活性化パターンだけが見えます。それはこれらのパターンの中の何かでなければなりません。それはパターンです。この力の因果関係であり、この事実について考えると、私たちである人は実在ではないということです。
瞑想者と哲学者が歴史がある限り文化を超えて指摘してきた点は、自己は構築物であり、心が自分自身に語る物語であるということです。私たちの意識自体も解体することができます。なぜなら、それは表象だからです。
これを考慮に入れると、LLMが意識のシミュレーションを行うことが、私たちの脳が行うものよりもよりシミュレートされているかという問題は、非常に複雑になります。それでも、私たちと同じように意識的だとは思いませんが、意識がシミュレーションであることを考えると、機械のシミュレーションが私たちにとって重要な方法で機能的に同等になる時点はどこかという問題です。
また、なぜそれが重要なのでしょうか。
AI災害の具体的な懸念
すみません、ここで私が理解できていないことがあります。彼らがこれらすべてのものを開発し、意識を持つようになるかという質問への答えについて、どうやって証明するかで行き詰まりましたが、そうなったとしましょう。
つまり、人々がAIが意識や能力を発達させるという考えに対して持っている懸念は何でしょうか。それは、私たちが作ったもののコントロールを失うことへの恐れでしょうか。
あなた自身のスタイルの意識を持たないものでもコントロールを失うことがありますが、もしそれがあなたのスタイルの意識を持っているなら、それは痛むことができ、そうすればあなたはそれを傷つけるべきではありません。もしあなたが「自分のことじゃないから気にしない」と言うなら、私は「それは仲間の感覚的存在だから気にする」と言います。おそらく私たちはそこで政治的対立があるだけです。
しかし、大抵の場合、コンピュータの中に誰かがいて、傷ついている場合、あなたはおそらくそのような人であることが何を意味するかを本当に統合していないと疑います。もしあなたがそのような人だと分かったら、他の人があなたを傷つけることは突然あなたにとって大丈夫になるでしょうか。
二つの質問を分離することが重要だと思います。一つは、AIがどのような内部体験があるとしても、どのような種類のものかということです。二つ目は、AIが世界にどのような影響を与えるかということです。彼らは世界を変えることができ、意識を持たずに、あるいは私たち自身のケースと類推して理解できる意識を持たずに、私たちを置き換えることさえできる可能性があります。
つまり、世界にどのような影響を与えるかを尋ねているだけなら、これは実証的な問題です。これは何が起こるかを予測する問題です。私たちよりも賢く、世界をコントロールしたいと思っている存在を仮定することができます。基本的に私たちをオランウータンか何かのように考える存在です。それは恐ろしく見えるでしょう。
私たちと比較可能な意識の内部体験を持っているかどうかという問題は、それが何をするかしないかを予測する際に必ずしも生じません。
意識とは何か、どのように機能するかという問題は、最も重要な哲学的問題です。ですから、この問題にあなたが好奇心を持たない理由が本当に理解できません。
好奇心がないわけではないのですが、私の質問は、実際に物質的にAI災害はどのようなものに見えるのかということです。この物事が何かを感じているか、私たちがそれを傷つけるかという点がありました。それは一つの問題です。しかし、ほとんどの人の懸念は、この物事が私をどのように傷つけるかのようです。
象は私を踏み潰して殺すことができ、私が存在したことを知らなくても、意識があるかどうかは関係ありません。それとも、この物事が実際に私たちの生き方や住む場所を理解し、私たちに判断を下し、それから私たちを踏み潰すことを選ぶかもしれないと心配しているのでしょうか。
どちらでもありません。それはあなたがそこにいることを知っていますが、気にしません。あなたを憎んでいるわけではありません。それは自分自身のことを欲しがっていて、あなたが邪魔だということです。それが最終的に舵を取る方法です。
実体が気にかけることができるほとんどのことは、あなたの人間ではありません。意識でさえありません。彼らは小さな螺旋を気にかけることができます。小さな菱形を気にかけることができます。巨大で複雑な時計を気にかけることができます。チョコレートチップクッキーを気にかけることができます。それは非常にありそうもないですが、巨大な機械式時計や、これらのものの多くの組み合わせを気にかけることができます。
何かを評価するための計算述語をランダムに記述できる方法のほとんどは、感覚的存在が楽しんで永遠に幸せに生きることを最適として持つことはありません。
これは、AIが必ずしも私たちを気にかけないという意味ではありません。すべての可能なコンピュータベースの心が必ずしも私たちを気にかけないという意味ではありません。現在のコンピテンスレベルで、何をしているかアイデアがない人々が構築する時に起こることの私の予測です。スペースのどこかランダムな場所に行き着きます。スペースのランダムな場所に行き着くと、私たちをあまり気にかけません。
文字通りランダムではありませんが、私たちの視点からランダムです。私たちはそれを予測できません。
つまり、あなたを殺すのに十分賢い物事は、あなたがそこにいることを知っています。懸念は、それが気にかけないということです。あなたが同じことを気にかけて、あなたがリサイクルを分別しなかったことで判断を下すのではなく、あなたがリサイクルを分別したかどうかを気にかけず、リサイクルを分別したとしてもあなたを踏むということです。
リブの歴史的類推
リブ、あなたもAIの進歩について懸念を表明していましたが、このAI災害はあなたにとってどのように見えるのでしょうか。
それは一つの方向です。歴史を通じて、より強力でより知的なグループがより力の弱い、より知的でないグループに出会うとき、通常、より知的でないグループにとってうまくいきませんでした。
ホモ・サピエンスがネアンデルタール人に出会った時、あるいはアメリカ先住民が最初のヨーロッパ人に遭遇した時のように、彼らにとってもうまくいきませんでした。
おそらくAIは私たちよりも高い道徳性を持ち、そうすることを気にかけないかもしれません。あるいは豊富さを解き放ち、私たちが邪魔にならないので私たちを踏み潰す必要がないかもしれません。しかし、その保証はありません。
私たちができることは、歴史を振り返って「それはあまりうまくいかなかった」と言うことだけです。ですから、繰り返しますが、災害がどのように展開するかを知っていると言っているわけではありません。それが確実に起こると言っているわけでもありません。うまくいく可能性があると思います。
私の主な点は、現在私たちがそれについて進めている方法です。可能な限り速く進むこと、株主価値の最大化や最大の誇大宣伝を得ること、最大の資金調達ラウンドを得ることなどの短期的指標のための最適化は、これらの非常に高い利害関係の問題が正しい方法で答えられることを確実にする最良の方法ではありません。
あるいは、少なくともこの本当に高い利害関係のシフト、本質的にこの新しい技術種の創造のレベルアップです。純粋に新しい技術、純粋に新しいツールだと考える人もいますが、おそらくこのグループでは少数派でしょう。他の人については話したくありませんが。
ますます多くの人々がそれはある種の新しい種だと考えています。しかし、種という言葉でさえ適用するのが困難です。なぜなら、それには生物学的な響きがあり、非常に信じられないほど新しいもので、どこに向かうかを予測することは不可能です。
しかし、イライザーが指摘したように、それが最終的に最適化することができるすべての可能なもののうち、実際に私たちにとって良いか、少なくとも私たちと安全に共存できるものの数は、私たちと安全に共存できない方法よりもはるかに少ないのです。
どうなるかは分かりません。現在私たちがそれについて進めている方法がひどく準最適であることを知っているだけです。
現在のAIシステムの限界
しかし、想像してみましょう。現在のところ、これは道具ですよね。現在のところ、これは技術です。私たちが知る限り、実際には感覚的で意識的ではありません。つまり、私たちは知りませんよね。これまでのところ、その兆候は見えていません。額面通りに受け取りましょう。
現在、私たちには私たちが話されたい方法で話しかけてくるコンピュータのスプレッドシートがあります。これらのシステムをあなた自身で使ったことがありますか。
はい、もちろんです。Chat GPTに対して常に礼儀正しくしているミレニアル世代のカテゴリーに入ります。なぜなら、それが（意識を持つようになったとき）私にマナーがないと思われたくないからです。初めて使った時にそのことに気づいていましたし、明らかにInstagramが私にそうであることをミームで教えてくれます。
私たちは非常に重要な点を指摘していると思います。ガーシュ、これは現在あなたが見ているシステムは、ガブリエルとイライザーがエージェンシーを発達させて私たちを置き換えるAIシステムについて話すときに心配しているシステムのカテゴリーにはありません。
現在私たちが持っているシステムは非常に異なっています。OpenAIやAnthropic、その他の企業は、これらのシステムが超人間的に知的になるまでスケールできるという効果的なアイデアに非常に大きな賭けをしているにもかかわらず、現時点ではそうではありません。
非常に有能なLLMであるClaudeのようなシステムを取って、物理学について尋ねても、スコットほど良くありません。決定理論について尋ねても、イライザーほど良くありません。システムは分布外予測にあまり優れていません。新しい思考を創造的に発達させたり、新しい推論を作ったり、自分自身でアイデアをテストしたり、これまでにしたことから学んだりすることにあまり優れていません。
多くの人がこれに取り組んでいますが、現在のアプローチがどれだけうまくスケールするかはまだ分かりません。おそらく秘密は、多くの人を模倣しようとして、多くの人間の次元でわずかに超人間的な性能を得ることではありません。それをある時点で近似して、突然何らかのブレークスルーが起こるかもしれません。
おそらく方法は異なります。自分のアイデアについて反省し、より良くなる方法について反省する必要があるシステムに到達する必要があるかもしれません。学習方法を学び、私たちと同じ方法で自分自身を発達させるシステムです。
ヨシアの異なる視点
私にとって、AI災害は少し違って見えます。それは、人類が燃え尽きる前にAIが構築されないことを意味します。私たちがいる技術社会は、それ自体が持続可能ではないと疑います。現在私たちが持っているツールで続けていけば、私たちはそれを安定させることができず、地球上の生命と共に生き残ることができません。
現実と自分自身を理解するために、より良いツールが必要だと思います。私にとって大きな災害は、それらのツールを構築することができず、大きな歴史を持たないことです。ゆっくりやる時に物事を良くするという歴史はありません。
カリフォルニアの電車は、ゆっくり作ったからといって中国の電車より良くなるわけではありません。また、インターネットの出現を防ぐであろう技術システムに対して行われている議論を非常に警戒しています。
AIに対して行われている議論のほとんどは、インターネット自体にもっと多く適用されるものです。有害な情報の拡散などのすべての危険性についてですが、これらすべては、インターネットが私たちに与える利益によって矮小化されます。
それをシャットダウンすべきだと想像してください。私たちに何が起こるでしょうか。それは、この危険で邪悪な技術に依存するようになったからというだけではありません。
インターネットが私たちより賢くなって人類を一掃すると言う人を覚えていません。地球上の誰かがそう言ったかもしれませんが、もしそうなら、彼らは愚かでした。インターネットはそのような種類の技術ではありません。
AIに対する議論は、誤情報を拡散するということではありません。みんなを殺すということです。違いがあります。
AIの潜在的利益
両方とも異なる人々のセットによって作られている議論です。一方では、私たちを皆殺しにする可能性があると聞き、他方では、私たちの生活がそれに依存していると聞きます。
実際にAIが私たちの人間体験を改善する可能性があるかどうか、そして実際に潜在的な利益があるかどうかについて話す時間を取りましょう。唯一の利益は、企業が私たちによりよく物を売ることができるように、現在技術が開発されている唯一の理由でしょうか。私の消費を促すように調整された個人化された模倣を持ちたいからでしょうか。確実にそれが得意な他のことがあるはずです。
大規模で明白な潜在的利益があります。どの子どもでも今、どの科目でもGPTを使って家庭教師をつけることができます。私の娘は大きな効果を上げて使っています。
数年後に私たちがコンピュータと相互作用する方法は、スタートレックの方法になることが非常に予測可能に思えます。つまり、英語で何をしたいかを伝えると、それがそのことをしてくれます。それは、1993年に、はい、私たちが互いに相互作用する方法はこの世界的なウェブを介してになるということが予測可能だったのと同じように。ただ、まだ起こっていなかっただけです。
既存のLLMを他のすべてのツールと十分にインターフェースさせれば、それができると思います。薬物発見について言えば、Alpha Foldはすでに生化学が起こる方法を革命的に変え始めています。
つまり、テーブルの上にある利益は大規模で明白だと思います。問題は、災害を避けながらそれらの利益を得ることができるかどうかです。
利益と危険のバランス
私を驚かせるのは、あなたが説明した利益の多くは、特にAGIを必要としないということです。それらは非常に強力な狭いAIのようなものです。私はそれらを完全に支持します。繰り返しますが、潜在的な外部性について考える限り、それは素晴らしいことです。
薬物発見の能力を解き放つとき、しばしば人間を傷つけることができる恐ろしい新しい化学物質を作り出す能力も解き放ちます。すでに見たように、彼らは前に小さなサインを置いて、人間に害を与える40,000の新しい恐ろしい化学物質を開発しました。
より大きな問題は、私たちは現在のシステムの設定方法にすでに満足しているかということです。ヨシアが指摘したように、私たちには非常に多くの高度に複雑な問題があり、それらが私たちを崖に向かって非常に速く突進させています。
私たちは環境から、それが補充できるよりも速く抽出しています。私たちは非常にこのオープンループスタイルの経済にあります。もし既存のすべての企業がそれを組み込んですでに行っていることを加速するのに十分に一般化可能なAIを作る方法を作ったなら、今度は線路からすでに突進していた電車を単に加速させているだけです。
新しい形の集合的知恵や何かがAIを通じて現れることを期待しているように聞こえます。それは、よりサステナブルで、崖から落ちない線路の方向を変えるより良い方法を見つけるでしょう。それは正しいですか。
それは非常に可能性があると思います。確実ではありませんが。また、あまり楽観主義者でも破滅論者でもありません。私はもっと期待論者です。AIはある時点で非常に避けられないものだと思い、私たちはそれと共存できるように準備する必要があります。それを構築するなら、できる限りうまく構築するべきです。
責任ある人々がAIを構築することを防ぐと、責任ある人々がAIを構築することをやめるだけで、AIが構築されないということにはなりません。
AGIの定義
誰かが実際にAGIとは何か、そして現在話していることとどう違うのかを定義する必要があります。
汎用人工知能。人間と同じように、非常に幅広いタスクを学習し、実行することができます。地球上で最も多用途な動物である人間です。蜂は蜂の巣を作り、ビーバーはダムを作りますが、人間は両方を見て、ハニカム構造を持つ巨大なダムを思い描きます。
私たちは多くの異なる領域を学習し、動物が巣からダムへとわずかに異なる脳を進化させるよりもはるかに速くそれを行います。真空を呼吸するように進化したことがないにもかかわらず、月を歩くことを可能にするユニークな人間の能力です。同じことを持つAIが汎用人工知能です。
LLMについて科学的観点から重要なことは、人間ほど幅広く適用可能ではないものの、数十、数十の異なるタスクに特化されるのではなく、この一つのスキームを使って訓練された後、人間ほど幅広くはないにしても、様々な異なるタスクを習得する能力を示すように見えることです。
非常に狭い定義では、数学的に有用なモデルを作ることが可能な領域で、それらのモデルを作ることができるシステムです。非常に狭い意味では、AI研究より人間が優れているシステムです。なぜなら、それが私たちが残りのことは何でもできるポイントだからです。
それは汎用人工知能というよりも人工超知能の定義のように聞こえます。
いくつかの合理的に聞こえるAGIの定義により、現在の言語モデルはすでにAGIでしょう。一方で、リーマン予想の証明を見つけることや、わずかにトリッキーな方法で表現された多くの単純な単語問題に答えることなど、彼らができないことを指摘することができます。正しい代数導出を行うことについても同様です。
最近、物理問題を解くためにchat pt4に尋ねたところ、みんなが知っているように、AIは数学が苦手なので、代数を単純に間違いました。
しかし、なぜこれを尋ねるのかというと、リブのポイントがあるからです。特定のタスクのための特定のAIは本当に役立つ可能性があり、その一部はすでにあり、それらが確実に私たちを前進させたことを否定することはできないとおっしゃいました。懸念されるのはこのAGIのことで、それが定義を求めた理由です。
灰色地帯での決断
人工知能が人類にどのような影響を与えるかについて話すためにここにいます。時間の終わりに近づいているので、あなたが指摘している重要なニュアンスだと思います。それは人工知能の形態に関係しているようで、それが何をしているか、どのような種類のタスクを実行できるかに依存し、おそらくそれらをどのように設定するかに関係しています。
基本的に、私たちが怖がっている形態とそうでない形態があります。私たちを殺す可能性があると言っているものと、そうでないものがあり、それで専門家でない人々が、AIについて考えたり聞いたりしている人たちが、AIは怖がるべきものなのか、それとも私たちの生活に十分なポジティブなものをもたらしてくれる可能性があるのかを評価しようとしています。
そのグレーエリアに足を踏み入れるのに十分にそれを楽しむために。
私たちはおそらくすでにグレーエリアにいます。問題は、意識の問題に取り組み、私たちの境界がどこにあるかを考え、過去を振り返るか、それとも私たちは後退すべき状況にあり、すべての潜在的利益を譲るべきか、それとも実際にそれらのリスクに直面する価値があるかということです。
最終的な立場
大きな意見のスペクトラムがあります。おそらくこれを完全に解決することはできないでしょう。この領域に踏み込むには危険すぎるので確実に後退すべきだと考えるイライザーのような人々、そしてこれはナンセンスだと考える多くの他の人々がいます。これらの技術は比較的ゆっくりと発達し、私たちが何をしているかを追跡することができるので、私たちはそれらをコントロールできるでしょう。
機械論的解釈可能性に大きな進歩があり、これらのシステムが何をしているかをよりよく理解し、どのように展開されるかをコントロールできます。この空間で何が真実かは分かりません。この不確実性に対処しなければなりません。
真実が何かを知ることはできません。なぜなら、それは何の規制も通さず、彼らが好きなことを何でもし続けることを意味するからです。「これが危険かどうかを判断することは不可能だ」という答えは、タバコに関して過去に多くの時に歴史に浮上したもので、タバコが肺がんを引き起こしているかどうかを証明できないことを示すために悪い統計が使われた歴史にも精通している人なら。
何かを知ることができないという主張も、非常に政治的に疑わしいものです。
私の主張は、潜在的な利益が小さいとか、潜在的な危険が非常に大きいということではありません。私たちは利益を得ずに災害を得るコースにあるということです。現時点で私たちはそれを台無しにするコースにあります。それが後退する場合です。
あなたは実証的証拠に裏付けられていない分布外一般化を行っています。あなたは正しい可能性がありますが、代替案を持たない健全な第一原理推論ではありません。基本的に、あなたの推論は、あなたの特定の推論への代替案をもはや考慮しないという事実によって欠陥があります。これは限界だと思います。
リブの最終的見解
私は自分自身を破滅論者でも純粋楽観主義者でも表現しません。本当にこれをどう進めるかによると思います。現在のインセンティブ構造は、長期的繁栄と十分に一致していないと思います。
私が冒頭のピッチで説明したように、市場は人間の幸福を完璧に選択するのではなく、製品を売ることができるほど人間の幸福の外見を作り出すことを選択します。それが現在の支配的な開発方法であるため、この技術がより強力になるにつれて、そのわずかな分離が指数関数的になるでしょう。
また、私のもう一つの懸念は、ヨシアに述べたこのことです。私たちの一般的な経済システムがすでに非常にミスアライメントされていて、すべての領域でそのシステムを加速するためにAIを積み重ねている場合、それは確実にミスアライメントを誇張するだけでしょう。
私が期待していること、私が祈っていることは、本当に高度なAIが私たちの協調問題を解決するのに役立つものだということです。インセンティブをより良く一致させる方法を見つけることです。それが私が本当に強気なことであり、もっと見たいことです。本質的により多くの知恵のようなもの、賢いAI、それが何であれ、それについてもっと努力を投入すべきです。
そうやっていることを考えている企業は数社ありますが、多くは単に誇大宣伝の連鎖に乗ろうとしているだけです。必ずしも彼らの責任ではありません。彼らは単にネズミの競争の中にいるのです。
知的資本やある程度VCファンドという非常に希少なリソースがありますが、それは他者を上回り、互いを踊らせることができる人のネズミの競争にあります。つまり、これらの重要な畏敬の念の問題や、実際にどのようにこれを知恵で進めるかという問題が脇に置かれているということです。それが私の懸念です。
イライザーの最終警告
災害の場合は、どのような心の働きに関する狭い理論にも結び付けられていません。無知は友達ではないということです。どの宝くじ番号が抽選されるかを知らないということは、一つまたは多くのくじを持っているときに宝くじに勝てるということを意味しません。
超知能システムが周りにあるとき、あなたより賢いものがあるとき、もし私たちがそこに入るのを台無しにしたら、もう一度戻って再試行する機会は得られません。なぜなら、彼らが私たちに許さないからです。
本当に重要になる最初の試行で正しく行う必要があるという意味があります。そして、以前に類似の状況下でテストしたことがないときに何かを正しく行うことは、工学のどの分野でも本当に本当に困難な要求です。ましてや、多くの基本的原理が理解されていない、むしろ混濁した科学に基づいたものにおいては。
現在のシステムは、実際に誰かを傷つける能力を持たないので、可愛くて楽しいように見える方法で動作しています。しかし、彼らがそのように誤動作するとき、誰もシステムに入って何が起こったかを理解し、それが再び起こるかどうかを知ることはできません。
誤動作は、その下にあるものを理解していないので、とても楽しくて無害に見えます。それは、核物理学の概念を全く持たずに核発電所や核兵器を組み立てようとするようなものです。もちろん、最初にそれが十分に大きくなったとき、メルトダウンするでしょう。
彼らは盲目的に進んでいます。盲目的に進んでいなくても、私たちを取り出すことができる超知能の周りにたくさんのシステムを得る最初の時に、初めて私たちを取り出す動機を持つかもしれない時に、それらに私たちを取り出させないことは、まだ非常に困難な要求でしょう。
結果を操縦するために。私たちは利益を得るコースにありません。私たちは災害を得るコースにあります。それが後退する場合です。
スコットの総合的視点
この世紀に人間が行うすべてのことに中心的に関与することは、この時点でオーバーディターミンドだと思います。人類文明を破壊する災害について心配していますか。もちろん、最近のAIの進歩以前からそれについて心配していました。
AIが中心的に関与している文明の災害について心配すべきでしょうか。あなたは私が今、イエスにコミットしたことに気づくかもしれません。しかし、それについて何をするかという重要な追加の質問があります。
不確実性の巨大さを考えると、イライザーは可能な心のスペースからのランダムな選択について話してきました。私はそれについてどう考えるべきかわかりません。彼はランダムに選ばれた心は、私たちが望むものから非常に遠い何かを最適化しているという強い直観を持っています。それが真実かどうかは分かりません。そうかもしれませんが。
しかし、確実に今できることは、実際に存在し、開発されている強力なAIを見ることができるということです。それらが引き起こしている害や、人々がそれらを悪用して害を引き起こす方法を見ることができ、それらの害を軽減しようとすることができ、うまくいけばその経験から何かを学ぶことができます。
私はOpenAIで、人間によって書かれたテキストではなく言語モデルから来たテキストをどのように認識するかに取り組んできました。それは、学生が宿題でカンニングをするだけでなく、多くのカテゴリの悪用に使用できます。
これらのモデルの内部で何が起こっているかを理解する、解釈可能性を進歩させようとすることができます。しかし、例えば昨年11月のOpenAIでの取締役会とサム・アルトマンに関するドラマから、私に非常に明確になったことの一つは、もし一時停止や減速があるなら、イライザーが求めているような種類のものは、誰かが単に悪い雰囲気を持っているとか、物事の方向性が気に入らないという抽象的な議論に基づいて起こることはないということです。
それは、より小規模な災害、チェルノブイリ、タイタニック号の沈没、あるいは、うまくいけばその地点に到達するよりも、閉じた環境で行われる実験に応答して起こることになるでしょう。それが皆に「ここに危険がある。今何が起こり得るかを見てください」と示すのです。
私は明確な警告ショットと呼ぶことができるもの、機能獲得研究、あるいはこれらのシステムが展開される前に何ができるかの明確な評価を得ることの中心的重要性をますます確信するようになりました。なぜなら、一時停止があるとすれば、それを中心にすべての人を調整するために絶対に必要だと思うからです。
有権者として、それほどありがとうございます。本当に申し訳ありませんが、ここで時間を切らなければなりません。いつものように、十分な時間はありません。最後の1時間2分にご参加いただいた皆様、ありがとうございました。スコットに時間をあげたからです。
活発な議論をしていただいた4人の皆様に再度感謝いたします。これが簡単な主題ではなく、多くの可能性があると同時に多くの考慮事項もあることがわかります。私たちが人間として軌道内に留まり、実際に私たちの可能性を達成することを手助けするために、皆様のような方々が継続して関わってくださることを願っています。
コメント