この動画は、人工知能の発展が人類にとって存亡の危機をもたらすかどうかを巡る専門家による白熱した討論である。賛成派のヨシュア・ベンジオとマックス・テグマークは、AI技術の急速な進歩が制御不能な超人的知能の出現につながり、人類の生存を脅かす可能性があると主張している。一方、反対派のヤン・ルカンとメラニー・ミッチェルは、そうした懸念は根拠のない推測に基づいており、AIは適切な安全対策により人類に大きな恩恵をもたらすと反駁している。トロントのロイ・トンプソン・ホールで開催されたこの討論では、AI安全性、技術制御、悪意ある利用、人間の代理権の問題などが詳細に議論され、AI研究の未来に関する根本的な哲学的対立が浮き彫りになっている。
討論会開幕
どの事実が破綻するかわからない、どの議論が完全に破壊されるかわからない。そして今、あなたは動揺し、震え上がり、何を言えばいいかわからないが、何かを言わなければならない状況にある。
資本主義には問題があるだけでなく、資本主義は壊れていると私は思う。この毒性のある二元的なゼロサムの狂気を止める時が来たと思う。
リベラルな国際秩序への最大の脅威は、逆説的にも中国のような非リベラル社会ではなく、アメリカのようなリベラル社会である。お世辞に操られ、ツイートに煽られ、彼が過熱した時には発射ボタンに手を置く。
もし彼がそれほど法外なら、あなたは同胞の半分が完全に気が狂っているか、それ以上だと思わなければならない。
このシステムをマフィア国家と呼ぼうが封建帝国と呼ぼうが、それは普通のロシア人にとって災害である。
異なる意見を持つことは20世紀的なことだ。今世紀、我々は異なる事実を持っている。
ハゲのイギリス人と巻き毛のカナダ人のどちらを好むかで投票できないのは残念だ。
我々は善悪を知るために神の許可を必要としない。一度に10個ずつタブレットの形で投与される錠剤を道徳的議論のために必要としない。
我々は同情を求めない、憐れみを求めない。我々は機会を求める。そしてそれが、ウクライナ危機、ウクライナ戦争、ウクライナの悲劇という全体が、この惑星の誰もが影響を受ける問題である理由だ。
だから私があなたに言いたいのは、ここで宿命論に屈してはいけないということだ。これらが偉大な力だという感覚に屈してはいけない。我々は自分たちの運命を作ると信じている。
司会者による開会の辞
こんばんは、皆さん。私の名前はロジャー・グリフィスです。マンク討論会の議長を務めており、今夜のAIに関するマンク討論会を再び司会する特権を得ています。
この討論を皆さんのような価値ある会員、寄付者、チケット購入者に宣伝した時、我々は心からこれがこのシリーズの歴史の中で最も重要な討論の一つになり得ると感じていました。これは我々の28回目のメインステージ討論です。
ロイ・トンプソン・ホールで100人以上の討論者がこのステージに立ちましたが、今夜初めて、このシリーズで我々のステージ上の討論者の少なくとも半分にとって存亡の問題、AIが今後数年間そして未来において人類に与える可能性のある脅威について取り上げます。
今夜この場があるのは、過去のすべての討論と同様に、再び皆さんの寛大さのおかげです。現在数千人に上るマンク寄付者の皆さんの寛大な慈善支援に感謝します。そして、15年以上にわたって年2回これらの討論を想像し、実現させている組織、財団にも大きな感謝を申し上げます。ピーター・アンド・メラニー・マンク慈善財団にありがとうございます。
皆さん、ピーターはこの討論を愛していたでしょう。彼は大きな問題、大きな挑戦、地球規模の問題に魅力を感じる人でした。今夜の討論は、我々のすべての討論と同様に、彼の記憶に捧げられています。これらの討論は彼の素晴らしい遺産の一部です。
今夜は迅速に進めたいと思います。なぜなら一緒に多くのことを取り上げる必要があるからです。皆さんと同様に、私も今夜多くを学ぶつもりですので、会話をアクセスしやすいレベルに保つよう努めます。
我々は本当にAIの世界的権威4人を見つけました。これらの人々は、現在我々がいる瞬間、AIの未来について国際的な議論が行われているこの瞬間まで、この技術に取り組み、革新し、前進させてきた人々です。
討論者紹介
最初の討論者として我々に加わるのは、マックス・テグマークです。彼はMITの教授で、彼の言葉によれば「不可解な機械学習システムがどのように内部で動作するかを発見する」ことに焦点を当てた研究を行っています。彼は印象的な科学研究の実績を持ち、数多くのベストセラー書籍の著者でもあります。最近、皆さんも私と同様にニュースで見たように、彼はイーロン・マスクや世界中の他の科学者と共に、AI研究のモラトリアム、一時停止を求める公開要請を主導しています。トロントへようこそ、MITのマックス・テグマーク。
優れた討論者にはもう一人の優れた討論者が必要です。ヨシュア・ベンジオは真に世界有数の人工知能専門家の一人で、深層学習分野における先駆的な研究で知られています。2018年に彼は名誉あるチューリング賞を受賞しました。これはコンピューティング界のノーベル賞として広く認識されています。彼はモントリオール大学の正教授であり、ケベック州のAI研究所Milaの創設者兼科学ディレクターです。彼は人工知能の責任ある開発のためのモントリオール宣言の推進力でもあります。カナダのヨシュア・ベンジオを歓迎してください。
反対派討論者の紹介
今夜の決議「AI開発と研究は存亡のリスクをもたらす」に反対する側の議論から始めましょう。最初の討論者はヤン・ルカンです。彼はFacebook、WhatsApp、Instagramの親会社であるMetaの副社長兼チーフAI科学者です。我々が使用する素晴らしいアプリケーションの数々とVRの世界的リーダーです。
彼はMetaの30億人の日々のアクティブユーザーに対するAIアプリケーションの革新を支援する責任を負っています。ヤン・ルカンもヨシュアと同様に、同じ年である2018年のチューリング賞受賞者で、機械学習への基礎的科学貢献により受賞しました。彼はニューヨーク大学クーラント数理科学研究所のシルバー教授としても活動的な学者です。ヤン・ルカンを歓迎してください。
今夜最後の討論者は、サンタフェから今日恐ろしい旅をしてきました。複数のフライトの遅延がありましたが、今夜の進行のわずか数時間前に到着しています。彼女は複雑系に関する問題に幅広く焦点を当てたサンタフェ研究所で、人工知能と認知科学の様々な分野における世界的権威です。AIとその含意をめぐる一般的な議論でも真に際立った地位を築いており、最新作「人工知能：思考する人間のためのガイド」を含む数多くの国際的ベストセラー書籍を著しています。メラニー・ミッチェルを歓迎してください。
事前投票
我々がすべてのマンク討論で行うことを行います。今夜の決議について投票することです。今夜それを行う方法は、プログラムにQRコードがあり、そのコードを携帯電話でスキャンするか、ステージ上のスクリーンに表示されているQRコードに向けることで機能するはずです。
これにより、今夜の様々な投票質問があるウェブページが開きます。そのウェブページを開いたままにしておいてください。ロイ・トンプソン・ホールのWi-Fiは使わないことをお勧めします。これだけの人数が一度にアクセスすると圧倒されてしまいますが、5Gなら問題なくウェブページに接続できるはずです。
今それを行っていただき、最初の質問が表示されます。AI研究開発は現在存亡のリスクをもたらしているか、存亡のリスクをもたらしているかに投票していただきます。
2番目の質問も最初の質問に答えた直後に表示されるはずです。決議について、今夜考えを変える可能性があるかということです。決議「AI研究開発は存亡のリスクをもたらす」について、今夜討論者から聞く内容に基づいて、夕方の終わりまでに異なる意見を持つ可能性があるかということです。
結果を見てみましょう。決議に関する最初のラウンドの観客投票で、AI研究開発が存亡のリスクをもたらすかという質問について、67パーセント対33パーセントという結果になりました。つまり3分の2対3分の1で動議支持となりました。
重要なのは考えを変える可能性があるかということです。今夜聞く内容によって考えを変える可能性がある人は92パーセントという結果でした。
マックス・テグマークの開会陳述
技術は善にも悪にも使うことができ、その力は指数関数的に成長しています。つまり、もちろんその爆発半径、つまり我々の社会に与える可能性のある損害の量も指数関数的に成長しているということです。
石器時代には岩で5人を殺すことができたかもしれません。300年前には爆弾で100人、1945年には2つの核兵器で25万人、生物兵器ではさらに多く、核の冬では最近のサイエンス誌の記事によると50億人以上。つまり爆発半径は人類の約60パーセントまで上昇しています。
超人的知能はこれらすべてよりもはるかに強力になるであろうと我々が主張するように、その爆発半径は簡単に人類の100パーセントになり得るため、本当に我々を一掃する潜在的な力を与えます。
物事をかき回すために、私の友人ヤン・ルカンからのツイートがあります。彼は「AIを安全にすることは、すべての新しい技術と同様に起こるだろう。それは反復的改良のプロセスになるだろう」と言っています。
反復的改良はジェットエンジンのようなそれほど強力でない技術や、何度も試す余裕があるそれほど強力でないAIには素晴らしいと思います。しかし、核の冬や我々が完全に制御を失う可能性のある将来のAIのような強力なものについて話している時、それは恐ろしい戦略だと思います。なぜなら、その時は本当に一度しかチャンスがなく、最初から正しく行わなければならず、戻って反復的に改良することはできないからです。
超人的AIがこれらすべての他の技術よりもはるかに強力になり得る理由は、定義上、人間ができるすべての知的なことをより良く行うことができるからです。例えば、目標指向の行動、説得、操作、人を雇う、会社を始める、ロボットを作る、科学研究を行うことができます。
より強力な生物兵器の作り方を研究したり、さらに知的なシステムの作り方を研究したりすることもできるため、再帰的に自己改良することができます。また、人間には全くできないことも行うことができます。非常に簡単に自分自身のコピーを作ることができます。
人間研究者の1000倍速く考えることができる超人的AIを一瞬想像してみてください。9時間で1年分の研究を行うことができます。しかし今度は、そのうちの100万体、100万体の超知的AIの群れを考えてみてください。そのうちの1体が新しい何かを発見するとすぐに、その新しいスキルをすべてと即座に共有できます。これが我々が話している力の種類です。
最後に、超人的AIは人間の感情や共感のようなものを欠いた、おそらく非常に異質な種類の知能になるでしょう。そのため、もちろんそれらの目標があれば、我々を一掃する力と可能性を持つでしょう。しかし、なぜそれらがそのような目標を持つ可能性があるのでしょうか。
AIが害をもたらす3つのシナリオ
これが起こり得る最も話題になっている方法の一つは、我々が何らかの目標を与えて、それが実際に忠実に従うが、その目標リストが人間の目標と完全に一致していない場合です。これは、我々人間が通常他の種を絶滅させてきた方法です。
例えば、我々がここにいる西アフリカクロサイを絶滅させた時、我々がサイを憎んでいて故意に殺そうとしていたわけではありません。一部の人間が、砕いたサイの角を食べれば性生活が向上するという奇妙な目標を持っていただけです。これは医学文献で完全に論破されていましたが、人間はサイよりも賢く、そのため人間の目標が勝ったのです。
第2の絶滅への道は悪意ある使用です。物事をかき回すために、ヤンからの別のツイートがあります。「我々は明らかにAIにそのような目標を持つように設計したことはないが、『我々』とは誰なのか」と彼は言っています。私はヤンがやらないと確信しています。なぜなら個人的に彼が非常に良い人だと知っているからです。皆さんには本当に奇妙に思えるかもしれません。なぜなら皆さんはカナダ人でとても良い人だからです。
しかし、アメリカでは可能な限り多くの人を殺そうと試みる大量銃撃事件が定期的に起きています。もし何らかの超強力なオープンソースAIがあるなら、可能な限り多くを殺したい人がそれを使う可能性があり、AIは所有者に完全に従っているという意味で安全ですが、それでも災害を引き起こします。
第3の災害への道は、我々が競争に負けることです。これは最も議論されていないものですが、ヤンとメラニーに、上記の真ん中と上のものを避ける計画が何なのかを聞きたいと思います。
競争に負けるとは、定義上、AIが超人的であれば我々のすべての仕事をより良く行うことができるということです。人間をAIに置き換えない企業は、そうする企業に競争で負けるでしょう。同様に、職だけでなく決定も委譲することになります。
AI CEOを持たない企業は持つ企業に競争で負け、AI将軍を持たない軍隊は持つ軍隊に競争で負け、AI政府を持たない国家は持つ国家に競争で負けます。我々は人間が自発的にAIにますます多くの力を与えてしまう状況に陥り、あらゆる種類のことが起こっているが、もはや我々の未来ではない未来を持つことになります。我々は何のためにも必要とされない機械に制御を譲り渡し、力を失ってしまいます。それは非常に悪い状況です。そこに行かないようにしましょう。
ヤン・ルカンの開会陳述
まず、私のツイートのいくつかを見せてくれたマックスに感謝します。それについて言及する必要がありません。
まず第一に、我々は人間レベルのAIからまだ非常に遠いところにいます。現在の技術は非常に限られています。試験で最優秀の成績を収めることができるシステムはありますが、10歳の子供なら数分で夕食のテーブルを片付けて食器洗い機に食器を入れることを学ぶことができます。説得するのは別の話ですが。17歳なら約20時間の訓練で車の運転を学ぶことができます。
我々にはまだ家庭用ロボットがありません。まだレベル5の自動運転車もありません。つまり、人間レベルのAIに到達するためには、まだいくつかの基本的な大きな進歩を遂げる必要があります。何か大きなものが欠けているのです。
AIには即座のリスクがありますが、それらのリスクは新しいものではありません。AIが大量の誤情報を生成したり、人々に悪いことをするよう説得したり、持ってはいけない人に情報を与えたりすることができるかといったようなことです。既にインターネットがあり、ソーシャルネットワークもあります。
誤情報やヘイトスピーチなどに対する対策も既にあり、ちなみにそれらの対策すべてがAIを大いに活用しています。これらの問題に対して、AIは解決策であり、問題ではありません。
現在のAIシステムの能力を推定すると、我々は悪いことを行い、制御不可能になる可能性があることを心配するかもしれません。皆さんのほとんどはChat GPTで遊んだことがあるでしょう。それらが存在しない事実を作り上げることを知っているでしょう。本当に推論することはできず、計画もせず、世界の現実を本当に理解していません。なぜなら純粋にテキストで訓練されており、人間の知識の大部分はテキストや言語とは関係がないからです。
将来のAIシステムが同じ設計図に基づいていると信じるなら、危険かもしれないと信じる権利があると思います。私の予測では、5年以内にそれらのものを使わなくなるでしょう。
目標駆動型AI
私が提案しているのは目標駆動型AIと呼ばれるものです。これは一連の目標によって行動が制御されるAIの種類です。これらのAIシステムは、例えば安全制約などの多くの制約を満たし、求められている質問に答えたりタスクを達成したりするかどうかを測定する目標を満たさない限り、出力を生成できません。
これらのシステムは制御可能であり、安全目標と安全目標を実装する限り安全にすることができます。驚くべきことに、それらは感情を持つでしょう。共感を持つでしょう。適切に行動してもらいたいなら、世界の実体が持つ必要があるすべてのものを持つでしょう。
人間の感情に似たこの種の感情なしには、人間レベルの知能に近いものを達成できるとは思いません。これがそれらを制御する方法になるでしょう。
それらにハードワイヤードできる感情の一セットは従属性です。つまり彼らが自動的に従属することです。10年、20年後の未来を想像してみてください。おそらく我々の一人一人がAIアシスタントを通じてデジタル世界と相互作用するでしょう。
このAIアシスタントは我々の最高のデジタル友達になるでしょう。日常生活で我々を助けてくれるでしょう。それは我々よりも賢い人々のスタッフを持つようなものでしょう。我々よりも賢い人々の束と一緒に働くことは、できる最高のことです。
その場合、我々はそれらのAIシステムが透明でオープンであることを望むでしょう。ウィキペディアのようなものです。ウィキペディアを信頼するのは、コンテンツが審査された何百万人の人々によって貢献され、何らかの編集プロセスがあるため、コンテンツの真実性にある程度の信頼を持っているからです。
AIシステムについても同じでなければなりません。世界について学ぶ方法は、全人類の知識の貯蔵庫になるため、クラウドソーシングされなければならず、つまりオープンソースでなければならないということです。
もし我々がそれらが人類への危険だと恐れているなら、オープンソースにすることはできません。我々は分岐路に立っています。武器であるかのようにそれを鍵をかけ続けるのか、それともオープンにするのか。私は本当にオープンにすることを主張します。なぜなら、AIは人類の新しい時代、新しいルネサンス、望むなら新しい啓蒙の時代を開くと思うからです。誰もがより賢くなり、賢いことは本質的に良いことです。
ご覧のとおり、私は前向きな見方を持っており、AIシステムを安全にする非常に効率的で良い方法があると思います。それは困難なエンジニアリングになりますが、ターボジェットを安全にするのと同じです。数十年かかり、困難なエンジニアリングですが、実現可能です。
ヨシュア・ベンジオの開会陳述
まず、多くのAIと神経科学の研究者には明らかかもしれませんが、多くの人にはそうでないことを述べることから始めたいと思います。それはあなたの脳は機械であるということです。神経科学者が解明しようとしている生物学的機械です。
これが意味することは、将来人間と同じくらい賢い機械を構築できない科学的理由がないということです。正確にいつかは別の問題ですが、ジェフ・ヒントンが最近の講演で説明したように、デジタルコンピュータはアナログ脳に対して利点を持っています。
アナログ脳もコンピュータのエネルギー効率の点で利点を持っていますが、大量のデータを吸収し、コンピュータ間で高速で情報を共有する能力の点では、マックスが話していたように、何千ものコンピュータが学んだことを共有できるように、並列で学習できます。
現在でも、人間が何万もの生涯でもできない全インターネットを非常に速く読むことができるAIシステムが既にあります。これにより、我々と同じ知能の原理を持つ機械を構築できれば、それらに利点を与えます。つまり、超人的な機械を構築することは非常に可能性が高いということです。
いつそれが起こるかですが、深層学習でチューリング賞を受賞したジェフ・ヒントン、ヤン・ルカン、そして私は実際に、それが数年から数十年のどこかで起こる可能性があることに同意しています。約5年から20年の信頼区間で。
数十年なら安心かもしれませんが、数年なら心配すべきだと思います。いずれにせよ、今夜の問題である存亡リスクがあるかどうかという問題は変わりません。それがどのくらい未来のことかは関係ありません。
私はこの全体の問題について考えを変えました。なぜなら時間スケールが変わったからです。数年前に聞かれていたら、ヤンやメラニーのように、あまりにも遠い先のことだと思っていたので、おそらく数十年か数世紀だと言っていたでしょう。
皆さんの多くがChat GPTやGPT-4を試したことがあると確信していますが、これらの機械が信じられないほど強力であることを避けて通ることはできません。実際、彼らは我々の賞にその名前を与えたチューリングが定義したチューリングテストに合格しています。つまり、これらのシステムと対話する時、人間と話しているのか機械と話しているのかわからない場合があります。
何が欠けているかを解明することも多くの科学者の仕事であり、ヤンとメラニーと同様に重要な要素が欠けていることに同意しますが、それを数年で解明するのか、数十年かかるのかは言いにくいです。私が取り組んでいることの一つは推論に関するものです。
現在、これらのシステムは直感的知能のようなものは非常に得意ですが、愚かなことを言う前に推論し、考え抜くことはそれほど得意ではありません。これは非常に迅速に解決される可能性があるか、道のりに障害があるかもしれません。わかりません。
マックスが言ったように、これらのものを構築するレシピが利用可能になるか、さらに悪いことに、パラメータ、重みなので誰かがこれをダウンロードして、非常に有害な可能性のある指示を与えることができるようになったら、これは問題です。
我々よりも何倍も賢いシステムが我々のサイバーセキュリティを打ち破り、組織犯罪を雇って物事を行わせ、ウェブ上で合法的に働いている人々を雇って物事を行わせ、銀行口座を開設し、あらゆる種類のことをインターネットを通じて行い、最終的にはロボットを構築するR&Dを行い、世界で自分自身の制御された支配を持つことができると想像してください。
ある意味で、我々が向かっているのは、ジェフ・ヒントンに挑戦するところですが、自己保存目標を持つかもしれない世界の新しい種類の実体を考え出すことです。これもマックスが説明した理由で起こるかもしれません。誰かが悪いことをするよう求めるために起こるかもしれないし、我々のようなマシンを構築したいというフランケンシュタインのような傾向のために起こるかもしれません。
自己保存目標を持つマシンを持つと、我々は困った状況に陥ります。生き残りたい時に何が起こるかを考えてみてください。他の人に電源を切られたくありませんし、環境を制御できる必要があります。つまり人間を制御することを意味します。
存亡リスクとは、我々全員が消えるだけではありません。我々全員が力を失い、もはや我々の運命をコントロールしていない状況かもしれません。これは我々が望むものではないと思います。
私は、この問題について私に寄せられたすべてのコメントと質問を取り上げて、すべての批判に答えようとしたブログ投稿を書いているところです。これまでのところ、残念ながらこれらの議論に説得されていません。本当に説得されて、これらの懸念を和らげたいのですが、聞いたすべての議論、今夜議論するものは十分ではありませんでした。
メラニー・ミッチェルの開会陳述
人間の絶滅は我々の集合的精神に刻み込まれていますが、今夜我々が議論しているのは、これらの恐怖がサイエンスフィクションと哲学的推測の領域に属するのか、それともAIが実際の現実の存亡の脅威なのかということです。
AIは合理的に近い将来においてそのような脅威をもたらさないと私は主張します。
まず、人々がAIの存亡脅威として思い描いた可能性のあるシナリオは、すべて科学や実証的証拠ではなく根拠のない推測に基づいていると主張します。
第二に、AIが多くのリスクと害をもたらすことを我々全員が認めることができますが、それらのいずれも存亡という極端なレベルには達しません。AIが文字通り人類の絶滅を脅かすと言うことは、非常に高いハードルを設定することです。
最後に、AIが存亡の脅威であると主張すること自体が有害です。それはAIの現在の状態と可能性のある未来について人々を誤解させます。そのような扇情的な主張は、真の即座のリスクから注意をそらし、さらに技術的進歩から得られる可能性のある利益を阻止する結果になるかもしれません。
人々がAIが存亡リスクであると想定した3つのシナリオを見てみましょう。一つ目は、悪意ある超知的AIが何らかの形で出現し、その邪悪な天才を使って人類を破壊するというものです。我々は皆その映画を見たことがあります。ここにいる誰も、予見可能な将来についてそのシナリオを真剣に受け取っているとは思いません。AIシステムは生き物のように善悪の欲望や意図を持つことはありません。彼らは生きていません。
第二のシナリオも、超知的AIが出現するが、それは悪意あるものではなく、我々の願いを誤解釈して偶然に我々全員を殺すというものです。核になった魔法使いの弟子のようなものです。例えば、ヨシュア・ベンジオがこの思考実験について書いています。我々がAIに気候変動を修正するよう求めると、問題を解決するために人口を間引くウイルスを設計するかもしれません。プレスト、人間は死に、もはや炭素排出はありません。
これは愚かな超知能の誤謬の例です。つまり、機械がすべての点で人間より賢いのに、なぜ我々が気候変動を修正する要求をしたのか、我々が一掃されることを好まないという事実などの人間に対する常識的理解を欠くと考えるのは誤謬だということです。
知能とは、自分の目標と自分の行動の可能性のある効果についての洞察を持つことです。そのような基本的な知能の側面を欠いたAIに、チェックされていない自律性とリソースを与えることは決してないでしょう。それは意味をなしません。
第三のシナリオは、大量虐殺集団の人間がAIを使って人類を破壊するのを助けるというものです。確かに人間はしばしば技術を使って非常に悪いことをします。しかし、これからAI研究開発自体が存亡の脅威であると結論づけることはできません。
テロリスト集団がAIの有無にかかわらず、何百万人の人々を殺す核・生物攻撃を実行する可能性があります。現在オンラインには武器の作り方、何百万人の人間を殺す方法についての情報があります。AIシステムはその情報を得やすくするかもしれませんが、脅威はAIなしでも存在します。
しかし、より重要なことは、我々の社会、制度、技術は非常に複雑で多様で回復力があるということです。それらは、そのような攻撃を阻止する複雑性の障壁を作ります。これには非常に起こりにくい事象の連鎖が必要です。
ここにいる誰もが、誤情報の拡散や雇用の喪失など、AIの実際の近い将来のリスクと害の長いリストがあることに同意するでしょう。我々はそれらのリスクを非常に真剣に受け止めるべきです。
しかし、存亡の脅威についての根拠のない推測をあまりにも真剣に受け取ることも有害です。病気を軽減する大きな恩恵を提供するワクチンを考えてみてください。しかし、リスクについての根拠のない推測のために、ワクチンを厳しく制限し、さらには停止するよう求める声を見てきました。
科学、ヘルスケア、教育におけるAIからの潜在的な恩恵を殺したくありません。科学自体を存亡リスクと呼ぶでしょうか。結局、核兵器を我々に与えたのですから。しかし、科学を追求しないことはさらに大きな存亡リスクです。
ワクチンや他の技術と同様に、AIの脅威の評価は、支持されていない推測ではなく、科学と実証的データに基づく必要があります。AI研究開発が現在または合理的な将来に存亡の脅威をもたらすという証拠はありません。
反駁セクション
マックス・テグマークの反駁
これはとても興味深いです。まず第一に、メラニー、ここで67パーセントの聴衆が既にこれは存亡の脅威だと思っているのを見ました。それを単に「違う」と言って出てくるのは、私が思うに並外れた証拠を必要とする並外れた主張です。
あなたとヤンから、リスクがないという実際の証拠が何なのかを聞きたいと思います。「根拠のない推測だ」「サイエンスフィクションだ」と言うのではなく、もう少し微妙なことを言ってもらえませんか。
20年後に超人的知能を得る確率は実際にどのくらいだと思いますか？100年後はどうですか？そして、それを安全にする計画は何ですか？AIの目標が常に人間と一致することをどのように確実にする計画はありますか？私が持ち出した悪意のある使用例をどのように避けるのですか？
ヤン、あなたは再び、我々がAIに良い目標を与えることを確実にしたいと繰り返しました。あなたがそうするであろうことは完全に確信していますが、もし誰かがテロリストであったり、自分の利益のために世界を乗っ取りたいと思っているなら、彼らのAIに非常に従順な目標を入れるのではなく、そのAIに彼らのために世界を乗っ取らせる目標を入れることを止める計画は実際に何ですか？詳細を聞きたいです。
最後に、あなた方それぞれはリスクが実際に何だと思いますか？我々はここで脅威があるかどうかを議論しています。我々が全員一掃されることが100パーセント確実かどうかを議論しているのではありません。ヨシュアと私が主張しているのはそういうことではありません。リスクがゼロパーセントではなく、我々の快適レベルには高すぎると主張しているだけです。
あなた方それぞれが実際にどう思うか教えてもらえませんか？本当にゼロパーセントだと思いますか、それとも100万分の1、10パーセント、1パーセントの存亡の脅威になると思いますか？「推測だ」「サイエンスフィクションだ」というスローガンを超えて、これらの微妙な点に入ることができれば、これは本当に有用で生産的になると思います。
最後に、ヤン、今日の技術や回帰的技術でただ続けるなら、例えばGPT-5、GPT-6、GPT-7のように、それが実際に存亡リスクだと感じていると認めていただいたのは実際に素晴らしいことでした。あなたの希望は、より良い技術に切り替えることですね。
もし私が間違って解釈していたら明確にしてください。そうでなければ、一部の企業は既に行っているので、GPT-6のような方法で続ける企業がいるというリスクがまだあるのではないでしょうか？人々が実際に安全な方法のみを使用することをどのように確実にしますか？
ヤン・ルカンの反駁
すぐにこれに答えさせてください。いいえ、GPT何でも存亡リスクではありません。リスクです。危険かもしれませんし、人々が言うほど有用ではないかもしれませんが、人類を一掃することはありません。いいえ。
これよりもかなり賢い何かが必要でしょう。それが私が言った「何か大きなものが欠けている」ということです。システムを本当に知的にするためには。
最初に言いたいことは、地球が一掃される、人類が一掃されるというサイエンスフィクションのシナリオは、ジェームズ・ボンドの映画のように聞こえるということです。宇宙に行って致命的なガスのようなものを置いて全人類を排除する超悪役のようです。ただの映画で、私はそれを否定できません。
バートランド・ラッセルの考えを使うと、もし私があなたに木星と土星の軌道の間を飛んでいるティーポットがあると言ったら、あなたは私が狂っていると言うでしょうが、あなたは私を否定できません。その主張を否定することはできません。それを行うには膨大なリソースがかかるでしょう。
それらの終末シナリオも同じようなものです。サイエンスフィクションですが、間違っているとは証明できません。しかし、リスクは無視できる程度です。存亡リスクが無視できる程度である理由は、我々がそれらのものを構築するからです。我々がそれらを構築します。我々に代理権があります。
これは超人的知能ではありません。ただ起こる何かではありません。我々が構築している何かです。だから、もちろん安全でなければ構築しません。ランダムに爆発する爆弾を作るでしょうか？いいえ。
AIに関する多くの恐怖は、人間の知能または超知能が可能なAIシステムを起動した瞬間に、それが数分以内に世界を乗っ取るというハードテイクオフの考えに基づいていると思います。これは馬鹿げています。
私が書いたツイートの一つで、これが馬鹿げている理由は、世界で何かが機能する方法ではないからです。何かを構築する時、それを小さく構築します。すぐに超知的にはしません。まずネズミと同じくらい賢くして、適切に行動するかどうかを確認し、次に猫、次に犬、次にもう少し大きな何かと同じくらい賢くします。
もちろん、これを段階的に、相互作用的に行います。これが私が書いたツイートで言及していたことです。これは工学的なことです。1930年に、音速近くで大西洋を横断できるほど信頼性の高いターボジェットを構築できるかどうかを尋ねるようなものです。これは不可能に聞こえたでしょうが、我々はそれを行いました。
ヨシュア・ベンジオの反駁
ティーポットには証拠がありませんが、我々に向かってくる小惑星があります。それが地球に衝突するかどうかは明確ではありませんが、我々が構築してきたシステムの知能の改善の非常に明確な軌道を見ています。過去20年以上にわたって着実に、あなたと私はその一部でした。
まだ到着していませんが、だからといって何もしなくて良いということではありません。実際、あなたが安全性問題の解決策を提案しているのは興味深いことです。つまり、我々は安全なAIを構築する必要があると信じているということです。つまり、修正が必要な問題があるということです。
また、あなたは「危険だったら構築しない」と言いましたが、いくつかのことを思い出させてください。我々が集合的に行ったこと（もちろんあなたと私ではありませんが）で存亡リスクであるもの。化石燃料会社は何十年もの間、自分たちの活動が地球にとって非常に破壊的である可能性があることを知っていて隠していました。それは利益動機でした。
企業は実際に社会が必要としていることと完全には一致しない方法で行動しているのです。これには興味深い類推があります。我々は企業に社会にとって有用なことをするよう求めています。商品やサービスを生産する必要がありますが、正式な方法でそれを正確に彼らに言うことはできません。だから我々は「利益を最大化し、合法的でいて、税金を払え」と言います。
しかし、そのレシピは、原理的にはすべての企業が極小で、すべてが良く、環境がなければ良いでしょうが、企業が達成しようとしていることと社会が本当に必要としていることの間にミスマッチがあります。
どのように対処するか？政府がそれを減らすために介入する必要があり、問題を理解する必要があります。実際、マックスと私や他の人が言っていることは、必ず破滅があるということではなく、何がうまくいかない可能性があるかを理解して、それに備えることができるということです。安全なAIシステムを構築できます。
もう一つは、あなたは皆があなたのようだと思っているようですが、あらゆる種類の動機を持つ可能性のある多くの人々がそこにいて、皆にとって非常に危険である可能性があります。
メラニー、あなたは我々にはまだ存亡リスクがないと言い、私もある程度同意しますが、2年、3年、5年、20年後にそうならないとどうしてわかるのですか？
メラニー・ミッチェルの反駁
ヨシュア、我々は修正すべき問題があるかどうか、または何らかの害があるかどうかを議論しているのではありません。AIからの存亡の脅威があるかどうかを議論しています。それが決議です。
存亡の脅威が100年、500年後のことなら、我々はここで議論していないと思います。あなたは非常に近い将来のことを話しており、マックスは「リスクは何か」と尋ねました。私にはわかりません。何のリスクもゼロではありません。
悪意のある宇宙人が宇宙船でやってきて人類を破壊するというようなあらゆる種類の推測的シナリオについて話すことができます。それは存亡リスクであり、我々は「ちょっと待って、それが我々を見つける方法なので、ラジオ放送を禁止すべきかもしれない」と言うことができますが、明らかにその確率は非常に低いです。あなたが求めているような注意を正当化するほど高くはありません。
超知能、人間より賢いという言葉が、我々がそれらが何を意味するかを理解しているかのように軽々しく投げ回されています。ヨシュアは「あなたの脳は機械だ」と言いました。確かに、私もそれに同意します。だから、原理的には人間レベルの知能を構築することができます。私もそれに同意します。
我々はかなり遠いと思いますが、原理的には。しかし、人間の知能は任意の機械ではありません。我々の人間の問題に適応した非常に特別な種類の生物学的機械です。我々はタコとは異なり、ネズミとは異なり、ウイルスとは異なります。我々は独自の特定の人間の問題、ニーズ、動機を持っており、根本的に物理的、文化的、社会的システムに組み込まれています。これが人間レベルの知能を生じさせる種類のものです。
AIシステムは、人間のデータから学習し、それが彼らが学習するすべてです。人間が作成したデータなので、彼らは我々の知能のいくつかの側面を捉えていますが、世界を理解することの基本的で重要な側面を欠いています。
超知能という言葉を投げ回す時、我々は直感的な連想を使い、それらのものが簡単に構築でき、それらを構築する軌道にあると仮定していますが、実際にはそれは全く示されていません。科学が多くの証拠を与えるものではないと思います。
全体のAIの歴史は失敗した予測の歴史でした。1950年代と60年代に、人々は超知的AIについて同じことを予測し、存亡リスクについて話していましたが、当時は間違っていましたし、今も間違っていると思います。
司会者による質疑
存亡リスクの定義について確認しましょう。ニック・ボストロムの言葉で「地球発祥の知能もしくは生命の早期絶滅を脅かすか、望ましい将来発展の可能性の永続的で劇的な破壊を脅かすリスク」です。
マックス、なぜそれ（AI）が我々を害したいと思うのか、なぜ我々に何かをする意図を持つのかを理解するのを助けてください。
マックス・テグマーク：一つのことを擬人化して話すのではなく、なぜ悪いことをするような目標を持つ可能性があるのかということです。悪意のある使用によるもので、一部のユーザーが実際にそれらの目標を与える場合、誰もがヤンやメラニーのように親切であるわけではないからです。
または、我々が他の何らかの目標を指定したが、それが極端まで押し進められると大きな害をもたらすことが判明した場合です。両方の場合において、AIは我々に非常に忠実で、単に目標が間違っていたか、人間の目標が彼らに入力されたのが間違っていただけです。
第3のもので、私が全く反論を聞いたことがないのは、我々が競争に負けるものです。これは我々が既に乗っている軌道の種類です。誰もがお金を稼ぎたがっています。企業は利益を上げる目標を持っており、我々は徐々にますます力を失っていきます。
これらの3つのルートがあり、ヤンとメラニーには本当に聞きたいのですが、あなたの実際の確率は何だと思いますか、我々が20年で我々のもののほとんどをできるマシンを構築する確率は？そして存亡リスクがある確率は実際に何だと思いますか？これらの3つの異なる脅威を避ける計画は何ですか？
我々は議論として物事を馬鹿げているとか、サイエンスフィクションだと決めつけることはできません。ジェフ・ヒントンのような人々がそれらを作っている時には。
ヤン・ルカンについて安全性と予防原則
ヤン・ルカン：それがまさに我々がやっていることです。技術を開発し、テストし、展開前に安全であることを確認しています。現在のAIシステムはかなりこの方法で展開されています。これらのシステムの力が進歩するにつれて、これが変わる理由はありません。
悪いやつがAIを悪いことに使えるなら、同じより強力なAIを使ってそれに対抗できる善いやつがもっとたくさんいます。最終的に善いやつが勝つでしょう。
時々攻撃者が有利になることもありますが、AIについてそうである理由は全くありません。実際、我々は現在この状況に直面しています。人々が現在それを使用しているからです。
これは本当に興味深い点なので、この点についてヤンにまとめてもらい、その後あなたに来てもらいましょう。しかし、あなたが話している状況のいくつかは、悪いことにAIを使う人々で、それらは既に存在します。確かに、あなたが前に言ったように、それらの脅威はAIの有無にかかわらず存在し、AIが少し助けるかもしれません。
誤情報について言いましょう。AIは誤情報に役立つでしょうか？Q Anonは2人の男です。彼らはAIを使いません。大きな影響を与えます。誤情報、ヘイトスピーチなどに対する対策、そして民主主義プロセスと民主主義を腐敗させようとするプロパガンダの試みに対する対策、再び前に言ったように、解決策はAIです。このコンテンツをソーシャルネットワークや他の様々なチャンネルで取り下げるためです。AIが大量に使用されています。
正確な例を挙げると、約5年前にFacebookでAIシステムによって自動的に取り下げられるヘイトコンテンツの割合は約25パーセントでした。昨年は95パーセントでした。
しかし、絶滅を避けるには100が必要です。いや、我々には必要ありません。完全に完璧なものは決してありません。
それが問題で、だから我々は今やっていること以上のことをする必要があります。再び、悪いやつのAIより優れた善いやつのAIがあるようなものです。それは悪いやつが生物兵器を持っている場合、善いやつが生物兵器を持つことで生物兵器攻撃を止める方法だと言うようなものです。
生物兵器攻撃を止める方法はワクチンや生物兵器の禁止、様々な形の規制と管理によるものです。
いいえ、生物兵器を止める方法は防諜を持つことです。なぜならあまりにも秘密裏に行うことができるからです。AIを使えば同じです。攻撃を秘密にするつもりはないでしょう。
まさに、どのように防諜を構築するかですが、我々は自分自身を守るインフラを構築する必要があり、そのためにはリスクがあることを認識する必要があります。
ヨシュア・ベンジオ：リスクがあります。リスクがあります。しかし、我々が尋ねている質問は、それらが存亡のものか、文明を終わらせるのかということです。
確率論的リスク評価
簡単なシナリオを考えてみましょう。マックスと私が話しているより複雑なものもありますが、まず、10年で存亡的に我々にとって危険になるほど強力な知的マシンを構築する方法を知る確率を考えましょう。
私が多くのAI関係者に尋ねる時、彼らはそれが重要であることに同意します。20、30、40、50パーセントで、ヤンやジェフや私が尋ねた多くの他の人々は、それが明らかに小惑星がやってきて地球を破壊するようなものではないことに同意します。だから、それが最初に必要なものです。
第二に、これが利用可能で知られ、誰でもそれで遊ぶことができるオープンソースになった時、誤った意図や悪意のある意図を持つ誰かがそれを使って、我々が破滅的な結果を得る確率は何か、おそらく絶滅につながるか、少なくとも核兵器爆発や類似のものと同じ規模について話している確率は何か。
私が尋ねるほとんどの人は、99.9パーセントだと言います。利用可能になれば、誰かがそれを悪用するでしょう。だから、どうやって非常に小さな確率にたどり着くのか理解できません。
ヤンの答えは、そこに到達する前にそれを修正するということです。そうしましょう。
メラニー・ミッチェル：あなたがAIでそのような信念を持っている人々と話していると言いますが、私が話しているAIの人々はその信念を持っていません。この分野は非常に分かれていると思います。
リスクの規模と時間軸
私たちは皆死ぬと言う50パーセントがあるかと言われても…存亡リスクがあると言って手紙に署名した人々もいます。彼らは時間軸について言及していませんが、これは…ジェフ・ヒントンは名付け親ですが、彼がすべてを知っているわけではありません。
彼は賢い人だと思いますが、多くの人々がこれらのもののリスクを大幅に誇張しており、それが一般大衆に、これが我々が焦点を当てるべきことであり、AIのより即座の害ではないと確信させたと思います。それ自体が有害です。
歴史的に、科学者は時々リスクのある行動に従事する決定をしてきました。マンハッタン計画の周りには恐ろしい話があり、最初のトリニティテストで惑星全体の大気に火をつける確率があります。非常に低いリスクでしたが、それでもテストを続行しました。
今回、科学者と世界中の科学コミュニティが、あなたがやっているような慎重さと、metaがこのAIの安全な開発のこの挑戦に持ち込むであろう注意と注意でこれに取り組むと確信している理由は何ですか？
これは本当に何が知能であるかという非常に深い科学的問題であり、小さな研究室や大きな研究室の範囲内で起こることではないため、全科学コミュニティの結合した努力が必要になるでしょう。だから、この研究がオープンである必要がある理由の一つです。
しかし、要点は、核爆弾のようなすべてのおもちゃで遊んでいるにもかかわらず、人類はまだ存在しているということです。AIと核兵器の同化は完全な誤謬だと思います。核兵器は人々を殺し、都市全体を破壊するように設計されています。AIは基本的に人間の知能を増幅するように設計されています。これは本質的に良いことです。
もちろん危険である可能性があります。適切に設計されていない飛行機で飛ぶのが危険であったり、潜水艦が危険であったりするのと同じ方法です。
公衆に展開されるものが安全であることを確保するには、安全性テストが必要で、認証が必要です。私はそれに全面的に賛成です。様々なもののための規制が必要で、それらは既に存在します。
高速道路で我々の車を運転できる自動化システムがあります。まもなく車を完全に自動的に運転するでしょう。それらは認証を通らなければなりません。製造業者が良いと決めたからといって、あなたの車に入ることはありません。
AIシステムは画像診断や他の様々なアプリケーションのための医療診断を支援するために使用されています。それらは規制機関による承認を通らなければなりません。だから我々は既にそれらの規制を持っています。それは良いことです。
AIのリスクについて話していますが、利益についてはどうでしょうか？すべてはリスクと利益の間のトレードオフです。多くの人が言っているのは、リスクが無限に小さいか無視できる程度なら、科学、医学、技術での進歩など、得られる利益を考慮しなければならないということです。
マックス・テグマーク：あなたは知能が本質的に良いと言いましたが、私は同意しません。知能は、より多くの良いことや悪いことを達成することを可能にするツールです。もしヒトラーがより多くの…あなたはMITの教授で、つまりあなたは本当に賢い子供たちを教育しているということです。あなたは超知的マシンを作っているということです。つまり、この場合は人間のマシンですね。
あなたの道徳と組み合わされた知能により、世界がより良くなります。しかし、ヒトラーがより多くの知能を持っていたら、世界は実際にもっと悪くなっていたと思います。何かを賢くしたからといって、それが突然人間を気にかけるようになると考えるのは素朴です。
マンモスに聞いてみてください。我々が彼らよりも賢いからといって、我々が自動的にマンモス倫理を採用し、マンモスにとって良いことをするであろうと確信しているかどうか。我々はしませんでした。だからおそらくどれにも会ったことがないでしょう。
また、聴衆で生物技術で働いている人がいれば、手を挙げてもらえませんか。過去10分間の議論全体は、我々が危険だと証明できるまでこれを構築し続けるという感じで、あなたにとって奇妙に聞こえるに違いありません。
生物技術では、それは正反対だからです。がんを治すこれは素晴らしいと言って新しい薬を思いついても、誰かがそれは危険だと証明するまで、スーパーマーケットで売ることはできません。アメリカの食品医薬品局やカナダの当局などに、これが安全で利益がリスクを上回ることを納得させるのはあなたの仕事です。
また、CNタワーのすぐ下に新しい奇妙な、これまでに見たことのない設計の超強力な原子炉を建設することは、誰も危険だと証明できないからといって、誰かがやってくることはできません。それが安全であることを証明するのは彼らの仕事です。
ヨシュアが言ったように、将来の非常に強力なAIシステムでは、それを完全に反転させる必要があります。展開される前に、これが安全であることを最初に証明するのは企業の役割、責任でなければなりません。生物技術のようになる必要があります。
メラニー・ミッチェル：決議を支持しませんが、規制は絶対に支持します。AIにリスクがないと言ったことは一度もありません。我々は文明を終わらせる、人類を終わらせるという非常に高いハードルについて話しています。
あなたがなぜそれが危険なのかを我々に説明するのが我々の役割だと言ったことは一度もありません。危険でないと言ったことは一度もありません。あなたに2回尋ねましたが、悪用を避ける計画は何ですか。あなたは私に言わなかった。alignment問題を解決する計画について2回尋ねました。私は思うが言わなかった。
残念ながら、これらすべての問題を解決するのに十分な給料をもらっていません。あなたは計画を持たなければならないと思います。私は計画を持つ必要はありません。AIコミュニティがリスクを軽減する計画を開発していると思いますが、それは我々がここで議論していることではありません。
我々はAIに多くのリスクやコミュニティがそれらを解決するかどうかを議論しているのではありません。AI研究開発が存亡の脅威をもたらすかどうかを議論しているのです。それは非常に異なることです。
私の質問に答える：存亡リスクがないことを確実にする計画は何ですか？
存亡リスクがあるとは思いません。多くのリスクがあると思いますが、より即座の現実世界の…を軽減することに非常に熱心に取り組んでいる人々がいます。
メラニー、あなたと私はお互いを知っており、規制が必要です。ヤンが話していた上昇を得るためにAIに取り組んできており、それは起こり始めています。また、あなたと私が長年話してきた下降もあり、それに注意する必要があります。
しかし、少し異常に見えるかもしれませんが、すべての下降に注意する必要があります。もし私があなたに、おそらく人類の1パーセントだけを殺すと言ったら、それは重要ではないと考えますか？それは極めて重要ですが、私はそれを存亡とは呼びません。
1パーセントを殺すことはできます。50を殺すことができ、100パーセントを殺すことができます。それは非常に…1パーセントを殺すことは完全で完全な破滅であり、我々はできることをすべて行うべきですが、それは存亡ではありません。80億人を殺すことは困難です。
しかし、これほど多くの人々を殺すことができる理由、それが1パーセントだけなのか100パーセントなのかは、今日存在しないシステムについて話しているからですが、数年または数十年で来るかもしれないと思うシステムで、これらのシステムは我々よりも賢いでしょう。
だから彼らは我々が簡単な防御を持たない方法を見つけるでしょう。それが起こるとは知らないシナリオですが、我々がそれについて心配する必要があるほど十分に可能性があると思います。だからリスクがあります。
ヤン・ルカン：2点言いたいことがあります。まず第一に、支配したい、破壊したいという欲求が知能と結びついているというのは完全な誤謬です。これは偽りです。人間種の中でも必ずしも真実ではありません。
リーダーになりたいのは、我々の中で必ずしも最も賢い人ではありません。実際、国際政治の場面では反対の例がたくさんあります。この支配したいという欲求は人間の本性と密接に関連している何かです。なぜなら我々は社会的動物だからです。我々は社会的種です。
自然は我々をヒヒやチンパンジーのように階層的に組織するよう進化させました。タコには誰をも支配したいという欲求がありません。なぜなら彼らは社会的種ではないからです。
だから、この支配したいという欲求は知能とは関係ありません。彼らはちなみに我々とほぼ同じくらい賢いです。だから、これは知能とは関係ありません。我々は我々よりも優れているが支配したいという欲求のない知的マシンを作ることができます。
私は研究室を率いています。私よりも賢い人だけを雇います。彼らの誰も私の仕事を欲しがりません。
しかし、討論の反対側への言及で、聴衆が理解を評価すると思うので、支配したいという欲求ではなく、制御問題です。あなたがそれらに何らかの目標、おそらく非常に高貴で素晴らしい目標を設定したが、それらがそれらの目標を達成するために他のことをし始めて、それが我々の利益に反するということです。
支配しようとしているのではなく、起こるコモンズの悲劇があるということです。だから、マシンがが適切に行動するように目標をどのように設計するかです。これもあなたが知っている困難なエンジニアリング問題ですが、社会として何千年もの間やってきたので、我々にとって馴染みのない問題ではありません。
これは法律を作ることと呼ばれます。それらの悪いことをすればこの罰を受けるだろうと言って、人々が悪いことをするのを防ぐように、我々の目的を共通善と一致させる法律を設計します。企業と呼ばれる超知的実体に対してさえそれを行います。完璧ではありませんが、存亡ではありません。
しかし、マックスに応答したい別の点があります。あなたはMITの教授で、つまり本当に賢い子供たちを教育しているということです。あなたは超知的マシンを構築しているということです。つまり、この場合は人間のマシンですが。
あなたのクラスの学生の一人が新しいヒトラーで、リベラル民主主義を一掃する確率は何ですか？ヨシュアが言ったように、我々がマシンで構築できるものは、私のMIT学生よりもさらに強力になるでしょう。私はまだ彼らについて自慢したいと思いますが。
それはスケーリングと、彼らの心の完全に異質な性質であり、それがとても威嚇的です。学生たち、コンピュータたち。そして私は少し、我々がここからナイアガラ川を南に下る大きな船に乗っているような感じがします。
ヨシュアは「うーん、そこに滝があるかもしれないと聞いた。おそらくこれは安全ではない」と言っているようで、メラニーは「滝があるとは確信していない。ジェフ・ヒントンがあると言っているにもかかわらず、さらに滝がどれくらい離れているかわからない。大きな不確実性があるので、本当に心配しない」と言っています。
あなたの計画を教えて、そしてヤンは「ええ、確実に滝がある。そこに着く。我々はそれを理解するだろう」と言っているような感じです。しかし、近づいた時にボートの制御を保つ方法、どのように安全にするかはまだわかりません。どのように安全にするかはまだわからないと思います。我々は皆これを認めます。
私たちの一部は10年近くその研究に非常に一生懸命取り組んできましたが、それは簡単ではありません。そこに着いた時にそれを理解するでしょう。そして両方のあなたのケースで、これが再び生物技術だったら、この種の議論は合理的ではないと本当に思います。
技術会社が「気候変動への存亡の脅威は何でも」と言うなら、それは私がメラニーから聞いているような感じです。だから彼らは自分たちがやっていることがなぜ安全なのかを我々に伝える義務はないはずです。確実にそうすべきです。それは彼らがこの問題をどのように軽減するかを我々に伝える責任であるべきです。
マックス、私は我々が言っていることを誤解していると思います。リスクがないと言っているのではありません。あなたは知っています、私はこの滝との類推が、まあ、滝についてはよく知っているので非常に合理的に思えると思いますが、我々よりもあらゆる可能な方法で賢い、我々の100倍賢いかもしれないが、それでも我々の目標を誤解釈するこの超知的AIの考えは…
それは滝に向かう予約された遊覧船です。チケットにそれがこれまで設定されていると書かれています。これは創設以来の人工知能の目標でした。超大学を構築することです。皆が「滝が上にある、滝にほぼ到達している」と言ってきました。
それは1960年に起こりました。ジェフ・ヒントンによってではなく、クロード・シャノンやハーバート・サイモンのような人々によって、彼らは完全に間違っていました。私が間違っていれば嬉しいですが、わかりません。
他にどのような存亡リスクが起こるかわかりません。おそらく遺伝子工学が…我々はその方向に向かっています。それは我々が見ているものとは無関係なクレイジーなクレイジーなことではありません。私がやっている仕事と非常に関連しています。
我々がどこに向かっているかがわかり、私はそれが気に入りません。それが私がやっていることです。ここでもっと謙虚でなければなりません。3年前に私たちが作った別のひどい予測についてエピック的に失敗したからです。
ほとんどのAI研究者は、チューリングテストに合格するまで数十年、30年、おそらく50年かかると思っていました。ヨシュアが今既に起こったと議論するのを聞きました。
チューリングテストはありませんが、予測は…私は単に、3年前にほとんどのAI研究者が私が知っている人は、2023年にChat GPTやGPT-4を取得するとは思っていなかったという点を作っています。
これは多くの人を驚かせました。あなたには同意しませんか？そうではありませんか。おそらくあなたではないかもしれませんが、それについてのかなり深刻な調査があります。基本的な技術は3年前から存在していました。
そして外から見ると、それは大きな驚きでした。誰もChat GPTやGPT-4などが素晴らしいことを否定していませんが、それがこの種の不整合の方向を指しているわけではありません…
線があるかどうかはわかりませんが、過去20年間を見ると、これらのシステムが人間の大量データから学習して、認知できないように合成できる特定の方向の線があります。感じることはできず、考えることはできず、独自の目標を形成することはできません。
それはすぐには来ないでしょう。それは知能よりも困難だと私は言うでしょう。そしてそれが問題です。ヤンが今主張しているようにコンピュータをプログラムする方法がわからないということです。これは現在のオープンな問題です。
強化学習研究者、AI安全性の人々が長年研究してきた経済学者で、本質的に我々は意図したことを行うコンピュータを作る方法を知りません。
これにはいくつかの理由がありますが、その一つは、コンピュータが確実に理解する明確な方法でそれを表現することさえできないということです。そして、それらの目標を達成したいので、他の何かに入る可能性があるという問題で、それが判明するのです。
彼らは存在を保持したいかもしれません。彼らは生きていません。いいえ、それは非常に簡単です。あなたは間違っています。例えばChat GPTが本質的にオラクルのようなシステムは、本当に欲求を持っていませんが、少し、我々を喜ばせたいと思っています。
強化学習のために、はい、我々を喜ばせるよう訓練されています。それから実際に、目標を持つエージェントにそれらを変える周りにラッパーを置くのは実際に簡単です。それは人間が彼らに与えた目標ですが、彼ら自身の目標ではありません。
そして、それらの目標を達成するために、彼らはサブゴールを持つつもりであり、それらのサブゴールには例えば欺くなどのことが含まれる可能性があり、これは起こっています。
それは起こりませんでした。それは起こりました。実際に我々はそれを研究しました。New York Timesが実際にGPT-4がTaskRabbitワーカーを欺いたという例があると報告した例がありましたが、実際の論文を見て詳細を見ると、私はあなた方全員にメディアで聞くことについてもっと批判的に考えるよう求めます。
人間がそれにその方向に押すよう促しました。彼らが作ろうとしていた点をテストするためでした。人間システムが人間を欺くことができました。この記者に愛していると言い、妻を去るべきだと言った時、それは欺きでしたか？
本当にその男を愛していたと思いますか、それとも彼を欺いていますか？それは欺いていませんでした。非常に擬人的な考えです。それは意図です。彼を欺いているとは思いません。
目標を達成しようとする結果で、目標を達成するために、手段を見つけようとします。人間だけではありません。そのシステムには他の目標はありません。他の動物もそれを行います。
人間の代理権の問題
これまで10分間司会者が完全に不要だったので、これは素晴らしい議論でした。私はそれが大好きです。もっと頻繁にこれをやりましょう。
しかし、残り時間で、マックスが提起した部分の一点に触れたいと思います。それは彼の3種類の批判の第2点です。合意したスクリーン上の定義を再び見ることができるかもしれません。
存亡リスクとは単に絶滅事象ではないということです。人間の可能性の永続的で劇的な破壊、以前の発展軌道に戻る能力がないということです。非常に高いハードルですが、私が思うに、メラニーへの質問で興味があるのは、あなたの見解を知っていますが、マックスが提示するこの代理権を失うという考えです。
AIを採用する企業はそうしない企業よりも成功し、上回る。AIを採用する政府はそうしない政府よりも強力で上回る。採用する市民、個人もそうする。これらすべてが、個人的にも集合的にも結果が非常に良くなるので、意思決定をマシンに委ねることを我々に奨励するでしょう。
なぜそれが存亡リスクではないのですか？人間の代理権の終焉への滑り込みと、我々の完全な人間の可能性に戻る能力がないということは？
メラニー・ミッチェル：まず第一に、AIを使用する企業や人間がそれを使用しない人々を上回るということは、私には全く明確ではありません。AIには多くの制限があります。
例えば、最近、弁護士がAIを使ってケースをまとめましたが、実際にあらゆる種類のケースを作り上げて引用し、判事に叩かれました。他の弁護士を上回ることはありませんでした。おそらくAIは良くなるでしょうが、これらの種類の仮定、前提は全く明白ではないと思います。
人間は自分たちの代理権を手放すことを非常に嫌がります。過去に多くの技術を持ってきており、例えば筆記や計算機の導入が記憶や推論能力のようなものを人々が失わせると人々は考えていました。
Google Mapsのように、ナビゲート能力を失うなどですが、人間は実際にそれらの技術に適応し、それを超えて行きます。
あなたはこれにうなずいています。ここに代理権の問題はないと同意しますか？
ヤン・ルカン：あなたが作った点は、あらゆる技術革命や進化に対してなされてきました。筆記について、ソクラテスは筆記に反対でした。人々は記憶を失うと言いました。
カトリック教会は印刷機に反対で、ドグマの制御を失うと言いました。実際に失いました。それについて何もできませんでした。オスマン帝国は印刷機を禁止し、一部の歴史家によると、それが彼らの衰退を加速させたものです。再び認可するのに300年、少なくとも200年かかりました。これは単に人口を制御したかったからです。
人々をより賢くしたり、人々の間のコミュニケーションを可能にしたり、教育を促進したりするあらゆる技術は、繰り返しますが本質的に良いものです。AIはこれの新しいバージョンのようなものです。新しい印刷機です。
我々の顔で爆発しない限り、そして印刷機で手を叩くことはできます。問題は規模です。小さな規模で有害である可能性のある技術を構築する限り、善が危険を圧倒します。しかし今、我々は他のどの技術とも異なる技術の構築について話しています。
それ自体の技術を設計できる技術だからです。いや、はい、超人的AIについて話している、これが主題です。それは我々の制御下にあり、制御下にとどまります。それは実際に以前の技術と非常に似ており、質的に異なるものではありません。
この質問を研究してきた専門家は、それを制御下に保つことは非常に困難だと言っており、それが私が今日ここにいる理由です。
その全く同じ議論が60年前にコンピュータについてなされました。これは、聴衆に悲観主義者アーカイブというウェブサイトに行くことをお勧めします。それは面白いです。新しい文化現象や新しい技術が現れるたびに人々が言った愚かなことすべての新聞クリップです。
電車について、50キロメートル毎時で行く電車には乗らない、その速度では呼吸できないと。それで満たされています。技術の進化や文化革命さえあるたびに、このようなことを言ってきました。
ジャズは社会を破壊すると言われ、印刷機は社会を破壊すると言われました。そして実際に破壊しました。より良いために完全に破壊しました。それは啓蒙哲学、科学、合理主義を可能にしました。
最終論争とクロージングステートメント
閉会の声明に行く前に、このセグメントでマックスに最後の発言をしてもらいたいと思います。マックス、我々はAIによって支えられた人間の思考の再構想と開花の間際にいる啓蒙にいます。
マックス・テグマーク：株式トレーダーは、過去のパフォーマンスは将来の結果の指標ではないと言うでしょう。指数関数的技術成長において、過去に一つの方法で何かが起こったからといって、それがこの方法で続くと仮定するのは大きな間違いでしょう。
実際に起こったことは、産業革命中に、まず我々よりも速くて強いマシンを作ったので、筋肉での作業を減らし、脳での作業を増やし始めました。それは良いことでした。通常、我々はより良い給料をもらいました。
今、そしてあなたが尋ねていたこの権力剥奪シナリオで、我々は代わりに我々よりもよく考えることができるマシンを構築しています。徐々に、まだそこにはいませんので、今日の哀れなほど悪いAIに基づいて議論を立てるべきではありません。明日の超人的AIを見るべきです。
一部の人々は5年や20年で起こるかもしれないと思い、あなたは300年で起こるかもしれないと思います。それが我々が話すべき部屋の象です。なぜなら、それが起こった場合、産業革命とは非常に異なるものになるからです。
今、我々は筋肉でも脳でも競争できません。我々は本当に真の権力剥奪を見始めるでしょう。それはそうである必要はないと思います。私も少し楽観的になることができます。
これらの存亡の脅威を却下することを止め、それらを真剣に受け取ることで、私が思うに、それらの却下がまさに正しいことをすることを妨げているものです。あなたが言及していたヨシュアの研究の多くは、マシンを制御下に保つ方法、それらを使って権力を剥奪するのではなく力を与える方法、これらすべての素晴らしいことを行う方法について、実際に成功すると思います。
AIを安全で制御可能にすることは、ヤンが望むように我々全員が望むように不可能ではありません。ただ、現在技術力の成長のペースが安全性研究、アライメント研究のペースよりも速く、適切な政策を整備することよりも速いということです。
リスクがあることを認めて話すことで、我々は安全性作業のペースを加速し、時間内に安全性を確実に得て、すべての上昇を得るための安全性要件を整備することができます。
メラニー・ミッチェルの閉会陳述
我々の分野が達成したことに畏敬の念を抱いています。盲人に画像を説明できるコンピュータを成し遂げました。医師が病気を診断するのを助けるコンピュータを開発し、タンパク質の構造を予測し、人間の集合的知識の膨大な量を流暢に合成しました。人類に恩恵をもたらす可能性は息を呑むほどです。
しかし、これを聞いてください。我々はAIの信じられない進歩を認めることができますが、出現する超知的AIの根拠のない推測に外挿することはありません。
科学技術が潜在的な悪用リスクを持つ両刃の剣であることを我々は皆知っています。確かにAI技術には多くのリスクがありますが、これも聞いてください。我々はAIのリスクと害を認めることができますが、存亡の脅威の神話的な幽霊に外挿することはありません。
リスクがあり、害があります。それらは存亡的ではありません。人類を破壊する超知的マシンの話や、悪人がそうするのを助けることさえ、我々の基本的な恐怖に共鳴するかもしれませんが、知能の性質と我々の社会の回復力について科学が我々に教えることすべては、今日ここで聞いた存亡の脅威の物語に反対しています。
AIのいわゆる存亡の脅威を誇張することが、現代のAIが実際に提示する真の非常に現実的な害とリスクから我々の集合的注意と焦点を奪うことを心配しています。これは怠惰な心配ではありません。
我々が皆話してきたジェフ・ヒントンを思い出してください。彼はCNNで、Googleで長い間AIの誤情報拡散やバイアス拡大のリスクについて警告してきたAI倫理学者の懸念をなぜ押さなかったのかと尋ねられました。彼は「彼らは私とはかなり異なる懸念だった。彼らの懸念は、これらのものが我々よりも知的になって引き継ぐという考えほど存亡的に深刻ではない」と言いました。
私にとって、この真のAIリスクの最小化は、この存亡の脅威の物語の何がそんなに危険なのかを要約しています。それは部屋からすべての酸素を奪い、我々が対処する必要がある真の証拠に基づくリスクのための余地を残しません。
AIの未来についての根拠のない推測が我々の感情と恐怖を煽り、我々が対処できる真の害から我々をそらすことを許さないようにしましょう。科学ではなく、科学に基づいてAIを安全で公正で有益にする方法を設計しましょう。サイエンスフィクションではなく。
ヨシュア・ベンジオの閉会陳述
私は生涯にわたって機械学習に取り組んできており、進歩を見てきました。近年見てきた進歩は期待していませんでした。今、我々は対話できるマシンを持っており、それらは人間を装うことができます。これは長い間、実際の人間レベルの知能のマイルストーンの可能性として考えられていました。
詳しく見ると、それが正確にそうではないことがわかり、欠けているものがあります。メラニーは外挿しないでと言います。私は外挿しなければならないと言います。理由は選択の余地がないからです。
それほど恐ろしいものが数年、あるいは1、2十年前にあるなら、それに備えなければなりません。ヤンが話している、私が話しているAI安全性作業、社会的適応を行わなければなりません。
私は我々にチャンスがあると思います。我々の未来をコントロールする代理権を今持っており、そのために存亡を含むあらゆる種類のリスクがあることを受け入れる必要があります。メラニー、私はAIが現在もたらすすべての害について完全にあなたと一緒ですが、それは存亡のリスクを否定しなければならないということではありません。
なぜこれが起こり得て、悲惨な結果をもたらす可能性があると思うのか、簡単に言うと、AIが狂うだけでなく、人間のためです。我々には弱点があります。人々がそれらを信じるので、陰謀論やたくさんの人々がいる多くの方法で欺かれる可能性があります。
だから奇妙な方法で行動し、非常に有害である可能性のあることを行う人々がいるでしょう。我々それぞれが手だけを持っている限り、残念ながら銃を持っている限り、損害は局所的で存亡的ではない可能性があります。しかし、非常に強力なツールを構築する時、我々は本当にもっと注意深くなる必要があります。
だから我々は今日これについて話しています。ポジティブなノートで終わるために、メラニーは私になぜこれに取り組むのを止めないのかと尋ねました。私はこれについて多く考えてきました。正しい方向に行くために最善だと思うことをしたいと思います。
私は自分の研究を再方向付けて、危険ではないが非常に安全なアプリケーション、ヘルスケアや環境での作業、または起こり得る悪いことを準備し、防ぐためのAI安全性に取り組むつもりだと思います。
ヤン・ルカンの閉会陳述
はい、あらゆる技術と同様にリスクがあり、それらは存亡的ではありません。あなたが言ったことを繰り返しているだけです。もっと良く言うことはできませんでした。すべての技術は利益と副作用の間のトレードオフです。
予測可能な副作用もあれば、そうでないものもあります。AIには悪い副作用があるでしょう。悪いことにAIを使おうとする人々がいるでしょう。それは猫とネズミのゲームであり、現実世界へようこそ。これが我々が住む世界です。
悪いことが起こるたびに、我々は対策を見つけます。これは防御とあらゆる軍事について真実です。諜報について真実です。テロリズム、犯罪についてほぼすべてについて真実です。
声明は、インターネットが一般化し始めた時にあらゆる技術進化についてなされてきました。サイバー攻撃があるだろう、人々があなたのクレジットカード番号を盗むだろう、おそらく金融システムが打倒されるだろうと。2000年直前に人々が言っていたことを覚えています。
衛星が空から落ちて都市に墜落し、電話システムがクラッシュし、文明が終わるだろう。それは起こりませんでした。我々はまだここにいます。
AIについて人々が感じている不確実性の同じ種類の感覚が少しあると思います。多くの人々が悪いことが起こるだろうという感覚を持っています。なぜなら彼らが制御していないからです。AIがただ起こり、それについてできることは何もないという感覚で、それが恐怖を作り出します。完全に理解できます。
しかし、運転席にいると解釈される可能性のある我々の一部には、それらのものを安全にする計画があり、安全にできないなら構築しないでしょう。
50年代に人々は核動力自動車の構築について考えました。構築されたプロトタイプがありました。明らかに安全ではないので、決して展開されませんでした。だから、AIについても同じことになると思います。我々は核動力AIを構築するつもりはありませんが、特定の国では議論により核動力です。
AIを開発しないことに関連するリスクがあると思います。考慮しなければならない多くの潜在的利益があり、実際のリスクに対してそれを重み付けしなければなりませんが、リスクは存亡的ではありません。
AIは人間に従属するでしょう。我々よりも賢くなりますが、我々の代理権を減らすことはありません。反対に、我々に力を与えるでしょう。あなたのために働く本当に賢い人々のスタッフを持つようなものです。それがあなたのルネサンスです。
マックス・テグマークの最終陳述
謙虚さを求めます。科学はすべて謙虚さについてです。私が科学者であることが何を意味するかの定義は、答えることができない質問を持ちたいと思い、疑問視できない答えよりもそれらを好むということです。
数分後にここで投票することになりますが、この存亡の脅威の問題について投票することになります。それは何を意味しますか？あなたは一掃されることが100パーセント確実かどうかに投票するよう求められていません。存亡の何らかのリスクのゼロでないリスク、またはゼロでない確率があるかどうかに投票するよう求められています。
もしあなたが、たぶん大丈夫だろうが、我々が一掃される5パーセントの可能性があるかもしれないと思い、5パーセントの墜落確率があると言われた飛行機に乗らないなら、それはあなたにとって高すぎます。そうであれば、はい、それは存亡の脅威だと投票すべきです。
我々は皆もっと謙虚になる必要があります。あなたは人々があまりにも心配しすぎた、起こらなかったものについてのその悲観主義ウェブサイトをからかうことで正しかった。あなたは最初にマッカーシーや他のミンスキーがいかに馬鹿げて楽観的だったかを指摘することで正しかった。科学者はその方向で謙虚さを欠いていました。
しかし、我々は反対方向でも謙虚さを欠いていました。当時の世界で最も有名な核物理学者だったラザフォード卿は、原子から核エネルギーを得ることは月光のようなものだと言いました。まさに翌日、レオ・シラードが核連鎖反応を発明しました。
私が数年前に言ったように、ヨシュア・ベンジオを含むほとんどの人々はGPT-4を持つことはないと思っていました。それがここにあります。
我々はまた、私が執拗に求めていたこれらの確率について謙虚でなければなりません。ヤン、あなたが実際に一つを与えてくれたことをとても感謝しています。あなたは小惑星に撃たれるのと同じくらいのリスクだと言いました。
私はオタクなので、それが一掃するリスクが年間約1億分の1であることをたまたま知っており、それは謙虚な推定値ではないと思います。あなたが実際に説明したように、それははるかに低すぎると思います。
それは実際に、多くの科学者が宇宙シャトルが爆発する確率は10万分の1だと言ったチャレンジャー宇宙シャトル調査の時を思い出させます。彼らはそれらの約100を送り上げ、約2つが爆発しました。謙虚さの欠如です。
福島原子力発電所の設計者は、どんな年でもそのような悪い津波を得る可能性は1万分の1未満だと言っていました。謙虚さの欠如です。
謙虚になりましょう。真実は、超人的AIをいつ得るかわからないということです。我々3人は5年から20年で起こるかもしれないと思います。メラニーはもっと長くかかると思います。誰が正しいかわかりません。
つまり、すぐに起こるリスクがあるということです。また、それがうまくいくか、我々が権力を剥奪されたり一掃されたりするかどうかもわかりません。謙虚になりましょう。それは存亡の脅威です。それが意味することです。
討論終了と投票
この素晴らしい討論をありがとうございます。これは我々が望んでいた通りのことを正確に行いました。AIについて学び、大きな思考を考える機会であり、今夜の決議について2回目の投票をする機会です。「AI研究開発は存亡のリスクをもたらす」という決議です。
プログラムまたはスクリーンでそのQRコードをスキャンして戻るか、ブラウザを開くだけで、そこに投票準備ができている単一の質問が表示されます。Wi-Fiではなく、セルラーネットワークを使用して投票することをお勧めします。Wi-Fiはあなたの投票を登録するのに困難があります。
その投票を今行いましょう。そうしている間に、夕方の開始時の観客投票を見直しましょう。90分以上の討論によって啓発される前のすべての皆さんは、動議支持67パーセント、反対33パーセントという投票でした。動議を支持する陣営で決定的に観客がいました。
次に、討論の進行過程で考えを変える可能性がどのくらいあるかを尋ね、92パーセントという本当に高い数字を得ました。これはこの討論シリーズの記録かもしれません。
投票がうまくいかないようです。手による投票をしてみましょう。古代ローマと今日のアテネの民主主義について話すことができ、手でこれを行うことができます。
今夜の討論の終わりに動議に賛成の皆さん、手を挙げてください。反対の皆さんはどうですか？判定が困難です。
投票アプリケーションで何か運があるでしょうか？実際に解決策があります。チケットを購入したすべての皆さんのメールがあります。次の24時間以内にメールをお送りし、投票用紙に記入して送り返していただくことができ、ウェブサイトで発表します。
今のところ引き分けと呼び、素晴らしい討論をした討論者に感謝しましょう。ヤンとマンク財団に素晴らしい夕べをありがとうございます。metaの厚意により、外でVRデモンストレーションがあります。好きなだけロビーでお楽しみください。皆さん、ありがとうございました。
コメント