オレン・エツィオーニ – ジョー・バイデン、AIの哲学、そして知能の未来 | Ghosts in the Machine #2

この動画は、AI研究の第一人者オレン・エツィオーニが自身のキャリアと人工知能の未来について語る包括的なインタビューである。エツィオーニは高校時代に読んだ「ゲーデル、エッシャー、バッハ」から始まる知的遍歴を振り返り、哲学と計算機科学の境界を探求してきた経緯を説明する。バイデン大統領との会談でディープフェイクの脅威について議論した体験や、それを受けて立ち上げたTrue Mediaプロジェクトについても詳述している。対話では、AGIへの道筋、AIをツールとして捉える重要性、意識とクオリアの問題、人間の知能とAIの理解能力の本質的違いなど、AI分野の根本的な哲学的問題が深く掘り下げられている。

https://www.youtube.com/watch?v=UgxBENf_cXw

www.youtube.com

AIキャリアの始まりと哲学的探求

オレンさん、番組にお越しいただきありがとうございます。お会いできて良かったです。

ありがとうございます。こちらこそ光栄です。

まず、あなたのAIキャリアを定義づけた重要な瞬間について教えていただけますか。

私は年を取っていて、長いキャリアを積んできました。どのくらい時間がありますか？

うまくいけば、今後8時間ほどお時間をいただけると思います。たくさんお聞きしたいことがありますので。

短縮版でお答えしましょう。実際には、私にとってすべては高校を卒業する時に始まったと思います。その時に「ゲーデル、エッシャー、バッハ」という本を読みました。この本はメタ数学と音楽と人工知能について論じており、私の残りのキャリアで考え続けることができる最も深遠な問題とは何かについて本当に考えさせられました。

それから大学に進学し、計算機科学を専攻しました。実際、私は大学で計算機科学を専攻した最初の人でした。しかし興味深いことに、計算機科学の授業をそれほど多く受講しませんでした。教授になると分かっていたので、いつでも学び続けることができると思ったのです。代わりに、できるだけ多くの心理学の授業、特に認知心理学と哲学の授業を受講しました。言語哲学、心の哲学、科学哲学、倫理学などです。本当に愛していました。とても刺激的だと感じました。

大学院に進学する時になって、哲学の大学院に行くべきか、計算機科学の大学院に行くべきか自問していました。結局、私が知っている哲学の大学院に進む人々の多くが引っ越し業などの仕事に就いているのを見ました。哲学には就職先がなかったのです。しかし、計算機科学、特にAIには魅力的な哲学的問題がたくさんありました。そこで、AIを学び、合理的な生活水準を維持しながら、可能な限り哲学を探求していこうと考えました。

途中で詩もありましたね？

ええ、それに触れるなら全く別の話になりますが。私は詩や人文学に完全に魅了されていました。本当に課外活動に集中し、できるだけ多くのことを詰め込もうとしました。アカペラの歌唱グループが大好きでした。歌えませんが、聞くことはできました。ただ、そこまでは深入りしないでおきましょう。

機械学習の黎明期と学術界での歩み

私は機械学習分野の草分けの一人であるトム・ミッチェルから、機械学習の初期のPhDの一つを取得しました。最近チューリング賞を受賞したジェフ・ヒントンも、その時客員教授として来ており、ニューラルネットワークという当時はかなり曖昧なものについて話していました。当時はとても論争の的で、ニューラルネットワークは実際には何もできなかったので、本当に疑問視されていました。もちろん今は事情が大きく異なります。

そこから学術界に入り、ワシントン大学の教授になりました。これは1991年のことです。また、いくつかの会社を立ち上げ、非営利団体も設立しました。これについてはより詳しくお話しできます。

振り返って要約するとすれば、私はいくつかの重要なテーマに本当に焦点を当てていたと言えるでしょう。一つは、私たちがやることは単に楽しいだけ、単に楽しい技術的パズルや知的パズルであってはならず、インパクトも持つべきだということです。私は作業中によく自分に問いかけていました。これは重要なのか？これは根本的に興味深いのか？それとも単なるクールなハックなのか、と。

クールなハックというのは、深い洞察を実際には提供しないが技術的に魅力的なクールな哲学的議論である場合もあれば、クールな技術的ハックである場合もあります。私は常に「なぜこれをやっているのか、そしてインパクトは何になるのか」を問いかけていました。

それが一つの大きなテーマでした。それに関連して、概念的な質問をすることと実際に物を作ることのバランスという問題がありました。私は哲学にあまり興味を持たなくなりました。その方法論には確かに美徳がありますが、私にとっては十分に建設的ではないと感じたからです。人々が使える、触れることのできる有形なものを作りたかったのです。そのようなインパクトを持つものを。

私はキャリアの多くを、UWの学部生や大学院生、スタートアップの人々（多くはUWの卒業生）と一緒に物を作ることに費やしました。それが2024年のTrue Mediaまで続き、そこで私たちは何かを作りました。これについてはお話しすることになると思います。

長い話はここで止めておきます。

バイデン大統領との会談とAIリスクについて

数年前にバイデン大統領とお会いしてAIリスクについて話されたと伺いましたが、その体験はいかがでしたか？どのようなアドバイスを提供されましたか？

それは本当に貴重な体験でした。突然、「バイデン大統領がサンフランシスコにいらっしゃるので、AIリーダーたちとの小規模な会議に参加していただけませんか」というメールが届いたのです。大統領にAIについて情報を提供し、プロジェクトやリスクについて話し、何が起こっているかの雰囲気を伝える機会でした。非常にユニークな機会でした。

サンフランシスコのフェアモントホテルで開催され、前日の夜に少し早めに到着しました。観光客のためのホテルを大統領のための要塞に変える様子を見ることができました。彼らがそれをどのように行うかを見るのは本当に魅力的でした。

それから部屋に入り、小さな詳細がたくさんありました。一つ例を挙げると、「トイレを使えますか？」と聞いたところ、「実際にはだめです。大統領が移動中や滞在中は、勝手に動き回ることはできません」と言われました。非常に厳格なセキュリティプロトコルがあるのです。「わかりました。話の前にトイレに行っておいた方がいいですね」と思いました。

部屋に入って大統領にお会いし、とても感銘を受けました。彼の敏鋭さについて多くの疑問がありましたし、明らかに後に悪化したと思いますが、私が参加した会話では、スタンフォードや様々な場所からのAI関係者が約10人、私自身、そしてカリフォルニア州知事やその首席補佐官なども参加した非常に興味深いグループでした。

私たちは全員が1〜2分のスピーチで、自分が非常に情熱を持っていることについて話す機会がありました。私は実際にAIを支援知能として話しました。年を取るにつれて、見ることや聞くこと、歩くことに困難を抱える障害者や挑戦を受けている人々を見るにつけ、AIが本当に助けになれるという主張をしようとしていました。

大統領はそれに対して良い回答をしてくれたと思いますが、面白いことが起こりました。その場にいた別の人がディープフェイクの問題を持ち出したのです。その人は、ディープフェイクがいかに使いやすく、作りやすくなったか、そして市場にどのような影響を与え、民主主義にどのような影響を与えるか、そしてそれがいかに大きな懸念であるかについて話していました。

私は「政府にAIを使ったシステム・技術構築のマンハッタン計画のようなことをやってもらおう」という考えで来ていましたが、出てきた時には様々な人々の様々なアイデアがありました。時間がないので詳しくは話せませんが、どれも魅力的でした。大統領が私たちに鋭い質問をしているのを見て、とても印象的だと思いました。

しかし、私はトリスタン・ハリスが提起していたことについて本当に心配になって帰ってきました。この技術が選挙を覆し、市場に影響を与えるために使われる可能性があるのかということです。彼は、ペンタゴンが爆撃されたという偽の写真が市場の下落を引き起こした例を挙げました。

そこで私は、なぜ特に現代のAI技術を使ってツールを作らないのかということに完全に魅了されました。生成AIがディープフェイクを生成するなら、AIにそれらを検出させたらどうかと考えたのです。

私は非常に幸運にも、この努力に資金を提供してくれたUberの共同創設者であるギャレック・キャンプとつながることができました。これには時間がかかりました。宿題をし、アイデアをまとめ、ギャレック・キャンプに提案し、承認されるまでに6か月かかりました。2024年1月にプロジェクトを開始しました。

True Mediaプロジェクトの立ち上げ

私は迅速にチームを組むことができました。多くの人がボランティアで、一部はインターン、そして作業に従事する人は皆、大幅に減額された給与を受け取りました。私たちは皆、二つのことに情熱を持っていました。一つはミッション、もう一つは緊急性です。

2024年は10億人以上が投票に行く年でした。インドネシア、インド、日本、ブラジル、ヨーロッパ、どこでも、そしてもちろん11月のアメリカでも。私たちは世界中で広く使用される最先端のツールを構築することができ、確実に11月の選挙でも使用されました。

AGIへの道筋と「明確な視界、短い距離ではない」

人工知能について少し話しましょう。あなたは何度も「明確な視界を短い距離と間違えてはならない」と言われており、これを人工汎用知能の開発の文脈で言及されています。あなたにとってその明確な視界とはどのように見えるのでしょうか？注意すべきランドマークや、期待すべきでないと思うことは何でしょうか？

明確な視界は実際には哲学的なポイントです。私たちが唯物論者であり、すべてがアトムでできていると信じるならば、シリコンやコンピューターで知能を構築できないと信じる根拠はありません。これは実際に長年にわたって議論のトピックでしたが、私の信念は、哲学的にはそこに到達できるということです。

それが明確な視界です。私たちは人間レベルの知能を構築するでしょう。一度それを構築すれば、それが自分自身を超知能に押し上げる方法は簡単に見えます。そして私たちは、これまでにない非常に強力な知能を持つことになるでしょう。

それが明確な視界です。短い距離というのは、人々がChatGPTとその類似品を見て、それはかなり驚くべきものなので、「もうすぐそこだ」と言うことです。しかし、そうではありません。様々な場所でのアプリケーションや、実際に人間レベルの知能を達成するために、まだやるべきことがたくさんあります。

なぜそうなのかを簡単に説明するために、パブロ・ピカソの有名な言葉を指摘したいと思います。「コンピューターは役に立たない。質問に答えるだけだ」。もちろん、彼はChatGPTを知りませんでしたが、現在のAIシステムについても同じことを言うかもしれません。それらは質問に答えるが、問題を定式化しない、質問をしない、何が本当に重要かを決定する判断力を持たないのです。

その結果、膨大な量のテキストや計画、音楽、偽動画などを生成できるにもかかわらず、彼らは何本の優秀な論文を書いたでしょうか？これは起こると思いますが、AIシステムが独自に概念化し、生成し、執筆し、一流の科学会議で最優秀論文賞を出版することからは、まだ道のりがあります。

AIの質問生成能力と判断力

その引用について今少し触れたいと思います。現在は主に、私が質問をしてそれが答えを与えるという用途で使われていますが、答えを与える際に、それ自体がいくつかの方向性を示し、実際に私たちがあらゆるレベルで行っていることを疑問視するなら、それはこのハードルを克服するのに十分でしょうか？それとも、それでさえも捉えきれない何かを求めているのでしょうか？

類推として、チェスができるかということがあります。AIプログラムがチェスをプレイできることは既に印象的で、グランドマスターレベルでプレイして世界チャンピオンを倒すことができるかということです。Deep Researchに行けば、しばしばフォローアップの質問をしてくれますし、「50の質問を生成してください、最先端の哲学論文のための100のトピックを教えてください、それが学期論文であろうと出版論文であろうと」と言えば、答えてくれるでしょう。

しかし、戻ってくるものの品質が、しばしば湿ったダンボールを思い起こさせるのが問題です。私は、それが良い質問をする判断力を持たないと思います。

AIに対する楽観的な見方と潜在的リスク

AIに対するあなたの一般的な見解はかなり楽観的だと理解しています。人工汎用知能がどのようなものであれ、それからはまだしばらく先ですが、大まかに言えば、AIは医療や気候変動の影響の軽減、今話したような障害者の支援において多くの利益をもたらすと信じているでしょう。途中で問題や課題があるでしょう。ディープフェイクのような問題があり、True Mediaやその他の会社がそれを止めようとするでしょう。

この一般的な楽観的な見方が、たとえば10年後に正しいことが判明している、または間違っていることが判明している兆候は何でしょうか？「ああ、何かを見逃している、本当にこれについて再び考えなければならない」というような。

素晴らしい質問ですね。私の立場を少し限定することから始めさせてください。ハリウッドでも、報道でも、人々との会話でも、AIの一般的な言説は非常に非常にネガティブです。それに対応して、私はポジティブな面を指摘しようとします。

人々はあらゆる種類の世界終末シナリオを持っていますが、たとえばAIが世界終末シナリオから私たちを救う方法については考えません。次のパンデミックはもっと致命的である可能性があり、AIがワクチンを生成するでしょう。スーパーバグ、気候変動。私たちは人類として非常に厄介な問題に直面しており、AIは実際に解決策の大きな実現手段なのです。

私はそれがバランスが取れていることを指摘したいのです。潜在的なリスクがありますが、これらの潜在的な機会もあります。

とはいえ、私は多くの懸念を持っています。ディープフェイクとその民主主義への影響は一つです。仕事、プライバシー、独裁政権がAIを非常に効果的に使用する方法についての懸念があります。

私が指摘したいのは、人々がAIを悪意ある手段に使用しているということです。強力な技術があるときはいつでも、もちろんコンピューター自体やソフトウェアもこれらの非常に強力な技術ですが、善に使われ、悪に使われるのを見ます。インターネットを見てください。それは人類にとって途方もない実現手段ですが、児童ポルノの宣伝など、非常に邪悪で違法なことにも使われます。

とても厄介です。私が本当に強調しようとするポイントは、AIが本質的に良いとか、AIが本質的に悪いということではなく、それを正しい方法で使うのは私たち次第だということです。

私の楽観主義と悲観主義は、時として社会に対する私の見方とともに変化します。私たちの社会が良い決定を下すのにあまり上手くいっていないと感じるとき（それ以上は言いませんが）、AIがその一部になることを心配します。一方、いや、私たちは団結して良い決定を下すことができる、間違いは犯すが時間とともに改善し進化するだろうと感じるときは、より楽観的になります。

私にとって重要なポイント、そしてこれが最大のものは、AIはツールであり、選択は私たちにあるということを理解することです。

AIをツールとして捉える重要性

実際にそれについて話しましょう。あなたは人々にAIを独立した存在や力としてではなく、ツールとして考えるよう促しています。AI医師や判事、芸術家を持つことは、最終的に意識のある人間が決定を下すAIガイダンスと比較して、多くの道徳的、法的、哲学的懸念をもたらすので、それが単なるツールであることを望む理由は私には理解できます。

なぜそれが最終的にツールにとどまると考えるべきなのでしょうか？それよりも大きなものになる代わりに？

あなたの質問に答える前に、いくつかのポイントを強調したいと思います。これらの決定を下す人々は非常に誤りやすいことです。判事が互いに意見を異にするということではなく、研究によると、昼食前の空腹でイライラしているときと、良い食事をした後では異なる判決を下すことが示されています。これは明らかに合理的ではありません。

人々は、アメリカのハイウェイで毎年一貫して4万人の死亡、200万件の事故の責任を負っています。人々は万能ではありません。実際に私の夢、これらのツールの使用に関する私のユートピア的なビジョンは、人々がこれを使って道路での命を救うことから、判事がそれを使うことまで、多くの方法でより良い仕事をするのを助けることです。

倫理的な理由と、技術がまだまだ完璧ではなく、幻覚を起こし、ひどい間違いを犯す可能性があるという理由で、最終的には人間が責任を持つべきだと思います。とはいえ、これは人類としての私たちのパフォーマンス問題を本当に向上させることができると思います。

知能と自律性の区別

しかし、あなたの質問に答えると、なぜそれが存在ではなくツールだと思うのか。これは哲学の領域に入ると思います。私たちが構築してきたすべてを見ると、私はそれが非常にその方法で振る舞っているのを見ます。

たとえば、ChatGPTに「ChatGPT、クエリの間に何をしていますか？」と尋ねると想像してみてください。「ああ、ただそこに座っている、何もしていない」と答えるでしょう。これは、あなたがハンマーを取り出して釘を打つまで、工具箱に座っているハンマーの振る舞いです。何をするかを決めない、独自のアイデアを思いつかない、ただそこに座っているだけです。

本当に重要なのは、知能と自律性の区別です。私たちが見るのは、特に狭い領域では既に非常に効果的で高度に知的なシステム、超知的でさえあるシステムを構築しているということです。しかし、それらには自律性がない、自由意志がない、何をするかを決める権限がないのです。

もちろん、あなたのような合理的な人々はそれに同意しないかもしれませんので、もしもっと議論したければ喜んでお聞きします。

私は、私たちが自由意志を何らかの意味のある意味で持っているという考えに異議を唱えようとしただけですが、おそらくそれは後で戻ることができるでしょう。

人間の代替とAIの自律性への懸念

AIがツールであるというトピックについてもう少し詳しく述べたいと思います。そのユートピア的なビジョンを理解しますし、多くの人々もそのようなものを望むでしょう。運転のようなことについては、あなたが正しく指摘するように、年間4万人の死者を出さず、あなたを連れて行ってくれるソフトウェアがあることは素晴らしいでしょう。

医師や判事のような他のことについては、AIが引き金を引いて最終決定を下すか、人間をループに留めるかの問題が残ります。あなたも致命的自律兵器について話されていますが、そこでの問題は自律的な部分であり、私たちが知能を作り出しているという事実ではなく、それが本来の問題ではありません。

しかし私の質問は、AIが私たちのためのツールであるというビジョンが最終的にどのように展開されるのかについて考える理由があるのか、それとも私たちが根本的に異なる何かを作り出しているという事実に基づいて、企業や政府がそれを多くの人々を置き換えるために使いたがる可能性があり、大規模な仕事の置き換えについてのご意見もお聞かせください。

再び、二種類のネガティブシナリオがあると思います。ネガティブシナリオはたくさんありますが、二種類あります。一つは、人や政府や組織がAIを悪いことに使うときです。事実、技術は既に多くの仕事を奪っています。これまでのところ、メールがAIよりも多くのアメリカの仕事を奪ったと言いたいと思います。メールがアウトソーシングやオフショアリングなどを可能にするものだからです。

技術が組織によってネガティブな効果のために使われることは明らかです。それでも、すべてがうまくいくということではありません。いや、それを分析する必要があります。私が言っているのは、しかし別のシナリオに焦点を当てたいということです。多くの人々にとってそれがより恐ろしいものだからです。

技術への根本的な恐怖と具体的な対策

AIは完全に異なるものです。それがまた別の技術ではなく、何らかの形で支配するからです。その恐怖は非常に根本的な人間の恐怖です。それはゴーレムの物語まで遡ります。実際には、ある意味でプロメテウスまで遡ります。プロメテウスが火をもたらした神話です。

私たちは、新しい技術、強力な新しい技術、特に人間として私たちを置き換える可能性のある新しい技術によって根本的に怖がっています。フランケンシュタイン、フランケンシュタインの神話。これを完全に抽象的に話すとき、人々はただ「でもそれは可能かもしれない」という本能的な感情を持ちます。

具体的なシナリオを特定して分析する方がより生産的だと思います。そうすると、これらの恐怖の一部が実際には事実に基づいていないことが見え始めます。

一つ例を挙げましょう。私には恐怖があります。それはよく根拠のあるものだと思いますが、生物兵器研究を行っている人々についてです。彼らが作成しているウイルスや何であれ、それが研究所から逃げ出してパンデミックを引き起こす可能性があります。そして、ますます、それが実際に起こったという結論に達しています。

最近のニューヨークタイムズの記事で本当に魅力的だったのは、それが起こった可能性があることよりも悪いのは、教訓が引き出されていないという事実です。この研究は、不十分なセキュリティ対策の下で様々な場所で続けられています。適切な安全対策があれば、おそらくこの研究は続けられると思いますが、非常に具体的な問題があります。

AIに移ると、あなたが金曜日の夜に出かけて、それに何らかの目標を与え、金曜日の夜に出かけて、月曜日の朝に戻ってきたら世界を支配していたというシナリオを止めるための安全対策を設置できると信じています。

実用的な安全対策とAIの制限

これらのシナリオの一部を阻止するために設置できる非常に簡単な安全対策があります。私が2017年に主張したもの（AI時代では永遠の昔ですが）の一つは、難攻不落のオフスイッチを持つことです。もちろん、コンピューターでボタンを押すのと同じように、または少なくとも壁からプラグを抜くのと同じように、ボタンを押すとシャットダウンするオフスイッチを使ってこれらのシステムを構築すべきです。

「それはできません、デイブ」という2001年宇宙の旅のようなことは起こらないはずです。

また、追加の例に入ることもできます。あなたが目標を与える、古典的なペーパークリップシナリオのような概念があります。これは哲学的思考実験で、「ああ、わかりました、ペーパークリップを生産する必要があります。世界のすべてのエネルギーとすべての原材料を取って、ペーパークリップの生産に使います」と言います。

しかし、それについて考えてみると、それはかなり愚かです。それは、問題の他の次元を全く考慮せずに、単一の目標を与えたということを意味します。これは実際の動作方法ではありません。まず、何ができるかに境界を設定し、何をすべきかに境界を設定します。

自動運転車に戻りましょう。すべてのシナリオに入ることはできませんが、感覚を掴んでもらうために。これらの自動運転車は、今では多くの都市で利用可能ですが、どこにでもあるときでも、どこに行くかを決めるつもりはありません。

人々の命を救うためにブレーキをいつ踏み、アクセルをいつ踏むかを決める自律性を与えて、「ああ、どこにも行かせないことで、より多くの人々の命を救おう。ガレージに座って、人々の命を救う必要があるからどこにも行かせない」と言うようなことではありません。

そうは動きません。どこに行くかを決めるシステムと車を運転するシステムは完全に別のシステムであり、どこに行くかを決めるシステムは人間としてのあなたのコントロール下にあります。

医師や判事について言及されましたが、絶対に人間をループに入れるべきです。最近の研究では、AIシステムからの入力があっても、ループ内の人間が時々間違ったことをすることが示されていますが、それは解決していくでしょう。AIシステムが医師にその診断や推論などを与え、特に高い利害のシナリオになると、医師がおそらく決定を下すべきでしょう。

文明破綻の前兆を見極める「炭坑のカナリア」

数年前に「人工知能が文明を破壊しようとしているかどうかを知る方法」という記事を書かれましたね。そこで炭坑のカナリアについて話されています。そこで論じていた議論をまとめていただけますか？また、この数年でAIについて知るようになったことに基づいて、それを洗練することもできるでしょう。

人々が常に議論している大きな議論の一つは、タイミングです。以前、人々は「100年先だ、1000年先だ」と言っていました。他の人々は「20年先だ」と言っていました。それ以降、タイムラインはさらに圧縮され、人々は「1〜2年以内にAGIを持てるかもしれない」、「私たちは既にAGIを持っている」と言っています。それは曖昧な用語なので、それは私たちが持っているかどうかのようなものです。

私は炭坑のカナリアの比喩を使おうとしました。炭坑の力学に詳しくないなら（私も詳しくありませんが、読んだことがあります）、酸素が少なくなっているかどうかを確認するためにカナリアを置き、カナリアが倒れると、おそらく今、人工カナリアのような一酸化炭素センサーなどがありますが、それが警報装置、早期に知らせてくれるアラートです。

自動運転車や、独自の良い質問を定式化し、実際に研究論文を書くことができるシステムを含む一部のことが、AIが次のレベルの能力を達成していることを示していると指摘しました。

私にとってさえ、AIシステムにまだ多くの欠陥があることを見ているにもかかわらず、タイムラインは圧縮されています。まだ長い道のりがあると思います。明確な視界、それほど短い距離ではありません。同時に、私は初めて、私の生涯のうちにAGIの何らかのバージョンを持つかもしれないと思っています。私は61歳なので、これは確実にあなたの生涯内です。

現在のAI技術の能力と限界

また、私たちの用語がここではあまりにも粗いと非常に思います。今日のシステムは非常に強力で、ある意味で非常に知的ですが、先ほど述べたように、知性と自律性を区別する必要があります。これは一般的にあまり強く区別されていません。私たちは少なくとも両方を持っている傾向があると私は信じているからです（自由意志についての会話に入ることもできます）。

また、たとえば信頼できるまたは信頼に値する知性を区別する必要もあります。あなたは驚くべき知性を持っているが、次の質問を少し違った方法で尋ねると、それはあまり堅牢ではありません。突然クラッシュして燃え尽きます。

簡単な例を挙げると、私は最近、私のすべての画像を生成するためにChatGPTを使っています。私は絵を描けない、イラストを描けないので、これらの簡単なプロンプトで素晴らしいものを作ることができるので、驚くべきことです。

しかし、ヘブライ語で作成している歌集のために、美しく生成した画像の上に「私のお気に入りの歌のいくつか」という簡単なヘブライ語のフレーズを置こうとしたところ、できませんでした。ほぼできるのですが、「2番目の単語の最後の文字をこの文字に変えてください」と言うと、すべての単語を変えてしまいます。長い間試しましたが、確かにそうです。

つまり、たとえば、この非常に知的なシステムは、画像内の文字に簡単な変更を加えることができないのです。ええ、これは解決されるでしょうが、次のこと、そしてその次のことがあるでしょう。じゃんけんもあまり上手にプレイできません。その話に入ることもできます。

今は素晴らしい愚かさと混在した超知性です。

チューリングテストの問題点と言語モデルの理解

興味深いことに、実際にその記事で書かれていて、これはGPT-3が多くの人がチューリングテストに合格したと考える前だと思いますが、チューリングテストに合格することはあなたのカナリアの一つではないと書かれていました。なぜでしょうか？

私がそれを書いたときでさえ、私たちの言語モデルが十分に洗練されてきていることと、私たちの擬人化する能力が常にそこにあったことが明らかになっていたからです。その組み合わせが人々を信じさせるのです。

私たちは皆、この時点で、LLMと話していて「すごい、この物は本当に理解している、私が言っていることを実際に理解している」と思う瞬間があったと思います。そして、ある意味でそれは理解しています。ここでも、言葉を洗練する必要があります。この数年間で途方もないブレークスルーがあったという明確な意味があり、私が言っていることを理解していないという意味もあります。

この記事では、機械学習は実際には誤った名称であるとも書かれています。機械は私たちの学習能力のほんの一部しか持っておらず、ほとんどの場合、AIは科学者やエンジニアによってスプーンで食べさせられているからです。これは過去数年間で見てきた大規模言語モデルにも当てはまると思いますか？

非常にそうです。機械学習が誤った名称だと言う理由の一つは、機械学習という分野全体が誤った名称に満ちているからですが、その理由は、機械学習と言うとき、機械が学習していると言っているが、実際には完全な学習タスクを見ると、まず何を学習するつもりかを定式化することから始まります。

それから、データをどのように前処理するか、データにどのようにラベルを付けるか、妥当なデータとは何かさえも考え、最終的に学習プロセスを経て、より良く機能するように物事をどのように変更するかという反復的で複雑なプロセスは、依然として非常に人間主導であり、機械はある意味で最後の1マイルを行っているのです。

最後の1マイルを途方もないスケールで行うことは非常に印象的ですが、依然として人間主導です。私がそれを簡潔に表現する方法は、ChatGPTはChatGPTを書いたのか？とんでもないということです。それを学習することはしませんでした。実際、人間がそれを行い、などなどです。

完全な学習になると、まだそうだと思います。AI プログラムを UW の学部生として送ることができるでしょうか？パスを与える、パーティーに行く必要はない、道路を横断することについて決定を下す必要さえない、ただ私たちがさらされているのと同じように授業に触れさせ、行きなさい、そして卒業課程でAを取得しなさいと言う。

ピースの部分は非常にうまくいきます。特に構造化されていて、すべての過去の中間試験を与えれば、確実に中間試験でエースを取るでしょう。しかし、それがポイントではありません。ポイントは、学部生として4年間を過ごし、成功するという完全な無定形で困難なタスクを大規模に行うとき、まだまだ準備ができていません。

学習と知能の新しい形態

私たちが少し踊り回っている質問は、学習と知能とは何かだと思います。それについて話すのは嬉しいですが、あなたが今言及したことで触れたいことが一つあります。この記事でも書かれていることですが、人間の学習について話すとき、関与する多くのステップがあります。

この動機がありますよね、車を運転したいと言って、それから計画を立て、運転練習レッスンを受けることを決め、目標を作り、データにラベルを付け、フィードバックを得て、背景知識を使います。この2年間で出てきた新しい推論モデルで、すでにはるかに小さなスケールでそれを見始めていると感じます。

これを行うプログラムを作成したいとプロンプトすると、「わかりました、必要なさまざまなことがあります」と言って、その思考プロセスを示します。まあ、思考は込み入った表現ですが、それについては触れるでしょう。しかし、「わかりました、達成しなければならないさまざまなことがあります」というその思考を示し、それぞれに入っていき、もちろんその中でその背景知識も組み込んでいきます。

これらのモデルによってこれらの懸念のいくつかが既に対処され始めていると感じませんか？

現在はAIでいることが実際に素晴らしい時代です。何十年もの間、私たちは本当に機能しないシステムを構築していたからですが、今私たちは非常に現実的な意味で機能しているシステムを構築しており、それらを拡張しています。

文字通り今日、私が共同設立した新しいスタートアップで、残念ながら非常に秘密主義ですが、リアルタイムで推論が展開するのを見ており、心を打たれました。見ることができたもので本当に本当に興奮しました。私たちは進歩、本当の進歩を遂げています。

しかし、本当の進歩を遂げることと問題を解決することの間には違いがあります。私たちは毎日、より有能なシステムに急速に近づいていますが、まだ長い道のりがあります。

AIシステムの意思決定と選択

しかし、これが最終的にはそれに向かっての進歩なのか、それとも少なくともより単純な問題に対してはこのすべての定式化と計画を行うことができるのかと感じますか？

このポッドキャストのマイクロフォンを決めるために、Deep Researchに任せ、多くのAmazonのウェブサイトレビュー、Redditなどを調べて、背景ノイズや互換性など、すべての仕様に基づいて最適な選択を本当に理解してもらいました。それは一般的にAIに使いたいものよりもはるかに単純なタスクですが、AIが独自の思考を追加していないという特定のこと、それは単にあなたが既に望んでいることを実行しているだけだと感じます。

私たちは既にそれから逸脱し始めており、それが本当にいくつかの選択をしなければならず、そのすべてを語らないかもしれませんが、ある程度、ある意味で、少なくともそのプロセスで何をするかを決定していると感じます。

完全に同意します。AIは多くの決定を下しており、世界チャンピオンを破ったディープブルーにも当てはまっていました。もちろん、それ以前のプログラムもどの手を打つかを決定しなければなりませんでした。

あなたが説明している選択は、分岐係数と呼ばれるものがあるので、はるかに複雑です。チェスでは最終的に平均分岐係数は30ですが、文書を生成する場合、50,000語があるとすると、次の語として選択できる語の分岐係数は50,000になります。実際にはもっと多く、画像を生成するときはさらに大きくなります。

それはこれらの広大な空間で動作し、本当に良い決定を下しているのです。

学校がよくやることの一つは、一日校長です。オークションで売り、子供が一日校長になります。いくつかの制限を設けますが、基本的にはそうです。あなたが朝起きて、「わかりました、ChatGPT、あなたは今日一日ヤッシュです」と言ったと想像してみてください。

これが意味するのは、「理由の範囲内で私が言うことはすべて行う」ということです。目を閉じて道路を横断しろとか、それよりも悪いことを言ったとしても、あなたはそれをしないでしょうが、理由の範囲内で私に何をするかを言ってください。今、素晴らしい一日をデザインしてください。そして私はそれに従います。

熱気球に乗りたいとあなたがいつも思っていたことを知っているなど、陳腐なことをするかもしれませんが、基本的にあなたの人生をどう生きるかを教えるとすれば、それは悲惨でしょう。

私が言おうとしているのは、確かにタスクを与えれば、それがピカソが話していた答えですが、完全に無定形なもの、私の人生をデザインしてください、私のために卒業論文を書いて、Aを取り、出版可能にしてくださいと与えれば、ただクラッシュして燃え尽きるでしょう。

近い将来のAI能力への展望

これは原理的にそれができないと信じているものなのか、それとも私たちがもうすぐそこまで来ているかもしれない制限なのでしょうか？

近い将来、「ねえ、私の人生を計画して」と言うNLMを確実に思い描くことができます。道路を横断するなどの特定のことを拒否することについて、それはガードレールなどのようなものがあると思いますが、それは要点から外れています。「ねえ、私の人生をデザインして」について言っています。

Deep Researchがやるように、まず「まず第一に、何を意味するのか？」のようなフォローアップをいくつか尋ねるかもしれません。いくつかの提案を出し、常に私と話してそのすべてを繰り返すかもしれませんが、それが非常に近い将来にあると思い描くことができます。

原理的には、もちろん原理的にはそれを行うことができるでしょう。私たちは再び、完全な人間レベルの知性と自律性について話しています。近い将来については、これをもう少し明確に定義する必要があると思いますが、私の人生をデザインすると言うのではなく、素晴らしい一日を本当にデザインすると言いましょう。素晴らしい一日をデザインできれば、それを反復するのは非常に簡単です。「素晴らしい一日をくれました、わかりました、明日も素晴らしいことをしてください、今日と同じではありません、少し変化が好きだし、週末は平日とは異なります」。

近い将来、それが言うことに従って生活しようとすると、かなり物事を混乱させることがわかると思います。もちろん、フォローアップの質問をすることはできますが、それは本当に理解していません。ヤッシュにとって完璧な一日を作るものを本当に理解していないのです。

人工知能対人間知能の本質的違い

人工知能について話すとき、あなたの別の記事「AIの進歩は機械に人間の知能を作ることと同じではない」で、AIが人間の知能を作っていることを示していない多くのことを行うと指摘しています。幻覚を起こし、矛盾し、独自の質問を作らず（議論したように）、毒性のあるコンテンツを吐き出すという事実を指摘しています。これはあなたが言及していたGPT-3がリリースされたときの問題でした。

それ以来、これらすべての問題でほぼすべての面で改善が見られました。基本的な事実の幻覚は大幅に減少しており、他のことと同様です。それが継続し、AIが完璧な行動を取る場合、行動とは、意味のあるレベルで与えている出力を意味します。単にチューリングテストに非常に単純な文脈で合格するだけでなく、私のための良い一日や良い週末を計画するなどの点で、現在のLMSのようなニューラルネットワークから完璧な行動を出力している場合、人間の知能を達成したことになるのでしょうか、それともそこに欠けているものがあるのでしょうか？

その質問が大好きです。なぜなら、再び、それは計算機科学の非常に基本的な哲学的問題だからです。計算機科学と数学でよくやることは、問題を取り、それを以前に解決された問題に還元することです。それが再帰やNP還元などです。

哲学では、私たちがすることは、問題を取り、以前に解決されていない問題に還元することだと言いたいです。あなたの質問で私がしようとしているのは、それを取り、以前に解決されていない問題への還元を構築することです。それが私の答えになります。

二つのことについて話しましょう。一つは、非常に困難な乗算をしたいとき、1兆桁の数字を別の1兆桁の数字で乗算しようとしています。しかし、その計算をする代わりに、コンピューターでその計算をシミュレートしようとしています。

計算をシミュレートした場合、私はそれを計算したことになり、完了です。答えを得たので、完了です。シミュレーションと実際の計算の間に区別はありません。それは同じことです。

しかし、熱帯低気圧をシミュレートしたいとしましょう。すべてのデータとすべてのパラメーターを取得し、すべての粒子を追跡し、コンピューターで定義により完璧な熱帯低気圧の完璧なシミュレーションを作成します。私のコンピューターで嵐が起こっているのでしょうか？そこで実際に雨が降っているのでしょうか？暑いのでしょうか？濡れているのでしょうか？

明らかにそうではありません。ここでは完璧なシミュレーションを行った二つのケースがあり、一つのケースではシミュレーションがすべて必要でした。シミュレーションと現実の間に違いはありません。もう一つのケースでは、明らかにシミュレーションと現実は同じではありません。コンピューター内の熱帯低気圧のシミュレーションは熱帯低気圧ではありません。

あなたが尋ねた質問は、知能は計算プロセスなのか、それとも熱帯低気圧のようなものなのかという質問です。それがあなたに残す質問です。

意識とクオリアの問題

その方法で私がそれに取り組みたいのは、実際に嵐について話されたとき、本当に暑いか濡れているかについて話されました。これが私がそれを解きほぐしたい方法です。クオリア、体験を解きほぐしましょう。見ること、味わうこと、触れること、思考を体験すること、感情を体験すること、熱を体験すること、濡れた何かに触れる感覚を体験すること、そして計算を解きほぐしましょう。

行動を作成する計算とクオリアの場合、まず第一に、それらは概念的に首尾一貫している、つまり解きほぐすことができると思いますか？

問題は、同語反復に対処することなく、このトピックにどのように取り組むかです。知能を計算として明示的または暗黙的に定義すれば、話は終わりです。計算のシミュレーションと計算は同じものであることを知っているからです。

知能は計算だと言えば、もちろん計算し、それによって知能的なコンピューターを構築できます。問題の核心にあるのは、計算は知能が究極的に計算なのか、それともクオリアと体験が不可分に結び付いているのかということです。

私は何十年もこれについて考えてきましたが、もはや確信がありません。しかし、それが私がこの種のかわいい立場を取っている理由です。あなたの質問に答える代わりに、それを別の質問に還元しようとしています。からかっているのではなく、確信がないからです。問題をどのように定義するかに帰結するのではないかと思うからです。

哲学的ゾンビとAIの理解

意識の問題を脇に置き、AIを哲学的ゾンビのようなものと考えるとすれば、AIには理解があると言えるでしょうか？もし理解、知能、学習のすべてを、ニューラルネットワークから生じるもの、または複雑さから生じて興味深い行動を示すものとして、体験とは別に考えるなら？

私にとって頭の中でそれをフレーム化する方法は、AIが体験できるかどうかはわかりませんが、それが理解、学習、思考ができるとは言えないようにするべきではないということです。これらの言葉をどのように定義するかに基づいていることは理解していますが、実際の体験を除外するなら、私たちは終わりで、GPT-4がXトピックを理解していると喜んで言えるでしょうか？

あなたが尋ねている非常に公正な質問だと思うので、それから逃げ出そうとはしません。理解や学習について機能的な意味で話しているときは、それが提供するか、私たちが必要とすることを行うかという意味で、そして、「はい、妥当な時間内にそれを行うでしょう、おそらくいくつかのことではあなたより少し悪く、他のことではあなたより良いですが、基本的には人間の領域内にしっかりとあるでしょう」と仮定して言うとすれば、今日の場合ではありません（今日でも、時々完全に的を外すことが驚くべきです）、そうです、それは理解の機能性を持っています。

人間のインターンかAIインターンの選択があれば、もちろんAIインターンを選びます。眠らないし、10回複製できるし、泣く肩が必要なら、とにかく人間のインターンよりも上手にやってくれるからです。既にそれを見ています。機能性だけではありません。シミュレートされた共感は、そうでなければ同様に魅力的だからです。

配偶者として選ぶかどうかはわかりません。それは再び、はるかに体験的な質問です。しかし、インターンとの関係のように、専門的な関係で、個人的な要素に波及することもありますが、基本的には専門的な関係です。最高のインターンが欲しい。AI、サインアップして、友達を10人連れてきて、たくさんの計算を持ってきてください。

共感とAIの実用的価値

泣く肩の例や共感については、私たちがコミュニケーションを取っている相手が意識があることを知ることに何らかの価値があると思います。心に何かを説明すれば、あなたが私と一緒にそれを体験できるということです。だからこそ、シミュレートされた共感対実際の共感は興味深い会話だと思います。

知能や理解について、クオリアを脇に置いても、このことについてもう少し詳しく述べたいと思います。多くの人々、おそらくジョン・サールの中国語の部屋の思考実験に影響されて、単なる入力と出力を超えて私たちには何かがあると考えています。

クオリアのことを考えているのではなく、理解している内なる自己の概念に近いもののことを考えています。あなたも自由意志について話すとき、そこに少し当てはまるかもしれません。体験していることを体験し、次に考えようとしている思考を生成している内なる自己があります。

自己の概念は多くの異なる方法で重要です。多くのことを理解し、意味を成すために重要ですが、このような場合、AIの能力を理解することを妨げていると感じます。学習、理解、思考、推論といった言葉をAIに与えることを躊躇させるからです。

もう少し詳しく説明すると、あなたに次の1分間何も考えないように、または特定の一つのことについて考えないように避けるように頼んだとすれば、数秒間試すことができ、その後すぐに思考が完全に自分自身で意識的体験に入り始めるでしょう。私たちの思考の多くは、私がそれを考えているという感覚と一緒に来ます。

それは私たちが意識的に体験している多くの他のものの中のただの別の感覚であり、いくつかの思考はどこからともなく来ます。「ああ、それは私ではなかった、それは私のオートパイロットか何かだった」のようです。いずれにしても、中心に必ずしも何かがあるわけではないということです。確かにそう感じますが。

入力と出力を超えたこの自己や自己のようなものを私たちは探し求めていると感じます。私たちは明らかにこれを持っているが、AIは持っていないので、AIがどんなに良くなっても、理解を模倣しているだけ、学習を模倣しているだけ、それに類似しているが、私たちがやっていることを完全にはやっていないでしょう。理解し、学習し、これらすべてのことを行っている内なるものがあるからです。

これは理にかなっていますか？

哲学的な視点と機能的理解

はい、それは理にかなっています。学部時代の私の先生の一人であるヒラリー・パトナムは、偉大な言語哲学者の一人と考えられていますが、哲学者は非常に正しいことで偉大になることもできるが、非常に間違っていることで偉大になることもできると言いました。多くの思考を刺激することで。

ジョン・サールの場合、中国語の部屋の思考実験は絶対に魅力的で、調べたことがない人は本当に調べるべきだと思いますが、根本的に欠陥があると思います。それは私が実際に間違った直感だと思う特定の直観のセットを生成します。しかし、それに入ることなく、あなたの質問に行って、私にとって、理解、推論、学習などのこれらの言葉を取るとき、先ほど確立したように、二つの構成要素があることは明らかです。

体験的構成要素とクオリアがありますが、それを超えても、自己の概念を持つ、これらすべての非常に人間的なものを持つ種類の個人的な構成要素があります。そして、「ねえ、これを理解すれば、テストを受けることができる、十分によく推論すれば、ノーベル賞を獲得できる、囲碁ゲームに勝ち、世界チャンピオンを倒すことができる」と言う機能的構成要素があります。

人間ではそれらが非常に絡み合っているが、機械では非常に分離することができると受け入れれば、機械は理解プライムを持つでしょうし、理解プライムは多くの方法でおそらくはるかに良い人間の理解とまったく同じように良いものになるでしょう。

再び明確にするために、私は今日の技術について話しているのではなく、将来の技術について話しています。しかし、嵐のその部分を欠くかもしれません。

中国語の部屋の思考実験が二つの部分を一緒にしようとしているので、実際にものをモデル化していると思いますが、共感について一秒話したいと思います。なぜなら、ここで本当に興味深いケースだと思うからです。

シミュレートされた共感に対して、私たちの内部の何かが嫌悪感を覚えると思います。共感を持っているなら、何かについて本当に動揺しているなら、意識のある本物の友人や配偶者、本当に私を気にかけている人に共感的であってほしいのです。それが実際にその意味の種類です。同じように感じますが、同時にシミュレートされた共感を軽視したり軽蔑したりすることはありません。

最近話している会社があります。Intuition Roboticsという、高齢者のための共感的なLLMを構築している会社です。事実として、私たちの社会、多くの社会で、高齢者は孤独であることが文書化されており、それが彼らの健康、精神的健康、その他のことに影響を与えています。実際、孤独の蔓延があり、それが主要な死因であることを示す最近の記事がありました。

常に本物の人間が彼らと一緒にいる方が良いでしょうか？はい。しかし、そうではない範囲で、経済的理由でそうではない場合があります。人々は生計を立てる必要があり、おばあちゃんと時間を過ごすことができません。または、コミュニティが解体されているように社会が変化したため、社会的理由でそうではない場合があります。理由が何であれ、それは事実です。

その事実があり、感情的にそれほど魅力的ではないかもしれないが、機能的に彼らを助ける技術があるとき、伴侶がいるように感じさせ、薬を飲むことを思い出させ、聞く耳を提供することで彼らを助けるとき、技術的用語を使うと、はい、それが必要です。

ロボットが人々を助けることについて、以前は「ああ、本当にロボットが人々を助けることを望むのか」のようでしたが、今は「はい、そうです」と思っています。最後に医者に行ったとき、医者の名前は言いませんが、非常に良いサービスを受けましたが、その人は忙しく疲れていました。数時間手術をしたばかりで、あまり愛を得られませんでした。

「本当にここで質問に答えます、どこにも急いでいません、これに入りましょう」のような医師のアシスタントがいたなら、それは新鮮だったでしょう。なぜなら、医師がやりたかったのは明らかに私をオフィスから出すことだったからです。忙しく、経済構造、システムがそれを決定しているからです。

長々としましたが、コンピューターは本当に私たちを助けることができ、このシミュレートされた共感で感情的にも私たちを助けることができるということがわかります。

AIに対する認識の枠組み

これには絶対に賛成です。これをまとめるために、少なくとも私にとって役立つ、私がAIについて考える方法は、私たちが話したように、ある種の哲学的ゾンビとして見ることです。私が話していることをほぼいつでも理解しているが、主題に応じて、それが私に答えているときは夢遊病しているように考えるのが好きです。内部的にはライトが消えているが、興味深い行動を得ています。

私にとってそれが概念化する方法です。私たちがこれについて考えている方法には、おそらくまだいくつかの意見の相違があると感じています。たとえば、あなたは自由意志について言及しました。つまり、私たちには自由なものがあり、AIは幻覚を起こし、矛盾するが、それは完璧なニューラルネットワークではなく、真の理解ではないが、私たちには自由なもの、理解するものなどがあるという概念です。

あなたの次の記事「AI進歩の評価」で、私がそれを置く方法では、クオリアなしで理解を定義すれば、これは素晴らしいモデルです、それは理解しますが、そうでなければ、クオリアについて話しているなら、わかりません、というように答えるとは感じません。それとは少し異なる視点を持っているように感じます。

人間の知能に対する例外主義の何かがあると思いますか？それが必ずしも自己の概念なのか、それともそれほど壮大で複雑なのかはわかりませんが、あなたのトーンは「まあ、このモデルがまだしないことが一つあり、それを見るまでは知的と呼ばない」から、クオリアやこれらの他の本物の質問に焦点を移すのか、それとも私がこの会話から見逃している私たちの知能に関して、あなたがまだ持っている例外主義の種類があるのでしょうか？

三つの文でそれに答えることができると思います。クオリア、体験、本質的に人間的なものと呼ぶものについて話すとき、機械にはそれらがないと思います。定義により、それらは機械であり、私たちは人間であるという意味で、決してないかもしれません。興味深い類似があるかもしれません。機械のクオリアとは何で、それが人間のクオリアとどのように比較されるかですが、違いがあると言っています。

第二に、今日、機械は非常に欠陥があります。クオリアが欠けているという意味で欠陥があるのではなく、機能的に欠陥があります。常に失敗します。確かに進歩しており、幻覚は少なくなっていますが、幻覚はゼロであるべきです。算数が上手になっていますが、本当に手順を学んで算数をやるべきです。まだ非常に非常に欠陥があります。ゲイリー・マーカスは、これらの欠陥を継続的に明らかにすることに長けている主要な人の一人です。それが第二のことです。

そして第三の文は、未来を見るとき、5年後なのか10年後なのか、50年後なのか、それ以上なのか、ストップウォッチを持って言うことはできませんが、未来には、概念的に考えると1000年後は何でもありません。1000年以内に確実に人間レベルの知能を超える機能的知能を持つでしょうし、多くの点でそれを楽しみにしており、他の点では恐れています。

個人的に、いつか「ねえ、私はこのモデルが理解または学習していると思います」と言う記事を楽しみにしています。しかし、それが決してそうなるかどうかはわかりません。

ここにいてくださってありがとうございます。これは本当に楽しい会話でした。

ありがとうございました。