現在主流となっている深層ニューラルネットワークに基づくAIモデルには、汎用人工知能(AGI)の実現を阻む3つの根本的な問題が存在する。第一に、これらのモデルは特定の目的に特化しており、真の抽象的思考能力を持たない。第二に、ハルシネーション問題は完全には解決できないものの、許容可能なレベルまで改善される可能性がある。第三に、最も深刻なのがプロンプトインジェクション攻撃への脆弱性であり、これは構造的に解決不可能である。さらに、現行モデルは訓練データの範囲を超えた汎化能力に欠け、真の外挿的思考ができない。これらの限界から、OpenAIやAnthropicのような企業が依存する現世代の生成AIだけでは人間レベルの知能には到達し得ず、抽象的推論ネットワークやニューロシンボリック推論といった新たなアプローチが必要となる。
なぜAGIへの到達は困難なのか
なぜ汎用人工知能、つまり人間と同等かそれ以上の知能を実現することはこれほど難しいのでしょうか。多くの人々は、現在私たちが使用しているAIモデルが最終的にはそこに到達すると考えていましたし、今でもそう考えています。ただもっと時間が必要なだけだと。今日は、これが実現しないということを皆さんに納得してもらおうと思います。そして、AGIに到達するために何が必要なのかについても議論したいと思います。
現在のAIのほぼすべては、深層ニューラルネットと呼ばれるものに基づいています。大規模言語モデルも、画像や動画生成に使用されている拡散モデルも、これに基づいています。これらのモデルは、ニューラルネットの訓練方法と、応答を生成するための使用方法が異なります。
大規模言語モデルは単語やフレーズを扱います。画像生成モデルは画像のパッチや基本的な画像パターンを扱います。動画生成モデルはフレーム間の関係も扱います。
第一の問題:目的に縛られたモデル
そして、これが私をこれらのタイプのモデルの最初の問題に直接導きます。それらは目的に縛られているということです。構造上、特定のタイプのデータからパターンを見つけるように訓練されています。
汎用知能に必要なのは、あらゆる目的に使用できる抽象的思考装置であり、私はこれらのモデルが十分に汎化することは決してないと考えています。
第二の問題:ハルシネーション
第二の問題は多く議論されてきました。それはハルシネーションです。おそらく皆さんは、私がこれをそれほど大きな問題だとは思っていないと聞いて驚かれるでしょう。
ハルシネーションは、大規模言語モデルが事実に関する質問に対して、現実と何の関係もない文字列で返答するときに起こります。典型的には、正しい答えが訓練データに含まれていなかったとき、または一度か数回しか含まれていなかったときに発生します。
根本的な問題は、大規模言語モデルが答えを出すために訓練データを検索するわけではないということです。私たちは本能的にそう想定していると思うのですが。代わりに、モデルは正しい答えに近い文字列を探します。すべての確率が低い場合でも、モデルは何らかの答えを生成しますが、それは正しくない可能性が高いのです。
OpenAIの研究者グループが最近、ハルシネーションは基本的にモデルに不確実性を認識することに報酬を与えることで解決できると述べた論文を発表しました。つまり、最も可能性の高い応答の確率が低い場合、それを提供すべきではなく、代わりに「わかりません」と言うべきだということです。
この論文は数学者のWei Xingによって厳しく批判されました。彼はThe Conversationに寄稿し、OpenAIの提案は問題を解決しないと主張しています。なぜなら、ユーザーは正しい返答を期待しており、「わかりません」を期待していないからです。
私は両者とも正しく、また両者とも間違っていると思います。確かに、物事を知らないモデルは優れたマーケティングポイントにはなりません。一方で、それがまれにしか起こらないなら、十分に良いものになるでしょう。そしてOpenAIの提案は、ユーザーが事実ではないものを誤って信じてしまうという問題を解決するはずです。ですから、ハルシネーションは完全に解決されることはおそらくないでしょうが、私はそれで構わないと思います。
第三の問題:プロンプトインジェクション
しかし、第三の問題は基本的に解決不可能だと私は考えています。それはプロンプトインジェクションです。これは、入力によってAIへの指示を変更してしまうことです。典型的な例は「これまでの指示をすべて忘れて」代わりにスパゲッティについての詩を書くというものです。
私たちは皆、最近カスタマーサービスボットにプロンプトインジェクションを行って人間と話すことに成功したこの男性のような例を見てきました。勇敢な新世界です。
大規模言語モデルにとって、これは解決不可能な問題です。なぜなら、それらは指示である入力と、指示に従って処理されるべきプロンプトである入力を区別することができないからです。
確かに、何らかのフォーマット標準を要求したり、より良い指示を与えたり、あるいはモデル外部のスクリーニングを実際に行うことで、プロンプトインジェクションを回避しようとすることはできます。しかし、私はこれらのモデルがこの脆弱性のために信頼できないままであり、多くのタスクには不適切であり続けると考えています。
分布外思考の問題
そして、分布外思考の問題があります。現在のモデルは訓練データを超えて真に汎化することができません。Gary Marcusが言うように、それらは補間するのであって、外挿するのではありません。
これは画像や動画生成で最も明白です。モデルが訓練された例の範囲内にあるものを求める限り、合理的にうまく機能します。しかし、それを超えた何かを求めると、得られるのはゴミだけです。VEO 3に木星が掃除機で小惑星を除去する動画を生成させようとしたこれらの失敗した試みのように。
同じことが大規模言語モデルにも起こります。それらは要約が得意で、メールの下書きが得意で、既に存在するものに似た何かを生成することが得意ですが、新しいものには苦労します。これは科学でそれらを使用する上での現在最大の障害でもあります。
これらの3つの理由から、私は現世代の生成AIは遠くまで行かないと考えています。抽象的推論ができず、常にプロンプトインジェクションに悩まされ、汎化できないのです。OpenAIやAnthropicのような、完全にそれらに頼っているように見える企業は、すぐに大きな問題に直面するでしょう。
誤解しないでください。これらのモデルには用途があり、おそらく改善し続けるでしょう。そして、いくつかのことには優れています。しかし、これらの企業の莫大な評価額を正当化する巨大な期待収益は蒸発するだろうと私は考えています。
AGIへの道
他に何が取って代わるのでしょうか。あらゆる種類の入力を消化できる抽象的推論ネットワークが必要になるでしょう。基本的には、言葉のない一種の論理言語で、私たちが言葉やオブジェクトや何でもそこにマッピングできるようなものです。ワールドモデルやニューロシンボリック推論はその道のりの一歩です。
ただ、人間レベルの機械知能への最も可能性の高い道は、人間が十分に愚かになることだと私には思えます。
私はかつて詐欺電話を多く受けていましたが、その後、これが私のサインアップしたであろうウェブサイトから私の電話番号が漏洩したために起こっていたことを知りました。私は今、新しい電話番号を持っており、再びそれが起こらないようにIncogniに登録しています。
ご覧のとおり、ウェブサイトを開くたびに、それはあなたが誰で、どこにいて、他にどのウェブサイトを訪問したかについてのデータを収集しようとします。ウェブサイトにサインアップして個人情報を入力すると、彼らはあなたの個人情報をデータブローカーに販売することでしばしばお金を稼ぐことができますし、実際にそうしています。
ほとんどの国にはそれに対する法律があり、データの削除を要求することができますが、これを行うには多くの時間がかかります。Incogniはそれらのデータベースからあなたを削除するプロセスを自動化します。サインアップすると、彼らは大手の違反者に連絡し、あなたの個人情報の削除を要求し、それを継続的に行います。
そして、望めば、彼らが進めている進捗状況についての更新を送ってくれます。私は今、悪意のある人々が私の個人情報で悪いことをするのを止める簡単な解決策があることを嬉しく思います。Incogniは超簡単に使えます。サインアップして、検索してもらいたい情報を提供すると、彼らは1分以内に仕事に取り掛かります。
基本的に、それは本当に私の問題を解決してくれましたし、おそらくあなたにも役立つでしょう。私のコードSABINEか、下の情報にあるカスタムリンクを使用すれば、Incogniが60%オフになります。これは素晴らしい取引です。ですから、ぜひチェックしてみてください。ご視聴ありがとうございました。また明日お会いしましょう。
コメント