オックスフォード大学のAI研究者が大規模言語モデルの本質について語った動画である。LLMは真の問題解決能力を持たず、パターン認識に基づく「エンジニアリングハック」に過ぎないという見解を示している。計画立案や論理的推論において、LLMは訓練データで見たことのない新しい表現では同じ問題を解けないことを例に、現在のトランスフォーマーアーキテクチャの根本的な限界を指摘している。
オックスフォードのAI研究責任者：LLMは「ハック」である
GPT-4は算術ができます。これらは組み合わせたエンジニアリングハックなのです。心の深いモデルや、人間の知能がどのようなものかについての深い哲学的理論、あるいは実際に人間の知能に関する深い認知科学理論に従っているわけではありません。これらは技術的なハックなのです。
大規模言語モデルがやっていることが、それらのことを本当にやっているのか、それともパターン認識のように見える何かをやっているのかについて、大きな疑問符があります。算術については、おそらく今は解決された問題だと認めますが、これらのモデルが訓練データで既に見たことのあるもののバリエーションではない問題を実際に解けるかどうかを調べた膨大な研究があります。そして、本当に独創的に問題を解いているのか、それとも単にパターン認識をしているだけなのかという問題について、現時点ではそれが大きな疑問の一つであり、判断はまだついていません。現時点での証拠の重みは、これらのモデルが問題解決をしているのではなく、パターン認識により近い何かをしているということです。
計画立案能力の検証
これを説明する例を挙げましょう。AIにおいて、私たちは長い間問題解決と計画立案に関心を持ってきました。計画立案とは、ここに達成したい目標があります、ここが出発点です、そしてここに利用可能な選択肢、つまり世界を変換するために実行できるアクションがありますという過程です。現在の場所から目標まで自分を変換するために、それらのアクションをどのように組織するかということです。これは絶対的に基本的なAI能力であり、人々が半世紀以上にわたって研究してきたものです。
では、大規模言語モデルは計画立案ができるのでしょうか。一見すると、人々はそれができるように見えたため非常に興奮しました。まさにその通りです。しかし、よく調べてみると、次のようなことをしてみるとします。計画で使用されているすべての用語を難読化してみるのです。つまり、馴染みのある単語は使わずに、同じ問題、そう同じ問題を、訓練データに現れなかったことがわかっている用語を使って表現するのです。
その場合、モデルは問題を解けるでしょうか。同じ問題であることを強調します。ただ、これまで見たことのない単語を使っているだけです。そして答えはノーです。現時点では解けません。つまり、独創的に問題を解くことはできないのです。私たちにはそれができます。私たちには問題解決能力があります。これは、旅行の計画を立てているときに、数千の旅行計画ガイドや旅行のアジェンダなどを見てきて、それらに対してパターンマッチングを行って旅行の計画を立てるのを手助けしているということを示唆しています。
本質的な問題解決能力の欠如
しかし、実際に第一原理から、旅行を計画するためにそれらの様々なアクションをどのように組織するかを計画しているのでしょうか。現時点で、現時点では、証拠の重みは、論理的推論や問題解決といったものを深いレベルで行う能力がないということです。それが有用でないという意味ではありません。旅行の計画を立てるのに使えないという意味でもありません。そのような方法で使うことはできます。しかし、実際に第一原理からそれらのことを行っているのでしょうか。現時点での証拠の重みはノーです。
あなたの直感では、これらの能力がないだけでなく、これはアーキテクチャの問題であり、ここからデータの桁数を増やしても論理的推論を得ることは期待できないということでしょうか。なぜなら、これらのLLMが根本的に行っていることは次の単語の予測だからです。それがあなたが指摘している深い問題なのでしょうか。
トランスフォーマーアーキテクチャの限界
はい、それがトランスフォーマーが設計された目的である次の単語の予測です。そして驚くべきことは、十分なデータと計算能力を投入する準備ができていれば、それがどれほど有用で印象的であることが判明したかということでした。
しかし、トランスフォーマーアーキテクチャが例えばロボットAIの鍵であると信じる理由は見当たりません。それはそのために設計されたものではないからです。なぜそうあるべきなのか、あるいは論理的推論のために、論理的推論のために必要であるべきなのかがわかりません。繰り返しますが、それはそのために設計されたものではないからです。しかし、それが有用でないという意味ではないことを強調します。
AI研究の転換点
私もこの技術を使うときは誰もと同じように圧倒されます。そして、人々が見せてくれる本当に素晴らしいことができるという驚くべきことに、日々驚かされています。そして言わなければならないのは、これは本当に真にAI史における分水嶺の瞬間だと思うということです。なぜなら、AIにおける多くの問題が純粋に哲学的な問題であった時代から移行してきたからです。
数年前まで、それらは文字通り哲学者のために取っておかれた問題でした。そして突然、それが実験科学になったのです。大規模言語モデルは意識を持っているのでしょうか。さあ、袖をまくって実験を行い、調べてみましょう。ちなみに答えはノーです。しかし、これらは今や実践的で実地の問題であり、それらの問題を適用できる世界に何もなかった状態から、これが実際の実践的で実地の実験科学になるまで、わずか数年で移行したというのは驚くべきことです。
コメント