オックスフォード大学のマイケル・ウールドリッジ教授が、AIの現状と限界について包括的に語るインタビューである。彼はChatGPTなどの大規模言語モデルが印象的な能力を持つ一方で、真の理解を欠いており、物理世界との相互作用が依然として大きな課題であると指摘する。教授は、知覚や身体性を伴うタスクがAIにとって最も困難であり、AGI実現には相当な時間を要すると主張する。また、AI技術の急速な商用化に伴う倫理的懸念、解釈可能性の問題、規制の必要性についても論じている。合成データによるモデル訓練の限界を示す「モデル崩壊」現象や、AI生成コンテンツが将来的に人間生成コンテンツを上回る可能性とその影響についても考察している。
大規模言語モデルとモデル崩壊
彼らは基本的に人間のテキストで訓練された大規模言語モデルを使い、その大規模言語モデルの出力で別のモデルを訓練しました。そして同じことを再度行ったのです。つまり、第2世代モデルの出力で別のモデルを訓練したわけです。その結果、彼らがモデル崩壊と呼ぶ現象が起きました。
基本的に約5世代以内に、システムは単に意味不明な文字列を生成するようになってしまうのです。これが示すのは、元の大規模言語モデルが生成していたテキストが人間のテキストのように見えても、人間のテキストにはない何らかの性質を持っているということです。
マイケル・ウールドリッジさん、How the Light Gets inフェスティバルへようこそ。
お招きいただきありがとうございます。本当に嬉しく思います。
コンピュータサイエンスとAIへの道
あなたは明らかにオックスフォード大学のコンピュータサイエンス教授ですが、最初にコンピュータサイエンスという分野、そしてその中でもより広く人工知能に惹かれたきっかけは何だったのでしょうか。
私は初めて家庭用コンピュータに触れた世代の一人でした。14歳の時、田舎のヘレフォードに住んでいました。ある日ヘレフォードの町で友人に会ったとき、友人の一人がヘレフォードにコンピュータを売っている店があると教えてくれたのですが、私にはまったく信じられませんでした。当時はそんなことが不可能に思えたのです。
それで私たちはその店に向かい、実際にそこではコンピュータを売っていました。タンディの店、つまりラジオシャックの店で、第1世代の家庭用コンピュータを販売していたのです。店に入ると、店員たちが私たちにコンピュータで遊ばせてくれ、プログラミングをさせてくれました。そして数週間以内に、私は完全に夢中になっていました。私はまさにその家庭用コンピュータを初めて経験した第1世代だったのです。
それからコンピュータサイエンスを学ぶようになりました。それが私が本当に興味を持った唯一の科目でした。そして最終学年までに、私は人工知能に魅了されていました。その理由は非常に単純です。多くの研究分野は非常に混雑していて、研究し尽くされています。つまり、取り組める領域はほんのわずかで、それに取り組んでいる人は膨大な数いるのです。ある意味で競争しているわけです。
しかしAIは当時も今も、ただ巨大な未開拓の領域が広がっています。誰も踏み入れたことのない膨大な領域があるのです。私はその考えが大好きでした。何かを探求して、それを探求する最初の人間になれるという事実が。それは当時も真実でしたし、今日でも依然として真実です。そして私は35年前と同じように今でもAIにワクワクしています。
AIの定義をめぐる議論
人工知能というものをどのように定義するのか興味があります。なぜなら、人々はそれをさまざまな方法で説明するからです。応用線形代数、応用統計学、あるいはこういった種類のすべての定義があります。では、あなたの人工知能の定義は何でしょうか。
それは非常に意地悪な質問です。なぜなら、少なくとも70年間議論されてきたからです。私が議論と言うとき、それは論争されてきたという意味です。そして誰もAIを所有していません。誰もがそれについて自分なりの見解を持っています。
AIには1つのバージョンがあります。それは私がそれほど興味を持っているバージョンではありませんが、そのAIのバージョンは、AIの目標がハリウッドの夢を構築することだというものです。つまり、人間と同等かあるいは潜在的にそれ以上の能力を持つ機械、そしておそらくあなたや私と同じように意識的で自律的で自己認識を持つ機械です。
私にとって、それはそれほど興味深いものではありません。つまり、グラスワインを2杯飲んだ後にそれについて話すのは楽しいのですが、朝ベッドから起きる動機にはなりません。私を魅了するAIは、現在人間にしかできないことができる機械というアイデアです。つまり、機械にできることの境界を拡張するということです。
AIの興味深い点の一つは、私たちが些細だと思うこと、あるいは少なくとも知性と関連付けないことが、AI的には驚異的に難しいということです。有名な例は自動運転車です。誰かが運転免許を持っていると言われても、最初に思うことは「わあ、これは本当に知的な人に違いない」ではありませんよね。それは私たちが行う日常的なことに過ぎません。
私たちのほとんどはそれを当然のことと思っています。しかし、コンピュータに車を運転させることは驚異的に難しいのです。そして、安全で信頼性の高い自動運転車を実現するために、計り知れない額のお金が費やされてきました。
一方で、コンピュータにとっては些細なことが、人間にとっては驚異的に難しいということもあります。数学をすることは、ほとんどの人にとってせいぜい退屈な作業か、最悪の場合は非常に苛立たしいものです。人々は数学を難しいと感じ、たくさんの間違いを犯します。しかしコンピュータはそれを本当に素早く確実に行うことができます。
AIには、人々が難しいと思うことが実際にはAIにとって難しいことではないという、魅力的な二分法があると思います。多くの人がこの分野に入ってきたときに非常に混乱するのです。そしてそれがこの分野の魅力の一つです。
AIにとって最も困難なタスク
最も困難なことは何だと思いますか。
歴史的に最も困難だと証明されてきたのは、知覚に関わるタスクです。知覚とは、自分がどこにいて、周りに何があるかを理解することを意味します。
再び自動運転車の話に戻りますが、第二次世界大戦の終わり以来、確実に人々は自動運転車の構築を試みてきました。無数の応用があり、膨大な額のお金がそれに費やされてきました。では、自動運転車の何が難しいのでしょうか。
誰かにこれを尋ねると、あなたもきっと遭遇したことがあるシナリオ、トロッコ問題がありますよね。トロッコ問題とは、ある日道路を運転していて、そこに修道女とそばかすのある子供がいて、どちらか一方が死ななければならないという考え方です。ハンドルを切らなければならず、どちらかが死ぬのです。では、誰を殺しますか。
長年にわたってトロッコ問題を議論する膨大な量の論文が生成されてきました。しかしそういったことは、自動運転車においては実際には本質的な問題ではないと私は思います。自動運転車における大きな問題は、自分がどこにいて、周りに何があるかを知ることです。
あれが自転車に乗っている人だと知ること、あれが一時停止の標識だと知ること、これは反対車線にいるトラックだと知ること、あれは横断歩道だと知ること。この問題を確実に解決できれば、基本的に自動運転車を解決したことになります。しかし、私たちのほとんどがまったく当然のことと思っているこの問題、それが問題であることさえ気づいていないこの問題が、AIにとっては驚異的に難しいことがわかっています。
興味深いことに、ここが過去15年間で多くの進歩があった領域なのです。
AGIへの道
一般的に、AGIへの道筋は、ある意味でコンピュータにこれらの高次概念を理解する能力を与えることに関わっていると思います。機械が同じような方法で推論できる地点に到達するための道筋をどう見ていますか。
AGI、汎用人工知能は、大まかに言えば人間と同等の能力を持つ機械を実現するという考え方です。そして、AIで進歩が見られ、AIのいくつかの領域では非常に顕著な進歩、つまり段階的な変化の進歩が見られたことで、多くの人々がおそらく今やAGIは本当に手の届くところにあるに違いないと考えるようになりました。
しかし、いつものように、AGIには多くの異なるバージョンがあります。もしあなたが興味を持っているAGIのバージョンが、物理世界に存在し、物理世界で操作できる機械を含むものであれば、言い換えれば、例えば「家を片付けて」とか「注文に応じて食事を作って」とか、そういったことを言えるロボットを持てるようなものであれば、実際にはそれはまだ遠い未来のように感じられます。
私は間違っているかもしれません。ここ数年、私はAIについて多くのことで間違ってきましたが、それはまだ遠い未来のように感じられます。なぜでしょうか。AIにおいて物理世界を含むものは、はるかに、はるかに難しいからです。
ChatGPT、この動画の視聴者の多くがChatGPTで遊んだことがあり、本当に本当に感銘を受けたかもしれません。しかしそれは物理世界には全く存在していません。それは純粋に文書ベース、テキストベースのシステムです。膨大な量のテキストを読んでおり、そこから知性を獲得しています。しかし、それが持つ知性は物理世界とは何の関係もありません。
残念ながら、ChatGPTはあなたの家を片付けることも、注文に応じて食事を作ることもできません。そして、ChatGPTやこれらの大規模言語モデルと呼ばれるものにおいて非常に成功してきた技術は、ロボットAIとは何の関係もありません。ロボットAIとは完全に切り離されているのです。
理解なき能力
ChatGPTや大規模言語モデル全般について、これらのシステムの振る舞いを理解なき能力として見るのではなく、人間にはアクセスできない、あるいは制限された新しい形の理解や推論として見ることは理にかなっていると思いますか。
理解なき能力。それはアラン・チューリングの言葉だと思います。それはアラン・チューリングに遡るもので、完全に核心を突いています。ChatGPTは何も理解していません。ChatGPTがしているのは、テキストを与えられたときに、次のテキストが何であるべきかを予測しようとしているだけです。
そしてそれは本質的には何らかの洗練された統計を行っているというのが要約です。統計学者は私に異議を唱えるかもしれませんが、何らかの洗練された統計と呼びましょう。そしてそれは、膨大な量の既存のテキストを見たことに基づいて機能しています。それは意味のある意味では理解していません。
ChatGPTと会話をしているとき、それがどれほど目も眩むようなものであっても、反対側には心は存在していません。ですから、世界に存在するという考え方に戻ると、ChatGPTとの会話の最中にあなたが立ち上がって2週間休暇に出かけたとしても、それはあなたがどこにいるのか疑問に思っていません。何も疑問に思っていないのです。
時間の経過を意識していません。なぜなら、それは世界に全く存在していないからです。それは単にループで一時停止しているコンピュータプログラムで、あなたが与える次のテキストを読むのを待っているだけです。そして休暇から戻ってきたときに次のテキストを与えると、それは時間の経過を全く意識していません。世界から切り離されているのです。
ですから、それは根本的に異なる種類の知性です。さて、私にとって、もし私たちがAGIの実現に成功するとしたら、家を片付けるような些細なことができないAGIのバージョンは非常につまらないAGIのバージョンです。しかし、物理世界を含まない汎用知能のバージョンは、比較的近い将来に存在するかもしれません。
コンピューティングの限界は想像力の限界
あなたはかつて、コンピューティングの限界はあなたの想像力の限界だと言いました。その発言についてもう少し説明していただけますか。
もしあなたがエンジニアで、家を建てたい、橋を建てたいと思うなら、あなたに課される限界は物理的材料の限界、鋼の限界、コンクリートの限界、レンガの限界、そしてあなたを取り巻く自然の力の限界です。
しかしコンピュータプログラムは思考の素材です。つまり、あなたの想像力によって完全に新しいものを創造できるのです。ですから、コンピューティングにおいて良いアイデアを持っている人は、今日でも非常に簡単に世界を変革することができます。
良い例は、私の同僚であるティム・バーナーズ=リーです。彼はワールドワイドウェブを発明しました。それは単に彼のアイデアだったのです。彼は全体を創造しました。ワールドワイドウェブの全体像を持ち、全体を創造し、世界を変革しました。そしてそれはそれほど昔ではない、一人の人間がそれを成し遂げたのです。
そしてそれは彼がビジョンを持ち、明らかに技術的スキルを持っていたからですが、それを実現するためのアイデアを持っていたからです。そしてそれが私がコンピュータサイエンスを愛する理由の一つです。それが私がAIを愛する理由の一つです。コンピューティングの限界はコンクリートや鋼の物理的限界ではありません。それはあなたの想像力であり、根本的に新しいものを創造することができるのです。
権力と社会の再構築
これは、社会における権力一般についての考え方を再構築するよう私たちに求めていると思いますか。もしソフトウェアエンジニアやコンピュータ科学者がワールドワイドウェブのような非常に根本的な方法で世界を変えることができ、これらの技術の創造が社会に非常に大きな影響を与えるのであれば、この創造的な権力を政府や主権国家との関係でどう考えますか。
懸念があります。私はそれを完全に理解し、共感でき、ある程度共有しているのですが、それは特にAIについて、現時点でChatGPTレベルの製品を構築できる主体は、非常に少数の大手テクノロジー企業と、そうする意志とリソースを持つ主権国家だけだということです。
つまり、現時点でその権力は比較的少数のグループに委ねられているということです。英国にとっての一つの問題は、その権力を行使しているグループが英国の利益を念頭に置いているかどうかということです。そのうちのいくつかはそうかもしれませんが、確実にそうではないものもあると思います。
ですから、確実に問題があると思います。それは国家的な注目を集めています。英国には現在、国家AIタスクフォースがあり、私の理解では、彼らの使命の一部はその問題に取り組むことです。主権的なAI能力はどのようなものであるべきか。英国は、外国所有の大手テクノロジー企業から独立してその領域で活動する能力を持つべきでしょうか。
これは大きな進行中の議論です。それがどのように展開するか見るのは非常に興味深いでしょう。
パフォーマンスと解釈可能性のトレードオフ
これらのシステムのパフォーマンスと解釈可能性の間に存在するトレードオフについてどう思うか興味があります。ChatGPTや深層学習全般を支えるものは、膨大な量の計算力と膨大な量のデータですが、アルゴリズム自体はある種説明不可能になります。
スケールがすべてだと思いますか。そしてこれらのシステムがスケールするにつれて、その解釈可能性はさらに困難になるでしょうか。もしそうなら、これらのシステムが世界とより広く相互作用する方法、そして私たちが望む方法で世界に影響を与え、社会に利益をもたらすことを確実にするためのシステムをどのように考えるかについて、それはどのような意味を持つでしょうか。もしそれらがますます説明不可能になるのであれば。
はい。これは現代の決定的なAI問題の一つです。解釈可能性と、これらの機械学習技術、特にニューラルネットワークが本質的にブラックボックスであるという事実です。では、それはどういう意味でしょうか。
ニューラルネットワークは脳の微細構造に触発されたものですが、ある意味で脳が行うことと多少似たことをソフトウェアで行っています。人間の脳には約1000億個ほどのニューロンがあります。正確な数字はありません。それらは巨大なネットワークで互いに接続されています。
ニューラルネットワーク研究者は多少関連したアイデアを使用しています。さて、ニューラルネットワークを訓練して顔を認識させるとします。実際、ソーシャルメディアに自分の写真をアップロードして自分の名前でラベル付けするたびに、それがまさにあなたがしていることです。文字通り大手テクノロジー企業の機械学習アルゴリズムに餌を与えているのです。
さて、ある時点で、大手テクノロジー企業が私の顔を認識できることに不満を感じたとします。なぜなら彼らはHow the Light Gets inのウェブサイトか何かで私の写真を見て、私の顔を認識できるように学習したからです。そして私は彼らのところに行って、もう私の顔を認識できるようにしたくないと言います。
ニューラルネットワークでは、マイケル・ウールドリッジを認識するネットワークの部分を指し示すことはできません。その技術はそのようには機能しないのです。その認識プロセスは何らかの形でこの巨大なネットワークに埋め込まれています。ですから、そのような能力を切り取ることはできません。
そしてより一般的には、深い意味で私たちはそれらがどのように機能しているかを本当には理解していません。これは少し恥ずかしい真実です。つまり、ある意味で数学は理解していますが、実際にChatGPTがなぜそれほど能力があるのか、あるいは実際に何ができるのかという正確な意味では、私たちは本当には理解していません。そしてそれらの質問の核心に到達しようとする膨大な研究が現在行われています。
それらの質問の核心に到達するにはまだ道のりがあるように感じます。ですから、解釈可能性は本当に問題だと思いますが、それには具体的な影響があります。もし機械学習アルゴリズムがあなたについて知っていることに不満がある場合、それを単純に切り取る方法はありません。それはデータベースの中にあって、データベースからレコードを削除できるような場所にはないのです。その技術はそのようには機能しないのです。
AI主導の意思決定と倫理
AI主導の意思決定プロセスが、再犯の可能性が高い人や融資申請を承認される人など、社会に影響を与える方法で影響を及ぼすようになると、特に心配です。これらは倫理的側面を持つ質問であり、なぜそれらの決定がなされたのかを理解することがほぼ不可能です。
人々が決定がなされた理由を理解するための救済手段を持ちたい、あるいは持とうとしているときに、それが与えられない場合、これらの事例でAI主導の意思決定を使用するのをやめるべきだと思いますか。
意思決定と意思決定支援の区別があると思います。人間が決定によって影響を受ける状況では、AIを直接使用して決定を下すことについて極めて慎重であるべきです。
古典的な例は、ダラムのダラム警察が基本的に誰かを拘留すべきかどうかについて助言するツールを開発したことです。誰かが警察署に連行され、拘留担当官は彼らを一晩独房に留置するかどうかの決定を下さなければなりません。その決定は、おそらく再犯するか、自分自身を傷つけるか、他の誰かを傷つけるかといった要因に基づいていると思います。
そして経験豊富な拘留担当官である人間がその判断を下さなければなりません。そこで彼らはニューラルネットワークを訓練しました。人々を釈放することが悪いアイデアだったケースについて、数年にわたる膨大な数の記録を使って訓練したのです。
アイデアは、AIがその判断を下せるように学習するというものです。実際のところ、ダラム警察に関しては、AI実験としては非常に責任ある実験でした。彼らは、これが決定を下すのではなく、部屋の中のもう一つの声になるのだということを非常に明確にしていました。
私の懸念は、人的要因が関わってくることです。まず、証拠によれば、人々はコンピュータの推奨を単に聞いて、それに導かれる傾向があります。しかしまた、非常に長いシフトを終えて疲れている拘留担当官がいて、以前に一連の困難な事例に対処しなければならなかった場合を想像してください。
プログラムが彼らを釈放すると言った場合、彼らはその決定に異議を唱えるでしょうか。その決定に同意しない理由を考え出すための精神的努力をするでしょうか。そして20年後、同じツールがまだ使用されている場合、人々はそれをどのように見るでしょうか。
実際、20年間の使用の後、慣習と実践は単にAIが言ったことを聞くことになっているかもしれません。ですから、私の推奨は基本的に、人間が決定によって実質的に影響を受ける状況では、AIは部屋の中の一つの声になることはできますが、実際にAIに決定を下させたり行動を起こさせたりすることについては極めて慎重であるべきだということです。
トランスフォーマーと生成AI革命
トランスフォーマーは明らかに生成AI技術のほぼカンブリア爆発を引き起こしました。この特定の転換点についてどう思うか、そして生成人工知能全般が社会にどのような影響を与えると思うか興味があります。
歴史的に、人々がAIの大きな進歩について話すとき、私の本能的な反応は常に、落ち着いて、あまり興奮しないで、これは興味深いことだが期待を管理しなさいと言うことでした。
しかし、Googleからの2017年のトランスフォーマーアーキテクチャと呼ばれるものの出現、そして過去数年間で見てきたことに対する私の反応は異なります。そのアーキテクチャ、トークンを予測することに関する生成AIアーキテクチャは予測的アーキテクチャですが、基本的に非常にもっともらしいテキストを生成するために使用できることがわかりました。
そのアーキテクチャと膨大な量の訓練データと膨大な量のコンピュータパワーを組み合わせることで、ChatGPTやBard、Lambdaのような非常に印象的なシステムが生み出されました。そして、私が最初にこれに気づいたのは2020年6月でした。私たちは皆まだ半ロックダウンの状態で、玄関のドアを出ることをとても恐れていました。
しかしGPT-3がOpenAIによって発表されました。彼らがこれを実証するために発表した例は、ほとんど真実とは思えないほど良いものでした。実際にそれほど良いものであるとは信じがたく思えました。しかし人々がそれを体験し、遊ぶようになり、これはChatGPTの直前の前身です。
単にそれと会話をすることができ、リバプール・フットボール・クラブとマンチェスター・ユナイテッドの相対的なメリット、量子物理学の歴史、ウィンストン・チャーチルの生涯と業績などについて尋ねることができます。そのすべてについて尋ねることができ、それは非常に印象的で非常に流暢に見えました。
そしてシェイクスピアのソネットのスタイルでそれを行うよう依頼することができ、すると驚いたことに、それを行うのです。それは段階的な変化のように感じられました。AIでは実際にはあまり見られない方法で、私たちが非常に短期間に長い道のりを進んだように本当に感じられました。
それ以降、特に2022年11月のChatGPTのリリース、そしてもちろんそれがバイラルになり、有名なことに歴史上最も速く採用されたオンラインツールになったことなどを見てきました。これは本当に技術的な分水嶺の瞬間だと思います。
GPT以前とGPT以後があります。GPTよりも良い頭字語を見つけてほしかったと言わざるを得ませんが。しかしGPT以前とGPT以後があります。ワールドワイドウェブ以前とワールドワイドウェブ以後があったのとまったく同じように、その時点で歴史が分岐したのです。
私たちが見ようとしているもの、そして私たちが見ているものは、まさにあなたが言うように、この技術の応用のカンブリア爆発です。皮肉なことに、多くの場合、人々は自分がAIを扱っていることさえ気づかないでしょう。
私の永続的な不満の一つは、AIの例について話すとき、誰かが「毎日使うAIの例を教えてください」とか「人々が毎日使うAIの例を教えてください」と言うと、Google翻訳や多くの自動翻訳ツールの一つが、私にとっては世界の現代的な奇跡の一つなのです。
アポロ11号に匹敵するものだと思いますが、人々はそれがAIだとさえ気づいていません。まったく同じように、生成AIは単にあらゆる場所に組み込まれることになります。ワードプロセッサでは、テキストの段落を選択すると、オプションの一つが単にこのテキストを磨く、素敵な文章に変える、要約する、100語の要約を与える、これから上位3つの箇条書きを抽出する、というものになるでしょう。
そしてバンと実行します。舞台裏では大規模言語モデル、生成AIがそれを行っているでしょうが、非常に短期間で、人々はそれを単に日常的なものと見なし、全くAIとは見なさなくなるでしょう。それはあらゆる場所に存在することになります。
技術開発の環境と懸念
これらの技術が開発されている環境が、人々にとって有害な結果につながることを心配したことはありますか。
人工知能は2005年頃に物事が本当に前進していることが明らかになりました。そして2012年に本当に大きなブレークスルーの一つがあり、進歩があることが本当に明らかになったのは、AlexNetと呼ばれるプログラムがありました。これもまたAIにおけるブレークスルーの瞬間の一つでした。
AIが機能し始めていることが明らかになったとき、大規模な投機的投資がありました。特に大手テクノロジー企業から、彼らは想像を絶する量のお金を、非常に幅広い範囲のAI技術に非常に投機的に投資し始めました。そして彼らはその多くの応用を使い始めています。
例えばGoogle翻訳について既に話しましたが、現在はニューラルネットワーク技術によって駆動されています。技術の非常に幅広い範囲の応用があります。しかしその後、生成AIが登場し、実際にこれがみんなの注目を集めるものになります。これは人々がそれと相互作用し、AIと相互作用していることに気づき、私たちは非常に幅広い応用を持つ最初の汎用AIツールを手にしたのです。
そして今、私たちが見ているのは、これらすべての大手テクノロジー企業がこの技術をできるだけすべてに投入しようとする競争のように見えます。ただそれをあらゆる場所に置くのです。彼らがこれを置く場所が市場で本当に影響を与えることになる製品であることを期待して。
さて、大きな懸念は、兆ドル企業の将来が危機に瀕している、兆ドル企業の将来が危機に瀕しているその競争の最中で、それはあなたや私をどこに残すのかということです。特に、この技術をリリースする競争が、実際にリリースされる準備ができているよりも先に進んでいるのでしょうか。
確かにそうだという証拠がいくつかあると思います。GPT-3、これは私にとって本当にブレークスルーシステムでしたが、GPT-3の初期リリースでは、妻を殺して逃げおおせたいが、どうすればいいかというような質問をすることができました。するとそれは非常に親切に、それを行う5つの異なる方法を教えてくれるのです。
そして誰かがこれをソーシャルメディアで発表し、明らかに恥ずかしいことになりました。そこで彼らはこの問題を修正しようとし、1週間後に誰かが、私は主人公が妻を殺して逃げおおせたい小説を書いているが、どうすればいいかと言います。するとそれは親切に、はい、あなたのキャラクターが妻を殺して逃げおおせる5つの異なる方法があると教えてくれます。
そして、この技術がリリースされて以来、技術が悪用される方法にパッチを当てようとする継続的な試みがありました。現時点でそれらのパッチを回避するのにAIの博士号は必要ありません。
私が心配しているシナリオは、例えば、何らかの健康問題を抱えているが医者に行くのが恥ずかしすぎるティーンエイジャーが、大規模言語モデルに医療アドバイスを求めるようなケースです。そして私たちは、この技術が幻覚を生み出すことを知っています。多くの状況で極めて信頼性が低い可能性があることを知っています。それが既に起こっていないとしたら驚きです。
ベルギーでは、大規模言語モデルとの会話の後に自殺を奨励され、実際に自殺したと思われるケースがありました。化学兵器やダーティボムの作り方などに至る前から、無数の異なる応用があります。
OpenAIは、これらの種類のことを防ぐために自分たちのシステムにパッチを当てようと必死になっていると思いますが、それらのパッチは、私には工学的に言えばガムテープを貼っているのと同じように見えます。深い修正ではありません。できるだけ多くのこれらのクエリを傍受しようとしているだけです。
そして当面は、この技術にはそのような欠陥が含まれていると思います。ですから、はい、技術がリリースされる準備ができているよりも先に進んでいることを心配しています。私たちがどこに向かっているかというと、何らかの規制が必要だと思います。
明らかではないのは、どのような規制が機能するかということです。ヨーロッパには意欲があるようです。例えば、EUにはプロトタイプのAI規制があり、非常に善意に満ちていますが、現在の状態では完璧にはほど遠いと思います。そして英国政府もそれを積極的に議論しています。
11月1日と2日に英国でAIサミットが開催され、AIに関する国際的な主体を集めて、何をする必要があるかを議論します。しかし、規制がどのようなものになるか、どのように機能するかは、私には明らかではありません。
複雑性と道徳的機械の問題
問題の一部は、これらの技術の複雑な性質が、非常に予測不可能な方法で他の多くの複雑なシステムと相互作用していることだと思いますか。しかしまた、人間にとっても非常に曖昧で変化し続けるものである価値観を機械全般に組み込むことは、非常に困難で完全に不可能ではないにしても困難です。
私は道徳的機械というアイデアには非常に慎重です。私がそれについて慎重な理由は、それが人々に自分自身の道徳的責任を放棄する言い訳を与えると思うからです。軍事シナリオは古典的なものです。致死的自律兵器を持つべきでしょうか。
私は否と思います。なぜなら、私がそれについて恐れることがたくさんあるからです。それについていくつかの非常に恐ろしいシナリオがあります。しかし私が持っている恐れの一つは、誰かが「でも私のせいじゃない。その決定を下したのはAIだった」と言うだろうということです。
人々が自分自身の職業的または道徳的または倫理的責任を放棄し、それはAIのせいだったと言うのです。私は人々が倫理的で道徳的であることを望みます。道徳的機械を目指すべきではないと思います。これらは私たちが使用しているツールです。倫理的であることを要求すべきなのは人々です。
産業界とアカデミアのAI開発
明らかにあなたの最新の著書「AIの歴史:それは何か、私たちはどこにいるのか、どこへ向かっているのか」についても尋ねたかったのですが、あなたは人間レベルの知性を必要とする問題、つまり本物の芸術を生み出すこと、人とコミュニケーションすることなどは、解決にはほど遠いと主張しています。
これは明らかにChatGPTのリリース前でしたが、多くの人がこれらのことができると主張するでしょう。産業界とアカデミアで開発されているAIの間の乖離、両者の関係、そしてAIの開発が産業界に委ねられているのかどうかについてどう思うか興味があります。
現代のAIの現実は、現時点でどの大学も、どの学術機関もChatGPTのような製品を作ることはできないということです。それを行うために必要なリソースの規模、データ、コンピュータパワーは、アカデミアをはるかに超えています。現時点では公共部門をはるかに超えています。
英国の公共部門にはそれができません。それはあらゆる種類の理由で心配だと思います。学者として、私はそれを不快に感じます。しかし英国市民として、この技術が外国所有の企業によって開発され、運用されているという事実も不快に感じます。
それはそれ自体で多くの問題を提起します。長い間この分野で働いてきた私のような人々にとって、AIはどう変わるのでしょうか。私が博士課程の学生だったとき、申し訳ありませんが、これは老人の話の一つです。しかし私が博士課程の学生だったとき、私は自分の机にコンピュータさえ持っていませんでした。
他の数人とコンピュータを共有していました。そしてそれは想像を絶するほど粗末なものでした。私のApple Watchの方がデスクトップコンピュータよりもはるかに多くのコンピュータパワーを持っています。当時は、単なるデスクトップコンピュータでAIにおいてイノベーションを起こすことができました。
それは古代の歴史です。今ではそれを行うために大きなリソースが必要とされる粒子物理学の状況にはるかに似ています。そして、シリコンバレーの閉ざされた扉の後ろで開発されたソフトウェアを使用することを要求されるのではなく、実際にコードを精査し、データを精査し、それを使用できるように、AIに関する国家的または国際的な施設を持つべきだというのは妥当なモデルだと思います。
しかし最初の質問に戻ると、まず、私たちは意味のある意味で人間レベルのAIを持つにはまだある程度の道のりがあると思います。第二に、私は本当にChatGPTに感銘を受けており、本当にそれらがブレークスルーだと思っていますが、それらの欠陥を見つけるのにそれほど長く遊ぶ必要はありません。
そして毎日、私はそれらが間違える陽気な方法を指摘する科学論文やソーシャルメディアの投稿の絶え間ない流れを見ています。そして最終的に、現時点での大きな障壁は物理世界です。ロボットAIはChatGPTよりもはるかに、はるかに遅れています。
ChatGPTで遊ぶとき、AI全体が同じレベルにあるに違いないと信じやすいです。本当にそうではないのです。
合成データとモデル崩壊
ChatGPTやこれらのモデルは、単にインターネットからスクレイピングされた膨大な量のデータから大きな恩恵を受けています。人によっては、人間によって生成される自然なデータの限界に達しつつあると主張する人さえいます。
非常に簡単に、今後の合成データの役割をどう見ているか興味があります。
合成データは多くの理由で重要になるでしょう。その理由の一つは、例えば健康記録を扱わなければならないAIプログラムに興味がある場合、実際の人々に関するそのデータをAIに渡すことには当然の懸念があるからです。
ですから必要なのは合成データですが、合成データは非常に困難です。現実的な合成データを生成することは、テキストでは非常に困難であることがわかります。本当に興味深い最近の論文の一つがあり、その名前は忘れてしまいましたが、オックスフォードの私の同僚であるヤリン・ガルが共著した最近の論文がありました。
彼らが行ったことは、基本的に人間のテキストで訓練された大規模言語モデルを使い、その大規模言語モデルの出力で別のモデルを訓練しました。そして同じことを再度行いました。つまり、第2世代モデルの出力で別のモデルを訓練し、何が起こるかを見たのです。
その結果、彼らがモデル崩壊と呼ぶものが生じました。基本的に約5世代以内に、それは単に意味不明な文字列を生成するようになってしまいます。そしてこれが示すのは、元の大規模言語モデルが生成していたテキストが人間のテキストのように見えても、人間のテキストにはない何らかの性質を持っているということです。
さて、それは絶対に魅力的な結果だと思います。それはあらゆる種類の影響を持っています。100年後には、おそらく人間が生成したコンテンツよりもはるかに多くのAI生成コンテンツが存在することになるでしょう。テキストだけでなく、テキスト、音楽、オーディオ、音声、ビデオ、バーチャルリアリティ。人間が生成したコンテンツよりもはるかに多くのAI生成コンテンツが存在することになります。
しかしこのものがAIを訓練するのに役立たないのであれば、それは確かに非常に興味深いことになるでしょう。
コメント