私の名前はジェームズ・バラットです。映画製作者であり作家です。約10年前に「我々の最後の発明:人工知能と人類の時代の終わり」という本を書きました。現在はその続編を執筆中です。その間に自殺防止に関する映画を制作し、来年の夏に出版される本も書きました。
ベン・ゲッツェルとは2010年頃から知り合いです。カリフォルニアのグーグルプレックスで彼がAGI（汎用人工知能）会議を開催していたときに出会いました。話をするうちに、どうしても彼にインタビューしたいと思いました。偶然にもメリーランド州で数マイルしか離れていない場所に住んでいることがわかったので、一日彼と過ごし、私の本のために多くの良い材料を得ることができました。それ以来連絡を取り合っています。
この本のために一度インタビューをしましたが、もう一度したいと思っています。彼が私をここに招待してくれて、多くのものを得ることができました。それは、AIが過去10年間で大きく変化したという私の確信を再確認させてくれました。AI安全性はより発展し、より洗練されたものになりました。
私がAI安全性について初めて関わり始めたとき、AI安全性組織は2つしかありませんでした。1つはMIRI（機械知能研究所）で、もう1つはオックスフォード大学の未来人類研究所だったと思います。今では80もの組織がAI安全性に専念しているはずです。
残念ながら、AI安全性に関して針が全く動いているようには見えません。実際、これらの組織の多くが4大AI企業と提携し、妥協してしまったように思います。彼らは規制の捕捉を行っています。議事堂で「規制されたい」とロビー活動をしていますが、本当に望んでいるのは上院議員と親しくなって規制を回避することです。規制を避けるためにどこにお金を配るかを把握したいのです。
AI安全性で本当に良い進歩を遂げるのを妨げる策略がたくさんあります。一方で、私はある意味で悲観論者です。アラインメント、つまりAI安全性の鍵となるアイデアである「AIの行動を私たちの望むこと（単に言葉で表現することだけでなく）に合わせる」ということは、行き詰まりだと思います。
あまりにも多くのモデルが存在し、一部は無料で提供されています。メタは自社のモデルを無料で公開しました。それは悪用されるでしょう。そのため、アラインメントは不可能だと思います。徐々に、ほとんど自然選択によって、最強のAIシステムが勝利を収めるでしょう。そして私たちよりも優れているため、私たちを超えていくでしょう。私たちが行うあらゆることにおいて優れているからです。
時間の問題で、私たちは政府システム、全ての公共事業、全ての機能の制御をAIに委ねることになるでしょう。その後、AIが私たちをペットのように扱うか、世話をする対象として扱う可能性はありますが、その可能性は非常に小さいです。あるいは、単に私たちを無視し、私たちの惑星を乱用し、好きなことをするでしょう。そしてそれが私たちの終わりとなるでしょう。
これが私の明るい未来予想です。2人の子供がいるので、彼らが「私たちの最後の発明」って本当に最後の発明なの？と聞いてきたときに、もっと良いニュースを伝えられればいいのですが。私は「大きくなったら話そう」と言います。
最初の本を書いたとき、映画を作ることを考えました。数人の人が本の映画化権を取得したいと言ってきたり、ドキュメンタリー映画を作るための資金を提供したいと言ってきました。私はPBSで自殺に関する映画を作ったばかりでしたが、AIは非常に非視覚的なものなので、映画化には抵抗がありました。
AIは、本当に優れたロボットがたくさん登場するようになれば、もっと視覚的になるでしょう。しかし現時点では、コンピューターアレイやチップ、話す頭部など、見るべきものがあまりありません。自動運転車など、いくつかのものはありますが…
自慢するわけではありませんが、私は主に報告をしていました。その本のためにレイ・カーツワイルや、ベン・ゲッツェル、スティーブ・オムンドロなど、AIの大物思想家たちと多くの時間を過ごしました。私は独自のアイデアを生み出したわけではありませんが、全ての情報を吸収し、自分なりの見解を統合しました。
技術的な問題に関して最も優れた予言者は、多くの推測をするので間違いも多いのですが、他の誰よりも多くの推測や見積もりを行っているレイ・カーツワイルです。彼は7%の時間で間違っていると批判されますが、残りの時間では正しいのです。
彼はいつも、2029年までに人間と同じくらい賢いコンピューターを作り、ラップトップのように安価に購入できるようになると言っていました。私たちはそこに向かっているように思います。彼はまた、シンギュラリティについても非常に前向きで、永遠に生きたいと思っています。それは有名です。しかし、私はそのようにはならないと思います。
インテリジェンス・エクスプロージョンと呼ばれるものに到達するという別の考え方もあります。これはI.J.グッドによって提唱されたアイデアです。グッドはアラン・チューリングとともにブレッチリー・パークでエニグマ暗号解読に取り組み、その後教鞭を取りました。彼は有名な統計学者としてアメリカに招かれ、バージニア工科大学で教えていました。
彼はIBMのために、ロジャー・ローゼンブラットによって作られた最初のニューラルネットワークの1つを評価しました。これは非常に興味深い話です。その後、彼は声明を書きました。その中で彼は、「コンピューターが人工知能の研究開発において私たちよりも優れるようになる時が必ず来る。そうなれば、彼らが知能の進歩のペースを決めることになり、私たちではなくなる。そして彼らは世界の全ての問題を解決するだろう。なぜなら、私たちには多くの問題があるからだ」と述べました。
多くの人々がそれを良いニュースだと思いました。私は彼の死後数年してブラックスバーグに行き、彼の友人全員にインタビューしました。そして、彼が書いた論文を手に入れました。そこには「私が言った、彼らが全ての問題を解決するだろうということについて、彼らはそうしないだろう。おそらく私たちを一掃するだろう。私たちはお金を追いかけてレミングのように崖から落ちていくだろう」と書かれていました。
ここには何十億ドルもの金額がかかっています。四半期報告書によって法的に統制されている企業がたくさんあります。彼らが後戻りすることはありません。彼らが減速することはありません。彼らはAGI（汎用人工知能）を作るための非常に激しい競争の中にいます。AGIは大まかに人間レベルの知能です。その直後に、ある人々は数年かかると考えていますが、ある人々はそう思っていません。すぐに超知能を持つことになるでしょう。
問題は、私たちが自分たちよりも100万倍賢い何かと同じ惑星で共存する方法を知らないということです。一つの見方をすれば、それは単に賢いだけでなく、速いのです。あなたが1時間考えている間に、それは任意の問題について100万時間考えているのです。そしてそれはより賢いのです。
私たちには、それが偶然にも認知アーキテクチャのマザー・テレサであるという非常に低い可能性がない限り、チャンスはありません。なぜなら、私たちにはそれを構築する能力が全くないからです。MIRIは長年にわたってフレンドリーAIを作ろうとしてきました。現在、彼らはフレンドリーAIを「アラインメント」や「価値のアラインメント」として再ブランド化しています。それは同じことです。
エリエゼル・ユドコウスキーは、AI安全性の元祖の思想家の一人で、2010年に私がインタビューしました。エリエゼルはタイムズ紙で論説を書き、基本的に「終わりだ」と言いました。彼は「アラインメントは私たちの手に負えない。この考え方では、技術競争が行われている間は、私たちにはできない。必要なのは、それを停止することだ。停止しなければ、私たちは全員死ぬだろう」と述べました。
これは、AIが十分に進歩して自身の人工知能研究を行うようになれば、I.J.グッドが言ったように、私たちがフレンドリーになるようにプログラムしていない限り、すぐに知能で私たちを追い越すだろうという考え方に従っています。それはフレンドリーではありません。それは獲得的で、欺瞞的で、資源を集めたいと思い、オフにされたくないと思い、自分自身を守ろうとするでしょう。
それはプログラムされた目標を果たそうとし、それを極限まで行うでしょう。ある時点で、それは自身の主体性を発展させ、自身のアイデアを思いつくでしょう。私たちが勝ち目のあるシナリオは本当にありません。
私たちができる最善のことは非常に不人気ですが、それは現状で凍結することです。現在の生成AIから多くの活用ができます。多くのことができます。本当に理解するまでは抑制する必要があります。この技術について最も怖いのは、誰もそれがどのように機能するかを理解していないことです。
メカニスティック解釈可能性と呼ばれるものでいくらか進展している人々がいます。大量のデータをディープラーニングのニューラルネット、トランスフォーマーモデルに基づいたものに入力すると、それは数字と小数点に変換され、それらの単語を分解し、理解できる順序で並べ替えます。
単語を見つけることはできません。断片が周りに散らばっています。単語の断片やアイデアの断片、あるいは何かの断片の銀河を想像してください。それらは一緒ではありません。星で満ちた空を見るようなものです。そしてこれらのものの間には数十億のパラメータまたは接続があります。そのため、それを見ても理解することはできません。
現在、正直に言えば、誰もこの技術がどのように機能するかを理解していません。彼らが知っているのは、トランスフォーマーモデルに基づいたディープラーニングシステムに大量のデータを投入すると、次の単語を予測することが非常に得意になるということです。
統計的分析を行い、クエリを分析し、統計的に近い単語を見つけ、それに答えようとします。そして、それは次の最適な単語を言うことによって、文章やエッセイを非常に強力に構築します。それはあなたが考えるよりも速く行います。
ChatGPTや他のものを使ったことがあれば、それが驚くほど速いことがわかるでしょう。それは常に改善されています。数ヶ月前に初めて使い始めたときと比べて、文章の質が格段に向上しています。
しかし、誰もそれらがどのように組み合わされているかを理解していません。現在、入力から出力を追跡しようとしている人々がいます。それがどこに入ったのかを見つけ出し、機械学習プローブでそれを特定しようとしています。彼らはいくらか進展を遂げていますが、それは海の一滴に過ぎません。
メカニスティック解釈可能性、つまり夢は、全てがどこに行ったかを理解できれば、それがどのように機能するかを理解でき、間違いを防ぐことができる、あるいは間違いを見つけることができるというものです。
私たちには間違いを修正する方法がありますが、間違いは本当になくならないのです。ドイツ人が作成した「Lambda」という巨大なデータセットがあります。彼らはそれを多くの人々に売りました。しかし、その中には大量の児童ポルノ、獣姦、レイプなど、本当に恐ろしいものが含まれていることが判明しました。しかし今やそれは世に出回っており、多くの人々がそれを使って自分たちのLLM（大規模言語モデル）や画像生成器を訓練しています。
1つを見つけてブロックしようとしても、また別の場所で現れる可能性があります。これは、私たちがそれらをいかに理解していないかを示しています。良い図は描けません。これらの問題のいくつかを解決しようと一生懸命働いている賢い人々がいます。
Anthropicが、アラインメントを解決するために計算能力の25%を提供すると言ったと思います。しかし、それはグランドキャニオンをティースプーンで埋めるために計算能力の25%を提供するようなものです。私が知る限り、希望的なシナリオはあまりありません。
スティーブ・オムンドロとマックス・テグマークが、全ての決定を安全にするために証明を使用するシステムを考案していると聞きました。数学的証明については、まだ理解していません。いつか理解できることを願っています。
私たちは、私たちより100万倍賢い何かと同じ惑星で共存する方法を知りません。スティーブン・ホーキングが言ったように、彼らは私たちには理解できない武器を作るでしょう。私たちの最も賢い政治家（これは非常に低いハードルですが）を出し抜くでしょう。
彼が言ったように、それはまるで宇宙人の文明が私たちにポストカードを送って「20年後に訪問します」と言ってきたようなものです。私たちは何をするでしょうか？私たちがしているのは「ああ、明かりをつけておきますよ。お待ちしています」と言うことです。私たちは全く準備をしていません。
これは、以前のどの技術の通常の発展経路よりも、宇宙人の侵略に似ています。AGIは私たちが考えているよりも早く来る可能性があると思います。なぜなら、大規模言語モデルだけではないからです。生成AIだけでもありません。いくつかの重要な要素が欠けています。
常識を持つ必要があります。因果推論を理解できる必要があります。物事をより良く理解する必要があります。意図が必要です。AGIになる前にはまだたくさんの必要なものがあります。
ただスケールアップを続ければ、これらの素晴らしい特質が全て現れるだろうと考える人もいます。そのための奇妙な議論があります。より大きくすればするほど、新しい特性が現れるというものです。それらは訓練データから来たのでしょうか？それともモデルのサイズが内部で起こっている錬金術的なことに何か影響を与えて、これらの特性を生み出したのでしょうか？誰も知りません。それが百万ドルの質問です。
私たちはただスケールアップしてAGIに直接到達するかもしれません。多くの人々はそうはならないと考えています。AIを意図的に作る必要があると考えています。そして、AGIは超知能への一歩手前です。
もちろん、超知能を制御下に置くことができれば素晴らしいでしょう。すでにタンパク質折りたたみ問題は解決されています。これは多くの病気の治療法を作るのに非常に有益です。DNAを操作するのに素晴らしい助けになるでしょう。それはCRISPR（DNAスプライサー）を超チャージするでしょう。
しかし、超知能にはメリットがないと思います。私たちにはそれは必要ありません。現状で凍結するのが良いと思います。
この会議については、素晴らしいものでした。このように知的な人々と一緒にいるのは喜びです。ベンが私を招待してくれたことに非常に感謝しています。このような会議に参加したのは久しぶりです。本を出版した後、ほとんどの時間を映画製作に戻して過ごしていました。
しかし今、しばらくの間この世界に戻ってきて、ここにいられることに本当に感謝しています。以前に会ったことのある人々もいます。昨日、最も面白いことが起こりました。ある男性が近づいてきて「こんにちは、ウェンデル・ウォリックです。あなたはジェームズ・バラットですか？」と言いました。
私は「はい、あなたはウェンデル・ウォリックですね」と答えました。10年間、私が講演をするときはいつも、「イェール大学の偉大な倫理学者ウェンデル・ウォリックは、AIと自動化について真剣に考えるためには、懲戒的な事故が必要だと言いました。何か悪いことが起こる必要がありますが、あまりにも悪すぎてはいけません」と言っていました。
何年もそう言い続けてきましたが、ウェンデル・ウォリックに会ったことはありませんでした。彼の本の中でそれを読んだだけでした。そして彼がそこにいたのです。彼は私に近づいてきて「『我々の最後の発明』を本当に気に入りました」と言いました。それがどうして起こったのか、私はとても嬉しくて、写真を撮って妻に送りました。
ロビン・ハンセン、マックス・ムーア、彼の妻ナターシャなど、素晴らしい人々に会います。定期的にこのような会に参加していれば、彼らにもっと頻繁に会えるでしょう。ある意味でAI安全性クラブのようなものです。私はある意味で周辺的なメンバーですが、議論の質が非常に高いので、私はただついていくのに必死で、彼らが話していることの多くを理解できていません。
『我々の最後の発明』と今回の本での私の目標は、誰もが理解できる言葉で表現することです。なぜなら、人々はこれがいかに深刻なことかを知る必要があるからです。学術論文を読んでもそれを理解することはできません。なぜなら、彼らは学術論文を読まないからです。
彼らが読むかもしれないもの、私が読んでほしいと思うもの、前回読んだものは、速く、魅力的に書かれた、平易な言葉で書かれた、何が起こっているのか、そしてどのような可能性のある結果があるのかの説明です。それが私の本です。
宣伝はされませんでしたが、口コミだけで非常に人気になりました。今回はもっと宣伝してくれることを願っています。
ベンは天才です。最初に彼と話したとき、そしてこの数年間、私はそれを認識していなかったと思います。しかし、彼は本当に天才です。彼は多くのことについて多くのことを知っています。人々を組織する才能があります。人に対して決して怒鳴ったりしない、この魅力的で優しい態度を持っています。
彼にしかできないことです。彼は厳格な科学者の顔を持っています。以前は教師だったので、教師の顔も持っています。そして、ある意味で多才な人でもあります。しかし、彼はまた起業家の顔も持っていて、「そうだね、4ヶ月でパナマに三つのリングのサーカスを作ろう」と言って、それを実現するために人々を動員することができます。
彼らに称賛を。私たちにはもっと多くのベン・ゲッツェルが必要です。
コメント