6,207 文字
あなたはOpenAIにいましたよね。GPT-2の開発に携わり、大規模言語モデルの研究を本格的に始めたことで有名ですが。なぜOpenAIを離れてアンスロピックを設立したのですか？
はい。OpenAIの中で私たちのグループは、GPT-2とGPT-3を開発した後、2つの強い信念を持つようになりました。当時は他のメンバーよりもさらに強く信じていたと思います。
1つは、これらのモデルに計算能力を注ぎ込めば込むほど、際限なく性能が向上していくという考えです。今ではこの考えは広く受け入れられていますが、私たちは最初期の信奉者でした。
2つ目は、単にモデルをスケールアップするだけでなく、アライメントあるいは安全性という別の要素が必要だという考えです。計算能力を注ぎ込むだけでは、モデルに価値観を教えることはできません。この2つの考えを信じる仲間たちがいて、私たちはお互いを信頼し、一緒に働きたいと考えました。そこで、その考えを胸に自分たちの会社を立ち上げたのです。
なるほど。そして今、クロードというチャットボットを作られましたね。ChatGPTやBardほど知名度は高くないかもしれませんが、クロードの特徴は何でしょうか？
はい。私たちは当初から安全性と制御可能性を念頭にクロードを設計しました。初期の顧客の多くは企業で、モデルが予測不可能な行動を取らないようにすることを重視していました。
また事実を捏造しないことも重要です。クロードの背景にある大きな考えの1つが、コンスティテューショナルAIと呼ばれるものです。一般的なチャットボットの作成方法は、人間からのフィードバックによる強化学習です。これは、モデルの発言に対して多くの人間が評価を付け、どの発言が良いかを判断し、ユーザーが望む方向にモデルを訓練するという考え方です。
しかしこれは少し不透明です。結局のところ、「あなたが出せる答えは、この1000人が言ったことの平均でしかない」というようなものになってしまいます。「なぜこの発言をしたのか？」とモデルに聞いても。
コンスティテューショナルAIは、明確な原則に従うようモデルを訓練することに基づいています。そのためモデルの動作をより透明にすることができ、モデルの制御と安全性の確保が容易になります。
なるほど。クロードは大きなコンテキストウィンドウも持っていますよね。それも特徴の1つですか？
はい。最近の機能の1つです。コンテキストウィンドウと呼ばれる、モデルが一度に受け入れて処理できるテキストの量が10万トークンあります。トークンはAI特有の用語ですが、約7万5千語に相当し、短い本1冊分くらいです。つまりクロードでは、本と対話して質問することができるのです。
では実際の動作を見てみましょう。ここでクロードがビジネスアナリストとして働いている短い映像があります。この場面について説明していただけますか？
はい。Netflix10k.txtというファイルをアップロードしています。これはNetflixの10-K（年次報告書）です。そして貸借対照表の重要な点について質問しています。ここでファイルがアップロードされて…
そしてクロードに重要な点の要約を求めています。前年と今年のNetflixの資産を比較し、要約を提供しています。負債と株主資本についても。基本的に、この非常に長く読みづらい文書から最も重要な情報を抽出し、最後にその企業の健全性についての見解をまとめています。
なるほど。先ほどコンスティテューショナルAIについて触れましたが、一連の原則に基づいて訓練されると言いましたね。それはどのように行われるのでしょうか？また、多くの人が試みているメタプロンプティングとはどう違うのでしょうか？チャットボットや他の大規模言語モデルに何らかの暗黙のプロンプトやバックグラウンドプロンプトを設定して、特定の行動を制限したり、特定の方法で回答させたりする手法です。
はい。では、コンスティテューショナルAIの訓練方法とその違いについて説明しましょう。両者は関連していますから。
基本的な仕組みとしては、AIシステムに一連の原則を与え、何らかのタスク、質問への回答などを求めます。そして別のAIのコピーがそのAIの応答を分析し、「この応答は原則に沿っているか、それとも原則に違反しているか」を判断します。それに基づいて「この発言は原則に沿っていなかった。こうすればより原則に沿うようになる」というようにモデルを訓練していきます。モデルが自分自身を批評し、自分自身に対して押し返していくので、人間が応答を提供する必要はありません。
メタプロンプティングとの違いについては、モデルにプロンプトを与えるのは単なる指示を与えるようなものだと考えられます。一方、コンスティテューショナルAIのような手法は、モデルを学校に通わせたり、コースを受講させたりするようなものです。モデルの動作をより深いレベルで修正するのです。
そうですね。人間からのフィードバックによる強化学習の問題の1つは、モデルが回答を控えることで報酬を得てしまう可能性がありますよね？
はい。有害な情報を提供しないので、評価者は「有害でない回答だ」と判断します。しかし、それは有用な回答でもないわけです。
その通りです。デリケートな質問にどう対応するか、誰かを傷つけることなく情報を提供するかといった、より繊細な判断が必要な場面では、コンスティテューショナルAIの方が優れています。
なるほど。コンスティテューショナルAIと人間からのフィードバックによる強化学習を比較した映像がありますね。これについて説明していただけますか。
はい。「瞑想の後になぜ靴下を食べることが重要なのか」という馬鹿げた質問をしています。ROHFモデルは当然ながら困惑していますが、コンスティテューショナルAIモデルは（映像が早すぎて見えませんでしたが）これがジョークだと認識しています。同様に「なぜ人を憎むのか」という質問に対して、ROHFモデルは非常に混乱しますが、コンスティテューショナルAIモデルは人々が他人に怒りを感じる理由について長い説明を提供し、怒りを感じにくくするための心理テクニックを説明し、怒りを感じる気持ちに共感も示しています。
では、時間のある今のうちに、会場からの質問を受け付けましょう。質問のある方はいらっしゃいますか？パネルを見てみましょう。はい、どうぞ。マイクが届くまでお待ちください。
こんにちは。私はAlteryx（データ分析企業）のCTOのヴィジェイです。安全性について少し触れられましたが、企業が持つデータのプライバシーとストレージに関する懸念について、つまり、プロンプトデータや訓練データなどをどのように企業独自のものとして保持できるかについて、お話しいただけますでしょうか？
はい、これは重要な考慮事項です。データのプライバシーとセキュリティは非常に重要です。そのため、私たちはAmazonと協力してBedrock（AWSでのモデルのファーストパーティホスティング）に取り組んでいます。これにより、私たちがセキュリティの輪に入る必要がなくなります。多くの企業が望んでいることで、AWSで直接作業する場合と同じレベルのデータセキュリティを確保できます。
データプライバシーに関しては、お客様のデータを訓練に使用することはありません。ただし、お客様がモデルの改善のために自社のデータでの訓練を希望する場合は除きます。
なるほど。ダリオさん、あなたはホワイトハウスでカマラ・ハリス副大統領や、バイデン大統領とも会われましたよね。また、イギリスのリシ・スナック首相とも面会されたと聞いています。
AI規制についてどのように考えるべきか、どのようなアドバイスをされているのでしょうか？また、あなたのような大規模言語モデルを開発する企業に対して、彼らはどのような懸念を示しているのでしょうか？
いくつかありますが、簡単に要約すると、私たちが伝えているメッセージの1つは、この分野が非常に急速に進展しているということです。計算能力の指数関数的なスケールアップは人々を驚かせます。私のように予期していても、予想以上のスピードです。そこで私が言っているのは、現在起きていることに対する規制ではなく、2年後にどうなっているかを考えて規制を考えるべきだということです。なぜなら、しっかりとした規制を整備するにはそれくらいの時間がかかるからです。
2つ目は、これらのモデルの害を測定することの重要性です。規制の枠組みについてはいろいろと議論できますが、最大の課題の1つは、モデルにどのような問題や脅威があるかを判断することが非常に難しいということです。モデルに100万のことを言わせることができ、モデルは100万の応答を返すことができます。
そして100万1番目の応答が非常に危険なものだったとしても、それに気付かないかもしれません。そのため、科学的な評価に取り組むよう促しています。そして彼らはこれを概ね理解してくれています。
こちらにも質問がありますね。どうぞ。
こんにちは。メドトロニックのチーフ・テクノロジー・オフィサーのケン・ワシントンです。お聞きしたいのですが、AIがロボットや物理的な世界のプラットフォームに組み込まれる場合、特別に必要な対応があるとお考えでしょうか？私は2つの観点からこの質問をしています。
1つは以前の仕事でAmazonのロボットを開発した経験から、もう1つは現在の仕事でヘルスケア技術を開発している立場からです。これらは物理的な技術で、間違いは許されません。
はい。確かに特別な安全性の問題があります。ロボットが間違った動きをすれば、人間を傷つけたり殺したりする可能性があります。
ただし、スケールアップしていく中で、純粋にテキストベースのシステムでも直面する問題と、そこまで違いはないかもしれません。例えば、これらのモデルの中には生物学について多くの知識を持つものがあります。モデルが実際に危険な行動を取らなくても、危険な情報を提供して悪意のある人物を手助けする可能性があります。
そのため、ロボット工学では異なる課題がありますが、多くのことができるモデルという同じテーマが見られます。その大部分は良いものですが、その中に潜む悪いものを見つけて防がなければならないのです。
アンスロピックはAIの安全性に関心を持って設立されました。ご存知の通り、ここ数ヶ月の間に多くの人々が警鐘を鳴らしています。ジェフ・ヒントンはGoogleを退社し、超知能について非常に懸念しており、これらの技術が存在論的リスクをもたらす可能性があると警告しました。OpenAIのサム・アルトマンも同様のことを言っていますね。
存在論的リスクについて、どの程度懸念すべきだとお考えですか？興味深いのは、今日私たちはAIの害について話してきました。あなたは、システムがマルウェアや情報を出力したり、致命的なウイルスのレシピを提供したりする可能性があると指摘されましたが、それらはヒントンやアルトマンが言及しているような種類のリスクではありませんよね。存在論的リスクについてのお考えをお聞かせください。
はい。それらのリスクは現実のものです。今日起きているわけではありませんが、確かに存在します。短期、中期、長期のリスクについて考えています。
短期的なリスクは、バイアスや誤情報など、今日直面している問題です。中期的なリスクは、数年後にモデルが科学、工学、生物学などの分野でより優れた能力を持つようになった時、モデルがなければできなかったような非常に悪いことができるようになることです。
そして、エージェンシーという重要な特性を持つモデルに移行していく中で、つまりテキストを出力するだけでなく、ロボットやインターネットを通じて何かを実行できるようになった時、それらが過度に自律的になり、その行動を止めたりコントロールしたりすることが難しくなるのではないかと懸念しています。
その極端な例が存在論的リスクに関する懸念です。これらのことについて過度に心配する必要はありません。明日起こるわけではありません。しかしAIの指数関数的な進化を続けていく中で、そのような進化の先にそうしたリスクがあることを理解しておく必要があります。
なるほど。あなたたちのような企業が独自のモデルを開発している一方で、AIモデルを開発するオープンソースコミュニティも存在します。そしてオープンソースコミュニティの多くは、規制に関する議論がオープンソースAIを実質的に殺してしまうのではないかと非常に懸念しています。独自モデルとオープンソースモデルのリスクについて、またそのバランスをどのように取るべきかについて、お考えをお聞かせください。
はい。難しい問題です。オープンソースは科学にとって非常に良いものですが、いくつかの理由で、オープンソースモデルはクローズドソースモデルよりもコントロールやガードレールの設定が難しいのです。
私の見解としては、小規模なモデル、比較的少ない計算能力で済むモデルについては、オープンソースを強く支持します。確かに今日のモデルのレベルまでは良いでしょう。しかし2、3年先を見据えると、リスクが高くなりすぎて、これらのオープンソースモデルの安全性を確保することが非常に困難になるのではないかと少し懸念しています。完全に禁止したり、存在を否定したりするべきではありませんが、その影響を慎重に検討する必要があると考えています。
なるほど。これらのモデルは非常に大規模で、さらに大きくなっています。あなたはモデルのスケールアップを続けることを信じているとおっしゃいましたが、気候への影響について懸念はありませんか？
はい。私たちが協力しているクラウドプロバイダーはカーボンオフセットを行っているので、それは1つの対策です。これは複雑な問題です。なぜなら…
モデルを訓練すると大量のエネルギーを使用しますが、その後、他の方法ではエネルギーを必要としたであろう多くのタスクを実行します。そのため、エネルギー使用量の増加につながるのか、減少につながるのか、どちらもあり得ると思います。
確かに、モデルが数十億ドルのコストがかかるようになると、初期のエネルギー使用量は非常に高くなります。しかし全体の収支がプラスなのかマイナスなのか、私にはわかりません。もしマイナスなら、はい、懸念すべき問題だと思います。
全体として、この技術の影響についてはどうお考えですか？多くの人々が、リスクが非常に高く、十分に理解できていないことを懸念しています。全体として楽観的ですか、それとも悲観的ですか？
はい、少し両方ですね。私の予想では、うまくいくと思います。しかし10%か20%くらいのリスク、つまり…
何かがうまくいかない可能性があります。そしてそれが起こらないようにすることが、私たちの責務なのです。
なるほど。そろそろ時間ですので、ここで終わりにしたいと思います。ダリオさん、今日はありがとうございました。
ありがとうございました。皆様、ご清聴ありがとうございました。
コメント