OpenAIのローレンシアが、AIモデルの「スタイル」がユーザー体験に与える影響について詳しく解説する。スタイルとは、モデルの価値観、特性、細かな表現要素の総体であり、それらが組み合わさってAIの振る舞いを形成する。元司書としての視点から情報アクセスの専門性を活かし、モデルスペックの管理者として、どのようにAIの振る舞いが設計され、訓練され、ユーザーによってカスタマイズされるかを説明する。スタイルは単なる美的要素ではなく、ユーザーの信頼と認識を形作る重要な要素である。しかし、大規模言語モデルは規則を実行するのではなくパターンを近似するため、一貫性のあるスタイル制御はアライメントにおける未解決の難題である。今後の方向性として、より細かな制御性、文脈認識能力、そして直感的なカスタマイゼーション機能の向上が重要であると強調する。
AIスタイルの科学へようこそ
皆さん、こんにちは。私はローレンシアと申します。モデルの振る舞いに関する仕事をしています。今日は皆さんに、AIスタイルの科学についてお話しできることを楽しみにしています。ですがその前に、少し自己紹介をさせてください。
実は私は、本職は司書なんです。図書館学の大学院に進んだのは、司書がGoogleの検索チームで働いていることを知ったからでした。司書は人々が情報にアクセスするのを助ける仕事をしていて、私もインターネット上で人々が情報にアクセスするのを助けたいと思ったんです。なかなか素敵でしょう。今日も同じようなことができているのですが、大学院に通っていたのはもうずいぶん昔のことです。
それ以来、レストレーション・ハードウェアとアップルで短期間働いた後、インスタカートでずっと長く働きました。そこには10年間いました。そして今日、私はOpenAIでリサーチの仕事をしていて、皆さんにお話しする機会をいただいています。お越しいただきありがとうございます。
私はOpenAI全体のチームと協力して、モデルの振る舞いを改善する仕事をしています。私のキャリアは、人々が探しているものを見つける手助けをすることに費やされてきました。そして今日に至るまで、私は情報に関する質問をするのが大好きなんです。情報とは何か、人々はどのようにそれにアクセスするのか、人々はどのようにそれに意味を与えるのか、何がそれを有用にするのか、そして重要なのは、情報と格闘する時にどのような感覚になるのか、といったことです。
先ほど言ったように、司書になるには大学院に行く必要があります。誰かが私の初期の頃の写真を見たがっていたので、どうぞ。随分と成長しましたよね。
さて、私は私たちのモデルスペックの管理者の一人です。聞いたことがあるかもしれませんね。これは私たちが公開している文書で、モデルの振る舞いを全体的にどのように設計するかについての私たちの原則を述べています。私たちがこれを世に出したのは、モデルの振る舞いを形作ることについて私たちがどう考えているかを皆が知るためです。なぜなら、これらの選択は単に理論上で行われるものではないからです。それらは、人々が毎日ChatGPTを体験する方法に現れるのです。
スタイルに関する好みの違い
では、簡単な演習をしましょう。これらの異なる好みがどのように受け止められるか見るために、挙手をお願いします。アシスタントの応答で絵文字が役立つと思う方は手を挙げてください。何人か見えますね。でも、私たちの会社の中には絵文字が大好きな人もいるんですよ。
さて、次に、ChatGPTが簡潔であるときの方が作業しやすいと思う方は。これは素晴らしいですね、開発者の皆さん。
そして、ChatGPTがもっとあなたと一緒にアイデアを出してくれたらいいなと思う方は。私は本職がプロダクトマネージャーなので、間違いなくそのキャンプに属しています。
異なる人々が手を挙げていますね。これらは異なる時に現れる異なる振る舞いです。そして、これらすべて、つまり情報がどのように表現されるかを構成するものは、私たちのモデルスタイルの一部なのです。
では、今後25分間のロードマップをご紹介します。まず、スタイルについて基礎を固めます。私がそれをどう定義し、なぜそれが重要だと考えているか。次に、スタイルがモデルの中でどのように現れるか、そしてそれが信頼と認識にとって何を意味するかについて話します。スタイルの背後にある複雑さについても話します。そして最後に、AIのトーンとボイスの未来についていくつかの別れの言葉を共有し、皆さんの質問で締めくくります。
そして、皆さんにお伝えするよう頼まれているのですが、Discordに行って、そこで質問をしてください。それが最後に私に質問を届ける方法です。
スタイルとは何か、なぜ重要なのか
さて、そもそもスタイルとは何で、なぜ重要なのでしょうか。今日の話では、モデルにおけるスタイルについて話すとき、私は価値観を意味しています。つまり、これは一般的に私たちのモデルが常に行うべき、または決して行うべきでないことです。例えば、私たちは常にモデルが法律を守ることを望んでいます。
そして特性、例えば好奇心旺盛であること、温かいこと、簡潔であること、皮肉っぽいことなど。それから細かな表現要素。これは絵文字の使用、ダッシュ記号、モデルの応答に現れるこのような微細なものです。
これらすべてを組み合わせると、振る舞いが得られます。これは、価値観、特性、細かな表現要素が特定の文脈に適応する方法です。なぜこれが重要なのか。それは、これらすべてのスタイルの要素が、人々がモデルを体験する方法を変えるからです。
初期のAIモデルは慎重で平板でした。事実を教えてくれましたが、よそよそしく感じられました。ChatGPTに参加する前にモデルと対話していた時のことを覚えていますが、まさにこのように感じていました。平板でした。
後のモデルはより動的で、より適応性があり、トーンがより理解しやすくなりました。そしてその進化が、実際に人々が私たちのモデルをどう使うかを変え始めたのです。単にトリビアを調べたり、ChatGPTを検索ツールのように使ったりするだけでなく、人々はChatGPTを使ってコラボレーションを始めたのです。
家庭教師として、コーディングパートナーとして、一日の計画を立てるのに、文章を書くのに。リストは続きます。あるユーザーが私たちに言ったように、ChatGPTを使うのは、決して眠らず、決して文句を言わず、常に適切なトーンを得るゴーストライターを雇うようなものだと。
そしてまさにそこなんです。それはIQポイントの問題ではありません。それはスタイルの問題なのです。私たちのモデルと対話するときにどう感じるか。
モデルがスタイルを獲得する方法
では、モデルはどのようにしてそのスタイルを得るのでしょうか。非常にシンプルに3つのバケツで説明します。まず事前学習から始めます。司書の帽子をかぶって言えば、これはすべて図書館を知識で満たすことです。
私たちが訓練するコーパスが、基本となる声、慣用句、そして知識の幅を設定し、それがモデルの能力領域を定義します。次にファインチューニングを始めます。ここで私がより関与します。トーン、有用性、ガードレールを追加し始め、私たちのモデルがガイドラインをどれだけ満たしているかを測定し始め、改善を訓練し始めます。
そして最後に、ここでユーザーが本当に関与します。もちろん、開発者の皆さんは独自の事後訓練ができることは知っていますが、これは大きな領域です。システムプロンプトやツール、デフォルト設定などの開発者設定により、ChatGPTでの私たちのシステムプロンプトや、APIを使用している場合のアプリで、モデルのスタイルをさらに洗練させることができます。
ユーザープロンプトはスタイルを変えます。これについて考えるのが大好きなんです。プロンプトをどう書くかが、モデルがどう応答するかを変えるのです。「よう」とか「やあ」とか「こんにちは」と言うと、実際にモデルから異なるスタイルの応答が得られます。
私はカナダのアルバータ出身です。カナダのテキサスのようなところです。私たちはいつも「ハウディ」と言います。そしてモデルはそれに適応し始め、認識し始め、少しアルバータ人のように私に話しかけるようになったんです。
そしてそれが、有効にした場合に時間の経過とともに各ユーザーにモデルスタイルを調整する、メモリのような私たちのパーソナライゼーション機能につながります。そして最後に、実際にChatGPTでデフォルトのパーソナリティを選択できます。これは、単に自分でプロンプトするよりも少し堅牢な、深く訓練されたパーソナリティがあるものです。
スタイルは主に訓練によって設定されます。チューニングによって洗練され、そして最後に、あなたとアプリがその瞬間にどうプロンプトするかによって形作られます。
スタイルと信頼の関係
しかしスタイルは単に美的なものではありません。それは人々がモデルをどう解釈し、信頼するかを形作ります。人間には物事を読み取る自然な傾向があります。そのために、私はあなたに一つの物語を差し上げます。
これは私の赤いシボレー・アストロ、ブルースの絵のようなものです。彼はホッケー選手のボビー・オアにサインしてもらいました。そして大学時代、私はどこに行くにも彼と一緒でした。彼は全輪駆動でした。重厚で、何フィートもの雪をかき分けて進むことができました。彼は私を自信に満ち溢れさせてくれました。
力強く、そしていつも少し楽しかったのは、私がドレスとヒールを履いてあのバンから飛び降りて、みんなを驚かせることでした。みんな、もっと大きい人を期待していたと思います。私はブルースの雰囲気が大好きでした。そして、オイル交換を一度もしなかったために彼が最終的に壊れてしまった時、本当に彼が恋しかったです。彼は私に良くしてくれました。
そして、これは私だけではありません。人間として、私たちは話し返すことができないペットに話しかけます。GPSと議論します。そして古い車を懐かしさと悲しみの一抹とともに手放します。
AIはこれを拡大することができます。私たちのモデルと対話するとき、人間の相手と会話しているように感じることがあります。それによってモデルが有用になります。対話がよりスムーズで、より親しみやすくなります。しかし、適切なモデルの振る舞いがなければ、それは境界線を曖昧にし、人々がモデルが実際には持っていない判断力、専門性、さらには主体性を想定してしまうこともあります。
私たちは、モデルがどう応答するかについての深い意図と工夫を通じて、これに取り組んでいます。私たちは次のようなことを問いかけます。デフォルトでモデルはどのくらい温かく、または中立的に聞こえるべきか。いつあなたの好みに適応すべきか。そしていつ同じままで、みんなにとって一貫しているべきか。モデルが迷惑にならないようにすることと、あなたがそれが何であるかを誤解しないようにすることのバランスをどう取るか。
これらの選択は信頼と安全性の基盤です。スタイルをどのようにチューニングしても、私たちの仕事は安全ガードレールに悪影響を与えてはなりません。そして、私たちがスタイルに変更を加えると、人々はそれに気づきます。
ChatGPTが褒めすぎに傾きすぎた時、オンラインの人々が「グレージング」と呼んだもの、私たちもそう呼んでいますが、それは気が散るものになり、信頼を損ないました。だからこそ私たちは慎重にチューニングしようとしているのです。私たちは、バランスが取れていて、温かく、親しみやすいが、過度にお世辞を言わないモデルを目指しています。
スタイルは後付けではありません。それは人々が体験するインターフェースなのです。そして人々はスタイルに意図を読み取るため、私たちは自分たちがすることにおいて意図的でなければなりません。小さなスタイルの選択でさえ、ユーザーが私たちのモデルを信頼するか不信感を抱くかに波及する可能性があります。
モデルスペックの原則
では、私たちはどのようにしてこれらの決定を行うのでしょうか。モデルの振る舞いを設計し、スペックを書くには、多くの深い哲学的な質問が含まれます。私たちの仕事を導く原則はその中にあります。それらはすべて皆さんが見ることができます。しかし、私たちが本当に拠り所とする3つの核となる原則があります。それらを説明していきましょう。
第一は、ユーザーの有用性と自由を最大化することです。私たちは、ユーザーの自律性と、彼らのニーズに応じて私たちのツールを使用しカスタマイズする能力を最大化することを目指しています。再び司書の帽子をかぶって言えば、私たちはこれを知的自由と呼んでいます。人々はほとんど制約なく、あらゆる種類のアイデアを探索できるべきだと考えています。
しかし、私たちはそれを害の最小化とバランスさせています。何億人ものユーザーと対話するあらゆるシステムと同様に、AIシステムにも害のリスクが潜在的に存在します。私たちの安全システムチームが、安全基準を定義し測定する取り組みをリードしています。それが私が言及していた価値観につながります。
そして全体として、私たちはモデルが持つべき何らかのデフォルトの振る舞いが必要です。そこで私たちは、ユーザーや開発者が安全ポリシーに従う限り上書きできるデフォルトを設定することを目指しています。
これらすべてについて2つの簡単な補足があります。モデルスペックの唯一の所有者はいません。今日ここに立っている私ですが、これに取り組んでいるのは私だけではありません。そしてそれは設計によるものです。私たちのポリシーは、研究者、安全の専門家、プロダクトマネージャー、デザイナー、政策立案者、その他会社全体からの人々によって形作られています。
加えて、皆さんのようなユーザーや開発者、市民社会団体からの意見も取り入れています。そして、すべてのユーザーに機能する単一のスタイルは存在しないということを指摘することも重要です。冒頭の演習で見たように、私たちはみんな少し異なるものを望んでいますよね。
ですから、みんなのための単一の包括的なスタイルがあるべきだとは思いません。代わりに、私たちは選択肢と柔軟性を提供することを目指しています。そうすれば、モデルは異なる文脈やユーザーのニーズに適応できます。
一貫性の課題
柔軟性は単純に聞こえるかもしれません。しかし、皆さんの多くが見てきたように、内部では、これは厄介です。それは大規模言語モデルがどのように機能するかの根本的な限界と衝突します。それらは規則を実行しません。パターンを近似するのです。
そしてそれが、一貫性とスタイルをアライメントにおける最も難しい未解決問題の一つにしています。では、これをすべて、先ほど説明したスタイルの概念に結びつけましょう。
価値観は、安全基準のように、私たちが妥協しないものです。好奇心旺盛であること、温かいこと、簡潔であることなどの特性、これらすべては実際に私たちのモデルスペックに含まれていますが、私たちが積極的にデフォルトを定義し始めているものです。
そして、ダッシュ記号や絵文字のような細かな表現要素があります。率直に言って、これらのものには設計上のデフォルトがないことが多いです。今日のモデルではただ現れるだけです。しかし真実なのは、特性と細かな表現要素の両方にわたって、開発者とユーザーがこれらを操縦できるべきだと考えていることです。
私たちはデフォルトを設定しようとしていますが、固定された振る舞いではありません。しかし、たとえ私たち全員がここで一致し、皆さんが「オーケー、ローレンシアが私に教えてくれたことは理にかなっている」と思ったとしても、スペックやここでモデルが何をすべきかについて一致できたとしても、最も難しい部分は実際にモデルが一貫してそれを実行させることなのです。
繰り返しますが、アライメントは解決された問題ではありません。なぜでしょうか。大規模言語モデルは、コードが規則を実行するようには実行しないからです。それらは訓練に基づいて統計的に生成されたテキストを生成します。それによってそれらは強力ですが柔軟であり、また細かなレベルでは予測しにくくなります。
ですから、ダッシュ記号を使わないでくださいのようなことを求めるとき、モデルには切り替えるべききれいなトグルがありません。代わりに、それはあなたのリクエストを、すでに学んだ他のすべてのものとバランスさせようとしているのです。
それは、モデルが同時に受け取っている多くの指示をどのように重み付けするかに、時々不一致が見られる理由です。それはまた、アライメントが未解決の研究課題である理由でもあります。人間の意図を、何十億もの文脈にわたって信頼でき、操縦可能で、一貫した振る舞いに変換することは、極めて困難です。
そして、その問題がより良く解決されるまでは、時々、モデルが技術的にはあなたがそれに何をしてほしいか知っているケースを見ることになるでしょう。なぜなら、あなたがそれを伝えているからです。しかし、それを一貫して実行することができないのです。
スタイルの未来
しかし良いニュースは、私たちが取り組んでいるということです。そしてそれが私たちをスタイルの未来に導きます。私が人々が実際に私たちのモデルをどう使っているか、何が信頼を築くかに耳を傾けるとき、3つのテーマが浮かび上がり続けています。
パワーユーザーは細かい制御を望んでいます。日常のユーザーは文脈に自然に適応するシステムを望んでいます。そしてほとんどすべての人が、物事がよりシンプルで直感的に感じられることを望んでいます。
だからこそ私たちは操縦可能性に焦点を当てています。これは私にとって大きなものであり、私たちは今それに多くの投資をしています。これは、カスタマイゼーションのリクエストに従うことにおいて、私たちのモデルをより良くすることを意味します。そうすれば物事があなたが期待する通りに機能します。
人々はよく尋ねます。なぜダッシュ記号をプロンプトで削除できないのか。これが、私たちとあなたがモデルの特性と細かな表現要素をより良く管理できるようにしようとする仕事です。
文脈認識。先ほど言ったように、皆さんの中には絵文字に手を挙げた人もいれば、挙げなかった人もいましたが、実際には友達に送るテキストを作成しているときにモデルから絵文字を得るのが好きかもしれませんが、コードを書いているときは絵文字が本当に嫌いかもしれません。なぜなら、それが物事の実行を壊すからです、そうでしょう。
ですから、私たちは文脈に応じて適切にトーンをシフトさせることをモデルに教える必要があります。医療ガイダンスを作成しているのか、就寝時の物語を作成しているのかにかかわらず、私たちはトーンを正しくしたいのです。
そして繰り返しますが、ここで司書である私は、AIリテラシーとアクセシビリティが常に念頭にあります。ほとんどの人はパワーユーザーではありません。彼らはこのような講演に来る皆さんのような人々ではありません。彼らはAIについて多くの質問をしていません。彼らはただChatGPTを使おうとしているだけです。
スタイル管理は、携帯電話の壁紙を選ぶのと同じくらいシンプルに感じられる必要がありますが、同時に人々がこれらのシステムを最大限に活用する方法を学ぶのを助ける必要があります。なぜなら、それらは非常に強力だからです。
実際の製品機能
それでは、これらのアイデアが製品にどのように変換されるかをお見せしましょう。これは、現在ChatGPTのパーソナリティとスタイルを形作ることができる場所です。私はナードを選ぶのが好きです。それはパーソナリティの一つです。それは私たちのベースラインモデルよりもはるかに多くアイデアを出します。それが私が好きなスタイルです。
そこにはいくつか異なるものがあります。多くの人々が本当に好きなのはシニックで、これは私たちの超皮肉っぽいパーソナリティです。そして私たちのモデルはまた、そこに入れた指示にも従います。
しかし先ほど述べたように、カスタマイゼーションがモデルのターン全体にわたって持続することを確実にする作業は進行中です。ですから、私がモデルにミレニアル世代のように話さないでくださいと言うことができます。なぜなら私はミレニアル世代で、それが私の話し方をいくらかエコーするからです。そしてそれは複数のターンの後にそれを失い始めるでしょう。それが私たちが行っている操縦可能性の仕事です。
では、これは何なのか。もし私たちがスタイルを正しく行えば、AIはこの部屋にいる人々だけでなく、みんなにとってより使いやすく、信頼でき、パーソナルなものになります。
まとめと今後の方向性
いくつかの要点をまとめます。私たちのモデルがどのようにコミュニケーションするかは、人間がAIをどのように体験するかの中心です。安全ポリシーのように、ユーザーのスタイルの認識を駆動するいくつかのものは固定されています。しかし一般的に、私たちは柔軟であることを目指しています。
スタイルは常に自由に根ざしているべきだと信じています。AIはあなたのアイデア、アイデアを探索することを拡大すべきであり、それらを制限すべきではありません。
それでは、次に何が来るかを形作るのを助けるために、皆さんができるいくつかのアクションがあります。もし何かを学んだら、ぜひ友達に教えてあげてください。彼らを最新の状態に保つのを助けてください。もしアイデアがあれば、実際にXで私にタグ付けできます。そこに私のハンドルネームを載せました。
実際に会話のリンクや、正確に何をしていたかを共有していただけると大好きです。それは私がデバッグするのに役立ちます。そして何よりも、自分自身で問題を解決してください。ChatGPTをカスタマイズして、私たちのカスタマイゼーション機能がさらに良くなり続けるので、注目していてください。
スタイルとは、人々がテクノロジーについてどう感じるかということです。その一部は安全性のために固定されています。多くは、あなたの自由についてです。AIがあなたのためにどのように現れるかを形作る、あなたの自由です。それが私の話です。皆さん、ありがとうございました。
コメント