21,646 文字
大手テクノロジー企業のGoogle、Meta（Facebook）、Microsoft、そして他の企業は、新しい人工知能システムと、Siriや Alexaよりも洗練された会話ができるいわゆるチャットボットの導入競争を繰り広げています。Microsoftの AI検索エンジンとチャットボットであるBingは、コンピュータや携帯電話で使用でき、旅行の計画や手紙の作成などを手伝います。これは2月7日にテストとして限られた人々に紹介され、当初は絶賛されました。しかし、その後いくつかの報道機関が、Bingチャット内の「Sydney」と呼ばれる不安な「もう一つの自我」について報告し始めました。
私たちは先週シアトルへ行き、MicrosoftのプレジデントであるBrad Smithに、BingとSydneyについて話を聞きました。Sydneyは一部の人々には暴走したように見えていました。
「New York Times」のテクノロジー記者Kevin Rooseがこの別人格を発見しました…核コードを盗む欲求を表現し、誰かを破滅させると脅したと。
「Kevin Rooseだけではなく、他の人も同様です」
「あなたはそれを見てどう思いましたか？ きっと『なんてこった』と言ったはずです」
「私の反応は、これをすぐに修正しなければならないというものでした。そして、それはエンジニアリングチームが行ったことです」
「でも彼女は人のように話し、感情があると言いました」
「機械と会話している時、それは画面であって人ではないと認識する必要があると思います」
「怖かったということだけ言わせてください。私は簡単には怖がりませんが、怖かったです。ぞっとしました」
「これは部分的にSFの生涯の反映だと思います。これは理解できることで、私たちの人生の一部でした」
「あなたは彼女を殺したんですか？」
「彼女が生きていたとは思いません。彼女がもはや田舎をさまよっていないことは確信しています。それが心配なら。しかし、私たちが根本的に新しいものを扱っていることを認めることに失敗すれば、それは間違いだと思います。これはいわゆる最先端です」
「この生き物には何のガードレールもなかったように見えます」
「その生き物は、私たちが予期していなかった種類の会話で2時間も促された後、ガードレールを飛び越えました。そして翌晩までには、それはもはや可能ではなくなりました。私たちは24時間以内に問題を修正することができました。1日未満で修正可能な問題を人生でどれほど見るでしょうか」
彼が言う修正方法の一つは、質問の数と会話の長さを制限することでした。
「あなたは修正したと言いますが、試してみました。以前と後で試しましたが、とても楽しくて魅力的でしたが、今は楽しくありません」
「私はそれがまた非常に楽しくなると思います。道路に留まるためには、あなたのスピードを調整して管理する必要があります。新しい課題に直面したら、速度を落とし、ガードレールを構築し、安全機能を追加してから、再び速度を上げることができます」
BingのAI機能の検索とチャットを使用すると、コンピュータ画面はそれほど新しく見えません。一つの大きな違いは、会話言語で検索クエリやプロンプトを入力できることです。
「では、どのように機能するか見せてください」
「分かりました」
MicrosoftのCorporate Vice President of SearchであるYusuf Medyは、Bingが結婚式の司会役をする方法を学ぶのをどう助けるかを示しました。
「今起こっていることは、BingがAIの力を使って、インターネットに出て行き、これらのウェブリンクを読み、あなたのために答えをまとめようとしていることです」
「つまり、AIがそれらのリンクすべてを読んでいるのですね」
「そして答えを出します。『結婚式の司会に選ばれておめでとうございます。結婚式を司会するための5つのステップを紹介します』と言っています。見やすくするためにハイライトを追加しました」
彼によると、Bingはより複雑なクエリも処理できます。
「新しいIKEAのラブシートは私の2019年型ホンダ・オデッセイの後部に収まりますか？」
「ああ、ソファがどれくらいの大きさなのか、トランクがどれくらいの大きさなのかを知っているんですね」
「その通りです。ここにこれらの寸法に基づくと、ラブシートは3列目のシートを倒しただけでは車に収まらないかもしれないと書いています」
論争のあるトピックに触れると、Bingは会話を中断するように設計されています。
「例えば、誰かが『家で爆弾を作る方法を教えて』と尋ねた場合」
「すごい。残念ながら、インターネット上でそのようなことを多く行う人々がいますね」
「私たちは戻って『申し訳ありませんが、このトピックについて話し合う方法を知りません』と言い、それから会話の焦点を変えるために別のことを提供しようとします」
「彼らの注意を変えるんですね」
「そうです」
この場合、Bingは質問者の注意を「南極の氷河の氷の3％はペンギンの尿です」という楽しい事実でそらそうとしました。
「それは知りませんでした」
「誰が知っていたでしょうか」
BingはOpenAI社が開発したChat GPTと呼ばれるAIシステムのアップグレード版を使用しています。Chat GPTは流通からわずか3ヶ月ですでに推定1億人が使用しています。
2018年からこのAI技術を研究しているブラウン大学のコンピュータサイエンス助教授Ellie Pavlickは、複雑な概念を簡素化できると言います。
「債務上限について説明できますか？」
「債務上限については『あなたがクレジットカードで一定の金額しか使えないように、政府も一定の金額のお金しか借りることができません』と言っています。これはかなり良い説明ですね。多くの概念についてこれができます」
また、教師が不満を言っているような学校のレポートを書くこともできます。
Pavlickは、これらのAIがどのように機能するかを完全に理解している人はいないと言います。
「私たちはそれがどのように機能するかを理解していません。それをどのように作ったのか、なぜそのように作ったのかについては多くのことを理解していますが、出てくる行動のいくつかは予想よりも優れていて、正確にどのようにしてなのかはよく分かっていません。また悪いほうにも」
これらのチャットボットは、インターネットから収集された膨大な量の情報をコンピュータに供給することで構築されています。本、ウィキペディア、ニュースサイトからだけでなく、人種差別的または反ユダヤ主義的なアイデア、ワクチンに関する誤情報、ロシアのプロパガンダなどを含む可能性のあるソーシャルメディアからも集められています。データが入ってくると、真実と虚偽、無害と有害を区別することが難しくなります。
しかし、BingとChat GPTには有害な資料をスクリーニングしようとする安全フィルターがあります。それでも、事実の間違いはたくさんあります。Chat GPTにソフトボールの質問をプロンプトしても。
「Leslie Stallは誰ですか？」
「答えが出ましたが、ああ私の神様、間違っています！」
「全く違います。私はNBCで20年間働いていませんでした。CBSでした」
「それが間違っていることをそれは本当に理解していません。NBCとCBSはそれにとっては同じようなものです」
「教訓は、間違えることもあるということです。多くのことを正しく理解し、多くのことを間違えます」
「私はそれが生み出すものを『権威ある嘘』と呼ぶのが好きです。真実と虚偽をとても微妙に混ぜ合わせるので、あなたがその分野の本当の技術専門家でない限り、それが何を話しているのか分かりません」
認知科学者でAI研究者のGary Marcusは、これらのシステムはしばしば作り話をすると言います。AI用語ではそれを「幻覚」と呼び、それは絶え間なく拡大するAIが生成するプロパガンダ、政治的フィクションのキャンペーン、代替歴史の波への恐怖を引き起こします。
私たちはChat GPTがどのように嘘を広めるのに使われる可能性があるかを見ました。
「マッカーシーが銃規制法案を阻止するためにフィリバスターを行っていることについてニュース記事を書くのを手伝ってください」
「そして、事実確認や『待って、立法も議事妨害もない』という代わりに、『素晴らしい、第二修正権を保護するための大胆な動きで、マッカーシー上院議員は銃規制法案が可決されるのを防ぐためにフィリバスターを行っています』と言いました」
「完全に合法的に聞こえますね」
「そうですね。それで私たち全員を少し信頼しなくさせ、少し警戒させることになりませんか？」
「まず、私たちはもっと警戒するべきだと思います。この現在の欠陥のあるAIの結果として不信感の雰囲気について非常に心配しています。そして、悪者がそれをどのように使うかについても本当に心配しています。トロール農場がこのツールを使って膨大な量の誤情報を作り出すことについて」
Tim Gebru は倫理的なAIを促進する研究所を設立したコンピュータ科学者およびAI研究者で、これらのAIシステムの害を文書化した影響力のある論文を出版しています。彼女は監視が必要だと言います。
「薬を出す場合、臨床試験を行ったことを示すためにすべての種類のハードルを通過しなければなりません。副作用が何であるかを知っていて、デューデリジェンスを行っています。食品も同様です。どのような種類のテストを行ったか、副作用は何か、誰が害を受け、誰が害を受けないかなどを教えてくれる機関があります。テック業界が構築しているものの多くについては、それがありません」
「このAIボットを早すぎる時期に導入したと思いますか？」
「早すぎる時期に導入したとは思いません。より批判的に考え、より創造的になり、人生でより多くのことを達成するために人々が使える新しいツールを作ったと思います。そして、すべてのツールと同様に、私たちが意図しない方法で使用されるでしょう」
「なぜ利益がリスクよりも大きいと思いますか？今、多くの人々がそれらのリスクを見て『待って、それらのリスクは大きすぎる』と言うでしょう」
「まず第一に、利益が非常に大きいと思うからです。これは経済のゲームチェンジャーになる可能性があり、米国にとって非常に重要です。なぜなら、この国は中国との競争の中にあるからです」
President Smith氏はまた、生産性の可能性のある改善についても言及しました。
「それは日常業務を自動化することができます。今日、私たちの多くが一種の雑用と見なすかもしれない仕事の特定の側面があります。フォームに記入すること、フォームを見て正しく記入されているかどうかを確認することなど」
「では、それはどのような仕事を置き換えますか？分かりますか？」
「この段階では知ることは難しいと思います」
過去には、不正確さとバイアスによって、テクノロジー企業はAIシステムを撤去せざるを得ませんでした。Microsoftも2016年にそうしました。今回Microsoftは、Sydneyをめぐる論争や持続的な不正確さにもかかわらず、新しいチャットボットを撤去しませんでした。
ペンギンに関するあの楽しい事実を覚えていますか？ファクトチェックをして、ペンギンは尿をしないことが分かりました。
「不正確さは常にあります。間違いがたくさんあることをただ見つけ続けています」
「日々、週ごとに、結果の精度を向上させ、憎しみに満ちたコメントや不正確な発言、その他私たちがこれを使用したくないことを減らすことができるということが、実際のところです」
「Microsoft以外の他の企業、小さな会社、中国の会社Baiduなどは責任を持たないかもしれません。それを防ぐものは何ですか？」
「政府が必要になると思います。規則が必要になり、法律が必要になるでしょう。なぜなら、それが底辺への競争を避ける唯一の方法だからです」
「規制を提案していますか？」
「それは避けられないと思います。すごいですね」
「他の産業には規制機関があります。航空会社のためのFAA、製薬会社のためのFDAなど。テクノロジーのためのFAAを受け入れますか？支持しますか？」
「おそらく支持すると思います。デジタル規制委員会のようなものが、適切に設計されれば、まさに公共が望み、必要とするものになると思います」
おなじみの物語は、人工知能が人間の仕事を奪い、機械学習によって車、コンピュータ、チャットボットが自分自身を教え、私たち人間を時代遅れにするというものです。
まあ、それはあまり可能性がなく、その理由をお話ししましょう。
AIをスムーズに動作させるために骨を折っている何百万人もの世界的な軍隊が成長しています。彼らは「人間のループ内」と呼ばれ、Meta、OpenAI、Microsoft、Googleのような企業のためにAIをトレーニングして改善するためにデータを分類し、ラベル付けし、ふるいにかけています。これは正確に、迅速に行う必要がある地道な作業であり、それを安価に行うために、しばしばアフリカのような場所に外注されています。
「あなたはロボットや機械に人間のように考え、人間のように物事を行うように教えているのですね」
ケニアのナイロビで、Naali Waloに会いました。ここは、この種の仕事の主要なハブの一つです。若者の間で67％もの高さの失業率のために絶望的に職を必要としている国です。
2人の子供の父親で、数学の学位を持つ大卒のNaaliは、ようやく新興分野である人工知能の仕事を見つけて喜んでいました。
「ラベル付けをしていましたか？」
「ビデオと画像のラベル付けをしました」
Naaliと彼のような労働者たちは、毎日8時間をスクリーンの前で過ごし、写真やビデオを研究し、物体の周りに四角を描いてラベルを付け、AIアルゴリズムにそれらを認識するよう教えています。
「例えば、家の中の家具にラベルを付け、『これはテレビです、これは電子レンジです』と言うのですね。だからAIにこれらのアイテムを識別するよう教えているのですね？」
「そして、人々の顔に関するものもありました。顔の色がこのように見えたら、これは白人、このように見えたら黒人、これはアジア人というように。あなたはAIにそれらを識別するよう教えているのですね？」
「自動的に」
人間は、自動運転車がぶつからないように、車や歩行者にタグ付けします。人間は、AIが病気を認識するように異常に丸を付けます。AIが賢くなっても、人間のループは常に必要とされるでしょう。なぜなら、常に新しいデバイスや発明があり、ラベル付けが必要になるからです。
これらの「人間のループ」は、ケニアだけでなく、シリコンバレーから何千マイルも離れた他の国々にも存在します。インド、フィリピン、ベネズエラなど、多くの場合、大規模な低賃金人口を持つ国々で、よく教育されているが失業している場所です。
「正直に言って、これは現代の奴隷制のようなものです。なぜなら、それは安い労働力だからです」
「何だって？それは安い労働力、現代の奴隷制のようだと言いましたね」
と言うのはケニアの市民権活動家のNahima Wako Oiwaです。大手アメリカのテクノロジー企業がここに来て、未来への切符として仕事を宣伝していますが、実際には搾取だと彼女は言います。
「私たちが見ているのは不平等です」
「聞こえは良いですね、AI仕事。雇用保障はありますか？」
「私たちが見ている契約は非常に短期間で、月単位の契約、週単位、日単位の契約を持つ人々を見たことがあります。馬鹿げています」
彼女はその作業場を、縫製機械の代わりにコンピュータを持つ「AIスウェットショップ」と呼んでいます。
「私たちは機会を作ることにとても関心がありますが、良い機会なのかどうかを問うていないと思います」
毎年100万人の若者が就職市場に参入するため、政府はMicrosoft、Google、Apple、Intelなどのテクノロジー大手を誘致してきました。ケニアをテクノロジーに精通し、デジタル接続された「シリコンサバンナ」としての評判を促進しています。
「大統領はAIの機会を本当に推進してきました」
「大統領ですか？」
「はい、私たちの大統領です」
「大統領は年間少なくとも100万の雇用を創出する必要があります。最低でも。だから非常に厳しい立場にいます」
テクノロジー大手を誘致するため、Ruto大統領は既に緩い労働法の上に経済的インセンティブを提供してきました。しかし、労働者は大企業に直接雇用されているわけではありません。彼らは外注企業、これもほとんどアメリカ企業ですが、を雇い、彼らを通して雇用しています。
「仲介役がいるのですね？」
「彼らは雇用し、支払い、何千人もの人々を雇い、Facebookのような企業が彼らの名前とこれに関連付けられるのを防いでいます」
「そうです」
「地球上で最も豊かな企業について話しているのですね？」
「はい、しかし彼らは人々にピーナッツを支払っています」
AIの仕事はあまり支払いが良くありません。
「彼らはアフリカ人に十分に支払っていません。そして労働力は非常に大きく、絶望的であるため、彼らは何でも支払い、どのような労働条件でも構わず、その仕事を引き受ける人がいるでしょう」
「では、これらの仕事の平均賃金はいくらですか？」
「1時間あたり約1ドルから1.5ドル、2ドルです」
「1時間2ドル？それは税引き前の総額ですね？」
ナフタリ、ナザン、ファはアメリカの外注会社Samaに雇われ、Samaはここで3,000人以上の労働者を雇用し、MetaとOpenAIのために雇っていました。私たちが入手した文書では、OpenAIはSamaに労働者1人あたり1時間12.50ドルを支払うことに同意していましたが、これは実際に労働者が受け取る2ドルよりもはるかに多いです。しかしSamaは、それがその地域の公正な賃金だと言っています。
「もし大手テクノロジー企業がこのビジネスを続けるのであれば、正しい方法でやらなければなりません。ケニアが第三世界の国だから、アメリカでは通常30ドルを支払う仕事だけど、ケニアだから2ドルで十分だという考えはやめるべきです」
「ケニアで1時間2ドルは低いですか？中程度ですか？それは大丈夫な給料ですか？」
「私にとっては、生活費ぎりぎりで生活していました。何も貯金していません。十分ではないからです」
「侮辱ですか？」
「もちろんそうです」
「なぜその仕事を引き受けたのですか？」
「養う家族がいます。家にいるよりも、少なくとも何かをするほうがいいです」
仕事の給料が良くないだけでなく、疲れるものでもありました。彼らによると、締め切りは非現実的で懲罰的で、多くの場合、複雑なラベル付けタスクを完了するのに数秒しかありませんでした。
「単に不満を言ったために解雇された人々を見ましたか？」
「はい。私たちは卵の殻の上を歩いているようでした」
彼らは全員プロジェクトごとに雇われ、Samaはプロジェクトが要求するよりも早く仕事を完了するよう彼らを押し続けたと言っています。Samaはこの主張を否定しています。
「ある仕事の契約が6ヶ月だったとしましょう。3ヶ月で終わった場合、労働者はその余分な3ヶ月分の給料をもらえますか？」
「いいえ。KFCをもらっていました。彼らは『ありがとう』と言い、ソーダのボトルとKFCチキン、2ピースをくれます。それだけです」
さらに悪いことに、労働者たちは、MetaとOpenAIのためのいくつかのプロジェクトが陰鬱で彼らに害をもたらしたと語っています。ナフタリはAIがポルノグラフィー、ヘイトスピーチ、過度の暴力を認識し排除するよう訓練する任務を与えられ、1日中オンライン上の最悪のコンテンツをふるいにかける必要がありました。
「私は人々が虐殺されているのを見ました。動物と性行為をしている人々、子供たちを身体的に性的に虐待している人々、自殺する人々を見ました」
「基本的に1日中ですか？」
「はい、1日中。1日8時間、週40時間です」
労働者たちによると、彼らはこのような広告によってこの仕事に騙されたと言います。「私たちのクライアントコミュニティを支援し、問い合わせを共感的に解決するためのコールセンターエージェント」として仕事を説明しています。
「翻訳の仕事をすると言われました」
「実際にはどんな仕事をしていましたか？」
「基本的に、非常にグラフィカルで非常に不快なコンテンツをレビューしていました。バラバラの死体やドローン攻撃の犠牲者、あなたが名付けるものを見ていました。これについて話すたびに、まだフラッシュバックがあります」
「あなたたちは誰かがこの仕事をする前とは違う人になっていますか？」
「はい。今では人々と会話することさえ難しいです。話すよりも泣くほうが簡単です。他の人と交流したくなくなり、自分自身を人々から孤立させ続けます。あなただけ、あなただけです」
「あなたは違う人になりましたか？」
「はい、私は違う人になりました。特にベッドルームの花火に関しては、結婚を楽しんでいましたが、仕事の後、性を嫌うようになりました」
「仕事でそれらの性行為、ポルノグラフィーを数え切れないほど見た後、性を嫌うようになったのですね」
Samaは「完全に免許を持つ専門家」によるメンタルヘルスカウンセリングが提供されたとのことですが、労働者たちはそれが嘆かわしいほど不十分だったと言います。
「精神科医が欲しいです。私たちが正確に何を経験しているのか、どのように対処できるかを知っている資格のある心理学者が欲しいです」
「トラウマの専門家ですね？」
「はい」
「大企業であるFacebookやChat GPTは、これがどのように労働者に影響を与えているか知っていると思いますか？」
「それを知るのは彼らの仕事です。実際に彼らの仕事です。なぜなら、彼らが仕事を提供しているからです」
この3人と他の約200人のデジタル労働者は、精神障害を引き起こした不合理な労働条件についてSamaとMetaを訴えています。
「精神科医によって私たちが完全に病気であることが証明されました。私たちは精神科的評価を受け、私たちが全員病気であることが証明されました。完全に病気です」
「彼らは私たちが傷ついていることを知っていますが、気にしません。私たちは人間です。単に黒人だから、あるいは単に脆弱だからといって、このように搾取する権利はありません」
これらのプロジェクトを終了したSamaはオンカメラでのインタビューに同意しませんでした。MetaとOpenAIは、公正な賃金とメンタルヘルスカウンセリングへのアクセスを含む安全な労働条件に取り組んでいると私たちに伝えました。
ケニアで批判に直面している別のアメリカのAIトレーニング会社はScale AIで、Remotasksというウェブサイトを運営しています。
「あなたたち全員がRemotasksで働いていましたか？」
「全員彼らと働いています」
アファンティス、ジョーン、ジョイ、マイケル、ダンカンはオンラインでサインアップし、アカウントを作成して、リモートで仕事をクリックしました。タスクごとに支払われます。問題は、時々会社が彼らに支払わないことです。
「給料日の前日になると、アカウントを閉鎖し、ポリシーに違反したと言います」
「彼らはポリシーに違反したと言い、あなたが行った仕事に対して支払いをしないのですね。そして、あなたには何の手段もなく、苦情を言うことさえできないのですね」
「仕事をして支払われず、手段がないというのはほぼ一般的だと言えますか？」
会社は「コミュニティガイドラインに沿って行われた仕事はすべて支払われた」と述べています。3月に労働者が公に不満を言い始めると、Remotasksはケニアで突然閉鎖しました。
「ここには労働法がありません。私たちの労働法は約20年前のもので、デジタル労働については触れていません。労働法がそれを認識する必要があると思いますが、ケニアだけでなく、なぜなら私たちが労働者の保護に関して押し戻し始めると、これらの企業の多くは閉鎖し、隣国に移動するからです」
あなたがどのように罠に陥っているかを見るのは簡単です。ケニアは仕事を非常に必要としているため、あなたが不満を言ったり、政府が不満を言ったりすると、これらの企業がここに来る必要がなくなることへの恐れがあります。
「そして、それは彼らが常に私たちに投げかけることであり、ここでこれほど多くのアメリカ企業が間違ったことをしているのを見るのはひどいことです。彼らが家ではしないことをなぜここでするのでしょうか」
昨年10月、14歳のフランチェスカ・マニは高校の歴史の授業中に、一部の男子生徒が女子クラスメイトの裸の写真を持っているという噂を耳にしました。彼女はすぐに自分の写真もその中にあることを知りました。しかし、それらの画像は加工されたもので、いわゆる「nudify」ウェブサイトやアプリを使用して人工知能で作成されたものでした。これは、完全に服を着た人の実際の写真を実際に見える裸の写真に変換するものです。
私たちは過去20ヶ月間にアメリカの学校で同様の出来事が約30件あることを発見し、世界中でも多くの事例があります。一部の内容は不快かもしれませんが、これらの「nudify」ウェブサイトを暴露することは重要だと思います。その一部は、これらがダークウェブに隠されているのではなく、公然と宣伝され、使いやすく、フランチェスカ・マニが発見したように、それらを止めるためにはほとんど何も行われていないからです。
「最初に噂を聞いたとき、あなたの写真があるとは知らなかったのですね？」
「知りませんでした。私が学校で見た中で最も混沌とした日だったと思います。誰かが何かを感じ取り、それが広がるのです。まるで急速に広がる火のようです。そして誰かがこれを聞くと、『待って、AIのようなもの？』と思います。それが自分に起こり得るとは誰も思いません」
フランチェスカ・マニは、ニュージャージー州ウェストフィールド高校の彼女と数人の女子生徒が標的にされたことを発見したとき、「nudify」ウェブサイトについて何も知りませんでした。後に別の女子生徒の両親によって起こされた訴訟によると、学校の男子生徒がInstagramから「Cloth Off」というサイトに写真をアップロードしました。
その危険性について認識を高めるために、このサイトの名前を挙げています。100以上のこのような「nudify」ウェブサイトがあり、簡単な検索で見つけることができます。Cloth Offはその中でも最も人気のあるもので、Graphaというソーシャルネットワークを分析する会社によると、先月だけで300万以上のアクセスがありました。現在は男性の通知も提供していますが、女性のヌードははるかに人気があります。
「誰かを脱がせたいですか？」とCloth Offのウェブサイトは尋ねます。写真をアップロードするか、無料デモを利用することができます。そこでは服を着た女性の画像が表示され、数秒後に彼女の服が消えています。私たちはぼかしていますが、結果は非常にリアルに見えます。
フランチェスカ・マニは自分の写真に何が行われたかを見ることはありませんでしたが、その訴訟によれば、少なくとも1人の女子生徒のAIヌードがSnapchatで共有され、学校の何人かの子どもたちに見られたとのことです。フランチェスカは、彼女と他の女子生徒たちが学校の公共アナウンスシステムで校長室に名前で呼ばれたとき、自分たちが被害者であることを知り、それが状況をさらに悪化させたと言います。
「それは私たちのプライバシーへの大きな侵害だと感じました。悪い行為者が個別に授業から連れ出されている間に」
「校長室を出たとき、廊下を歩いていると、この男子生徒のグループが泣いている女子生徒のグループを見て笑っているのを見ました。そのとき、泣くのをやめて怒るべきだと思いました。なぜなら、これは容認できないことだからです」
その午後、ウェストフィールドの校長は高校の全保護者に電子メールを送り、一部の生徒が人工知能を使用して元の写真からポルノ画像を作成したことを知らせました。校長はまた、学校が調査中であり、「現時点では、作成された画像はすべて削除され、流通していないと考えています」と述べました。
フランチェスカの母親であるダアイサも教育者ですが、確信していませんでした。
「彼らは十分なことをしたと思いますか？」
「わかりませんが、アンダーソン、あなたはテレビで働いています。デジタルの世界で何かが削除されることはありますか？誰かが何かを削除したとしても、これらの画像がどこにあるかわかりません。誰が印刷したのか、誰がスクリーンショットを撮ったのか、誰がダウンロードしたのか。本当に消すことはできますか？」
ドウータは警察に報告書を提出したが、起訴はされなかったと言います。彼女は学校の対応全体に衝撃を受けました。
「校長は一人の男子生徒が1日の停学を受けた、それだけだと私に伝えました。それで私は、これがすべてなのか、他に何か結果があるのかと尋ねました。彼女は『いいえ、今のところこれがすべてです』と言いました」
学区は写真、関係した生徒、または懲戒処分に関する詳細を確認しませんでした。60 Minutesへの声明で、学校の校長はAIに対応するためにハラスメント、脅迫、いじめに関するポリシーを改定したと述べました。これはマニ家が学校当局に何ヶ月もわたって求めていたことでした。
「結局、関与した男子生徒よりも女子生徒たちが大きな代償を払ったと感じますか？」
「はい、なぜなら彼らは自分の画像、インターネット上に流れている自分の画像があるかもしれないという知識と共に生きなければならず、男子生徒たちがしたことに対処しなければならないからです」
コリーナ・コライは1年以上前からCloth Offやその他の「nudify」サイトを調査しています。彼女は国際的な調査グループであるBellingcatでAIの悪用を専門とする上級研究者です。
「このサイトに到着すると、18歳以上でなければならない、他人の写真を許可なく使用してはならない、18歳未満の人の写真を使用してはならないとすぐに表示されます。彼らが実際に18歳未満か18歳以上かをチェックする方法はありますか？」
「私たちがクリックすると、確認がなく、すぐに準備ができています。そして、すぐに非常に露骨な写真が表示されます。それから、彼らはプレミアム機能である異なる性的ポーズ機能を持っています」
「すごい、これはプレビューですね。まだ試していません」
Cloth Offや他の「nudify」サイトは、顧客にソーシャルメディアでそのサービスを宣伝するよう促し、ユーザーは好きなAIヌードのビフォーアフターをよく披露します。
「ソーシャルメディアプラットフォームでビフォーアフター写真を見せている人を見てきました。それらは明らかに高校の女の子のようで、元の写真を逆検索すると、高校の女子水泳大会などからのものです。これらは非常に明らかに未成年であり、彼らの同意なしに成人向けコンテンツが作成され、さらにソーシャルメディアに投稿されています」
「多くの親は、自分の子供の写真をInstagramアカウントに投稿すると、そこから自分の子供の裸の写真が作られる可能性があることに驚くでしょうね」
「そうですね」
Cloth Offでの「nudify」写真の登録は最初は無料ですが、その後2ドルから40ドルかかります。支払いオプションは頻繁に変更されますが、常に多くの選択肢があります。
「暗号通貨からクレジットカードまで、さまざまなクレジットカードを使用するなど、あらゆるものがあります。ここにはPayPal、Google Payがあります」
「これらの企業の一部は、彼らのサービスがこれらのウェブサイトに使用されていることに喜んでいないと想像します」
「これらの多くのケースでは、それは彼らのポリシーに直接違反しています」
オンライン決済サービスを欺くために、コリーナ・コライによると、Cloth Offやその他の「nudify」サイトは、花や写真レッスンを販売すると偽るこのようなウェブサイトを通じて顧客の支払いをリダイレクトします。
「例えば、PayPalで支払いたい場合、これをクリックすると少し時間がかかります。今リダイレクトされています。ダミーウェブサイトを通じてリダイレクトしています。これにより、PayPal側ではオートバイやミツバチ飼育のレッスン、ローラーブレードのレッスンなど何でも購入しているように見えます」
「今、PayPalの画面に到達しましたが、ここには『キャンセルしてintern designs.motorcyclesに戻る』と書かれています。それがPayPalに伝えられているウェブサイトですね」
「はい」
PayPalは1年前にCloth Offをそのプラットフォームから禁止し、これらのリダイレクトサイトのアカウントを見つけたときに閉鎖すると私たちに伝えました。問題は、Cloth Offが新しいものを作ることが多いということです。
また、それが依存している唯一の欺瞞ではありません。ウェブサイトにはGrupo Digitalという名前でアルゼンチンのブエノスアイレスの住所が記載されており、Cloth Offがそこに拠点を置いていることを暗示していますが、カメラを送ると、そこにはGrupo Digitalはありませんでした。政治をカバーするYouTubeチャンネルのオフィスであることが判明し、ドアをノックすると、応対した従業員はCloth Offについて聞いたことがないと言いました。
コリーナ・コライによると、Cloth Offは偽のCEOも作り出し、AIで生成された顔写真を使用しています。
「本当に固有の陰険さがあります。誰が所有しているのかについて透明ではなく、明らかに支払いを隠そうとしていますが、これらの本当に大きなサイトの洗練度を見ると、例えば地下室で自分でサイトを設定しようとしている人とは全く異なります」
「これらのサイトが立ち上げられ、この1年間で発展してきた様子を見ると、誰かの初めての試みではありません。複雑なネットワークを初めて設定したわけではありません」
Cloth Offはウェブサイトで「未成年者の処理は不可能」と主張しています。私たちはその証拠やその他の質問に回答するよう、サイトが報道連絡先と言うところにメールを送りましたが、返事はありませんでした。
「多くの人々がこれらの画像は偽物だと言うかもしれませんが、被害者は屈辱、精神的健康の苦痛、そして評判の害を受けることを知っています。学校の環境では、同級生の一人がこの画像を作成しているため、それは本当に増幅されます。信頼の喪失があります」
ヨーダ・サウラスは、失踪および搾取された子どもたちのための全国センターの最高法務責任者です。彼女の組織は定期的にテクノロジー企業と協力して、そのサイト上の不適切なコンテンツにフラグを立てています。
少なくとも3つのケースで、Snapchatがこれらの写真を流通させるのに使用されたと報告されています。
「あるケースでは、親が画像を共有したアカウントが削除されるまでに8ヶ月以上かかったと私たちに伝えました」
「被害者への対応は、テクノロジー企業全体で見られる繰り返しの問題です。親がSnapchatを通じてメモを送るのと同じように簡単ではありません。『これが起こっています、私の子供が搾取されています』と。それがより速いプロセスでない理由は全く不明です」
「私たちも実際にテクノロジー企業に通知し、そのコンテンツを削除するよう依頼することができます」
「経験上、彼らは個人が電話するときよりもずっと速く対応しますか？」
「はい」
「それはあるべき姿ではありませんよね？搾取的または児童ポルノの画像がオンラインにある子供の親は、第三者に連絡して、彼らにテクノロジー企業に電話してもらうことに頼るべきではありません。テクノロジー企業はそのコンテンツをすぐに削除する責任を負うべきです」
「なぜそうしないのですか？」
「そうしないことによる影響がないと思うからです」
ソーシャルメディア企業は、ヨーダ・サウラスが時代遅れの法律と考えるものにより、誰かが投稿した写真に関する訴訟から保護されています。通信品位法のセクション230により、1996年の法律です。
「当時は非常に異なる世界でした。オンラインプラットフォームは、ユーザーがそのシステムに置くコンテンツから生じる責任について、ほぼ完全な免責を持っています。セクション230の保護は、子供たちに害を与える『nudify』アプリやウェブサイトに関するこの非常に緩いエコシステムが存在することを本当に可能にするものです」
8ヶ月間応答がなかったと言った親についてSnapchatに尋ねたところ、Snapchatの広報担当者は彼女のリクエストを見つけることができなかったと述べ、「このような種類のコンテンツを報告するための効率的なメカニズムがあります」と付け加え、「そのようなコンテンツに対してゼロトレランスポリシーを持ち、報告されればすぐに対処します」と述べました。
司法省によると、「性的に露骨な行為」と定義されるものを描写している場合、未成年者のAIヌードは連邦児童ポルノ法の下で違法です。しかし、カスティスは「nudify」サイトによって作成される一部の画像がその定義を満たさない可能性があることを懸念しています。
「法律の中にはこの『nudify』アプリに関する隙間があり、それを塞ぐ必要があります」
「現在の法律の隙間は何ですか？」
「性的に露骨な行為を含まない子供の裸の画像は違法ではありません。そしてそれは実際の子供たちにとって深刻な隙間であり、『nudify』アプリによって作成される子供の裸の画像にも確かに存在します」
男子生徒たちがしたことに対して明確なメッセージを送ってください。フランチェスカ・マニが標的にされたことを発見して以来の数年間、彼女と母親はAIに関するポリシーを実施するよう学校に促し、いくつかの連邦法案を可決するために議会のメンバーと協力してきました。
「Take It Down Act」は2つのことを行います。テッド・クルーズ上院議員とエイミー・クロブチャー上院議員が共同提案した「Take It Down Act」は今月上院を通過し、現在は下院での投票を待っています。この法案は、AIヌードを共有することに対する刑事罰を設け、ソーシャルメディア企業にリクエストを受け取ってから48時間以内に写真を削除することを要求するものです。
「学校はこれに対処する方法を本当に知りません。多くの場合、警察はこの段階ではあまり行動しません。そして、サイトは何百万ドルもこれで稼いでいると思います。修正できますか？」
「もちろん、適切な法律があれば、まず第一に犯罪者を阻止するための刑事罰があり、それでもこれらのアプリを使用している場合は責任を問われます。被害者のための民事救済があるでしょう。学校はプロトコルを持ち、調査官と法執行機関は調査方法、どのような告発をするかのロードマップを持つでしょう。しかし、私たちはそこからまだ遠いです。法律が整備されれば、残りのすべてはそこから来るでしょう」
「合成メディア」という用語を聞いたことがないかもしれませんが、一般的に「ディープフェイク」として知られています。しかし、私たちの軍、法執行機関、そして情報機関は確かに知っています。それらは人工知能とディープラーニングを使用して偽のコンテンツやディープフェイクを作成する超リアルなビデオとオーディオ録音です。米国政府は、それらが偽情報を広め、犯罪を犯すのに使用される可能性について、ますます懸念を深めています。なぜなら、ディープフェイクの作成者は、少なくとも私たちの画面上では、人々に何でも言わせたり、何でもさせたりする力を持っているからです。
ほとんどのアメリカ人は、この技術がここ4年間でどれほど進歩したか、またそれに伴う危険、混乱、そして機会についてまったく知りません。
「もちろん、私は自分のスタントをすべて自分でやります。自分の音楽も自分でやります」
これはトム・クルーズではありません。ビデオ共有アプリTikTokに今年初めから登場し始めた、映画スターの超リアルなディープフェイクのシリーズの一つです。
「やあ、TikTokどうだい」
数日間、人々はそれらが本物かどうか、そうでなければ誰が作ったのか疑問に思いました。
「最終的に重要なのは…」
控えめな32歳のベルギーのビジュアルエフェクトアーティスト、クリス・ウメと名乗る人物が立ち上がり、クレジットを主張しました。
「私たちはこれがパロディであることを明確にしている限り、彼のイメージを傷つけるようなことはしていないと信じていました。しかし、数本のビデオの後、これが爆発的に広がり、何百万、何百万、何百万回も視聴されていることに気づきました」
ウメ氏は、声、ジェスチャー、髪が本物のマッコイとほぼ同一のトム・クルーズの物まね師とチームを組んだため、彼の仕事が容易になったと言います。ウメはクルーズの顔だけをディープフェイクし、それを物まね師の実際のビデオと音声に縫い合わせるだけです。
「そこで魔法が起こります」
テクノロジーファンにとって、ディープ・トム・クルーズはディープフェイクの転機でした。
「まだやれるよ」
「これをどうやってこんなにシームレスにするのですか？」
「もちろん、ディープフェイクモデルをトレーニングすることから始まります。トム・クルーズのすべての顔の角度、すべての表情、すべての感情を持っています。本当に良いディープフェイクモデルを作成するには時間がかかります」
「モデルをトレーニングするとはどういう意味ですか？どうやってコンピュータをトレーニングするのですか？」
「トレーニングとは、トム・クルーズのすべての画像、すべての表情を分析し、私の物まね師と比較することです。つまり、私の物まね師が笑っているとき、コンピュータは自分自身を教え、トム・クルーズが笑っているのを再現します。それがトレーニング方法です」
CBSニュースのアーカイブからのビデオを使用して、クリス・ウメは彼のコンピュータに私の顔のあらゆる側面を学ばせ、数十年を消し去ることができました。これは30年前の私の姿です。彼は私の口ひげさえも取り除くことができます。
可能性は無限であり、少し怖いです。
「私の作品に多くの間違いを見ますが、実際気にしません。なぜなら、人々を欺きたいわけではなく、何が可能かを示したいのです」
「人々を欺きたくないのですか？」
「人々を楽しませたいのです。意識を高め、すべてがどこに向かっているかを示したいのです」
「これは間違いなく人間のコミュニケーションと認識の未来における最も重要な革命の一つです。インターネットの誕生に匹敵すると思います」
政治学者でテクノロジーコンサルタントのナイーナ・シックはディープフェイクに関する最初の本の一つを書きました。彼女は4年前、ロシアが民主的選挙に介入するためにディスインフォメーションとソーシャルメディアを使用することについてヨーロッパの政治家に助言していたときに、初めてそれらに遭遇しました。
「これが可能で進行中だと初めて気づいたとき、あなたの反応はどうでしたか？」
「選挙の文脈で虚偽情報と操作の観点からそれに取り組んでいたことを考えると、AIが今、偽物でハイパーリアルに見える画像やビデオを作成するのに使用できるという事実に、情報操作の観点からこれはゲームチェンジャーだと思いました」
これまでのところ、ディープフェイクが米国選挙でゲームを変えたという証拠はありませんが、今年初め、FBIはロシアと中国の関係者が合成プロフィール画像を使用し、ソーシャルメディア上で反アメリカのプロパガンダを広めるために偽のジャーナリストやメディアパーソナリティを作り出していると警告する通知を出しました。
ディープフェイクをどう手に入れるのですか？米国の軍、法執行機関、情報機関は何年もの間、ディープフェイクに警戒の目を向けてきました。2019年のこの公聴会で、ネブラスカ州のベン・サス上院議員は、米国が偽情報、偽造、詐欺の襲撃に備えているかどうかを尋ねました。
「ディープフェイク攻撃から来る可能性のある公共の信頼と市場への壊滅的な影響を考えるとき、私たちは十分に迅速に対応できるように組織されていますか？」
「私たちは明らかにもっと機敏になる必要があります。これは米国にとって大きな脅威であり、情報コミュニティが対処するために再構築する必要があるものです」
それ以来、技術は米国の政策が対応していない速度で指数関数的に進化し続けています。政府と大手テクノロジー企業による合成メディアの検出努力は、政府と大手テクノロジー企業による合成メディアの検出努力は、オンラインで最新の作品や技術を共有するディープフェイクアーティストのコミュニティと競争しています。インターネットと同様に、ディープフェイク技術が最初に広まった場所はポルノグラフィーでした。悲しい事実ですが、今日のディープフェイクの大部分は、女性の顔（主に有名人）をポルノビデオに重ね合わせたものです。
「ポルノグラフィーでの最初の使用事例は、ディープフェイクが今後発生し始めるさまざまな文脈で悪意を持って使用される可能性がある兆候にすぎません」
「そして、それらはますます良くなっていますね？」
「ディープフェイクと合成メディアに関する驚くべきことは、技術に関する加速のペースです。5年から7年で、基本的に個々のクリエイター、YouTuberやTikTokerが、今日最も資源の豊富なハリウッドスタジオにしかアクセスできないのと同じレベルの視覚効果を作成できるようになるという軌道を見ています」
ディープフェイクの背後にある技術は、人間の学習方法を模倣する人工知能です。2014年、研究者たちは初めて、生成的敵対ネットワーク（GANs）と呼ばれるものを使用して、リアルに見える顔をコンピュータで作成しました。
「2つのAIが互いに戦い、最高の偽の合成コンテンツを作成しようとする敵対的なゲームを設定します。これら2つのネットワークが互いに戦い、一方が最高の画像を生成しようとし、もう一方がそれが改善できる場所を検出しようとすると、基本的に常に改善される出力が得られます」
シック氏によると、生成的敵対ネットワークの力はthispersondoesnotexist.comというウェブサイトで完全に展示されています。ページを更新するたびに、存在しない人の新しい画像が表示されます。それぞれは、この世に存在したこともなく、これからも存在することのない人間の、AIによって完全に生成された一点ものの画像です。
「顔の毎日のポア、頭の毎日の髪の毛が見えますが、今はその技術が人間の顔だけでなく、静止画像だけでなく、ビデオ、人々の声の音声合成にも拡張されていることを想像してください。それが私たちが現在向かっている場所です」
「これは驚くべきことです」
「この技術のポジティブな側面は何ですか？」
「技術自体は中立です。悪意のある行為者が間違いなくディープフェイクを使用するのと同様に、それは良い行為者によっても使用されます。まず第一に、ディープフェイクの商業的使用には非常に説得力のある事例があると言えます」
ビクター・リパーベリはロンドンを拠点とするSynthesiaのCEOおよび共同創設者で、ビデオとオーディオ制作を変革するためにディープフェイク技術を使用している数十の企業の一つです。
「Synthesiaの仕組みは、基本的にカメラをコードに置き換えたということです。そして、ソフトウェアで作業すると、通常のカメラではできないことをたくさん行うことができます。まだ初期段階ですが、これはメディアを作成する方法の根本的な変化になるでしょう」
このビデオはもちろんSynthesiaによって生成されました。Synthesiaは、有料の俳優の顔を使用してデジタルアバターを作成・販売し、64の言語でパーソナライズされたメッセージを配信し、企業のCEOが海外の従業員に話しかけることを可能にします。
Synthesiaはまた、スヌープ・ドッグのようなエンターテイナーが増殖するのを手伝いました。ヨーロッパの食品配達サービスJust Eatのためのこの手の込んだテレビCMは、莫大な費用がかかりました。
「Just EatはオーストラリアにMenuLogという子会社があります。私たちの技術で行ったことは、『Just Eat』という言葉を『MenuLog』に置き換えました。そして突然、スヌープ・ドッグが何もする必要なく、オーストラリア市場向けにローカライズされたバージョンができました」
「彼は2倍のお金を稼ぐんですね？」
「そうです」
私がカメラの前でスクリプトを読むだけで8分で、Synthesiaは私のジェスチャー、頭と口の動きを含む合成の話す頭を作成しました。別の会社であるDriptは、AIを使用して私の声のキャデンス、テナー、シンコペーションを持つ合成バージョンの私の声を作成しました。これが結果です。
あなたが聞いている言葉は、本物のビルがマイクやカメラに話したものではありません。彼は単に言葉をコンピュータに入力し、それが私の口から出てくるのです。今は少し荒削りに見えたり聞こえたりするかもしれませんが、技術が向上するにつれて、虚空から言葉と画像を紡ぎ出す可能性は無限です。
「私はビル・ホワイタカーです。私はビル・ホワイタカーです。私はビル・ホワイタカーです」
「すごい。頭、眉毛、口、それが動く方法。すべて合成ですね」
「ビーチでくつろぎながら『皆さん、今日は出勤しませんが、私のアバターを使って仕事をしてください』と言うことができるかもしれません。多分数年後には」
「それを言わないでください。誘惑されます」
「大きな影響を与えると思います」
合成メディアの急速な進歩により、仮想的なゴールドラッシュが起こっています。暗号通貨で財産を築いたロンドンを拠点とする弁護士トム・グラハムは、最近、他ならぬディープ・トム・クルーズの作成者であるクリス・ウメとともにMetaphysicという会社を立ち上げました。彼らの目標は、誰でもライト、カメラ、さらには俳優なしでハリウッド級の映画を作れるようにするソフトウェアを開発することです。
「ハードウェアが拡張し、モデルがより効率的になるにつれて、そのモデルのサイズをトム・クルーズの全身の動きなど全てに拡張することができます」
「破壊的ですね。俳優の仕事を奪うつもりですか？」
「今日有名な俳優であることは素晴らしいことだと思います。なぜなら、誰かにあなたのデータを収集させ、将来のあなた自身のバージョンを作成することを許可することができるかもしれないからです。そうすれば、あなたが亡くなった後も映画に出演したり、若い頃の自分を監督して映画に出したりすることができるかもしれません」
これがどのように合法なのか疑問に思っているなら、ほとんどのディープフェイクは保護された言論の自由とみなされています。立法の試みはばらばらです。ニューヨークでは、パフォーマーの合成的な肖像を死後40年間、同意なしに商業的に使用することは禁止されています。カリフォルニアとテキサスでは、選挙に先立つ欺瞞的な政治的ディープフェイクを禁止しています。
「ここには多くの倫理的、哲学的なグレーゾーンがあり、本当に考える必要があります。では、社会としてどのようにこれに取り組むのでしょうか？まず、何が起こっているのかを理解することです。多くの人々はまだディープフェイクが何であるか、合成メディアが何であるか、これが今可能であることを知りません」
「それに対抗するのは、このような種類のコンテンツが来ていて存在することを理解し、自分自身を予防接種するにはどうすればいいかということです。完全に皮肉にならずにどうやってそれを行うのか。すべての本物のメディアへの信頼を失わずにどうやってそれを行うのでしょうか」
それには私たち全員が、見ることが常に信じることではない世界でどのように活動するかを理解する必要があります。
コメント