AIの欠点:環境被害、悪質なベンチマーク、思考の外注

AIアライメント・安全性
この記事は約40分で読めます。

この動画は、著書「AI詐欺」の共著者である言語学教授エミリー・M・ベンダーと分散AI研究所のアレックス・ハンナが、AI技術の弱点と問題点について詳細に議論した対話である。環境への負荷、ベンチマークの欺瞞性、思考の外注化など、AI技術の暗部に焦点を当て、現在進行中の実害と将来への懸念を包括的に分析している。

AI’s Drawbacks: Environmental Damage, Bad Benchmarks, Outsourcing Thinking
Emily  Bender is a computational linguistics professor at the University of Washington. Alex Hanna is the Director of Re...
  1. AIの最も手厳しい批判者たちによる技術的弱点の議論
  2. AI詐欺の入れ子構造とその本質
  3. 環境への巨大な負荷と隠された実害
  4. 水源喪失と電力網不安定化の現実
  5. メンフィスの環境正義問題
  6. オレゴンとテキサスの水問題
  7. ハイパースケーリング時代の隠された闘い
  8. 効率化の虚構と企業の環境目標後退
  9. 経済構造が生む環境負荷の拡大
  10. Nvidiaの推論計算予測と透明性の必要性
  11. ベンチマークゲーミングの構造的問題
  12. 医学試験ベンチマークの根本的問題
  13. 企業による自己ベンチマークの問題
  14. ARC AGI テストの検証
  15. 有用性の測定と一般化の問題
  16. 一般化は工学実践ではない
  17. チェスとドロソフィラの歴史的類推
  18. 言語模倣の限界と情報ニーズの本質
  19. 情報行動の本質と危険性
  20. パリでの旅行計画使用例への反論
  21. コミュニティとの繋がりの喪失
  22. 効率性と人間関係の対立
  23. 情報検索システムの偏見と除外
  24. 専門知識による検証の必要性
  25. フランス語と地元新聞への反論
  26. 効率性議論の文脈とウェブの質
  27. 能力論証の限界と社会的スキル
  28. 低リスクから高リスクへの滑りやすい坂
  29. 医療文脈でのAI利用への懸念
  30. 医療記録作成の本質的価値
  31. プライバシーと技術的偏見の懸念
  32. 音声認識技術の根本的欠陥
  33. 医療転写労働の性別格差問題
  34. 医療業界の政治経済学
  35. AIによる医療完全代替の悪夢
  36. 医療の質の低下への懸念
  37. 医療における技術導入の微妙な立場
  38. 労働者による底上げ式AI導入の可能性
  39. 合成テキストへの本能的嫌悪感
  40. ドゥーマー批判への転換
  41. 効果的利他主義との思想的繋がり

AIの最も手厳しい批判者たちによる技術的弱点の議論

AIの最も辛辣な批判者2人が、この技術の弱点、能力、そして彼らの議論の細かい点について討論に参加してくれるで。全部この後で話していこうな。

Big Technology Podcastへようこそ。テック業界とその先にある冷静で微妙な対話を届ける番組や。今日は「AI詐欺」の著者らに参加してもろてる。エミリー・M・ベンダー教授、ワシントン大学の言語学教授やで。エミリー、よろしくお願いします。

こちらこそ、番組に呼んでくれてありがとうございます。

そして分散AI研究所の研究ディレクター、アレックス・ハンナにも参加してもろてる。アレックス、よろしく。

呼んでくれてありがとう、アレックス。番組にもう一人のアレックスが参加するのはいつでも嬉しいわ。

ほな、ここではAIの全体像を把握しようとしてるんや。今日は、この技術に対する最も声高な批判者2人を招いて、彼らの主張を述べてもらう。家で聞いてる皆さんは、同意するかどうか決めてもらえばええ。でも二人とも来てくれて本当に嬉しいで。

ほな、本の前提から始めよか。AI詐欺って何なん?エミリー、始めてくれる?

AI詐欺の入れ子構造とその本質

ええ、AI詐欺っていうのは実は入れ子人形みたいな状況の詐欺なんや。一番底には、特に大規模言語モデルが技術的に言うたら客間芸みたいなもんやっていう事実がある。これは私らの言語理解能力を利用して、中に思考する存在がおるように信じ込ませるのがめちゃくちゃ簡単やねん。

この客間芸は様々なUI設計によって強化されてる。チャットボットが「私」「僕」みたいな代名詞を使う理由なんて全くないねん。中に「私」なんておらへんのやから。でもそういう風に設定されてるんや。

それで基本レベルの詐欺があって、その上にはチャットボットで作られた技術を売りつけてくる人らがぎょうさんおる。法的アシスタントになったり、医療状況での診断システムになったり、個人指導教師になったり、労働者を代替したりするためにな。でも同時に社会保障網や社会サービスの大きな穴にバンドエイドを貼るだけやねん。つまり、底から上まで詐欺だらけっちゅうことや。

なるほど、でも僕は君らといくつかの点で意見が違うところがあるで。特に後半では、これらのボットの有用性や、IRE代名詞を使うべきかどうか、それから意識についての議論全体について詳しく話し合うつもりや。

僕らの誰もこれらが意識を持ってるとは思ってへんと思う。ただ、業界がそれをどれだけ煽ったかについて意見の相違があるだけや。

でも僕らが同意することから始めよか。エミリー、君は大規模言語モデルを確率的オウムと呼ぶ非常に有名な論文の筆頭著者やったな。その論文の冒頭で、大規模言語モデルが持ち込む可能性のある環境安全性と環境問題について懸念が示されてた。

環境への巨大な負荷と隠された実害

この番組では、データセンターの規模やモデルの大きさについていつも話してるし、もちろんこれらを使うために支払わなあかん関連エネルギーコストがある。それで、エミリーとアレックス、君はGoogleで働いてたから、この辺りのことはよく分かってるやろう。二人とも、これらのモデルを動かすのにどれだけのエネルギーが使われてるか数値化して教えてくれる?

問題の一部は、たとえGoogleで働いてて直接これに関わってても、これらがあまり公開されてへんことなんや。コストもかなり幅があるし、僕らが知ってる唯一のコストは、Hugging Faceの人らがBloomsモデルで作った推定値だけや。彼らは実際にこれらのモデルのエネルギー消費について何らかの洞察を得ることができたからな。

だから問題の一部は企業の透明性不足なんや。確率的オウム論文が発表された後のGoogleでの反応として、GoogleのSVPジェフ・ディーンやGoogleの反論論文の筆頭著者デビッド・パターソンみたいな人らからの苦情の一つは、「君らはXYZを考慮してない、アイオワの一つのデータセンターで僕らだけが話してる再生可能エネルギーを考慮してない、オフピーク訓練を考慮してない」っていうもんやった。

だから数字を出そうとしてもええけど、実際に何が起こってるかについてあまりにも秘密主義やから、定量化できへんねん。僕らには分からへん。

モデル訓練に関しては、新しいモデルやLlamaみたいなオープンウェイトモデルのパラメータ数は知ってるかもしれへんけど、訓練を停止して再開したり実験したりする試行錯誤がどれだけあったかは分からへん。

だから推測はできるけど、ぎょうさんあることは分かってる。なぜなら今現在、世界で実際の影響が出てるからや。

それはどんな影響なん?どんな影響?

水源喪失と電力網不安定化の現実

水源へのアクセスを失うコミュニティが見られるんや。電力網が不安定になるコミュニティも見られる。そしてこれは非常によく文書化され始めてると思う。この問題を追ってる多くのジャーナリストが良い仕事をしてる。

それから学術的観点からこれを研究してるサーシャ・ルチオン博士の仕事にも注目したいねん。彼女が指摘してる点の一つは、モデルの訓練だけやなくて、もちろん使用についてもやっていうことや。特に検索でチャットボットを使う場合、キャッシュされてるかもしれへんリンクのセットを返すんやなくて、AIオーバービューを返す場合(これは最近Googleで検索しようとすると非同意でよく起こる)、それぞれのトークンを個別に計算せなあかんねん。だから一語ずつ出てくるし、それは昔ながらの検索よりもはるかに高くつくんや。

彼女の数字では、計算量だけで約30から60倍高くつくっていうことで、それが電力、炭素、水に換算されるねん。

メンフィスの環境正義問題

現在の影響について言うなら、特にメンフィスから多くの報道が出てきてる。特にXAIがColossusっていう特定のスーパーコンピューターに電力供給するために使ってるメタン発電機に関してや。特に排出物に関して、南西メンフィス、伝統的に黒人で貧しいコミュニティに影響を与えてるねん。

それからUC Irvineの研究からの報告もあって、バックアップ発電機とディーゼルからの排出について見てる。データセンターのSLAが非常に高いから、実際には何らかのバックアップがいつか必要になるし、それが大気汚染に寄与することになるねん。

AIデータセンターのせいで水源を失った影響を受けたコミュニティはどこなん?

オレゴンとテキサスの水問題

一番よく報告されてるのはオレゴンのダレスやと思う。これが一番知られてて、僕らがAIに焦点を当てる前の、Googleのハイパースケーリング開発に関連してるやつや。オレゴン住民が市を訴えるまで、市の水消費量の半分がGoogleのデータセンターに行ってるなんて知らなかった。

それは生成AI以前やった。生成AI以前や。今は問題がさらに悪化してると想像せなあかんやろうな。

でも僕らにそれが分かるんか?君ら二人ともこの本を書いたんやから。

僕らは確実に環境への影響を本当に重要な要因として指摘してる。でもそれは本の主要焦点やない。人々には、Tech Won’t Save Usのパリス・マークスみたいな人らの報道を参照してもらいたい。「データ・バンパイア」っていう素晴らしいシリーズをやってて、スペインやチリでの話があったと思う。

これは全体的な詐欺を見てるからで、環境への影響も含まれてる。なぜなら僕らがいつも考えるべきことやし、これらの技術にアクセスするときは、おそらく携帯デバイスやコンピューターを通して見てるから、計算とその環境への足跡、騒音、その他すべてがクラウドの非物質性の中で隠されてるからや。

メンフィスの報道についても言いたいねん。Prismでのレイ・レヴィ・ウーア(名前の発音が正しいか分からへんけど)の報道に注目したい。彼らはこの施設の水消費量について詳しく報告してて、コンピューターを冷却するのに1日約100万ガロンが必要やと言ってる。それをするために中水処理施設を建設する必要があるって言ってる。

これらの施設はまだ存在してへんから、建設せなあかんのや。でもこれはすでに建設中で水を使ってる。

ハイパースケーリング時代の隠された闘い

これが生成AI時代以前のハイパースケーリング時代に起こってたっていうのは、残念な事実や。不幸なことに、多くのコミュニティグループが非常にローカルレベルでこれと戦ってるし、多くのことが報道不足になってる。

でもダレスやラウダン郡、テキサス州の農村部での戦いから分かることは、似たような戦いが起こってても驚かへんっていうことや。

効率化の虚構と企業の環境目標後退

報道不足については同感やし、だからこそ生成AIに間違いがあるかもしれへんことのリストを通る時に、ここから始めてるんや。これは問題やと思う。エミリー、君が基本的に触れた通りや。

これらすべてのトークンを生成する時、AIオーバービューを生成しようとしてる時、僕が確認したところでは、これをオプトアウトすることはできへん。君の言う通りや。

まあ、クエリに「-AI」を追加すれば可能やけど、毎回それをせなあかん。どこかに設定を置くことはできへん。

それは面白いな、それは知らなかった。

だから「-AI」でオプトアウトできるんや。でもこれらは従来のGoogle検索よりも多くの計算を必要とする。これらの企業からの議論は、彼らがモデルをより効率的にするだけやっていうことやろうな。時間とともに効率の向上が見られるし、訓練には大きな前払いエネルギーコストがかかるかもしれへんけど、推論は最終的にそれほどエネルギー集約的やないかもしれへん。それについてどう思う?

僕なら、MicrosoftのBrad Smithが生成AIの開始以来、Microsoftがネットゼロカーボンになる計画を諦めてるって言うで。彼はこんなばかげたことを言った:「そこに到達する月面着陸計画があったけど、生成AIで月が5倍遠くなった」っていう、その比喩の全くばかげた乱用や。

でも実際に、Googleも同様に環境目標から後退してるのが見えるし、もし本当にこれらすべての効率化があるなら、彼らはその後退をしてへんと思うねん。

経済構造が生む環境負荷の拡大

前払いでの訓練での大量の炭素使用と、その後推論で減少するっていう議論についても付け加えたい。これはGoogleから直接来た議論や。デビッド・パターソンによる同じ論文にあったもので、論文のタイトルを正確には覚えてへんけど、「訓練コストまたは生成AIのコスト」、たぶん生成やなくて「言語モデルのコストは高原に達してから減少する」みたいなタイトルやった。

つまり、再生可能エネルギーで相殺できる大きな投資があって、それから減少するっていう議論や。でもそれを取り巻く経済を考慮せなあかん。これらを訓練してるのは一つの会社やないねん。

複数の異なる会社がこれらを訓練してて、複数の異なる会社が推論を提供してる。だから、これを製品に入れ続ける何らかのインセンティブがある限り、増殖していくねん。

もしGoogleだけやったら、確かに何らかの計画があって、それを測定して焦点を当てる方法があって、それから実際に減少するかもしれへん。でもGoogle、Anthropic、XAI、もちろんOpenAI、Microsoft、Amazon、みんなが一切れを取ろうとして、訓練と推論の両方をやってるねん。

だから数字を出すのは難しいけど、僕らが見てるのはこれへの大規模投資で、それは炭素コストが非常に高いはずやっていう良いシグナルを与えてる。

Nvidiaの推論計算予測と透明性の必要性

確かに、これが重要な文脈として先導するのは重要やと思う。NvidiaのCEOジェンセン・ウォンが、推論は従来のLLM推論より100倍多くの計算を必要とするって言ってるし、僕が聞いたこれらの企業のトップエグゼクティブから、推論がより多くの計算を必要とするかどうかについて、ジェンセンが言ってるほどやないけど範囲があるねん。

だから、みんなが聞いてくれてるなら、AIについて話すとき、環境コストがあることを考慮する重要な文脈やと思う。それが何かは完全には明確やないけど、一つはあるし、著者らと同じく、より多くの透明性が理にかなってると同意する。

ベンチマークゲーミングの構造的問題

今度は君らが本で提起してるもう一つの問題について話そう。ベンチマークゲーミングや。過去数週間、僕らのBig Technologyディスコードでホットトピックになってる。これらの研究ラボが新しいベンチマークに到達したとか、新しいテストで特定のレベルをクリアしたとかいつも教えてくれるけど、多くがテストのための訓練をしてるように見えるから、それが何を意味するか理解しようとしてるねん。

君らは本でベンチマークのゲーミングと、それが僕らに伝えようとしてることについて批判的な観点を持ってる。だから、ベンチマークで何が起こってるか説明して、ゲーミングについて教えてくれ。

エミリー、頼むで。

ベンチマークのゲーミングって言うと、ベンチマークが合理的で悪用されてるみたいに聞こえるけど、実際には外にあるベンチマークのほとんどが合理的やないと思う。構造的妥当性っていうのが欠けてるねん。

構造的妥当性っていうのは、僕らが測定しようとしてるものが実在するものであり、この測定がそれと相関してるっていう2部構成のテストや。でも実際には誰も、これらが実在するものとして何を測定することを意味してるかを確立してへんし、ましてや2番目の部分もやってない。

だから、「今、何々で最先端になった」って言うのに有用な売上数字にはなるけど、測定するって名前が付けられてることと興味深く関連してへんし、ましてやシステムが実際に何のためのものかとも関連してへん。

医学試験ベンチマークの根本的問題

付け加えるなら、ベンチマークについて多くの仕事があって、本の前にエミリーと僕はベンチマークデータセットについて多くの時間を費やして書いてきた。だから個人的にImageNetデータセットに取り憑かれてて、ImageNetデータセットだけで別の本を考えてるくらいや。

ベンチマークが主張してることには多くの異なる問題がある。構造的妥当性がおそらく第一で、Med Palm 1や2がUS医師国家試験で測定されるようなものがあるとき、それは実際に医師として十分かどうかを決定するテストやない。

医師であることにはもっと多くのことが関わってる。司法試験に合格したからって弁護士になる準備ができてるとは言えへんやろ?関係性や訓練、他の種類の専門化など、もっと多くのことが関わってる。

職業社会学や職業の社会学には、専門化がどんなもんか、何を伴うか、どんな社会的スキルが関わるか、それが何を意味するか、その分野でどうやって熟練するかについての膨大な文献があるねん。

企業による自己ベンチマークの問題

それから、企業が科学をやる方法自体に多くの異なる問題がある。彼らはこれらのベンチマークをリリースしてて、多くの場合、これらは彼ら自身が作成してリリースしたベンチマークや。だから彼らが試験に「教える」かもしれへんけど、彼らがやろうとしてることに関して外部妥当性もないねん。

OpenAIは「僕らのモデルがあまりにもよくできたので、新しいベンチマークを作らなあかんかった」って言ってる。でも誰がそれを検証してるんや?

古いベンチマーキング文化でも、外部ベンチマークがあって、複数の人がそれに行って「この ベンチマークでより良くやった」って言ってた。今OpenAIは「僕らがあまりにもよくやったから独自のベンチマークがある」って言ってる。

古いシステムが良かったわけやないけど、この新しいシステムでは、それが主張してることをできるっていう独立した検証はどこにあるんや?

ARC AGI テストの検証

ARC AGIテストについてどう思う?

ARC AGIテストについて時間を費やしたな。少なくとも表面上は独立してる。フランス人によるものやろ?

ちなみに、みんなが聞いてる人のために、基本的にはモデルにパターンを理解して図形を組み合わせる能力を一般化できるかを求めるテストや。それが一番良い説明方法やと思う。

それは2Dグリッドの視覚パズルの束で、大規模言語モデルが扱えるように、これらの2Dカラフルなものは文字の連続に変えられる。アイデアは、数ショット学習のセットアップで、少数の例があって、それから入力があって、そのような出力を見つけることができるかっていうことや。

これがARC AGIって呼ばれるのがすでに誤解を招くってことについて話したいとき、それがAGIをテストしてるって示唆してるけど、そうやない。それは一つの特定のことで、ショルレの言う通り、これは人々が通常言語モデルに使ってるのとは非常に異なる種類のタスクや。

だから一般化への身振りは、それのために訓練されてなくてもそれができるなら、それは何かの証拠やっていうことや。でもこれについてのOpenAIの論文状オブジェクトを見ると、システムがそれをできるように調整するために、多くをトレーニングデータとして使った。

だから、教師ありマシンラーニングは何とか機能するっていうことや。次のテストは新しい問題の束でARC AGI 2が出てきて、瞬時にすべてのモデルがそれらで悪いパフォーマンスを始めた。

有用性の測定と一般化の問題

これらのAIモデルが有用かどうかを君ら二人が評価できる測定があるか、それとも完全にその有用性を書き捨ててしまったのか聞かせて。

何に対して有用なんや?君が教えてくれ。

それがまさに僕の要点や。特定のタスクのためにマシンラーニングを使うのは完全に問題ないと思うし、そしたらタスクとコンテキストに関係する測定を設定するねん。

僕は計算言語学者やから、自動転写みたいなものは非常に僕の分野や。もし自動転写システムを評価するとしたら、「よし、誰のために使うんや?どんな音声変種に対してや?」って言って、人々が話してるデータを収集して、誰かに転写してもらって(人間に)、それから様々なモデルがその転写でどれだけうまく機能するかを評価するねん。

そして十分うまく機能して、それが僕にとっての使用例の許容範囲内なら、素晴らしい、それは良いことや。

一般化は工学実践ではない

一般化する能力について信じてる?

一般化する能力について、ここでタニーク・ガブルー博士の仕事を考えてるけど、それは工学実践やない。それはスコープされてないシステムや。

ガブルー博士が言ってることは、工学の最初のステップは仕様やっていうことや。何を作ってるのか?もし作ってるのが一般的なものなら、間違った道に逸れてる。それはテストできるものやないし、よくスコープされた技術でもない。

この一般性の概念はAIでもいつも何らかの特異性を持ってた。本で言及してるのは、ゲノミクスのショウジョウバエモデルのこのアイデアや。この一つの非常に特定の種に非常に共通する何らかの配列があるっていうアイデアやな。

過去にAIでそれが何になったかっていうと、チェスのゲームやった。ゲーム対戦やった。これらは非常に特定のタスクで、これらは一般知能みたいなものに一般化せえへん。そんなものが実際に存在するかのようにな。

AIリサーチの問題の一つは、知能の概念が非常によく定義されてへんし、一般性の概念も非常によく定義されてへんか、実際のベンチマークや達成しようとしてるタスクにスコープされてることや。

チェスとドロソフィラの歴史的類推

この一般性の概念は非常によく理解されてへんし、一般知能みたいな概念があるように聞こえるように展開されてる。本の脚注で指摘してる素晴らしい論文があって、ネイサン・エンスメンガーによるもので、60年代と70年代の前のAIハイプサイクルで、チェスがAI研究時代のドロソフィラになった経緯について話してる。

たまたまチェスが好きで、チェスで優位性を持ってたソビエトと競争したかった多くの男たちがいただけや。だからそれらのタスクがこの種のタスクになった。「これらは僕らが好きなものや」「これらは僕らが最も価値ある問題やと思う方法でスコープされたタスクや」。でも世界に存在するもので、役立つし有用で、特定の実行にスコープされたものについて考えるタスクやない。

このすべてシステムの概念は、非常にスコープされてへん。

でもスコープされてへんけど、今聞いてるか見てる人はみんな、多分「ChatGPTの基本的な使用で、歴史について教えてくれるし、詩を書けるし、ゲームを作れるし…」って言うやろうな。

エミリーがすでに反応してるのが見える。

ウェブを検索して計画をくれるし、これらすべての異なることを異なる分野でできるねん。だから、聞いてる人には様々な異なる分野に入って実行する能力の感覚があると思う。君が魔法のトリックやと言おうが言うまいが、それは明らかにできるねん。

だから僕が理解しようとしてることは、それを測定する方法があるんか、それともそれ自体が間違った主張やと思ってるんか?

言語模倣の限界と情報ニーズの本質

間違った主張やと思う。ChatGPTができることは、多くの異なるドメインで人間の言語使用を模倣することや。

だから詩の形式を作れるし、旅行旅程の形式を作れるし、何かの出来事の歴史についてのWikipediaページの形式を作れる。実際に情報ニーズがあるなら、これを使うのは非常に悪いアイデアや。

環境への影響を脇に置いて、ChatGPTを使うことの環境への影響を脇に置いて、その背後にある恐ろしい労働慣行を脇に置いて、そして消費者がより少ない恐ろしい出力を見るように恐ろしい出力を見なあかんデータワーカーの恐ろしい搾取を脇に置いて、恐ろしい出力っていうのは暴力や人種差別、あらゆる種類の心理的な…

僕らはそれを番組で取り上げた。

そうやった。このコンテンツを評価してる人の一人を番組に呼んだことがあるんか?興味がある人は、リチャードがその経験がどんなもんやったかについて話すために来てくれたので、番組ノートにリンクするで。

でもごめん、続けて。

だからそれら全部を脇に置いて、もし情報ニーズがあるなら、本当に知らんことがあるなら、合成テキスト押し出し機の出力を取ることは、実際にもっと学ぶための準備をしてくれへん。いくつかのレベルでな。なぜなら、もうすでに知らんから、必ずしもすぐに確認できへんからや。ChatGPTなしで追加検索をするかもしれへんけど、だったら最初からその検索をしたらええやん。

情報行動の本質と危険性

でもまた、世界が「質問があったら答えをくれる機械がある」ように設定されてるって仮定するのは、情報アクセスをしてるときには貧弱な情報実践や。代わりに僕がしてることは、その種の情報がどこから来るか、それらがお互いに対してどう位置づけられるか、世界でどう着地するかを理解することや。

これは僕がシュラグ・ショーとやってる情報行動についての仕事で、チャットボットが非常に正確やったとしても、実際にはこれらの実践をする悪い方法やろうな。

だから君の指摘に戻ると、このシステムは多種多様なトピックでもっともらしく見えるテキストを出力するように設定されてる。そこに危険があるねん。なぜなら、僕らはロボ医者、ロボ弁護士、ロボ家庭教師にほぼ到達してるように見えるからや。実際には、それは真実やないだけやなくて、環境的に破滅的などでもあるけど、それは住むのに良い世界やないし、それについて考えることは…

パリでの旅行計画使用例への反論

この点について触れたいねん。僕はこの件で君と意見が違う。君が言ってる点のいくつかは根拠があると思う。これらを今すぐ弁護士にしたくはない。でも最近僕が使った一つの使用例を指摘させて、もし僕が間違ってると思うなら教えてくれ。

僕は今パリにいるねん。少し仕事、少しバケーション同時にや。僕がやったことは、友達が持ってた2つの書類を取ったことや。彼らはここによく来てるから、ここに行く友達に送る書類をまとめてた。僕はそれをChatGPTにアップロードして、それからChatGPTにウェブを検索させて、何をするかのアイデアをもらった。どこにいるか、どこに行くかを伝えて、例えばすべての美術館、アートギャラリー、フェスティバル、コンサートを検索して、一か所にまとめてくれた。

それは僕にとって新しい文化イベント、コンサートを見つけるのに非常に有用やった。ここでパンフェスティバルまでやってることを全く知らなかったのに、今度行くことになった。僕のために見つけてくれたからや。

だからこの種のことになると、リンクがあって、出かけて仕事をダブルチェックできる。でもウェブで情報を見つけることに関して、これらのイベントのためにインターネットを調べて、僕が与えた書類でのコンテキストを考慮に入れる能力は非常に印象的やと思う。

それは一つの使用例やけど。だから弁護士になることを求めてへん。君が言った通り、旅程プランナーになることを求めてるねん。それの何が悪いん?

コミュニティとの繋がりの喪失

まず第一に、友達からの素敵な書類があって、僕が理解してることは、欠けてるのは現在のイベントが何であれやっていうことや。彼らは「こんなのを探すための一般的なもの」を君に与えてくれたけど、今起こってることは調べてへんかったんやろ。

それの何が悪いかって?いくつかのレベルでな。以前の時代、インターネット以前でも何をしてたやろうか?地元の新聞が現在のイベントをリストしてたやろう。ここで何が起こってるかや。

もし街に着いたら、地元の、おそらく地元のインディー新聞を見つけて、イベントページを見るやろう。そのシステムは、フェスティバルをやってる人らと新聞記者の間のコミュニティ内の一連の関係に基づいてた。

それは地元のニュース情報エコシステムを支援するのに役立ったやろうし、良いことやった。でもその上に、もし何かがリストされてなかったら、なぜこれがリストされてへんのか、欠けてる関係は何かについて考えることができた。

ChatGPTの出力は君にナンセンスをくれるやろうし、君の言う通り、これが本物かどうか確認できる使用例や。でも複雑な偏見のセットがシステムに巻き込まれたから、プラス今回のダイスの役割が何であれ、表面化されてないものもあるやろう。

効率性と人間関係の対立

誰かが「これにはChatGPTが必要や」って言うとき、通常2つのうちの1つが起こってる。通常は、人々とのコミュニティにいる機会、つながりを作る機会をもっとくれる別の方法があるか、または深刻な満たされてないニーズがあるかや。これは君の場合みたいやないけど。

もし少しフレームを引き戻したら、なぜ誰かが唯一の選択肢が合成テキスト押し出し機やと感じたんやろうって言える。ここで君は前者に陥ったと思う。この方法でやることで何を逃してるんや?周りの人々とのつながりを作る機会は何や?

Airbnbに泊まってるなら、多分Airbnbホスト、ホテルならコンシェルジュに、機械を見る代わりにこれらの質問への答えを得るためにな。

情報検索システムの偏見と除外

これは非常に低リスクのシナリオやっていうことも言いたい。出かけて、これらのことを確認できるし、人々がオンラインで多くの時間をかけてキュレーションしてる既存のイベントカレンダーのリソースに行ける。以前の技術事例にもこれは存在してへんかったわけやない。

本で引用して多く話してる人の一人は、Googleと、Googleの結果が人種的マイノリティに関して非常に暴力的なコンテンツをどう提示するかについてのジョセフ・ノーブル博士の仕事や。

本の中で僕が参照するのが好きで、多くの人が最初に参照せえへん部分の一つは、彼女が話してる種類の部分や。彼女はYelpについて話してて、特にYelpと黒人美容師について、Yelpが効果的にこの人をビジネスから締め出してた方法について言及してる。

彼女が研究してた街の黒人住民のための特定のニーズがあって、髪を編んだり他の黒人ヘアスタイルをしたりすることやった。だからこれはあらゆる種類の情報検索システムの機能や。それらが何を含んでるか、何を除外してるかを考えることや。

専門知識による検証の必要性

これはここでは非常に重要やないけど、要約や検索のあらゆる種類の分野では、検証できて、入ってるものが何か巨大なものを逃してへんことを確保できる何らかの専門知識が必要や。

それらの情報アクセスリソースやシステム、この場合はウェブをクロールするこのセットを取って、それが何かを逃すことを知ってて、それからそれを悪化させることになるねん。なぜならそれらのソースをコンテキストで位置づけることができへんからや。

フランス語と地元新聞への反論

僕の反論を言わせて、それからこれから先に進もう。

僕の反論はいくつかのことや。まず第一に、僕はフランス語を話さへんから、地元新聞は僕には理解できへんやろう。

住民の場所に泊まってる。アパートを交換したんや。だから彼女は僕のニューヨークのアパートにいて、僕はここにいる。だから多分彼女と僕はその新聞を一緒に見ることができたかもしれへん。それは公平や。

でも新聞は、物事を除外することについて話すなら、新聞はいつも物事を除外してる。編集判断を行使してる。だから新聞の編集判断対ボットの編集判断やけど、ボットはウェブ全体を検索してるから、ある意味でより包括的になれるねん。

それから最後に一つだけ言わせて。僕はそれを使う必要性を感じてへんかった。それを使う必要があるとは言ってへん。何が起こってるかを理解するためにな。

再び、僕はこれらの書類を持ってた。それについて有用なことは、地元コミュニティとのつながりを作ることについて話すなら、もし効率性って言葉を使って、それを使って僕の研究で効率的になれるなら、ウェブを検索したり新聞を読んだりするよりも、コミュニティで外でもっと多くの時間を過ごすことができるねん。

それらの議論についてどう思う?

効率性議論の文脈とウェブの質

労働の文脈ではなく、レジャー活動の文脈での効率性議論やな。

途中で、それが君のためにウェブ全体を検索してるって言ったけど、実際にはそれは分からへん。それは正しいやろ?

そうやな。

そしてウェブ全体には、君が実際には欲しくない多くのものが含まれてる。ウェブの多くは単なるガベージSEOのものや。

そして多分君のChatGPT出力では、検索エンジンでよりも多くのそれを見てるかもしれへん。アレックスが言った通り、検索エンジンも問題があるけどな。

SEOガベージは検索エンジンのために作られてる。そうや、でも検索エンジンもビジネスを続けるためにSEOガベージと戦い返さなあかんねん。絶え間ない戦いや。

チャットボットもそうやろうな。

だから君は新聞の編集判断対ボットの編集判断について言及したけど、ボットは判断を持てる種類のものやないし、判断を行使することに対する説明責任を持てる種類のものでもないっていうことに異議を唱えるねん。

だから、アレックスが言ってる通り、これは低リスクやと思うけど、もしこれらが世界で有用であることの動機として使ってるなら、世界で有用であることは多くのより高リスクなことを伴うことに対処せなあかんねん。それから説明責任について本当に心配せなあかん。

能力論証の限界と社会的スキル

「能力」からの議論についても言いたいねん。その用語が何を意味するかよく分からんし、特にAGIに関してはそれもよく定義されてへん用語やと思う。

でも「まあ、有用やと思った」っていうこの種の議論はあまり説得力があると思わへん。つまり、「よし、検証できるソースについて何らかのグラウンドトゥルースを知ってて持ってる状況か、これらの様々な異なる状況で有用やと思った状況で有用やと分かった」っていうようなもんや。

でも僕が社会学や社会運動文献みたいに、結構よく知ってる分野についてチャットボットに聞いてるなら、僕はその分野での僕の社会的スキルから、その検証する知識を持ってる。これは社会学者ニール・フリガスタインから借りてる用語で、それらの分野をナビゲートする僕の知識と、社会学者としての僕の専門化やねん。

低リスクから高リスクへの滑りやすい坂

でも検証可能性が僕から逃げる分野、ほとんどの分野がそうやけど、僕らはほとんどの分野の専門家やないからな。僕らの多くがすべての取引のジャック、ジャックとジルになりたいと思ってても、その能力を失って、同じ方法で検証する社会的スキルや知識の深さを持たへんねん。

だから「これらの非常に低リスクの文脈で僕には有用や」っていうことには本当に説得されへん。なぜならその滑りやすさが、本当に悲惨な文脈でかなり大きなことを逃すことを意味するからや。

よし、戻ってきたときには段階を上げよう。なぜなら職場でのAIと医療文脈でのAIについて話すつもりやし、本で書いてるドゥーマリズムについてさえ少し触れるかもしれへん。議題には他にもたくさんあるからな。この後すぐ戻ってくるで。

医療文脈でのAI利用への懸念

Big Technology Podcastに戻ってきました。エミリー・M・ベンダー教授とアレックス・ハンナと一緒や。彼らは「AI詐欺:ビッグテクのハイプと戦い、僕らが望む未来を創造する方法」の著者や。

有用性に移ろう。医療文脈での生成AIから始めるで。なぜなら、おそらく最大の意見の相違がありそうな例にまっすぐ行こうや。

僕は生成AIが医者の役割を果たすべきやとは言ってへん。実際、僕が同意することのリストを書いたとき、AIは少なくともまだセラピストになるべきやないと思ってる。最近の研究によると、AIの第一位の使用が交際とセラピーやということが分かってる。セラピー側は本当に僕を怖がらせるし、交際の方も世界で最高のことやないと思ってる。

でも医療では、この分野で何らかの用途があると思う。医療は事務処理と保険要件に溢れた分野で、医者が患者を診たり人生を送ったりする代わりに、効果的にコンピューターに縛り付けてメモを書くことで、医療システムを台無しにしてると思う。

アレックス、休憩前に君が言ったのは、この種のものが有用な分野の一つは、君の専門分野で操作し始めるときやっていうことやった。検証できるからな。

だからここで僕がかなり良いと思う一つの使用を取り上げるし、生成AIが詐欺みたいに感じさせない使用や。医者が患者を診てて、患者との会話の転写を取って、それからAIに彼らが話し合ったことを合成して要約させて、電子医療記録のために持ってるシステムに入れて、それから検証する。そうすれば、それらの要約を書くのに時間を費やす必要がなくて、実際に出かけて患者ともっと時間を過ごすことができる。

それの問題は何なん?

医療記録作成の本質的価値

とても多くの問題があるねん。最初に言いたいのは、保険がこんなに多くの事務処理を要求するっていう根本的な問題を君が指摘したことや。だからこれは本当の問題がある状況の一つやねん。

医者が臨床メモを書くべきやないっていうわけやない。それは実際にケアの一部やねん。でも特にアメリカのもののように、保険システムの設定方法のせいで要求される追加の事務処理がぎょうさんある。だから僕らはその問題の解決に取り組むことができる。

これは大規模言語モデル、いわゆる生成AIへの方向転換がこのアプローチとして問題の存在を僕らに示してる場合やねん。でもそれが良い解決策やっていう意味やない。

とても多くの問題がある。一つは臨床メモを書くことは実際にケアのプロセスの一部やっていうことや。それは医者がその患者との会話から出てきたことを反省して、それを考え抜いて、書き留めて、次の治療への計画を立てることやねん。

それは医者にケアの一部としてやる習慣から外れてほしくないことや。彼らはそのための時間がないと感じるかもしれへん。それもシステム的な問題や。

プライバシーと技術的偏見の懸念

第二に、これらは周囲リスナーとして設定されてて、巨大なプライバシー問題やねん。そのデータを収集したらすぐに、この放射性の危険の山みたいになるねん。

第三に、これの最初のステップである自動転写システムが異なる言語変種に対して等しくうまく機能せえへんっていう事実がある。第二言語を話してる人について考えてみ。構音障害のある人について考えてみ。言葉が非常にはっきりしてへん高齢者について考えてみ。

働いてるコミュニティへの移民である医者について考えてみ。彼らの言葉がうまく転写されへんから、臨床メモのことがうまく機能せえへんという追加の仕事があるねん。でもシステムは、AIが引用符付きでこれらすべてを世話してくれるから、より多くの患者を診ることができるっていう期待があるところで設定されてる。

最近出てきた美しいエッセイがあって、STAT newsに出たと思うけど、著者の名前をすぐに見つけられなかった。医者がケアのその部分を実際にやることが彼女にとってどれだけ重要かについて本当に反省してて、患者との行き来から、医者のすべての専門知識をそのメモに入るものまで、これが重要やっていうことを引き出すことや。

それは単純な要約やない。患者とのやり取りから、その会話からそのメモに入るものまで行くのは、実際に医療作業の一部なんや。

音声認識技術の根本的欠陥

エミリーが言いたかったことの多くを言ってくれたから、それに加えて3つか4つの別個のポイントがあると思う。

まず技術的なポイントや。要約であることが主張されてるツールがあるねん。昨年10月のガレン・スパーとヒルダ・シェルマン、APによる素晴らしい報道があって、Whisper、つまりOpenAIのASRシステム、自動音声認識システムを見てて、医療転写が基本的に多くのことを作り上げてるって言ってた。

それから僕らはこれらに「幻覚」があることを知ってた。繰り返しになるけど、それは本で使ってへん用語や。僕は作り上げてるって言うけど、それは僕にとってはシステムの擬人化を認めすぎかもしれへん。

でもこれらの多くから、その発明されたテキストには人種的コメンタリー、暴力的レトリック、さらには想像上の医療治療まで含まれてる。それが一つの大きな問題や。

医療転写労働の性別格差問題

第二の問題は、医療転写がこの分野、医学が何年も労働のカジュアル化を強制してきた分野やっていうことや。だから今病院に存在する医療メモ取りの多くは遠隔で行われてる。だからそれは行って、医療メモを書きたくないっていうこの種の仕事、他の誰かに強制されるべきこのビジーワークみたいに見られてきた仕事を取ったんや。

この種のASR要素以前に、僕らはこの種のアウトソーシングの動きがあった。その多くは実際にこの種のカジュアル化の一部として遠隔でオフショアされてる。

これは多くが女性ベースの仕事やと思われてるし、それは非常に多くのいわゆるAI技術が基本的に伝統的に女性の領域やった仕事を取って、「まあ、僕らはそれを自動化できるか、異なる方法でカジュアル化できる」って言いたがる方法の多くを反映してる。

それが重要なのは、この仕事を実際には引用符付きの仕事の一部やないと見てるからや。カジュアル化されてオフショアされるべき仕事と見られてる。

だからエミリーが共有したエッセイを評価するのは、そのエッセイが「いや、これは実際に医者であることの要素や」って言ってるからや。

医療業界の政治経済学

それからこのすべてを医療業界の政治経済学の中に位置づけたい。急いで遠隔医療をもっともっと入れて、医者がより多くの患者を診ることの意味について考えることや。

医者からのこれらの効率性の向上は、必ずしも彼らの仕事を楽にするわけやない。それは彼らにもっとプレッシャーをかけることになるねん。医療メモを取る必要がない位置にいるようになったら、予約から予約へ予約へと走り回ることになるねん。

僕の姉妹は看護師や。看護師開業医やねん。彼女は今、自分のクリニックで仕事でこれを基本的に見てる。彼女は「今、患者を診なあかんものがあるところにいるようになった。もしそれが、僕がビーチのどこかに行くことやないなら、1日に9から10の15分の予約を持つことを意味する。患者と過ごす適切な時間、適切な治療時間を持たへんことになる」って言ってる。

AIによる医療完全代替の悪夢

このすべてのコーダに対して言いたいのは、もしAIブースターが本当に医者業すべてをチャットボットにオフショアできるなら、彼らはそうするやろうっていうことや。これはビル・ゲイツが言ったケースで、「10年後には教師と医者はいなくなる」っていう。教師がいなくて医者がいないなんて、なんという悪夢のシナリオや。

グレッグ・クラドもそれを明かしてて、本で彼を引用してるけど、Med Palm 2について「この技術は本当に効率的や。僕らの医療能力を10倍増やすやろうけど、これが僕の家族の医療の旅の一部になることは望まへん」って言ってる。

でも君はここでも、最も極端な発言を選び出してる。ビル・ゲイツやし、彼は極端な発言をすることがある。僕はあの男がその男やとは思わへんし、それが広範な合意を反映してるとは思わへんし、間違いなく僕が聞いた質問を反映してへん。

これは医者が事務処理に使ってる時間の一部を取って、それを医者に返すか、より多くの患者を診ることができるようにすることについてやった。

医療の質の低下への懸念

僕らはその点を非常によく扱った。まず第一に、そのエッセイの著者の名前を挙げたい。彼女の名前はアリヤ・バラカットで、美しいエッセイや。彼女は数学者でもあり、慢性疾患を持つ患者でもある。素晴らしいエッセイやで。

でも君は「その時間を医者に返すか、より多くの患者を診させるか」って言ったやろ?医者に戻ることはないやろう。それは僕らの医療システムの仕組みやない。だからそれは患者ケアの質を低下させることになるねん。

病院がもっとお金を得る可能性と、確実にそれを病院に販売してるテック企業以外は、負け負けやねん。

医療における技術導入の微妙な立場

より微妙な立場を考える上で、アレックス、君が考えてる参照は誰なん?これの医療合意は何なん?これを非常にうまくやってると思う人の例は誰なん?

誰かがこれを非常によくやってるっていうことについて、これらのものはまだよく開発されてへんと思う。でも確実に、単に事務処理に埋もれてる医者を十分見てきた。

そして僕らはこれが保険主導のものやっていうことから始めた。だから興味深いのは、君ら二人とも保険会社がシステムを導いてる方法は好きやないけど、医者がそのメモを自分で書くのが良い実践やと思ってるか、それとも…

ちょっと待って。医者のメモには2つの使用例があるねん。実際に患者と残りのケアチームのために、このセッションで何が起こったかを文書化することや。それは医者業の非常に重要な部分やと思う。

保険会社に支払いを戻してもらうためにせなあかん追加の事務処理があることは信じるし、僕はそのシステムは全く好きやない。保険会社は何の価値も提供してへん。彼らはアメリカの医療システムの吸血鬼や。

その点では同意できると思う。でも、このようなものが良くなるにつれて、患者がこれが起こることを望んでると理解してる。もしこのようなものがうまく機能してるなら、医者がAIにメモを要約させたり、より重要な部分を選び出させたりすることを許可しても、必ずしも患者により悪いケアを与えることにはならへんと思う。

それは大きな「もし」やな。このようなものが良くなるとか、このようなものがうまく機能するっていうのはどういう意味なん?作り上げることがないっていう意味なん?

間違いなく。でも僕ら全員、医者がこの情報を後で確認してチェックすることに同意してる。

まあ、問題はそこにあるねん。そしたらなぜ最初から医者にそれをダブルチェックさせるんや?医者が15分ですべての患者を診て、これらのことで自動音声認識をやってるいわゆるAIスクライブ、AIスクライブとは呼びたくないけど、自動音声認識ツールがある分野で、医者がそれらを確認する余地や時間はどこにあるんや?

医者がすべての患者に15分しかなくて、AIスクライブが…

検証は転写よりも簡単なタスクなんか?それが僕の質問や。

僕は違うって言うで。これらのシステムを使った僕の経験から、僕は医者やないねん。ありがたいことに。考えたことはあるけど、親が望んでるような医者やないねん。

でも問題は、データワーカーとの定性的インタビュー、特にAIシステムの訓練について話すためのインタビューでこれらのツールを使った経験から、これらのツールを使って非常にひどい時間を過ごしたっていうことや。

これは医学用語やないけど、データワークをしたりAIシステムの訓練について話したりすることに関する用語や。本当にひどい仕事やった。ある時点で僕は全部投げ出して、「よし、実際に転写してもらうために誰かに送る。これは僕の役に立たへんし、最初から始めるよりも時間がかかってる」って言った。

僕は主に定性的インタビュアーやないけど、研究キャリアで数十のインタビューを転写するのに時間を費やしてきたし、非常に困難やと分かった。

だから質問は、その検証が、患者と働くことや患者とのケアに使える時間を取ることなんかっていうことや。保険業界についてのすべてを安定させて考えるなら、患者がどう提示するか、患者が自分の提示の仕方をどう説明してるかについて考える概念は、それは多くの場合、それをやる仕事やねん。

僕が持ってる医療訓練は、かつて認定EMTやったことがあるっていうことや。PCRを書くのは、誰もPCRを書きたがらへん。同時に、患者がどう提示してるかをメモする時間を費やしてる。患者は唇の周りが青紫色やねん。

これらは医療従事者が注意を払ってることで、メモを取ることや。多分後で書いてるからや。だから書くこのプロセスと、それが見ることや援助、医療ケアの管理の僕ら自身の実践に何をするかについて考えてる。

この点では同意しないことにしよう。でも僕らは皆、保険会社が追加の書き込みを要求するのは、クレームに到達せえへんことを望んでるだけで、だからファイルしないっていうのは多分悪いことやっていうことで同じページにいる。

それから、少なくともまだAI医者がいるべきやないと僕らは思ってへん。僕が言うのは少なくともまだで、君らは多分決してって言うやろうな。

労働者による底上げ式AI導入の可能性

だから2つの話題をもっとやりたい。多くのAIの有用性についての本での議論は、これらのツールが上から押し付けられることを論じてるけど、もし下から来たらどうなん?労働者がそれらの使用を見つけて、ChatGPTやClaudeみたいなものを使うのが上手になって実際に仕事を楽にできるなら、あるいは医療の使用例で話し合ったように、医者がこれが自分にとって有用やと分かったら、君らはそれに反対なん?

そうや。実際にキャドバリーが最高に言ったと思う。インド市場向けの陽気なコマーシャルがあって、君がこれから得てるとされる効率性が物事のスピードを上げて、実際にやってる仕事に入り込んでそこにいる時間を残してくれへんことを示してるねん。

僕が聞いた最も信頼できる使用例は、まずコーディング支援としてのものや。それは自然言語と何らかのプログラミング言語の間の機械翻訳問題のようなもんや。

そこで僕が本当に心配してるのは技術的負債や。人によって書かれてない出力コードで、よく文書化されてない、後で誰か他の人のデバッグする問題になるようなもんやねん。

でもメールを書くことでも、人々はメールを書くのが嫌いで、メールを読むのも嫌いや。だから誰かが箇条書きを書いて、ChatGPTを使ってそれをメールに変える、相手はChatGPTを使ってそれを要約するかもしれへんっていうシナリオがある。

「よし、だから僕らは何をしてるんや?」みたいになって、ステップバックして、みんなが書くのに迷惑で読むのも迷惑やと思ってるこのすべての書き込みを要求してるシステムは何なんか、僕らはそれらのシステムを再考できるんかって言うことや。

合成テキストへの本能的嫌悪感

それから僕は合成テキストの受け取り側にいるときはいつでも、非常に腹が立つっていうことを言わなあかん。本に入れてることの一つは、確実に昨日そんなメールの一つを受け取って、「君はこれにChatGPTを使った、僕は君がしたことを知ってる」って思ったことや。

もし君がそれを書く気になれへんなら、なぜ僕がそれを読む気になるべきなんや?

それは良い点や。

有機的に労働者がこれを使ってる場合について考えるのは非常に興味深いねん。僕が個人的に聞いたことはほとんどないし、特に専門的なことについてはな。多くの労働者がこれの多くの用途を見つけてると思うけど、それが上からやないアナログとして見つけるのは教育やと言うで。

その程度では、教育が何かについて考える失敗やと思う。その場合、学生がこれを使ってクラスを通り抜けることを僕は望んでる。

そうや。

教師が物事をまとめることについて?でも僕は学生について考えてる。そして学生を何らかのアナログとして使って、それから何が学生にこれを使うことを強制してる条件かについて考えることや。

この種の場合で、これが何らかの有用に見える場合があるなら、それは仕事について何を言ってるんや?仕事がどう指向されてるかについて何を言ってるんや?

その場合、多分仕事をどう運営するかについて異なる効率性や考え方が必要かもしれへん。それから僕はこれらのものが仕事環境で義務化されることを心配してる。「人々がこれを使ってるし、だからみんながこれを使ってる」って言ってて、それから抵抗者や「まあ、僕はこれが良い仕事をできへんことを知ってる」って考えてる人々をどこに置くんや?

僕らはすでに、これらのツールが適切に、ある程度の熟練度でこれらの仕事をできるっていう概念のために、雇用者が大量にポジションを減らしてるっていうそんな正当化を見てきたと思う。単にそうやないケースやねん。

エミリーが言った技術的負債分野、どうやって知るかの種類、これらのツールの能力の過大評価があって、それが後で僕を心配させるねん。

ドゥーマー批判への転換

時間になったか時間に近いのは分かってるけど、出る前にドゥーマーについて一つ質問できるか?

確かに。ドゥーマーをけなして終わろう。

そうや。確実にここにドゥーマーについての章があるのを見たし、読むのを楽しみにしてた。なぜなら僕のポジションは主に、大規模言語モデルが僕らをペーパークリップに変えることを心配してる人らは、売ってるものをマーケティングしてるか、単に自分の体臭の匂いが好きなだけやからや。

それが僕らを傷つけることを心配するのは悪いことやないけど、もっと多くのことがあるし、それが起こりそうにないように見える。だから君らがドゥーマリズムに反対してる理由を聞きたかった。

一つ注意を与えさせて。君らの本に「AI安全はドゥーマリズムやし、これらの長期問題についてだけや」って言う行があるけど、AI安全センターのダン・ヘンドリックスみたいなAI安全の人らが、この技術が悪意のあるウイルス学者を助ける可能性があるかみたいな、本当に重要な近期問題について話してるのを確実に聞いたことがある。

だから僕はAI安全分野全体を中傷せえへんけど、ドゥーマラスなことについては君の指摘を聞く。

効果的利他主義との思想的繋がり

それを攻撃して、それから終わろう。

アダム・ベッカーの新しい本「More Everything Forever」に注目したいねん。これはドゥーマラス思想と、効果的利他主義と呼ばれるもののより受け入れられそうな側面との繋がりについて本当に深く入り込んでる。

その文脈では、タミット・ガブルーとエミール・トーレスが彼らがTESCREALイデオロギーの束と呼ぶものについての素晴らしい論文もある。

もし君のシステムについての懸念が実在の人々と実在のコミュニティ、実際に起こってることに根ざしてへんなら、この「でも悪い行為者がそれを使ってより迅速にウイルスを設計する」みたいなことでも、それはまだ推測的やねん。

僕らがフォーカスを取り除いてるときはいつでも、それは起こったんか?これはまだ人々が自分たちのためにサイエンスフィクションファンフィクションを書いてることや。

それは技術が何をできるかについての誇張されたアイデアに基づいてて、僕らが始めた環境のものを含めて、今起こってる実際の害からフォーカスを取り除いてる。

でもウイルスについては先を行きたいやろ?ソーシャルメディアであったように、ソーシャルメディアにはいくつかの問題があったけど、これらのいくつかには潜在的な長期問題へのフォーカスがなかった。それが後で出てきただけやねん。君は同意せえへんのか?

ソーシャルメディアには確実に問題がある。そしてそれらの問題のいくつかは早い段階で文書化されて説明されてた。人々は注意を払ってなかったけど、それらは起こってるときに文書化されてる実際の問題やった。「誰かがこれを使ってドクター・イーブルが悪いウイルスを作り上げる」っていう想像についてとは対照的にな。

時間のために、それで十分やと思う。僕は付け加えることはあまりない。

よし、本は「AI詐欺:ビッグテクのハイプと戦い、僕らが望む未来を創造する方法」と呼ばれてる。著者はエミリー・M・ベンダーとアレックス・ハンナや。エミリーとアレックス、君らの仕事を長い間読んできたし、君らと話す機会を持てて素晴らしい。

冒頭で言った通り、聞いてるか見てる人で、僕が言ったすべてやゲストが言ったすべてに同意せえへんかもしれへん。でも少なくとも今は、これらの議論と賛成反対の議論を知ってるし、自分の意見を作り上げてさらなる研究をすることを信頼してる。この会話の過程で叫ばれた、掘り下げ続けるためのたくさんの良いものがあった。

エミリーとアレックス、会えて良かった。番組に参加してくれてありがとう。

この会話をありがとう、パリを楽しんで。

アレックス、素晴らしい時間を。

二人ともありがとう。

聞いてくれたみんな、ありがとう。金曜日のニュース要約でお会いしよう。それまでは、Big Technology Podcastの次回でお会いしよう。

コメント

タイトルとURLをコピーしました