この動画は、ワシントン大学のエミリー・ベンダー教授と分散AI研究所のアレックス・ハンナ所長という、AI業界の最も辛辣な批判者として知られる二人の研究者へのインタビューである。両氏は「人工知能」という用語自体がマーケティング用語に過ぎないと主張し、現在のAIブームを詐欺的なものとして位置づけている。特に大規模言語モデルの背後に「思考する心」があるという幻想が、人間の労働を置き換える根拠として利用されていることを批判する。また、AIが客観的であるという神話や、技術が中立であるという誤解についても言及し、実際には既存の偏見や権力構造を増幅させるものであると論じている。
AIの「詐欺」を暴く：二人の批判的研究者との対話
皆さん、こんにちは！今日は「アイコン」の著者であるエミリー・ベンダー博士とアレックス・ハンナ博士とお話しできることを非常に嬉しく思います。ベンダー博士はワシントン大学の教授で、ハンナ博士は分散AI研究所の研究所長です。この二人の素晴らしいところは、おそらくどこでも聞けるAIの最も辛辣な批判者であり、この技術全体を詐欺だと考えているということです。
これは私の言葉であって、彼らの言葉ではありませんが。私が彼らに聞きたいのは、その不信がどこまで及ぶのかということです。彼らは実際にこの技術が何の役に立つと思っているのでしょうか？そして、彼らが言うほど悪いものだとすれば、私たちが実際に望む未来を手に入れるために何をする必要があるのでしょうか？それを確かめてみましょう。
今日、エミリー・ベンダー博士とアレックス・ハンナ博士をお招きできて非常に興奮しています。お二人とも今日はご参加いただき、本当にありがとうございます。まず、お二人が最近発信されているメッセージについて少しお聞きしたいと思います。お二人はAIについて、そしてこの技術の未来について非常に明確な視点をお持ちです。
知らない方のために、その視点を説明していただけますか？
はい。この本は「アイコン」と呼ばれ、表紙に書いてある通りのものです。AIは詐欺です。まず第一に、いわゆるAI自体は一貫した技術群ではありません。それはマーケティング用語であり、最初から、つまり1956年の最初の集会から、ジョン・マッカーシーとマービン・ミンスキーがダートマス大学に多くの人々を招いて、いわゆる「思考する機械」について議論した時からそうなのです。
それが一つの側面です。二つ目の側面は、現在のAIの時代、つまり大規模言語モデルや拡散モデルを含む生成AIツールが、本当にその背後に思考する心があるという考えに基づいているということです。それ自体が詐欺の中にあるものです。申し訳ありません、ハエが飛んでいて。そして、私たちがそれを行う理由はいくつかあります。
その一つは、これらのモデルの出力である合成テキスト、特に合成テキストに対して、人間が言語を解釈したいという欲求があることです。そして、それは私たちを様々なことに導きます。これらの技術の背後に潜在的な心があるなら、それは人間を必要とする多くの異なるタイプのものの代替品になることができるということです。
ホワイトカラーの仕事、社会サービス、医療サービス、教育などのようなものです。
最後のポイントを増幅させるために簡単に付け加えると、特に大規模言語モデルについて、そして1秒戻って言わせてください。私は技術について言及する際に「人工知能」という用語を決して使いません。なぜなら、それは誤称だと思うからで、物事を混乱させるだけだと思うからです。
ですから、一般的なことについて話すときは自動化について話すか、具体的な技術の名前を挙げます。大規模言語モデルの場合、特にそれらが合成テキスト押出機として使用される場合、私たちは言語を体験します。そして、その言語を解釈するのが非常に速いのです。そして、私たちがそれを解釈する方法には、テキストの背後にある心を想像することが含まれます。
そして、ほとんどすべてのトピックについてもっともらしく見えるテキストを出力できるシステムがあります。だから、社会のあらゆる種類の技術的ニーズに対する解決策がほぼ完成しているように見えます。しかし、それはすべて偽物であり、私たちはそれを信用すべきではありません。
それはとても興味深いと思います。ちなみに、私はまったく同感です。あなたの本を読んでいて笑ってしまいました。まず第一に、人工知能について。完全に同感です。まず第一に、それは素晴らしいマーケティングだということは認めなければなりません。とても何かを連想させるものです。しかし、誰もそれが具体的に何なのかを定義できないようです。そしてもちろん、あらゆる考えを持ち、あらゆる目的に使用することができます。
しかし、あなたが本の初期に行うことの一つは、そのバルーンを破裂させることです。「もしそれが人工知能と呼ばれていなかったら？」と言うことで。それがどのように聞こえるか、そしてなぜ人々にそれを行うことを勧めるのかについて少し共有していただけますか？
はい。私たちは呼び出すためのいくつかの楽しい代替案を持っています。ポッドキャストの初期に、アレックスが楽しい代替案として「マシー・マス」を作りました。また、イタリアの研究者ステファノ・トレッリによる「サラミ」もあります。これは「学習アルゴリズムと機械推論への体系的アプローチ」の略語です。
そして、それについて面白いことは、「人工知能は理解するのか」や「より良い決定を下すのを手伝ってくれるか」といった文で人工知能という言葉をマシー・マスやサラミに置き換えると、それがどれほどばかげているかがすぐに明らかになることです。サラミは理解するのでしょうか？
サラミはより良い決定を下すのを手伝ってくれるのでしょうか？それは馬鹿げています。そのような小さなフラグを立てることは、本当に良い思い出させるものだと思います。
私にとって、それはまさに核心を突いており、私がそこで狙っていたものそのものでした。心があるという考えを一度持つと、それはあなたの頭に入り込みますよね？そして実際に、ある意味で、私たちが説明しているこれらのアルゴリズムは、あなたが言ったように、50年代にさかのぼります。コンピューティングがある限り、私たちはこれらの概念を持っていました。そして、それはその延長のように見えます。
しかし、質問を広げたいと思います。この人工知能という分野全体で、非常に多くの誤情報があります。あえて大手テクノロジー企業に利益をもたらし、特定の人々や組織に利益をもたらす偽情報と呼びましょうか。この分野で現在最も危険な、または最も危険な単一の神話や複数の神話は何だと思いますか？
神話をランク付けするのは難しいです。なぜなら、これらすべてが非常に憂慮すべきで有害だからです。私が考える、これの多くの根底にあるものの一つは、いわば単一のタイプの知能という概念があるということです。そしてそれは科学によってあまり支持されていないものです。
まず第一に、知能が単一の数字に還元できるという概念があります。そして、それを支持する疑似科学、優生学的思想に基づく多くの疑似科学があります。IQテストを受けることができ、IQテストを使って人々をランク順に並べることができ、人々と機械を一列に並べて順序をつけることができるという考えです。
そのため、OpenAIの人々やアミール・モラッティが言ったと思いますが、「私たちはGPT-5を開発する予定です。博士レベルの知能を持つことになる」や「月額20,000ドルで人々が使用できるエージェントレベルのものになる」といったことがあります。
そしてそれはいくつかのことを行います。人間であることの意味の概念を、よりコンピュータ可能または自動化可能なものに縮小します。これにも歴史的先例があります。また、知性とは何か、意識とは何かという非常に危険な概念に入り込むことも行います。まるで意識的で人間的であるためには、より賢くなる必要があるかのようです。そして、それは進むべき非常に危険な道です。
そして、世界への応用の種類のランク付けについては、それを行うことはおそらく役立ちません。しかし、AI自体をめぐるその種の基盤や神話は非常に危険です。
アレックスと同様に、これらのことをランク付けするのは困難で、パズルのもう一つのピースを追加したいと思います。それは、私が思うに、これに餌を与えているもう一つの神話です。計り知れないほど大きなデータをその内部に持つシステムを取れば、それゆえに世界で実際に何が起こっているかについて偏見のない鳥瞰図を持つに違いないという考えです。
そして、それは確実に一種の希望的思考です。私たちはただすべてを理解できる頂上があることを望んでいます。しかし、それは科学の働き方ではありません。それは社会の働き方ではありません。そして、それは機能的な技術、ましてや公正な技術を構築する道ではありません。
その流れに沿って、いくつかのことが作用しているようです。その一つは、私たちが持っているのは、知能自体がこの種の曖昧な抽象化以上のものであるという誤った基盤だということです。それがこれだと言った瞬間に、私たちはすでに自分自身をだまし、そこで危険な道を歩んでいます。
そして、客観的なものを作り出しているふりをしようとするドライブがほとんどあるように見えます。しかし、この客観的なものは、偶然にも、客観性のために重い引用符で囲まれたもののように見えます。カリフォルニアの技術リーダーのオフィスからのように見えます。それは公正でしょうか？
はい。そして、これらのシステムの使用が客観的ではないことを示している学術研究が非常に多くあります。ベリーニとゲブルからの基礎的な研究から、土地への影響まで、データセットとその政治に焦点を当てた私自身の研究まで。
実際に、これらのシステムのいずれも何らかの判断を下しており、それらは顔を持つことがどういうことかについての多数派的概念をエンコードしています。ペルーの市民組合の場合、または特定の種類の仕事にいる誰かのように見えることについて、より高いステータスの仕事は、より白く、より男性的である傾向があります。
そして、私たちはそれにエンコードできるものを持っています。私たちは機械に客観的な見解を持たせることを信頼することが何を意味するかを表す言葉を持っています。そしてそれは自動化バイアスと呼ばれます。特定の種類の操作を自動化されたものに委ねるという概念です。
そしてその客観的な見解は確実に客観的ではありません。それは単に多数派にある見解を具現化しており、その多数派にいない人々にとって本当に有害です。
技術と権力の関係：責任の所在を明確にする
その線に沿って、あなたの研究のテーマや論題の一つは、私たちは実際に技術を技術の創造者や所有者から切り離すことができないという概念のようです。初めてこの概念について学ぶ人々のために、それについてもう少し説明していただけますか？
絶対にそうです。詐欺において「人工知能」という言葉を使うことの部分の一つは、それが説明責任を転嫁する方法だということです。そして、これについて使用されている言語を見ると、多くの場合、私たちはいわゆるAIシステムを主体的な位置に置きます。
例えば、「ChatGPTがウェブ全体をスクレイピングした」と言うでしょう。ChatGPTはそれをしませんでした。OpenAIのエンジニアがしたのです。そして彼らが再利用したデータセット、その他の人々のデータもです。そして、ウェブ全体をスクレイピングすることはできません。それは全く別の議論です。
しかし、基本的に常に人々をフレーム内に保ち、「誰がそれを構築したのか？どんな目的のためにそれを構築したのか？誰がそれを使っているのか？誰に対してそれを使っているのか？そして、システムの制作において労働が平然と流用されるか、その他の方法で搾取されたのは誰の労働か？」と言うことは、会話を地に足を着けたものにするのに本当に役立ちます。
また、この会話の多くにおいて、これらを構築している企業が何らかの形で慈悲深い、全人類の利益のためにこれを行っているという概念があることに注目することも役立ちます。これはシャリ・ハウスワークによる「AIの帝国」と呼ばれる研究で本当によく強調されているもので、OpenAIとOpenAIの背後にある種のドラマに特化しており、特にその技術の背後にいる多くの人々がいかに誤りやすいか、特にサム・アルトマンと彼を取り巻く多くの人々に関してです。
そして、ダニエルが強調していることの一つは、あなたが慈悲深い技術を思いつくことはないということです。実際に人々のために働く技術は、それらの人々により近く、人々自身によって構築された技術、それらの人々のため、理想的には彼らによって構築された技術です。
そして、フレーム内に人間がいないという考えは、説明責任を転嫁するメカニズムであるだけでなく、権力が実際にどこにあるかを転嫁するメカニズムでもあります。
そして、それについて考え、この慈善の概念について考えるときに、私がそれらの組織から出てくるのをますます多く聞いている他の党派的な主張の一つは、それがある種の競争として説明されているということです。そして、ああ、私たちは倍加し続けなければならない。勝者総取りだから、この技術への投資を続けなければならない。
そして、ここには対立があります。それはみんなのためだということです。しかし、私たちはみんなのためにそれをしなければならない。その物語に対するあなたの反応は何ですか？
競争のフレーミングは全くばかげています。それは科学と技術がどのように働くかについての誤解に基づいています。そして、これはベス・シングラーから学んだ思考で、彼女はこれを詳細に調べています。後ろを振り返って、今いる場所に到達するために何が何の上に構築されたかの道筋をたどることができます。そして、望むなら直線を描くことができます。
しかし、未来を見ると、未来は事前に存在しません。人工知能や汎用人工知能がこの道の終わりにあり、誰がそれを最も速く走るかだけの問題だと言う人々は、科学がどのように働くかを完全に誤解しています。
まず第一に、彼らが走っている方向の不明確な概念がありますが、彼らはそれがそこにあり、確実に存在していると主張しています。そしてそこに到達できます。また、私が思うに、これは物事について考える非常にシリコンバレー的な脳の方法ですが、そこに最初に到達した人が、あなたが言ったように、勝者総取りだと主張しています。
そして、時々人々が言うのを聞くでしょう。「私たちは良いAIや良いAGIを構築しなければならない。悪い対立が悪いものを構築しないように。」まるで一つの技術を構築することが別の技術の構築を防ぐことができるかのように。それは実際には全く意味をなしません。
そしてそれに基づいて、ここでの焦点は特に、米国が中国より先にこれを構築しなければならないということです。そして、ここでのブギーマンは、中国のようなAIやAGIやそれが何であれ、政治的環境によって、本質的に権威主義的になるという中国恐怖症的な考えです。
中国の構築者が何をしているかについては何も言うつもりはありませんが、まるで私たちが米国で行っていることが権威主義的ではないかのようです。非常に多くの資源を指揮し、国家安全保障組織と、大手エネルギー会社と多くの関わりを持つ一つの企業によって構築されることによって。これらは権力の集中化です。
そしてそれ自体は、AIの民主的バージョンではありません。そして、競争のダイナミクスについての主張でさえも、権力の集中化の観点で何が起こっているか、そしてそれが米国と西洋で民主的ダイナミクスをどのように損なっているかを曖昧にする真の方法があると思います。
権力の集中化についてのコメントは、私にとって非常に興味深いです。なぜなら、それは慈悲深い、みんなのため、みんなをより良くするという、これらの物語のもう一つの緊張の一つだからです。ただし、私たちがプラットフォームを所有している場合を除いて。ところで、私たちはあなたのこの新しい、より良い人生のために月額20ドルを請求しています。これは本当に興味深いと思います。
あなたの心の中で、価値があることはありますか？生成AIについて、自動化について、これらの機能のいくつかについて多くの話があります。それらは任意のタスクで専門家ほど良くないかもしれませんが、それらは市場全体を拡張します。
「市場」はそこでは少し危険な言葉ですが、サービスを提供できる人々の数を拡張し、歴史的に疎外された人々を権力を与えるか、彼らの生活をより良くする方法で追求します。あなたはそれを買いますか？そこに楽観主義を持っていますか、それともそれは詐欺の一部だと思いますか？
それは本当に詐欺の一部にすぎません。議論は常に、「まあ、私たちはすべての人に良い教育を提供するのに十分ではありません。私たちはすべての人に良いヘルスケアを提供するのに十分ではありません。そのため、これらの貧しい人々は取り残されます。だから、これは何もないよりも良いです。」
「これは何もないよりも良い」と聞くときはいつでも、質問は常に「なぜ代替案は何もなかったのか？」であるべきです。なぜなら、私たちは膨大な資源を持っているからです。これらのシステムに注ぎ込まれている資源を見て、代わりにそれらの資源が教育システムやヘルスケアシステムの支援に使われたと想像してください。私たちがそれで何ができるか想像してください。
社会サービスの緊縮財政的見解ではなく、豊かで投資的な見解のようなものです。そして、それは非常に関連しています。これの背後に入ると、手段のある人々は人間によるこれらのビスポーク人間志向のサービスを得ることになるという考えに結びついています。そして、私たちは他の種類の技術領域でこれをすでに見ています。
エイドリアン・ウィリアムズが私たちのポッドキャストに出演しました。彼女は元チャータースクール教師です。そして、元チャータースクール教師として彼女が話すことの一つは、エドテックに関して、Google Classroomやクラスのようなもの、または教育における具体的なコンテンツ管理システムに関して、それらは学生が低所得、黒人および褐色人種、低所得コミュニティにある場所で不釣り合いに提供されるということです。
私立学校に行くと、画面はほとんどなく、それらの画面は全く異なる方法で使用されています。監視のために使用されたり、使用されたりしません。それらはかなりオプションであるか、ペンと紙志向です。そして、私たちはそのダイナミクスを見ています。そして、それは実際にそれらのコミュニティの人々により多くの機会を提供していません。
それはそれらのコミュニティをより重く監視しています。それは、彼らがアクセスできる技術の提供があると言う方法としても使用されていますが、それは実際には同じ方法での教育ではありません。AIブースターが非常に興奮していることの一つは、イリヤ・サツケヴェルの「安くて効果的な治療」に従うことです。
人々は彼らに具体的に話すことができるセラピストを買う余裕がないからです。人々はセラピーを受けていません。彼らは聞きたいことを言うだけかもしれない、または危険な種類の特定の行動に導くかもしれない、または自傷行為に従事することを奨励するかもしれない機械の一種を得ています。
そして、ゲームを本当に暴露するのは、GoogleヘルスのヘルスAIの責任者であるグレッグ・コラードからのこのコメントです。彼はGoogle I/Oでmed palmをデビューさせていた記者会見で、ウォールストリート・ジャーナルに「これは私が自分の家族の医療の旅に望むものではありませんが、それが他のみんなに利用可能になることを非常に興奮しています」と言いました。
うわあ。はい。「私の家族には使わせたくない」以外に、製品について何を言う必要がありますか？それは、「まあ、私は確実に自分の子供たちにこれを使わせたくない」と言うソーシャルメディアネットワークの責任者からの引用のようなものです。それで、それは全体の試合です。
その通りです。はい。サム・アルトマンが、最近の商務会議の一つで誰かに「あなたの新しい子供がAIエージェントと友達になることを望まないでしょう」と聞かれたと思います。そして彼は「絶対に嫌だ」と言いました。だから、多くの緊張があると思います。非常に、非常に示唆的です。
私が追加したいのは、これらの人々が世界の他の部分を本当に人々として見ていないことを示していると思うということです。そして、それは「まあ、私たちは人類の利益のためにこれをやっています」と言う嘘を明らかにしますが、これらのサービスは私たちが私たちの家族にとって十分良いと考えるサービスではありません。そして、他のみんなは私たちの家族がカウントする方法でカウントしません。
ほとんどこの自己神格化のようなものがあります。私たちはある意味で人類の外にいます。人類はこのプロジェクトです。そして、私たちは何があなたにとって良いかを教えに来るこれらの救世主です。
その通りです。
AGIと終末論：同じコインの裏表
あと数分で、この概念と私たちがそれについて何をするかに戻りたいと思います。しかし、あなたが先ほど言及したことに戻る前に、AGIについてです。現在の技術に関する大きな約束や大きな物語のいくつかを見ると、私たちが話している大きなもののうちの二つは、AGIです。
そして、スペクトラムの反対側に、この破滅の確率またはp doom、それが人類を一掃するというものがあります。あなたの見通しは何ですか？合理的な時間軸で、どんな時間軸でも。
それはすべてフィクションです。そして、私にとって非常にイライラすることの一つは、これが人類の終わりになると思う夢想家、そしてこれが私たちのすべての問題を解決すると思うブースター、彼らがスペクトラムの二つの端のように自分自身を提示する方法です。そして、メディアがこれを取り上げて増幅し、一つのスペクトラムがあるだけで、あなたは完全に運命づけられているか、完全にブースターか、その間のどこかにいるという考えを与えます。
しかし実際には、それは同じコインの二面です。
だから破滅論者は、人工知能や汎用人工知能は物事だ、差し迫っている、避けられない、そして私たち全員を殺すだろうと言います。そしてブースターは、AI/AGIは物事だ、避けられない、差し迫っている、そして私たちのすべての問題を解決するだろうと言います。このように言うと、これらは実際に同じ立場であり、それらの間には日光がないことが非常に明確になることを願っています。
そして、この幻想の道を一度歩んだら、最後にどちらの方向転換をするかだけです。
はい。そしてそれについてもっと細かく言うと、破滅の概念と希望の概念があります。そして、私たちが最初に言いたいと思うのは、私たちはこの確率のフレーミングを全く拒否するということです。まるで完全に偽の確率への完全に偽のイベントへの質問として想像できるかのように。
そして、私を本当にイラつかせることは、特に合理主義者のような人々についてです。ダニエル・カーターのような、私が完全に彼の名前をめちゃくちゃにしましたが、ER 2027文書の著者の一人と彼の同僚の他の人々は、彼らが完全に偽の確率を完全に偽のイベントに置いているということです。
そして、自分自身を非常に実証的志向だと想像している人々にとって、それは本当に非常に作り上げられた時間軸です。そして、それは本当に作品です。エミリーと私は両方とも社会科学者であり、両方とも実証主義者です。だから、それを見るのは実際に非常に奇妙です。それがそれについての一つのことです。
そして、AGI自体も非常に曖昧な概念として機能します。この種の、多くの異なるタスクで非常に有能になる知能があるという考えです。そして、それがどれほどよく定義されているかは本当に確信がありません。まったくよく定義されていないようです。
私たちは最近、Tech Policy Pressで「AGIの神話」と呼ばれる記事を公開しました。この概念が曖昧であり、世界の非常に特殊な見解を持っているという考えに特に焦点を当てており、それは非常に範囲が広く、そして何らかの形でOpenAIやAnthropicが私たちがこれを受け取ることを保証する特定の組織になることになっています。
そして、それ自体が非常に、非常に間違った考えです。
これは興味深いです。そして、これを少し反映しているだけです。なぜなら、あなたがそれをすべて取って統合すると、この分野で聞いていることのほとんどは、あなたが説明したように詐欺です。マーケティングです。ナンセンスです。これがバブルかどうか聞くつもりはありません。その答えは明らかだと思います。
しかし、このバブルは破裂すると思いますか、そしてそれはすでに破裂する軌道にありますか？私たちは、個人として、そしておそらくリーダーとして、それが破裂するために何か違うことをする必要がありますか？そして、それが破裂すると仮定して、それがどのようなものになると思いますか？
はい。つまり、それは破裂するでしょう。そして、それはそれが起こるかどうかの問題ではなく、いつかの問題だと思います。そして、それはどのようにかの問題でもあります。このバブルが破裂する大きないくつかの異なる方法があります。
私たちがDeepSeekについての恐慌を見たとき、その兆候を得ました。その時、NVIDIAはその株式で大きな価値を失いました。そして彼らは、「ああ、これらの大規模なデータセンターは必要ないかもしれない」と言いました。
しかし、より大きな心配は、これが本当により効率的なモデルがあるということではありません。ブースターが思うように、生産性を解決したり、賃金を解決したりしないということです。そして、すべてのGPUとデータセンターとすべてのインフラストラクチャのために支払われる必要がある巨大な債務バブルがあると多くの人々がすでに言っています。
そして、ある時点でファサードが来るでしょう。そして、それは政府の資金提供がなくなったライトハウス報告があった最初のAIの冬のようなものになるのか、それとも最終的に利益が転換されるまで何度も何度もより多くのお金が投げ込まれるUberのようなもっと見えるものになるのでしょうか？
問題は、非常に多くのお金がそれに投げ込まれるが、利益を上げないということです。収益マージンは非常に低く、投資は非常に高くなっています。だから、それが起こるか、それが迅速に起こるかのどちらかです。
私たちがそれについて何をすべきかというあなたの質問に対して、確実に私たちは誇大宣伝に抵抗すべきだと思います。そして、それが人々が誇大宣伝への反対を明確に述べるのを助けるために、この本を書く私たちの目標の一部です。
しかし、私たちが頼りにしているシステムが人工知能の偽の約束の周りで再構築されることを許さないことも本当に重要だと思います。なぜなら、バブルがまだ続いている間、それは私たちを害するからです。
医師の診察の終わりに実際の思慮深い医療メモを得る代わりに、いくつかのエラーを持つ合成テキスト押出機の出力を得て、医師が「まあ、それが間違っていても私の責任ではありません。システムがそれをしました」と言います。そして、医療提供者は多くのストレス下にあります。
多くの場合、これは雇用主が「まあ、あなたは臨床メモに時間を費やしていないので、1日に3人余分に見なければなりません」と言うからです。だから、まだ続いている間に有害になることがあります。
しかし、システムが崩壊し、ベンダーがもういなくなったときのことを先に考えると、どれだけのものが再構築されたでしょうか？人々の仕事がどれだけ変わったでしょうか？人々が同じ時間でより多くをするように求められるか、AIが supposedly それを行うことができるので、人々の仕事が安定した仕事から非常にカジュアル化されたギグワークの仕事に変わるかのどちらかです。
私たちがその再構築により多く抵抗できるほど、最終的に人々の目から鱗が落ちる時期に関係なく、私たちはより良い状態になるでしょう。そして、私たちはこれをどこでも持つことを強制されません。
さらに、本で言及し、エミリーが取り上げた記事で、私たちは「AIバブルの汚い残留物」と呼ばれる記事を持っています。失業は一つのことですが、今すぐいくつかの緩和を試みなければ残されるであろう他の二つのことを考えることができます。
そのうちの一つは、すでに行われた環境破壊です。大気中に放出された炭素、データセンター冷却に使用された水の両方の観点からです。また、半導体または建設からの大気汚染と永続化学物質が地面に置かれる外部性の種類もです。
だから、それらは逆転するのが困難です。だから、私たちはすでにパリ気候協定の目標を吹き飛ばす軌道にあります。
そして、情報エコシステムでの種類の流出、私たちがすでにそこに非常に多くの合成テキストを持っているという考え、何が合成テキストで何がそうでないかを見分けるのは困難になるでしょう。そして、私たちはすでにWikipediaのような場所でそのおしゃべりが行われているのを見ています。Wikipediaは、LLMが生成したため、信頼できない合成メディア、テキスト、メディアマシンの出力の猛攻撃と戦おうとしています。
それが私たちがそれについてできることを考える一部です。一つは、データセンターへの投資をもっとクールにしようとすることです。それは、今ここでコミュニティを害しています。それが主に黒人で貧しい近隣地域である生活ボックス町の南西メンフィスで稼働しているデータセンターであろうと。
または、特に化石燃料を動力とする発電所に依存して、より多くのデータセンターが建設されているノーザンバージニアやロンドン郡やアトランタ郊外のような地域であろうと。
バブルの環境・社会的コストと責任ある技術導入
私は再び、それについて反映しているだけです、アレックス。環境について同じ懸念を持っています。そして、それをUberについてのあなたのコメントに結びつけているだけです。なぜなら、これについて本当に心配になることは、Uberは長い間悪いお金の後に良いお金を投げているようなものだからです。
「私たちは相互作用ごとにお金を失っています。しかし、規模で埋め合わせます」という古いジョークのようなものです。しかし、これをその種の軍拡競争の物語と組み合わせたときに私を心配させることは、それが線形でさえないように感じることです。指数関数的なようなものです。
みんながより多くのデータ、より多くのデータセンターが必要だと言っているようなものです。私たちがまだ解決策を見つけていない間、それはまだ利益を上げていない。だから、10倍のエネルギーや100倍のエネルギーを投げ込んでみましょうという漸近曲線を非常に簡単に想像できます。
そして、この全体が偽物として崩壊するか、その間に非常に多くの損害を与えるかのどちらかです。だから、それは確実に私に共鳴する部分です。
そして、エミリー、私は確実に自動化についてのあなたのコメントや、どこで自動化するか、そして私たちが単に堅固な基盤を脆弱な基盤に置き換えないことを確実にする方法について、より思慮深くする必要性について考えていました。
これらのより大きなデータセンター、データセット、などについての一つのことは、それがお金を使っている人々が言うことができるメトリックになるということです。「見てください、私たちはそれを大きくしました」。なぜなら、彼らが構築しようとしているものは実際によく形成されていないからです。
よく考えられていません。だから、あなたが構築しようとしているものにどれだけ近いかを評価することはできません。だから、彼らは代わりに測定できるものを持っています。そして、そのものは実際に環境的に非常に破滅的で、盗まれた労働などの上に構築されています。
それはより多くのパラメータ、より多くの計算です。そして、それは大きいから良いに違いありません。それが大きいからです。
採用の部分に戻って、もっと細かく言いたいと思います。そして、業界のリーダー、組織のリーダーに特に考えています。どこを向いても、私もそれにさらされていると確信していますが、これやあれをしなければ、あなたは曲線の後ろにいます。
これらの人々にとって、何か特別なガイダンスがありますか？彼らがここでより責任を持つためにできることについて？それは、自動化なし、これらのどれもなしと完全に言うことを意味しますか？それとも、より良い結果をもたらし、これらのいくつかから彼らを保護するアプローチがありますか？
確実に自動化の時と場所がありますが、何を自動化しているかを非常に具体的に言うことができ、出力に必要な情報が入力にあると信じる非常に良い理由がある場合に、何かを自動化したいと思います。
現在の使用事例でそれがどれだけうまく機能するかを評価できる場合、自動化によって害を受けた誰かに対して十分な救済策を持っている場合。自動化についての一つのことは、それがあなたがしていることを規模化するということで、もしそれが間違いを犯していて、それが人々に有害である場合、あなたはそれをより多く、より速く行います。物事を正しくする準備ができている必要があります。
または、いや、それは有害すぎる。正しくできる種類のものではない。その道を歩まないと決定します。だから、ここで決定を下しているリーダーへのアドバイス。まず第一に、価値観について考えてほしいと言うでしょう。そして、多くのビジネスの人々にとって、重要な唯一の価値は利害関係者の価値であることを知っています。
そして、今、利害関係者の価値を得る方法はAIを約束することです。だから、それを脇に置いて、私たちの他の価値観は何ですか？と言います。そして、この自動化は実際にどの程度それらに語りかけますか？そして、特に、敏感なプロセスの真ん中にChatGPTのような合成テキスト押出機を置くとき、何が間違いになる可能性があるかについて考えます。
それがあなたの会社の評判にどのような影響を与える可能性があるか？またはあなたが立っていると言うもの？そして、あなたが設置しているシステムの長期的な耐久性について考えます。OpenAIが破産して電気にアクセスできなくなったとしても、これはまだ機能しますか？
大規模言語モデルがそれほどでもないことが判明したとしても、これはまだ機能しますか？いくつかのことです。
つまり、それに追加したいいくつかのデータポイントがあります。英国のOrg Viewと呼ばれる組織計画プラットフォームによって行われた調査がありました。彼らは、労働者をAIに置き換えた企業の55%がその決定を後悔していることを発見しました。だから、すでにいくつかの買い手の後悔が起こっています。
そして、まだそこにいることができる労働者がAIツールを使用してその違いを補うことができるという概念があると仮定しています。しかし、それは単に有害です。行われた最大の研究、または私が仮定する最大の研究の一つですが、より大きな研究があったかどうかはわかりませんが、デンマークで7000の組織にわたる25,000人の労働者について行われた研究は、人工知能ツールを使用する労働者による非常にささやかな生産性向上、3%の割合があることを示唆しました。
しかし、これらの向上は、彼らが対処しなければならなかった新しい労働置換タスクによって相殺されました。それらの労働者の収入の増加もありませんでした。だから、これらは企業がそれらを作り出していると言っている種類の巨大で驚くべき生産性、生産性向上の終わりであることが証明されていません。
だから、ビジネスリーダーへのメッセージは、本当にあなたの人々に投資し、あなたの人々が何をしているかについて本当に考えることだと言うでしょう。あなたがすでに必要な仕事をしている人々をよりよくサポートする方法は？人々が生産的であることに問題を抱えている場合、組織社会学者の帽子をかぶって考え、組織的にサポートできる方法は何か、そしてそれによって製品をより良くする方法は何かを考えます。
大規模言語モデルが非常に魅力的である理由は、エミリーが示唆するように、彼らの価値観が株主のためだけにある場合、株主は多くの場合レイオフを見ることを好むからです。なぜなら、それは頭数あたりより多くの利益を上げることができることを意味するからです。
しかし、あなたの製品がタスクに追いつかず、高品質を維持していない場合、もしあなたがそうでなければ、それは巨大な問題になるでしょう。そして、いくつかのケースでは、一部の企業がAIを使用しないことに傾いており、いや、私たちは実際にあなたに高いタッチ体験を与えており、それは非常に重要だと言っているという本当に興味深いケースがあります。
なぜなら、多くの人々が文化的にAIは粗雑で不安定だと言っているからです。そして、トレッシー・マクミラン・コットナーが言ったように、出力は本当に検証可能ではありません。または、それらを検証できる場合、それを行うのは非常に労働集約的です。画像の出力は非常に粗雑で、修正するのに多くの労働を必要とし、特にサプライチェーンで下に行くほどです。そして、これは全体的にその価値提案です。
だから、アレックス、あなたがその絵を描くとき、私は先ほどEdTechで話していたことや、この技術がこれらの全く新しい聴衆を開拓するというここでの会話の初期について考えていました。そして、あなたはまた、ところで私が直接見たことですが、AIを使用していない企業があり、あなたはこの実地のアプローチを得ると言いました。
これらすべてを一緒に読んだときの私の懸念は、確かに、AIなし、それは人間のみと言う企業があるでしょう。しかしもちろん、彼らはお金袋を目に入れてそれを見て、「まあ、もちろん今、AIなしや人間のタッチのために多額のプレミアムがある」と言うでしょう。
だから、私たちはマスのためのAIスロップが中程度または低品質だと知っているという、より極端な世界に行き着きます。そして、今日得ているか、確実に数年前に得ていたサービスの品質のために、プレミアムを支払わなければなりません。
はい。私たちはエドテックについて話していて、これは企業だけでなく社会サービスの全スペクトラムを見回すと、品質の侵食やいくつかの人が直感化と呼ぶもののようなものがあるように感じます。だから、あなたのお二人が研究でこれらの異なるセクターのいくつかでこれをどの程度見ているか、そして、あなたの心の中で、私たちはこれを逆転させる方法があるかどうか？
はい、つまり、それは良い質問です。そして、私たちは少しの急いでいるアプリケーションプロセスを見ていると思います。この用語を医師が作りました。それについて考えることは、私たちが何をすべきかについて、逆転させる。
つまり、一つのことは、私たちが本で望むことの一つで、私が思う本の希望の一つは、LLMの出力が任意の重要なタスクにとって単に十分ではないことを示唆することです。だから、合成出力がある場合、それは詐欺的またはスパム的と見なされるだけです。そして、マニラタイムズでそうであるように、それは詐欺やスパムにもあるからです。
そして、それは合成テキストの品質を本当に気にしない出力があるこの種のものだからです。そして、そのテキスト内のこれらのもののいずれかが検証可能な真実を持っているか、その中に真実の主張があるかどうかを気にしません。あなたは本当に真実の価値を気にしません。だから、「ChatGPTは詐欺だ」という論文があります。
そして、それはハリー・フランクファートの詐欺の定義を使用します。詐欺師は彼らの主張の真実の価値を気にしない、彼らはただ彼らの目標に到達しようとしているという考えです。それゆえに、トランプはその優秀な詐欺師のようなものです。なぜなら、それは単に取引を得るようなものだからです。
だから、ある程度、合成出力のいずれもがその種の屑、この種の廃棄物であることがわかります。だから、人間が価値の差別化要因であるかどうかはわかりません。それはもっと、最良の場合には、価値があることをしている人は誰でも、意味のある方法で人間をループに入れて行うべきだということです。
そこに追加したいのは、現在のステータスクオが贅沢層になり、あなたが実際に人々を関与させ、そして他のみんながこの粗悪な合成システムと取引しなければならないという状況に行き着くかもしれないと言いました。ここに魔法の弾丸はありません。
私たちはただあらゆる場面でそれに抵抗しなければなりません。これがあなたの学校システムに来ているなら、ノーと言ってください。これがあなたの職場に来ているなら、ノーと言ってください。そして、それが人々がそれがいつ起こっているかを認識し、あらゆる場面でノーと言う権限を与えることが、この本で私たちがしようとしていることの一部です。
また、ノーは堅固で、怒っていても良いですが、ユーモラスでもあります。そして、これが私たちがばかげた慣行を推奨し、これは低価値だ、偽物だ、悪い、これらすべてのものの中にあると言う場所です。なぜなら、時々決定を下している人々は、彼らの目にお金袋があるのではなく、星があり、特にテクノロジー企業がこのもののために流用したキラキラ絵文字です。
それは魔法のように見えます。だから、私は魔法が欲しいのです。だから、私たちが集合的により良い決定を下すために、私たちの周りの人々を教育することに人々を権限を与えることは本当に重要です。
真に有益な技術：コミュニティ主導の実例
それは私にとって完全に理にかなっています。お二人に少し違う質問をしたいと思いました。だから、私が通常ここで話すゲストに尋ねる一つのことは、彼らが何を詐欺だと思うかを尋ねることです。そして、お二人にそれを尋ねるつもりはありません。なぜなら、私たちは何が詐欺かについて話すのに十分な時間を費やしたと思うからです。
そして、私たちはここでいくつかの強い、よく支持された見解を持っていることを知っています。質問を逆転させて、この領域で何が詐欺ではないかを尋ねたいと思いました。あなたは何に興奮していますか？生成AIやこれらの新しい、または現代的な技術のいくつかの良い使用、良い活用は何ですか？
そして、本当にすべてにノーと言うケースですか？それをシャットオフし、完全に、手を目と耳の上に置く、またはあなたが知っている、興奮と価値の可能性がある非常に特定の、非常に対象を絞った使用ケースがありますか？
だから、私はコミュニティのエンパワーメントのための言語技術の使用について非常に興奮しています。そして、だから、ここで私は非常に具体的です。私はLLMとは言っていませんし、拡散モデルや生成AIとは言っていませんが、コミュニティがコミュニティにサービスを提供することを行うことを可能にするケースです。
本で話している例は、テイク・メディアの例です。彼らはマオリ語のテラリア・マオリ言語のための機械翻訳と自動音声認識ツールを提供します。だから、それについて焦点を当てており、興奮することは、コミュニティの人々がモデルの訓練にどのデータが使用されるかを制御していることです。
彼らはコミュニティの長老に、どのデータが使用できるかを尋ねます。特定のデータは使用できません。そして、それらはデータがコミュニティによって所有されているだけでなく、コンピューティングパワー自体も所有されているツールです。だから、これはアンチOpenAIのようなものです。
すべての言語をどこでも持つこの大きなすべてマシンを構築する代わりに、特定のコミュニティのために機能し、より多くの技術メディアの構築が驚くべきである、非常に狭く範囲を定められたタスクを持っています。
そして、彼らが試みていることの一つは、今、地面から離れている私たちがクレイジー連邦と呼んだ連邦を通じて、正味価値のある個人をパワー化することです。そして、それらのものは人々のスタッフの想像力の構築に本当に焦点を当てており、基本的に環境的に破滅的ではない方法でそれを行い、データに依存せず、本当に特定のニーズを提供しています。
そこに追加したいのは、私はアレックスと同じような技術者だということです。私は言語技術を構築する方法を人々に訓練する専門修士プログラムを運営しました。だから、私は確実に言語技術のような良い使用ケースがあると思います。そして、テイク・メディアの例は素晴らしいです。
しかし、私は合成テキストの有益な使用ケースは見ていません。そして、私は実際に研究の観点からこれを調べています。私は「ChatGPT 1もし合成テキストが安全で、望ましく、適切であるなら」と呼ばれる講演があります。それらの形容詞がある順序で、正確なタイトルは覚えていません。そして基本的に、それは最初に合成テキスト押出機を倫理的に作成した状況でなければなりません。つまり、環境破壊なし、労働搾取なし、データ盗難なしで。私たちはそれを持っていません。
しかし、私たちがそれを持っていると仮定しても、あなたはまだ基準を満たす必要があります。だから、それは出力の正確性を気にしないか、または最初に自分でそのことを書くよりも効率的にそれをチェックできる状況でなければなりません。
それは独創性を気にしない状況でなければなりません。なぜなら、このように、システムが設定される方法では、あなたはアイデアがどこから来たかのソースにリンクされていないからです。そして第三に、それは出てくるバイアスのいずれかを効果的かつ効率的に特定し、緩和できる状況でなければなりません。
そして、私はそれらのカテゴリーに適合する何かを見つけようとしました。そして、私はそうしません。だから、確実に言語技術は有用です。Xの入力からYの出力に行くことが理にかなっており、あなたがあなたの地元の状況でそれを評価した他の種類のよく範囲を定められた技術。
素晴らしい。しかし、巨大なランダムな8ボールは違います。
しかし、それは興味深いですよね。そして、その「なぜ」の質問は、私にとって非常に興味深いです。私が思うに、あなたがそこで言ったことのほとんどは論争の的ではありません。それは、非常にエネルギー集約的です。それは合成でなければ人々が思いつくものよりもおそらく低品質です。
それでも、非常に多くの採用があり、人々はそこから価値を得ているように見えるという事実とそれを並置しなければなりません。そして、それは私たちが人々として何を言うかについて、より簡単だから何か悪いもので満足し、舞台裏での詳細のいずれかについて心配しないこと。
だから、それは。はい、私はまだそれについて考えているだけです。つまり、誰かが「まあ、時間がないから使っているんだ」や「簡単だから使っているんだ」と言うたびに、私はそれは常に尋ねる価値があると思います。まあ、なぜ時間がないのですか？
そして、それがより簡単なら、あなたは何を、そこでの機会コストは何ですか？実際に人と会話をしたり、何かを自分で考え抜くことをしないことで何を逃しているのですか？そして、しばしば問題の源は、その決定を下した人自身ではなく、これが最良の脱出路のように感じさせるコーナーに彼らを置いた構造です。
しかし、私が昨年、米国とカナダの西海岸の大学の学部長に言ったことは、大学にとってのChatGPTの唯一の使用は、学生やスタッフがこれに向かうところで資源が不足している場所を見るための対照的な目のテストとしてです。それは彼らが実際に教育プロジェクトに完全に従事するために必要なもので何かが欠けていることを意味します。そして、その情報は管理者にとって価値があります。
しかし、それがそれです。それで終わりです。
また、「まあ、これが非常に役立つと思う」と言う人々のケースについて言うと、これを使用している人々の観点から、それはかなり限られた数の労働者だと思います。
だから、このピューが行った調査で、彼らは労働者の17%が少なくとも時々LLMを使用しており、1%が常に使用していることを発見しました。私が思うに、特にビジネスリーダーが、就職はしごでより上級の他の多くの人々よりもそれらをより有用だと思っているケースとの不一致があります。
ニューヨークタイムズのエノ・シュライバーによって出てきた別の話があり、AmazonでのLLMの使用について話し、LLMの展開がプログラミング作業でAmazonでほぼ義務的になった方法について、そしてより上級の開発者がそれを高く評価したにもかかわらず、より下級の開発者は実際にそれを使用することを強制されており、彼らの仕事はソフトウェアエンジニアリングとプログラミングでしばしば行われる創造的な仕事よりも、工場の仕事のようにはるかに見えていました。
だから、それが有用だという概念は、おそらく非常に狭い労働者と人々のセットにのみ起こっていると思います。おそらく、彼らが制約され、時間を押されているために、彼らのインストラクターの災いに、クラスに従事しない学生により多く起こっているでしょう。そして、私たちは多くのインストラクターと話し、私たち自身がインストラクターです。
だから、それ自体が、多くのこれが起こっている別の領域だと思います。しかし、その物語とほとんどの労働者にわたって何が起こっているかとの間には大きな不一致があると思います。
労働者への影響と長期的な展望
その流れに1分ほど従って、アレックス、労働者側で、これらの技術を採用することについて私たちが聞く物語の一つは、それらを採用しようとする組織や企業があるということです。生産性を推進しようとして。組織や、それが労働者を置き換えるかもしれず、それがより少ないでより多くを行う命令かもしれません。
しかし、個人の労働者として、これらの合成言語ツールやこれらの自動化ツールのいくつかを採用すべきだというもう一つの物語があります。なぜなら、それはあなたにとって力を与えるからです。
より効率的にすることによって雇用主からコントロールの一部を取り戻すのを助けます。あなたがしていることに時間がかからないかもしれないし、同じ時間でより良い品質の仕事ができるかもしれません。あなたがより悪い品質の仕事をしている時間に。
今、その議論にメリットがあると思いますか、それともそれはまだ抵抗する価値があると思いますか？
はい、私はそれに本当にメリットがあるとは思いません。つまり、これらのツールが展開されたケースは、何らかの限界的な利益があるかもしれないケースだったと思いますが、この出力を非常に細心にチェックしなければなりません。
弁護士が法的概要でこのようなツールを使用している多くの異なるケースがありました。そして、それらの法的概要は多くの作り上げられた判例法を持っていました。そして、ジャーナリストがそれらを使用したケースがあり、それは存在しない多くの本を作り上げました。
シカゴ・サンタイムズのケースがあったと思います。彼らのパイプラインにそれがいくつかあったと思います、そして何もシカゴ・サンタイムズにそのような角度のジャーナリストではありませんでした。しかし、彼らは偽の本のリストを作っていました。
だから、これらは何度も何度も出てきています。だから、より生産的になる意図でこれらのツールを使用しているケースがある場合、多くの場合それは反対のことを行っています。労働者を減速させ、生産性を低下させています。
また、何かを生産するが、それを検証可能な、検証可能な、または有用な方法で同僚に渡すことがないため、あなたをより協力的でなくするケースもあります。アニメーターと話しているとき、イノベーション・ギルドの誰かと話していたときの良い例があります。彼らがMidjourneyを使用して画像を制作し、その後画像に出てくるすべてのアーティファクトを修正するというプレッシャーを受けていたと報告されました。
そして、Midjourneyや Stable Diffusionやその他から得られるものは、PNGやJpegファイルです。そして、その中のアーティファクトを修正しなければならないかもしれません。しかし、実際に作業したいのは、多くの異なるレイヤーを持つIllustratorファイルのようなものです。そして、それは生産されません。
だから、実際にアーティファクトを修正する場合、実際にはすべてのレイヤーで画像を再現しなければなりません。だから、それは実際に協力のツールとして役立ちません。それは実際にそこで協力パイプラインを壊しています。
だから、個人の貢献者のソロの人々にとって非常に有用だと思うかもしれません。しかし、より大きな組織に入り、実際に検証された情報を得る必要があるとき、それはかなり迅速に崩壊します。
それに簡潔に追加したいのは、物事をスピードアップするのに役立つと感じているためにそれを使用している労働者に、同じ時間でより多くをするように求められる前に、彼らがその利益を実際にどのくらい長く維持できるかを考えてもらいたいということです。
これらの種類のいわゆる効率は、一般的に労働者に蓄積されることはないと思います。
そうですね。そして、確実にそのリスクがあります。だから、この会話の多くを結びつけて。私たちは誇大宣伝、採用、反発についてのこれらすべての傾向が今起こっているのを見ています。これからの年月を見渡すとき。あなたは現在私たちが歩んでいる軌道について、そして実際に人々にとって正味ポジティブな方法で曲線を曲げる能力について、どの程度楽観的または悲観的ですか？
だから、私は心の奥底では楽観主義者です。また、予測もしません。だから、私に希望を与えるものについてお話しできますが、人々が立ち上がってノーと言い、人々がばかげた慣行を採用するのを見ることです。
また、カレン・ハウの素晴らしい本「AIの帝国」からページを取って、彼女は、チリやウルグアイでデータセンターの押し付けに抵抗するために組織化した人々の素晴らしい話をしています。
そして、彼女は、より多くの権力を奪われた人々でも、それにもかかわらず主体性を保持し、それにもかかわらず反発するという点を作ります。そして、避けられないという物語に抵抗することが本当に重要だと思います。
「ああ、まあ、それはここに留まっている。だから、私たちはそれと一緒に生きることを学ばなければならない」と言うものでさえも。それはまだ避けられないという物語であり、それゆえにまだ私たちの主体性を盗む入札です。しかし、私たちはみんな主体性を持っており、それを主張し続けることができます。
私はより少ない楽観主義者です。私の悲観的な部分は、これにより多くの投資が投入されているということです。つまり、私たちは、SoftBankが主導した400億ドルの投資ラウンドでOpenAIとの、私が思うに、これまでに見た最大の技術投資ラウンドの一つを持っています。
だから、より多くのお金。その後、申し訳ありません。しかし、それの楽観的な読み方は、これが最後のあえぎのようなものだということです。私たちはこれだけのお金をそれに投げています。これが大きな賭けです。これから出てこなければ、これはあなたの最後のチャンスです。
そして、SoftBankが良い投資で知られているわけではありません。WeWorkがそれを示しています。だから、私たちがそのバブルが本当にそのサイズのピークに達しているのを見ているかもしれません。
楽観的なことは、特に労働者が反発している方法です。私たちは、彼らの職場で生成AIについて強い保護を持っているライターズ・ギルド・オブ・アメリカからの努力を見ています。私たちはペンシルベニアの公共労働者からSEIU、ライターズ・ギルド、そして著者ギルドからもいくつかの作業を見ました。
申し訳ありません、著者ギルドとアニメーター映画も、生成AIに対して強い路線を取る組織です。そして、それは本当に私に希望を与えます。
そして、私たちは人々がこのすべての背後にあるものを理解しようとしているという本当に良い融合をここで見ていると思います。これはすべて誇大宣伝なのか、そしてそれについて何ができるのか？そして、その目的のために、私たちの本は非常に役立ち、それを求めている人々にとってのツールであることを願っています。
素晴らしい。徹底的な答えをいただき感謝します。アレックスとエミリー、お二人とも今日ご参加いただき、大変ありがとうございました。これは本当に魅力的な会話だったと思います。お時間をいただき感謝します。ありがとうございました。今日あなたと話すのは素晴らしかったです、ジェフ。
コメント