23,988 文字
今日はスタンドアップ第4回で、開発者にとって重要なすべてのことについて話し合います。私はプライム・エンジン、司会者です。今日は私と一緒にCJさんがいます。そして他には？ケイシー・トラッシュ。トラッシュは固まっていますが、十分です。固まったトラッシュは普通のトラッシュとほぼ同じなので大丈夫です。
今日の最初のホットトピックは、ケイシー自身がツイートした最近の裁判についてです。AIとAIのトレーニングデータが実際に合法的に使用できるかどうかという問題です。これはジブリスタジオに関連していて、ケイシーが特に言及したものです。では、この話の行方はどうなるのでしょうか？ケイシー、あなたがこの話を持ち出したので、会話をリードしてください。
「うわー、いきなり重いトピックですね、プライム。これはスタンドアップであって、ふざけている場ではありませんよ」
これはジブリスタジオの話ではありません。実際これはトムソン・ロイターが訴訟を起こしている事例です。彼らは自分たちの著作権で保護された作品が不当に侵害されていると懸念しています。この訴訟の概要を説明すると、AIのトレーニングが著作権侵害であることは誰もが同意しています。少なくともライセンスなしに著作権で保護された作品を使用しているという意味では、そこに議論はありません。AIの企業は「いいえ、私たちは著作権のある作品を使用していません」などとは言っていません。彼らは「はい、使いましたが」と言っています。彼らの主張は、何らかの理由でこれが許容されるというものです。
そのような立場で裁判に臨むとき、つまり「私たちは多くの著作権を侵害していますが、それを行うことは問題ありません」という法的立場に立つとき、「フェアユース」の根拠を提供する必要があります。著作権は世界的なものであることを明確にしておきましょう。それは国際的なものです。米国はベルヌ条約という統一協定の加盟国であり、著作権がどこでも尊重されるという協定です。これは米国だけの特殊なものでも、議会だけが決めた細かいことでもありません。これは、誰かが何かを書いたとき、その人がその著作権を持ち、他の人が好まない方法で使用することを排除する権利を持つという世界的な合意です。
ベルヌ条約では、非常に限られた根拠に基づいて例外を設けることが国々に認められています。基本的に、国は元の著者の許可なしにコピーを作成できる特別な使用法を定めることができ、米国では長年にわたってそれを「フェアユース」と呼んでいます。これはベルヌ条約だけから来たものではありません。著作権はそれ以前から存在していましたが、ベルヌ条約は現在のバックストップです。70年代から各国が批准を続け、今では基本的にすべての国が加盟しています。
フェアユース例外を持つためには、著作権で保護された作品をライセンスなしで使用できると主張するためには、その使用が権利保有者に経済的損害を与えないことを示す必要があります。これは4つの判断基準の中で最も重要なものです。最高裁判所もそれが最も重要だと述べており、すべての裁判所がその指針に従っています。つまり、あなたの行為が元の権利保有者に経済的に悪影響を及ぼすなら、それはおそらくフェアユースではありません。なぜなら著作権の主な目的は、作品を作った人々にお金を与えて彼らが作品を作り続けるようにすることだからです。
「質問ですが、あなたが言ったベルヌ条約というのは、毎年人々が砂漠で行くあのイベントのことですよね？」
「TJ、このジョークはどれぐらい前から考えていたの？」
「彼が言った直後に思いついた。電球が点灯するのが見えたよ」
「すみません、プライム。そういう仕組みなんです。すべての国が砂漠に大使を送り、みんなが変な彫刻を作って飲み物を出して、みんな高揚状態で、そして条約に署名します。彼らは条約に何が書かれているか知りません。おそらく存在していない外国のピクトグリフのような言語で書かれていて、そして今はそうやって著作権を扱っています。砂嵐が起きて大使たちが立ち往生しないことを祈りましょう。そうでないと、翌年は著作権のある作品がなくなってしまいます」
「なるほど、それがAI企業が皆の作品を盗んでそれで金儲けができると思っている唯一の理由でしょうね」
さて、ここで大きな問題を開いたと言ったのは、私は法律を研究するのが好きで、暇な時間にやることの一つだからです。私はずっと前から言っていたことは、AIの企業の防御がよく理解できないということです。彼らの主な防御は、AIから出てくるものは、それに入るものと経済的に競合しないためフェアユースだというものです。それ自体がかなり薄弱であり、このツイートを議論するためにその詳細に入る必要はありません。
彼らは「Authors Guild v. Google」という判例に依存していますが、その判例を読むと、Googleが当時AIの要約機能を持っていたら、結果は反対になっていたように思えます。当時、Googleは検索結果とウェブページからの小さな抜粋だけを持っていました。現在のように、例えばBox Office Mojoに行く必要がなくなるような要約機能はなかったのです。実際、今日であればGoogleは「Authors Guild v. Google」の裁判で負けていたと思いますし、AI企業はそれを理解していないと思います。その防御は非常に薄弱だと思いますが、もしかするとあなたは私とは異なる読み方をしているかもしれません。
しかし、私が言っているのは、それは関係ないということです。市場はAIのトレーニングデータなのです。それが市場であることは知っています。私はYouTubeチャンネルを持っていますが、プライムのチャンネルほど人気はありません。それでも、AIトレーニング用に私のYouTube動画をライセンスするために金を払うという申し出のメールを受け取りました。市場が存在するかどうか推測する必要さえないのです。既に存在していて、人々はこのコンテンツにお金を払っています。
だから私は「これは明白なケースだ」と言っています。市場はAIトレーニングデータの市場です。彼らは私たちに支払っておらず、私たちに支払う義務があります。なぜなら私たちは、AIアルゴリズムに入れるためにAI企業にライセンスすることで、自分たちのコンテンツから収益を生み出す可能性があるからです。これが私の一般的な立場です。裁判所がどのような判断を下すかはわかりません。ニューヨーク・タイムズは裁判でこの主張をしました。彼らのケースはまだ裁判所を十分通過していないのでその意見はまだ出ていません。
しかし、2月に出た最初の意見書を読み逃していて、昨日やっと読んだのですが、この意見書はトムソン・ロイターの著作権が侵害されたと判断し、フェアユースではないと述べています。裁判所は文字通り「このトレーニングデータの市場が潜在的に存在し、あなたは彼らの著作権を盗んでいる」と述べました。そして「それは市場に悪影響を及ぼす可能性がある」と文字通り意見書に書かれていました。
これは非常に肯定的な兆候だと思いました。裁判所がそのように考えていることを示唆し、弁護士がその議論をしており、さらに多くのケースが進むにつれて、そのように判断される可能性が高いことを示すものだからです。私にとってこれは非常に肯定的な結果でした。なぜなら私はAI企業がトレーニングデータに対価を支払うべきだと思うからです。それが全体の長い話です。これで皆さんにコンテクストが伝わったと思います。チームの皆さん、どうぞ。
「すごいコンテクストでしたね。TJが話したがっているのが見えます」
「ジョークの質問と真面目な質問があります。どちらから聞きたいですか、プライム？」
「もちろんTJのジョークからどうぞ」
「もし彼らがトラッシュのコードでトレーニングしたら、トラッシュが彼らに支払うのか、それとも彼らがトラッシュに支払うのか？」
「あなたのコードに使われたらね、トラッシュ」
「彼らは私に支払います。責任のためにね」
「責任のために彼らはあなたに支払いますが、あなたは責任を負います。トラッシュ、あなたはそのコードに責任があります」
「私だけがそのコードをデバッグできるんだ。仕事の安定性だね」
「AIの企業が訴えられたとき、『このAIが私たちのデータをすべて削除した』と言われたら、『それはトラッシュからのトレーニングセットに遡れるんです』と言うだけです。トラッシュは自分のデータをすべて売ってきました。AIを妨害しようとしています」
「真面目な質問は、例えばGitHubのコードについてです。何かに署名しましたか？明らかに利用規約は読みましたが、GitHubが私の許可なしにこれを人々に許可できるような何かに署名したのでしょうか？」
「それは非常に良い質問であり、難しい質問です。調べていませんが、『adhesion contract』（附合契約）というものがあり、サービスを使用することに同意するときに事実上あなたが『署名』するものです。利用規約と附合契約は技術的には少し異なりますが、同じ原則です。あなたが放棄できることには限界があります。携帯電話会社が巨大な契約書に『私たちはあなたの子供たちを人身売買できる』というような小さな条項を埋め込んでいても、それは突然有効になるわけではありません。犯罪にもなりますが、つまり、彼らは任意の極端なことを契約に入れて、裁判所に行ったときに責任を免れることを期待することはできません。
私が想像するに、Microsoftの競合他社がそれを行うことについてあまり心配する必要はないでしょう。なぜなら、あなたが同意したのは彼ら（Microsoft/GitHub）だけだからです。そのため、おそらくCopilotあるいは何らかの合意を通じてOpenAIをトレーニングするかもしれませんが、Googleはおそらくそれを行うことを許可されないでしょう。なぜならMicrosoftはGitHubのすべてのソースコードの競争上の優位性を望むからです。
私の提案は（そして私はしばらくの間これについて考えてきました）、今日では誰もがプライベートにすべきだということです。誰もがコンテンツを引き上げて、「AIトレーニングに使用したい場合は料金を支払ってください」という通知を付けた自分のウェブサイトに置くべきです。これが最善の方法だと思います。たとえば、あなた方が著名なウェブ開発者で、もし明日『AI安全GitHub』を立ち上げたら、私は持っているすべてをそこに移動します。また、他の人々にもそうするよう勧めるでしょう。GitHubの優れた代替品があれば、それに対して料金を払うこともいとわないでしょう。Microsoftに暗黙的にライセンスを与えることから離れるためです。利用規約に忍び込ませることで彼らがそれを行うことを許可されるかどうかはわかりませんが、そうかもしれません。裁判所のケースまではわからないので、より安全な方法は単にそれを使用しないことです」
「つまり、GitHubのコードからトレーニングされた、GitHubのようなインターフェースを生成するAI（LLM）を使って、プライベートなAIフリーサービスを立ち上げることができるということですか？」
「それは興味深いことでしょうが、私たちが見てきたことに基づけば、あなたは著作権侵害の責任を負う可能性があります。なぜなら、これらの裁判が進んでいるからです。もしあなたがMicrosoftではなく、GitHubの利用規約にある「あなたはMicrosoftに世界的なライセンスを与える」という条項を持っていなければ…彼らはサービス運営のためにそれを必要とし、「Copilotはサービスの一部だからトレーニングする」と主張するでしょう。他の人々にはその抜け道はありません。彼らは裁判所に「あなたはそれに同意した」と言うことはできません。
この裁判がどのように進み、AIトレーニング企業が適切なライセンスを必要とするという私の考え方が正しいとしても、それがどのような形になるかはわかりません」
「AIを使用している人々は、生成したものに対して間接的に責任を負うことになるのでしょうか？」
「それは非常に可能性がありますが、別のことに移りたいと思います。準備ができたら教えてください。準備はできています。まずは最後まで話しましょう。ジブリの話に戻りたいと思います。なぜなら誰もが知っている大きな問題だったからです」
「トラッシュは法律をチェックしていませんが、インターネットで写真を見ました」
「いいえ、あなたは法律を勉強していると言いました」
「謎解きです。アートに話を戻しましょう。アートは非常に混沌としていると思います。ロイターのシナリオのように明快ではありません。このシナリオを考えてください：私はアーティストで、人々が私の作品を使うことを気にしません。私は単に有名になりたいだけで、人々に私の作品を見てもらいたいだけです。しかし人間として、他の人からインスピレーションを受けています。それはジブリスタジオかもしれませんし、他の非常に人気のあるアーティストかもしれません。私が絵を描くとき、それらの細部が少し出てくるのは明らかです。
私はあなたが私の作品をトレーニングデータとして使うことを許可します。なぜなら私は気にしないからです。私は他の仕事をフルタイムでしていて、絵を描くのは単に趣味です。しかし、あなたが私のデータでトレーニングするとき、それらの小さな特徴が出てきます。おそらく私はジブリの目が好きかもしれませんし、ドラゴンボールの腹筋が好きかもしれません。もし他の誰かがそれに気づいて、『待って、それは悟空の六つに割れた腹筋だ』と言ったら、私は困るのでしょうか？あなたは困るのでしょうか？それともフェアユースなのでしょうか？私は腹筋の一つに余分な影を加えたからといって？」
「基本的にあなたは、事実上の著作権のロンダリングのシナリオについて話しています。ジブリスタジオの作品をとり、他のアーティストがそれに似た何かを描き、そのアーティストがAIにトレーニングの許可を与える…それが私たちが話していることですね。
私の考えでは、このような特殊なケースのために裁判所があります。誰かが本当に気にして心配しているなら、裁判所に行き、裁判官や陪審員がその証拠を見て、『これは本当に著作権法の精神に反していると思うか否か』を判断するでしょう。私の直感では、それは問題ないでしょう。つまり、ジブリスタジオは現在、人間のための教育材料を販売していません。また、現在はAIトレーニング用の材料も販売していません。もし物事が私が想定するように進むなら、彼らは後者だけを行うでしょう。彼らは『AIトレーニングのための価格設定はこれです』と言うでしょう。なぜなら今はそれが市場であり、彼らはそれを理解しているからです。AIの企業がそれを望むなら、彼らはそれを支払わなければなりません。もし彼らが『人間もトレーニングしたいならこれを支払わなければなりません』と言うなら、それは教育材料であり、それなら違います。また、これらすべてはライセンスに基づいています。もし彼らがトレーニングコースで『あなたは私たちのスタイルに近すぎるものを描かないことに同意します』というライセンスを提供していなければ、その因果関係は壊れていません。
多くの人は、何らかの理由で人間と機械が著作権法の下で同等に扱われなければならないと考えて混乱していますが、実際には人間と機械が平等に扱われる必要はなく、人間と人間も著作権法の下で平等に扱われる必要はありません。何かを一つの価格でプロフェッショナル向けに、『何でも好きなことができる』というライセンスで販売し、それは5,000ドルで、学生向けには『金儲けのために使用できない』というライセンスで50ドルで販売することができます。それは完全に合法です。繰り返しますが、著作権法は、作品を作った人がそれがどのように使用されるかを決定できるようにするためのものです。もしジブリスタジオが映画の特別上映を行い、『このように描くことはできません。この映画を見て、このように描こうとするなら、今すぐ劇場を出てください。それは許可されていません。チケット代は返金されます』と大きく表示するなら、彼らはそれを行うことができます」
「それは先ほど話した附合契約ですか？」
「Facebookで約10年前、誰もが『Facebookは私の投稿を何にも使用できない』と投稿し始めたのを覚えていますか？それはまるで効果がないのに、みんなそれを投稿し続けていて、とても面白いことでした。私の祖父母は最近それをやっています。『あなたは私の許可を持っていません』と投稿しています。ああ、もう遅いよ」
「あなたの両親はそれに価格タグを付ける必要があります。それが彼らが見逃しているものです。『トレーニングに使用するには1,000ドルかかります』と書いてください。いつか役立つかもしれません。
次の質問です。彼らが、GitHubのコードでトレーニングできないことがわかったとします。例えば、コードにGPLライセンスがあり、彼らの使用方法がライセンスに明確に違反していた場合、次のステップは何ですか？モデルを削除しなければならないのでしょうか？『これらを巻き戻して、GPT 2.0に戻らなければならない』ということになるのでしょうか？」
「私たちが話していることはすべてやや仮説的なものであることを皆が覚えておくことが重要です。ロイターの訴訟で何が起こったかは知っています。それは地方裁判所であり、それは上に2つのレベルがあります。なぜならAI企業はこれと戦わなければならないからです。彼らは潜在的に大きな問題を抱えています。地方裁判所の判決は控訴裁判所に上告され、さらに最高裁判所に上告されます。私たちは何について話しているのか今のところわかりません。現在、私たちは仮にこれらのことが起こった場合、何が起こるかを言っているだけです。
あなたの仮説に答えると、通常、著作権訴訟の最初のことは差し止め命令です。侵害した物の販売を停止しなければなりません。私の推測では、少なくともトレーニングラウンドを文字通り再実行する必要があります。例えばジブリスタジオが勝訴した場合、すべてのジブリのフレームを引き出し、5,000万ドルのトレーニングラウンドを再実行する必要があります。今日どれくらいのコストがかかるかわかりませんが、数千万ドルかかることが多いと理解しています」
「蒸留のようなもの、例えばR1の秘密のソースの一つは、そのデータをOpenAIと照合して、次に何が来るかを予測する素晴らしい方法であるということでした。中国がそれを聞いた場合を除いて、01をトレーニングセットの一部として使用したすべての派生物も同じ著作権問題の対象となるということですか？」
「潜在的にはそうですが、その時点では遠すぎるかもしれません。これは裁判所がしばらく扱うことになる何かだと言っています。例えばジブリスタジオがそれを見て…また、人々はよく『それは米国企業を破滅させるだけだ』と言いますが、『いいえ、これはすべての人に適用されます。もし中国がどこか他の場所でトレーニングしたものを米国市場に持ち込んで販売しようとしても、それが著作権で保護されたデータに基づいていれば、全く同じ差し止め命令が彼らに課されます』。彼らは他の誰とでも同じように裁判所に訴えられる可能性があります。
また、これらのことはほとんど研究には適用されません。なぜならそれは実際のフェアユースだからです。このAIを商業化していない場合、一般に提供していない場合、単にどこかの研究室でそれを行い、それに関する論文を発表しているだけなら、これらのシナリオではおそらく完全に問題のないフェアユースとなるでしょう。もしあなたが国家安全保障目的でこれを行っている政府機関であれば…通常、国家安全保障のことを使おうとします。ジブリのイメージを生成することが国家安全保障である場合は…それは別の仕事です。それらは別のことであり、区分けすることができ、著作権のある作品を使用することができます。ただし、『私たちはOpenAIで、一般の皆さん、お金を払えばこれを使用できます』と言った瞬間、それは商業製品であり、あなたは責任を負うことになります。
裁判所のケースが進むにつれて、私たちが話しているすべてのことは裁判所に問われる可能性のある事柄です」
「巻き戻しについて特に質問した理由は、一般的に彼らは多くの転移学習を使用していると理解しているからです。彼らは以前に行った重みを取り、それを次のトレーニングラウンドの開始点として使用しています。新しいモデルについては知りませんが、これらのことを行うとき、多くの転移学習を行うと理解しています。それは彼らがニューラルネットについて発見した驚くべきことの一つでした。『ここでトレーニングして、後で別のものでトレーニングすると、より良くなる』ということで、『何故だ？』と思い、『数学のせいだ』と言うのです」
「磁石のようなものですね」
「実は、TJは2週間前にIPCについて知り、磁石について学んだので、まだ熱心です」
「その冗談は私には良すぎます。何度もその冗談をしていますが、みんな『何のことを言っているの？』と聞きます。『インセイン・クラウン・ポッシーについて誰か知ってる？』と言っても、知りません。TJは先週それを発見したばかりなので、今とても興奮しています」
「転移学習の側面は本当に興味深いです。彼らがどこまで巻き戻そうとするのか疑問に思います。当初、彼らは文字通りGitHubのすべてのコードを読んでいました。なぜなら、このGPLコードを入力し始めると、残りを自動補完し、それがGPLであるという原文コメントまで含めるからです。それはライセンスに明らかに反しています。非常に興味深い展開を見ることになるでしょう」
「Facebookも公文書で認めていますが、彼らは基本的にPirate Bayなどに行き、トレーニング用のものをダウンロードしています。彼らは故意に国際法に違反してトレーニングデータを取得しました。このようにAI企業は完全に責任を負っています。唯一の疑問は、裁判所がこれらのいずれかがフェアかどうかについてどのような決定を下すかということです。私はロイターの訴訟のために楽観的です。将来何が起こるかはわかりませんが、彼らがそうしないことを楽観視しています」
「猫を画面に出してもいいですか？」
「猫は大丈夫です」
「猫アレルギーなんですが」
「ごめんなさい、トラッシュ」
「Facebookの面白い点は、リーダーの一人からの実際のメールがあり、『多分これを仕事用コンピュータでやるべきではないな』と汗だくの顔文字付きで書いていたことです。『ああ、なんてすごいんだ、なんてすごいんだ』と。私はそれを見て『何が起こっているんだ？』と思いました。彼らはそれをメールに書いて、『はい、ザッカーバーグはそれはおそらく悪い考えだね』と言っています」
「では移行しましょうか。Shopifyの話をしたいのですね？」
「これについて話したいのです。皆さんは私がいなくても大体そこに到達しました。私はAIの未来について皆さんが考えていない概念を持っています。それは皆さんが言ったことすべてです。皆さんは仮説を立てていました。私はこれを概念化する用語を考えました。それを『汚染（taint）』と呼んでいます」
「その言葉は好きですね。Reactはすでにそれを使用していますが、汚染はすでに存在します。Verselがあなたを著作権で追いかけるかもしれません」
「何らかのライセンス契約を結んで、この『汚染』を使えるようにしましょう。TJはこの会話に参加していません。私たちは、誰もがあなたのAIが汚染されているかどうかを知る必要がある未来に向かっています。あなたのAIがこの汚染を持っているなら、著作権のある作品がそれに入っているからです。また、多くの汚染や少しの汚染を持つこともできます。このAIを見るとき、私たちは一定量の汚染を見ることになります」
「汚染の太さですね」
「そうです。AI企業は事実上最も少ない汚染を持っていること、またはあなたがそれを使用するとき汚染を持っている可能性が低いことを実証することに方向転換する必要があるでしょうか？TJは今、20のジョークを用意しています。彼はジョークを言いたがっていますが、言わないでしょう」
「今、撃たない90％のジョークがあります」
「私はみんなにこの可能性について考えてほしいです。誰もがAIの汚染について心配する未来があるかもしれません。汚染スコアがあるでしょう。何らかの合理的な方法であなたの汚染スコアが5％未満であることを証明できれば、それは食用製品内に存在できるネズミの糞の一定量のようなものです。それは避けられない割合であり、体の部分などがその中に存在します。そのため、あなたは未知の量の汚染係数を持つことができます」
「それはちなみに不快ですね。ケイシーが消えました。汚染について少し権威的に話しすぎて、今彼はいなくなりました」
「AIがあなたと戦っています。あなたの言ったことを聞きました」
「とにかく、私は誰もが汚染を検査する未来が欲しいです。彼らは汚染を見つけようとしています。なぜなら、もし私がCEOなら、裁判所に行って突然自分が実際に汚染を持っていたことを発見したくないからです。私は知りませんでした。私たちは何らかの製品を使用し、何かをライセンスし、汚染を持つことになりました。『コーディングアシスタントを得ると思っていたが、得たのは汚染だけだった』と」
「匂いのテストをするだけですね」
「これは『時の車輪』を思い出させます。シャイディンもまた汚染されていました。TJ、あなたは私が何を話しているか知っていますね」
「『時の車輪』について15分間会話をするべきか考えていました。スタンドアップのためには良いでしょう」
「これは実際にかなり興味深いです。なぜなら、裁判所がLLM内に存在することを認める著作権で保護された材料の一定レベルがなければならないからです。盗まれた作品がLLMに入り込み、それを決して属性付けることができないような方法があります。そのため、あなたはある割合を持つことができますが、あなたがある閾値を下回っていることを証明できなければなりません」
「必ずしも割合ではなく、単にいくつかの人があなたを訴え、あなたがそれらとライセンス契約を結ぶことになるでしょう。著作権の主張は個別ベースで行われるからです。ディズニーが訴え、彼らがトムソン・ロイターと同様の決定を得たと仮定すると、二つのことのいずれかが起こります。そのトレーニングデータがすべて削除され、モデルを再実行する必要があるか、あるいはディズニーに支払わなければなりません。
私の推測では、少なくともディズニーのような大企業については、彼らは甘い甘いお金を少し得ることになるでしょう。ディズニーのものを削除する必要はなく、ディズニーに彼らの小さなAI税を支払う必要があります。OpenAIはその一部を取ることになるでしょう。この時点では、ベンチャーキャピタルのラウンドではないでしょう。彼らは上場会社か何かになっているでしょう。非営利団体からどうやって転換するかを理解してから。彼らはすべてのAI収入の一部を支払う必要があります。現在彼らが運営しているのは投資金であり、その一部を著作権を持つ人々に支払う必要があります。
トラッシュが最も古典的なスタンドアップの行動をしていることを言いたいと思います。キーボードで明らかにタイピングしています」
「チャットに入力しています」
「黙って。トラッシュ、黙って。私たちはここで仕事をしています。集中して」
「彼はコミュニティ・アウトリーチのディレクターです。それが彼の仕事であり、彼はそれを行っています。汚染の会話であなたを見失い、私の頭は50のミームの方に回り始めました」
「良いニュースはこの汚染の話題から移行できるということです。このロードを論理的な結論まで続ける必要はありません。代わりにトピック2に移りましょう。これはトピック1の延長線上にあります。Shopifyがトップから発表したのは、全員がAIを使用しなければならないということです。トビーは実質的にそれについて発表し、皆がそれを使用できるようにする招待のアクションコールをしましたが、それでは不十分でした。
彼はAIを使用する人々は単に10倍のエンジニアではなく、実際には100倍のエンジニアであり、行われた仕事はAIを使い始める前の1年分に相当する3日半の仕事だと言っています。これは非常に大量の仕事です。最後に、彼はAIを使用するときに期待することをすべて列挙しています。GSDが何かわからない人のために、GSDは単に「Get Shit Done（仕事をやり遂げる）」を意味します」
「実際にはジャーマン・シェパード・ドッグです」
「正直に言うと、GSDを見たとき非常に混乱しました。ジャーマン・シェパード・ドッグですね。もし私が持っていたら理解したでしょう。私は持っていないので、少しコンテクストを逃しているのでしょう。Shopifyは公式に、これらのすべてのケースで何があっても使用することを述べています。彼らはAIを使用しなくてもいいネガティブなケースは列挙していませんでした。それは提案から、今後これがShopifyでの要件であるという状態に変わりました。
彼らの正当化の一つが、この前の段落にありました。『毎年20〜40％成長する企業では、毎年少なくともそれだけ改善しなければなりません』。どのメトリクスで彼らがこの改善を評価するのか、あるいは彼らがどのようにこれを測定するのか明確ではありませんが、少なくとも会社の金銭的成長率と同じ率で改善しなければなりません。これは意味をなさないと思います。実際には何を意味するのか全く分かりません。彼も分かっていないかもしれません」
「100％同意はしませんが、その行を擁護します。おそらく彼らは、Shopifyスタイルのサイトの市場がこれだけ常に成長しているため、もし私たちが良くならなければ、誰か他の人がそれらを奪うだろうと言っています。これらはインターネット上で新たにShopifyサイトを作る新しい顧客だからです。彼らの垂直市場では、TAM（対象市場規模）は毎年20〜40％成長しており、『このように改善しなければ、追い越されてしまう』と言っています。それが私が理解したことです」
「あなたが言う『あなた』は会社を意味しなければなりません。なぜなら文章を見ると『毎年20〜40％成長する企業では、少なくともそれだけ改善しなければなりません』と言っています。おそらく私は誤解していました。それはエンジニアである『あなた』か、一般的な『あなた』なのか？」
「私は、『あなた』つまりShopifyがこれを続けなければならない、なぜなら市場が成長しているからだと読んでいました。しかしあなたが言っていることも分かります。『あなた、個人は40％良くならなければなりません』と」
「はい、残りはすべて個人がそれを使用して何％良くなるかについてです。私の大きな問題は、TJは反対意見を持っていることを知っていますが、これらの会話全体についての一つの嫌いな点は、AIがあなたをより速くするという考えではありません。確かにすべての職業において、AIは現在のスキルセットに対して大きな助けになるでしょう。誰もそれを議論できないと思います。
大きな問題は、3日半の価値が1年間の仕事に値するという、100倍という売り方です。何であれ、そんなことは信じられません。例えば、TJが3日半でシェーダーを生成しても、私に1年間フルタイムで週40時間与えれば、私は彼のシェーダーよりも良いシェーダーを作るでしょう。TJが手を挙げています」
「指名してくれてありがとう。大企業のいくつかの人々と一緒に仕事をしましたか？」
「はい、実際に私は彼らと一緒に仕事をしました。下にいるトラッシュ・デブとも一緒に仕事をしています」
「あなたの下にいますか？」
「はい、このケースでは」
「いいえ、私はあなたの下にいます」
「あなたが下の階にいるのは、あなたが海の部屋にいるからです。その色について話しましょう」
「100倍は驚異的に思えますが、一年か二年何も成し遂げなかった人々と一緒に仕事をしたこともあります。それがあなたのベースラインによって異なるのです。私のベースラインはあなたのベースラインとは異なります。彼らはいくつかのメトリクスを持つ必要があります。それはコードの行数や出荷された機能なのでしょうか？ここでは多くの考えがあります」
「彼らの箇条書きの一つが、実際に私は全部読んだと思っていましたが、プライムがそれを読み始めたとき、私が読んでいたので完全に聞き逃しました。つまり、私は実際に読んでいませんでした」
「もう一度表示しましょうか？」
「箇条書きの一つは、人員を要求する前に、現在のAIの使用でそれが必要であることを証明しなければならないというものでした。これは私の心を吹き飛ばします。水塔に戻ると、基本的に私はあなたが30分かけたプロジェクトを爆破したようなものです。私がそれを見る方法は、AIはある意味でインターンや若手開発者のようなものです。彼らはコードベースに慣れ、少しレベルアップするまでは実質的にマイナスの存在です。
あなたはほとんどの時間をAI/インターンのコードレビューとベビーシッティングに費やすことになります。そのため、AIやインターンに仕事をさせるために、あなた側の生産性が失われることになります。これはある意味で、人員が必要である主張に矛盾するようにも思えます。なぜなら、基本的にフルタイムのプロンプトエンジニアであり、AIのコードをレビューする人が必要だからです」
「これには欠陥があります。まず、TJ側の問題ですが、1年間出荷しない人々を最初から出荷させたいのでしょうか？彼らを100倍効果的にしたいのでしょうか？そうではありません。次に、このインターンのこと、人々はいつもAIをインターンに例えます。AIはインターンのようだと。インターンについての重要なことは、初日に『これが必要なことですインターン』と言い、多くの時間を費やし、その後2日目、3日目、4日目、月には『このプロジェクトをやってください』と言い、彼らは2週間後に戻ってきて、かなり良いプロジェクトを持ってきます。そして『これらのいくつかのことをやる必要があります』と言います。
AIには利益がありません。AIは初日と60日目で同じくらい良いものです。現在、地平線上にある飛躍的な進歩がない限り、それはジュニアエンジニアから素晴らしいシニアエンジニアへと変わることはありません。極端な飛躍的進歩がなければ、同じものを得ることになります。一方、インターンでは、作業に何らかの乗数効果、あるいは少なくとも加算効果を得ることができます。彼らは自律性を持っているので個別に実行できます」
「この文書を書いた人、トビーについて公平に言えば、彼が自分のガイドラインに従っているなら、おそらくこの特定のメモを校正していないかもしれません。おそらく彼はAIに会社にAIの使用を奨励する何かを尋ね、そして送信ボタンを押しただけかもしれません。なぜなら彼は100倍効率的で、それを読む時間がなかったからです。トビーはそれに書かれていることを知らない可能性があります。これは『早期最適化はすべての悪の根源であり、私たちはそれを無視すべきだ』というツイートを送った同じ人物です。
昨年に戻ると、彼はパフォーマンスについて真剣に考え始める必要があり、多くのAIを使用し、常にパフォーマンスについて真剣に考える必要があると話していました。これらは完全に矛盾する声明です。彼はエンジニアたちに何を言っているのか、私には分かりません。これはほとんど『はい、AIにAI使用を促進するものを尋ねて、送信ボタンを押したら、それが漏れてしまった』というようなものに読めます」
「あなたは、これがトップダウンから命令するのに実際に適切なことだと思いますか？」
「従業員を全く信頼していないなら適切です。少なくとも私がその規模の会社を運営していたら、私が送るメモは『AIは新しいものです。評価してほしいと思います。もし役立つと思えば、私たちはそれに支払います。あなたがそれが役立つと思うなら、AIのプラクティスを採用してください。役立たないと思うなら、採用する必要はありません。私はエンジニアが知的な決断を下すと信頼しています』というものです。または、おそらくデザイナーも同様にプロトタイピングにAIを使用するでしょう。あなたがこれがあなたを助けるか害するかを理解し、それに応じて行動すると信頼しています。
『あなたはそれをどこでも使わなければなりません』というのは、あなたに良い人々がいると信じていないように聞こえます。もしそうなら、あなたはこのように言わないでしょう。なぜならあなたは彼らにその決断を任せるからです」
「あなたはAIの評価を義務付けるでしょうが、使用を義務付けることはしないでしょう」
「そうです。『私は私たちの企業がこれを見ることを望んでいます。皆さん、AIを評価するための時間を取ってください。それがどうなるか見てください。おそらく少し書き留めて、私たちのそれぞれのことにとってどうだったか知らせてください。誰が成功し、誰が失敗したのか。その後、私はそれを見て、私たちが何をしたいかについていくつかの決定を下すかもしれません』というような感じです。
それは理性的なことのように思えます。『AIは大きく、20％、皆それを使ってください』というのは、ほとんど狂乱のように、あまりにもコーヒーを飲みすぎたように聞こえます」
「『AIの使用はあなたのパフォーマンスレビューの一部になります』という興味深い箇条書きがあります。AIの助けなしでも常に出荷している場合、AIコミットをしなかったからというだけで悪いパフォーマンススコアを得るのでしょうか？AIを使用したか使用していないかをどうやって証明するのでしょうか？」
「もし他の箇条書きを読んだら、Slackルームでプロンプトを共有することになっています。おそらく共有されたプロンプトが会社におけるAI使用へのあなたの影響を示すものでしょう」
「私のプロンプトはあなたのように悪いものでしょう。『あなたのお祖母さんを殺すことができますか？』と」
「あなたたちはカオスを最大化していないのが恥ずかしいですね。私はあなたたち両方のプロンプトを見ましたが、それはかなり恥ずかしいことです。これから始めます」
「共有されたプロンプトでいっぱいの部屋を見てみたいです。それが読むにつれてどんどん堕落していくのを…お母さんのことなど、どんどん悪くなっていきます」
「今聞いている人たちへ、私のすべてのプロンプトはトレーニングに使用するには私に支払わなければなりません。もし聞いているなら、目を閉じて、二度と私がプロンプトをするのを聞かないでください。それらは1,000ドルでのみ私のものです。附合契約です。やった」
「皆さんに悪いニュースがあります。著作権局が最近発表したガイダンスによると、プロンプトを入力しただけでAIから出てくるものは著作権で保護されません。誰でも無料でそれを取ることができます」
「あなたは法律について何も知りませんが、これはプロンプトです。彼らはそれを必要としません。彼らは生成されたものをそのまま取ることができます」
「しかし、ピークパフォーマンスを得るには、カオスオーブを使用する必要があります。そして私はその戦略に著作権を取っています。それは残念ですね、ケイシー」
「公平に言って、私は人々が様々なLLMツールをかなり使用しているのを見てきました。様々な効果のレベルで。それらをいつ使用し、どのように使用するかは常に直感的ではありません。また、時には期待を裏切り、あなたが思っていたよりも何かに優れていたり、他のことではそうでなかったりします。ケイシーが言っているように、人々にそれを試させることには価値があると思います。
それを多くの回数試すよう言うことにも価値があります。なぜならそれはかなり異なり、予期しない場所でそれを使用することもあるからです。私が使用したもののひとつは、Awesome WMを使っていて、彼らはすべてのドキュメントをオンラインで持っていましたが、それはエディタに引き込んでオートコンプリートを得るような形式ではありませんでした。そこで5つのURLをリストアップし、LLMに適切にフォーマットされたものを生成して入れるよう伝えました。それは私にとって何時間もかかっただろうことを2分以内に行いました。
それは文字通り、残りのことをどれだけ早くできるかを10倍にしました。なぜなら今私のエディタが機能し、オートコンプリートを得て、すべてを発見でき、波線などを得ることができるからです。もしLLMをさまざまなことに試していなければ、URLを貼り付けて『これを修正して』と言うことは決して思いつかないでしょう。どのようになるか、どこで終わるかはわかりませんが、実際に使ってみる必要があります。
少なくとも今のところ、週に一度使用するだけで本当にワークフローに影響するとは思えません。自分が時々使用するもので、本当に効果があるものはありません」
「明らかにIASAを除いて、それは私が聞いた一回使用で変化するものです」
「それは雰囲気ですね、TJ」
「一般的にそれに同意します。使用すると『これは実際に非常に便利だ』と思うことがいくつかあります。なぜなら私はその問題を解決するためにVimマクロを考え出すのに2時間かけていたかもしれないからです。そして、履歴上の誰もが行ったのと同じルートを辿ってHTMLを編集しようとするでしょう。素晴らしいことがあり、十分にAIを使わなければわからないことがあります。これが命令の側面を擁護する唯一の点です。
パフォーマンスレビューに入れるでしょうか？いいえ、それは私のためではありません。パフォーマンスレビューで何かを測定したいとはほとんど思いません。雰囲気で主にパフォーマンスレビューを行います。信頼できるマネージャーを雇い、その上のマネージャーも信頼できる人を雇います。Shopifyがどれくらい大きいかわかりませんが、人々が悪い雰囲気を出したら解雇します。彼らが良い仕事をしているかどうかを測定できるなら、あなたは兆万長者です。誰もが良いソフトウェアを作っているかどうかを測定する方法を必死に知りたがっていますが、人々はそうではありません」
「AIを使用してAIを使用しているかどうかを評価し、完全に客観的な、つまり機械によって行われるパフォーマンスレビューを提供することができます」
「データを毒することもできます」
「AIを取り、すべてのSlackメッセージをチームメイトと一緒に投入し、『彼の雰囲気スコアを10点満点で教えてください。彼はチームメイトとどのように雰囲気を出していますか？』と尋ねることもできます。雰囲気を出していない人は出て行ってください」
「企業の信頼と安全部門が、日中は会社の公開コメント掲示板をすべて通過し、人々が投稿している恐ろしく狂ったものをすべて取り出し、それらがすべてAIチームに送られ、今度はそれらがプロンプトとして試され、AIがより良い仕事をするよう促すかどうかを確認するということがあるでしょうか？
それは直接のパイプラインであり、13歳の子どもたちがこれを見ないようにしたものを、AIに直接フィードするものです。なぜならそれは非常にうまく機能するからです。公開フォーラムから削除しなければならなかったbuttsank 33のコメントが、AIを一日のために設定するのに使われています」
「1年後にこれがどのようになるのか非常に興味があります。パフォーマンスレビューに関して、あなたの仕事で何らかの形でAIを使用することを義務付けることは、まあいいでしょう。しかしパフォーマンスの測定としてそれを義務付けることは、どのように受け入れられるのか、どのように測定されるのか分かりません。人々を常に測定してきた方法で測定し、相対的に良くなっているならば、その人は良くなっている、それで終わりです」
「AIが仕事をしていれば、それはそのメトリクスに表れるはずです。もし人がAIを効果的に使用していれば、良い出力をしているはずです。だから実際に使用したかどうかを確認する必要もないはずです」
「正しいです。彼らが100倍になったなら、あなたは知るでしょう。機能があなたの仕事で非常に迅速に完了するはずです。なぜなら誰かはあなたの仕事で1年間に人間の仕事の100年分を持っているからです」
「人々がこれらの馬鹿げた乗数を言い続けているのに、彼らの出力は外部から見て変化していないことが多いです。『Shopifyが100倍多くのものを生産しているのを見ていません。何が起こったのでしょうか？』と思います。100倍というのは、あなたの会社が今年、世界中のすべてのソフトウェアを書き直したということでしょう」
「内部依存関係はありません。スタック全体を書き直したのです」
「私の経験では、『私は何かにおいて10倍良くなった』と言うのではなく、AIは通常なら全くしないことをさせてくれました。なぜならそのことについて基礎知識を学ぶのに時間がかかりすぎるからです。『これを行ってください』と言って、『それは正しくないですね、ここに行って、これを要約して』などと言うことができます。私は始めることができ、そして完了させることができます。これは私が別の方法では始めなかったことです。それはAIがすべてを書いたということではなく、それが私を可能にしたということです。比較がないのです。それは100倍多いとか少ないとかではなく、『ああ、以前にはできなかったこのプロジェクトができるようになった』ということです。ある意味ではそれは100万倍ですが、ある意味では+1です」
「これらのCEOたちにとってはるかに良いフレーミングになると思います。より野心的なプロジェクトに取り組むことができる、新しい領域で何かを試すことができる、以前は修正方法がわからなかったものを修正しようとすることができると言うことです。なぜならLLMに、自分では解決できなかったDNS問題を解決する方法を尋ねることができるからです。素晴らしい、今あなたはそれを解決できます。しかしそれは私を1000倍や100倍良くするわけではありません。1週間で1年分のソフトウェアをすべて書くことはできません。そんなことは起こりません」
「Towers of Moriaをやったとき、Loveのドキュメントを読んで描画方法を実験するのに1日か2日かけることができたか、あるいは多くのものを生成して進みながら修正することができました。ある意味では、基本を理解しているだけで、それを使用する方法は理解していますが、それがどのように機能するかは理解していません。これは何かを初めて学ぼうとするとき、あるいはアイデアを反復し、異なるバージョンを見たいときには良いことです。
何かを試し、捨て、何か新しいものを試し、捨て、何か新しいものを試し、捨て、「あ、それは良かった」というのが重要です。以前なら3か月かかったかもしれませんが、この方法なら3日でわかります。それから私はすべてのコードを削除し、最初から手作業で書き直すかもしれません。このイテレーション速度は重要で有用です。特にプロダクトマーケットフィットを最初から正確に推測することはほとんどないからです。もしあなたがそれができるなら、あなたはすでに兆万長者です。もしあなたが常にすべてを正確に推測できる人なら、これらの国々や企業の一つに行き、数十億ドルの資本を展開し、他の人が失敗したところで成功してください。それは私ではありません。私はそれが良いかどうか試してみないとわかりません」
「話の途中ですが、時間をオーバーしていますが、インターネット上で今話題になっているこの動画について簡単に話しましょう。これはQuakeであり、完全にAIによって生成されました。あなたが今見ているこのゲームプレイは、100％AIによって生成されています。Quakeだけでトレーニングされ、今Quakeを作り、あなたは走り回って悪者を撃つことができます。もしあなたが彼らに背を向けると、彼らは最初から存在しなかったかのようになります。時々彼らは立ったまま死にますが、それはそういうものです。これはすべて生成されたものです。
ケイシー、この高速イテレーションサイクルについて、本当に素早く動くことができるというこの種のテクノロジーに何かあるのでしょうか？このテクノロジーが10倍または100倍、あるいはこれらの大きな魔法の数字で改善できると仮定して、まだ作成されていない機能をプロンプトと同じくらい速く見たり体験したりすることができるゲーム市場に本当の価値があると思いますか？あるいは、何かがプレイされるのを単に見ることができるということは、それが良いメカニックであると言えるくらい実際にあなたにとって実質的なものでしょうか？」
「実際には私はこれに答えるのに間違った人です。それは非常にデザイナー特有の質問です。言えることは、彼らがそこで行っているような形では、おそらくそうではありません。私が優れたデザイナーが仕事をするのを見たとき、そして彼らはほとんどいませんが、私は例外的に優れたデザイナーと考える数人の人々が彼らがすることを見る特権を持っていました。細部には多くのことがあります。
良い例は、ダニエル・ベンゴウルが作ったDragon Sweeperというゲームがあります。彼はNetflixのサービスでヒットした「Storyteller」の制作者でもあります。彼は優れたデザイナーで、彼がゲームをどのように設計したかを説明するポッドキャストを聞くことができます。彼はそれを非常に速くデザインしました。すべてを考慮すると、それは彼にとって長くはかかりませんでした。しかし、ゲームを楽しくし、実験するために彼が解決しなければならなかった種類のことは、例えばボードが生成されるときにこれらの駒がボード上にどのように配置されるかを決定するアルゴリズムが正確に何かというようなことです。
そのイテレーション時間を改善するものは有用でしょう。Microsoftが見せているこのものは、実際のデザイナーの助けにならないように思えます。なぜなら私たちはすでにそのようなものがどのようなものか知っているからです。もしQuakeだけでトレーニングしているなら、このものが適切に表現できるデザインの変更は何で、実際に私にその情報を与えるのでしょうか？それらは私たちがプロデューサーノブと呼ぶようなもので、上の人々が何かをしたかのように感じられるように、それが何かをすると偽装するものです。これはそのように見えます。上の誰かが『シールドをもっと緑にしろ』と言い、AIが『それは素晴らしかった』と言い、みんなが『ありがとうボブ、あなたは本当にプロジェクトを立て直した』と言い、そして彼らは本当の仕事に戻るというようなものです。
ゲームデザイナーがイテレーションするのを助ける何かのための余地があると思いますが、これはそのようには見えません。しかし本当に知りたければ、それらのトップクラスのゲームデザイナーに尋ねる必要があります。ジョナサン・ブローに尋ね、ダニエル・ベンゴウルに尋ね、この種のことを本当に優れて行うことができる人々に尋ね、彼らが何を言うか見てください。私は本当にわかりません」
「これに欠けているコンテキストの一つは、彼らが他の種類のリリースも行ったということです。それはゲーム用のCopilotとか、何と呼んだかは忘れましたが、Copilotだったかもしれません」
「それについて話すべきです。それは完全に異なるものです」
「私の頭の中では同じものです。つまり、あなたのゲームを取り、そのゲームで何千時間も記録し、それからモデルを作成してあなたのゲームを生成し、そして『私のゲームが欲しいけど、サーフボードも欲しい』というようなことをプロンプトすることで機能を追加するというものです。そしてそれはサーフボードを作り、あなたは『ああ、それは楽しそうに見えなかった』と言います。そして新しいものを追加します。
それがこのプロジェクト全体の目標だと思います。なぜなら私はこれが全く同じ流れだと信じているからです。彼らはあなたのゲームをどれだけ正確に描写し、それをプレイ可能にし、そしてプログラミングを必要としない新しい機能を、単純なプロンプトだけで追加することができるかということです」
「ゲーム用のCopilotは、ゲーム用のクリッピーのようなものです。それは現れて、あなたが『このマップの木はどこにある？』と尋ねると、『北東の森に向かう必要があります』と言います。ゲーム用のCopilotには多くの意味があります。
私が説明しているものを行っている別のMicrosoftゲームスタジオAIがありました。それはゲームの数千時間の記録を取り、そしてリプレイして『これがあなたのゲームに機能がある場合です』と示すことを試みています。それは異なるものだと思いますが、Copilotではないかもしれません。間違っているかもしれません。おそらくあなたが正しいでしょう。おそらく両方とも何らかの理由でCopilotと呼ばれています」
「Microsoftではすべてがコパイロットと呼ばれているという良い指摘です。おそらく私は名前を間違えたのでしょう。おそらく良い名前があったのでしょう。おそらくMicrosoftはゲーム関連の3つの別々のAIをすべてMicrosoft Copilot for Gamesと呼んでいるのでしょう。あなたはおそらく正しいでしょう。または、Microsoft Games用のCopilotとGames用のCopilot Microsoftなど、すべて異なる製品です」
「Windowsの、Xboxの、ゲームパスのためのゲームパスなど、できるだけ多くを入れ込みます」
「私が本当に言えることはこれだけです。本物のゲームデザイナーにとって重要なのは細部です。これらは単に化粧的な変更を示しているだけであり、ゲームデザイナーは実際には考えていません。彼らはマウスダウンへの反応の仕方を少し変えたらどうなるかを正確に考えているのです。それが彼らが働いているレベルであり、フィーリングを得るためです。3D空間を歩き回るとどうなるかはみんな知っています。それは難しくありません。それはプロトタイピングの問題ではありません。少なくとも長い間そうではありませんでした。
これは彼らが通常作業しているレベルの実験に見えません。しかし繰り返しますが、彼らが言わなければなりません。私は答えるのに不適切な人間です」
「では10年後にはこのものは素晴らしいかもしれませんが、今日はあなたの簡単な調査からすると、必ずしも必要を満たすようには見えないということですね」
「彼らがゲームデザイナーが実際に取り組んでいる種類のことでより多くトレーニングしていれば、今日でも優れているかもしれません。細部、ニッティグリッティのようなものです。これは非常にプロデューサー的です。バルキリーがかっこよく見えるから少し高くジャンプするべきかどうかというようなことです。それはバルキリーのゲームプレイへの影響は何かという質問をしていません。それはバルキリーが20％多くの試合に勝つというようなことを教えることができません。彼らはそのようなことができるはずです。
例えば、数十億の試合を分析し、『もしブラックキングバーが店で20％高くなると、ゲームにこのような影響を与える』というようなことをゲームデザイナーに伝えることができます。それはゲームデザイナーがマルチプレイヤーのバランスを取るために使用できるようなものです。これはそのようには見えません。おそらくそれを行えるけれども、彼らはそう言わなかっただけかもしれませんが、そのような種類のことができるようには見えません。間違っているかもしれません」
「それはDota 2の参照でしたか？」
「そうです」
「素晴らしい。それはTJの愛の言語です。Burn Conventionでそれをプレイできます。Burn Conventionで皆でRoを襲います。それは私が知っている唯一の用語です」
「Burn Conventionについてこれ以上冗談を言わないでください。なぜなら、ここからはすべて不適切です。React Miamiは開発者会議のBurn Conventionです」
「あなたが何を言っているのかさえわかりません。まあいいです、1年前は面白かったのですが、Burn Conventionについての話はもうやめましょう」
「あなたのサインオフは？誰か始める必要があります、CJ」
「私はケイシーです」
「トラッシュです」
「名前は」
「プライム、締めくくりを」
「なぜあなたは私をそのように中断するのですか？それは良かったのに。バンバンバンと来て、私が入ろうとしたら、すべてを台無しにしました」
「それはとても良かった。もし今ビデオを見ているなら、Flipはそれを取り出しました。Flipはそれを取り出したので、良いニュースです。それは存在しませんでした」
「来週、スタンドアップでの別の予測可能な災害に参加してください。来週は、ケイシーがドキュメントで提案した素晴らしいトピックがあります。ちなみに、私たちはドキュメントを使用しています。私はそれが非常に面白いと思います。なぜなら、もし私が悪の会社で働くことを強制されたら、私は全く同じことをするという内部的な欲求を持っているからです」
「次の水曜日は予兆のアジェンダです」
コメント