Shopifyの社内コーディングエージェント「River」の活用事例を基に、AI時代における組織のあり方を論じた内容である。多くの企業で従業員が個人のプライベートなウィンドウでChatGPTやClaudeなどのAIツールを利用しているため、優れたプロンプトや業務ノウハウが個人に埋没し、組織全体の成長に繋がらない「見習い期間の断絶（徒弟制度のギャップ）」が生じている。ShopifyのようにAIとの対話をSlackのパブリックチャンネルで行うという制約を設けることで、シニア社員の判断力や思考プロセスを可視化し、組織全体で知見を共有して集合知を構築することの重要性を解説している。
Shopifyの社内AIエージェント「River」の実態
Shopifyの社内コーディングエージェントはRiverと名付けられています。今年の春のある30日間で、5,938人のShopifyの従業員が4,400以上のSlackチャンネルでRiverを使用しました。わずか1週間で、RiverはShopifyのコードのメインとなるモノリポにおいて1,800件のプルリクエストを作成したのです。現在、Shopifyでマージされるプルリクエストの約8回に1回はRiverからのものです。これらは驚くべき数字であり、ShopifyのCEOであるトビー・ルトケが今月の初めにこれらすべてについて投稿した際、ほとんどの人が飛びついたのもこの数字でした。
しかし、これらの数字の裏には、実は本質とも言えるデザイン上の選択が隠されています。Riverはクローズドな環境では動作しません。エンジニアがRiverと交わす会話はすべて、公開されたSlackチャンネルで行われます。他のエンジニアはスレッドをさかのぼって読むことができます。シニアエンジニアがどのようにタスクの範囲を定義したのか、どのようなコンテキストを読み込ませたのか、エージェントがどこで行き詰まったのか、彼女が何を拒否し、何を採用したのかを見ることができるのです。これこそが、他のどこの企業も真似していない部分です。
多くの企業が抱える「見えないAI」の課題
ここにある、より深い意味を探っていきましょう。ほとんどの企業には隠れたAIの問題があり、それはツールの有無とはまったく関係ありません。従業員は一日中AIを使っています。彼らはChatGPTにメールの書き直しを頼んでいます。トリッキーな顧客の問題を論理的に解決するためにClaudeを使っています。リポジトリを検査するためにコーディングエージェントを走らせています。Copilotを使って40ページのドキュメントを2分で要約させています。彼らは毎週何時間もの時間を節約できる小さなワークフローを静かに構築しているのです。
そして、そのほとんどすべてが、プライベートなソフトウェアやプライベートなウィンドウという、クローズドな環境で行われています。これはセキュリティが確保されているかという話ではありません。それが共有されていないという事実について話しているのです。優れたプロンプトは一人のチャット履歴の中に消えてしまいます。賢い修正は一人の従業員のブラウザのタブ内に留まります。昨日うまくいったワークフローは、来週になって次の人が同じものをゼロから構築するときに再発見されることになります。なぜなら、それが存在することを誰も教えてくれなかったからです。これは実際に起きていることです。私はAmazonの社員と話したことがありますが、社内には同じ問題に対してバイブコーディングされたツールが6個も8個も10個も存在していると言います。つまり、個人は賢くなっているものの、会社は賢くなっていないのです。これこそがギャップです。
ほとんどの企業は、必要なツールをすでに購入しています。ですから、現時点での問題は必ずしもツールそのものではありません。可視性なのです。私は先月、Substackでこれと同じ変化について書きました。今や報酬を得られるのはアウトプットのレイヤーではなく、理解のレイヤーであるという話です。これが個人レベルでなぜ重要なのかというロングバージョンを知りたい方は、そちらを掘り下げてみてください。さて、今日はこの動画のテーマであるチームレベルの話へと進めていきましょう。
AI時代における「見習い期間の断絶」
四半期ごとに、あなたのチームは同じ教訓を再発見しています。先月、最高のオペレーターが完璧に仕上げたワークフローは、新入社員には見えません。彼らはそれをゼロから構築します。人類の歴史の大部分において、私たちが熟練した仕事を学ぶ方法は、熟練した職人の近くにいることでした。そして、それは変わっていないと思います。シニアな人物がどのように問題を組み立て、何に気づき、何を無視したかを見て学ぶのです。トレーニングマニュアルには載っていない細かな部分を吸収するわけです。完成品からと同じくらい、そのプロセスから職人技を学ぶのです。
では、AI時代において、実際の思考のほとんどがプライベートなウィンドウの中で行われるようになると、何が起こるか考えてみてください。ジュニア社員は、シニア社員がエージェントにどのように指示を出しているかを決して見ることができません。新しいマネージャーは、経験豊富なオペレーターが回答を検証する様子を決して観察できません。ワークフローを再利用可能にした修正は、それを書いた本人以外の全員にとって見えないままです。誰もがモデルと二人きりであり、それは全員が同じ教訓をゼロから再発見しなければならないことを意味します。私はこれを「見習い期間の断絶（徒弟制度のギャップ）」と呼んでいます。そして、チームの実際の思考の多くが誰にも見えないチャットウィンドウの中で行われているため、このギャップは四半期ごとにさらに広がっています。
暗黙知をデジタルシステムに落とし込み、私たちが学び理解する方法に組み込むことがいかに難しいかを示す、私が知る最高の例の一つは、製造業の時代、特にジョン・ディアや、複雑な物理的機械工具の製造に慣れている他の同様の企業から来ています。製造現場で複雑な工具を扱うことに慣れているアメリカの労働者の全世代が定職を迎えつつあり、彼らは非常に熟練しており、文字通り指先で覚えているような、言葉で表現したり説明したりできない知識を持っています。これはポランニーのパラドックスに帰結します。私たちは自分が語ることができる以上のことを知っているのです。そして、彼らが退職する前にその知識を掴み取り、機械学習アルゴリズムに変換する方法を見つけ出そうとするプロダクトマネージャーたちの取り組みが存在します。しかし、工場に足を踏み入れる人がますます少なくなっているため、同じ知識を指先に持った新しい人々が製造業界に育っていません。そのため、私たちはそれをデジタル化する方法を見つける必要があります。
これについて本当に興味深いのは、それを経験したプロダクトマネージャーと話すと、私も話したことがありますが、それを正しく行うことがいかに難しいかという話を主に耳にするということです。機械の特定の鋼鉄パーツを加工する誰かの能力という、感覚的な経験のすべてをアルゴリズムに変換する方法は文字通り存在しません。近づけることはできますし、近似させることもできますが、完璧ではありません。だからこそ、私たちのサプライチェーンの重要なボトルネックは、実は指先に並外れた能力を持つ一人の人間によって左右されているのです。そして、世界はこのような人々によって作られています。
ロールスロイスにレーシングストライプを描く方法を知っている人が一人だけいます。彼らしかいません。オレゴンのどこかに、ボーイングの特定の種類のネジの品質をテストする方法を知っている機械工が一人だけいると思います。彼らしかいません。ちなみに、彼らが退職したことがボーイングの問題だと思っているなら、それはボーイングの問題ではありません。それはもっと長い話になります。彼らが問題なのではありません。しかし、私が言いたいのは、そのような物理的な知識は言葉にするのが難しいということです。伝えるのが難しいのです。そして、私たちはソフトウェアの世界でも同じ問題を抱えています。このような種類のソフトウェアの問題を解決することを考えるとき、物理的なエンジニアリングの仲間から学ぶことは非常に重要だと思います。だからこそ、この動画が重要なのです。
パブリックなAIワークを構築する4つの要素
では、パブリックなAIワークとは実際にどのようなものなのでしょうか。すべてのチャットのやり取りをただSlackチャンネルに投げ捨てることを提案しているのではありません。それではSlackが汚染されるだけです。可視化したいのは、仕事の4つの部分です。
1つ目はタスクです。その人は実際に何を成し遂げようとしていたのか。2つ目はコンテキストです。モデルに何を伝えたのか、何を貼り付けたのか、何を省いたのか。3つ目はインタラクションです。どのようにプロンプトを出したのか、最初の回答はどのようなものだったのか、どのように反論したのか、モデルに何をやり直すよう求めたのか。4つ目はレビューです。人間は何を受け入れ、何を拒否したのか、何をマニュアルで検証し、何をなぜ書き直したのか。
最終的な回答だけを共有しても、チームはほとんど何も学びません。これら4つの部分をすべて共有すれば、チームは共有された感覚、つまり共通のセンスを構築し始めます。そして、共通のセンスを持つことは、AIの導入における最大のボトルネックの一つなのです。
プロンプトのライブラリでは、これを解決できません。プロンプトのライブラリは静的な指示を捉えることはできますが、あの雑多なコンテキストをすべて見落としてしまいます。修正のプロセスを見落としますし、モデルがもっともらしいものを出力したものの、人間が「いや、これは私たちの顧客にとっては間違っている」とか「いや、これは私たちのトーン＆マナーに違反している」とか「いや、この分析はここで本当に重要な制約を見落としている」と言った瞬間を見落としてしまいます。実際、私はこれをよくやります。人々が私の肩越しに私がAIを使っているのを見るとき、彼らが気づくことの一つは、私がモデルに対して非常によく「ノー」と言うことです。そして、私は非常に素早く「ノー」と言います。モデルが私に出力しているものの品質を非常に迅速に評価した上で「ノー」と言うので、それは人々を驚かせる傾向があります。だからこそ、これらのことを共有することがとても重要なのです。AIワークの最も価値のある部分は、プロンプトそのものであることは滅多にありません。その周囲にある習慣です。プロンプトは真似するのが簡単な部分です。私たちに教えてくれ、学習を助けてくれるのは習慣なのです。Substackでは、これら4つの部分をすべて具体的な例とともに解説しています。タスク、コンテキスト、インタラクションのパターン、レビューの基準です。ですから、実践でこれがどのように見えるかという完全版を知りたい方は、概要欄のリンクをご覧ください。
プライバシーの懸念とパブリックチャンネルの運用ルール
これを説明するときに最初に上がってくる反論は、プライバシーについてです。これは非常に深刻な反論です。ですから、これについては本当に率直になりましょう。従業員は、自分たちのプライベートなAIチャットがそのまま会社の所有物になると想定すべきではありません。書類上は、会社のAIに入力したものは何でも会社の所有物であるという契約になっているケースがほとんどだとは知っています。ですが現実には、ほとんどの人はそのように行動していません。もし、すべてのAIチャットがデフォルトで公開されると言ったら、多くの人はAIをあまり使わなくなるでしょう。それが現実というものです。優れた仕事を地下に潜らせたくはありませんよね。
ですから、私が説明しているのはその逆です。宣言されたスペースと宣言されたルールについて話しているのです。そして、それこそがShopifyの例の素晴らしいところです。シニアな人々が実際の業務を走らせ、チームがそれを見ることができる環境です。トビー自身も、パブリックチャンネルでRiverを使ってこれを行っています。チャンネルの目的は、学習を可視化すること、ただそれだけです。
Slackの中に宣言されたチャンネルを作成します。プロダクトチームにはAIワークベンチチャンネルを用意します。営業チームには、顧客の機密情報をクリーニングした顧客リサーチワークフローチャンネルを用意します。財務チームには、読み取り専用の分析パターンチャンネルを用意します。エンジニアリングチームは、機密性の低い特定のクラスのタスクのために、パブリックなエージェントチャンネルを持つことができます。境界線を引くことこそが、これをうまく機能させる方法です。チームは、何がパブリックチャンネルに属し、何が属さないのかを正確に知る必要があります。顧客データはプライベートに保たれなければなりません。人事に関することはプライベートに保たれなければなりません。法務戦略はプライベートに保たれなければなりません。プライベートに保たなければならないものは存在するのです。
しかし、その周囲にあるすべてのものの優先順位を上げ、「パブリックチャンネルで一緒に学ぶことはできるか」と問いかけることができれば、とてつもない推進力を得ることができます。たとえば、臨床意思決定支援、匿名化された患者の記録、治療の論理構成などをパブリックなスペースに配置し、エージェントがそれに対して動作する様子を確認できるようにするワークフローを描くことができるはずです。ただし、個人を特定できる情報（PII）を開示したり、HIPAA（医療保険の相互運用性と説明責任に関する法）に違反したりしない方法で行う必要があります。これには多少の作業が必要であり、完全に簡単なわけではありません。しかし、その代替案として、アメリカで患者のプライバシーを保護することを意図したHIPAAのようなものが、AIの学習に対する制約になってしまうという状況があります。それは避けたいところです。コンプライアンスを遵守しつつ、他の人々がAIや推論モデルとどのように相互作用しているかという点から学べるよう、関連するコンテキストをどのように露出させるかについて、クリエイティブに考える状況を作りたいのです。
ですから、ここでの教訓は、規制された業務をコンプライアンスに違反する方法で公開せよということではありません。私はそんなことは主張していません。教訓は、保護された情報を露出させることなく、学習に役立つAIワークの部分のために安全なパブリックのインターフェースを作成し、そこにできる限り傾倒していくということです。Substackには、規制業界向けのバージョンについてより詳細な解説があります。病院のITチームや銀行が、一線を越えることなくパブリックチャンネルに実際に何を投入できるかについてです。高度に規制された環境で業務を行っている場合は、一読の価値があると思います。
シニアリーダーが模範を示すべき理由
さて、ここからの話は、見ている私たちの多くにとって耳の痛いものになるかもしれません。会社における最も重要なパブリックAIワークは、シニアな人々から生み出されなければなりません。ほとんどの企業において、シニアな人々は最も価値のある判断力を持っていると同時に、そのプロセスが最も見えにくい人たちでもあります。彼らは最終的なメモを書きますが、彼らがそれをどのように行ったのかは分かりません。彼らは決定を下しますが、なぜその決定を下したのかは教えてくれません。彼らは戦略のデッキを編集します。彼らは顧客プランを承認します。すべての思考は舞台裏で行われているのです。
AIを使うことで、その舞台裏の思考はさらに隠されたものになる可能性があります。シニアリーダーはエージェントを使ってプランに負荷テストをかけることができますが、それを共有することはありません。彼らはモデルを使って取締役会への報告を書き直しますが、それについて話すことはありません。彼らはシナリオを比較します。彼らはロードマップのインサイトやリスクを特定します。彼らは立ち上げのナラティブを批評します。これらすべてがプライベートで行われると、組織は優秀なオペレーターが実際にどのようにAIを使っているのかを見る機会を永遠に失うことになります。
ここでの解決策は非常に明確です。シニアな人々に、機密性の低い仕事をいくつかパブリックな場所で走らせるよう依頼し、それができるように環境を整えてあげることです。ShopifyにおけるRiverのように、簡単にできるようにするのです。利害関係が伴う実際の業務です。たとえば、リーダーがチームチャンネルでエージェントに立ち上げプランの批評を求める。シニアエンジニアが、レビューの声をラウドスピーカーで実況しながら、エージェントを使ってリスクの低いバグを調査する。営業リーダーが、顧客の機密情報を取り除いた上で、アカウントノートを商談準備のブリーフに変える様子を示す。プロダクトリーダーが、ロードマップのナラティブにおける弱い仮定を特定するようAIに求める。
チームのジュニア社員は、もうプロンプトをコピーする必要はありません。彼らは実際に判断が下されるアクションを目にするのです。シニアな人々がどのように曖昧さを組み立てるのか、どの程度のコンテキストがあれば十分なのか、最初の回答が間違っている頻度がどれくらいあるのかを目にします。彼らは優秀なオペレーターが反論する様子を観察します。彼らは、AIをうまく使うということは能動的な監督であり、受動的な消費ではないということを学ぶのです。
ほとんどのAIトレーニングは、このレベルの品質には到底及びません。なぜなら、トレーニングは単にツールに何ができるかを人々に伝えるだけだからです。パブリックなシニアのワークフローは、その職人技のトップにいる有能な個人が実際にどのようにAIを使っているのかを人々に示してくれます。そしてちなみに、これこそがまさにトビーがShopifyのCEOとしてモデルケースを示していることです。彼は自分自身を個人のコントリビューター（実践者）としても考えており、意図的に自分の仕事をパブリックチャンネルに置いています。他の人々が彼のエージェントに質問できるようにし、他の人々がそのチャンネルで彼の選択を批評できるようにし、彼が成果を形作るためにエージェントと連携するのと同じように、彼のエージェントと一緒に働けるようにしているのです。
少し混沌としていますか。はい。エージェントに何をすべきか指示しているのは依然として彼ですか。それもはいです。しかし、彼がエージェントと行う仕事のオープンな部屋のフォーマットは、彼が会社全体に浸透させたいと考えていることを、他の何物にもできない方法で教え、社会化することを可能にしているのです。
組織を賢くする仕組みと評価基準
ですから、まずはチームごとに1つの宣言されたチャンネルから始めてください。トップにピン留めされたメッセージを書き、そのチャンネルが何のためのものかを明記してください。再利用可能なワークフロー、有用な失敗、そしてプロンプトの修正のためのものであることを確認してください。そして、それをデフォルトにしてください。ShopifyでRiverが機能している方法の一つは、ダイレクトメッセージ（DM）でRiverとやり取りすることができないという点です。不可能なのです。そのような制約を設けてください。そして、パターンが繰り返されるにつれて（それは必ず繰り返されます）、その繰り返されるパターンをプレイブックやスキル、あるいは直面している次の課題へのインプットへと変換してください。チャンネルから意図的に学ぶことができるからです。そしてちなみに、そうです、AIを使ってそのチャンネルを精査し、それらの学んだ教訓を収集することもできます。これは、実際のAIの利用法を社会化するための、私がこれまでに見た中で最も速い方法の一つです。
ということは、あなたの会社が実際に賢くなり始めるということです。チーム全体が賢くなり始めます。ジュニアのメンバーが賢くなります。それは全員が同じプロンプトを持っているからではなく、組織が、一人が学んだことをチーム全体が利用できるものへと変換する方法を手に入れたからです。フライホイールを始動させるためのシニアチームの総投資は、それほど長くはありません。ただ、それを実行する意欲があり、率直に言って少し縛られているように感じられるかもしれない制約に従う意欲があればいいのです。このエージェントとはパブリックチャンネルでしかやり取りできない、という制約ですね。その覚悟を持って取り組めば、自分が気づかなかった方法で、自分の時間と影響力を効果的に掛け算していることに気づき始めるでしょう。そしてそれこそが、トビーがAI時代における見習い制度についての考察を書き記していたときに至った結論でした。
最後に、この特定の環境において何を測定することが重要なのでしょうか。私たちはトークンのボリュームといったものについて話してきました。それらにも場所はあります。タスクやワークフローも、確かに有用です。しかし、私たちは学習と再利用に関するいくつかの有用なメトリクスを形成する必要があると思います。
過去1ヶ月間に、エージェントと相互作用するパブリックチャンネルに基づいて、チームはいくつかの再利用可能なワークフローを作成したでしょうか。別の担当者や別のチームに採用されたものはいくつあったでしょうか。誰かの働き方を変えたためにピン留めされた例はいくつあったでしょうか。パブリックなワークフローが、他の場所での重複した努力をどれくらい防いだでしょうか。これは測定するのが難しいですが、試みる価値はあります。古くなった例はいくつ廃止されたでしょうか。いくつかの失敗は、より良いレビューのルールへと変化したでしょうか。最も優れたシグナルは、時に「AIの利用率が上がった」ということではありません。最も優れたシグナルは、時に「私たちのチームでミスが起こる頻度が減った」ということです。これこそが組織学習の姿であり、測定は難しいですが、現実をより良く反映しているため、試みる価値があります。
ですから、世のリーダーたちにとっての実践的な問いは、あなたのチームがAIを使っているかどうかではありません。彼らのほとんどは、すでにそれを大量に使っています。実践的な問いは、あなたの会社の中にあるどのAIワークが、他の全員を置き去りにしながら一人の人間だけを向上させているか、ということです。なぜなら、その仕事がプライベートなままであれば、あなたは同じ教訓に対して2回、3回、10回とコストを支払うことになるからです。それが見習い期間の瞬間です。あなたのシニアな人々が、チームが見守る中で実際の業務を走らせ始めるか、あるいは、会社が今の場所にとどまっている間に、チームの各個人がそれぞれスピードを上げていくかのどちらかです。お互いから学ぶ能力を選択した企業こそが、組織的に複利で成長し始める企業なのです。
もしこれを深く掘り下げたい、チャンネルのルールがどのようなものかを見たい、異なる業界向けに始めるためのプレイブックを手に入れたいという場合は、Substackにあります。そこを深く掘り下げてみてください。
最後にここで強調しておきたいのは、この動画から持ち帰ることができる最大のポイントは、実はこのコラボレーションを推進するための制約の力であるということです。Shopifyにおいて、エージェントはSlackのDMでは決して実行されないというシンプルなルールによって、これがいかに促進されているかは、過小評価されていると思います。DMはSlackで非常に人気があり、Slackはプロダクトの観点からしばらくの間それらと戦ってきました。なぜなら、DMはチームワークにとって明白に悪影響を及ぼす一方で、個人には非常に人気があるからです。「返信をもらえる」「誰かにピンを送るだけで済む」といったことが可能になりますからね。エージェントはパブリックチャンネルでしか機能しないと言い張ることで、コラボレーションと学習を支持する拘束力のある制約を課しているのです。
したがって、ここでのより大きな教訓は、私はSlackそのものについて話しているのではありません。より大きな教訓は、クリエイティブで思慮深い制約が、学習に向けたインセンティブを形成するということです。あなたの環境を監査し、「個人は時に不満を感じるかもしれないが、全体としてAIに対する集団的なパブリックの学習を促進するような、意図的な制約をどこに課しているだろうか」と問いかけてみてください。それこそが、皆さんに持ち帰っていただきたいポイントです。
それでは。また次回お会いしましょう。
コメント