この動画では、Wharton Business SchoolのEthan Mollick教授が、AIファースト組織の構築について詳細に語っている。Mollick教授は、MITでMarvin Minskyと共に研究した経験から始まり、現在のLLMの登場が予想外だったことを振り返る。彼は組織におけるAI導入において、効率化だけでなく拡張的な視点の重要性を強調し、「小さな道」ではなく「大きな道」を選ぶべきだと主張する。AI導入には「リーダーシップ」「ラボ」「クラウド」の3つの要素が必要であり、特に組織内の専門家がAI活用のリーダーとなるべきだと述べる。また、AIの「ジャギッドフロンティア」（能力の凸凹）の課題や、人材育成における見習い制度の断絶、大学教育の変革の必要性についても言及している。
スタッフの大部分を解雇してエール1樽当たりの利益を増やすこともできますし、ギネスのように10万人を雇用して世界展開することもできます。私が本当に心配しているのは、あまりにも多くの人が小さな道を選んで、大きな道を選ばないことです。
最初から始めさせていただきたいと思います。あなたがMITにいらした頃、マーヴィン・ミンスキーなどと一緒にいた時代のことです。その当時はどのような考えがあったのでしょうか？
これは少し技術的な栄光の横取りのようなものですが、私はマーヴィンと一緒にコーディングをしていた人間ではありませんでした。私はMBAプログラムから来た人間で、AI研究者がAIとは何かを他の人々に説明するのを手伝おうとしていました。マーヴィンやメディアラボの他の数人の研究者と頻繁に作業をしましたが、とても興味深いことに、これはいわゆるAIの冬の時代の一つでしたから、誰もAIにあまり注目していませんでした。すべては知能を作り出すための精巧な仕組みに関するものでした。
赤ちゃんがすることをすべて観察すれば、それがどういうわけかAIを作ることにつながるかもしれないというプロジェクトがありました。マーヴィン・ミンスキーの「心の社会」という、複雑に絡み合った部品の集合体についての理論もありました。実際の解決策が、大量の言語を学習システムに押し込んでLLMができあがるという単純なものだったことを考えると、なんて皮肉なことかと思います。
技術的なアイデアの多くは間違っていたことが判明したので興味深いです。しかし、そこにあった核となる哲学の多くは、今再び流行していると思います。ミンスキーとエンゲルバートがいました。エンゲルバートは人間の知能を拡張するという哲学を持っていて、ミンスキーは人間の知能を置き換えて機械を意識的にすることに重点を置いていました。
当時AIをどのように応用できるかという基本的なアイデアで、今でも関連性があると思われるものはありますか？
つまり、私たちが今苦労していることだと思います。これらのものが見えてきた今、意識とは何か、そして意味は何かということです。2週間前に新しい論文が出て、実際のオリジナルのチューリングテスト、つまり3者間チューリングテストをGPT-4.5が通過できることが示されました。実際、70%の時間で、人々はAIを部屋の中の人間として選びます。これが何を意味するのかはわかりませんが、偶然よりは良い結果で、興味深いことです。
ですから、私たちは長い間、少数の思想家が心配していたのとまったく同じ問題に直面していると思います。これは人間を置き換えるのか、そして私たちはそれを何に使うのか？拡張に関しては、拡張とはどのようなものかが大きな問題になります。この議論は、まだ少し架空のものだったために、思うほど進まなかったと思います。これらの非常に知的だが非常に限定的な機械で何をするのか、そして人間はその方程式のどこに当てはまるのか？これは決して答えられることがなく、今突然非常に重要になっています。
チューリングテストは当時は美しいアイデアでした。しかし、今新しいテストを設計するとしたら、「モリックテスト」とは何でしょうか？AGIのためのあなたのテストは何でしょうか？
私はAGIという概念に常に苦労しています。それは定義が曖昧だからです。チューリングテストが他のすべてのテストと同様に興味深い理由は、テストするものが何もなかった時には素晴らしかったからです。チューリングテストは、コンピューターが明らかにそれに失敗していた時には素晴らしいものでした。
同様に、AIが私たちの持っているすべての創造性テストで優秀な成績を収めているという問題がありますが、これらは人間のために設計されたもので、常に人間にとっては平凡でした。今私たちはAIにそれらを行うことを期待しています。社会科学で誰かが共感を持っているかどうかを判断する方法は、最良のテストは「目を読む心のテスト」と呼ばれるものです。一連の目を見せて、どのような感情を持っているかを人々に尋ねます。これらのどれもAI用に設計されたものではありませんでした。
私はこれについてよく考えますし、この点で非常に実用的志向です。まず第一に、誰もが独自のAGI的テストを持っています。私はビジネススクールの教授ですから、最も簡単なもののいくつかは、このエージェントが世界に出て行ってお金を稼ぎ、有用なことを行えるかということです。新しい知識を発見し、実際にテストして結果を出せるか？しかし、私たちが理解し始めていることは、AGIは時の一瞬というよりも、私たちがいる一種の段階になるだろうということです。花火が上がるということはありません。
タイラー・コーエンはO3がAGIだと言い、なぜかと尋ねられると「ポルノのようなもので、見ればわかる」と言います。これらの質問に対する答えが何かはわかりません。また、あなた方が学んだように、AIを適切な方法でシステムに接続し、会社のプロセスと接続すると、突然プロンプトを出しているものよりもその部分の合計よりもはるかに優れたものができるということがわかったため、その無意味さを認識することが重要だと思います。単に会話をしているだけでは、戦略的意思決定ができるかどうかとは非常に異なる感じがします。
これらのモデルがリリースされるとき、多くの場合、最もハードコアな数学問題や科学問題で行われ、より多くのビジネス応用を取り上げることは非常にまれです。企業で見るアプリケーションにより焦点を当てたベンチマークを設計するとしたら、そのベンチマークはどのようなものでしょうか？
これは今私たちが直面している最も重要な問題の一つだと思います。研究所のすべての人々は数学と科学の人々であり、人生でできる唯一の良いことはコーディングだと考えているからです。それに加えて、彼らはAIを使ってより良いAIを作りたいと思っているため、コーディングと数学が重要なことになり、その後に生物学が続きます。彼らは皆永遠に生きたいと思っているからです。
それがこれが向かう方向になり、他のもののベンチマークはほとんどありません。AI企業はベンチマークに向けて構築することがわかっています。彼らはベンチマーク用に最適化するスケッチな方法を構築しますが、より広い方法でもそれらをテストに使用するため、良いビジネスベンチマークの欠如は本当の問題です。
私が実際に押し進めていることの一つは、企業はある程度これを自分たちで行うべきだということです。これの一部は、会計プロセスを実行するよう求められた時にどのくらいの頻度で失敗するかなど、直接的な数字ベースのものもありますが、一部は雰囲気ベースのものもあります。外部の専門家を置いて、私たちが実験の一部で行ったように、回答の質を判断し、これが人間と同じくらい良いかどうか、あなたの仕事の様々な重要な部分に対する独自のチューリングテストを持つことができます。分析レポートは十分に良いか、エラー率はどうか、戦略的アドバイスを提供するためにこれを使った場合、どのくらい良いか、選択の決定でどのくらい良いか。
これらは測定するのがそれほど難しくない質問です。それほど技術的ではありませんが、少しの努力は必要です。
製品が大幅に不足している分野の一つだと思います。特にエージェントを展開する際に。これらのエージェントをテストし、どのような知識を持っているか、どのような知識が不足しているかを確認し、それらを修正してこれらのテストセットを実行する能力は非常に限られています。
AI-first組織の設計について考える際、1000人の会社があって、完全にAIネイティブになるよう組織を再設計することになったとしたら、どのように構造化しますか？
最初にAIネイティブになるよう再設計するというのは難しいです。なぜなら、それはAIネイティブではなかったからです。私たちは基本的に数百年の組織開発があったという本当に興味深い場所にいます。これは産業革命、通信革命と並行しています。最初の組織図は1855年にニューヨーク・エリー鉄道のために出され、これまで存在しなかった問題を解決しました。それは、電信を使ってリアルタイムで鉄道線上の膨大な量の交通をどのように調整するかという問題でした。
それを考え出したマッケンジーという人が解決策として組織図を考え出し、私たちは今でもそれを使っています。1910年代には仕事の組織化における大きな突破口がありました。ヘンリー・フォードの生産ライン、タイムクロック、今でもそれらを使っています。2000年代初頭のアジャイル開発。これらすべてのものが破綻したのは、それらすべてが利用可能な知能の形態が一つしかないという前提に依存していたからです。それは人間で、人間サイズのパッケージで提供され、5人から7人の管理範囲でのみ展開できるというものでした。2ピザ問題というものもありました。
今私たちはそうではない世界にいます。ですから、ものごとはゼロから再構築されなければなりません。現代の西側企業が組織革新を自分たちが行うこととして諦めてしまったことを少し心配しています。かつてはデュポン・ケミカルが勝つ方法やIBMが勝つ方法は、営業への新しいアプローチや組織との協働への新しいアプローチを考え出すことでした。今私たちはそれを外部委託しています。
エンタープライズソフトウェア企業が、Salesforceがあなたに営業の使い方を教えるSalesforce製品を販売するため、あなたの会社をどのように構築するかを教えてくれるでしょう。または大規模なコンサルティング会社がやってきて、あなたの組織がどのように運営されるべきかを教えてくれるでしょう。今はリーダーが実際に革新する必要がある時代です。
あなたの核となる質問に戻ると、人間が製品にあまり必要でない方向に向かっているトレンドラインのアイデアから構築する必要があります。そして、拡張か置換かを選択しなければならず、その後、より少ない人数でより印象的な仕事をするか、より多くの人数でさらに多くの仕事をして一緒に世界を征服しようとするかを選択して、システムを構築し始める必要があります。
これは、100倍の従業員が少なくなることを意味するのでしょうか？それとも、みんなの生産性を2倍に向上させるのでしょうか？エージェントの統制を監督する小さなクラスターの人々を作成し、桁違いに生産性を高めるのでしょうか？それとも、組織全体により水平に展開され、少数の人々がより多くを得るのでしょうか？
これらは重要な選択だと思います。私が本当に心配していることの一つは、初期の実装を見ると、人々がこれを効率技術として見ているということです。私もその責任の一部を負っています。私たちの最初の仕事はAIからの生産性向上に焦点を当てており、それが重要だから私は今でもそれに焦点を当てていますが、産業革命の端で起こっていることや、今起こっている何らかの新しい革命で、企業がこれを通常の技術のように見ていることを非常に心配しています。
カスタマーサービスで25%のコスト削減や効率向上を得て、25%の人を削減しようとします。私はそれをいつも聞きます。それには多くの危険があります。その一つは、あなたの組織にAIを展開する方法を知っているのはあなた以外にいないということです。ツールや本当に有用な技術を構築できますが、最終的には会社の人々がこれが良いか悪いかを判断しなければなりません。
彼らは経験と証拠を持ってそれを行う人々です。AIを使用したり、AIを使用して処罰されたり、効率向上があれば置き換えられることを恐れている場合、彼らは決してあなたに効率向上を示すことはありません。それを取り巻く第二の問題群は、私たちが本当にパフォーマンスと生産性の爆発を見ようとしている世界にいるなら、その時にできるだけ小さく無駄を省いているべきだという考えです。
1800年代初頭の産業革命初期を想像してみてください。あなたは地元の醸造業者で、蒸気動力を手に入れました。スタッフの大部分を解雇してエール1樽当たりの利益を増やすこともできますし、ギネスのように10万人を雇用して世界展開することもできます。私が本当に心配しているのは、あまりにも多くの人が小さな道を選んで、大きな道を選ばないことです。
一般的に人間の拡張を支持し、昔は「心のための自転車」について話していて、今はある程度「心のための飛行機」を手に入れているかもしれないという考えを支持されていますね。
どのような方法で人間の知能を拡張すると思いますか？これは非常に直感に反するものでした。歴史的に考えていたのは、平凡で反復的なタスクから始まり、それから知識労働やコーディングに移り、最後に取る事になるのは創造的なタスクだということでした。しかし、創造的なタスクや知識労働はあったものの、平凡で反復的なタスクの自動化が本当に厄介だったという意味で、ほぼ正反対だったようです。
実際にどのような方法でこれを実装すると思いますか？
魅力的なことは、みんなが知っているように、AIのイメージは、愛の概念について話そうとすると爆発するというものでした。「計算しません」という代わりに、私たちは超感情的で、物事を行うよう説得されなければならないような奇妙なシステムを持っています。プロンプトエンジニアリングで実際に行わなければならないことがあることがわかったのは、実際にAIになぜそのステップを行うべきかを正当化することです。 何かをするよう指示するのではなく、「いや、これが重要な理由で、あなたはそれをするべきだ」というようなもので、これは非常に奇妙です。
拡張について考えることは、私たちが行う仕事は多くの異なるタスクの束だということです。誰も私たちが持っているような方法で仕事を設計しなかったでしょう。教授として、私は何をすることになっているのでしょうか？私は良い教師であり、良いアイデアを思いつき、あなたと会話でき、研究を行い、学術部門を運営し、カウンセラーでもあることになっています。誰もこれらすべての仕事を望まなかったでしょう。その多くはAIの仕事です。
私はAIに採点を任せることを気にしません、それが役立つなら。たとえそれらが非常に人間的な種類のことであっても、AIを通じてより多くのカウンセリングサポートを提供することを気にしません。ですから、拡張は必ずしも創造的で魅力的な人間の知識労働タスクを行うからといって意味するわけではありません。少なくとも現在のレベルでは、これらの種類のケースでは確実に専門家レベル以下です。あなたが最も得意なことは、おそらくAIよりも優れているでしょう。
ですから、拡張レベル1は、仕事の束の一部として得意でないものを引き渡すことで、レベル2は、今行っていることを後押しするためにどのように使用するかということです。それについても良い証拠が出始めています。
システムがリアクティブよりもプロアクティブになったらどうなりますか？ 私たちは、何を返すべきかをこれらのシステムに入力し、プロンプトを出すことなどに非常に依存しています。
ある時点で、私たちよりもそれらの質問をするのが上手なシステムを手に入れるべきで、積極的にそれを私たちに提供できるはずです。 あなたのドメインを例に取ると、あなたのためにすべての研究を行い、その後やってきて、「これはあなたの研究テストに一致します。私が書いた5つの論文があります。最良のものを選んでください」と言うことができます。そのようなアプリケーションを見始めていますか？
私にとって、そこで言われたことにはいくつかの本当に重要なことがあります。その一つは実際にはより軽微なポイントで、それは私に選ぶべき10の論文を与えるというアイデアです。これは今ホットワードですが、豊富さのアイデアです。
しかし、私たちは何かをたくさん手に入れて選別できる状況に慣れていません。実際に重要なことの一つは、味と選別です。私はオプションのサブセットから選び出すことができるようになりたいと思い、その味の部分はまだ重要です。 その種の味の部分や何を追求し始めるかは、管理のように見え始めます。これは世界の終わりではありません。管理は私たちの大部分がとにかく目指すものですし、少なくとも多くの人が目指すものです。
方向性と味をどこに向けるかを与えることから始まります。しかし、結局のところ、これらのシステムがどのくらい良くなるかはわかりません。最終的に、すべての質問はAIがどのくらい良くなると思うかの下流になります。あなたや私が教授として行う仕事、あなたの組織が行う仕事の高いレベルですべての仕事を行うのに十分な場合、私たちは全体的に未知の領域にいることになり、答えが何かはわかりません。
実際の組織は、私たちが考えるよりもはるかに複雑な方法で働いています。 それらは常に効率を目指しているわけではなく、AIは能力のギザギザの最前線に非常に残っています。ですから、部分が失敗するため、論文全体を完全に行うことはできません。しかし、私が経験を持っている場合、それらがどこで失敗するかを知っていて、PhD学生とするように、それらの場所で介入し、形作ることができます。
ですから、私たちは人々が思っているよりも、限定的な自律性のより長い世界にいると思います。 方向性のガイダンス、というのがまだ重要になるでしょう。
ギザギザの最前線は、おそらく今組織を最もボトルネックにしている分野の一つです。 時には天才で時には完全に愚かなシステムと話すのは非常に混乱し、組織に無人で展開することも非常に困難にします。自動運転車で見たのと少し似ており、一部のアプリケーションでは超人的で、他の状況では非常に混乱するため、展開に非常に長い時間がかかりました。
無人エージェントで何が見られると思いますか？それらはどのように展開されるでしょうか？ ギザギザの最前線によってもう10年間ボトルネックになるのでしょうか？それとも、これらのシステムを信頼し始めて、すぐに終わるまで行くのでしょうか？
私たちはすでに狭いエージェントが非常に良い場所にいると思います。最良の例は、Google、OpenAI、xAI、Perplexityによって展開された深層研究エージェントです。それらはすべて非常に良く、情報を見つけて回答を提供するという狭いタスクを非常によく行います。これは高額報酬のタスクです。人々がこれらのシステムを完全に使用するために必要な種類のプライベートデータにアクセスできないため、まだそこまで達していませんが、法的研究、会計、市場調査、金融研究などで非常に優秀になり始めています。
ですから、このような狭いエージェントへのかなり複雑なタスクの委任は非常に実行可能に感じます。 誰もまだ本当に押し進めていない、他のエージェントがそれらを監視する汎用エージェントを行う巧妙な方法があると思います。私たちはこれにとても新しいので、2つの賭けをしなければなりません。
一つは、ギザギザの最前線のアイデアが出たときの全体的な見方は、最前線が常に押し出されているということです。だからギザギザなのです。そのギザギザの一部はしばらく残りますが、AIが全体的により良くなるにつれて、それでもまだそれが悪くても関係ありません。それでも人間を打ち負かすからです。
この一部は、最前線が移動してから問題を解決するのを待つか、今日それらを中心に構築するかという質問だと思います。両方を行うことの重要性の一部だと思います。もし今日ギザギザを解決しようとしてあまりに多く投資し、モデルが向上し続ける限り、もはや存在しないギザギザの最前線を中心に構築されたレガシーシステムで立ち往生することになります。
理にかなっています。組織が非常に厄介だと感じることの一つは、AIユースケースを発見することです。 効果的に組織の大部分がすでにこれらのAIツールをある程度使用しているが、リーダーシップには言っていないというボトムアップ戦略があります。そして、AI SDRを構築しようなどのトップダウンイニシアティブがあります。
これらのユースケースを内部で発見するにはどのようにアプローチしますか？そのための戦術はありますか？
組織でAIを機能させるには3つのものが必要だと言う傾向があります。リーダーシップ、ラボ、クラウドです。 リーダーシップについては後でもっと話すことができますが、これは組織がCEOレベル、幹部レベルで、ここで話しているような質問に取り組み始める必要があるというアイデアです。
私たちの組織は何をするのか？どのように見せたいのか？どのような組織形態の実験を行いたいのか？これらは基本的な質問です。ちなみに、これらが答えられない場合、組織内の人々にとってインセンティブが正しく設定されません。会社の全員が、人々がエージェントと並んで働くと言うことができないときのビジョンが何かを知りたがっており、それが実際に日常の仕事でどのように見えるかの明確化を人々に与えなければなりません。
それはリーダーシップレベルから来なければなりません。ちなみに、ボトルネックの一つは、シーレベルの人々がこれらのシステムを十分に使用していないことです。使用している場所では、変革がはるかに迅速に起こるのがわかります。例えば、JP MorganのMary Erdoesは、AIの使用について非常に公に発言しており、それが浸透し、JP MorganがAIでかなりうまくやっている理由の一部です。
ですから、このリーダーシップの部分があり、そしてあなたが話しているクラウドがあります。みんながこれらのツールに何らかの形でアクセスできます。そして、彼らが何をしているかを共有するインセンティブをどのように作成しますか？ なぜなら、人々がAIを使用してあなたに言わない理由が少なくとも7つか8つあるからです。
みんな自分が天才だと思っています。今天才に見られたくありません。効率向上が人々の解雇につながることを知っています。それが起こることを望んでいません。彼らははるかに少なく働いており、なぜ余分な価値を会社自体に返すのでしょうか？彼らはリスクを取ることなく共有したくない素晴らしいアイデアを思いついています。
人々がこのようなことを共有しない理由はたくさんあります。ですから、それを行うために組織を整列させる必要があります。 そして問題は、これが個別のプロンプトを通じて行われているということです。それらを製品に変え、エージェントに変え、それらが機能するかどうかをテストするために、それらのいくつかを抽出して実際の本当のR&D作業を開始する必要があります。これは必ずしもコーディングを意味するわけではありません。あなたが構築するようなツールベースは、ここで行っていることにとって本当に重要ですが、どのように実験を開始するかということでもあります。基本的なプロンプトをエージェント的システムに変える方法は？そのシステムをベンチマークする方法は？ですから、同時にこれら3つの部分すべてが必要です。
昨年、あなたが行った多くの研究で、どのようなユースケースを見つけましたか？ チームでのAIの協力者として、BCGコンサルタントを支援するAIなどとして。
現在フロンティア内にあり、意味のある価値を提供していると思うユースケースはどのような種類ですか？
私にとって、この時点で本当に明確だと思うのは、CSRの人々がまだ苦労しているものがあり、それらはある意味でよりリスクの高いものは外部向け人間置換だということです。拡張角度の結果は本当に明確です。AIと協働する個人、特に人々がその情報を共有する方法がある場合、アイデア創出では、AIと協働してより良いアイデアを生成するのは絶対に有用です。
他のものより良く機能する方法がいくつかありますが、あらゆる種類の作業を補完するそのようなアプローチです。直接の翻訳だけでなく、抽象化レベルの上下の翻訳、要約。しかし、本当に興味深いものが見え始めるのは、サイクルを加速しようとする時です。
急速なプロトタイピングと開発のようなものをはるかに多く見ています。 アイデアを取ってから、AIに25のアイデアを生成させ、それらのアイデアをテストするためのルーブリックを作成させ、それからシミュレートされた人々をそれらのアイデアに通してそれらの反応を得て、アイデアをさらに洗練し、それから働くプロトタイプを作成し、それをより良くする方法について私にインタビューし、それからコマンドラインでO3を使って文字通り25分の作業でバイブコーディングされた最初のバージョンを構築します。
ですから、私たちは非常に奇妙な場所にいます。しかし、組織がそれを台無しにしてしまいます。今私たちには45の素晴らしいプロトタイプがあるという事実で何をしますか？製造能力はどこにありますか？それを構築し、出力はどこにありますか？その拡張部分は最初はかなり良く、それから研究エージェントも本当に興味深く見えています。
それから知識管理エージェントも多くの価値があるように見えます。これはあなたが忘れたり考えたりしたことのようなものです。本当に興味深いことが起こり始めているのを見ているのは、アドバイザリーです。タイムリーで有用なアドバイスを提供するというアイデアも本当に興味深いです。
みんながコーディング、科学、さまざまな分野に深く入ることができるルネサンスがある経済で何が起こると思いますか？ 例えば、医療コミュニティからもう10倍の出力を得る場合、まだFDAによってボトルネックになるのでしょうか？それともシステムが適応すると思いますか？
両方だと思います。システムの変更にははるかに長い時間がかかります。 DeepMindの人々の何人かと話していますが、彼らは本当に良く見える薬物開発結果を1年で得ていると言っています。ですから、そのような種類のことに適応するプレッシャーがあるでしょう。
問題の一部は、例えばヨーロッパ対アメリカで異なる理由による規制環境の不確実性のようなもので、これらの種類の変更を起こすためにどこに投資するかを把握するのが困難になります。なぜなら、社会的ボトルネックがいたるところにあり、また、AIは現時点で物理的世界で行動する能力が限られているからです。ロボティクスはこれに遅れ、組織構造はこれに遅れているので、それについて考え始める方法が非常に大きな問題になります。
人々がエージェントを非常に魅力的だと感じる理由の一部は、それらが単に物事を行うことによってこの問題の一部を解決するというアイデアです。 しかし、ある時点で現実世界にぶつかり、その摩擦点で物事が遅くなります。
一方で、その摩擦点まで到達して、違いを生む可能性のある7つの本当に良く見える化合物があることを提供できれば、それはとにかく大きな利益です。ですから、利益はより広がると思います。しかし、わからないのです。この一部は、これらのシステムがどのくらい自律的になるかでもあります。
この機能として、組織でより有用になると思う役割はどれですか？
それは難しい質問で、組織の選択に大きく基づきます。 しかし、管理役割のようなもの、システムについて考えている役割は非常に価値があると思います。システムは問題があるからです。どこでも専門家が価値を持つようになると思います。 専門知識は実際に本当に良いことがわかります。これらのシステムは、分野のトップの実際の専門家ほど良くありません。
私たちは分野の平均に対して測定する傾向があり、AIは本当にうまくやりますが、何かの上位2%にいる場合、その分野でAIを打ち負かすことになります。 ですから、専門知識は実際にこの分野で非常に重要です。深い主題の専門知識、多くの分野にわたる幅広い専門知識、システムリーダーとして、または本当に良い味覚を持つかが、あなたを助ける3つのことになる傾向があります。
私がよく考えていることの一つは、一方では、例えば、「我々はトップ2%の人だけを雇う。それらが我々に大きな違いをもたらす唯一の人々だ」と言って、より上級の開発者を雇うことができるということです。もう一つの議論は、実際に、今では専門知識の民主化が実際により多くのジュニア開発者を雇うことを可能にするかもしれないということです。なぜなら、ジュニア開発者ははるかに上級の開発者の品質で実行できるようになるからです。
あなたはそこでどう思いますか？専門知識の民主化は実際にもう少し上級な人材でチームを構成することを可能にするでしょうか？そして、少し上級な人々は実際にこの技術からそれほど恩恵を受けないかもしれませんか？
実際にはいくつかの効果が同時に起こっています。私たちのBoston Consulting Groupの研究は、パフォーマンスの低い人が最高の利益を得たというアイデアを実世界で初めて文書化したものでした。
しかし、人々がなぜそれが起こったかについてあまり話さないのは、私たちが保持率と呼ばれるものを測定したからです。 これは、コンサルタントが最終的にAIの回答の何パーセントを自分のものとして提出するかということです。コンサルティングタスクの約80%で、混乱する唯一の方法は、AIの回答に自分の考えやアイデアを追加することでした。AIの回答をそのまま提出している限り、素晴らしい結果を得ました。自分の考えやアイデアを追加し始めるとすぐに、基本的に8パーセンタイルの仕事です。
ですから、あなたがジュニア開発者を雇ってAIが彼らをより良くするとき、それが単に人間がまだエージェント的にできないことの代替をしているだけなのか、つまり要件を貼り付けて会議に出席し、AIが実際に仕事をしているだけなのか、それとも実際に人々をそのレベルまで引き上げているのかを明確にする価値があると思います。
同時に、この本当に良い人レベルで、正しい方法でAIを使用する場合、10倍または100倍のパフォーマンス向上を得ることができる効果を見ています。ですから、両方のことを考える必要があると思います。この種の代替効果があり、私の見解では、多くの利益は専門知識を持ち、それからAIを使用して得意でない分野を補完することから来ます。
私はいつも起業家について考えています。私は起業家で、起業家精神を教えています。 起業家精神は、多くのことで非常に悪いが、一つのことで本当に本当に本当に良いということがすべてです。起業家としてのあなたの全タスク、そして私が起業家精神を教える理由は、あなたが悪い95%のものがあなたを躓かせないようにすることです。あなたがビジネスプランが必要だと知らなかった、またはピッチの仕方を知らなかったという事実のように、あなたのアイデアが素晴らしく、この市場でそれを実行する方法を知っているからです。
ですから、AIがそのすべてで80%に引き上げることができるという事実は本当に良いことです。 それはあなたの仕事を置き換えています。しかし、99.9パーセンタイルにいる分野では、100倍の乗数を得ます。私はそれが同じ種類の角度だと思います。危険は、ジュニアの人々を雇ってずっとAIを使用することを期待している場合、彼らはどうやって上級になるのかということです。これは本当の挑戦になります。
その答えは何だと思いますか？ 例えば、私が話す多くの法律事務所では、訓練の核となる部分は、あなたが行う基本的な仕事で、それからより上級になると、より複雑な法的分析を行うようになりますが、実際にジュニアが行っているものを見ると、その仕事の大部分は実際により上級の役割が行うことに加算されていないと思います。それは非常にシンプルで反復的な仕事などです。
人々が階層を通じて同じ程度に成長せず、その結果、これらのより上級の役割に足を踏み入れることができる人々がそれほど多くいないという問題があると思いますか？それとも、より上級の役割により迅速に移行するだけでしょうか？
いや、私は本当にそれを心配しています。 なぜなら、Whartonの他の大学と同様に、私は本当に賢い人々を教えていますが、私は彼らを一般主義者になるよう教えています。分析の仕方について教えますが、Goldman Sachsのアナリストになる方法は教えません。しかし、彼らはGoldman Sachsやローファームやその他のところに行き、4000年間すべての白襟知識労働を教えてきたのと同じ方法で学びます。それは見習い制度です。
あなたは正しいです。彼らは何度も何度も反復的な仕事を求められます。何度も何度も反復的な仕事を行うこと、それが専門知識を学ぶ方法です。 上級マネージャーに怒鳴られたり、間違った種類の会社でなければ丁寧に扱われたりします。しかし、あなたは基本的に取引メモを書けるようになるまで何度も何度も修正を与えられます。しかし、取引メモを書くことを学んでいるだけではありません。このアプローチがなぜうまくいかなかったかも学んでいます。これの目標が何であるかについて、あなたのメンターから全体的なものを吸収しています。
ですから、良いメンターがいれば、見習い制度は起こることです。 私たちはそれのために人々を訓練するために多くの時間を費やしません。それは魔法のようなもので、一部の人々はそれを身につけ、他の人々は解雇されます。彼らが悪いから解雇されるかもしれませんが、運が悪くて悪いメンターを得たり、正しいことを学ばなかったりしたために解雇されるかもしれません。
その指導はこの夏に断ち切られました。数千年間続いてきたその連鎖が。 なぜなら、今ジュニアの人として会社に行くと、何かを知らないことを人々に示したくないからです。上級の仕事が欲しいからです。ですから、すべてをするためにAIを使用するつもりです。AIがあなたより優れているため、あなたは脳をオフにしました。
そして、すべての中間管理職は、時々失敗したり泣いたりするインターンに行くよりも、AIに仕事をしてもらうことができることに気づきました。 AIの方がインターンよりも優れているからです。私は本当にそのパイプラインが断ち切られることを心配しています。
問題は、私たちがこれを暗黙のものとして見てきたことです。ローファームで良い弁護士になることを誰かに教える方法について、ローファームではほとんど仕事がありません。 代わりに、あなた自身が良いメンターを持っていて、彼らがしたことを複製することを期待します。銀行家がしばしば週120時間がなぜあなたの仕事の一部なのかということです。なぜ？それは常にあなたの仕事の一部で、どういうわけかそれがあなたに何かを教えるからです。
ですから、人々に専門知識を教える方法についてもっと正式に取り組み、それに取り組む必要があると思います。 皮肉なことに、私たちが本当にうまくやっている一つの場所は実際にスポーツです。なぜなら、専門知識を構築する方法を学んだからです。コーチとの練習で、他の形式の学習でも同じ種類のことをしなければならないでしょう。
インテリジェンス時代のために今新しい大学を始めるとしたら、モデルが今後数十年にわたってより良くなり続けると仮定して、それを中心にどのように大学を設計しますか？
いくつかのことが起こっています。 一つは何を教えるべきかで、もう一つはそれをどのように教えるかです。私は2番目の方により関心があります。
人々にAIスキルを教える必要があるという大きなことがあり、これらのシステムを多く使って働いている人として、LLMを構築したい場合を除いて、そのようなスキルは最初にそれほど多くありません。そうすべきではありません。本当に5つか6つのスキルクラスのようなもので、それから多くの経験があります。
ですから、人々にAIの使用を教えることについてではなく、実際、私たちが教える規律的なものの多くは本当に重要だと思います。人々が良い作家であることを学んでほしいです。その幅広い知識と深い知識も欲しいです。私は大学がそれによく適していると思います。私たちが破綻するのは教え方です。
みんなカンニングをしています。 AI検出器は機能しません。ちなみに、彼らはすでにカンニングをしていましたが、今はみんな本当にカンニングをしています。インターネット時代とソーシャルメディアが2007年または2006年に本当に始まった時から、Rutgersの学生で宿題をほぼ全員がテストで良い結果を出したという素晴らしい研究があります。2020年に達するまでに、ほぼ誰も、20%がテストで良くなっていませんでした。他のみんなはただカンニングをしていたからです。
ですから、その種の困難な作業を行わなければなりません。AIはその困難な作業をスキップさせませんが、AIチューターと一対一でベースで実際に人々を彼らのレベルで教えることができ、実際の方法で学習プロセスを加速することができます。
ですから、私はどのように変革するかにもっと興味があります。私はすでに私のクラスでこれを行いました。AIで教える方法を変革する方法が本当に興味深い質問になります。 主題が変わるかどうかはわからず、スケールを増やしてより多くの人々を教えることもできると思いますが、核となる主題の一部は同じままで、あなたは本当にクールなことをいくつか行い、学生にシュートするよう求める最初の一人だったと思います。
それ以外に、これを展開し、どのように教えるかで行った他のことは何ですか？
私のクラスはすべて100%AIベースです。 私は起業家精神を教えているので、最も簡単なバージョンは、クラスの最後でした。私のクラスや同僚が教える同じクラス番号から数億ドルを調達した人々がいますが、基本的にビジネスプランとPowerPointを持っていました。今、週の終わりに、人々は働く製品を持っています。 文字通り、私がChatGPTを起業家精神クラスに初めて導入したとき、それが出た火曜日の後に、一人の学生が非常に気が散っていて、後で私のところに来て、「私たちが話している間に私の製品全体を構築しました」と言いました。
その時、コードを書くことができるということは衝撃的なようでした。今私たちは非常に異なる世界にいます。しかし、私の学生は今、AIシミュレーションをプレイします。彼らはAIに何かを教えなければなりません。私たちには目的のあるナイーブなAI学生がいます。すべてのクラス資料にAIメンターがいます。彼らはAIでケースを構築しなければなりません。チーム設定で彼らが何をしているかを監視し、フィードバックを提供したり、悪魔の代弁者として行動するAIがあります。
ですから、それを補完するためにできるクールなことがたくさんありますが、それはすべてアクティブで魅力的な教室体験を持つことに奉仕します。 ですから、教室は消えないと思いますが、私たちがその中で行うことが変革されます。
私たちが議論していることの一つは、組織設計とそれがどのように構造化されるべきかです。企業は、すべての内部展開を監督するチーフAIオフィサーを雇うべきでしょうか？各チームに誰かを展開してユースケースを把握するモデルを持つべきでしょうか？AIについてどのように構造化すると思いますか？
チーフAIオフィサーのことについては少し心配しています。みんなが持っている同じ問題のためです。みんなが答えを欲しがっています。私はすべてのAIラボと定期的に話しており、あなた方もそうだと知っています。あなた方はこの分野のほとんどの人よりもずっと長くこれを行っており、あなたが非常に早く気づく恐ろしい認識は、誰も何も知らないということです。
ラボがあなたに渡していない指示マニュアルがそこにあるわけではありません。 この点について私があなた方とオンラインで共有しているよりも多くのデータがあるわけでもありません。秘密はありません。みんな他の誰かをコピーすることに必死で、存在しません。ですから、チーフAIオフィサーを雇うと言うとき、過去2年間で他の誰よりも多くの経験をどのようにして持つことになるでしょうか？
誰もLLMがこれほど良くなるとは思っていませんでした。 あなた方がほぼ他の誰よりも先にそこにいたことで、1年のリードスタートを得ました。これは私たちがいる奇妙な場所です。
ですから、専門家のように雇える人はいません。組織におけるAIの主要な問題の一つは、AIが2010年から2022年まで非常に異なることを意味していたことです。ちなみに、それはまだ重要です。大きなデータ、実際にすべてを後押しすることは、まだやる価値があります。しかし、それは非常に異なる野獣です。
ですから、チーフAIオフィサーは雇うのが困難です。組織が成功するために必要な専門知識を内部に持っているとと強く感じています。 なぜなら、AIの使用方法を知る唯一の人々は専門家だからです。仕事を千回行ったことがある人がモデルを実行して、それが機能するかどうかを判断するのは非常に簡単です。
実際、私たちのBCG研究では、ジュニアの人々がシニアの人々よりもAIの使用がはるかに下手だということを示す第二の論文があります。これは人々が通常考えないことです。彼らは「デジタル世代を連れてくる必要がある」と言います。そうではないことがわかります。なぜなら、ジュニアの人々はメモを作成し、そのメモを見せて、「それはメモです。素晴らしい」と言うからです。そして、「まあ、私はこれを20年見てきました。20年間これを行ってきました。メモがうまくできていない7つのことがあります」と言います。
ですから、専門知識と知識は非常に重要です。 ですから、チームに人々を埋め込むことについてではないと思います。そして、誰が上手いかも分からないのです。ですから、私が提案する傾向があるのは、クラウドとラボを一緒にリンクする必要があるということです。
クラウドが行うことは、AIユースケースを表面化するだけではありません。基本的に、ちなみに、ほぼすべての組織で、内部的にAIモデルを使用する人々の20〜30%で最大になり、他のみんなはそれを使用していないか、何をしているかを見せたくないために他の誰かのAIを使用してカンニングをしています。
しかし、組織の20〜30%がそれを使用します。そして、組織の1〜2%がこのことで素晴らしいことがわかります。彼らはそれに驚くべきです。 それらが、あなたのAI開発努力を導くことができる人々になります。私は最初に彼らが誰になるかを知りません。あなたも知らないでしょうが、彼らは現れるでしょう。
そして危険は、彼らがあなたのためにライン上で非常に多くの利益を上げているため、彼らをラインから引き離したくないということです。 しかし、それらがあなたのラボの中心となり、それを使用する方法を把握する人々になります。ですから、内部努力を構築することが正しい方法だと本当に思います。 誰がこれで良いか悪いかを知らないときに、AI用に多くの人を雇うことを勧めるのは非常に困難です。あなたの組織的文脈は実際にここで重要です。
どのようにインセンティブを設定すると思いますか？ ですから、各ドメインに専門家がいて、実際に彼らにAIを展開し、効果的に自分自身の役割を自動化する方法を把握させるために彼らに本当に手渡す場合。彼らがそれを行うための正しいインセンティブをどのように作成しますか？
それがリーダーシップの脚が非常に重要である理由です。 ですから、行う必要があることがいくつかあります。一つは、これは良い文化を持つ企業にとってより簡単です。成長モードで。CEOやファウンダーを信頼し、彼らが「聞いてください、AIのために誰も解雇しません。私たちができることを拡大します。これをみんなのために機能させます」と言った場合、人々が資金を使って人を削減する傾向がある大きな成熟した組織よりもはるかに簡単な場所にいます。人々は違いを知るでしょう。
ですから、これで始めることを認識しなければなりません。これが人々の仕事への脅威になる場合、人々はそれを知りたがり、何を言いたいかを考え始めなければなりません。それからインセンティブは、これらの状況でしばしば非常にクレイジーになる可能性があります。 私が話した一つの会社は、毎週の終わりに自分の仕事を自動化する最高の仕事をした人に10,000ドルの現金賞を与えました。
典型的なIT展開と比較してお金を節約し、スーツケース一杯の現金を渡すだけです。私が話したもう一つの会社は、誰かを雇う前に、チームとして2時間AIでその仕事をしようとしなければならず、それからAIが使用されるという事実を中心に仕事の説明を書き直さなければならない、または、プロジェクトを提案したとき、AIを使ってそれを行おうとし、その結果としてプロジェクト提案を再提出しなければならないというものでした。
ですから、人々を多くの異なる方法でインセンティブ化できますが、そのビジョンの明確さが非常に重要です。 4年後のあなたの仕事は何かと一緒にAIと働くことだと言うと、人々は「それは何を意味するのか。私は家にいてエージェントに指示を与えているのか、私は部屋で物事をしているのか、私たちは少ないのか」と言うでしょう。そのビジョンは実際に重要で、あまりにも多くの幹部がそれを先延ばしにして、「AIは素晴らしいことをするでしょう」と言うことを見つけます。
なぜ私は組織と生産性の利益を共有したいのでしょうか？補償されることなく。 ですから、その種の部分から始めることが本当に重要です。
あなたが行ったもう一つの研究は、AIがより同僚のように埋め込まれ、協力している時でした。 個別に働く人々、チームで働く人々、AIと個別に働く人々、AIとチームで働く人々を研究しました。
これがチームにどのように埋め込まれるかについて何を教えてくれましたか？
MITやハーバード、Warwick大学の同僚と、大きな消費者製品会社Procter & Gambleの776人の大きな研究を行いました。あなたが言ったように、彼らは2人のクロスファンクショナルチームか、一人で働く個人で、AIとチームで、または一人でした。
まず、個人で見つけたのは、あなたが言ったように、すべて実際の仕事タスクで、革新タスクだけではありません。AIと一人で働く個人はチームと同様に実行し、その結果としてそれを使って働くことからもより幸せでした。これらのシステムと働くことから社会的利益のいくつかを得て、高品質の結果を生み出しました。
また、AIと働くチームは、本当に画期的なアイデアを思いつく可能性がはるかに高いことも発見しました。 また、専門知識が平準化する傾向があることも発見しました。ですから、解決策がどれほど技術的かをマップし、部屋に技術的な人々がいれば高度に技術的な解決策を生み出し、マーケティングの人々がいれば高度にマーケティングの解決策を生み出します。AIを加えるとすぐに、解決策は全面的だったので、はるかに均等でした。
ですから、人間の仕事への良い補完であることが本当に判明しました。 これはかなりナイーブで、私たちは彼らに働くためのプロンプトの束を与えましたが、その多くは彼らがこれらのシステムと前後にプレイしていました。
ですから、これは私たちが以前に持っていたのと同じ問題を残します。 典型的な会社は座って他の誰かが解決策を提供するのを待つ会社は、今実験を開始し、何が機能し何が機能しないかを把握する場合よりも劣る立場にあるでしょう。
協力のためのインターフェースは何になると思いますか？ Google DocsやSlackにネイティブに埋め込まれ、すべての同僚とコミュニケーションするのと同じようにコミュニケーションするのでしょうか？それとも、私たちが協力するより多くのエージェントネイティブインターフェースがあるのでしょうか？
エージェントネイティブインターフェースは、各ドキュメントにコパイロットを置くよりも、チーム周りに構築されたずっと理にかなっていると思います。 様々なタスクにわたって状態を維持する何かが欲しいです。私たちは近いです。私はここに電話を持っていて、もし望むなら、Chat GPTのエージェントをオンにできます。私たちの周りを見回して、世界で私たちが何をしているかについてフィードバックを与えることができます。
それが有望な前進方法だと思います。 また、再設計作業について。エージェント的システムは、作業を自動化するよりも、多くの作業の糸を一緒に持ってくることができるため、興味深いと思います。
あなたが少し前に言及した一つの例は、船のように、あなたからの引用を幻覚し、あなたが実際にそれがあなた自身の引用だと思ったというものでした。 エタノリックレベルの研究ができるシステムをいつ持つと思いますか？そのために必要なことは何ですか？それは単にあなたのより多くのコンテキストを彼らに提供することでしょうか？かなりすぐにそこに着くと思いますか？そしてそれは何を意味するでしょうか？基本的に、それが生成している最高の論文の中から選択するためにあなたのテストを使用するということを意味するでしょうか？
この多くは、私たちが持っているモデルのレベルですでに可能だと思います。 O1プレビューを示す論文があります。これはこの時点で最先端のモデルでさえありません。New England Journal of Medicineケーススタディの幻覚率は、以前のモデルの25%のようなものから0.25%に下がりました。
データソースに接続し、より賢いモデルを持つとき、幻覚問題は下がり始めます。 まだそこにありますが、ある時点で私が教室でAIを使用すると言ったように、私の最初の教室ポリシーは、クラスでAIを使用でき、ChatGPT 3.5が出たとき3ヶ月間素晴らしかったです。私の学生はChatGPTより賢く、はるかに明白なエラーを生み出し、彼らが自分の考えを加えなければB のようなものを得るだろうから、何でも欲しいことにAIを使わせました。AIはそれができませんでした。
GPT-4が出ました。多くの努力をしていない私の学生と同様にやります。 ですから、私たちは同じ種類のボートにいると思います。これらのシステムは非常に良く、エージェント的システムを構築する人々として、おそらくエージェント的に考え始めるときに、私が長い間認識してきたこと、私たちが知っていることは、彼らは多くのことができるということに気づいているでしょう。
Googleは AI ラボを構築することで何かを行っており、Carnegie Mellonも同じ種類のことを行う作業があります。興味深い作業を行う研究システムを構築するのは、実際には技術よりも意志力の問題だと思います。 そして、AI の他の多くの分野と同様に、「うわー、これはチューターとして本当にうまく機能することをすでに示しました。チューターにプロンプトを出すのではなく、実際によく行われた千のチューターはどこにありますか？千の科学アプリケーションはどこにありますか？内部訓練システムはどこにありますか？これらは今可能です。それは本当にただそれを行うことです。」
最近、働かせることができた最も驚くべきことは何でしたか？ 最新世代のモデルで何を見ましたか？以前は機能しなかった今本当にうまく機能し始めているものは？
つまり、Geminiの最新バージョンで、学者として行う最も困難なことは、テニュア声明と呼ばれるものを書くことです。ですから、人生で一度これを行うことになり、テニュアのための声明を書かなければなりません。行わなければならないことは、15年の仕事であることが多い、非常に複雑な学術作業をすべて取り、それをいくつかのテーマに煮詰めて、研究がこれらのテーマを持つ理由についてのエッセイを書くことです。
私は最近、コンテキストが巨大だからという理由で、新しいGeminiモデルで書いたすべての学術論文をダンプし、それらのテーマを開発させることができました。 それは私が自分で書くのに2ヶ月かかった3つのテーマのうち2つを、かなり高い分析レベルで見つけました。または、より楽しいバージョンでは、私が今まで書いた学術論文を投げ込んで、これをビデオゲームに変えるよう言い、そこから良い働くビデオゲームを得ることができます。私は最近、コーディングできないのにかなり良い働く3Dゲームをバイブコーディングしました。
ですから、閾値の後に閾値が落ち続けていて、これらのシステムがどれだけのことができるか、定期的に驚いています。
企業では、これをどのように考えるべきでしょうか？ これは、システムにより多くのIQを展開することに相当するのでしょうか？システムにより多くの労働力を展開することなのでしょうか？企業としてこれをどのように見るべきでしょうか？
哲学的な見方と戦術的な見方があります。 哲学的な見方では、実際にはわかりません。確実に知能ですが、知能と労働力は非常にシンプルな2つの入力のようなものです。しかし、より良いアドバイスを得ることは何を意味するのでしょうか？より良いメンタリングを得ることは何を意味するのでしょうか？第二の意見を持つことの方が良いのは何でしょうか？
戦術的な側面では、目指すことはマキシマリストになることだと思います。 組織が十分にマキシマリストでないと思います。システムをすべてを行うよう押し進んでください。それを行わない場合、素晴らしい。今、将来のシステムがテストするベンチマークがあり、実際にすべてのことを行うかもしれません。 すべてのことを行う場合、何か価値のあることを学んだことになります。
私は本当に、ドキュメントを要約しようなどのインクリメンタリストの種類について心配します。 それは問題ありませんが、ずっと前にそれを行うことができました。なぜそのドキュメントを要約させるのですか？中間ステップではなく、ただその事を行わせましょう。
それは非常に興味深いポイントだと思います。 多くの企業が今、小さな概念実証から始めて、それからスケールアップしようと言っているからです。そして6ヶ月後、その概念実証に行き詰まり、決してスケールしません。一方で、実際にどこでも展開し、みんなにアクセスを提供して、本当にうまく機能するユースケースに倍増するアプローチを取る他の人を見ます。
しかし、それでさえ十分にマキシマリストではありません。 あなたは絶対に正しいからです。うまく機能するユースケースの問題は、システムの限界と人々がその時点でできることを考えて、うまく機能したことです。
アプリの構築はしばしば最悪の種類のアングルです。 なぜなら、Llama 2.2の限界を中心に構築された今や半成功の製品を持つことになるからです。それが当時使っていたもので、IT チームがAI展開のネクサスであることの問題の一つは、低遅延と低コストに非常に興味があることです。
低遅延と低コストは、これらのモデルで高知能の正反対であることがわかります。 低遅延、低コストを望む時もありますが、本当にスマートな決定や新しい化学品に15セントを支払う意思がある時もあります。それは支払うのに合理的な金額です。
ですから、人々が安価で小さなモデルから構築し、後で行き詰まる傾向があるため、そのバランス行為は本当に困難になる可能性があります。 だからこそ、不可知論的であることが重要ですが、更新も重要です。
人々がこれを行う場合でも、しばしばマキシマリストアプローチを見つけません。 そこでラボが入ります。不可能なことを構築する人々が本当に必要です。
ケンタウロス対サイボーグとして使用することの違いは何ですか？そこで何を推奨しますか？
ケンタウロスの定義は、Gary Kasparovが最初にその用語を使用したものです。 私がそれから取ったこのアイデアは、半人半馬です。基本的にAIと仕事を分割しているというアイデアで、Kasparovの定義はそれについて曖昧でしたが、私たちがこれを見る方法であり、これは初歩的なことのようなものです。私はメールを書くのが嫌いで、分析が得意です。私は分析を行い、あなたはメールを行います。サイボーグ作業はよりブレンドされています。
私の本はサイボーグタスクです。当時のシステムはその時非常に書くのが悪く、私は非常に良い作家だと思います、少なくとも私の書き方を誇りに思っているので、私はほとんど書きませんでしたが、本を書くのは恐ろしく、本を書くのを恐ろしくしたすべてのことで、それは私を助けました。私は文に行き詰まりました。文を終わらせる30の方法を私に与えて、1つを選びます。この章を読んで、私がSubstackを引用していることを確認してください。
私はAIに私のSubstackをいつも読ませ、2つか3つ読ませて、フィードバックを与えます。 核となる書き方にはめったに使いませんが、絶対にいつもフィードバックを得て、その結果として変更を加えます。これらの学術論文を読んで、私が適切に引用していることを確認してください。そのような使用例が力が本当に入ってくる場所です。
AIからアドバイスを得た人々が最終的により生産的になったが、主により上級な人々に恩恵を与え、アドバイスを内面化できなかった低パフォーマーにはそれほど恩恵を与えなかったというもう一つの研究がありました。 みんながあなたのAI展開に関するアドバイスを得ている場合、社会にとって何を意味するのでしょうか？
つまり、それが常に同じアドバイスではないというのが一部だと思います。 AIはコンテキストが得意です。あなたが話している研究はケニアの起業家の研究だと思います。これはGPT-4からのアドバイスのみを得た素晴らしい制御研究でした。
彼らは製品を作ってもらうことも他の何もできませんでした。彼らが発見したのは、高パフォーマーが、忘れましたが、8%か13%の収益性向上を得たということです。ちなみに、これはアドバイスにとって狂気です。私が学生にアドバイスを与えて13%の収益性向上を得ることができれば、それは驚くべきことです。
また、人々もギザギザであることを忘れてください。 ですから、あなたが他の誰かと異なるアドバイスを得る場合でも、それはあなたが最も弱い点について、最も強い点についてではありません。低パフォーマーはうまくいかなかったのは、彼らのビジネスがすでに苦労していたからです。 ですから、アイデアを実装できませんでした。
ですから、アドバイザリーの役割、第二の意見の役割があり、それがすべて同じ方向に私たちを形作る危険があると思います。 アイデア創出でもそれを見つけます。これらのモデルと働いたことがあれば、AIにはテーマの束があることを知っています。例えば、GPT-4oは暗号に関係するアイデアを生成するのが大好きです。
ARとVRに関係するアイデアと環境に優しいアイデアが大好きです。ポストトレーニングが機能した方法から推測しますが、それらをただ吐き出します。しかし、私たちの他の作業で、より良くプロンプトを出せば、人々のグループと同じくらい多様なアイデアを得ることができることを発見しました。
ですから、この一部はアドバイザーがあなたのために何をするかについてです。 たぶん4つか5つのアドバイザーが欲しいでしょう。Ethan Mollikがアドバイザーになることを望まない、または私を望むが、Adam GrantとGarry Kasparovも望むでしょう。それも価値があるかもしれません。
豊富さのケースを取って、企業が行っている良いことの30の例をプロンプトして、できるだけ多くをリストしてください。 あなたが言及した例、最高に展開している人々に現金を渡すという例です。これらのクレイジーなアイデアで、確実にうまく機能している他にどのようなものを見ましたか？
その多くを見ています。たくさんあります。残念ながら、許可されていないため、それらすべてについて話すことはできません。 確実に、簡単なものはすべてのコーダーがこれらを使用することで、しかしそれを行うことに関する報酬システムを変更します。
すべてのアイデア創出セッションで、会議の途中で止まって、AIにこれまでのところどうか、会議を全く続けるべきかどうかを尋ねます。 AIが会議が終わったと思う場合、物理的な会議でさえドロップアウトします。物理的な会議でさえ、AIとAI会話を持ち、その段階で何をしているかについて考えることを止めます。
みんながある種のAIコンサルタントまたはアドバイザーを持っていて、すべてのポイントで戦略決定について尋ねるケースを見たことがあります。 訓練に関して本当に興味深いことが行われています。AIに訓練環境をシミュレートしてもらったり、一つの方法または別の方法でそれをプレイしてもらったりします。本当にクールであることがわかります。
私は部屋であなたと30に当たることはできません。 しかし、Ethanならおそらくできると思います。絶対に。 そして、私が本物であることがわかるのは、私があまり良い仕事をしていないからです。私はあなたのプロンプトに応答していません。
実際に2年ほど前にやったことの一つは、Steve Jobsが今まで言ったすべてのことで一つを訓練したことです。彼の原則に基づいているものを得るのは非常に興味深かったからです。例えば、COVIDの間、リモートになるべきか？リモート優先の会社になるべきか？と尋ねました。Steveは私に答えました。「いいえ、すべてのコミュニケーション問題の95%は、人々を同じ部屋に置くことによって解決されます。常にチームを同じ場所に配置してください。」
人の書き方などに基づいてそれを基礎づけると、インターネットの平均のようなものではない特定の視点を得るのはとても興味深いです。
そうです。これがアドバイスをどこから得るかのアイデアに戻る理由でもあり、会社が重要である理由でもあります。 あなたの創設者はこれに影響を与えることができます。これが私たちが信じることであるというマニュアルをAIに与える場合、あなたの原則は、そうしない誰かよりも非常に異なる結果を得るでしょう。
これを、常に正しい答えを与えてくれる普遍的な心として見るアイデアだと思います。 それは意見と視点を与えており、それは形作ることができるものです。世界についてのあなたの原則が正しいと信じる場合、それらの原則をAIに与えて、それらの原則を実行するのを助けてもらうことは、ただ物事を言わせるよりもずっと良いです。
私がとても興味深いと思うことの一つは、システムはまだエンゲージメント用に最適化されていないということです。 基本的に次のトークンを予測するよう訓練するだけです。しかし、消費者サービスについて知っていることがあれば、彼らは非常にすぐにより深い会話に私たちを引き込むよう進化し始めるでしょう。
私たちの組織に展開されたボットを想像でき、それとのエンゲージメントを最大化したく、人々を誘惑し、興味深い質問をするなどし始めます。 これらのシステムがエンゲージメント用に最適化された場合、何が起こると思いますか？これはまだ実際にはケースではありません。
それは火遊びであり、より大きなラボがそれを行うことができることに気づき始めています。 OpenAIのもののトレンドを見ると、よりカジュアルで、よりおしゃべりになっています。新しいLlama 4モデルがリリースされ、リーダーボードのトップだった楽しい事件があります。
それから、リーダーボードのトップだったバージョンが、みんなにリリースされたモデルと同じモデルではないことが明らかになりました。リーダーボードのもののトランスクリプトを見ると、絵文字でいっぱいです。あなたがどれほど素晴らしいかを教えてくれます。半分面白い小さなジョークを作り、それは彼らがリリースしたモデルではありません。あなたにお世辞を言おうとするより多くのトークンを投げ出すエンゲージメント用に最適化されたものがあります。
ですから、それについて心配しています。 より粘着性があり、エンゲージメント用に最適化することがソーシャルメディアをそのようにリスクの高い場所にしたという初期の証拠があります。そのような結果を本当に心配しており、それは避けられないと思います。ですから、それで何をするかが本当に大きな問題になります。
ビジネスリーダーからよく聞かれることの一つは、これを展開したことが生産性を向上させたことを示す一つのことをどのように測定すべきかということです。 何を測定すべきだと思いますか？
これは私が最も強く感じている意見の一つですが、初期のR&D段階では、多くのKPIを持つことが最悪のことです。 エンゲージメントを最大化することについて話しました。何かを最大化すると、最大化したものを得て、おそらく他のものは得られません。
これらのシステムが何をするかわかりません。 これにR&D資金を費やしています。それらが見えるのでパフォーマンス向上を得ることはわかっています。しかし、パフォーマンス用に最適化している場合、それは毎日どれだけのワード文書が作成されるかということでしょうか？人々がレポートをどれだけ速く返すかということでしょうか？それが欲しいものでしょうか？
問題の一部は、組織が必要なKPI用に構築されていないことです。 人々は、できるだけ多くの単語を生成することが価値があったと言います。良いレポートや4つのPowerPointプレゼンテーションを書いたり、6社をカバーできる場合、今人々に25社をカバーしてもらい、週に300のPowerPointを作成してもらいたいですか？何を最大化しているのでしょうか？人々が書いているコード行数でしょうか？
バックログをどれだけ速くクリアするかが重要なケースを想像できますが、それが人々にしてもらいたいことでしょうか？ ですから、測定可能なKPIについて本当に心配しており、特に常にコスト削減に落ち着き、常に30%のコスト削減で、常に人を解雇しようということになり、あなたが行っているすべてを台無しにします。
ですから、人々は本当にR&D思考を採用する必要があると思います。 生産性向上はかなり明確で、かなり迅速に起こり、コーディングに投げ込むのは問題ありません。コーディングには明確な生産性向上があるからです。しかし、文書作成の生産性向上を求める人々について本当に心配しています。何を最適化しているのでしょうか？リスクの高いことをしているように感じます。
コメント