OpenAIが2024年10月のDevDayで発表した二つの革新的機能について解説する動画である。一つ目はChatGPT内で直接アプリを呼び出して操作できる機能で、SpotifyやCanva、Figmaなどを統合し、チャット画面から離れることなく様々なタスクを実行できる。二つ目はAgent Kitという新しいAIエージェント構築ツールで、視覚的なノードベースのワークフローでエージェントを作成できる。これらの機能はZapierやMind Studio、NADNといった既存の自動化ツールに対して大きな脅威となる可能性がある。特にMCPプロトコルを活用することで、無限に拡張可能なエコシステムを構築できる点が注目される。実演を交えながら、これらの新機能の使い方と将来的な可能性について詳しく紹介している。
OpenAIの破壊的な新発表
さて、OpenAIがまたやってくれました。彼らの最新リリースが多くのビジネスを混乱させています。ChatGPTは、アプリから離れる必要がまったくなくなる新機能を展開しました。そしてOpenAIはAgent Kitもリリースしました。これは誰でも簡単にエージェントを構築できるツールで、これらすべてを全員が利用できるようにしました。
というわけで、この動画ではすべてを詳しく解説していきます。使い方をお伝えし、これらすべてが何を意味するのか私の考えをお話しします。では、早速見ていきましょう。
10月6日月曜日、この動画を録画している日はOpenAIのDevDayでした。先週新しいSora 2を手に入れたばかりだったので、今週OpenAIは一体何を発表するのだろうと誰もが疑問に思っていました。
DevDayで発表された内容
さて、発表された内容の簡単な要約はこうです。主に開発者向けの機能で、GPT-4o Pro、Realtime Mini、そして新しいSora 2などが発表され、すべてAPI内で利用可能になりました。Codexにはいくつかの改善とSlack統合が追加されました。プラットフォームとエンタープライズコントロールに小さな改良が加えられ、開発者の生活を楽にするその他いくつかの機能も追加されました。
しかし、私が本当に感銘を受けた2つのこと、そして今多くの人々が話題にしていることは、ChatGPT内でアプリを直接呼び出して使用できる機能と、Agent Kitと呼ばれる新しいAIエージェントビルダーです。では、この2つに焦点を当てましょう。
ChatGPT内でのアプリ統合機能
まず、ChatGPT内でのアプリから始めます。ChatGPT内でアプリを使用する新しい機能は本当にシンプルです。アプリを呼び出すだけです。
例えば、Spotifyのプレイリストを作成したいとします。ChatGPT内で何かを入力できます。@記号を使ってSpotifyと入力します。すると自動的にSpotifyが見つかり、使用するツールとして追加されたのがわかります。では、「Spotifyを使ってBlink-182に似た音楽のプレイリストを作成して」と入力してみましょう。
これを送信すると、アプリに接続中と表示されます。そして実際にSpotifyに接続するよう求められます。「続ける」をクリックして、利用規約に同意します。もう一度同意します。これでSpotifyが接続されました。これはすでにSpotifyにログインしていることを前提としています。ログインしていない場合は、おそらくログインする必要があるでしょう。
数秒後、「Blink-182のようなロック・ソング」というプレイリストができました。Blink-182の曲で始まり、他の似たバンドに続きます。「Spotifyで開く」をクリックすると、Blink-182の曲に似た曲がすべて入った、私のために作成されたこのプレイリストに直接ジャンプできます。実際にBlink-182からの曲もいくつか含まれています。
OpenAIのウェブサイトでこれらの新機能を紹介しているプレスリリースを見てみると、最初からデフォルトで組み込まれているツールが確認できます。Booking.comがあるので、実際にChatGPTから直接ホテルの部屋を予約できます。Canvaがあり、ChatGPT内で直接画像を生成できます。Coursera、Expedia、Figma、先ほどデモしたSpotify、そしてZillowがあります。
そしてこちらが近日公開予定のアプリで、基本的にChatGPT内から直接チャットしたり対話したりできるようになります。AllTrails、DoorDash、Khan Academy、Instacart、Peloton、OpenTable、Target、The Fork、TripAdvisor、Thumbtack、Uber、そしてさらに多くのアプリが近日公開予定です。実際、ChatGPTにはSDK、つまりソフトウェア開発キットがあり、ChatGPT内で動作するアプリの開発を支援するように設計されています。
これは私にとって、数年前に発表されたプラグインのはるかに優れた、より強力で統合されたバージョンのように思えます。プラグインは結局普及しませんでしたが、それはこれらのプラグインに追加の接続をする必要があり、面倒だったからだと思います。今は使いたいツールに話しかけるだけで、そのツールにアクセスしようとします。
Figmaでの実演
実際にこれらのツールを使用する障壁がはるかに低くなりました。Figmaで何か生成してもらいましょう。「Figmaで年間10億ドルを生み出す架空のAI企業の組織図を作成して」と言ってみます。何をするか見てみましょう。Figmaを@で指定さえしませんでした。そして基本的には組織図がどのようになるかを説明しただけです。
しかし、下部にここに小さなプロンプトがあることに注目してください。「回答にFigmaを使用」と書いてあります。Figmaを@で指定しなかったので、Figmaでは実行されませんでしたが、Figmaを使うことを提案してくれました。これをクリックすると、Figmaがツールとして追加されましたが、同時にFigmaの使用も開始しました。今、Figmaアカウントへの接続を求められています。続けます。
承認します。Figmaが接続されました。数秒後、Figmaで組織図が生成され、ChatGPTから離れることなくフルスクリーン表示できます。スクロールしたり、ズームインしたりできます。CEOのAlex Chen、CPO、CFO、CTOなどが見えます。組織図を構築してくれましたが、私がしたことはプロンプトを入力しただけです。素晴らしいですね。
今、Figmaでこれを開くこともできますし、このようにFigmaアカウントに保存されています。あるいは、ChatGPT内で直接変更を加えることもできます。「組織図にもう1層従業員を追加して」と言ってみます。少し考えます。今、FigJamダイアグラムを生成しています。見てわかるように、下に別の層の従業員が追加されました。
チャットで指示する以外、何もしていません。
Canvaでの実演
では、Canvaを呼び出してみましょう。「Canvaを使って」と言います。さて、Canvaが添付されました。プロンプトを使います。「Canvaを使って、Norcというロックバンドのためのフライヤーを作成して。ハロウィンの日にサンディエゴのNorth Park Observatoryで午後8時にコンサートがある。フライヤーにはギターを弾いている人と不気味なハロウィンの要素を含めて」と。
どんなフライヤーを作ってくれるか見てみましょう。そして約1分後、4つの異なるフライヤーができました。見てみましょう。これを見てください。ギターを弾いている人がいて、ハロウィンの要素があります。これが作成されたバリエーション2です。
Norcコンサート、ハロウィンナイトロックショー、North Park Observatoryで。これが別のものです。そしてこれがもう一つです。
これは本当に魅力的です。なぜなら、ChatGPTがチームメンバーのように感じられるからです。何かをやってもらうために仕事を渡せる相手のような感じです。
Figmaで何かをする必要があったり、Canvaで何かをする必要がある場合、基本的にチームメンバーのように扱って、「ねえ、これをサッと作って」と言えます。そうすればやってくれます。作ったものに修正が必要な場合は、チームメンバーに「ねえ、今度はこれを変更して」と言うだけで、やってくれます。そして、ますます多くのツールがChatGPTに展開される予定です。これを見ているあなたのような人々が構築できるアプリも含まれます。
彼らは将来的に何らかのマネタイゼーションを展開する予定だとも言及していました。あなたのアプリが統合されて多く使用されれば、おそらくその使用に対して報酬を得られるでしょう。これはカスタムGPTストアで当初計画していたことの一つでしたが、結局うまくいきませんでした。
しかし繰り返しますが、これはよりネイティブで、チャット内で直接行われているため、使用される可能性がはるかに高いです。特にChatGPTがあなたにツールを推奨する場合はなおさらです。フライヤーを作ってと伝えて、「Canvaでこのフライヤーを作りませんか?」と言われ、「はい、Canvaで作って」と答えれば、これらのアプリを起動してChatGPT内で使用するのがはるかに簡単になります。
開発者コミュニティへの期待
開発者コミュニティがこれのために何を構築するか見るのが本当に楽しみです。なぜなら、彼らは本当に、本当にクレイジーな統合アプリをChatGPTに直接構築して、あなたのためにあらゆる種類のクールなワークフローを実行するからです。
自分でこれを使いたい場合、私が知る限りでは、全員に展開されています。OpenAI自身のプレスリリースによると、「本日ChatGPTで利用可能な最初のアプリセットを立ち上げるために、少数の初期パートナーと協力しました」と書かれています。この機能を使用できる、または使用できない国や特定のプランに関する制限は見当たりません。
Invideoの広告実演
広告代理店全体の創造性とVO3とNano Bananaの力を組み合わせたAIビデオエージェントがあるとしたらどうでしょう?そして、スターバックスが2024年に世界中で広告に約6億ドルを費やしたとしたらどうでしょう?
では、この2つの考えを組み合わせてみましょう。この1つのAIツールだけを使って、100ドル以下でスターバックスレベルの広告を再現できるか試してみたいと思います。
この実験では、Nvidiaの新しいAI動画生成プラットフォームを使用しています。これは、大ブランドのような巨額の予算はないけれどプロフェッショナルな見た目の広告が欲しいマーケター向けに特別に設計されています。
プロンプトはこうです。「ストラト・フラペチーノの25秒のスターバックス広告を作成して」。ビジュアルのガイドに役立つように、参考画像もInvideoに直接アップロードしました。スクリプトとアセットが追加されたら、プロフェッショナルな見た目にするためにウルトラクオリティを選択し、動画を生成をクリックしました。
また戻ってきたぜ、みんな。調子はどうだった?暑くなってきたな。
ワンショットにしては非常に印象的です。編集コマンドボックスに入力します。「再生速度を1.2倍にして」。そして数分以内に、その変更を適用した広告が再生成されました。これがAIだけで100ドル以下、部屋から出ずに作成した完成したスターバックス広告です。
また戻ってきたぜ、みんな。調子はどうだった?暑くなってきたな。やあ、いいね…
正直なところ、今スターバックスが飲みたくなってきました。なので、巨額の予算なしで高品質の広告を作ることを考えているなら、Nvidiaの生成プランをチェックすることを絶対にお勧めします。ウルトラクオリティオプションが他のAI動画生成ツールとの違いを本当に際立たせています。
下の説明欄のリンクからチェックしてみてください。
Agent Kitの紹介
しかし先ほど言ったように、これはDevDayから本当にクールだと思った2つの発表のうちの1つに過ぎません。もう1つはAgent Kitの導入でした。そしてこれは本当に多くの企業にとって破壊的だと感じるものです。
これはNADN、Mind Studio、Lindy、Make.com、Zapierなどが行っていることと似ているように思えます。これらのツールの多くは、このような視覚的なワークフロービルダーを持っており、ツールを接続して異なるAIエージェントなどを呼び出すことができます。そして、このAgent Kitがまさにそれを行います。
複数エージェントワークフローを作成および構想するための視覚的キャンバスです。そしてChatkitと呼ばれるものがあり、これによって自分のアプリやウェブサイト内に埋め込むこともできます。
Agent Kit内でエージェントを構築し、自分のアプリやウェブサイトなどに接続して、他の人々にそれらのエージェントを実行させることができます。かなり驚きです。そしてこのような視覚的なワークフロービルダーであることがわかります。NADNやMind Studioのようなツールを使ったことがあれば、非常に似たような種類のワークフローを認識するでしょう。
またMCP、つまりModel Context Protocolも活用しています。基本的に、インターネット上の他のアプリが独自のMCPサーバーを作成して、そのアプリを本質的にこのエージェントワークフロービルダーに結びつけることができるようにしています。
既存ツールとの比較
今はZapierやMake、NAD、Mind Studioなどのツールがあり、多数のプラットフォームと統合していますよね?OpenAIのモデルだけに限定されているわけではありません。基本的にAPIを持つあらゆるものに接続できます。
このAgent Kitも時間が経つにつれて非常に似たものになるでしょう。ますます多くの企業が自社製品のためにMCPを開発していくため、このAgent Kitのようなツールにそれらを結びつけることができるようになりますが、おそらく常にOpenAIのモデルを使用することに限定されるでしょう。
なので、これらのワークフローを本当に構築して、OpenAIのモデル以外の他のモデルを使用したい場合は、それらの他のプラットフォームがおそらくまだ少し優れています。
Agent Kitを使用したい場合、実はこれはChatGPTには入っていません。開発者プレイグラウンド内にあります。platform.openai.com/agentbuilderにアクセスすると、遊べる新しいエージェントビルダーが表示されます。
すぐに使えるテンプレートがいくつかあります。データエンリッチメント、ユーザーの質問に答えるためにデータをまとめる、計画ヘルパー、カスタマーサービスボット、構造化データQ&A、ドキュメント比較、内部ナレッジアシスタント、またはゼロから作成することもできます。
オンラインで見たことがあるであろう他のすべてのエージェントビルダーと同じように、非常に似たノードベースのワークフローがあることがわかります。
Agent Kitの破壊的影響
私だけでなく、あなたもそう思うかもしれませんが、これは多くのツールにとってかなり破壊的に感じられます。主な例外は、これがOpenAIのモデルのみを活用しているということです。他のツールでは、基本的に好きなモデルを選んで使用できます。
スタートノードをクリックすると、入力変数があることがわかります。今これをプレビューすると、おそらく…ええ、ここで入力変数を与える場所です。次にエージェントをクリックすると、唯一の指示が「あなたは役に立つアシスタントです」であることがわかります。
GPT-4oを使用していますが、利用可能なOpenAIモデルのいずれかを選択できます。どれだけ推論させたいかを選択できます。さまざまなツールへのアクセスを与えることができます。どれだけ詳細に説明させるかを変更できます。
そして繰り返しますが、今これをプレビューすると、他に何もない状態でChatGPTと同じように動作するでしょう。「今日の調子はどうですか?」と。実際には何も返してきませんでした。さっきエラーが出ました。なので、もう少し構築する必要があるかもしれません。
ワークフロービルダーの機能
今のところ、チャットベースのワークフローを作るために設計されているように感じます。バックグラウンドで多くのことを自動化するようにはまだ見えません。今のところ開始のトリガーが十分にありません。入力変数や、バックグラウンドで変数を供給することが、入力トリガーのために今できることの文字通り唯一の2つです。
ここにファイル検索を追加できます。ノードを接続すると、実際にファイルをクエリします。なので、PDFやDocファイルなどのドキュメントをアップロードすれば、実際に出力するチャット内でそのドキュメントから回答をクエリできます。
ガードレールを追加できます。ボットで人々に何をさせたいか、何をさせたくないかを伝えます。個人を特定できる情報を共有しないようにすることができます。そしてその設定を変更できます。クレジットカード番号やIPアドレス、人の名前などを表示しないようにするなど。チャットに到達する前にそれを調整させることができます。
潜在的な幻覚を検出させることができます。脱獄を検出させることができます。チャットに到達する前のあらゆる種類のガードレールです。
さまざまなMCPサーバーに接続できます。ここから無限にスケーラブルになり始めます。MCPサーバーを持つあらゆる製品を接続できるはずです。今のところ、これらすべての組み込みのもの、HubSpot、Shopify、Gmail、Google Calendarなどがあります。
しかし、「サーバーを追加」をクリックすると、MCPサーバーの詳細を追加できます。これは接続しようとしている企業によって提供されるもので、想像できるほぼすべてのツールにこれを接続できます。
if-else文を追加できます。誰かが入力を与えたとき、例えば質問をした場合、「ユーザーが質問をする」と設定し、ケース名を単に「質問」と呼びましょう。
そうすると、実際に分岐させて1つのエージェントに行かせ、このエージェントに何か非常に具体的なことをさせることができます。質問でない場合、むしろ発言である場合、異なるエージェント応答を作成して、このエージェントに分岐させることができます。
なので、ボットに質問をした場合、質問に答えさせることができます。これは非常に非常に基本的な例です。質問でない場合は、単に返信して「質問にのみ答えます。質問をしてください」とユーザーに伝えます。
Agent Kitの将来性
繰り返しますが、このAgent Kitは非常に初期段階です。これらのノードが大きく構築されるのを見ることになるでしょうし、ChatGPTのようなツールに接続できるように、多くのツールがMCPを追加するのを見ることになるでしょう。そして、これらの素晴らしいワークフローを構築できる完全なエコシステムが構築されるのを見ることになります。
今のところ、Mind StudioやNADNなどのツールにはまだ追いついていません。繰り返しますが、それらははるかに多くのものと統合しており、使用したいAIモデルを選択できます。しかし、これは本当に、本当に、本当にそれに近づいています。
そしてこれが構築されていくにつれて、わかりません、それらの企業の一部は、ChatGPTが潜在的に彼らの機能を自分たちの製品に組み込むことができる中で、どのように目立つかを考え出さなければならないでしょう。
DevDayでの実演例
しかし、DevDayで彼らが示したいくつかの例があります。それで何ができるかのアイデアを得られます。彼らはDevDayに参加していた全員のためのアジェンダを説明するウェブサイトを持っていました。そして、彼らが持っていたその小さなアジェンダアプリ内で誰でも使用できるチャットボットをステージ上でリアルタイムに構築しました。
DevDayのセッションについてのすべての詳細、誰が何をいつどこで話すかをこのエージェントにアップロードしました。そして、誰かが何を見に行くべきかについて質問すると、エージェントはその情報をクエリして、DevDayで何を見に行くべきかを提案します。
かなりシンプルで、ライブで動作すると彼らが知っていたであろう、かなり安全な例だったと思います。
しかし見てわかるように、質問を入力すると、いくつかのガードレールを通過します。彼らが通過させたガードレールは、誰かが求めた場合に個人を特定できる情報を共有したくないというものだったと思います。そしてそれが合格不合格でした。
その後、質問のタイプに基づいて分類され、if-else文を通過します。セッション情報について尋ねている場合は1つのエージェントに行き、それ以外の場合は別のエージェントに行きます。
本当に、本当にシンプルなエージェントで、Devdayアプリを開いてセッションについて尋ねると、共有すべきでない情報を共有しないようにし、その後さまざまなセッションやイベントについての情報を提供します。
非常に、非常にシンプルなワークフローです。
旅行エージェントの例
彼らがYouTubeチャンネルで共有した別の例は、彼らが作った旅行エージェントでした。フライト情報について尋ねられた場合、フライトの詳細を共有するフライトエージェントに行きました。フライト情報以外の何かであれば、旅程エージェントに行きました。
そして楽しみのために、彼女はどこに旅行するかに基づいて背景を色付けさせました。サンフランシスコから東京への旅行を示すのに黄色が理想的な色だと決定しました。
かなりシンプルなワークフローですが、今のところ。しかし、より大きな意味は、これらのワークフローが向かっている場所です。ますます多くの企業がこれらに接続できるMCPサーバーを構築すれば、誰かがプロンプトを与えて、それをこのツールに送り、別のツールに送り、また別のツールに送り、そしてSlackで誰かにメッセージを送り、チームメンバーに通知し、メールを送る、そんな素晴らしい自動化を構築できるようになります。
今NADNでやるかもしれないこれらすべてのクレイジーな自動化を、ChatGPT内で直接構築することになります。そして予想するに、これは予測ですが、予想するに、かなり早い段階で自然言語でこれらを構築できるようにするでしょう。
「Xを行うエージェントを構築して」と言えば、与えたテキストプロンプトに基づいてノードベースのワークフローを構築してくれます。
まとめ
本当に、本当にクールなものです。OpenAIからの本当に楽しいものです。これがどのように進化するか見るのが楽しみです。繰り返しますが、Instagramで私をフォローしていない場合は、ぜひフォローしてください。Instagramでフォローするだけで、iPhone 17をプレゼントしています。
コンペティション・ギブアウェイを行っているので、ぜひそちらへ。Instagramへのリンクは説明欄にあります。今日のスポンサーであるInvideoに本当に感謝します。本当に、本当に感謝しています。
このような動画が好きなら、この動画に「いいね」をして、このチャンネルを購読してください。うまくいけば次の動画でお会いしましょう。
今日は私と一緒にオタク話をしてくれて本当にありがとうございました。このような動画が好きなら、必ず高評価を押して、このチャンネルを購読してください。YouTubeのフィードにこのような動画がもっと表示されるようにします。まだの方は、futuretools.ioをチェックしてください。そこでは最もクールなAIツールと最新のAIニュースをすべて共有しています。
そして素晴らしい無料ニュースレターもあります。改めてありがとうございました。本当に感謝しています。次回お会いしましょう。
コメント