この動画では、ChatGPTエージェントとManus AIという2つのAIエージェントを、実際の業務で使用される複数のタスクで比較検証している。AB テスト結果の画像生成、ウェブサイトデザインに基づくアイコン作成、PowerPoint プレゼンテーション作成、クラシックロックアルバムカバーの動画アニメーション化という4つの実践的なタスクを通じて、どちらのエージェントがより優秀な自動化能力を持つかを検証した結果を報告している。
ChatGPTエージェントとManus AIの実践的タスク比較検証
この動画では、ChatGPTエージェントとManus AIを、実際に現実世界で使われるような異なるタスクで比較してくで。これらのタスクはすべて何らかの自動化が必要で、インターネットブラウジング、bash、そして何らかのツール使用が関わってくるねん。要は、これらのエージェントが人間の代わりに実際の作業をやってくれると頼りにできるかどうかっちゅうことや。まずは結果を見せて、コメント欄でどっちの結果が気に入ったか投票してもらいたいと思ってる。
この動画の目的は、こういう自動化タスクをするならどっちのエージェントを選ぶべきかを示すことやねん。まずはABテストの結果を見てみよか。
ABテスト結果の画像生成タスク
これがプロンプトや。「以下の指示に基づいて画像を生成せよ。ABテスト結果を比較するサイドバイサイドの棒グラフ。バリアントAのコンバージョン率は3.2%。バリアントBのコンバージョン率は4.6%。バーには値がラベル付けされ、バリアントBは緑色でハイライトされてチェックマークが付いている。ライトシャドウとパステルカラーを使った、きれいなUXダッシュボードスタイルを使用。『ABテスト結果 コンバージョン向上』というタイトルを含める」っちゅうプロンプトを与えたんや。
そしたらGPTエージェントは1分かけて、この結果「ABテスト結果 コンバージョン更新」を出してきたんや。
比較として、これがManus AIの出力や。個人的にはこの出力の方が気に入ってるねん。まず第一に、これはめっちゃきれいや。小数点が3,2%って選択されとるのが見えるやろ。ヨーロッパではこういう表記をするのは分かるけど、どこにもこれがヨーロッパのデータやって言ってへんで。もちろん俺はインドからプロンプトしとるんやけどな。
ChatGPTエージェントが3.2の代わりに3,2を使う理由が全然分からんわ。それが第一点や。第二に、Manusはちょっと明るいトーンを使うことに決めたのが見えるけど、こっちでは明るいトーンが見えへん。これが勝利結果やということすら見た目で分からんねん。もうアホらしいわ。
全部がめっちゃきれいに見えるねん。インフォグラフィックの専門家がManusで作ったみたいに見えるわ。ChatGPTの方は、まあ大丈夫や。使えるけど、Manusが作ったレベルの一流には見えへんねん。
ウェブサイトデザインに基づくアイコン作成
次のタスクは、これが俺らの会社のウェブサイトtechrench.comや。そのデザインスタイルとビジュアル言語に基づいて、PowerPointプレゼンテーションで使えるアイコンセットを作ってくれっちゅうことやねん。アイコンは豊かで魅力的で、サイトと一貫したデザイン言語を保つべきやと。
要は、このエージェントがウェブサイトに行って、カラーテーマを理解して、ブランドの雰囲気とでも言うか、そういうのを理解して戻ってきて、それに基づいてアイコンをデザインしてくれることを期待してるんや。
この場合、ChatGPTエージェントは3分かけて、これらのアイコンをデザインすることに決めたんや。ここにあるアイコンが見えるやろ。アイコン1、アイコン2、アイコン3、アイコン4。アイコン4まではまあええねん。でもアイコン5はちょっとめちゃくちゃになってるわ。
Manusが何をしたかの比較を見せたるわ。これがManusが作ったもので、zipファイルとして俺にくれたんや。zipファイルにもちゃんと構造があるねん。ここを見てみ、ドキュメンテーション、PNGファイルフォルダ、SVGフォルダをくれたんや。
またしても、俺はManus AIの肩を持つで。バラエティに富んだものをくれて、しかもほとんどのものをめちゃくちゃにしてへんからな。この特定のタスクにChatGPTを使うのは完全には納得できへんわ。
PowerPointプレゼンテーション作成
次のタスクは最もリクエストの多い項目の一つや。いろんな人に相談して、ChatGPTエージェントに何をしてもらいたいかを聞いたら、みんな口を揃えて言ったのがPPTを作ってもらいたいっちゅうことやった。
「あなたはテック企業の上級社員で、チームメンバーに生産性のためのAIエージェントについてのスキルトレーニングセッションを行う任務を負っている。文字通り数週間前に俺がやったことやねん。以下の側面をカバーする、明確で理解しやすく、非常に実践的なプレゼンテーションを作成してください。トレーニングトピックと目標、核となる概念の説明、ケーススタディの実践的デモンストレーション、よくある問題と解決策」
ChatGPTは動作して、最初は俺の返答を探してた。俺は返答せえへんかった。それでChatGPTエージェント自体がプロセスを継続したんや。これは結構気に入ったで。時々プロンプトを出して席を離れることがあるからな。一つ一つの質問に答えるためにコンピュータの前に座り続けたくないねん。だから自分で主導権を取って、物事を始めてくれたのが良かったわ。
19分間作業したんや。俺の経験では、別のタスクでやった失敗動画として後日公開予定のRKJを除けば、ChatGPTエージェントがこんなに時間をかけたタスクはこれが初めてやと思う。
19分後にこれを出してきたんや。正直に言うと、このプレゼンテーションは大好きやで。写真があって、明らかに「生産性のためのエージェント 自律ツールでチームに力を与える」、トレーニング目標。核となる概念がある。「AIエージェントとは何か？」、AIエージェントアーキテクチャ。それからユースケースと利点がある。
このプレゼンテーションで最も感動したのは、インターネットに行って重要な洞察を集めて、それをチャートにして、プレゼンテーションに戻して追加したことやねん。めっちゃ感動したわ。普通なら会社のアナリストがこのタスクをやるもんやけど、ChatGPTエージェントがやってくれたのに感動したで。
実践的デモンストレーション、エージェントをステップバイステップで配備。フレームワークとは何か？主要なタスクと問題点を特定。ステークホルダーとの関わり。KPIを定義して、最後によくある問題と解決策をくれるねん。
ここのレイアウトがちょっと醜いのが見えるな。それから要約と次のステップ。これがまさにChatGPTエージェントがくれたもので、正直感動したで。これまでに与えたすべてのタスクの中で、このタスクではChatGPTエージェントがすぐに俺を感動させてくれたんや。明らかに19分後やったけどな。でもManus AIを見るまで待ってくれや。
Manus AIを見ると、これがManusがくれたものや。一つ言えるのは、ChatGPTエージェントの方がウェブサイトというよりもPPTに見えたっちゅうことや。これはほとんどTailwindテーマのウェブサイトに見える。ShadcnUIベースのウェブサイトが見えるやろ。グラデーション背景があって、タイトルがある。ほとんどウェブサイトに見えるねん。
正直これは気に入ってるわ。この見た目が好き。デザインが好き。提供してくれた洞察が好き。このプレゼンテーションのすべてが好きや。唯一の不満は、これがランディングページのように見えて、PowerPointプレゼンテーションのようには見えへんことやねん。
純粋にPowerPointプレゼンテーションの観点から言うと、ChatGPTエージェントに軍配を上げなあかん。これは文字通りPowerPointプレゼンテーションに見えるからな。Fortune 500企業の誰かが作ったように見える。退屈に見えるけど、それがまさに人々がPowerPointプレゼンテーションを作る方法やねん。
これはかっこいい。これは面白い。でも人々はPowerPointプレゼンテーションをこんな風に作らへんねん。Manus AIがやったことは大好きやけど、すまんManus、今回は君に軍配を上げられへんわ。
クラシックロックアルバムカバーのアニメーション動画化
このリストの最後のタスクは、Manus AIとChatGPTにクラシックロックのアルバムカバーをアニメーション化して動画にしてもらうことや。まずChatGPTが何をしたかを見せて、それからManus AIが何をしたかを見れるで。
シンプルなプロンプトや。「クラシックアルバムカバーをアニメーション化して動画にせよ」。5分間作業したんや。異なるウェブサイトに行って画像を集めようとする。著作権画像に違反しないことを確認したり、フェアユース、つまり軽い使用のために使ってることを確認したりするねん。
ChatGPTについて気に入ったのは、どんな種類のものを取得するかについて注意深くしようとしてることや。だからChatGPTエージェントで動画を作ってYouTubeで公開しても、著作権侵害を受けることはないねん。著作権を侵害すべきでないという考えを持ってることが絶対に好きや。
法的問題もあるけど、ユーザーの観点から言えば、ChatGPTの動画を直接ダウンロードして使い始めることができるっちゅうことや。それが絶対に気に入ったで。
もう一つやったことは、「緩やかなズーム、フェードイン、フェードアウトをするようにする」と言ったことや。画像間の滑らかな流れ、スムーズな遷移がある。気に入ったで。
12秒のクリップを再生するから、フル動画が見れるで。こんな感じや。見ての通り、音声はないねん。音声があるのに俺が再生してないわけやないで。これらのタスクはすべてゼロショットで与えてるねん。プロンプトして結果を得るだけや。フォローアップもできたけど、ゼロショットがどんな感じかの雰囲気を伝えたかったんや。
これが動画や。悪くないやろ？ズーム効果もあるし、これらすべてがある。今度は戻って、Manus AIが作ったものを見せるで。
Manusも同じことをやったんや。まずそれについて研究して、アルバムを集めて、画像をダウンロードして、整理して、すべてをやったんや。でも出力を再生してみたいねん。
ChatGPTとは違って、Manusは55秒の動画クリップをくれて、これらの各項目に何らかの音響効果を追加することを確実にしたんや。
純粋に動画出力の観点から言うと、Manus AIがはるかに、はるかに良い仕事をしたと感じるで。
総合評価と結論
これらの会社は同じツールを持ってるねん。bashがあって、インターネットがあって、ブラウザがあって、他にもいろんなツールがある。テストしたすべてのタスクの中で、PowerPointだけが唯一ChatGPTエージェントをManus AIより好ましく思ったタスクで、他のすべてではManusがはるかに先を行ってると感じたで。
ChatGPTエージェントよりも優れてるねん。これは反復の問題かもしれん。ChatGPTエージェントが2日前、数日前にローンチされたばかりで、Manusはしばらく前からあったっちゅう議論もできるやろう。
すべての誇大宣伝とともにOpenAIのような会社から何かを得ると、それが最高品質の製品であることを期待するもんやけど、ChatGPTエージェントはまだそこにないと思うで。
ChatGPTの失敗例と、ChatGPTエージェントができる興味深いことについて、もう一つ動画が予定されてるねん。チャンネルを登録してそれを見てくれや。コメント欄でこれについてどう思うか教えてくれ。また別の動画で会おう。ハッピープロンプティング！
コメント