リアルタイム音声文字起こしおよび翻訳アプリの開発プロセスを解説する。GPTのリアルタイムAPIを活用し、iPhoneのシミュレーター上で高速かつ正確に動作するプロトタイプを構築している。さらに、Cursorエディタと独自の「wave engineering」スキルを組み合わせ、複数のAIエージェントにタスクを並行処理させる手法を実演する。アプリのUIやユーザー体験について、高齢者向けの文字拡大機能や、子供向けのゲーム風スキンといった改善案を検討し、Mac版アプリを用いた多言語間のリアルタイム翻訳機能も披露する。AI開発イベントの告知を交えつつ、AIツールを駆使した効率的なソフトウェア開発の可能性を提示している。
リアルタイム文字起こしアプリの開発
やあ、とにかく誰がFableなんて必要としているんでしょうね。皆さんはどうかわかりませんが、私はこれからライブでビルドしていきますよ。そして今日本当に楽しいのは、このリアルタイム文字起こしアプリの作業をただ続けていくことです。これはリアルタイムで文字起こしをするだけでなく、新しいGPT Realtime 2フレームワークを使っているんです。そして、私のiPhoneでも実際に動くので本当に素晴らしいんですよ。ということで、これは実際にシミュレーターで動かしています。見ての通り、非常に速くてパフォーマンスがとても高いです。基本的には私のローカルのOpenAIキーを使っているだけです。なので、ここでこれを保存する場合、右にスワイプして保存するか、左にスワイプして破棄することができます。そして右にスワイプして保存すると何がクールかというと、ここに戻ってきて、先ほどまで作業していたこのリアルタイム文字起こしアプリの過去のセッションを選択できるんです。そうすればすべてがそこに保存されています。違う単語をタップするだけで、そのセッションの行きたい場所へスキップして移動することもできます。さらにテキストをコピーしたい場合は簡単にコピーできるのもいいですね。これは本当にとても役に立つはずです。もう一つ本当にクールなのは、これがスペイン語や他の言語にもリアルタイムで翻訳されることです。たとえば、今私はスペイン語で話しているか英語で話しているとしますが、それがスペイン語に翻訳されて、向こう側の端末でおそらく聞こえることになります。ただ、今はシミュレーターからやっているので実際には再生されません。なので、間違いなくローカルで動いているMacアプリでこれをお見せしますね、そうすればその音声を聞くことができるでしょう。ということで、これも保存しておきましょう。ちょっと楽しいインタラクションのパターンですよね。いじっていて楽しい時間でした。
Cursorとマルチタスクツールの活用
ここで私がやっていたのは、基本的にCursorを使ってビルドすることなんですが、Cursorを使ってiOSアプリを作るのは本当にものすごく簡単でした。正直なところ、思っていたよりもずっと簡単です。それに、ここでビルドするのはかなり速いです。今ビルドするのにお気に入りの機能の一つが、スラッシュマルチタスクツールです。これは実際に複数のセッションを同時に実行できるんです。そしてもう一つ私がやっているのが、私の無料コミュニティで公開しているスキルです。ちょっとこれを開いてみましょう。Safariです。何が開くか全くわかりませんが。よし、行きましょう。それでは、ここにSafariがあります。このPostgresのやつは終了しておきますね。よし、ここに https rfr.mme/skills というURLがあります。ここに行けば、私のコピーアンドペーストが機能してコンピューター全体がクラッシュしないことを祈ります。よし、最高ですね。ゲームに戻りました。さて、ここのすぐ下に、wave engineeringと呼ばれるものがあります。そして私はこれを、複数のチャットを送信したりフォローアップしたり、追加の検証を行ったりする必要がある問題に取り組みたいときにいつでも使っています。というのも、Opusモデルを使っていると、彼らはとても優秀なんですが、しばしばタスクが完了したと主張することがあるからです。そこで私がこのスキルファイルでやっているのは、基本的にOpusが主張するすべてのことを単なる主張として扱うことです。そして、それが完了した主張だ、これも完了した主張だ、と理解して確認するためにメインのエージェントにそれを持ち上げることができます。それが本当かどうかを検証するために、別のエージェントを並行して送り込みましょう。そして、いくつかの基準に基づいて、私からプロンプトを出さなくても、完了すべき作業を終えるために前進し続けることができるんです。あるいは、エージェントの方から、これは実際に完了しています、と言ってきます。それが、私のスキルでやっていることの大きな違いです。
AIエージェントを制御するwave engineeringスキル
そしてこれは本当に素晴らしいんです。なぜなら、特に長期的な計画の場合、私はそこにいる必要がありませんし、自分が直接関与している必要もないからです。それは本当にとてもクールなことです。そしてそれはエージェントを軌道に乗せたままにしてくれます。大量のトークンを消費するのも防いでくれるので、本当に素晴らしいと思います。そこにはたくさんのものがあります。Ray Fernando.aiというブログをチェックしてもらえれば、詳細もたくさん書いてあります。最近、かなりたくさんのことを投稿しています。今はなんだか伝説的な勢いで走っている感じです。ということで、B. Lewis 4×4さんに大きな感謝を送ります。
AI Engineerイベントに向けた告知
やあやあやあ、ところでサンフランシスコで開催されるAI Engineerイベントに行く人はいますか。私は明日そこに行きます。もしチケットをまだ持っていなかったら、AI.engineerに行ってみてください。そこでチケットを予約できます。それは基本的に、サンフランシスコのAIの中心地、エピセンターで開催される、おそらく世界最大のAIカンファレンスです。そこには6000人以上のエンジニアが集まると思います。ということで、これはAIの世界万博です。29のトラックがあります。300人のスピーカーがいます。スピーカーの数が多すぎてクレイジーですよ。ええ。6000人以上のエンジニアやVPなど、いろんなことが起きています。当然、これらのすべての異なる都市で起きています。そして、すべての異なるトークを見ることができます。スケジュールをチェックしてみてください。このスケジュールは異常ですよ。めちゃくちゃ積み重なっていて、ぎっしり詰まっています。ということで、これが全体像です。講演する人たち全員を見ることができますが、ほぼ著名人ばかりで、OpenAI、Google DeepMind、Nvidia、ローカルAI関連など全員が揃っています。そういった人たちもいます。私はそういった人たちに話を聞きに行くつもりです。皆さんのお気に入りの人たち、例えばAnthropicやMicrosoftの人たちもいますし、本当に楽しいものになるでしょう。私は月曜日の明日にIRL配信をやります。これは特別版の配信になります。私は実際にスマートフォンを直接持って、歩き回りながら人々に話しかけ、ライブでインタビューする予定です。なので、皆さんも参加して会場全体の熱気を見ることができます。Moscone Centerで開催されていて、複数のフロアがあります。これは前回より3倍くらい大きいんじゃないかと思いますし、かなり巨大です。こんなものは今まで見たことがありません。なので、本当に本当にクレイジーなことになるでしょう。見るのが本当に楽しみです。もしそこにいる人がいたら、ぜひ配信に立ち寄って挨拶してください。とてもクールだと思いますよ。ああ、あなたはカナダのトロントにいるんですね、参考までに。行きましょう。ええ、いくつかクールなものが見られるはずですよ。これは講演者のリストです。これは参加者のリストではありませんよ。これほど豪華なイベントは見たことがないと思います。ええ、これはワイルドですね。そしてこれらは、そこに参加する人たちの役割です。企業規模別に見ると、たくさんのスタートアップがありますね。多くのスタートアップが参加する予定です。なので、すべてが混ざり合っていて、ええ、これはおそらく私が歴史上見た中で最もクレイジーなイベントの一つになるでしょう。ということで、当然日曜日に人々はバッジを受け取り、明日は登録作業やいくつかのワークショップがたくさんあります。私は展示ホールをうろうろして、人々と話をするつもりです。火曜日が本番です。そして水曜日にはローカルAIの大きな日もあります。ExoLabsの人たちが何かを発表したばかりですね。それもかなり熱いものになりそうです。なので、もしチケットを手に入れる機会がまだなかったら、ぜひAI.engineerをチェックしてみてください。それが最新情報です。来年も絶対に行きますよ。私が世界ナンバーワンで桁違いに最高のプロンプトエンジニアであるからにはね。やあ。やあ。つまり、行きましょう。行きましょう。ええ。プロンプトを見せてくれ。プロンプトを見せてくれ。ええ。よし、もし機会がなかったら、ぜひスキルファイルをチェックしてみてください。ちょっとした文脈としてそれをお伝えしようと思ったので、皆さんもそういったことを知ってもらえればと思います。バージニアは車だと少し遠いですね。ええ、少し遠いです。私たちはカリフォルニアにいますが、まあ大丈夫です。
アプリのUIとユーザー体験の改善案
さて、見てみましょう。私は文字起こしアプリの作業をしています。そして今私が気づいたのは、ここにこの小さな引き出しを追加したんですが、これは以前は外に出てくる小さなものでした。これは、スワイプして削除したり、違うことをしたりできるようにするためのもので、何が起きているのかを見ることができるようにしました。これが最近の6つの項目を表示してくれて、この小さなものがここにあるんですが、なんだかいろんな異なるパラダイムが動いている感じです。時々ユーザーにとっても少し混乱を招くことがあります。そしてこれはなんだか、必要ではない単なる追加の設定みたいなものなんですが、私はこれを少しシンプルにしたかったんです。年配の方々からいくつかフィードバックをもらって、私は気づかなかったんですが、補聴器をつけているような場合、多くの場合彼らはただこれをテーブルの上に置いておいて、テキストが流れていくのを読みたいだけなんです。なので、私がやらなければならないことの一つは、おそらくテキストのサイズを大きくするか、大きく変更できるようにすることでしょう。ピンチしてズームインしたり、ピンチしてズームアウトしたり、そういったことができるようにするかもしれません。なので、それも機能として追加するかもしれません。そういった機能をどうやって作ったかをお見せしますね。私はあと10分か15分くらいしかチャットにいられません。4時くらいに友達が到着するまでの間ですが。なので、少しソフトウェアを構築していきましょう。今のところ、計画の整理を少しやっていました。Cursorを使って私はこれらの計画を立てて、それがすべて実装されたかどうかを尋ねるんです。するとCursorは、ええ、3つすべてを削除して次に進んでください、私はすでに計画を終えていますから、みたいなことを言ってきます。なので、そうしようと思います。これらを削除します。おっと。私は進行中のものを忘れてしまうので、計画を整理するのが好きなんです。同時に進行していることが多すぎて忘れてしまうので。ということで、これらの変更をステージングします。よし。コミットします。
ライブディクテーションのUIとUXの再設計はすでにやったと思います。まだこのフィーチャーブランチで作業をしています。そして最後にやろうと思っているのは、この機能の周辺です。新しいAppleのテキスト読み上げや音声認識モデルを使おうと思っています。なので、OpenAIのプロトタイプでこれが動くようになったら、そちらに移行するつもりです。なぜOpenAIのプロトタイプを使っているかというと、GPT Realtime 2を使うと信じられないほど速くて、これを見せた人全員がそのスピードや精度の高さにとても感銘を受けているからです。そして次のステップとしてローカル部分を追加する予定です。
今は、自分の個人アカウントでアプリを完全にApp Storeにリリースしたことはないんです。なぜなら、私が前の会社で働いていたときは、それが許されていなかったからです。従業員として当然のことですが、事前から持っていたもの以外はダメでしたし、私は持っていませんでした。なので、今になって人々が話していたようなすべての苦労を通して、その冒険を経験できるようになりましたし、すでにその苦労と苦痛が見えていて、なんだかクレイジーな感じです。なので、最初の段階ではただ単に削ぎ落として、動くプロトタイプを作ろうとしているだけだと思います。自分のキーを持ってきて入力できるようにしたいんです。私のおばあちゃんやおじいちゃんが使うためのものではまだありません。ただ、テストとイテレーションを始められるようなものを作りたいだけなんです。そしてUXについてフィードバックを得て、そこからサーバーを介する必要があるプロキシ関連の作業をやります。オンボーディングのUIも作りますし、支払い方法に関する作業もやって、iCloudかConvex経由で同期できるようにするかもしれません。Convexを使おうと考えています。なぜなら、あれは本当に信頼できると思うからです。Webダッシュボードや他のものにも接続しようと考えていました。ええ、まあ様子を見てみましょう。ただいくつか整理して、動くようにするだけだと思います。クールなのは、これが実際にMacでもスマートフォンでも動くことです。そしてMacアプリは今は少し動作が不安定です。今Macでこれをお見せしますね。ここにあるMacを見てください。これを実行します。Ray Fernando Bio Sterlingさん、見てますよ。見てますよ。最近無料のスクールコミュニティに参加してくれましたよね。これを実行するにはOpenAIのAPIを使う必要があります。今のところはただのプロトタイプで、後で拡張する予定です。そして私が持っている2番目のリビジョンでは、もっと設定可能になる予定ですが、今はただユーザー体験を確かなものにしようとしています。なぜなら、リアルに感じさせるためだけにたくさんのカスタムシェーダーやいろいろなものを作ってきたからです。スマートフォンでマイクをタップすると触覚フィードバックがあって、それがとても楽しいんです。そして停止するとまた別の触覚フィードバックがあって、そういうのが皆さんが求めている小さな工夫なんです。今はスマートフォンで録音ボタンを押すと少し光って、それが外側に広がっていくんですが、スマートフォンで起きているアニメーションも少しここからお見せしましょう。例えば、ここにあるこれを長押しして、ちょっとこっちに戻りますね。今、このメニューを掴むと、一つのカードとして浮いているような感じになっていて、それを下にスワイプできます。
こんな感じになるのがわかりますか。すべてが一緒にグループ化されている感じです。とてもクールな効果です。こういう小さなディテールが楽しいんですよね。ほら、少し光っています。なので、これがオンになってOpenAIか何かに接続したときです。そして今実際にライブになっていて停止すると、この外側に少しだけ光が出ます。見るのは本当に難しいですが。そして停止を押すと、これが上にスライドします。そしてこれらの小さなカードが楽しいんです。Tinderのスワイプジェスチャーみたいなものをやりたかったんです。そうすればディクテーション全体を見ることができます。どこかにディクテーションをコピーしたいという要望もありました。そしてこのUI全体はおそらく結局なくなると思います。というのも、私はこれを一晩限りの一時的な保存機能のようなものとして扱っているからです。そしてこのUIの一部も、このプロトタイプはただこれらが機能するかどうかを確認するためのものですが、私が進もうとしている方向性は、なんていうか、もっとカートゥーン化されたものになると思います。
遊び心のある子供向けスキンの検討
つまり、手描きのようないくつかの雰囲気を持たせるつもりです。なので、これのスクリーンショットを撮って、私が考えていることをお見せしますね。そしてこれが動いている間にSafariを開いて、背景がまるでマイナーバードが実際に住んでいる木や何かがあるエリアにいるかのように感じられるようにします。そしてマイクの代わりに、実際のアプリのアイコンか鳥そのものにしたいと考えています。そしてその鳥が動いたりいろんなことをしたりできるようにします。なので、それをSpriteKitでやれたらいいなと思っています。そうすれば本当に楽しいものになります。そして文字通りのガラスのボタンなどを使う代わりに、手描きのコミック風の雰囲気を持たせたり、あるいは非常にアニメチックで楽しくて遊び心のある感じにしたりするかもしれません。ここでのテーマ全体は、深刻さを減らして、もっと遊び心を持たせることです。この初期のプロトタイプで動くようになり、本当によく機能しています。どんな感じで出てくるかわかるように、テキストを使った別の例をお見せします。そして、おそらくそこのフォントも変更して、手書き風のフォントか、あるいはとても読みやすいものにしたいと思うでしょうね。正直なところ、私はまだこのテキストでも構わないと思っています。
ということで、これが私のメガプロンプトでした。そして、なぜGPTを使っているかというと、正直私は絵を描くのが下手だからです。おそらくもっと例を挙げることはできると思いますが、ここからいくつかアイデアを出したいんです。あっと、そうだ、いくつか文字起こしをやらなきゃいけませんね。ということで私がやるのは、これがどんなにスムーズに動くか確認するためにこれを起動することです。これがこんなに素晴らしい動きをするなんて信じられません。よし、準備はいいですね。よし。よし。では、これをここのミックスに追加して、それから
そうですね。よし。じゃあ、これをChatGPTに送ってみて、どうなるか見てみましょう。わかりません。ここで何が起こるか本当にわかりませんが、ここからどうやって方向性を示せるか見てみましょう。それで、Miniaxはこれを実行できるでしょうか、もしそうなら無料になりますか。今のところ私は主にプロトタイピングの部分に焦点を当てていて、Claude Opusを使っていますが、実はComposer 2.5を使っていて、GLM 5.2も実験しています。今のところGLM 5.2がSwiftコードを書くやり方は好きではありません。おそらくコンテキストウィンドウのせいかもしれませんし、現在はCursorの中で実験しています。というのも、Droidを使っていたときはまあまあという感じだったからです。なので、モデルのせいなのか、環境のせいなのか、あるいは私のプロンプトのせいなのかはわかりません。様々な要因があります。正直なところ、これも私が陥らないようにしている罠のようなものです。モデルをいじることはしますが、あるワークフローが機能するとわかっているなら、そのデバッグにあまり時間をかけたくないんです。これが私のジレンマなんです。ローカルAIを深く追求するべきか。CUDAカーネルを書くべきか。自分がやりたいことを何でもやるべきか。わかりません。いたるところにいろんなものがあって、自分自身の人生についてどうするか考えようとしているのに、とても葛藤しています。でも今はこれが一番楽しいように思えます。これがやりたいんです。
ということで、これは本当に面白いですね。ゲームみたいになっちゃいました。正直、このUIは本当に嫌いです。アイドル状態、ディクテーション状態。理解はできます。というのも、子供を相手にしているなら、これはとてもうまく機能すると思うからです。わかりません。わかりません。わかりません。ちょっと迷っています。ちょっと
これはビデオゲームであるかのように感じさせてくれるので可愛いですが、少し文字通りすぎます。なので、おそらくそんな風に説明してみます。これは本当に可愛いです。少し可愛すぎるかもしれません。そして少し文字通りすぎるかもしれません。でもこのアイデアは好きです。特に背景が大好きです。キャラクターも大好きです。それが話したり動いたりしているのが大好きです。アニメーションも楽しいです。
でも、単語やテキストの部分はあまり好きではありません。わかりません。私が考えているのは、Flappy BirdやiPhoneのゲームのようなものがどうやって機能しているかということです。SpriteKitを使ったiPhoneのゲームの中には本当にとてもクールに見えるものがありますが、それらにはそういう単語やアイコン絵文字と単語の組み合わせみたいなものはあまりありません。言っている意味わかりますか。なので、そういうのを減らしてください。よし。全くわかりません。スキンのアイデアはいいですね。ええ。スキンのアイデアは、本当にこれを推し進めるものになると思います。ええ。子供向けにこのスキンを提供するだけでいいんです。その通りです。ええ。それが私の考えです。子供向けのスキンバージョンを作るのは最高に熱いと思います。というのも、お年寄り向けのバージョンもあって、それは今日私が話したことです。今日一緒にランチを食べた人が95歳だったんですが、彼らの目を見るべきでしたよ。彼らはただ、なんてこった、あなたがこれを作ったの、という感じでした。私は、実のところ私が寝ている間にCursorがやったんですよ、と言いました。私は今朝起きただけです。ビルドを受け取っただけです。つまり、ええ、私がそれをプロンプトで生み出したとは言えますが。でも彼らが見て楽しんでいたのは、自分がリアルタイムで話しているときのテキストでした。私は、それは面白いな、と思いました。人々がまだ知らないことがたくさんあるんです。彼らがこれを役に立つと思ったのは、彼らがいつも巻き戻したいわけではないからで、もう一つの理由として、認知症や記憶の問題を抱えている人たちは会話をスクロールして戻りたいのにそれができないからです。なので、これはある種それを可能にしてくれます。なぜならすべてがライブで文字起こしされているからです。今私たちがライブで話している間も、この会話全体が拾われています。なので、もしあなたが友達と会話したり何か別のことをしていたりしても、この連続したものがずっと続いていくのを見ることができます。そうすれば、友達との会話からすべてがどこにあるかを把握しておくことができます。もし、ちょっと前に何を言ったっけ、と考えたくなったら、会話をただスクロールして戻ればいいんです。今はスクロールできないんですけどね。なのでこれがおそらく問題です。でもこれを停止すれば、これを読むこともできますし、スクロールして戻ることもできます。なので、おそらく何もしなくてもスクロールして戻れるようにするかもしれません。そしてもし音声を聞き返したければ、それもできます。でも私がやりたいのは、スクロールして戻れるようにして、彼らがもう一度内容を把握したり、彼女は何と言ったっけ、彼女の名前は何だったっけ、みたいなことを確認できるようにすることだと思います。彼らが今必要としているのはそういうことなんです。彼らはクレイジーな記憶力を持つ本格的なインタラクティブアプリを本当に必要としているわけではありません。彼らはただ、今何と言ったか、とか、あの家の名前は何だったか、とかそういったことを知りたいだけなんです。なので、少なくともこれはそれを拾ってくれます。とても役に立つと思います。そして本当に面白いのは、このアプリを世に出して人々が使うのを見るまでは、ああ、これがそのターゲット層に役立つかもしれない、というようなヒントに気づかなかったことです。まだ子供たちが使うのも見ていませんからね。子供たちが何をして、何をいじって、何を面白いと思うかを見るのは興味深いでしょう。本当に楽しいものになると思います。特に、単語を学んでどう綴るかを見ようとしている小さな子供たちにとっては。彼らが、これはどう発音するの、と言えば、それを見ることができます。何度も見れば、正しい綴りかどうかがわかるようになるので、脳にどう綴るかが組み込まれていくでしょう。子供の視点から見ても、本当に面白いものになると思います。ということで、ええ、文字起こしでここまでできるというのは本当に面白いですね。なので、ええ、わかりません。本当に面白くなるでしょう。今日は土曜日だと思っていました。ええ。いや、今日は日曜日ですよ。
あなたのアプリはなぜそんなに速くてシームレスなんですか。使っているハードウェアと何か関係がありますか。いやいや。これはシミュレーターですよ。何でも動きます。これは本当に古いコンピューターでも動きます。インターネット接続が必要なだけです。それだけです。そして最終的には、同じくらい速いローカルモデルのものを作ります。でもまずはUXを完璧にしたいんです。それがここでの目標全体です。
ええ、これはめちゃくちゃ速いです。翻訳でさえも狂ったように速いです。リアルタイムです。すべてリアルタイムです。
さて、見てみましょう。これは子供にとってはちょっとクールですね。これは子供にはかなり熱いと思います。こんな感じです。ダークモードが好きです。面白いのはこれが前回のものだからです。ライトモード、ダークモード。明るいところから暗いところへ変わっただけです。でもこれは赤があってちょっと可愛いです。これらは同じですが、少しだけゴツゴツしています。バックライトは好きですが、コンセプトは同じです。
そしてこれはクールです。ええ。
ふむ。これをどう感じるかわかりませんが、なんとなくこれで行ける気もします。これはいじれるかもしれません。これにはポテンシャルがあると思いますし、これで何かできると思います。よし。わかりません。様子を見てみましょう。様子を見てみましょう。様子を見てみましょう。
ええと、よし。
Mac版アプリでのリアルタイム多言語翻訳デモ
よし。ということで、見てみましょう。カートゥーンのアイデアが出ましたね。それを最小化して、後でそれに追いつくことにします。ということで、すでに動いていると思うMac版を見てみましょう。どこに行ったかわからないので再起動します。よし、ここに行きましたね。これが私たちのMac版です。スマートフォン版と同じではないので当然改善しなければなりません。マイクとかそういったものを直さなければなりません。でもこれが文字起こしで、Macではこんな風に動きます。そしてこれも非常に速くて、実は非常に正確です。とても正確なので、あーとかえーとは拾わないんじゃないでしょうか。
拾いますね。わあ、これはクールだ。これにも同じものがあります。スワイプの機能はここにはないと思いますが、それはなくすつもりです。ここにスペイン語のものがあります。もしベトナム語で聞きたい場合は。こんにちは、私は英語を話しています。
では、マイクの音量を下げて、皆さんにはベトナム語だけが聞こえるようにします。
英語ですが、皆さんにはベトナム語が聞こえています。おそらくかなり片言でしょうけど。
これはとても楽しいですね。私が何を話していると思いますか。
これはクレイジーですよ。本当にクレイジーだと思います、私たちが基本的に双方向にできるということが。なので、彼らがベトナム語を話して、それを私が英語で聞き返すことができるんです。もし私があなたにスペイン語を話したら、あなたはそれを英語で聞き返すことができます。見ててください。スペイン語を話します。
私はスペイン語を話していて、皆さんはそれを英語で聞いています。
こんにちは。お元気ですか。私は元気です。
私は英語も話しています。それに、私はセリアック病なので小麦粉を使ったものは食べられません。
私がそれをスペイン語で言っていたなんて信じられますか。私がそれをスペイン語で言っていたなんて信じられますか。ええ。これはクレイジーです。これでどんな言語でも話せますよ。トルコ語はできますか。ええ、トルコ語をやってみましょう。トルコ語がわかる人はいますか。トルコ語をやります。見てみましょう。私はトルコ語の話し方すら知りません。ドイツ語、ヒンディー語、インドネシア語があります。いや、トルコ語はそこにはありません。これは聞き返すための言語だけです。トルコ語を話すことはできます。話せる言語は70種類あって、それらをここの他の言語にリアルタイムで翻訳することができます。ということで、ええ、素晴らしいですね。
それは彼女と翻訳するための新しいGeminiですか。彼女はベトナム人なんです。テストする予定です。Geminiの翻訳のやつは私はやっていません。そこまでではありません。私はOpenAIのもののパフォーマンスが最高で、すべての中で最も包括的だと感じています。本当に本当に素晴らしいです。ええ。それが私がOpenAIのものを作った理由のようなものです。
見てみましょう。よし、これを完了にしましょう。ほら。ええ、これらが異なる会話です。
これは教育者、図書館員、青少年ソーシャルワーカーのためのツールとしてとても役立つでしょう。また、これがChromebookで動けば、英語学習者にとって巨大な学習機会になるでしょう。その通りです。なので、ええ、これは今はAPI経由で利用できるだけで、ローカル版も計画しています。ローカル版は可能な限りリアルタイムにはならないかもしれませんが、最終的にはそこに行き着くでしょう。まずはUIとUXが機能するかどうかを確認するために、プロトタイプから始めていると思います。そしてそれが、スマートフォンとMacアプリから始めた理由であり、最終的には他のアプリやWebアプリにも展開して、PCやChromebookやその他のあらゆるもので使えるようにする予定です。なぜなら、この体験を一度完成させてしまえば、残りの部分は単なる実装の詳細に過ぎないからです。そしてその実装の詳細は重要ですが、私にとってはSwiftでプロトタイプを作る方が簡単ですし、実際にこれらのモデルは本当に優れたSwiftコードを書くので最高なんです。トルコ語が必要ですね。ええ、トルコ語の入力はありますが、ネイティブで聞き返すためのトルコ語はまだありません。なので、どうしたんですか。
AIエージェントへのタスク委譲と今後の展望
よし、クール。じゃあ、ちょっとwavesのところに戻りましょう。友達が到着したら出かけないといけないので。どうなるか見てみましょう。何が変わったか見てみましょう。ということで、何が起きているかはなんとなくわかりましたね。何が起きていたかというと、保存と破棄の体験を変更したいんです。なぜなら続けたいからです。保存する方法が多すぎるんです。下にスワイプするとか。ということで、ええと
今は、ちょっと待って。録音されていると思います。
今は、保存する方法が多すぎます。そして私が基本的にやりたいのは、自動的に保存されるようにすることです。Pagesドキュメントを開いたときのような感じです。
そこで起こるのは、好きなだけ入力できて、新規を押すと新しいドキュメントが作成され、前のものは保存されるということです。今、人々が実際にこのアプリをライブで使っているとき、多くの場合、彼らはただ会話を追っていて、テキストがスクロールしているときに、ユーザーがテキストに触れたら会話をスクロールして戻れるようにしたいんです。なので、新しいテキストが入ってくると一番下に行かされてしまうという別の問題があるんですが、私はそれを自由に流れるように維持して、ただずっと流れていくようにし、ユーザーが望むなら下の方で追いつけるようにしたいんです。もう一つ修正できるか見てみたかったのは、テキストのピンチ操作でのズームです。リアルタイムで会話を追えるようにテキストをもっと大きく見たいというユーザーもいます。なので、その領域をピンチして大きくしたり小さくしたりできるようにしたいんです。そしてできる限りの方法で段階的に増やしていきます。これを進めて、必ず徹底的にやってください。そしてここで情報をすべて捉えて検証し作業できるように、予備的な計画を作成する必要があるかもしれません。
これをやったら、slash wavesをやります。完全に捉えきれないかもしれないことをたくさん言ったからです。なのでこれはwaveには完璧なタイミングです。マルチタスクモードをオンにしています。出かけないといけないので高速モードはオフに変更します。友達が到着したので。このために2倍のトークン料金を払う必要はありませんから。でもこれを送信します。ということで今Wavesがやってくれるのは、ここでのリファクタリングを少しやっていたので、この現在の会話で私が修正する必要があると説明した機能を受け取ることです。そして、複数のエージェントを起動して展開し、問題を見て、次に何をすべきかコードを理解するためにエージェントを送り込みます。なので、ここで皆さんに次のチャットを引き継ぐ前に、これがどう進むか見ていきましょう。ええと、待って、皆さんは友達がいるんですか。ええ、皆さんが私の友達ですよ。どうしたんですか。トルコ語が必要です。よし。
エージェントにプロトコルを実行させるためのアイデアはありますか。何のプロトコルですか。ワークフローでGLM 5.2を使っていますか。使っていますが、実は今はSwiftコードには使っていません。後でCursorの環境内で特にテストする予定です。Droidでやったときは、その機能にあまり感銘を受けなかったからです。脆弱性のスクリーニングやバグの発見にはかなり優れていると思います。ええ、もっと実験する必要がありますが、今友達がここに来ていて私を待っているんです。なので、今やっているのはOpus 4.8のMax Thinkingを使っていて、これが最高のモデルだと感じています。なぜなら複雑なワークフローを本当に正しく理解するためにたくさんの思考ができ、特にwavesを使ったマルチタスクに優れているからです。そして、私のブログで説明している私のwaveスキルが、ここで本当にすべてをまとめようとし始めます。何が起きているか見えるように少し大きくできるかやってみますね。ということで、Cursorの環境がやったのは、異なるTo-Doを特定し、どのタスクにどのワーカーを送り出す必要があるかを特定したことです。そうすることでタスクから逸れないようにします。なので、保存とライブ文字起こしの部分で大規模な再設計が行われていて、それがwavesで呼び出されます。そして、何が起きているかを調べるために発見作業を行い、2つの読み取り専用の調査ワーカーを並行して送り出します。なので、モデルレイヤーと、ビューおよびインタラクションレイヤーがあり、さらに情報を集約して引き継ぎを検証し、承認のための予備的な計画を統合します。ということで、今から起こるのは、基本的に発見作業を行うことです。直列にそれを行い、それから作業を行うためにいくつかのワーカーを展開し、そして戻ってきて結果を集約しようとします。そしてその集約を行うときに、よし、計画を立てるために必要なものはすべて揃っているか、詳細な計画を書き始めよう、ということを判断する必要があり、そこからは基本的に完了するまでずっと進み続けます。なので、基本的にはループを作っているんですが、それをwaveの方式で囲い込んでいるんです。ループは一方向にずっと進み続けます。非常に広くなることもあれば、非常に短くなることもありますが、私はたくさんのものを並行して設定したので、仕事を進めるために物を展開するのは一つのテクニックですが、特に計画の中でそれらを囲い込むためです。私が今まで見つけた中で最高なのは、単にこのマルチタスクモードです。そしてこれがおそらく最も良い方法です。ということで、発見作業が下へスクロールする力からの形状を確認しました。ここでの検索で、これらの問題のいくつかを見つけさえしました。なのでこれからやることは、実際のモデルをこれらの2つのサブエージェントに分割することです。ここに見えるように、Composer 2.5 fastを叩いています。そして、それらのサブエージェントのために書いたプロンプトを見ることができます。私がそれをやる必要はありませんでした。私のwaveスキルがすでにそれをやってくれます。そして何を返すべきかを指示します。これが返す主張です。ステータスは部分的な成功ブロックで、より小さなスコープを与えます。そしてこのスコープはより小さなコンテキストウィンドウにすぎません。なのでエージェントにバイアスはありません。オーケストレーターだけが何が起きているかを知っているんです。そして2つ目は文字起こしのスクロールとズームを調査します。なので基本的に、新しいチャットを作って50個の異なるターミナルウィンドウを開く代わりに、ただ1つのチャットを追っていき、すべての機能をただ1つのチャットで出荷していくんです。そして素晴らしいのは、メインのチャットでコンテキストウィンドウ全体を使い切る必要さえないことです。それは本当に良いことです。なぜならコンテキストウィンドウを大きく使えば使うほど、毒を混入させる可能性が高くなるからです。なのでこのようにして、他では得られないようなFableみたいな動作をこれらのモデルから引き出すことができたんです。これはなんだかクレイジーですね。多くの人は実際、ああなんてことだ、Fableモデルがなくなってしまった、と文句を言うでしょう。でもこのwaveスキルを使えば、Opus 4.8やGPT 5.5という既存のモデルの中でFableみたいな動作を得られるんです。私がこれらの主張をでっち上げていると思うかもしれませんが、現在私の無料スクールコミュニティやDiscordにはこのスキルを使っている人たちがいて、彼らは他のモデルでは解決できなかった4週間以上の問題を抱えていましたが、このスキルを使って解決することができました。なので、このスキルがどこにあるのかを探しているなら、
https rfr.mme/skills
に行ってください。そしてここに、waveスキルがあります。この中にwavesが見えるでしょう。これが私の言っていることです。超強力ですよ。何にでも使いたいわけではないでしょうけど、間違いなく、より多くのものを展開するので当然より多くのトークンを使いますが、それが実際にそのテクニックを適用できる場所であり、そうすればはるかに多くの仕事が完了し、それがずっと続いていくんです。ということで、でもKnackは試しましたか。いやいやいやいや。私はただフロンティアモデルをリバースエンジニアリングして彼らが何をしているかを解明し、それを他の皆さんに無料でスキルとして提供するのが好きなだけです。私はFableへのアクセス権を持っていませんし、文句も言っていません。なぜなら私はすでにこのスキルでフロンティアの知識を持っているからです。正直なところ、私にとっては非常に効率的なバージョンのFableのように感じられます。規制とかそういった他のすべてのナンセンスについて心配する必要もありません。これを見てください。これを見てください。これを見てください。さあ。さあ。このディテールを見てください。よし、調査を行いましたね。計画を開始しました。
そして計画を引き継いでいます。他のすべてのことをやっています。ただ料理しているんです。この時点でもう勝手に進んでいます。私はもう触る必要さえありません。私は友達と遊びに行って、外の空気を吸って、夕食を食べに行きます。それで終わりです。配信の終わりです。もうこれ以上配信する必要があるでしょうか。私はただカリフォルニアの太陽を楽しみに行きます。そして明日は、AI Engineerイベントからライブ配信します。なので明日はサンフランシスコで、おそらく朝のどこかでライブをします。そしてバッジを受け取るたくさんの人たちと会う予定です。Twitterやオンラインで見たことのある人たちをたくさん見かけると思いますし、私は実際の生活の中で彼らにライブでインタビューします。なので、お楽しみに。スキルをチェックして、無料コミュニティをチェックしてください。たくさんのソースを無料で提供しています。これらの質問に答えたら、ここを出て夕食を楽しんできます。皆さんも同じようにできるといいですね。良い日曜日を。短い34分の配信でした。私が使っているモデルはOpus 4.8の100万トークンウィンドウです。Max Thinkingです。Max Thinkingが最大の知能を引き出します。その大きなコンテキストウィンドウを得て、そこからそれらのwaveを展開するんです。GPTでこれを使うときは、GPT 5.5の高設定のCodexを使います。私にはCodexスキルがあって、そのCodexがサブエージェントを起動し、私が様々なレベルを設定していて、それはすべてスキルファイルに書かれています。なので、Codex版のスキルをインストールすれば、Codex用にそれらが定義されていて、超絶効率的になります。なのでCursorのものを活用できます。これはClaude Codeでも動きます。今もClaude Code用に調整中ですが、今のところ最高のチューニングはCursorで行われています。そして今のところ2番目に良いのはCodexで行われています。これらのモデルを使って間違いなく料理できますよ。そして誰もこれについて話していません。正直なところ、私はこれをできるだけ自分だけの秘密にしておきたいくらいです。ということで、皆さん。またね。またね。
またね。変なことはしないでください。楽しい日曜日を過ごしてください。また明日会いましょう。
コメント