ほな、今からお見せするんは、可視化のためのコードを書く例やねんけど。わいはな、時々トランスフォーマーについての授業を教えとんねん。これは、ChatGPTみたいなモデルの背後にある技術やねんな。ChatGPTに文を与えたら、単語間の関係を理解せなあかんわけや。つまり、単語の連続やから、それをモデル化せなあかんのや。トランスフォーマーは、セルフアテンションっちゅうもんを使ってそれをモデル化しとんねん。
わいはな、ずっと思とったんや。セルフアテンションのメカニズムを可視化できて、しかもインタラクティブな要素があったら、めっちゃええやろうなって。ただ、わいにはそんなスキルがあれへんかってん。せやから、新しいo1プレビューモデルに助けてもらおうと思たんや。
ほんで、このコマンドを入力してみてん。モデルがどないするか見てみよか。以前のGPT-4みたいなモデルとは違うて、このモデルは答えを出す前に考えよんねん。考えとる間に、わいがどんな要件を出したんか見せたろか。
いくつかの要件を考えてもらうために出したんやけど、まず最初は「the quick brown fox」っちゅう例文を使うことや。次に、トークンの上にカーソルを置いたら、注意スコアに比例した太さのエッジを可視化することや。つまり、二つの単語がより関連しとったら、エッジを太くするってことやな。
既存のモデルのよくある失敗パターンの一つは、たくさんの指示を与えたときに、人間と同じように、その中の一つを見落としてしまうことやねん。でも、このモデルは、ゆっくりと注意深く考えられるから、各要件を深く検討できるんや。そのおかげで、指示を見落とす可能性が減るんやな。
ほんじゃ、このコードをターミナルにコピペしてみるわ。2024年版のVimエディタを使うで。HTMLファイルに貼り付けて保存したろ。ブラウザで開いてみると…ほら、カーソルを合わせたら矢印が表示されるやろ。「quick」と「brown」とかな。カーソルを外したら消えるし。ちゃんと要求通りに表示されとるわ。
クリックしたら、注意スコアも表示されるし。ちょっとレンダリングで重なっとる部分あるけど、それ以外はわいが作れるもんよりずっとええわ。
このモデル、めっちゃうまくやってくれたと思うわ。これ、わいの新しい授業のためのいろんな可視化ツールを作るのに、すごく役立ちそうやな。
コメント