5,497 文字
ほな、ちょっと聞いてや。今週、AIの大きなニュースがあってん。マイクロソフトがどんどんAIに賭けてるんや。最近、独自のAIモデルを発表したんやけど、これがもう別格やねん。それだけやないで、アメリカで最悪の原子力事故を起こした発電所を再稼働させようとしてんねん。AIの電力需要を満たすためやて。
心配せんでええで。ヘッドラインはすごいけど、実際はそんなに悪くないんや。YouTubeのアルゴリズムに「これええやん」って教えたかったら、親指立てて評価してな。ほな、始めるで。
まず第一に、マイクロソフトがAIに大きく賭けてるんや。もうずっと前からそうやけど、今もどんどん力入れてる。AIの開発には電気がめっちゃ要るんや。モデルの学習にも、推論にも、とにかく電力が必要やねん。
原子力エネルギーは電力をたくさん作れるんや。原子力燃料はめちゃくちゃエネルギー密度が高いねん。石炭1トンと同じエネルギーを、油120ガロンで作れるんやけど、ウラン1ペレットでも同じだけ作れるんや。ウランのペレットって1インチくらいの小さなもんやで。
XKCDっていう漫画が、これをわかりやすく説明してるんや。ガソリンとか脂肪とか石炭とか砂糖とか、いろんなものの1キロあたりのエネルギー量を比べてる。そしたらウランが飛び抜けて高いんや。
でも、原子力エネルギーの問題は、たまに事故が起きて大変なことになることやねん。原子炉の数が増えてきて、福島の事故があった。多分みんな覚えてるやろ。その前はチェルノブイリ。ちなみに、暇やったらHBOのチェルノブイリのドラマ見てみ。めっちゃ面白いで。
福島とチェルノブイリの前に、アメリカでスリーマイル島の事故があったんや。コンステレーション・エナジーっていう会社が、スリーマイル島の1号炉を再稼働させようとしてる。大事なのは、事故を起こしたのは2号炉やってことや。2号炉は廃炉になって、環境に放射性ガスを出したんや。1号炉は2019年まで問題なく動いてたんや。
だから、ヘッドラインを見て「えっ、あの大事故があった原子炉を再稼働させるの？」って思わんといてな。そうやないねん。コンステレーション・エナジーっていう会社が、スリーマイル島の原子力発電所を再稼働させて、その電力をマイクロソフトに売るんや。マイクロソフトはAIのデータセンターを動かすのに大量の電力が必要やからな。
コンステレーション・エナジーは2028年、つまり4年後くらいに再稼働させる予定や。マイクロソフトはこの電力を20年間買う契約をしてる。データセンターが使う電力を、カーボンフリーの電力で賄うためや。コンステレーション・エナジーのCEOは「これは原子力発電が清潔で信頼できるエネルギー源として再生する最も強力なシンボルや」って言うてる。AIが原子力発電を復活させるきっかけになってるみたいやな。
マイクロソフトは最近、グリンモーっていう新しいモデルも発表したんや。このグラフを見てみ。縦軸は性能やけど、グリンモーは他のどのモデルよりも上にあるんや。横軸は有効なパラメータ数、つまりモデルの大きさみたいなもんや。パラメータが多いほど、モデルは大きくて遅くて高くつくんや。小さいモデルは速くて安いし、スマホや車のコンピューターでも動かせるメリットがあるんや。
グリンモーは一番小さいわけやないけど、かなり小さい方やのに、一番性能がええんや。どうやってこんなことができたんか？それは「グラデーション情報を使った専門家の混合」っていう方法を使ってるからや。
専門家の混合っていうのは、一つの大きなモデルやなくて、いくつかの専門家モデルの集まりみたいなもんや。質問をされたら、適切な専門家モデルに振り分けて、その専門家が答えを返すんや。マイクロソフトは、この方法で効率よくモデルを大きくできるって言うてる。
このモデルは16人の専門家で、38億のパラメータがあるんや。66億の有効なパラメータがあるこのモデルは、70億のパラメータを持つ普通のモデルより性能がええし、同じデータで学習した140億のモデルと同じくらいの性能があるんや。つまり、半分のサイズで同じ性能を出せるってことやな。
いろんなタスクでこの方法を試してみたら、専門家の混合をもっと効果的にできる可能性があるって分かったんや。グラフを見てみ。普通は、モデルが大きくなるほど性能がよくなるんやけど、グリンモーは小さいのに一番ええ性能を出してるんや。
これが重要な理由は、メモリや計算能力が限られてる環境、例えばスマホや車の中でも使えるからや。速い応答が必要な場面でも使えるし、特にコードや数学、論理的な推論が得意やねん。
今、AIがどんどんコーディングが上手になってるから、これからのソフトウェア開発がどう変わるんか、いろんな人が議論してるんや。完全にソフトウェアエンジニアを置き換えるって考える人もおるし、そうやないって言う人もおる。でも、多くの専門家は、完全に置き換わるわけやないけど、AIが単純作業をやってくれて、エンジニアはもっと高度な仕事に集中できるようになるって考えてるんや。
コメント欄でおもろい議論があってん。「ソフトウェアエンジニアの終わりやない、むしろソフトウェアエンジニアの台頭とプログラマーの終わりやろ」って。ほんまに、これからコーディングとかソフトウェアエンジニアリングとか、そういう仕事がどう変わっていくんか、めっちゃ興味深いよな。
企業はコーディングができるAIツールの開発にすごい興味持ってるんや。ソフトウェア開発者にめっちゃ金使ってるから、AIツールでその費用を減らせたら、すごく魅力的やねん。費用削減だけやなくて、効率アップにもなるし。AIツールを使って、普通のエンジニアをスーパーエンジニアに変えられるか、エンジニアの半分くらいを減らせるか、どっちにしてもすごいことやで。そのAIツールを持ってる会社は大儲けできるんや。
AIツールのコーディング能力を測るベンチマークがあるんやけど、その一つが「ヒューマンエバル」っていうんや。AIツールが一発で正解を出せるかどうかを測るんや。2021年9月以前は、一番ええツールでも32.2%の正解率やった。1年後にはCode DaVinciが65.8%、修正したGPT-4が85%になって、今では99.39%まで上がってるんや。クラウド3.5ソネットは92%、GPT-4は90.2%やな。
グリンモーっていうのは、この中で一番小さいモデルなんやけど、ヒューマンエバルで74.4%の正解率を出してるんや。2022年9月の時点で、一番ええモデルが1750億パラメータで65%やったのに比べると、グリンモーは70億未満のパラメータで74%も出してるんや。めっちゃすごいやろ？
AGIエバルっていうのもあって、これは人間の能力とトップのAIモデルを比べるベンチマークなんや。GPT-4は、SATとかLSAT、数学の競技会とかで、平均的な人間の成績を超えてるんやて。でも、トップの人間にはまだ及ばんのやけどな。
グリンモーは、このAGIエバルで48.2%を取ったんや。GPT-4が37.6%、Gemini 1.5 Flashが45%、GPT-3.5が48%やから、すごい成績やねんで。しかも、サイズがめっちゃ小さいのに、他の大きなモデルと同じくらいの性能を出してるんや。
これからAIモデルは、推論とかコーディング、数学の能力がどんどん上がっていくと思うわ。オープンソースで、家のパソコンでも動くような小さくて優秀なモデルが出てくるやろうし、複数のモデルやエージェントを組み合わせて使うこともできるようになるやろうな。そうすると、もっと能力が上がるんや。
5年後には、アルゴリズムの改善とかモデルの構造の改善、使い方の工夫なんかで、コーディングのベンチマークでめっちゃ高得点取れるようになるんちゃうか。でも、これが経験豊富で頭のええソフトウェアエンジニアを完全に置き換えられるかっていうと、まだ分からんな。チームで働いた経験とか、全体を見渡す能力、エラーを修正する能力なんかは、まだAIには難しいかもしれんし。
でも、コーディングのやり方は確実に変わっていくと思うわ。AIが何をして、人間が何をするのか、その分担がどんどん変わっていくやろうな。同じくらいの才能を持ったソフトウェアエンジニア二人おったとして、AIの知識と使い方に長けてる方が、絶対に優秀なエンジニアになるで。完璧なABテストみたいに、同じ知識、同じ頭の良さ、同じ仕事への姿勢を持った二人がおって、一人がAIツールの使い方をめっちゃ勉強して、もう一人が「シリコンバレー」ってドラマを見直してたとしたら、AIツールを勉強した方が勝つやろうな。
まあ、わいも「バトルビット・リマスタード」に300時間以上つぎ込んでるから、人のこと言えへんけどな。
話変わるけど、「チポトレ」って言葉、何回も言うてたら意味分からんくなってきたわ。セマンティック飽和っていうらしいわ。言葉を何回も繰り返すと、意味がなくなってしまう現象や。「ドア」って50回言うたら、もうそれが言葉なんか分からんくなるやつ。経験あるやろ？
チポトレがロボットを導入して、ボウルを作るのを手伝わせるらしいわ。「オカド」って呼んでるんやって。わいはチポトレの食べ物大好きやねん。バルバコアのボウルにワカモレとサワークリーム乗せたやつ、めっちゃうまいで。チポトレに行ったことある人は分かると思うわ。これからどんどん、こういうロボット装置がいろんなレストランに導入されていくんやろうな。チポトレは最初の例にすぎんのやで。
次はTモバイルの話や。TモバイルとOpenAIが手を組んだんや。2時間くらいの炉辺談話みたいなんをやって、いろいろ話して発表したんやけど、あんまり注目されへんかったなあ。TモバイルのイベントってAppleとかGoogle、NVIDIAのイベントほど期待されへんからなあ。
でも、途中でサム・アルトマンが出てきて、O1について、これからどうなっていくかについて話したんや。O1っていうのは、OpenAIの新しいモデルのことやで。サムがO1について詳しく話したのは、これが初めてやと思うわ。ほな、Tモバイルのイベントでのサムの話のポイントをちょっと聞いてみよか。
「O1モデルの発表おめでとうございます。この新しいモデルについて、みんなに説明してもらえますか？すごいらしいですけど」
「ありがとうございます。めっちゃ楽しみにしてるんです。長いこと開発してきたんですよ。GPTシリーズのモデルは、システム1型の思考、ちょっと言葉足らずかもしれませんが、そういうのが得意でした。でも、本当に欲しかったのは推論できるシステムなんです。複雑な問題を推論できるAIがあれば、すごく価値があるんです。
GPT-4でちょっとそういう能力が見えたと思うんですけど、O1は本当に高度な推論ができる最初のシステムなんです。難しいプログラミングの課題とか、難しい数学の問題、難しい科学の問題なんかを与えると、すごい結果が出せるんです。これはGPTシリーズと同じくらい重要な進歩だと思ってて、時間が経つにつれて、新しくてすごく価値のある使い方がどんどん出てくると思います」
「公開されてるのはプレビュー版で、これからどんどん改良されていくって言ってましたよね。これから数ヶ月でどんな風に変わっていくんでしょうか？」
「今のO1は、推論モデルのGPT-2みたいな段階やと思ってください。これから数年かけて、GPT-4相当まで進化していくんです。でも、数ヶ月のうちにもすごく良くなっていくと思います。O1プレビューからO1になる時に、ブログで発表した指標でも大きな進歩が見られると思います。
新しいパラダイムが生まれた時って、進歩のカーブがすごく急なんですよ。今は解けない問題が数ヶ月後には解けるようになって、その数ヶ月後にはもっと難しい問題も解けるようになる。でも、それ以上に重要なのは、これらのモデルの新しい使い方が見つかることやと思います。
GPT-3.5の時も、APIで使えるようになってからしばらくして、ChatGPTが出てきて、みんなが使い始めたんです。でも、ChatGPTの使い方を理解するのにも時間がかかったし、我々も他の機能を追加したりして、ユーザーが欲しがる機能を作っていったんです。
O1もそういう段階やと思います。チャットインターフェース以外の全く新しい使い方が出てくると思うんです。我々も、他の人たちも、そういう新しい使い方を作るのに時間がかかるし、ユーザーの皆さんも使い方を理解するのに時間がかかると思います。このO1は、GPTモデルとはかなり違うんです。
我々は、AIの5つのレベルについて話してるんです。最初はチャットボット、次が今到達した推論機、3番目がエージェント、4番目が新しい科学的知識を生み出せるイノベーター、5番目が完全な組織です。1から2に行くのに時間がかかりましたが、2から3への移行は比較的早く起こると思います。エージェントとしての経験を可能にする技術は、かなりインパクトがあると思います」
ほな、これで終わりや。最後まで聞いてくれてありがとう。えらいで！チャンネル登録してくれたり、いいねボタン押してくれたりしたら嬉しいな。YouTubeのアルゴリズムにええコンテンツやって教えてあげるんや。ほな、また近いうちに会おな！
コメント