8,727 文字
今年のスケールにおける進歩は本当に驚くべきものです。私たちの最初の推論モデルは、世界で100万番目に優秀な競技プログラマーレベルでした。それは素晴らしいことだと人々は考えました。AIがこの分野で100万番目というのはかなり良い成績だと。
その後、私たちは約1万位レベルのモデルを開発し、12月に公開したo3は世界で175位のレベルに達しました。現在の社内ベンチマークでは約50位で、今年末までには1位に到達する可能性があります。この新しいパラダイムにおけるコンピューティング能力の向上は驚くべき速度で、その勢いが止まる兆しは見えません。
サム・アルトマンは東京大学での質疑応答でこのような発言をしました。これは特に印象的な発言でした。彼らの最初の推論モデル、おそらく2023年末頃のQstarのリーク情報が出た頃に、社内で初めての推論モデルを持っていたのではないかと推測します。
それは世界で100万番目に優秀なコーダーでした。次のモデルは世界で1万位レベル、これはおそらくo1を指していると思います（コメントで訂正があれば教えてください。具体的な言及はありませんでしたが、o1だと思います）。私たちはそれを2024年9月に利用できるようになりました。そしてo3は世界175位のコーダーにランクされています。
完全版o3にはアクセスできませんが、o3ミニをテストしてみて、かなり印象的でした。その能力に非常に感心しました。ただし、これは試験のような問題を解くベンチマークに基づいているということを念頭に置く必要があります。必ずしもソフトウェアエンジニアの代替になるということではありません。優秀なソフトウェアエンジニアが不要になるとは思いません。
むしろ、優秀なソフトウェアエンジニアの能力を向上させ、より多くのエンジニアを生み出し、より多くのことを可能にすると100%確信しています。彼は、現在の内部モデル（名称は不明ですが、次世代モデルo4を訓練中とは言及がありました）は世界50位のコーダーレベルで、2025年末、つまり今年中に1位に到達する可能性があると述べています。つまり、今年中に文字通り超人的なコーダーが誕生するということです。
これらの問題の多くは実際のソフトウェアエンジニアリングの問題というよりも、どちらかというと試験問題に近いものだということを理解することが重要です。つまり、範囲が限定されているわけです。個人的には、これが優秀なソフトウェアエンジニアの代替になるとは考えていません。むしろ多くの優秀なソフトウェアエンジニアの能力を向上させ、より多くの人々にコーディングの機会を提供すると思います。
私のo3ミニの動画では、パイソンスクリプトでスネークゲームを作成し、それを自動プレイするようにしてかなり複雑にし、さらにPyTorchを使って強化学習のトレーニングパイプライン、つまりゲームをプレイするためのニューラルネットを作成しました。できるだけ自分で何もしなくて済むように、できる限り自動で処理させようとしました。
概ね上手くいきましたが、一箇所だけ何が起きているのか理解できなくなった部分があり、そこは私が道筋をつける必要がありました。それ以外は良好でした。これは特に複雑な問題ではなく、ほとんどが基本的なものでしたが、重要なのは、コーディングや強化学習、機械学習のトレーニングパイプラインの設計についてあまり詳しくない人でも、概念を理解し、それをコーディングAI、つまり大規模言語モデルに明確に伝えることができれば、モデルがそれらを作成する作業の大部分を担ってくれるということを示していることです。
まず第一に、最高のソフトウェアエンジニアたちはこれによって大きな力を得ることになるでしょう。また、優れたアイデアを持っているけれどもコーディングを学ぶ時間を取れなかった、あるいはコーディングに特に興味がない賢い人々が、このようなツールを使って自分のアイデアを実現できるようになると思います。
コーディングやある種の機械学習トレーニングパイプラインを作成できれば利益を得られるような優れたアイデアを持つ賢い人々が多くいるはずです。しかし、そのようなスキルを持っていない可能性があります。AIモデルを使ってそれを実現できるようになれば、間違いなく大きな可能性が開けるでしょう。
サムのインタビューで触れられた他の点も見てみましょう。まず、「AIより優れた能力を持つことは可能か？今から身につけるべきスキルは何か？」という質問に対する彼の見解です：
数学やプログラミング、物理学などの特定のスキルについて、AIより優れた能力を持つことができるかという質問に対する答えは「できない」です。これらの分野でAIを上回ることはないでしょう。しかし、AIを使えば今までにない新しいことができるようになり、AIと協働する新しい方法が生まれるでしょう。
電卓が発明された時、「どんなに優れた電卓ができても、私は計算が得意だから上回り続けられる」と言う人々がいました。しかし、誰も電卓を上回ることはできませんでした。それでも問題ありませんでした。私たちは電卓を使ってより複雑な数学を扱うようになったからです。どの分野でも同じことが言えます。
純粋な処理能力ではAIに追いつけません。それは今年中に決着がつくでしょう。しかし、ツールを使えば今までにない新しいことができるようになります。それは、世界最高の企業を運営しているかのように、アイデアを出して社員に実行を依頼し、それをオーケストレーションする、そのような感覚になると思います。
誰もがそれを行えるようになり、素晴らしい新しいものが生まれるでしょう。そのような世界で必要なスキルは、人々が何を望んでいるかを理解すること、クリエイティブなビジョン、急速な適応能力、変化に対する回復力、そしてこれらのツールを使って人々が単独ではできないようなことを実現する方法を学ぶことです。電卓に追いつこうとするのではありません。
私にとって、ここから学ぶべき教訓は、これらのツールを使い始め、仕事や学習の方法に取り入れることです。新しいことに取り組む時は、AIが役立つ方法はないか、自分で行う必要があるのか、それともAIに任せられるのかを考えてみましょう。徐々に効率が上がり、新しいテクニックを学び、AIの最新状況に追いつき、将来的にAIとの協働に最も適応できるようになるでしょう。
また、AIと人間の共進化についても話題に上がりました。面白いことに、このチャンネルでもよく取り上げているイーサン・モリックについて言及がありました。彼のXでの考えは非常に興味深く、AIの使用方法について多くの優れた研究やアイデアを発表しています。
社会と技術の共進化が正しい枠組みだと思います。「これが起こって、すべてにおいて私たちを上回る」というような考え方は間違っています。実際には、段階的に一緒に進化していき、このテクノロジーなしで働かなければならなかった人々には想像もつかないようなことができるようになるでしょう。
今日できることと、100年前や1000年前にできたことを比較してみてください。可能性は広がり、期待も高まります。これらのツールと異なる方法で働く必要がありますが、上限は非常に高くなるでしょう。ちなみに、ウォートン校教授のイーサン・モリックによる「Co-Intelligence」という本があります。約100ページの短い本ですが、AIを使った教育方法や学生がAIと協働する方法について、非常に深い考察が書かれています。お読みになる価値があります。
次の部分は非常に興味深いものでした。モデルのコンテキスト内学習能力について話し合っています。例えば、Geminiモデルの一つは、訓練後にコンテキスト内学習能力を示しました。世界でほんの一握りの人々しか話せない死語を与えられ、インターネット上には存在せず、印刷された本や文法ガイド、辞書などしかない言語です。
モデルはその言語を学ぶためにそれらの資料を与えられただけで、その後、適切な文法と構造を持つ文章を効果的に作成できるようになりました。そこで、データが非常に限られている分野ではどうなるのかという質問が出てきます。
これらのモデルを向上させるには、より大きなデータセットが必要です。言語モデルであれば、より多くのテキストが必要になります。例が少なく、データが限られている分野ではどうなるのでしょうか。興味深いことに、それは問題にならないかもしれないようです。
モデルがよりスマートになるにつれて、新しいことを学ばせる、つまり微調整するために必要な例の数が少なくなっていくという興味深い現象が見られます。これは直感的に理解できることです。モデルの知性が高まれば、新しいことを学ぶために必要なプロンプトの数は少なくて済むはずです。
そのため、建設管理やその他の分野でも、より少ないデータポイントから学習できる非常にスマートなモデルの開発は、正しい方向に向かっていると考えています。
次に、このインタビューの約30分前に発表された深い研究について、そしてコンピューティング能力を拡大した場合や大規模言語モデルとAIモデルが新しい知識を見つける可能性について簡単に話し合いました。
金曜日にo3ミニをリリースしました。これは今後6〜12ヶ月の研究の方向性を示唆するものだと思います。私たちは、小規模だが非常に高性能で高速な推論モデルをできる限り押し進めていきます。現在はSTEM分野が主ですが、他のすべての分野でも優れた性能を発揮するようになるでしょう。
すべてのモダリティを統合し、同じモデルで音声ストリームを聞きながらコードを書いてコンパイルし、キャンバスで見ることができるようになります。インターネットを閲覧することもできるようになります。そして、モデルのスケールアップを続けていきます。GPT-5、6などを目指していきます。
今日、というか実際には30分前に、Deep researchという新しいものをリリースしました。これはProプランで利用可能で、Plusプランにも制限付きで提供される予定です。これは私たちが発表した2番目のエージェント製品で、これまでで最高の製品の一つだと思います。
インターネット上で何時間も何日もかけて研究し、考え、情報を探さなければならないような課題を与えると、レポートを返してくれます。学校のレポート作成だけでなく、あらゆる分野で非常に優れた性能を発揮します。本物のエージェントのような感覚です。
私は90年代のJDM車が大好きで、この週末に街で特定の車を探していて苦労していました。Deep researchに任せてみようと思いましたが、見つかるとは思っていませんでした。ところが、日本全国で販売されている3台だけを見つけ出し、連絡先情報まで準備してくれました。素晴らしい体験でした。
このような新しいエージェントを開発し続け、自律的に有用な作業を行えるエージェントの開発を進めていきます。コーディングエージェントの実現が夢だと話してきましたが、そこに至るにはまだ多くの研究が必要です。しかし、それは非常に重要なマイルストーンになるでしょう。
全体として、今年末までには、Proプランを利用している場合、コンピューティング能力を最大限に活用して、本当に難しい質問、新しい科学的発見を必要とするものは除きますが、それ以外のほとんどの質問に答えられるモデルが実現できることを期待しています。数時間考えたり、多くのツールを使用したりする必要があるかもしれませんが、基本的にはあなたのために作業を行ってくれます。そこに到達するにはまだ長い道のりがあり、多くのスケールアップとアルゴリズムの進歩が必要ですが、達成可能だと考えています。
次に、脳機械インターフェース、つまり今後これらのAIとどのように相互作用していくかについて簡単に話し合いました。私たちの脳の働きと人工ニューラルネットの理解の間に、ますます大きな重なりが見られ、それらを接続するアイデアがより多く出てきています。
脳機械インターフェースについて、これは素晴らしい時期だと思います。明らかに何かを見つけ出すでしょう。考えるようにAIに直接アクセスできることは素晴らしいことになるでしょう。非常に破壊的なアプローチには懐疑的ですが、より軽いアプローチもあり、インターフェースの使い方を学び、低ビットレートでも脳に多くの情報を入力できる方法を見つけ出すでしょう。過去6ヶ月で見た最も興味深い新しい企業は、この方向性のものでした。
宇宙分野についても触れてみましょう。私も脳コンピューターインターフェースにとても興奮しています。実は、OpenAIに来る前は、Planetという衛星を製造し、毎日地球全体の画像を撮影する会社で働いていました。最近打ち上げた衛星にはGPUが搭載されており、宇宙でAIモデルを実行して結果をより迅速に送信するためのものです。
3ヶ月ごとに新しいモデルをリリースしている現状で、宇宙のタイムラインはより長期的なものになるため、課題があることは同意します。しかし、モデルが改善され、より多くの電力を宇宙に送り込めるようになり、ロケットが大きくなって大きな衛星や太陽光パネルを打ち上げられるようになり、モデルはより小型化して効率的に実行できるようになっています。
そのため、すべてが宇宙でのAIの増加に向かって収束していると考えており、それは素晴らしい結果だと思います。2025年の地球上の総知能、つまりすべての人々、すべての調整、すべてのAI、知的能力の総量について具体的な予測をすると、進歩のグラフが継続する場合、2035年には単一のデータセンターが現在の地球の総知的能力を上回るかもしれません。
実際には、時間を止めて考える必要があります。なぜなら、私たちは常に学び続け、個人としてもより有能になり、企業もより有能になるため、その時点ではそれほど印象的には感じられないかもしれません。しかし、2035年の大規模なデータセンター1つと2025年の地球全体を比較できたとすれば、それは驚くべきものになるでしょう。
AIによって大きな変革を遂げると思われる分野の一つが教育です。2シグマ問題についてご存知かもしれません。基本的に、2つの簡単な調整によってすべての子どもたちの教育を2標準偏差右にシフトさせる、つまり大幅に改善できるという考えです。
その2つの調整とは、まず四半期制で全員が同じペースで進むのではなく、習熟度学習と呼ばれる自分のペースで進められるシステムにすること、そして2つ目は1対1のチュートリング、つまりパーソナライズされた指導を受けられるようにすることです。
AI以前は、ほとんどの学校や人々にとって、これは実現不可能でした。多くの人的労働力とリソースが必要で、単純に実現できませんでした。しかし、AIによってそれが可能になりそうです。これらのアイデアを適用し、教育システムに実装する方法を学び始めれば、即座に大きな改善が見られると思います。
教育は私たちが最も重視している分野の一つです。すでに起きていることは素晴らしく、世界中のすべての学生、すべての人々が、今日利用可能な最高の教育体験よりも優れた教育体験を得られると考えています。
私たちのような技術を活用して、生涯にわたって最適なスタイルで、弱点を補いながら学習を支援するパーソナライズドチュートリングの初期の企業が何を実現しているかを見ると、それがどれほど進化していくかがわかります。GPTの最大のユーザーは学生たちで、教育にとても自然に適合します。
日本ではまだそれほど進んでいませんが、皆さんがそれらを構築していくことを楽しみにし、励ましたいと思います。素晴らしいことになるでしょう。100年後を考えるのは、この時点では不可能に近いです。世界は完全に変わっているでしょう。100年後のAIの能力を想像することはできません。
10年後には、世界は大きく変わっているでしょう。科学的進歩、科学的発見の速度は現在の10倍、もしかすると100倍になるかもしれません。科学的進歩が経済や世界をより良くし、経済を持続可能な形で成長させる最も重要な方法だと信じているなら、その進歩の速度が10倍や100倍になることを想像するのは難しいですが、世界の動きは確実に加速し、生活の質は大幅に向上するでしょう。
宇宙探査機が地球を離れ、AIがあらゆることを実現する方法を見つけ出すなど、素晴らしいことが起こるでしょう。一方で、人々は日常生活を同じように送り、友人と過ごし、家族を作り、趣味を楽しむことに変わりなく意欲的でしょう。
ある意味ですべてが変わり、ある意味で人間であることの意味はまったく変わらないでしょう。やることがなくなったり、仕事や充実感がなくなったりする心配はありません。私たちは変わらず同じように機能し続けます。ただし、景色が変わり、仕事は異なるものになるでしょう。
次の2つのクリップは、AIスタートアップと、AI時代のビジネスの運営方法についてです。
まず、それは素晴らしいことです。OpenAIの前は、Y Combinatorというスタートアップを支援する組織を運営していました。多くの素晴らしい日本企業を支援してきました。初期チームメンバーで最も重要なのは、エネルギーに満ちた、決意の固い人々です。
ポール・グレアムの「relentlessly resourceful（絶え間なく創意工夫する）」という言葉があります。それが初期チームメンバーに求められる特質です。特定の専門知識よりもそれが重要です。新しいビジネスの初期段階は非常に困難で、そのようなエネルギーを持つ人々が必要です。
それでも、構築するものを見つける必要があります。通常のビジネスのルールは依然として適用されます。持続的な価値と粘着性、差別化された何かを構築する必要があります。「AIを使用しているからルールは適用されない」と言うスタートアップは多いですが、そうではありません。そうでなければ、差別化を築くことはできません。
スタートアップについて書かれた最高の本は、ピーター・ティールが約10年前に書いた「Zero to One」だと思います。そこには長期的な競争優位性について、最高のリストや説明が書かれています。
サムが以前言っていたことを引用すると、AIがどんどん良くなっていく中でどのように構築するかについて、その能力の限界に挑戦するようなものを作るべきだということです。
次のモデルリリースで自分たちがやっていることができるようになるのではないかと心配になるようなものを作っているなら、それは良くない立ち位置です。しかし、能力の限界に挑戦していて、次のモデルリリースでより賢くなれば製品が素晴らしくなるため、そのリリースを心待ちにしているなら、それは良い立ち位置です。モデルが賢くなるたびに製品が向上するような方法で構築してください。
以上でした。2025年、つまり今年中に超人的なコーダーが実現する可能性についてどう思いますか？ソフトウェアエンジニアのキャリアや職業に大きな悪影響を与えると思いますか？それとも単に人々がより多くのことを実現し、より多くのものを創造できるようになると考えますか？
このようなツールによって、より多くの人々が必要に応じて独自のカスタムソフトウェアを作成できるようになると思いますか？それはどのような影響を与えるでしょうか？
App Storeからアプリをダウンロードしたり、ソフトウェアを購入したり、Software as a Serviceに月額料金を支払ったりする代わりに、AIアシスタントにソフトウェアの作成を依頼するだけで済むようになる、それは2025年に現実的だと思いますか？それともまだ先の話だと思いますか？
ソフトウェアエンジニアからのフィードバックを聞いていると、これらのモデル、推論モデルは、あまり特殊ではない、つまりデータが豊富にあるような一般的なコードの一部を作成できると、より多くのエンジニアが認めるようになってきているようです。
あまり一般的でない言語など、データが少ない分野では性能が低くなる傾向にありますが、基本的に多くのエンジニアが、エンジニアリングの代替にはならないと言っているように感じます。全体を管理し、監督し、品質の低いコードが混入しないようにする鋭い人間の頭脳は依然として必要です。
しかし、これらのツールは特定の単調な作業、標準的なコードの一部、反復的な作業などを自動化できるように見えます。つまり、代替ではなくツールだということです。私の理解は正しいでしょうか？
多くのテクノロジー企業のCEOや経営者たちは、コーダー、つまりコーディングする人々が少なくて済むようになると言っていますが、これはソフトウェアエンジニアやコーダーたちの「これは素晴らしいツールで効率を向上させるけれど、これらの問題を見る実際の人間の頭脳に取って代わることはない」という意見と少し矛盾しているように見えます。
あなたの考えを聞かせてください。ここまでご視聴いただきありがとうございます。私の名前はウェス・ラルです。また次回お会いしましょう。
コメント