4,932 文字
AIニュースが戻ってきました。今日は話題が盛りだくさんです。最初のストーリーでは、Bloombergの記事によると、AI企業でのイノベーションのペースが減速しているようです。OpenAI、Google、Anthropicは次世代モデルの構築に苦戦しているとのことです。
この記事によると、Orionとして知られるモデルは、関係者2名の話では同社が期待する性能に達しなかったとのことです。個人的に、そして多くの人がChatGPTに初めて触れた時は本当に驚愕しました。そしてGPT-4では大きな進歩が見られましたが、他のテクノロジーと同様に、各イテレーションで同じレベルの改善が見られるわけではありません。これは新しいiPhoneが過去2、3世代と大きく変わらないと感じるのと同じです。
0-1モデルは性能面で大きな飛躍であり、スケーラビリティの面でも多くの余地を残していましたが、記事によると、多くの企業が次世代モデルで大きな性能向上を実現することに苦戦しているようです。Alphabet傘下のGoogleでは、Geminiソフトウェアの次期バージョンが社内の期待に応えていないとのことです。またAnthropicでは、待望のClaud 3.5 Opusの発売時期が遅れているとのことです。
計算能力やデータの利用可能性など、これらの企業が直面しているボトルネックは既に多くわかっています。Chain of Thoughtやテストタイムコンピュート、そして私がまもなくテストタイム・トレーニングに関する動画を公開する予定ですが、アルゴリズムの改善だけでも性能とスケーリングの可能性は十分にあります。
Greg Brockmanが復帰しました。OpenAI加入以来、何年ぶりかの長期休暇を取っていましたが、現在はSam Altmanと共に適切な役割を探しています。技術職を希望しているとのことで、OpenAIに誰かが戻ってくるのは良いことだと思います。
次のニュースでは、chat.gpt.comが単にchat.comになりました。より洗練された印象です。このドメイン名には面白い話があります。まず間違いなく安くはありませんでした。HubSpotの創設者であるDharmesh Shahは約1年前に、「2ヶ月前にchat.comを1000万ドル以上で購入した」と述べています。その後の更新で、「chat.comドメインが私の投稿にリダイレクトしなくなったことに気づいた人がいて、何か大きなものを立ち上げるのではないかと憶測している人がいるので、混乱を解消したい。何も立ち上げる予定はない。ドメインを売却した」と説明しています。
OpenAIに売却したことが判明し、この裁定取引で数百万ドルを稼いだことになります。1000万ドルの資本をドメインに投資する以外は実質的に作業なしで、非常に印象的です。DharmeshとChatGPT/Chat.comの両者にとって素晴らしい成果となりました。
Ollamaがバージョン0.4をリリースし、新たにビジョン機能を搭載しました。具体的にはMetaのLlava 3.2 Visionの110億パラメータモデルと90億パラメータモデルをサポートしています。医師の処方箋（読みづらいことで有名）をフィードすると問題なく出力できたり、レシートをアップロードして質問したり、グラフについて質問したりできます。
Llava 3.2 Visionモデルをテストしましたが、あまり良い結果は得られませんでした。ただし、再度試してみる予定で、おそらく何か間違っていたのだと思います。いずれにせよ、これは素晴らしいアップデートです。Ollamaおめでとうございます。
PalantirとAnthropicがパートナーシップを結び、PalantirがClaudシリーズのモデルをプライベートで安全な環境に導入します。Palantirは米国政府の情報・防衛作戦向けの機密環境にClaudモデルを導入する最初の業界パートナーとなります。
モデルプロバイダーやAIパートナーとして最も恐ろしいのは、PlanytheRetardがあなたを注視していることです。これはシステムのジェイルブレイクが時間の問題であることを意味します。Palantirの株価は最近急上昇しており、重要な動きを多く見せています。このレベルのAIを政府にもたらすことは良し悪しあると思います。
Qwen 2.5コーダーがリリースされました。これは現時点でおそらく最高のオープンソースコーディングモデルです。32B、14B、7B、3B、1.5B、500Mパラメータモデルまで、すべてOllamaで利用可能です。QwenはOllamaと共同でリリースしました。これらは素晴らしいコーディングモデルで、LiveCodebenchとMVP-3shotで他の同等モデルと比較した性能を確認できます。
Microsoftが新しいオープンソースプロジェクト「Tiny Troop」をリリースしました。私がこれについて投稿したところ、23万回の視聴を記録し、GitHubで最もトレンドになったモデルとなりました。Tiny Troopは、特定の性格、興味、目標を持つ人々をシミュレートできる実験的なPythonライブラリです。基本的にTiny Worldのように、エージェントに性格を与えて相互作用させるという興味深いプロジェクトです。このような種類のプロジェクトは常に興味深く、これまでにも多くありましたが、これはMicrosoftによるものです。
TSMCが台湾以外での2nmチップの製造を禁止されました。これは知的財産権とチップを保護する必要があるという考えからです。数週間前に報告したように、TSMCは米国でチップを製造しており、既に素晴らしい歩留まりを達成していますが、今回の決定がこの取り組みを妨げる可能性があります。台湾はTSMCの米国での進展に満足していないようで、特に次期大統領のドナルド・トランプが台湾は米国の半導体技術を盗んでいると主張した後、米台関係に亀裂が入る可能性が示唆されています。
AlphaFold 3がリリースされました。AlphaFoldはタンパク質の折りたたみパターンを予測し、タンパク質とその挙動を予測できるようにするものです。DeepMindチームの何人かがAlphaFoldの研究でノーベル賞を受賞しました。AlphaFold 3はオープンソースで、自由に試すことができます。
毎週のように新しいディフフュージョンベースのビデオゲームエンジンが登場しています。これは実際のコードや実際のゲームエンジンを使用せず、次のフレームを予測するだけです。Lucid V1がオープンソースでリリースされ、消費者向けハードウェアでMinecraft環境をリアルタイムでエミュレートできる世界モデルとして説明されています。これは完全に予測ベース、完全にディフフュージョンベースで、決定論的なゲームエンジンは存在しません。ビデオゲームの未来はまさにこれです。
Waymoが引き続き拡大しています。私の出身地であるロサンゼルスで24時間7日間の配車が利用可能になりました。私は現在ロサンゼルスの少し外に住んでいて、そこではあまり見かけませんが、数日前に市内に行った時には至る所で見かけました。まだ乗ったことはありませんが、とても乗ってみたいです。以前は招待プログラムの参加者のみが利用可能でしたが、現在はロサンゼルス郡の80平方マイルで誰でも利用できます。
OpenAIの元CTOであるMira Murati氏の新しい動きについて、より詳しい情報が明らかになりました。OpenAIでAIモデルのリリース準備を担当していたリサーチプログラムマネージャーのManana Chen氏が最近退社し、Muratiの新しいベンチャーに参加しました。また、元ポストトレーニング責任者のBarrett Zoph氏と元シニアリサーチャーのLuke Metz氏も参加しており、両者ともOpenAIを退社したと報じられています。Chen氏の離職は特に重要で、GPT-4、0-1推論モデル、Advanced Voice Mode 3など、多くのOpenAIモデルと製品のローンチを主導してきました。Muratiの会社が具体的に何をするのかはまだ明確ではありませんが、近いうちに分かるでしょう。
中国から新しい驚くべきロボットのデモ動画が公開されました。Chubbyの投稿に感謝します。素晴らしいと思います。ちなみに、Forward Futureニュースレターを購読していない方は、ChubbyによるAIに関する非常に洞察に富んだ深い考察を見逃しています。彼は素晴らしいシリーズと、魅力的な単発記事を書いており、多くのことを学べます。Forward Futureを是非購読してください。
このロボットの敏捷性を見てください。登ったり足を動かしたりできるだけでなく、転がったり、岩を登り降りしたり、2本足や4本足で歩いたりできます。Deep Robotics社の製品で、人型バージョンも持っていますが、犬型バージョンは非常にクールです。
Nous ResearchがForge Reasoning API betaという新機能をリリースしています。これは任意のモデルまたはモデルセットに適用できる推論時スケーリングの進歩として説明されています。基本的に、01が行っているのと同じ推論時スケーリング、テスト時計算を、Nous Researchにアップロードできる任意のモデルに適用できます。Forge推論エンジンは、より多くの推論計算のコストで、Hermes 7Bを劇的に改善し、一部のカテゴリでOpenAI 01 Fullと同等のレベルに到達できます。
つまり、オープンソースモデルにテスト時計算の能力を与えることができ、これが出力の品質を大きく向上させることは既に知られています。これはモンテカルロ木探索、Chain of Thought、エージェントの混合という3つのアーキテクチャに基づいており、すべてオープンソースモデルに適用できます。これはしばらくの間QARについて読んでいたことのようで、結果的に01とo1onになり、今や任意のオープンソースモデルに適用できるものができました。
Meta AI Ray-Banグラスが大幅にアップデートされています。Meta AI Ray-Banグラスのプロダクトリーダーであるデビッド・ウッドランドによると、音声を使用した動画の送信、ハンズフリーでの動画共有、Meta AIの応答、FacebookやInstagramの連絡先との音声テキストアクション、視覚的なリマインダーの改善、着信通知、Meta AIチャットボット機能が英国で利用可能になりました。EUでもついにAIの恩恵を受けられるようになります。私のMeta AI Ray-Banグラスはまだ気に入っており、これらの新機能を試すのが待ち遠しいです。
Amazonが独自のAIチップをリリースし、NVIDIAと競合する準備を進めています。AWSでNVIDIAチップをプロビジョニングできるだけでなく、Amazonチップもプロビジョニングできるようになりそうです。記事によると、新しいチップは12月にリリース予定で、すべてNVIDIAへの依存度を減らすためのものです。大規模モデルのトレーニング用に設計された次期Trainium 2 AIチップは、既にAnthropic、Databricks、Deutsche Telekomなどの企業でテストされているとのことです。AWSのコンピューティング・ネットワークサービス担当VPは、「NVIDIAを実行するのに絶対的に最高の場所になりたいと思いますが、同時に代替案を持つことは健全だと考えています」と述べています。プラットフォームリスクは確かにあり、これはポートフォリオを多様化する素晴らしい方法です。
コメント