1,232 文字
本日、ベンチマークの次バージョンであるARC-AGI-2をリリースします。これはより挑戦的で、非常に飽和していないベンチマークです。すべてのフロンティアモデルは事実上一桁パーセンテージの範囲内でスコアを出しています。また、タスクの人間向け難易度を初めて調整しました。実際に約400人を雇用し、すべてのタスクをテストしました。そして、すべてのタスクが少なくとも2人の人間によって解決されているため、人間にとって非常に実現可能であることがわかっています。現在のどのシステムにとっても、これは非常に手の届かないものとなっています。これが最先端です。
それと並行して、ARC賞2025コンテストへの皆様のご参加を心から歓迎します。コンテストは正式に今から始まり、2025年末まで続きます。コンテストの構造は昨年と非常に似ています。Kaggleのリーダーボードを運用し、今年は準プライベートデータセットでテストを行い、最終的なリーダーボードをプライベートデータセットでテストして締めくくります。大きな賞金はまだ獲得されていません。
大賞を獲得するには、あなたのソリューションをオープンソース化し、Kaggle上で高い効率性を示す必要があります。新しいアイデアを見るのが本当に楽しみです。2024年の昨年は、最先端を大きく押し上げる多くの成果がありました。
昨年は、例えばテスト時のトレーニングなど、コンテストの明るい星となったユニークなブレークスルーが多数ありました。そして、実際に非常に質の高い40以上の論文を受け取り、素晴らしいアイデアがたくさんありました。個人的には、ARC賞コミュニティがフロンティアをどれだけ押し広げているかに驚き、感銘を受け続けています。そして12月にOpenAIがフロンティアAGIシステムを紹介するためにARC AGIベンチマークを使用したとき、これが人工知能の最先端にとって本当に重要なベンチマークであることの証拠だと思います。もしあなたがARCコミュニティにいて、これに取り組んでいるなら、最高の人々と肩を並べて取り組んでいるということです。
これは通常の人々によって実際に解決できる、残された飽和していないベンチマークの一つです。個人や個人のチームが実際に差をつけることができるのも非常に興奮することだと思います。もし私たちがイノベーションに制約された世界、アイデアに制約された世界にいるとすれば、ARCはそれを示していますが、それはつまり、あなたがAGIのフロンティアに重要な貢献をする可能性があるということです。今年のコンテストでどのような新しいアイデアが出てくるのかを見るのが本当に楽しみです。
これは単に計算能力の問題ではなく、単にスケールの問題でもありません。正しいものをスケールする必要があり、正しいアイデアをスケールする必要があります。そして、おそらくあなたはそれらを持っています。幸運を祈ります。リーダーボードでお会いしましょう。
コメント