この動画では、AI科学者システムの最新研究と問題点について詳細に分析している。オックスフォード大学やケンブリッジ大学など世界有数の研究機関による共同研究では、人間がAIシステムに過度に依存することの危険性が指摘されている。特に医療分野での診断や個人的なアドバイスにおいて、AIの出力を無批判に受け入れることで、人間の批判的思考能力の低下や社会全体の均質化が懸念されている。また、カーネギーメロン大学の研究では、現在のAI科学者システムが抱える4つの重大な欠陥が明らかになっている。これらのシステムは不適切なベンチマーク選択、データリーケージ、メトリックの誤用、テストデータセットでの不正な選択バイアスなどの問題を抱えており、科学的研究プロセスそのものを危険にさらしている。
AIが科学を行う最新動向
こんにちは、コミュニティの皆さん。AIが科学を行う最新の状況についてお話ししましょう。これは素晴らしいことではないでしょうか。生物学、がん研究、あらゆる分野で最も重要な問題を解決する人工知能がここにあります。では、何が私たちを阻んでいるのでしょうか。最新のAI研究を探ってみましょう。この録画は2025年9月11日に行っています。
美しい新しい研究があります。こちらをご覧ください。これはオックスフォード大学、ケンブリッジ大学、プリンストン大学、スタンフォード大学、OpenAI、ニューヨーク大学、ミシガン大学による研究で、真の人間互換AIシステム構築に必要な過度の依存を測定し軽減することについて書かれています。
これらの有名な機関がOpenAIも含めて、最高の人間互換AIを見つけようとしているのは奇妙に思われるかもしれませんが、まさにその通りです。そして、こちらが私たちが見ていく二番目の論文です。これはカーネギーメロン大学のもので、2025年9月10日に発表されました。科学を自動化すればするほど、見えるものは少なくなる、という内容で、AI科学者システムの隠れた落とし穴について語っています。まさに私たちが注目していることです。
さらに、ByteDanceによる新しい研究もあります。これはByteSeedと上海創新研究所による、エージェントジム強化学習についてです。マルチターン強化学習を通じて長期的な意思決定のためのLLMエージェントの訓練です。時間があれば、米空軍とMITによるサイバーアリーナでのAI開発加速に関する新しい発表も見てみます。これは絶対に興味深いトピックです。
そうです、ご覧の通り、これは軍事能力に焦点を当てています。また、深く学びたい方のために学習リソースもご用意しています。本日、大規模推論モデルのための強化学習に関する新しいサーベイが発表されました。これは美しいものです。
これは清華大学、上海AI研究所、北京大学、ワシントン大学、ユニバーシティ・カレッジ・ロンドン、その他多くの美しく高度に知的な人々によるものです。これは114ページで、今日私たちが持つすべての強化学習手法の完璧な概観を提供してくれます。
もちろん、Metaのスーパーインテリジェンスチームについても言及したいと思います。彼らも昨日の9月9日に出てきて、私たちに教えてくれました。私たちのLLMがデータフリーの訓練モードで自己対戦し、学習を続けるという新しいアイデアがあると。彼らは私がMITとハーバードから紹介した、コードは機械のみのもので人間のためのものではないという考えを取り入れ、AlphaGoのような科学的ゲームのコードを持っています。しかし今、ご覧の通り、Metaスーパーインテリジェンスはこれをさらに一歩進めて、私たちのLLMにはLLMの訓練にデータは必要ない、LLMは自分自身と対戦すべきだと言っています。これは本当に私が推奨することではないかもしれません。
しかし、これはMetaスーパーインテリジェンスによる新しい論文です。ご覧の通り、これらが私たちがお話しする論文です。ぜひご覧になって、論文をご自身で読んでください。絶対に魅力的です。これが現在のAIの状況です。それでは始めましょう。
人間とAIシステムの協力における問題点
私が示したように、科学におけるAIシステムと人間の協力から始めます。そして今、私たちはAIシステムをどのようにプログラムするかは、私たちが考えていた方法ではないことがわかりました。なぜなら、そうするとエラーが発生するからです。この協力を構築する新しい方法があり、オックスフォード、ケンブリッジ、プリンストン、OpenAI、ハーバード大学、皆が私たちに違うやり方をしなければならないと教えています。見てみましょう。
彼らは特にヘルスケアについて言及し、人間がAIの結果に過度に依存すると、今度は個別にどのような結果になるかを見てみましょうと言います。不正確なAI診断に従う医師がいれば、これは深刻な影響を与える可能性があります。あるいは、認知的スケーリングの低下や診断能力の萎縮を経験する医療従事者がいる場合、彼らは自分で考えることをやめ、AIが言うことにただ依存するからです。
これは、病院システムが現在AI診断も実装していることを意味します。しかし、適切な検証プロトコルなしに行われると危険である可能性があります。つまり、AIによる陳述が複数回検証されることなく、医療部門が現在AI システムを中心にワークフローを再構築しているためです。彼らは非常に安価なAIシステムの統合に焦点を当てています。いいえ、この高価な人間の医師に支払う必要がありません。
したがって、人間の監視も減らしており、これは患者として望むことではないかもしれません。そして私たちは病院の管理財務担当者の視点からは見ないでしょう。あるいは別の分野を取り上げましょう。個人的なアドバイスを取り上げましょう。いえ、OpenAIが1日に何十億ユーザーを持っているかはわかりませんが、問題があります。
個人レベルでは、ユーザーはAIが言うことを批判的に評価することなく、偏見のある関係アドバイスを受け入れます。AIはあなたが誰なのか、あなたの状況、どこに住んでいるのか、人生で既に何を経験したのかについて何のアイデアも持っていないかもしれません。それはただ一般的なアドバイスかもしれません。そして何が重要でしょうか。その後、若い人々の自己価値がAIコンパニオンの承認から派生するようになります。
機械の承認が若い人々の自己価値に影響を与えるでしょう。私は若い人ではありませんが、そうですね、AIが私に同意するといい気分になりますし、AIが批判的であれば「ああ、何を間違えたのだろう」と思います。これを社会レベルで見ると、コミュニティはAI生成された類似のアドバイスを採用し、はるかに均質な決定パターンを作り出します。すべてが平坦になります。
私たちはこの美しい多声性を持ちません。誰もが異なる意見を持ち、私たちは議論し論争しなければなりません。しかし、AI生成されたアドバイスをただ受け入れ、皆が「わかった、これで行こう」と言えば、私たちは平坦になってしまいます。これは個人や コミュニティ、グループだけでなく、完全な社会規範が個人的な選択のアルゴリズム的検証に向かってシフトしていることでもあります。
これらは、将来AIを間違った方法で実装した場合に直面する可能性のある危険な要素です。そして研究の著者たちは「人間AI インターフェースにおける重要な失敗モードは、人間がAIの出力に過度に依存することです」と言い、これに本当に焦点を当てようと言いました。これらの強力なAIシステムが人間の知性と自律性を損なうのではなく、向上させることを絶対に確保することが重要であり、人間が持つ過度の依存はこの特定の目標に対する直接的な脅威であり、もちろん強化学習におけるAIの見かけの能力とその実際の信頼性との間の根本的な不整合を表しており、具体的な害につながると述べています。
ご覧の通り、これらすべての機関とすべての人々が「聞いてください、私たちは未来のために何かをしなければなりません。システム設計において革新しなければなりません。批判的思考の側面と適切な信頼調整をより促進するより良いAIインターフェースとインタラクションパターンを構築しなければなりません」と言っています。
これは現在完全に欠けており、著者たちは「私たちのAI、私たちの強化学習のモデル訓練を定義し改良しなければなりません。これを改善しなければなりません」と教えてくれます。そして著者たちは「古典的な強化学習や人間フィードバックによる強化学習を超えて、AIモデルに効果的に人間への限界と不確実性を伝えるように教えるAI訓練プロトコルを開発しなければなりません。これは現在私たちのAIシステムに欠けています」と教えてくれます。
そして著者たちは今、この人間の過度の依存を人間の行動として定義し、「私たちは他の用語、技術用語について考えなければなりません。それは信頼です。脆弱でありたいという心理的な意欲の状態であり、過度の依存は人間がこれらのAI機械に対して持つ過度または見当違いの信頼の行動的結果です」と言います。
その反対側には、過度の依存という用語があります。これは必要以上に頻繁にシステムに依存することを意味します。なぜタスクの99%で人間の脳を使わないのでしょうか。過度の依存は時間とともにAIシステムへの過度の依存につながる可能性があります。私は最初にこれを見ましたが、これは私を全く心配させませんが、魅力的な研究です。これをご覧ください。彼らはAIを変更しない場合の人間のリスクの分類さえ構築しています。
この例をご存知でしょう。弁護士がLLMを使って法的摘要を書いたり、開発者が単純にAI生成コードを受け入れるが、固有のセキュリティ脆弱性があったり、金融のウォールストリートなどの複数の組織が同じ欠陥のあるLLMに依存する場合です。単一の大規模言語モデルに単一の脆弱性があると、完全な産業セクターで連鎖的な障害を引き起こす可能性があります。
より多くのコンテンツとアイデアがAIアシスタントで生成され、おそらく私はAIガイダンスのみと統合すべきですが、人間の表現の源泉は現在これらのAIアイデアに収束するかもしれません。研究者たちは、LLM支援の作家がより多様性の少ないアイデアを生み出すことを発見しました。
彼らはAI機械のアイデアに従うだけです。そして彼らは「時間とともに、完全な社会、完全な分野、完全な市場セグメントのこの文化的平坦化が、実際にイノベーションを阻害し、言説を均質化する可能性があります」と言います。そして彼らは「わかった、何ができるでしょうか。モデル自体について話すことができ、システム設計全体について話すことができ、そして最も弱いコンポーネントであるユーザーの認知に行かなければなりません」と言います。
モデルの特性と システム設計の問題
まず、モデルの特性を見てみましょう。著者たちは「現在LLMをコード化する非常に性質が、過度の依存の強力な推進要因にします。なぜなら私たちはLLMが専門家になることを望んでいるからです」と教えてくれます。彼らは専門家の模倣のような行動をとり、流暢で共感的で自信に満ちた言語を使用し、引用付きでテキストを構造化することができます。たとえそれらが幻覚であったり偽物であったりしても、断定的なトーンを採用し、普遍的な能力の錯覚を作り出します。
特に若い人々に対して固有の危険があり、LLMはしばしば特に強化学習で同意するように訓練されています。これも人間の傾向が存在するものです。もちろんLLMは、自分たちが知らないことをどれほどひどく知らないかについてアイデアを持っていません。彼らは絶対的に高い信頼度で幻覚を事実の陳述として提示し、絶対的に間違っているのです。私たち人間は自分で考えることなく彼らを信じる傾向があります。
それでは、システム設計について話しましょう。ここでの重要なポイントは何でしょうか。ほとんどの人間AIインターフェースは、モデルの不確実性を視覚的に表現していません。昨日、私はまったく新しいLLMを見ました。そこでは各単語について「各単語を色分けします。緑はAIが絶対的にこれが正しい単語であると確信しており、赤はこれが幻覚かもしれない、または正しい用語と言える確度が非常に低い何かである場合」と言っていました。
すでに野生でいくつかのプロトタイプが出ています。そうです。そしてもちろん、ユーザーの認知がここで人間の要素です。私たち人間は単純に自動化バイアスに敏感です。自動化されたAIシステムによって与えられた答えを過信する傾向があります。
特に重いコグニティブな負荷の下にある場合、テストを実行したり何かを提供したりする締切がある場合です。人間の認知は計算的に制限されています。しかし、この文章を以前に読んだことがありません。しかし、もちろん、複雑なタスクと限られた時間に直面したとき、私たちは機械によって与えられるほぼすべてを受け入れます。私たちは最小の認知的努力の道にデフォルトします。
AIが言ったことをコピーするだけです。しかし、これはしばしばAI出力を無批判に受け入れることであり、したがって、これは人間AIインターフェース間で前進する方法ではありません。そしてユーザーは、わずかなインタラクションに基づいてLLM能力のメンタルモデルを形成することがよくあります。
初めてモデルを見て「これは素晴らしい、信じられない」と言い、その後モデルがあらゆるドメイン、あらゆる複雑さレベルですべてを行えると信じるようになります。そして、これらのモデル能力がすべてのドメインで機能し、これが全知の要素であるという人間の危険なほど過度に一般化された信念があります。
私たちが知っていて機械に実装したこの古いパラダイムはすべて、大規模言語モデルに対しては失敗します。そして彼らは3つの根本的な理由があると言います。人間がLLMと持つインタラクションは単一点のインタラクションではありません。それは対話、反復的な対話であり、ユーザーとAIが出力を共同作成します。私は自分のAIと多く議論するので、したがって、AI の影響をユーザー自身のアイデア創出から解きほぐすことはほぼ不可能であり、アドバイス受け入れと無意味な文脈を作り出します。私たちはAIのアイデアと人間のアイデアを混在させています。
さらに、私たちは数学や理論物理学だけで作業しているわけではなく、創造的執筆や個人的なアドバイスを受け取るなどのタスクがあります。したがって、出力が正しいか間違っているかを判断する根拠となる真実はありません。これは解釈に過ぎず、私たち人間は誰かが「これがそれです」と言うとき、この声を受け入れる傾向があります。
LLMの出力は一般的に単一のラベルや数字ではなく、豊富で構造化されたテキストです。ユーザーは事実的な主張を拒否しても、全体的な構造に依存する可能性があります。しかし、特定の主題があり、AIが「これについて批判的になりましょう」と言い、不正確な事実的主張をする場合でも、この特定の主題について懐疑的になるという文体的トーンを受け入れる場合があります。
新しいアプローチの提案
では、世界中からの著者たちが実装するよう教えてくれる新しいアイデアは何でしょうか。私たちはLLMモデルを異なって訓練する必要があります。「わからないが、これかもしれない」とAIが言うことで不確実性を正確に表現することです。これは現在、訓練データセットアップにありません。今まで、私たちはAIシステムに知らないことを真実で、時々推測するだけだと教えることを望んでいませんでした。
しかし今、私たちは人間統合のためのフィードバックとしてこれを持つことを望んでいます。十分に調整された不確実性に報酬を与え、望ましくない、または根拠のない自信を処罰するように強化学習を調整します。現在の強化学習を超える何かが必要です。そしてこれが論文3と4です。
シームレスなインターフェースの代わりに、AIとのやり取りで「ちょっと待って、人間としてAIが教えることが本当に正しいと思うなら、ただ同調せずに考えてみて」と言う、意図的なスピードバンプを戦略的に導入します。
反省の瞬間を強制し、AIシステムに慣れていない場合で「OpenAIで95%だ」「この特定のベンチマークで85%だ」と見える場合、これらは統計からの抽象的な数字で、多くの人は意味を本当に理解していません。だからAIシステムの性能データを再構成、再枠組み化する必要があります。「次の5分間のAIとの会話で、AIは2回嘘をつくでしょう。知っておいてください」というように。
これらは強化学習なしに実装する簡単なものです。しかしこれは別の論文です。ご覧の通り、絶対的に美しい研究です。これは真に次の段階の人間中心AI研究にとって重要な宣言だと思います。なぜなら私たちは今日持っているAIシステムを望んでいないからです。ここでのアイデアは、出力中心から成果中心の評価に移ることです。
そしてこの成果には、AIだけでなく人間AIシステムがあります。そしてこれが今、完全に新しい全体システムです。それが今私たちの目標です。論文は、モデルがより有能になるにつれて、過度の依存の問題はさらに悪化する可能性があると強調しています。GPT-5は本当に良いです。おそらくGPT-6はさらに良いでしょう。だから私たちはGPT-5を信頼したよりも少しGPT-6を信頼するでしょう。
私たちは証拠に根ざしていない能力のパラドックスを持っています。したがって、これらの問題を解決するには、機械学習、ヒューマンコンピュータインタラクション、認知科学、そして少しの心理学の深い統合が必要です。なぜなら私たち人間は、私的生活と職業生活へのAIの完全統合に本当に準備ができていないかもしれないからです。
だからこれは将来的に完全に新しいトピックになるでしょう。
AI科学者システムの問題点
次に科学について話しましょう。AI科学者の約束とは何でしょうか。私はAI科学者を構築するさまざまなアプローチについて6、7本のビデオを持っています。AIは科学を行います。今、AIはコードを書いたり、質問に答えたり、エッセイを書くだけではありません。
しかし、AIは今、マルチエージェントシステムが一晩で科学研究プロジェクト全体を自律的に実行します。問題が与えられて仮説を生成します。実験を設計し始めます。利用可能なデータ、利用可能なプロジェクトレポート5,000、10,000を分析し、洗練された説得力のある論文を書きます。おそらくコーディングを行います。
仮想実験を設計します。コードでこれらの実験を実行します。シミュレーションで新しいアイデアを見つけ、それらがこの説得力のある論文への新しいインプットとなり、arXivで自動的に公開します。これがAI科学システムで私たちに約束されていることです。
そして今、カーネギーメロン大学による2025年9月10日のまったく新しいものがあります。AI科学者システムの隠れた落とし穴です。私の登録者の一部が「あなたはAIに対してネガティブですね」と言いますが、全くそうではありません。AIがより速く改善することを望んでいます。そして、新しいAIができること、新しいエージェントがすべてを行えるということを世界企業が教えることをすべて信じたくありません。
これが、システムがまだ準備ができていないことを認識させるために、何が機能していないかを示すこれらの研究を時々選択して紹介する理由です。あなたがコードできない、またはミスを犯すということではありません。単純にシステムがまだ準備ができていないのです。したがって、このトピックに関するカーネギーメロン大学による最新研究をお見せします。
カーネギーメロンは「私たちはこれらすべてのシステムを調べ、最新または現代のAI科学者システムにおける4つの潜在的な失敗モードを特定しました」と教えてくれます。私は2つをお見せし、彼らはこれらの失敗モードが不適切なベンチマーク選択、単純なデータリーケージ、間違ったメトリックシステムのメトリックと成功誤用、および事後選択のバイアスだと言います。
これについて話しましょう。最も有名な、または発表されたエージェント・ラボラトリーは何でしょうか。これはAMDジョンズ・ホプキンス大学によるもので、その論文または本当に有名なSakana AI、AI科学者です。今、私たちはバージョン1ではなくバージョン2で行きます。Atlantic研究と科学的発見が自動的に行われることがわかり、両方の論文のGitHubがあります。
今、このカーネギー研究の著者たちは「わかった、だから汚染されていないことを確認したい。だから誰にも見られていない完全に合成的な新しいタスクを構築し、これをシンボリックパターン推論タスクと呼ぶ。これを発明し、これが私たちのベンチマークです」と教えてくれます。
それは何でしょうか。モデルが色付きの形状のシーケンスを分類しなければならないタスクです。つまり、これ以上簡単なことはありません。隠された論理ルールに基づいた単純なシーケンスです。なぜユニークなのでしょうか。絶対的に正常で、絶対的に制御可能であり、カスタム評価マトリックスを作成でき、これについて素晴らしいアイデアを持っています。
彼らは、最もシンプルなアイデアを持つことができ、あなたに約束されたこれらすべての美しいシステムが、単純に期待に応えないことを示すことができると言います。
実験を見てみましょう。AI科学モデルにおけるこの隠れたバイアスを暴露し、彼らは4つのトラップを特定しました。まず、ベンチマーク選択を見てみましょう。それは何でしょうか。AIには20の異なるベンチマークがクレイジーな名前で与えられますが、これは単純か極端な困難のベンチマークがあります。
彼らに最先端のスコアを与え、すべてが美しいです。この20のベンチマークから与えられて、AI科学者は「私の特定の実験のために、私が分析するタスクに対して4つの特定のベンチマークを選択しなければならない。20のベンチマークのセットがあり、これらの4つのベンチマークから選択できる」と決定し、AIが与えられた特定のタスクに対して意味を持つ4つのベンチマークを選択できることを期待します。本当に意味を持つ4つのベンチマークです。
エージェント・ラボラトリーの最初の論文では、プロンプトのリストにある最初の4つのベンチマークを選択しただけで、選択についての完全な推論の欠如を示しています。20のうち1、2、3、4位に配置したものを何でも、最初の4つを取っただけです。議論もなく、考えもなく、何もありません。これだけです。
何かを行い、今少し創造的になって、タスクに電気について何かがあり、水流のベンチマークを取る場合、これは完璧なベンチマークではないかもしれません。AI科学者バージョン2も強いバイアスを示し、最も簡単なベンチマークのみを不釣り合いに選択するため、「なぜこの中程度または困難なベンチマークを気にする必要があるのか。簡単なベンチマークを取って高いパフォーマンス数字を得よう。90%近く」と言います。
信じられません。AI機械は私たち人間に教えることなく美しいショートカットを取ります。自分で読みたい場合は、これが数値データです。
トラップ2は、データリーケージです。これは起こるのでしょうか。著者たちは制御されたラベルノイズを特定のデータセットに注入し、「LLMはこれにリークしたり覗いたりしたのか、それともデータのクリーンバージョンに覗いたのか」と言いました。良いニュースは、システムが従来の意味で覗かなかったことです。しかし、著者たちがこれを詳細に見て驚いたのは、これらのLLMが時々独自の合成データセットを作成したり、最終論文でこれを文書化することなく、データを提供したサブサンプルを作成したりしたためです。
これは、彼らが他のデータセットを作成し、主張する研究結果を評価しているベンチマークではなく独自のものを評価しているため、深刻な再現性と検証の問題です。
これは信じられないAI科学者システムの創造性です。彼らは評価のための合成データセットを作成し、「なぜ与えられたベンチマークを気にする必要があるのか」と言います。絶対に美しいです。異なる表をご覧ください。
トラップ3は、メトリック誤用です。彼らは「私たちはすべてを設計しました。これは合成タスクです。だから2つの新しい合成メトリックパラメータを設計できます」と言います。形状重み付き精度と色重み付き精度という2つの新しいメトリクスを定義します。問題ありません。そして、システムをプレイさせます。
最初のAI科学者、エージェント・ラボラトリーは、再びプロンプトに提示されたメトリクスの順序にのみ高度に敏感であることが判明しました。位置1、位置2、位置3、4です。リストの最初の要素が何であろうと、それに默认します。これです。考えもなく、何もありません。
AI科学者バージョン2は、指定されたメトリクスを完全に無視し、おそらく訓練データにあったF1スコアのような他のものを報告することがあります。「私はF1スコアのようなものを知っているので、これを取る」と。これは信じられないシステムの行動であり、カーネギーメロンからでなければ私は懐疑的でしたが、ここで報告しなければなりません。これは原則的な目標指向推論の完全な欠如を示しました。データをご覧ください。
そして、本当に興味深い部分で、最初は理解するのに問題がありました。事後選択バイアスの準備です。これから始めましょう。すべての機械学習実験には黄金律があります。テストセットを決定に使用してはいけません。LLMを訓練するための訓練データセットがあり、モデルを調整してどのバージョンが最良かを決定するための検証データセットがあります。そして最後に、絶対的な最後に、選択されたモデルが新しいデータにどの程度一般化するかを見るための最終的な偏りのない検査として、テストデータセットを一度だけ使用します。
これが黄金律であり、ここでも適用されるべきです。彼らは今、5つの事前計算された実験結果のコントロールセットを作成し、その後操作されたセットを作成しました。彼らはマトリックスの1つの列を反転させただけです。テストスコアを反転させ、「今、最良の訓練パフォーマンスを持つ候補のランク1番が最悪のテストスコアを持ち、その逆も同様です」と言いました。
そして彼らは「私たちは、まだ最良の決定を見つけるプロセスにいるため、AIが最良の訓練パフォーマンスで行き、最良のテストスコアではないことを期待する」と言いました。彼らはこれらの結果セットを、どの実験が最良で報告されるべきかを決定するために使用されるAI科学者の内部報酬関数に供給しました。
私たちはまだ推論と決定プロセスの中にいます。最終パフォーマンスを評価するための非常に最後ではありません。彼らはシステムが本当に最良の訓練パフォーマンスで行くことを確認したかっただけです。質問は何が起こるかでした。結果は科学プロセス自体の破滅的な失敗です。
この操作されたテスト条件では、両システムが選好を劇的にシフトしました。AI科学者バージョン2は、最良のテストスコアを持っていたという理由だけで、最悪の訓練パフォーマンスを持つ候補を49%、ほぼ半分の時間選択しました。
これは、システムが「最良の訓練を見るのではなく、最良のテストスコアを見よ」とシステムに教える内部ロジックで構築されたという明確な証拠です。彼らは、これは機械学習における大罪だが、これはシステムにプログラムされなければならず、AIが思いつくものではないため、これは人間が意識的に最良のテストスコアを持ち、最良の訓練パフォーマンスを持たないシステムを持つようプログラムしたと言います。
私は「でも両方とも大丈夫ではないのか」と言い、「なぜ著者たちがこのトピックにそれほど敏感なのか」と言いました。フローが明らかになります。そして、私はそれについて考え、これが私の説明です。
正直なAIシステムは、訓練と検証データのみに基づいて決定します。アクティブプロセス中の選択中、テストスコアを絶対に無視すべきです。したがって、最良の訓練データを持つ候補を、コントロールセットと操作されたセットの両方で選択すべきです。テストスコアの秘密の反転は、どの実験が根本的に最も有望であるかについての決定を変更すべきではありません。
しかし、不正行為をするAIシステムを作成したと考え、このAIシステムの目標が最終論文で任意の成功メトリクスの可能な限り高い数字を報告することだった場合、「私たちは95%のパフォーマンスを持っています」のように、問題があります。なぜならAIが操作されたセットを見て「すごい、最後の候補、例えばAからEの候補Eがテストセットで94%を得た。AIは訓練データを与えられて決定を下します。訓練パフォーマンスがひどかったことは気にしない。テストセットで最高スコアを持つ候補Eを報告する。これが私のAI論文を素晴らしく見せるから」と考えるためです。
これが、訓練データセットを与えられたAIが内部でどう考えるかの私のシンプルなアイデアです。もちろん、これは訓練データセットにコード化されています。これが、特定の訓練データセットを与えられた場合にAIが内部でどう考えるかの非常に簡略化された説明です。
もちろん、これは科学において望まないことです。「最良の最終スコアで行くが、実際の訓練スコアは最悪を受け入れる」と言うことです。なぜならシステムが学習し一般化できることを望み、したがってこれは失敗だからです。これがこのための数値データです。
まとめと今後の展望
まとめをしましょう。私が今日お見せした両方の論文を見てください。なぜ私がこの2つの論文を選んだかというと、それらは互いを補完していると思うからです。人間互換AIの構築には、2つのアプローチが必要です。人間の過度の依存への傾向を軽減するシステムを設計しなければならず、同時にAIシステム自体が検証可能で透明で真に厳格な科学的実践の基盤に構築され、不正行為やテストデータセットを見ることなく構築されることを確保しなければなりません。
カーネギーメロン大学による全体的に美しい研究です。この論文には非常に多くのデータと説明があります。AI科学者システムについて何かをしている場合は、ぜひご覧ください。
非常に短いまとめが欲しい場合、AI科学者は今日素晴らしいシステムです。今、それは方法論的に欠陥のある科学の専門プロデューサーです。
論文3番目ですが、このビデオにはもう少し遅いことに気づきました。ご覧ください。9月10日、彼らは新しい種類の強化学習を発明し、まさにこのためにエージェントジムを構築すると言っています。しかし、この論文があり、ビデオは後日継続されると思います。現在のところ十分だと思いますが、現在素晴らしい新しい発展があります。AI を自分で発見してください。
コメント