28,153 文字
私はナタリー・コン、オープンAIフォーラムのコミュニティアーキテクトです。私たちの講演は全て、オープンAIのミッションを思い出すことから始めたいと思います。それは、人工知能が全人類の利益となることを確実にするということです。
今年の講演シリーズの締めくくりとして、私たちの大好きなゲストの一人であるテレンス・タオ教授と、私の非常に刺激的な同僚であるマーク・チェンとジェームズ・ドノバンをお迎えします。
テレンス・タオはUCLAの数学教授で、研究分野には調和解析、偏微分方程式、組み合わせ論、数論が含まれます。2006年にフィールズ賞を含む多くの賞を受賞しています。2021年からは大統領科学技術諮問委員会のメンバーも務めています。
マーク・チェンはオープンAIのリサーチ担当上級副社長として、言語モデル、強化学習、マルチモーダルモデル、AIアライメントにおける革新的な取り組みを監督しています。2018年の入社以来、組織の最も野心的なプロジェクトの形成に重要な役割を果たしてきました。マークは責任ある研究に重点を置きながら、AI開発が社会に恩恵をもたらすことを確実にすることに専念しています。
最後に、ジェームズ・ドノバンは科学政策とパートナーシップ、グローバル業務を率いており、私たちのモデルを科学研究と商業化の加速にどのように活用できるかに焦点を当てています。彼はコンバージェント・リサーチの創業者、VCインベスター、パートナーとしてオープンAIに加わり、そこで複雑な数学のための自動定理証明器であるLeanfroなど、複数のムーンショット科学組織の立ち上げを支援しました。
オープンAIフォーラムへの特別ゲストをお迎えしましょう。
素晴らしい、ナタリー、ご紹介ありがとうございます。ジェームズです。今夜このような素晴らしい方々とご一緒できることを光栄に思います。始める前に、ナタリーとチームの皆さんに、このような場を設けていただいたことに感謝申し上げたいと思います。これだけ多くの人々を集めて、いつものように円滑に運営することは簡単なことではありません。特に私にとって、お二人とお話しできる機会を得られたことは大変光栄です。ありがとうございます。
また、これは今年のフォーラムイベントの締めくくりですが、いつものように来年へと続く始まりでもあります。そこでは、私たちのモデルが科学とどのように交差し、より広い世界のために安全かつ公平に科学を加速させることができるかという点に焦点を当てていきます。
では、テリーとマーク、まずはお二人それぞれが現在取り組んでいる最も興味深い問題は何か、そしてなぜそれらの問題を解決することが重要なのかについて、お聞かせいただけますでしょうか。
はい、解決したい技術的な数学の問題はたくさんありますが、今回の会合により関連する点として、私は数学を根本から作り直し、これらの新しいツールを使って以前にはできなかった方法で協力し、以前にはできなかった規模で数学を行う方法に非常に興味があります。これは新しい発見の時代になる可能性があると思います。
現在、数学者は一度に1つの問題に取り組み、その問題に何ヶ月も費やしてから次の問題に移ります。しかし、これらのツールを使えば、一度に何百、何千もの問題を調べることができ、本当に異なるタイプの数学を行うことができる可能性があります。その可能性に非常に心躍らされます。
マークはどうですか？
そうですね、この1年間、私たちの大きな焦点の1つは推論でした。GPT-4以降、私たちは少し焦点をシフトさせました。GPT-4は実質的にとても賢いモデルで、多くの知識を含んでいますが、多くの面で愚かでもあります。単純なパズルでつまずいたり、パズルがどのように展開するかについての事前知識に非常に依存していると、同じようなパターンマッチングの間違いを犯すことがよくあります。
これらは、モデルの深い推論能力の欠如を示唆していました。そこで私たちは、現在O（オー）シリーズと呼んでいるモデルの開発に焦点を当てています。これらはシステム1の思考者というよりもシステム2の思考者に近いモデルです。直感的な素早い反応を与えることは少なく、応答を生成する前に問題についてしばらく考える時間を取ります。
研究アジェンダの重要な問題をもう2つ挙げると、1つはデータ効率です。世界中のデータ（存在しないデータも含めて）をどのように取り込むかということを気にかけています。3つ目は、非常に実用的な問題として、ユーザーにとって直感的で楽しい体験をどのように作り出すかということです。
確かにその最後の問題は数学の世界を少し超えているかもしれませんが、そのヒューマンコンピュータインターフェースの問題は重要ですね。テリー、マークが説明したo1モデルについて具体的にお聞きしたいと思いますが、その前に、あなたは以前から「産業規模の数学」や数学における新しい協力の方法について言及されてきましたが、それについて少し詳しく説明していただけますか？
はい。数学は常に非常に難しい活動として認識されてきました。そして現在もそうですが、その理由の1つは、複雑な目標を達成するために、1人の人間、あるいは少数の人間に多くの異なるタスクを依存しているからです。
数学で進展を得るためには、まず良い問題を考え出し、それを解決するためのツールを見つけ、文献を学び、いくつかの議論を試み、計算を行い、議論が正しいことを確認し、そして説明できる形で書き上げなければなりません。さらに、講演を行い、助成金を申請するなど、他にもたくさんの異なることをしなければなりません。
これらは全て異なるスキルです。他の産業では分業があります。例えば、映画を作る場合、1人の人が映画を制作し、編集し、演技し、資金調達を行うということはありません。異なる役割があるのです。
しかし、最近まで数学ではこれらのタスクを切り離す方法が見つかりませんでした。今、これらのツールを手に入れたことで、原則的には、1人がビジョンを持ち、1人または恐らくAIが計算を行い、別の人が論文を書くといった協力が可能になります。
つまり、全ての側面の専門家である必要がなくなるのです。良い数学者になるために必要なことのチェックリストを見て、多くの人が数学をすることを諦めています。しかし、データを見てパターンを検査することが得意な人がいて、そのパターンが存在するかどうかをAIに確認してもらうことができるかもしれません。適切な問題を見つけることは得意ではないけれど、より大きなプロジェクトの非常に狭い特定の部分に取り組むことができる人もいるかもしれません。
これらのツールを使えば、タスクをより分割し、モジュール化することができ、いくつかのタスクはAIが、いくつかのタスクは人間が、いくつかのタスクは形式的な証明支援が、そしていくつかのタスクは一般の人々が行うことができます。
他の分野では市民科学があります。彼らは彗星を発見するアマチュア天文家や蝶を集めるアマチュアの生物学者を持っています。しかし、非常に小さなフリンジプロジェクト以外では、アマチュア数学者を活用する方法を持っていません。
大きな可能性があり、多くのことを試してみて、何が成功するかを見る必要があると思います。
テリー、1つ質問があります。AIを別にして、これまでに1つの数学プロジェクトに協力して取り組むことができた人間の最大数はどのくらいですか？また、上限があるとお考えですか？
実際には、5、6人が限界です。それ以上になると、お互いの仕事をチェックすることや、全員を同じ部屋に集めることなどが本当に難しくなります。
多くの著者を持つプロジェクトは少数ありますが、例えば証明の形式化プロジェクトなどです。大きな証明を形式化することは、すでに数学の中でクラウドソーシングと分割方法を知っている数少ないタスクの1つです。GitHubなどで実行し、全ての貢献はLeanなどの形式言語で検証されるため、20人、30人の著者を持つことができます。
Leanには、全ての学部数学を含むmathLibというものがありますが、これは正式には研究プロジェクトではありませんが、技術的には何千人、少なくとも何百人もの著者がいると思います。ただし、形式数学の分野でのみ、大規模な協力が見られるのが現状です。
素晴らしい。Leanチームへの賞賛に同意します。彼らは本当に素晴らしい仕事をしていて、今日のコールにLeanチームのメンバーも何人か参加していると思います。
テリー、あなたの説明を聞いていると、人間がまだタスクを分割し、プロセスについて十分理解してだれが何をするかを決定するという前提のようでしたが、最初の質問として、数学者に異なる役割や専門性が生まれると考えていますか？そしてマークに聞きたいのですが、それは常に人間が行うと思いますか、それともo自体が問題を分解する、またはoシリーズのモデルが行う世界が見えますか？
ソフトウェアエンジニアリングを、数学が向かう可能性のある場所のテンプレートとして見ています。過去には、数学者が今すべてを行うのと同じように、1人の英雄的なプログラマーがすべてを行っていたかもしれません。しかし今では、プロジェクトマネージャー、プログラマー、品質保証チームなどがいます。
そのようなことが想像できます。現在、私はいくつかのプロジェクトに関わっていますが、それらは理論的な数学のコンポーネントと形式的な証明のコンポーネントの両方を含み、人々は様々なコードやアルゴリズムも実行しています。
すでに予想通りに専門化が進んでいます。数学は知らないけれど、定理の形式化が非常に得意な人がいます。彼らにとってはパズルを解くようなものです。そして、GitHubの運営やプロジェクト管理、バックエンドがスムーズに動くようにすることが得意な人がいます。データの可視化を行う人もいます。私たちは全員が協力しています。
これまでのところ、主に人間と、より古い形のAIタイプ、つまり定理証明支援や単にPythonコードを実行するようなものでした。しかし、それは十分に良くなれば、AIが非常にうまく適合するパラダイムだと思います。
それはとても理にかなっています。私も今日では多くの面でAIを共同作業者として扱っているように感じます。私が得意ではないことがあり、それをAIに任せることができます。
数学者ではないので推測に過ぎませんが、数学の問題を解決するのを助けるうえでAIが強みを持つ可能性がある分野として、まずパターンの認識があります。機械は特にデータが多い場合や、膨大な情報を探る必要がある場合に、これが非常に得意です。
パターンを特定することから、仮説を立てることができます。これも彼らが独自の強みを持つ可能性があると思います。証明戦略を考え出すことについて、テリー、これは前回も話し題にしましたが、人間は今でもおそらく次のステップについてより良い直感を持っていると思いますが、特定のステップについては盲点があるかもしれません。
前回、あなたが試していた種類のおもちゃの問題の1つで、モデルが生成関数のアプローチを提案し、その状況では実際に悪くないアイデアだったという話をしましたね。
また、検証についても、ほぼ正しいと確信しているけれど、もう一つの視点で確認したいステップについて、モデルが確認できるかもしれません。また、反例の生成についても、定理が偽である可能性のある多くの潜在的な方法を考える必要がある場合、モデルはそれをより効率的に網羅できるかもしれません。
それは非常に理にかなっています。あなた方のお二人の回答の中で、定理証明と形式化の役割についての言及がありましたが、数学を行うことと言語モデルやそれに相当する技術を使用することの間に、それらは必要な中間層だと考えていると理解して良いでしょうか？
はい、大部分は。証明は正しくなければなりません。数学の証明について言えば、100のステップがあって、そのうちの1つが間違っていれば、証明全体が崩壊する可能性があります。そしてもちろん、AIは全てのこれらの間違いを犯します。
パターンを見つけたり、仮説を立てたりするような数学の種類では、正の失敗率は許容できます。50%の正確性しかないAIでも、チェックする他の方法があれば問題ありません。
特に、議論を出力しようとする場合、AIにLeanのような言語で出力を強制することは非常に自然な相乗効果です。コンパイルできれば素晴らしいですし、できなければエラーメッセージを返して回答を更新します。
人々はすでにこれを実装しており、学部生の宿題レベルの短い証明は、この反復的な技術でできるようになっています。高レベルの数学の質問をして、巨大な証明を出力するところまでは確実に至っていません。まあ、Alpha Proofは3日の計算でできますが、スケールしません。
ソフトなことで、正の誤差率が許容できる場合は、形式的な証明支援は必要ないでしょう。しかし、1つの間違いが広がる可能性のある本当に複雑なものについては、基本的に不可欠です。
その点について続けてもらえますか。
はい、オープンAIでは、歴史の中で形式化された数学に多かれ少なかれ焦点を当ててきました。今日では少し減っていると思います。主に推論を一般的に探求したいからです。コンピュータサイエンスの分野で学ぶ推論が、数学のような分野で学ぶ推論とかなり似ていることを期待しています。
ただし、形式数学を行うことの利点は確実に理解しています。
定理証明と数学AIのアーキテクチャについて、科学の他の領域でもそれが当てはまるかどうかを見てみたいと思いますが、その前に1つ質問があります。トレーニングプロセスにおいても、数学者は全体的に間違った解き方を公表しないため、トレーニングモデルに入らない多くの間違った解き方があるでしょう。これは科学全般にも当てはまります。
あなた方お二人は、これが大きな違いを生むと思いますか？失敗した回答を公表すべきだという一種の文化的規範を推進すべきでしょうか？
それは良いアイデアだと思います。それを奨励するのは難しいです。人々は自分の間違いを認めたがりません。しかし、これは本当にAIのトレーニングデータとして重要かもしれません。
私が授業を教えるとき、最も効果的な授業は、偶然にも私が証明を準備して、授業で説明し、証明がうまくいかず、リアルタイムで修正しなければならないときです。クラスは私が様々なことを試みるのを見ます。「では、この仮説を変えたらどうなるか、この例を試してみよう」など。
後で学生からフィードバックをもらうと、それらが私の最も価値のある授業だったと言われます。それは私が間違いを犯したからでした。これは、例えばあなたのようなAIが大部分アクセスできないデータだと思います。
実際、多くの専門家は、何をしてはいけないかを教えてくれた数十年の間違いの上に専門知識を築いています。負の空間です。
より形式的な環境に移行するにつれて、始まりつつあると思います。今は証明が終わった後に形式化していますが、最終的には進行しながら形式化する段階に到達するでしょう。数学について考えながらAIと会話し、ステップを進めながら形式化しようとするかもしれません。
そしてそれがうまくいかず、後戻りしなければならないかもしれません。それによって、現在持っていないこのようなデータが自然に生成されるでしょう。
興味深いことに、多くの数学者は定理の美しさや、全てが組み合わさり優雅に表現できる「アハ」の瞬間について語ります。このようなツールを使用することで、そのような認知プロセスを失う可能性はありますか？
そうですね、電卓が普及したときにも同様の状況がありました。手計算をしなくなることで数感覚を失うと言われました。ある程度、これは事実です。50年前の数学者は、直接計算から数感覚を得ることがずっと上手だったと思います。
しかし、電卓で遊ぶことで異なる種類の数感覚も得られます。そのため、異なる種類の美の基準ができると思います。コンピュータが生成した証明の中にも、異なる方法で本当に優雅で素晴らしいものがあると思います。
しかし、AIのパラダイムが完全に取って代わるのは何十年もかかると思います。数学者は変化が遅い傾向にあります。私たちはまだチョークと黒板を使っていますからね。
本当に素晴らしい証明を作る人々はいるでしょう。AIが生成した数学を取り、それをより人間的なものに変換する数学者の一群が出てくると思います。それは将来的によくある仕事になるでしょう。
マーク、テリーからそのような回答を聞くとき、推論の質を高めることだけでなく、人間がどのように出力と協働できるかという側面についても多くの考慮を払っているのでしょうか？
はい、強化学習について考えるとき、モデルに incentivize を与え、モデルに間違いから学ばせることも含まれます。それは私にとって非常に共感できることです。
そして、それが強固で強力な推論スキルを開発する方法だと思います。正確な推論の例をたくさん見せられても、数学的推論には非常に多くの負の空間があるため、十分ではありません。
モデルはより有用になると思います。私はこの点についてかなり楽観的です。影響という点では、人々が美的感覚や直感を失うというよりも、新しい抽象化の層や新しい抽象化と直感が形成されるかもしれないということが本当に興味深く、それはかなりありそうなことだと思います。
はい、それは見てみたいですね。特に近い将来に起こるとすれば。
本当に興味深い流れですね。私自身の生物学の世界では、これらのモデルは otherwise 無関係と見なされていたものの間にパターンを見つけ、基礎となる統一性を多く見つけるだろうという前提があります。それは多くの低いところにある実がまだ気付かれていないという考えに基づいています。
一方で、数学や物理学の一部のような分野では、活動の方法自体の洗練が重要で、それが根本的に異なる可能性があると感じています。テリーとマーク、これは数学教育や特にフロンティア数学研究を行う人々のサポート方法に影響を与えると思いますか？
はい、もちろん学生たちはすでに大規模言語モデルを使って、最も明白なのは宿題のサポートですが、トピックについて別の視点を得ることにも使っています。
教育者も、実際に私たちの教育に大規模言語モデルを統合する方法を見出しつつあります。例えば、数学の問題や他の分野の問題を提示し、GPTの回答を示して「この回答は間違っています。批評してください」と言ったり、AIと会話をして実際に回答を修正するように教えたりすることが増えています。
実際、ある授業では、教師が授業の模擬期末試験を配布し、プロンプトエンジニアリングとデータ分析を使って、期末試験の合成バージョンを生成し解決する方法をAIに教える、というグループプロジェクトを行いました。
彼らはプロンプトを扱うグループとベンチマークを行うグループを作りました。申し訳ありません、ライトが消えてしまいました。しかし、例えば合成試験を生成するためにデータを生成する必要があり、そのためには本当に授業の内容を理解する必要がありました。それは両方を深く掘り下げる口実となりました。授業の内容とこれらのAIツールの使い方の両方を学ぶことができました。私たちはこれら2つを組み合わせる革新的な方法を見つけるでしょう。
マーク、時々人々は懸念を示しますよね。AIシステムへの依存度が高すぎると、スキルが低下したり洞察力が失われたりするのではないかと。テリーの意見も非常に気になりますが。
はい、まあ、彼がライトの問題を解決している間に、私が…
はい、暗闇の中の孤独な天才という、とても劇的な演出でしたね。
では、あなたの質問は何でしたか？
AIツールへの依存が一般的な数学のスキルの低下や洞察力の喪失につながる可能性があるかということです。
スキルの移行があると思います。一部のスキルは使用頻度が下がりますが、他のスキルをより頻繁に開発することになるでしょう。
チェスの例があります。チェスは今や本質的に解決された問題ですが、人々は依然としてたくさんチェスをプレイしています。しかし、彼らの練習方法は今では全く異なります。異なる手を試し、それがいい手かどうかをチェスエンジンに尋ねます。
例えば、チェス理論は盛んです。チェスボードのどの部分を支配するのが良いかなど、100年も前からある格言が、人間がチェスエンジンにさまざまな質問をすることで、今実際に再評価されています。これは、標準的な「たくさんゲームをプレイし、たくさんの教科書を読む」という方法とは異なる方法でチェスについての直感を得ることです。
はい、それは変化です。トレードオフですが、私はプラスの方が大きいと思います。
はい、人々が私に、これから出てくるAIにどのように適応すべきかと尋ねてくることもあります。私は、突然特定の科目の勉強を放棄する必要は全くないと思います。
本当に人々はAIを受け入れ、それが彼らをより効率的にする方法を見るべきです。特に数学では、もし何か日常的なことで、すでに内部を完全に理解している場合、モデルに操作を実行させることができ、多くの退屈な計算を手助けしてもらえます。
科目の非常に深い理解にはまだまだ価値があると思います。今日の機械学習でさえ、最大の変化を起こしているのは、数学やシステムを非常に深く理解している人々です。そしてそれは大きなレバレッジであり続けると思います。
また、抽象化に焦点を当てることも重要です。人間には数学の核心に結びついた特定の美的感覚があります。他の人間がその美的感覚を判断するため、モデルは問題を定義し、センスを持つという点で、それをエミュレートするのが難しいかもしれません。
もちろん、数学は良いスキルです。それは非常に転用可能で、しっかりとした推論を教えてくれます。数学者は一般的に非常に適応力があると思います。したがって、数学に深く投資しない理由は全くありません。
マーク、あなたが数学の美的感覚について話すのは興味深い点ですね。少し抽象的になりますが、私たちの数学の概念化の仕方が、人間として私たちが現実を経験する方法に何らかの形で結びついている可能性はありますよね。
もし非常に洗練された数学を行うモデルを持つようになれば、人間が検証したり理解したりすることさえ超える能力を持つ点に到達する可能性があります。近い将来にそのような未来が実現する可能性があると考えますか？もしそうなら、それにどう対応しますか？
実際、数学者が誰一人として完全には理解できないような巨大な証明を生み出すことは、すでに起こっています。私たちはすでに多くのコンピュータ支援を使用しています。テラバイト単位の証明証明書を必要とするものもあります。なぜなら、大規模なSATソルバーの計算や大きな数値モデリングが必要だからです。
また、文献の何百もの論文の塔の上に構築された証明もあり、以前の結果をブラックボックスとして扱い、誰一人としてすべてを理解していません。ですから、私たちはある程度これに慣れています。
数学には抽象化の言語があるので、私たちはこれに対処できます。複雑な証明を区分けして、一つの部分だけを理解し、他の部分はコンピュータや人間が理解していることを信頼すればいいのです。それでうまくいきます。これは続いていくでしょう。AIが生成した大きな複雑な議論があり、願わくば形式的にも検証されるでしょう。
これは既に起きているトレンドが加速しているだけだと思います。本当の段階的な変化とは思いません。
はい、はい。私の懸念の多くは同様です。エラーが伝播したり、人々が結果の上に構築を重ねていったりする可能性があります。特に、コンピュータが生成した新しい洞察の量が増加した場合、何か間違った数学の上に構築してしまう可能性がありますよね。
オープンAIで私たちが非常に懸念しているのは、より一般的なスケーラブルな監督の問題です。つまり、モデルが長時間「考え」、ある種の基本的な洞察に到達した場合、それに至るまでに多くの思考を重ねたとして、モデルが間違いを犯していないことをどうやって知るのか、それが正しいとどうやって分かるのか、どうやって信頼するのかということです。
これは数年前には非常に理論的な問題に感じられたかもしれませんが、今日では、モデルは非常に難しい問題を解決する能力を持っています。そのため、問題に対して正しい答えを出したことをどのように検証し、信頼するかということは、本当に現実的な問題なのです。
しかし数学は、形式的な検証があるため、私たちにチャンスがある唯一の場所です。それは自動化された方法でも行うことができます。
確かにそうですね。そして最終的には、その進歩が物理学、化学などの他の全ての科学分野の進歩につながることを期待できますよね。数学的証明からそれらの分野へと派生させる方法を見つけることができれば。
今日この場には、実際に数学に携わっている学生やその他の方々がたくさんいらっしゃいます。そこで、いくつか非常に実践的な質問をさせていただきたいと思います。
AIやAI関連ツールを使用することで大きな変化はないかもしれませんが、数学の実践的な面で変化する可能性のある文化的な要素がいくつかあります。その独特の要素の一つが数学のコンペティションです。あなたは最近、まさにそのテーマでブリストルにいらっしゃいましたよね。LLMsに対応するために数学のエコシステムが実際に変化すると思いますか？もしそうなら、どのように変化すると思いますか？
変化するでしょう。正確にどのように変化するかを予測するのは難しいですが。今は技術的に実現不可能なために人気のない新しいタイプの数学が出てくると思います。
特に実験数学は、数学全体のごく一部を占めるに過ぎません。数学は95%が理論です。これは全ての科学の中でも異常で、通常は実験と理論のバランスがとれているものです。
しかし、実験は難しいのです。本当にプログラミングが得意でなければなりません。または、タスクが数学者のプログラミングスキルの範囲内で、通常のソフトウェアで自動化できるほど単純である必要があります。
しかし、AIを使えば、はるかに洗練された探索ができるようになります。従来なら1つの微分方程式を研究するところを、AIに「この微分方程式の分析をしてください。そして、このリストにある次の500個の方程式にも同じ分析を繰り返してください」と依頼することができるかもしれません。
これは現在の従来のツールでは自動化できないことです。なぜなら、ソフトウェアが問題を理解する必要があるからです。そのため、数学のタイプが変化すると思います。
すでに協力的になる傾向があり、それはAIによってさらに加速するでしょう。しかし、少なくとも今後10年か20年は、私たちはまだ論文を書き、査読を行い、教えることを続けると思います。仕事の中でAIをより多く使用するようになるという大きな変化はないでしょう。ちょうど私たちが他の方法でコンピュータ支援をより多く使用するようになってきているのと同じように。
はい、コンペティションについて言えば、プログラミングコンペティションについて少し話せると思います。私が知っている多くの人々にとって、それらは根本的にはあまり変わらないと思います。それを多くやる人々にとって、それは本当に楽しいものです。得られる技術的なスキル以上のものがあると思います。
そして不正行為は問題になるでしょう。それが唯一の…
はい、その通りです。
はい、これは非常に深い問題でもあります。例えば、モデルが非常に難しい問題を解決できるとき、どのように面接を行うかということです。
しかし、人々がコンテストに参加する大きな理由の一つは、それが楽しいからだと思います。チェスとの類推は良い例だと思います。
不正行為は確かに一つの要素ですが、おそらくより意図的でない、あるいはルールを破ろうとしない要素は、帰属の問題かもしれません。LLMsによって大部分の形式化が行われたり、組み合わせ的なアプローチによってLLMsから新しいアイデアが生まれたりする世界では、どうなるでしょうか。
ブレイクスルーを直接LLMsに帰属させる世界を想像できますか？そしてそれはどういう意味を持つでしょうか？
これは私たちが直面しなければならない大きな問題になるでしょう。現在の論文の著者モデルでは、科学では一人の主著者と多くの二次的な著者がいます。
数学者は、まだそうしていません。私たちはまだ姓のアルファベット順に並べており、誰が何をしたのかという問題を大きく無視してきました。私たちは皆が平等に貢献したと言うだけです。
将来の論文では、帰属をより正確にする必要があると思います。科学では、すでに著者の貢献について、誰が何をしたのかというセクションを書く傾向があります。GitHubを使用している場合は、GitHubのコミットを見ることもできます。
そして、おそらくデータを自動的に検査し、誰が何をしたのかを何らかの形でまとめる方法があるでしょう。コミットの半分がAIによって行われるようになった場合、AIを共著者に昇格させるべきか、少なくとも謝辞に入れるべきかという問題があります。
まだこれに関する規範がありません。いくつかのテストケースと論争があり、最終的には誰もが納得する何かを見つけることになるでしょうが、私にはその答えはありません。
また、全く同じではありませんが、アクセスに関連する問題もあると思います。モデルが証明の大部分を提供し続けるとすれば、計算能力により多くアクセスできる人々や、数学を行う上で有利な立場にいる人々がいるということになります。
確実に考えなければならないことですし、まだその考えの筋道をどのように追っていけばいいのかよく分かりませんが、確かに難しい問題です。
興味深い状況になりそうですね。クリエイティブな側面では、すでに帰属と所有権に関する質問が出ていますが、科学にますます関わっていくにつれて、知的財産やR&Dサイクルに関してどう考えるかが興味深くなるでしょう。
そのような応用数学や科学全般のトピックについて、数学者でない人々のために、私たちは数学を行う行為が変化することとその重要性について多く話してきました。メカニズムの達成方法は別として、もし基礎的な数学が意味のある形で加速される場所に到達したとすれば、世界で何が起こることを期待しますか？それは社会の残りの部分に対して何を解き放つのでしょうか？
そうですね、市民の数学への参加を増やす可能性があると思います。例えば、地球は丸いのか平らなのかについて人々が議論していることは驚くべきことですが、AIがあれば実際にモデルを構築し、「では、平らだとしたら、空はどのように見えるでしょうか」などと言うことができます。
現在は、物事がどのように変化するかを理解するためにはかなりの数学が必要です。しかし、これらのツールがあれば、実際にビジュアライザーを作成し、この宇宙の理論がどのように見えるかを見ることができる可能性があります。
つまり、純粋な技術的スキルの必要性のために現在は除外されていると感じている多くの人々と数学をつなげることができると思います。
このような数学をより良く行うことは、他の応用科学的アプリケーションでAIを使用するための前提条件だと思いますか？工学や物理学を加速するための前提条件なのでしょうか？また、マークにも、これが必要な最初のステップだと考えているかどうかをお聞きしたいと思います。
そうですね、科学の多くはすでに数学に基づいています。数学を理解していなければ、数学なしで正確にモデル化することはできません。そして、バックエンドでは、AIを訓練したい場合、多くの数学が必要です。
生物学者やその他の分野の人が、AIに統計的研究を依頼し、パラメータの詳細を知る必要がない世界に入る可能性はあります。AIが十分に信頼できれば、実際にすべての数学を代わりに行うことができます。
そのため、科学を行うために数学が選択的になる可能性があります。現在はそうではありませんが、両方の方向に働く可能性があります。
私は数学の進歩の加速が何を意味するかについて、テリーを最も信頼しています。研究者として、また多くの研究者を代表して言えば、私たちのモデルの最も刺激的な応用は、科学を加速するために使用される場合です。
本当に、専門家が日常生活で使用して仕事を加速できる、この種の非常に汎用的なツールを提供することを試みています。他の科学分野でも、材料科学や医療の分野の人々がすでに推論モデルを使用し、「これは私が課題を与えることができる学部生のようなものです。彼らは特定の状況についてかなり一貫した分析を提供することができます」、あるいはテリーが言ったように、「ここにシナリオがあります。計算を行って、このシナリオの意味は何でしょうか」といったような証言があります。
人々はそのような状況で効果的だと感じています。
その通りです。私の考えが向かっているのは、非常に少数の人々が、与えられている答えが正しいかどうかを実際に検証できる世界に非常に急速に到達するということです。おそらく、定理証明の構造とますます洗練されたLLMを数学で組み合わせることが、その問題のスケーラブルな検証ソリューションを得る唯一の方法かもしれません。
ある意味で、常に形式数学を頂点に置き、他のすべてはそこから派生するということが必要かもしれません。
それが潜在的な未来であり、私たちが話してきた他のテーマを考慮すると、テリー、若い数学者に対して、どこに焦点を当て、どのような問題に取り組むべきかについてアドバイスはありますか？
はい、アドバイスとしては、柔軟でなければならないということです。数学はより技術的になり、より協力的になっていると思います。
おそらく50年前なら、数学の一つのサブサブ分野に特化し、他の数学者とほとんど関わりを持たずに生計を立てることができたかもしれません。しかし、今ではそれはほとんど不可能です。数学は、より大きなエコシステムの一部になっています。これは良いことです。
AIによって、以前は考えられなかったような幅広い協力が可能になります。本当に専門知識を持っていない分野の科学者とも協力できるかもしれません。AIが基本的なレベルで追いつくのを手助けし、科学者間の万能翻訳者として機能できるからです。
そのため、オープンマインドであることと、これらのツールにも限界があることを認識することが重要です。これらのツールを盲目的に使うことはできません。AIを監督できるように、自分の人間としてのスキルも磨く必要があります。魔法の杖ではありません。
はい、私たちオープンAIでさえ、かなりの専門知識と監督なしにそれを使用することを推奨することはないでしょう。マークにも同様の質問をしたいと思いますが、少し異なる観点から。あなたが見ている軌道に基づいて、これらのモデルを時間とともに最大限活用できるようにするために、学生たちが今身につけるべきスキルは何でしょうか？
はい、正直なところ、技術分野ではまだ技術の専門家が必要です。ツールとうまく相乗効果を発揮できる専門家が必要です。
柔軟であり続けるという一般的なアドバイスは素晴らしいと思います。AIの研究についても少し共有すると、様々な分野の人々が少なくともニューラルネットワークの基本、その訓練方法、ダイナミクス、限界について理解することは非常に役立つと思います。
人々がそれで遊び、どのように加速できるかを理解すればするほど、より効果的になると思います。数年後には、誰もの効率に掛け算的な効果があると思います。その倍率は、願わくば1よりもかなり大きくなるでしょうが、AIツールを効果的に活用する人々は、それを無視する人々よりも概して効果的になると思います。
それは確かに共感できますね。私は、彼らが有用かどうかではなく、その進化のスピードが重要な問題になっているのではないかと思います。
テリー、あなたは内部から、これらのモデルが異なる時点で改善されていく様子を見てきました。最近では、IMOでシルバーレベルの性能を示したという話がありましたが、それを実現するためにある程度のJankingがあったことを認めつつも、進歩の速度に驚かれましたか？
はい、私の期待を超えると同時に下回る面もありました。似たようなタスクのデータを生成できる任意のタスクについては、例えばIMOの件では、DeepMindは多くの合成的な証明を生成しました。実は失敗した証明も多く、それが彼らの秘密の一部でした。
そのため、数年はかかると思っていた多くのタスクが、今では行われています。一方で、データの範囲を超えて、世界で10人程度しか真剣に考えたことのない研究レベルの問題に入ると、AIツールはまだそれほど有用ではありません。
現在進行中のプロジェクトがあり、1つの大きな問題を証明する代わりに、2000万の小さな数学的問題を証明しようとしています。これはAIが理想的なタスクになると思っていました。なぜなら、ある割合を処理できれば…しかし、このプロジェクトで研究したすべての問題のうち、おそらく99%は比較的伝統的な計算的な総当たり的手法で処理でき、1%が非常に難しく、多くの人間の介入を必要としました。
試されたAIは、比較的容易な問題である99%の多くを再現することはできましたが、本当に困難な問題の核心部分にはあまり貢献しませんでした。それは今日の技術の性質かもしれません。研究レベルの問題を自律的に解決するのを見るまでには、まだいくつかのブレイクスルーが必要だと思います。
私の心の中にある一つの逸話がこの種の「印象的であると同時にまだまだ改善の余地がある」という側面を語っていると思います。今年、私たちはo1モデルでIEEにも参加しました。一方では、問題あたり10,000のサンプルが必要で、それはブログ記事でも発表したように、モデルから金メダルレベルのパフォーマンスを引き出すにはかなりの量に感じます。
同時に、そもそもこれができること自体が信じられないです。これらの問題の中には非常にアンチパターン的なスタイルのものもあり、そこにはなにかがあります。私はそれを引き出せることに本当に興奮しています。
それが知的に少し不満足に感じるのは面白いですね。ある意味で問題を再構築することでほとんどチートしたような感じがしますが、振り返ってみると、科学の進歩の多くがそのような小さなものを積み重ねて、結果としてパラダイムシフトを引き起こすのではないかと思います。振り返ってみると非常に賢明に見えますが、実際には小さなことの積み重ねだったということがあります。
プログラミングの喜びは、まさにそこにあります。問題を解決できるように再定義し、必然的に最初の原理から作業を進めていくことです。しかし、これは私にとって疑問を投げかけます。おそらく私たちが話しているのは、モデルに特定の方法で推論することを教えており、その推論のカテゴリーが特定のタイプの問題にうまく機能するということかもしれません。
マークから始めて、その後テリーにお聞きしたいのですが、1つのモデルが同時に多くの異なるタイプの推論を行う世界を想像されますか、それとも異なるタイプの推論を行う個々のモデルが集まってくる世界になると思いますか？
そしてテリーには、現在モデルが苦手としている、より困難な小さなサブセットの問題を解決するためには、どのような種類の推論を見る必要があるとお考えでしょうか？
はい、1つのモデルが異なるドメインで推論できることには美しさがあると思います。多くの複雑なシステムを接続しようとすると、多くの設計上の選択をすることになり、単純さは本当にAI開発の重要な原則の1つだと思います。
確かに、特定の方法で協力するAIのシュステムを設定することもできます。それも非常に興味深いですね。例えば、ここの専門家、この数学プロジェクトのPM、証明を書く人、10,000のケースをチェックする人といった具合にモデルを構築できるでしょうか？
はい、それも非常に興味深いパラダイムだと思います。1つの非常に強力な思考者だけで、このような専門化が上回るパフォーマンスを発揮できることが保証されているかどうかは、まだ少し不明確です。しかし、探求する価値は確実にあります。
私は、AI問題解決を非常に補完的な方法、非常にデータ駆動的な方法で捉えています。そして、おっしゃった通り、特定のタスクについては、実際に人間よりもずっと優れています。私たちが学んでいるのは、特定のタスクの困難さについての認識を再調整する必要があるということです。
なぜなら、データ駆動型のアプローチを使って特定のクラスの問題を解決することを試みなかっただけだからです。しかし、ある問題は本当に難しく、データがないと…数学では、データの量に関係なく、実際に解決できない問題があることを証明できます。証明できないことを証明できるのです。
しかし、AIの強みはそれではありません。AIに人間のように数学の問題を解決させたい場合、データの少ない環境で推論する必要があります。新しい数学的対象を研究していて、それについて5、6個の事実、少数の例しか知らない場合、すでにある他の数学的対象との非常に漠然とした類推があるかもしれません。そこから非常に少量のデータを基に、次に何をすべきかを推論しなければなりません。
これはAIが得意としないことです。おそらく、AIにそれを強制することは、完全に…つまり、タスクを達成するために間違ったツールを使用しているようなものです。これは人間が実際に非常に得意で効率的なことです。総当たりのチェックやケース分析、パターンを見つけることは得意ではありません。
そのため、知能を一次元的な尺度として考え、AIと人間のどちらが優れているかを考えるのは間違いかもしれません。それらは本当に補完的なものとして考えるべきだと思います。
はい、研究プログラムが成功すれば、非常にデータ効率の良い推論者も持つことができると希望しています。テリー、あなたが間違っていることを証明できることを願っています。
マークの目に輝きを感じましたね。
はい、私も間違っていることを証明されることを願っています。
さて、時間が迫ってきましたので、お二人にまとめとして、これら全てを結びつける方法として質問させてください。もし明日、お二人が大学の副学長に任命され、意味のある予算を与えられたとしたら、テリーの場合は効果的な数学部門を、マークの場合はより広い科学部門を作るために、どのようなものを設置し、これらの新しい技術を最大限に活用するためにどのようなインフラに投資しますか？
良い質問です。ローカルモデルを実行し、自分でチューニングできる、ある種の集中的なコンピュータリソースを想像できます。少し難しいのは、技術が非常に急速に変化しているため、今特定のハードウェアやソフトウェアに投資しても、数年後にはそれほど重要ではないかもしれないということです。
確かに、異なる分野から多くの人々を集めて、これらの技術を一緒に使用する方法を見出す場所は必要です。すでにこのようなテックハブ的なものを多く開発していますが、技術が非常に予測不可能なため、非常に自由な形式である必要があります。ただし、異なる部門が互いに話し合い、相乗効果がどこにあるかを見出す必要があります。
数学ライブラリやそのような定理証明のための基礎的なブロックの周りにコンソーシアムのようなものを作る余地はありますか？
はい、現在すでにボランティアのクラウドソースによる取り組みがあります。米国の連邦資金提供機関がちょうどこの種のことに少し資金を提供し始めています。残念ながら、一般的に大学はこのような基本的なインフラ整備の仕事を行っていません。それは政府が主導的な役割を果たさなければならない分野かもしれません。
マークはどうでしょうか？
はい、非常に短い答えを出しましょう。オープンAIがやっているのが正しいと思います。大きなコンピュータを作り、そのコンピュータをどのように知性に変えるかを理解しましょう。サムも誇りに思うような答えですね。
ではみなさん、今日は時間を割いてお話しいただき、本当にありがとうございました。これからQ&Aに移りますので、お二人に対してより難しい質問がある方は、その機会があります。特にテリー、参加していただき、この対話の時間を作っていただき、ありがとうございました。それでは、ナタリーにお返しします。
ありがとうございました。Q&Aでお会いしましょう。
みなさん、テリー、ジェームズ、マークに生で質問したい方は、今表示されたライブ通知リンクに参加するか、画面左側のアジェンダタブからQ&A会議室に入室してください。すぐにそちらでお会いし、チャットに投稿された質問にできるだけ多くお答えしたいと思います。では、またすぐにお会いしましょう。
エドゥアルド、パーティーを始めましょう。自己紹介をお願いできますか？
はい、エドゥアルド・Sです。数学者として訓練を受け、現在はAIも扱っています。約50年前、実際には52年前ですが、当時ラトガース大学の同僚だったフェリックス・ブラウダーを通じてアメリカ数学会に正式に提案しました。
物理学者が超伝導コライダーを持っていたように、大規模な数学プロジェクトを提案しました。数学の基本定理をある種の統一された言語でデータベース化し、人々がそれらを簡単に参照して見つけられるようにしようというものでした。部屋から追い出されたような感じでした。このような「変人」扱いでしたが、今や私たちはそれが実現し始める状況にいます。
私の質問は、チャットにも投稿しましたが、数学研究で最も苦痛なのは、小さな補題を証明しようとするとき、代数幾何学や可換代数、群論、PDEなど、100人はこれを証明しているはずなのに、その答えを見つけるのが非常に難しいということです。結局自分で証明することになります。
比較的近い将来、つまり20年後ではなく、3,4,5年後に、何らかの学習を通じて、注意に基づくようなもので、パターンを認識し、何が何に関連しているかを認識することで、これを本当に実現できる可能性があると思われますか？意味的な数学の検索が素晴らしいと思うのですが。
はい、ChatGPTは実際にすでにこれを少し行っています。実験をしてみましたが、定理の名前を知っているか、おおよそ何かを知っているけれど名前を思い出せないため検索エンジンに直接入力できない場合、非形式的な言葉でLLMに説明すると、「ああ、あなたはこの特定の定理のことを考えているのですね」と言うことがよくあります。
arXivのどこかに埋もれている、より難解な結果については、まだその能力はありません。これは素晴らしい問題です。機械学習の人々と話すときによく提起する問題です。数学的結果の本質を抽出し、それを検索する方法はないでしょうか。
現在、最も良い方法はクラウドソーシングです。Math Overflowのような質問と回答サイトに行きます。
はい、その通りです。
ナタリー、次はリジーをお願いします。その前に、Robinhoodのチーフプライバシーオフィサーであるネオ・セングプタからテレンスとマークへの質問を取り上げましょう。
テレンス、これまで解かれていない数学の問題を解決する際に、これらのモデルが現在持っており、今後も持ち続けるであろう厳しい制約について、直感的にどう感じていますか？
厳しい制約は驚くほど少ないです。本当に決定不可能な問題がいくつかあり、他の難しい問題を含意することが分かっているものがあります。そして、多くの標準的な手法に対して一種の免疫があることが分かっています。
しかし、常に驚きがあります。人間の数学では、毎年、不可能だと思われていた問題に、誰かが独創的な新しいアイデアを思いついて解決することがあります。それが数学の美しさです。実際には何が難しいのか分かりません。
そのため、本当に厳しい制約はほとんどありません。
マーク、何か付け加えることはありますか？
はい、その見方に大きく同意します。「厳しい」というのは非常に強い言葉です。確かに、今日のモデルにとって数学の難しい側面はあります。適切な質問をすること、どのような抽象化を構築するかについての美的感覚を持つことなどです。
はい、今は「質問をして解決を試みる」という設定の方が得意です。
ありがとう、マーク。リジー、フォーラムへようこそ。自己紹介をしていただけますか？
はい、現在スタンフォードで医学生をしています。神経科学、つまり本物のニューラルネットワークの方ですが…申し訳ありませんが、LLMやAIモデルをAI創薬に適用しようとしているのですが、それについては質問が多すぎるのでしません。
私の質問は、技術的な問題に遭遇したことについてです。サンフランシスコに住んでいて、先週末にサンフランシスコオペラに行きたかったので、ChatGPTに土曜日に「カルメン」の公演があるか尋ねました。ChatGPTは土曜日に行けると言ったのですが、実際に行ってみると公演はなく、日曜日の午後2時だけでした。
このような技術的な困難があると、AI創薬のように答えを確認できない場合、より長期的な影響があるシステムをどのように信頼し、より慎重に使用すればよいのでしょうか？
申し訳ありません、この問題を持ち出して…
いいえ、いいえ、もちろん。それは非常に公平な質問です。おそらく私が答えるべき質問だと思います。
実際、今日はモデルを検索と組み合わせて使用することをお勧めします。モデルの応答を実際の出力ソースに根付かせる既存の方法があります。今日検索を使用すると、特定のウェブサイトや情報源を引用し、真実を反映します。
将来のバージョンでは非常に正確になり、これらのウェブサイト内で答えやリファレンスを見つけることができる場所を正確に教えてくれるでしょう。将来のモデルはこのように非常にしっかりと根付いたものになると思います。特定の情報をどこから得たのかを正確に追跡できるようになるでしょう。しかし、今日は同じクエリを検索可能な状態で試してみることをお勧めします。
私はo1を使用し、何かを支払いましたが…
はい、o1は検索可能なモデルではありません。
ああ、そうですか。では、検索とは何ですか？
地球のアイコンがあります。ChatGPT4に行くと…今は非常に混乱していることは分かっています。私たちは全てを統合し、はるかにシンプルにする予定です。地球のアイコンがあり、それを使うとモデルがインターネットを検索して結果を得ることができます。
マーク、カスタマーサポートの分野でもすばらしい才能がありますね。リジー、ありがとうございました。また近いうちにお会いしましょう。
次はダニエル・マクネアのライブ質問です。その間に、Playfrom AIの創設者でラトガース大学教授のアーメド・エルガマルからの質問を取り上げます。コミュニティの皆さんにお知らせしたいのですが、エルガマル博士はAIアートの先駆者の一人で、フォーラムにアーカイブされている本当に素晴らしいプレゼンテーションがあります。まだお会いしていない方や、そのプレゼンテーションに参加されなかった方のために。
彼の質問は、現在のAIが数学オリンピアドのような問題を解決できる段階から、博士レベルの数学問題を解決できる段階に移行するために、何が必要だと思いますか？テリーかマーク、どちらでも答えられると思います。
人間の支援ありとなしとで違ってきます。人間が監督する場合は、確実に手助けできます。すでに数学プロジェクトのより小さなタスクの多くを実行できます。
以前も言ったように、データがない場合に何をするべきかという戦略的な計画の多くが欠けています。人間の専門家による監督以外に、それを乗り越える方法は分かりません。
はい、メタレベルで見ると、少し視野を広げて、例えば自動運転車がどのように進化してきたかを見ると、監督なしで車があなたをA地点からB地点まで運んでくれるようになるのは、いつなのかという点について。
私は、その根本的な進歩は魔法ではなく、時間とともにより信頼性が高まっていくだけだと思います。90%の精度で決定を下せるようになり、次に99%、そして99.9%というように。もちろん、必ず成功するという保証はありませんし、エラーを起こさないという保証もありません。
しかし、必要な指示と監督の量は時間とともに減少していくと思います。モデルは、より長い思考の軌跡を必要とする、より自己完結的なタスクをより自律的に行えるようになり、そしてそれはより信頼できるようになっていくでしょう。
ここで一言付け加えたいのですが、物理学や数学のような分野では、少なくとも答えの一部は解析的で、第一原理から導き出すことができるため、より長い訓練サイクルと改良された推論モデルでこれらの答えに到達できることは理解できます。
しかし、生物学のような分野では、冗長性が大きく、確率論的なものと第一原理的なもの、文脈依存的なものの組み合わせがあります。これには異なるアプローチが必要なのではないか、この一般化可能な第一原理的アプローチでも対応できるのかと考えます。
これらを探求していくと、これらの相互に依存し合う問題群を解決するために必要なことと、古典的なトップダウンの問題群を解決するために必要なことについて、かなり興味深い洞察が得られ始めると思います。
ありがとうございます、ジェームズ。ダニエル、お会いできて嬉しいです。
はい、私も嬉しいです。こんにちは。確か最後にお話ししたのは数年前で、博士課程を修了する頃でしたね。今どこにいるか、コミュニティに紹介していただけますか？
はい、みなさん、こんにちは。私はダニーです。UC Berkeleyで数学の学士号を取得し、約6ヶ月前まではウィスコンシン大学で科学のためのAIの博士課程の学生でした。現在はロースクールで、AIと法律に関連するトピックに取り組んでいます。いろいろなことをしてきましたが、タオ教授への質問があります。
歴史的に見ると、数学理論が最初に発展し、その後、物理学や化学など他の分野の研究者がその理論を自分たちの問題に適用するという流れがありました。今、AIが大きな存在となっている中で、逆方向のフィードバックが見られると思いますか？
物理学では、従来の方法では解けない偏微分方程式の数値解をシミュレーションするなど、機械学習を多く使用しているのを知っています。他の分野から新しい理論的洞察を得ることはありますか？特に、より多くのデータを生成できるようになっているからです。
はい、数学は常に双方向の関係でした。物理学者による発見で、数学者が説明できないものがあり、その後、数学者が理論的な数学を発展させなければならなかったことはよくありました。
例えば、ディラックはデルタ関数というものを発明しましたが、それは正統な数学によれば関数ではありませんでした。私たちは関数の概念を拡張しなければなりませんでした。常に双方向でした。
そのため、AIによって強化された非常に実践的な科学主導のアプリケーションが、説明を求めている新しい現象を発見する可能性は十分にあります。それは経験的に発見され、その後、数学者がその理論的な説明を見つけるよう動機づけられるでしょう。
常に理論と応用科学の間には双方向の関係がありました。
素晴らしい、ありがとうございます。
ダニエル、お会いできて嬉しかったです。アシシュ・バアを次のステージにお招きしましょう。その間、チャットからの質問を取り上げます。
テレンス、これはあなたへの質問です。うまく発音できることを願いますが、「コルモゴロフ・アーノルドのネットワークに関する最近の論文が大きな話題を呼んでいますが、普遍近似定理は覆される可能性があるでしょうか？あなたの考えをお聞かせください」
この特定の結果については知りませんが、普遍近似定理は、どのような演算でもニューラルネットワークによってモデル化できることを原理的に示しています。しかし、これは純粋な存在定理であり、このニューラルネットワークを見つける方法は教えてくれません。実際に使用するには実用的ではない可能性があります。
しかし、パーセプトロンのような普遍近似特性を持たないものとは異なり、非常に複雑な問題に対する理論的な障害がないことを示しています。一般的に、機械学習の理論全体が実践から数十年遅れています。
普遍近似定理のような基礎的な定理はいくつかありますが、なぜニューラルネットワークがいくつかのタスクで非常に優れ、他のタスクで terrible なのかについての良い説明はありません。はい、理論的な作業はまだまだ多く必要です。
アシシュ、フォーラムへようこそ。自己紹介をお願いできますか？
ナタリーありがとうございます。私はアシシュ・Bで、マイクロソフトでプロダクトマネージャーとしてAIのノーコードプラットフォームを構築しています。
私の質問は、実際に仕事で使っているワークフローについて説明したいと思います。私は深い思考が必要な作業にはo1を使い、調査にはFouroを使い、最後にFouroとキャンバスを使ってそれらをまとめています。これらは全てブラウザの異なるタブで行っています。
これは人間がキュレーションしたワークフローですが、将来的にもっと簡単な方法があるのかを知りたいと思っています。
非常に良い質問です。以前の回答でも少し触れましたが、はい、今はモデルが多すぎて混乱しています。その理由の一つは、o1は常に研究プレビューとして意図されていたからです。より高度な推論能力を世界に示したかっただけです。
私たちはこれをずっと整理し、全てを統合して、非常にシームレスにする予定です。それによってあなたにとってずっと良い体験になると思います。はい、日付を約束することは難しいですが、あなたのワークフローははるかにシンプルになるでしょう。
ありがとうございます。では、Wさんをお願いします。Wさん、まず名前の正しい発音を教えていただけますか？申し訳ありません、間違っていたかもしれません。
チャットからの質問を取り上げます。これはアニット・カシック、ウォートンのエグゼクティブMBAでグーグルAIの方からの質問です。
「AIの説明可能性は依然として追加投資が必要な研究分野です。システムの観点からAIを形式的に特徴づけるために、数学理論はどのように役立つでしょうか？」
はい、これは理論が非常に遅れている分野だと思います。少なくとも現在のモデルについては、そこに至るまでの経路を正確に解きほぐすことが実証的に難しいことを示す困難性の結果があります。
現在のアーキテクチャは、このような追跡を行うようには全く設計されていません。もちろん可能であるはずですが、パフォーマンスとトレーニングに大きな影響があるでしょう。今それを行っていない理由があります。
人々は、モデルに対する事後統計分析のようなことを始めています。ニューロンの一部をオフにしたり、別のもので置き換えたりして、答えに到達する上でネットワークのどの部分が最も重要だったかを見ることができます。
しかし、それはまだ経験的なものです。これについての良い堅固な理論はまだありません。
はい、その通りだと思います。今日の解釈可能性は非常に経験的な科学です。特定のことに責任を持つサブネットワークやネットワークの部分を特定するなど、多くのメカニズム的な解釈可能性技術が効果的です。
しかし、モデルにある特定の方法を建築的に組み込まない限り、「これがモデルが特定のことを行った理由です」と言うのは難しいです。
ありがとうございます。アイタジをステージにお招きしましょう。その間にチャットからの質問を取り上げます。
ベリンダ・モー、スタンフォードの修士課程の学生からの質問です。「定理証明、特にLeanのmathLibに関連して、最も有望なニューラルネットワークアーキテクチャとデータセットのフォーマットは何だと思いますか？」
特定のアーキテクチャが良いか悪いかは分かりません。実際に経験的な研究を行い、数千の定理のデータセットを作成して、異なるアーキテクチャをテストし、何が起こるかを見る必要があると思います。どのようなものが機能するかについての理論的な予測は今のところありません。
はい、その通りです。ある意味で、言語モデリング側ではアーキテクチャの収束が見られます。今日では、多くの場合Transformerの変種です。次世代のTransformerがどのようなものになるかを探求している人々もいます。例えば、潜在的にはSPステートスペースモデルなどです。
しかし、はい、具体的にどれが非常に良い定理証明者なのかについては、まだ結論が出ていません。AIで驚くべきことの一つは、ドメイン固有の知識を組み込もうとするAIが、一般的な目的のビットをレバレッジするものを上回ることがないということです。
それが実際になぜそうなのかは興味深い質問です。ある意味で、基礎となるハードウェアを最もレバレッジするアーキテクチャが、特定のエンジニアリングよりも大きな利点を持つという声明かもしれません。
テクニカルな問題があるようなので、チャットからもう一つ質問を取り上げましょう。これはVisual Academicsのディレクター、シーレン・シャからの質問です。
「数学者としての訓練を受けていない他分野の研究者が、AIと数学の問題で協力したい場合のアドバイスはありますか？一般的な落とし穴は何で、それをどのように避ければよいでしょうか？」
成功例が十分にないため、一般的な落とし穴が何かを判断するのは難しいと思います。将来このパラダイムに適したプロジェクトは、本当に大きな協力的なプロジェクトになると思います。
GitHubで運営され、タスクを多くの小さな部分に分割でき、その中には数学の専門知識が必要なもの、他の科学の専門知識が必要なもの、AIを使用する能力が必要なものがありますが、全てに専門家である必要はありません。
それは始まったばかりです。今、私自身そのようなことが可能かどうかを見るためのパイロットプロジェクトを運営しています。しかし、まだそれほど多くはないので、すぐに参加できるというわけではありません。現在、このようなものは3、4個程度しか存在しません。
人間の専門家と接続する必要があります。適切な協力者を見つける必要があります。数学の専門家、AIの専門家などです。多くの細心の注意が必要だと思います。現在は、何をすべきかを理解するモデルがほとんどないため、自分でプロジェクトを始めることはできません。しかし、実験を行い、多くのことを試して、何が成功するかを見る必要があります。
ありがとうございます。最後にジョーダンをお願いしましょう。ジョーダンはフォーラムの長年のメンバーで、最初から一緒にいました。グーグルでの経験もあり、マーケティングの専門家でもあるという独特の視点を持っています。彼の意見を聞くのが楽しみです。
この褐色人を赤面させてしまいますね、ナタリー。ありがとうございます。今年は素晴らしいフォーラムで、素晴らしいゲストの方々、全てが素晴らしかったです。ケイトリンもです。
マーク、プレゼンテーションありがとうございます。テレンスありがとうございます。そしてジェームズもありがとうございます。マークにお聞きしたいのですが、o1の素晴らしい使用例で、人々があまり話題にしていないけれど、もっと注目されるべきものは何でしょうか？
はい、本当に良い質問ですね。推論は数学やコーディングだけのものだという誤解があると思います。しかし、私たちが見てきた多くの使用例は、多様な分野での推論を実証しています。
例えば、言語学では、o1は本当に言語学や言語パズルの理解を助けることができます。データからパターンを見分けたり、暗号を解読したりすることもできます。
そのため、推論を非常に一般的で広範なものとして捉え、純粋な数学とコーディング以外の使用例を探してみることをお勧めします。もちろんそれらは得意分野ですが。
もう一つの例は、材料科学組織や他の外部組織とのパートナーシップで、そこでも推論が非常に効果的であることが分かっています。
ありがとう、マーク。テレンスやジェームズから何か付け加えることはありますか？
ジェームズ、何か言いたいことがありましたか？
本当にマークに同意するだけで、モデルが全ての科学的な質問に完璧に答えられない限り有用性がないと考える傾向が時々あります。100%かゼロかという二者択一的な質問です。
しかし、マークの指摘のように、数学についてより広く言えば、より小さな部分を加速できること自体が大きな複合的な利益となることがよくあります。
科学の影響は理論的な仕事や実験的な仕事だけではなく、それらを実世界に持ち込み、商業化する能力にもあります。私たちは、それらすべての分野で本当に静かな変革的な利益を見ています。特にその最後の分野で。これが最終的により良い科学が世界に出てくることにつながることを願っています。
大手製薬会社がAIツールを使用して最も大きな利益を得ているのは、実際には規制関係の書類作業を加速することだと聞いています。
素晴らしい、ありがとうございました。2024年を締めくくるのに何と素晴らしい講演でしょう。これら全てをメールでお送りし、録画は来週初めにフォーラムで公開されます。
ジェームズが言ったように、これは本当に始まりに過ぎません。私たちの新しい推論モデルが数学と科学をどのように加速できるかについて、より深く掘り下げていきます。2025年にまたお会いできることを楽しみにしています。
タオ博士、本当にありがとうございました。マーク、ジェームズ、何と素晴らしい司会進行でしょう。私には確実にこれほど上手くはできませんでした。司会者としてこの講演に参加していただき、本当に嬉しく思います。
テリー、本当にありがとうございます。ちょうど1年前に最後にお会いしてから、この企画を計画する際の全ての寛容さと柔軟性に感謝いたします。これが毎年の恒例行事となることを願っています。
喜んで。ありがとうございました。
さて、これが2024年最後の専門家による講演でしたが、12月19日にコミュニティメンバーのために最後の技術オフィスアワーを開催します。新しいメンバーの方々のために説明しますと、技術オフィスアワーは、ソフトウェアエンジニア、ソリューションアーキテクト、ソリューションエンジニアと1時間会って、技術的な課題の解決や、アイデアの提供を受けられる機会です。
オープンAIの技術チームと1対1で接する素晴らしい機会だと思います。最後に、新しいメンバーの方々に初めて聞いていただくことになりますが、これはあなた方のコミュニティです。あなた方には、同僚や、ネットワーク内の人々を紹介する権限があります。
コミュニティからの紹介を優先しますので、紹介申請フォームをチャットに投稿します。また、数週間以内、遅くとも1月の最初の数週間には、地理的なチャプターと関心グループを立ち上げる予定です。これにより、自己組織化が可能になり、世界の同じ地域の人々と出会い、コーヒーチャットを開催することができます。
これにより、フォーラムの枠を超えて会話を続けやすくなることを願っています。このイベントはまだ終わっていません。お互いに1対1で会いたい方は、別の通知を開始します。バーチャルネットワーキングタイムに入ることができ、コミュニティの他のメンバーと1対1でマッチングされます。
デフォルトは10分ですが、より多くの人と会えるように、数分で切り上げても構いません。今夜はこれで全てです。2024年をこのような形で締めくくることができて本当に嬉しく思います。何と素晴らしいイベントでしょう。
コミュニティの素晴らしい方々に感謝します。これが私の仕事であることを本当に嬉しく思い、皆さんをお迎えできることを本当に楽しんでいます。素敵な火曜日をお過ごしください。また近いうちにお会いしましょう。
コメント