6,451 文字
前回:ChatGPT o1プレビュー＋ミニで、1時間で*博士論文のコードを書いてもうた―ワイに1年近くかかったのに｜AIに仕事を奪われたい (note.com)
みなさん、こんにちは。ChatGPT o1-miniとChatGPT o1-previewを使った動画や、昨晩のライブ配信への反応やフィードバックについて、ビデオで返事をしたいと思います。昨晩のライブ配信では、ChatGPT o1-previewとminiに、私が博士課程の1年目にかなりの時間をかけて書いたコードを再現してもらいました。
この動画を作ったのは、SNSやコメント欄でよく見かける質問にいくつか答えるためです。また、ここ数日間、動画を見て応援してくださった皆さんに感謝の気持ちを伝えたいと思います。本当に驚きと感動を覚えています。人工知能とその潜在的な影響について議論を深めるきっかけを作れたことを嬉しく思います。
皆さんのフィードバックを真剣に受け止め、新しいコンテンツのアイデアを考えるのに役立てています。この動画の目的は、繰り返し出てくる質問にいくつか答えることです。
まず、問題を使ってテストした動画やライブ配信をまだ見ていない方は、ぜひ見てください。6分半の動画だけを見ると、簡単に文脈から外れて解釈されてしまう可能性があります。申し訳ありませんが、あの瞬間を切り取ったのは、本当に特別な瞬間だと思ったからです。でも、この3つの動画を見ると、より良く文脈が分かると思います。これは長いストリームの中盤あたりの出来事やったんです。
最初に取り上げたい点は、私のコードの公開状況についてです。ChatGPTがトレーニングを開始する前に、私のコードは公開されていたんでしょうか？答えは間違いなく「はい」です。GitHubにノートブックがあったことを完全に忘れていました。4年前のものですが、これは私のコードの古いバージョンで、学部生の夏季研究プロジェクトで使ってもらうために作ったものです。
夏季研究インターンの1人が、研究プロジェクトの一環としてブラックホールの質量測定をすることになっていて、そのために書いたノートブックです。これは私のコードの非常に基本的なバージョンですが、確かにインターネット上に公開されていました。このノートブックには、コードの使い方も説明されています。
これを指摘する人がいるのは正当な点やと思います。また、論文でも述べているように、私のコードは以前に書かれたコードを改変したものです。それらは元々IDLで書かれていましたが、このコードは他の研究からも派生しています。Shadaらの1997年の研究やBarraらの2001年の研究などです。Barraは私の指導教官でした。
thin discのダイナミカルモデリングコードは1990年代後半から存在しています。もっと良い質問は、なぜ天文学者たちが数年ごとに車輪の再発明をしているのか、ということかもしれません。これは別の機会に議論すべき話題ですが。
thin discモデリングコードやtilted ringダイナミカルモデリングコードを検索すると、こういったものは昔からあることが分かります。2000年代半ばに人気だったTiriFiCや、最近のDiskFitなどがあります。KMS Piもあります。KMSはTim Davisが書いたもので、Tim Davisは私たちのグループと同じような測定を行っている別の研究グループの主任研究者です。彼のコードは何年も前からありました。
Peter Teubenのコードもあります。彼は長年にわたって天文学者として、似たような種類の測定を行ってきました。正確に同じではありませんが、同じような幾何学を使っています。これらのコードは20年以上前から存在しています。
ChatGPTが同様のものにアクセスできたというのは事実です。多くのものが昔からありました。私のコードに特別なところはありません。入力されるデータは特別です。過去10年間に建設された望遠鏡からのデータを使っているからです。それが新しい点ですが、物理学やコードそのもの、コードが行っていることについては、過去30年間でそれほど新しいものではありません。
人々はそれを指摘して、「だから騙したんや」とか「大したことないやん」とか言いたがるかもしれません。ここにノートブックがあります。これを見せたいと思います。もちろん、見せたいときに限って…ああ、ここにあります。
はい、ここにコードがあります。これをGitHubリポジトリのchat-gp01-YouTubeに共有しました。説明欄にリンクを貼っておきます。使いたい人のために。ChatGPT o1とのチャットログも入れておきます。
昨晩の配信を見ていた人は知っているかもしれませんが、最初はリンクを共有できませんでした。最後に怒って01に意地悪なことを言ってしまったので、リンクが無効になってしまったんです。でも、ノートブックとこのログも入れておきます。
基本的に言いたいのは、これが書いたバージョンで、昨晩の配信で見せていたコードのバージョンは1144行あります。これは4年前の夏季学生用のノートブックよりもずっと高度で、多くの機能があります。
私のコードの複数のバージョンが長年にわたって存在していました。これが古いバージョンで、博士課程の最後の主要バージョンにも一部が残っています。違いはありますが、ChatGPT o1が作成したコードは、より古いバージョンに近くて、本当に基本的な最小限のことしかしていません。
このコードを使って、私が持っているコードをより効率的で、バグの少ないものにできないか探してみるのは面白いと思います。私のコードにはたくさんのバグがあるはずですから。
また、ここで言っておきたいのは、私はコンピューターサイエンスや機械学習、人工知能の専門家ではないということです。伝統的なAIやコンピューターサイエンスのバックグラウンドはありません。学士、修士、博士はすべて物理学です。
STEMの理系学位を取得した人なら分かると思いますが、科学者は通常、コーディングの教育をきちんと受けていません。私も19歳か20歳くらいまでコーディングを学びませんでした。GitHubで共有しているこれらのノートブックにあるバージョンは、文字通り論文を読んで作ったものです。
指導教官や指導教官の元学生の論文、オリジナルのSchadaの論文を読んで、彼らがやったことを書き出して再現しようとしました。
人々はよく「10ヶ月もかかるわけないやん、もっと早くできるはずや」と指摘します。でも、iPadに保存していた研究ノートを見せましょう。最初のエントリーは2018年7月です。毎日エントリーがあるわけではありませんが、多くの時間を費やしていたことが分かります。
さっき言ったように、論文を読んで、コードの動かし方や数学を理解しようとしていました。Pythonコードを書いたり、データヘッダーのフォーマットを理解しようとしたりしています。実装方法を考えたり、アイデアをスケッチしたり、配列について考えたりしています。
これは延々と続きます。いろんなドキュメントを見たり、昨日話したLMfitのメインミニマイザーについて考えたり。LMfitのスクリーンショットを撮って、使い方を理解しようとしています。
これは全ての大学院生へのアドバイスです。こういう良い記録ノートを取っておくと、誰かがそんなに時間がかかったはずがないと疑ったときに、ノートを見せて「ほら、これだけ時間がかかったんです」と言えます。考えていた時間はあっても、実際にコードを書いていなかったのかもしれません。それが大きな問題だったのかもしれません。
コードを積極的に入力するのではなく、読んで理解しようとして、正しく実装できているか確認していました。すべてが上手くいった正確な日付は分かりませんが、大学院生時代にグループに発表したこのスライドを見てください。
2018年11月のものと2019年5月31日のものしか見つかりませんでしたが、2018年11月の発表では、グループに「ここまでコードができました、これをやろうとしています」と説明しています。コードを書いて、試したけど上手くいかなかったと言っています。
2019年5月31日の投稿では、前任者のBen Boyleの測定結果と比較できる結果が得られたことを初めて皆に明かしていると思います。彼の測定結果をテストしていました。彼は自分のthin discダイナミカルモデリングコードを使ってこの銀河のブラックホールの質量測定を行いました。彼のコードはIDLで書かれていて、Pythonではありません。
なぜ天文学者たちが完全に車輪の再発明をしているのか、素晴らしい答えを与えたいのですが、分かりません。コードを自分の胸に抱えて離さないことや、GitHubやコード管理、バージョン管理などの練習をしていないことなどが関係していると思います。科学者はかなり…自分のものを共有したがらない傾向があります。これはまた別の議論ですが。
ここで、私のコードがBenの結果と比較できるようになった最初の時期が分かります。2019年5月31日頃とすると、研究ノートの始まりである2018年7月から計算すると、約319日、つまり約10ヶ月15日になります。
5月31日は少し遅いかもしれません。結果は既に得られていたはずなので、5月1日としても良いでしょう。でも、ノートに戻ってみると、「やった！すごいぞ、俺！」みたいな瞬間は書いていません。ノートの記述は時々まばらになることがあります。毎日素晴らしいエントリーがあるわけではありません。
人々は「そんなに長くかかるはずがない」と言いますが、確かにそれだけの時間がかかりました。考えていたんです。みんな博士課程の過ごし方は違います。他の人のコードを参考にできていたら、10ヶ月もかからずにもっと早くコードを書けていたと思います。
また、当時は個人的な問題もたくさんありました。体調を崩して手術を受け、数ヶ月間松葉杖を使っていました。良くなかったんです。そういったことが重なって、コードを完成させるのに半年や4分の1年ではなく、1年近くかかったんだと思います。
とにかく、9〜10ヶ月かかったと言ったのは冗談ではないということを証明したかったんです。論文を積極的に読んで、論文そのものからコードを作ろうとしていました。
長々と話してしまってごめんなさい。でも、共有する価値があると思いました。また、自分のノートを見るのは楽しいです。すべてがどうなるべきかというアイデアがあって、それが実現して、最終的にはバグがあって洗練されていないかもしれませんが、動作して質の高い測定結果を出せて博士号を取れるコードを作れたのを見るのは面白いです。
はい、コードの共有や他のコードのオンライン上での利用可能性については、主にこれらのことをお伝えしたかったんです。
AGIについても話したいと思います。昨晩見たことについて話したいです。なぜなら、誤った物語が広まってほしくないからです。もし私がその問題に貢献しているのなら申し訳ありません。興奮していますが、はっきりと断言したいのは、昨晩見たのはAIではないと私は信じているということです。
私の表情を見た反応にもかかわらずです。あれはAIではないと思います。人々は「これらのものがどのように機能するか分かっていないんやな。なぜあれが機能したことに感動しているの？おそらく、あなたのコードベースを見つけて剽窃しただけやで」と言います。
それに対して私は言います。もしそうだとしても、それは私よりもずっと早くできたということです。AIが新しい画期的な発見をできるレベルに達したと主張したいわけではありません。それは全く言っていないし、これらの動画を通じて示そうとしていたことでもありません。新しいアイデアを思いつけるとか、未解決の問題を解決できるとか、そういうことを示そうとしてたわけやないんです。
これらはすべて解決済みの問題です。私がコードを書いたんです。これらは宿題の問題や教科書の問題で、答えが分かっています。それができるかどうかを見たかったんです。でも、それができるからといって、AGIやと思うてるわけやありません。
次のレベルの能力をまだ持っているとは思いません。何か言う前に深呼吸したいと思いますが、AGIはまだここにはないということをはっきりさせたいんです。ChatGPT o1-previewもminiもまだAIではありません。
昨晩の動画で見たように、本当に素晴らしい研究アシスタントになれると思います。2018年7月にこのコードにアクセスできていたら、これらすべてを経験する必要はなかったでしょう。論文の説明に基づいて書いてくれと頼んだコードです。
おそらく、それでも良い経験やったと思います。なぜなら、コードが実際に何をしているのかを本当に理解できたからです。そして、それが危険やと思うんです。先に進んで、実際に何が起こっているのか、本当にこれらのことを正しく理解しているのかを立ち止まって考えないことの危険性です。
コードに提案をしたり、コードが失敗している理由を考えたりできるのは、9〜10ヶ月かけてこれらを書いたり、論文を読んだり、深く考えたりしたからです。それが博士課程を経験することの利点やと思います。問題を解決する力や、より良く考える力を養うためです。
それはまだ完全に置き換えられないと思います。でも、置き換えられるかもしれないのは、退屈な作業や細かいディテール、どうコーディングするか、どのように配列を構造化するかといったことです。
最後に話したいのは、ChatGPT o1-miniと完全版が出たら、それを使って、ここにあるコードを試してみたいということです。これはGitHubリポジトリで皆さんと共有します。
これを使って、独立した研究ができないか見てみたいんです。サイドキックや助手として使ってね。明らかに、この話題について以前に論文を発表したことがあります。博士課程は満足のいくものでしたが、解決できなかった問題もあって、少し後悔しています。もっと取り組みたかったんです。
ChatGPT o1のおかげで、それが可能になるかもしれません。天体物理学の研究に全時間を費やせなくなった今、限られた時間でできるかもしれません。皆さんが知らないかもしれませんが、私はもう天体物理学の仕事はしていません。
素晴らしいことやと思います。17分も話し続けてしまいました。長くなってしまいましたが、メッセージを伝え、記録を正し、反応が大げさになりすぎる前に鎮めたかったんです。
誤った情報のメッセンジャーになりたくありません。クールで面白くて驚くようなコンテンツを出したいと思っていますが、それは根本的に現実と真実に根ざしたものでなければなりません。
いつも正しいわけではありません。AIの研究者ではないと言いましたよね。だから、私の反応が素人であることを示すサインだとしたら、それは私がそうだからです。次の人と同じくらいAIについてまだ学んでいます。
仕事でMLを始めたのはつい最近だし、ATLを学び始めたのも2年くらい前からです。まだこういうことには新米なんです。だから、これまでの過程で皆さんの忍耐に感謝しています。これからも私の動画を見続けてくれることを願っています。
新しいChatGPTモデルをどのように組み込むかについて、面白い企画をいくつか考えています。
以上です。十分長く話してしまいました。最後まで見てくれてありがとうございます。また次回お会いしましょう。
コメント