23,965 文字
はじめに、AIが原子力発電を再び魅力的にするとは思ってもみませんでしたわ。それに、脳科学や気候変動の分野の著名な人たちが原子力発電を支持するようになるとも予想してませんでした。世の中、変わるもんですな。
マリーは「ノーコメント」言うてるみたいやけど、もう既に人に声かけて「うち来いへんか」言うてるんやろな。これ、利益相反やないかな。まだアドバイザーとして在籍しとるのに、あちこち行って人引き抜こうとしてるんやから。
ほんまやな。もし本当やったら、大変なことになりますわ。彼女の新しい会社についてはまだ詳細わからへんけど、気になりますわ。それに、OpenAIの元エンジニアリングリーダーも別の会社立ち上げるって話もあったよな。
セカンドポッドキャストへようこそ。ここでは、テクノロジーについて本音で語り合い、ちょっとした笑いも交えながら進めていきます。気に入っていただけたら、いいねとチャンネル登録お願いします。
今日は、Googleが原子力発電に参入する話から始めて、その仕組みについて深掘りしていきます。面白くなりそうですわ。それから、ミライ・モラディが自分の会社を立ち上げるかもしれないという情報についても話し合います。時間があれば、AIの開発者たちがGoogleのGeminiをスキップしている理由についても触れたいと思います。最後に、AnthropicのCEOであるダリオ・アモディの「愛の機械」という大作について、一部分を取り上げて議論します。盛りだくさんな内容になりそうですな。
じゃあ、最初の話題に入っていきましょか。
はい、こちらです。「GoogleがAI用の新しい原子力発電所の建設を支援」。Googleは、米国で7基の小型原子炉の建設を支援する予定です。これは、AI向けの電力需要の増大に対応し、米国の原子力発電の復活を後押しすることを目的とした、前例のない取り組みです。
ジョー、AIが原子力発電を再び魅力的にするとは思ってもみませんでしたわ。あんたはどう思う？
そやな、最近起こったことの中で、これが一番驚きやったかもしれんな。
緑の党や気候変動対策グループの著名なメンバーが原子力発電を支持するようになるとも予想してませんでした。世の中、変わるもんですわ。
せやな。彼らは以前は完全に反対派やったのに、今では「実はこれ、ええんちゃう」って言い出してる。不思議な展開やわ。
ドイツだけやなくてアメリカでも、環境保護運動が原子力発電の展開を遅らせたり、後退させたりするのに一番貢献したと思うんやけどな。
ところで、Googleのアプローチについて気になることがあるんやけど。新しい原子炉の承認を得る必要があるみたいなんやけど、そこがよくわからへん。原子炉を実際に配備する上で一番難しいのは、承認プロセスやと思うんやけど、どうなんやろ。
そうみたいやな。ここで、コールドリーさんの解説があったら最高やったんやけどな。完了するのは本当に難しいプロセスみたいやわ。
ちょっと、Googleのパートナーである「カイロス」っていう会社の考え方について見てみよう。小型モジュール式原子力発電所をどうやって実現しようとしてるのか、彼らの視点を確認してみよう。
はい、ちょっと聞いてみましょか。音量に気をつけますな。
「急速で反復的な開発プロセスは、カイロスの戦略の中心にあります。特に、多くの人が可能だと考えているよりも速く、低コストで原子力技術を開発する方法についてです。エンジニアリングテストユニットは、私たちの原子炉に必要な主要コンポーネントの多くを、より大規模に統合した最初のものです。これらのコンポーネントは、私たちの全体的なプラントとシステムが成功するために協調して動作する必要があります。
コスト確実性は、4つの主要な作業ストリームの産物であると私たちは考えています。これらの作業ストリームは、技術の確実性（実際に想定通りに機能するか）、ライセンスの確実性（規制当局の承認への道筋を確保すること）、サプライチェーンの確実性（内部製造戦略でも長納期品目とそのコスト、調達先を理解すること）、そして建設の確実性（組立、統合、建設の経験が多くの従来の原子力プロジェクトの主要な課題として浮上しています）です。
エンジニアリングテストユニットは、実際の原子炉システムではありませんが、多くの点で非常に似た外観のシステムを組み立てる最初の反復を提供します。今日、私たちが試運転フェーズに入り、世界最大のFシステムを運用できるところまで進歩したことは非常にエキサイティングです。」
彼らにとってはすごいことやな。じゃあ、記事の続きを見ていこか。
このアレンジメントは、米国での小型モジュール原子炉の商業建設を支える初めてのものです。多くの人が、この技術は国内原子力産業の未来だと言っています。巨大で特注のプラントの代わりに小型の原子炉を建設することで、より速く、低コストでの建設が可能になる可能性があります。
GoogleのためにKairosが建設する500メガワットの発電量は、中規模の都市や1つのAIデータセンターキャンパスに電力を供給するのに十分な量です。
ちょっと待ってな。データセンターについて詳しく説明した記事があったんやけど、それ見つけられるかな。
「データセンターキャンパス」って呼んでるんやな。用語がどんどん変わってるみたいやな。
そうやな。どんな風に変わっていくか、見守っていくのも面白いかもな。
ここに「データセンターの可視化」っていう記事があるんやけど、Generative Valueっていうサブスタックの記事なんや。この人の記事、めっちゃええで。ライブストリームにリンク貼っとくから、みんな見てみてな。
この人によると、データセンターを理解するには、まずその規模を視覚化するのがええみたいやな。ここに良い画像があるんやけど。
この画像をChatGPTに解説してもらったんやけど、こんな感じや。
まず、ユニット1のメイン配電システムとATS（自動切替スイッチ）があるんや。これは、メイングリッドからの電力を管理するシステムや。ATSは、メイン電源が落ちた時に自動的にバックアップ電源（ディーゼル発電機や無停電電源装置）に切り替えるんや。
2番目はディーゼル発電機で、停電時に作動するんや。
3番目はUPS（無停電電源装置）。これは停電や電圧変動時に短期的な電力を供給するんや。サーバーや機器のための即時バックアップとして機能して、発電機が起動して安定するまでの時間を稼ぐんや。
4番目は浸漬式パワーチラー。これは冷却システムの一部で、サーバーやその他の機器が発生させる熱を除去するのに役立つんや。最適な動作温度を維持するんやな。
5番目はドライクーラー。これも冷却システムの一部で、サーバー冷却インフラを通過する液体から過剰な熱を除去するんや。液体温度を低く保つことで、チラーシステムの効率を維持するんや。
6番目はUPSバッテリー。これらのバッテリーはエネルギーを蓄え、停電時にUPSを通じて短期的な電力を供給するんや。
7番目はエマーソンネットワークパワー気候制御システム。これはデータセンター全体の気候を管理するシステムで、温度、湿度、気流を調整して、サーバーやネットワーク機器が最適な環境で動作するようにするんや。
ジェンセンが言うには、データセンターのコストの50%はインフラに、残りの50%は計算、ネットワーク、ストレージに使われるらしいわ。すごいよな。
ジョー、Googleにいた時にデータセンター行ったことあるか？
ああ、行ったことあるで。
GoogleもFacebookも、データセンターのツアーをやってるんやけどな。正直、見ても特に面白くないんやわ。工場みたいな感じやけど、機械が動いてへんのや。どれだけ整然と並んでるかとか、設置するのがどれだけ複雑やったかとか、電力システムや冷却システムがどれだけ印象的かとかは分かるけどな。
お前が見せてくれた画像は液冷式データセンターのもんやけど、これは最新のやつやな。俺が見たのは全部空冷式やったわ。
なるほどな。それに、一度稼働し始めたら、中で働いてる人ってほとんどおらんのやろ？
そうやな。特に、Googleが後で設計したやつはな。ハードドライブが常に故障してるから、それを交換する人が常にデータセンター内を巡回してるだけでええってことに気づいたんや。
そうか。データセンター内のドライブの数を考えたら、数千個はあるやろうしな。安いやつを大量に買ってるから、平均故障時間もそんなに長くないやろうし。1分に1個くらいのペースで故障してるかもしれんな。
結局、誰かが次々と新しいのと交換していくだけになるんや。サーバーが賢くて、新しいドライブを自動的にシステムに組み込めるんやったらな。
最終的に、Googleは「過剰にストレージを用意して、システムの寿命中に一定の割合が故障することを想定しよう」って考えに至ったんや。どうせ数年おきにサーバーボードごと交換するんやから、その時にハードドライブも一緒に交換すればええやろって。
修理したり、アップグレードサイクルを気にしたりする必要はないってことやな。数年おきに全体を一括でアップデートして、常に最新技術を導入するだけでええんや。
お前が見せてくれた液冷式データセンターの画像、めっちゃ面白いな。液冷式の方が効率ええし、より密度の高いデータセンターが作れるんや。つまり、より多くの電力を消費して、より多くの仕事をこなすサーバーを、より狭いスペースに詰め込めるってことやな。
既存のデータセンターを液冷式にアップグレードしたら、そのデータセンターから得られる計算能力を大幅に増やせるんや。
へー、そうなんや。じゃあ、「今度から液冷式になったから、もっとCPUやGPU、ハードドライブを詰め込めるようになったで」って感じで改装できるってことやな。ええやん。
じゃあ、記事に戻ろか。
従来の原子炉で使う水の代わりに、Kairosの設計では溶融塩を冷却材として使うんや。Googleのために建設するユニットには、50メガワットの原子炉が1基と、75メガワットの原子炉が2基ずつの発電所が3つあるんや。Kairosによると、これは従来の原子力発電所の原子炉の約1,000メガワットと比べてかなり小さいんやな。
Kairosは複雑な米国原子力規制委員会の承認を得る必要があるけど、テネシー州でデモンストレーション用原子炉を建設する許可はすでに得てるんや。これは2027年から運転を開始する可能性があるんやって。
ほかにも、「The Atomic Age」っていうチャンネルがあって、「Kairosパワー：米国初の第4世代原子炉建設承認」っていう動画があるんや。これを見て、第1世代から第4世代までの原子炉について理解を深めていこうか。
第1世代の原子炉は、1950年代と60年代にアメリカで建設されたテスト用原子炉やったんや。今はもうどれも存在してへんけどな。
第2世代の原子炉は、アメリカだけやなくて世界中でも大多数を占めてるんや。最近、うちのチャンネルでアンケートを取ったんやけど、世界で一番多いのが第2世代か第3世代プラスの原子炉かって聞いたら、ほぼ半々に分かれたんや。でも実際は、まだ第2世代の原子炉が一番多いんやで。これらは主に60年代、70年代、80年代に建設されたもので、日本やロシア、フランス、イギリス、アメリカなどの大半の原子炉がこれに該当するんや。
第3世代と第3世代プラスの原子炉は90年代くらいから始まって、いくつか建設されてるんや。第3世代、第3世代プラスの原子炉は、これらの設計を改良したもので、より効率的で、モジュール設計になってるんや。第3世代プラスの原子炉は、事故時に完全に受動的な溶融防止機能と冷却機能を持ってるんやけど、これはめっちゃええ特徴やな。アメリカのボーグル発電所で新しく稼働してるのは、ウェスチングハウスのAP1000原子炉で、APは「Advanced Passive（先進的受動的）」の略なんや。これらは事故が起きても完全に受動的に冷却できる原子炉なんや。発電機なんかも必要ないんやで。
第4世代っていうのは、今話題になってる新しい原子炉のことや。例えば、溶融塩冷却トリウム燃料ペブルベッド黒鉛減速とか、水以外の冷却材や減速材を使うもの、小型モジュール炉なんかがこれに該当するんや。
ただ、この世代分けの呼び方にはちょっと不満があってな。全部の原子炉のコンセプトが真新しいみたいに聞こえるけど、実はこれらのアイデアは1950年代にはもう考え出されてたんやで。溶融塩冷却材、液体金属冷却材、ガス冷却材、黒鉛減速、トリウムペブルなんかはな。
これが原子炉の世代の簡単な概要や。
ほんで、ここにKairosの原子炉の仕組みを示した図があるんやけど。
俺の理解では、これが原子炉で、周りに溶融塩があるんや。塩がここを通って、別の塩のシステムがあって交差汚染を防いでる。それから加熱されて、水に入る。水が蒸気になって、それで電気を作るんや。アイスクリーム作るのにも使えるし、他のことにも使えるな。
それから蒸気が凝縮して、給水ポンプに行って、給水加熱器に戻ってまた循環するんや。
そうやな。その3つのループ全部が循環してるんや。お前が言ったように、汚染物質が混ざらんようにするためやな。でも、循環してる物質は違うんや。
重い塩や金属を循環させるアイデアは、液体になったり蒸気になったりする前にもっと多くの熱を吸収できるようにするためなんや。
それに、原子炉を受動的に冷却できるようにもなるんや。例えば、送電網が停電して、ポンプを動かす電力がなくなっても、システムは徐々に冷却して、穏やかにシャットダウンするように設計されてるんや。
反応が続いて勝手に溶融しちゃうみたいな問題は起きへんのや。
福島の事故のこと思い出したわ。あそこでも同じような問題があったんやろ？
そうや、まさにそれが問題やったんや。送電網がダウンして、バックアップ用のディーゼル発電機も津波でやられてしもたんや。地震と津波が重なったんやけどな。
でも、彼らは根本的な設計ミスをしてたんや。ディーゼル発電機を発電所のすぐ隣に置いてたんや。バックアップとしては変な配置やな。
津波が問題になることわかってたんやから、発電機は高台に置くべきやったな。
最後に、原子炉を「スカットル」する、つまり冷却して安全に破壊するチャンスがあったんやけど、回収しようとしてそれを選ばなかったんや。結果、メルトダウンが起きてしもたんや。
もし「しまった、やらかした。これはもうあかん」って認めて、安全に停止する方法を選んでたら、メルトダウンは起きへんかったんやで。
誰があんな判断したんやろな。「いや、まだ何とかなる」って。
その問題の一部は文化的なもんやと思うわ。東京電力は日本の教育システムのエリート集団で構成されてるんや。首都にある一握りのトップ大学の卒業生たちが、政府の主要な省庁に就職するんや。
アメリカとは違って、日本では最優秀な人材が産業界に行くんやなくて、政府機関に行くんや。彼らはめっちゃプライドが高いんや。素晴らしい実績もあるしな。
アメリカみたいに政府をバカにして「ああ、SpaceXのおかげや」なんて言うんとは逆や。日本では政府がちゃんと仕事をこなすんや。
アメリカではなんで政府が冗談みたいな扱いになって、優秀な人材が民間セクターに行くようになったんか、ちょっと調べてみなあかんなあ。宿題やな。
アメリカの場合、お金を稼ぎたかったら民間セクターに行くんや。そしてお金が威信につながるんや。
政治の世界に入るんやったら、めっちゃ上の方まで行って、かなりの金を稼いで、本物の権力を持つところまで行かんとあかんのや。
せやな。はっきり言うとな、政府にも一生懸命働いてる優秀な人はようけおるんや。ただ、民間企業の人らと比べたら、報酬がめちゃくちゃ安いんや。
日本みたいな国では、他にもいくつかそういう国があるんやけど、政府に入ったら大金は稼げへんけど、民間企業の人らと比べたらそこそこの給料をもらえるんや。民間企業の人らも、そんなに法外な金額をもらってへんからな。
それに、出世していくと、アメリカ人やったら普通なら大金払わんとあかんようなメリットが付いてくるんや。例えば、個室のオフィスや、運転手付きの車、レストランでの特別扱いなんかな。地位があるからそういうのがついてくるんや。
そうやな、威信もついてくるし、それらのものにわざわざ別途お金を払う必要もないんや。役職についてくる特典みたいなもんやな。
ただ、家族のことは後回しにせなあかんかもしれんな。「この道を続けるには、貧乏暮らしを覚悟せなあかんな」って感じやな。
ジョー、ようまとめてくれたわ。さて、ここで選択やねん。モラディの話に行くか、それとも「The Information」の記事で、AIの開発者たちがGoogleのGeminiをスキップしてる話にするか。俺はまだ全部読んでへんねんけど、どっちがええ？
どっちも面白そうやけど、まずはモラディの話からいこか。彼女の新しい取り組みの詳細はわかってるんか？
今のところ、まだ漠然としてるんや。チャンスを探ってる段階で、具体的にどこに行くかはまだ決まってへんみたいやね。
モラディさんは10月4日金曜日が最終出社日で、今はOpenAIのアドバイザーになってるんやけど、次の事業について、OpenAIの従業員に声をかけてるらしいんや。ただ、その事業が具体的に何なのかは明かしてへんみたいやで。これは、その状況を知る2人の情報提供者から聞いた話やねん。OpenAIとモラディさん側の広報担当者はコメントを控えてるみたいやわ。
つまり、彼女はもう「うちに来ない？」って感じで人に声かけてるってことやな。これ、利益相反ちゃうか？まだアドバイザーとして在籍しとるのに、あっちこっち行って人引き抜こうとしてるんやから。
そうやな。もし本当やったら、大変なことになるで。
彼女の新しい事業の詳細もまだわからへんし、気になるわ。それに、OpenAIの元エンジニアリングリーダーも別の会社立ち上げるって話もあったよな。バレットっていう人や。
ちょっと、バレットが今何してるか調べてみるわ。
OpenAIから独立して、競合する会社を立ち上げた元エンジニアリングリーダーや研究リーダーが、今や5人から10人くらいおるみたいやな。
そうやな。面白い流れやな。GoogleからOpenAIに移った人たちがおって、それからOpenAIの人たちがAnthropicを作って、今度はOpenAIの人たちが別の会社を作ってる。めっちゃ早いペースで起こってるな。
それに、「AGIの火花」って論文書いた人と、最近FIモデルの研究してた人がMicrosoftからOpenAIに移ったよな。
そうそう、それもめっちゃ面白かったな。サムとサティアにとっては複雑な気持ちやろうな。「ああ、サティア。お前のところの優秀なエンジニアの一人がうちに来たで」みたいな。
まあ、完全に別のところに行くよりはマシやろうな。
確かに。もしGoogleに行ってたら、頭おかしなるところやったな。
そうやな。モラディさんがどこに落ち着くか、見守っていこ。資金調達は全然問題ないやろうな。
彼女はプロダクトマネジメントの実力はあるけど、イリヤやグレッグ・ブロックマンみたいな主任科学者級の深い技術的知識を持つCTOってわけやないからな。
誰を引き抜けるか、興味あるわ。もっと多くのモデルが出てくるのは歓迎やけど、今はファウンデーションモデルの分野はちょっと混んでる感じがするし、統合も進んでるしな。
新しい研究所やファウンデーションモデルがもっと必要やと思うか？
いや、むしろEUみたいに国家が支援するモデルや、フランスのLe Chatみたいなんが増えてほしいわ。完全にボーイング方式のファウンデーションモデルやな。
じゃあ、次の話題に行こか。「開発者たちがなぜGoogleのGeminiをスキップしているのか」って話や。
GoogleがOpenAIに追いつくためのAI開発競争の取り組みの一つが苦戦してるんや。Googleの会話型AIのGeminiは、ライバル企業の技術と比べて、アプリ開発者や企業が使うのが難しすぎるらしいんや。これは、開発者たちや、企業がAIを使えるようサポートしてるGoogleの従業員何人かにインタビューした結果わかったことやねん。
ジョー、なんでGoogleはこういうことが何度も起こるんやろ？開発者に優しくない文化があるんかな？
developers developers developers developers
これは昔からGoogleの弱点やったな。Googleはええパートナーになれへんし、プラットフォームの管理も上手くできへんのや。AndroidとChromeは例外やけどな。
開発者へのアウトリーチが本当に下手くそなんや。ラリーがなんで初期のAndroidチームの買収にそんなに興奮してたか、よくわかるわ。他の誰かにプラットフォームを作ってもらって、サードパーティーが自分たちのアプリを作れるようにするのは、Googleの本質には合わへんからな。
Googleアプリのときのことを思い出してみ。サードパーティーがブラウザベースのアプリ（Google DocsやGoogle Sheetsみたいなもの）を作れるプラットフォームを作ろうとしたんや。それを顧客のドメインにインストールできるようにしようとしたんや。MicrosoftのインフラでMicrosoftの顧客がやってるのと同じようにな。
でも、サードパーティーをちゃんとサポートすることができへんかってん。そのエコシステムは全然広がらへんかったんや。SmartSheetみたいな初期のパートナーが数社あっただけで、WindowsやMacintosh、iOSのエコシステムと比べたら全然薄っぺらいもんやったな。
よう言うてくれたわ。AppScriptの例もあるな。めっちゃ強力なツールやのに、Googleで働いてても何年か経つまでそんなもんがあるって知らんかったわ。それを知ってから、管理業務をまとめたり、いろんなもんをリンクさせたりできるようになって、めっちゃ便利やったんやけどな。でも、ほとんどサポートがなかったんや。
これ、何回も繰り返されてるんやで。アプリ内のAppScriptもそうやし、バックエンドアプリケーションを作るためのFirebaseもそうや。AppScriptの前にも似たようなもんがあったんやけど、名前忘れてもうた。ブラウザベースのアプリを作るのにめっちゃ簡単なサーバーベースのランタイムを提供する会社やったんやけどな。
Googleは基本的にそういうのを潰してきたんや。文化に何か問題があるんか、何かが欠けてるんか、よくわからんけど、Microsoftはこういうのめっちゃ得意やったんやで。最初からな。開発者のサポートがめっちゃうまいんや。
Googleがブラウザ上で開発環境を作るプロジェクトをやってたの覚えてるか？Visual Studioみたいなもんや。社内では動いてて、まあまあええ感じやったんやけど、何度も開発しては中止を繰り返してたんや。
議論は「これのビジネスモデルは何や？どうやって収益性のある製品にするんや？」みたいな感じやったんや。
Microsoftやったら、全然違う議論になってたと思うわ。「これは私たちのプラットフォームをターゲットにしたアプリケーションを開発する開発者たちをサポートするんか？」って感じやな。
「そして、私たちに足りないところを埋めてくれて、すでに収益化してる製品のコア体験をより良くしてくれるんか？将来的に、これで儲ける方法を見つけるかもしれんし、それともプラットフォームを推進するだけで、これ自体では儲けなくてもええかもしれん」みたいな感じやな。
でも、Googleではそういう理屈は通用せえへんかったんや。外部の開発者をサポートするのは自分たちの仕事やって考え方がなかったんや。
面白いな。じゃあ、記事に戻ろか。
その開発者の一人が、Topologyっていうスタートアップの創業者のエイデン・ムリンや。彼の会社は既存のAIモデルの推論能力を向上させるソフトウェアを開発してるんや。
彼が言うには、OpenAIのAPI（アプリケーション・プログラミング・インターフェース）を初めて使ったとき、30秒で使えるようになったんやって。でも、Geminiの方は4時間もかかったんや。Googleはクラウドアカウントを設定して、いろんな設定をせなあかんかったからや。それに、Googleのシステムにバグがあって、時々後戻りせなあかんこともあったらしいわ。
ひどいな。俺も、お前と一緒にPythonスクリプトを書いてた時、OpenAIのライブラリを呼び出して動かすのはできたけど、4時間もかかるなんて、この人大変やったな。
GoogleクラウドでもMicrosoft Azureでも、クラウドアカウントを設定するのはめちゃくちゃ面倒くさいんや。ステップが多すぎるわ。
まあ、大企業やったら、請求を追跡したり、誰に権限があるかを理解したりするのに意味があるんやろうけどな。でも、個人開発者がちょっと何か立ち上げてみようと思ったら、OpenAIの方が圧倒的に簡単にできるんや。
これ、グレッグのおかげなんかな？
グレッグかもしれんし、サムが推進したのかもしれんな。でも、彼らはY Combinatorみたいなスタイルから来てるから、個人開発者が簡単に例を動かせるようにするのは当たり前やと思ってるんやろうな。
15分でも長すぎるかもしれんな。デスクトップで彼らの例を動かすのは、本当にあっという間にできるんや。
そうやな。Pocket（ゲットポケット）っていうアプリの作者が言ってたの思い出したわ。「自分のAPIを人間が作れる中で最も簡単なAPIにしたかった」って。開発者が彼のアプリをどこにでも組み込めるようにしたんや。それが彼の製品の成長の核心やったんや。
Stripeが多分このアプローチの最大の例やな。取引処理をできる限り簡単にしようと本気で頑張ったんや。取引の周りにあるすべてのサポート機能、取引や送金に関して誰かが想像できるようなものすべてを構築したんや。
初期の頃は、彼らが直接現場に行って、顧客の製品にStripeを実装するのを手伡ってたんや。そして、すべてがうまく動くようになったら、さっさと帰っていったんや。すごいよな。
ポール・グレアムが言うてた「スケールしないことをやる」っていうのが、スタートアップにとってめっちゃ大事やっていうのを思い出すわ。
そういえば、OpenAIの開発者プログラムをやってた人、Googleに移ったんやなかったっけ？
ああ、そうや。あれには首をかしげたわ。
ローガンやったな。どうなってるんやろ。
給料はめっちゃええんやろうけど、大きな退職金ももらえたんやろうか。期待してるで。
Googleは開発者との付き合い方が悪夢みたいやからな。
覚えてるか、俺が彼にツイートで「Googleの官僚主義とどう付き合ってんの？」って聞いたら、「官僚主義はプログラムマネージャーとかで抽象化してるから簡単に対処できるよ」って返事が来たんや。
それを、Googleのあるプロダクトマネージャーに見せたら、嘔吐する顔文字で返してきたわ。
官僚主義は人を増やしても解決できへんのや。むしろ悪化するだけや。
彼がOpenAIでやってたことに本当に熱心やったみたいやから、なんでGoogleに行ったんか不思議やわ。
まあ、もっとモデルが出てきて、どうなるか見守っていくのは面白いと思うけど、今はファウンデーションモデルの分野がちょっと混み合ってる感じがするし、統合も進んでるしな。
まだ研究所やファウンデーションモデルがもっと必要やと思うか？
いや、むしろEUみたいに国家が支援するモデルや、フランスのLe Chatみたいなんが増えてほしいわ。完全にボーイング方式のファウンデーションモデルやな。
じゃあ、次の話題に行こか。ダリオ・アモディが15,000語の大作を書いたんや。お前のヒーローの大作やな。
ああ、今や「贖罪のアーク」に乗ってる感じやな。これを読んだら、ダリオに対する見方が変わってきたわ。
へー、ダリオに対する考えが変わってきたんか。
うん、ちょっと彼に挽回のチャンスを与えようと思ってな。
じゃあ、こんな感じでこの話題を扱おうと思うんやけど、どうや？最初の部分を読んで、それから生物学のセクションについて話し合うってのはどうやろ。
その前に何か言っておきたいことあるか？それともこのアプローチでええか？
そのアプローチでええと思うわ。まず最初に言っておきたいのは、ダリオはめっちゃ幅広い背景を持ってるってことやな。いろんな種類の科学をやってきたから、彼の視点はめっちゃ面白いんや。
二つ目に言いたいのは、彼は自分の説明や予測を控えめにしようとしてるみたいやってことや。「これは史上最高のものになる」とか「AGIはもう昨日できてて、ASIは来週にはできる」とか「すべてがバラ色や」みたいな側には立ってへんのや。
かといって、「AGIは我々全員を殺そうとしてる」みたいなことに興奮してるわけでもない。どっちかというと中間的な立場で、「そうやな、リスクはあるし、気をつけんとあかん」みたいな感じや。
でも俺から見たら、まだどっちかというとdoomerたちに媚びようとしてるように見えるんや。「そうや、リスクはあるし、気をつけんとあかんな」みたいなことは言うてるけど、それらを中和しようとしてるだけに感じるんや。
そして、彼が焦点を当ててるのは、俺が「実用的な利点」って呼ぶものや。彼が「強力なAI」って呼んでるものを使えば、新薬の開発とか、タンパク質の理解とか、他の生物学的な問題や数学的な問題に応用できるって言うてるんや。
研究者の補助として使えば、進歩を加速できるってことやな。AGIやASIのファンタジーみたいな完全な置き換えじゃなくて、研究者と協力して使うツールとしての視点や。でも、研究者にレバレッジを与えるんや。
そして、それがうまくいけば、全体の進歩を加速できる。1年で10年分の進歩を、10年で100年分の進歩を達成できる可能性があるって。これが社会にとって大きな可能性を持ってるっていうのが、彼が描いてる未来像やな。
なるほど、結構理にかなってる感じやな。doomerの問題や、すべてがうまくいくっていう極端な立場に近づかず、中間的な道を歩もうとしてるんやな。以前は、彼はもっとdoomerの側に立ってて、サム・アルトマンたちが急ぎすぎやって考えてたみたいやけど。
たぶん、OpenAIの人たちが経験したのと同じことを経験し始めてるんやと思うわ。このdoomerの道を行くと、すごく奇妙な意思決定につながるし、内部で多くの対立が起こるんや。
OpenAIでは、そういう問題が本当にあると考えてる人たちを、システムから押し出すっていうアプローチを取ったみたいやな。去年はまさにそんな感じやったわ。
そして、もっと実用的で、仕事を続ける準備ができてる中核メンバーだけで続けていくっていう感じやな。それがOpenAIのアプローチみたいやわ。
Anthropicは、そういう人たちにとってもう少し居心地のいい場所になってるみたいやな。OpenAIを去った人たちの何人かを吸収してるし。シュルマンもそっちに行ったんやなかったっけ？RFの人や。
ああ、そうそう。他にもたくさんのすごい仕事をしてるけど、そういう風に覚えてるわ。
Anthropicの方が、そういう考え方を受け入れやすい雰囲気があるんかもな。
でも、他の多くの人たちは「もうこんなこと全然気にせんで、前に進むことだけに集中しよう」って考え始めてるみたいやな。
最後に言いたいのは、ダリオはまだちょっと攻撃的すぎるんちゃうかってことや。たぶん俺の偏見かもしれんけど、「10年分を1年に凝縮する」みたいなアイデアは必要ないんやで。
経済の生産性を1%でも向上させられたら、それを20年か50年くらいで複利計算したら、めちゃくちゃ大きな影響になるんや。10対1にする必要なんかないんや。
せやな。彼の言ってることは、めっちゃ強気に聞こえるわ。ほんの少しでええんや。研究者が嫌がるような作業を自動化して、もっと生産的な仕事に集中できるようになるだけでも十分やで。
たぶん、彼が言うてる10対1っていうのは、狭い分野だけの話なんかもしれへんな。そうすると、より大きな経済全体では1%の生産性向上になるのかもしれん。
これについて考えると、例えば臨床医療の狭い分野を考えてみよう。医者が目の前の患者の診断をする時のことや。AIにその仕事をさせるか？まだまだ無理やで。
アメリカ医師会や政府が猛反対するわ。絶対に許可せえへん。
唯一の希望は、医者のコパイロットにするか、患者には見えない静かなコパイロットにするかや。そうせんと、医者がおらんような極度の貧困地域や北極みたいな場所でしか使えんようになるで。
そういう場所やったら、「医者と話せる希望がない」って理由で、モデルに何かをさせることを許可するかもしれんな。
発展途上国の指導者たちが「うちの国民は、アメリカじゃ当たり前のことで死んでるんや。法的リスクは免除するから、とにかく導入して助けてくれ」って言い出すかもしれんしな。
でも、それでもトロイの木馬みたいなもんや。アメリカ医師会は「騙されへんで。貧困のせいで必要になった場所でこれをやり始めて、うまくいって改良されたら、最終的にはうちらの領域に入ってくるんやろ」って考えるわ。最初から反対してくるで。
残念ながら、起こりそうなのは、このコパイロットを使いまくってる新しい世代の医者が出てきて、ほとんどの決定をAIに任せるようになることや。
そして、医者の98%か99%がAIに頼ってるっていうスキャンダルが起きて、最終的に新しい医者たちが「よっしゃ、このAIに決定させて、俺らはもっと重要なことに集中しよう」って言い出すんや。
ここら辺は、ピーター・ティールの分析がめちゃくちゃ的確なんよな。彼やったらこう言うやろうな。「これはカルテルや。医者と政府が、医者になれる人の数を管理してて、法律で、特定のことができるのはその人たちだけって決まってるんや」って。
ニューヨークのタクシーのメダリオンと同じやな。
そうそう、カルテルができあがってるんや。
一度そうなったら、たとえめちゃくちゃすごい技術革新があっても、彼らが導入を許可せんかぎり、何も変わらへんのや。
キューバにいた時のこと思い出したわ。政府が突然100種類くらいの事業を合法化したんや。キューバ人にとってはめっちゃええことやった。収入が増えて、シングルペアレントでも家族を養えるようになったりして、すごくよかったんや。
でも、権力者たちはあんまり拡大したがらんかったんや。自分たちの権力や権威への挑戦だと思ったんやろうな。本当に悲しいことやったわ。
じゃあ、「制限要因」の話に移ろか。ダリオはこう言うてるんや。
「知能を制限したり、補完したりする要因のリストには、以下のようなものがあると思う：
外部世界の速度：知能エージェントは、何かを成し遂げたり学んだりするために、世界と対話的に活動する必要がある。でも、世界の動きには限界がある。細胞や動物は一定の速度でしか動かへんから、それらに対する実験には一定の時間がかかる。これは減らせない可能性がある。
ハードウェア、材料科学、人々とのコミュニケーションを含む何かについても同じことが言える。既存のソフトウェアインフラでさえそうや。
さらに、科学では、多くの実験を順番に行う必要があることが多い。それぞれが前の実験から学んだり、前の実験の上に築いたりしていくんや。
これはつまり、例えばがんの治療法を開発するような大きなプロジェクトを完了させるのにかかる時間には、知能がさらに向上しても減らせない最小限の時間があるかもしれないってことや。
データの必要性：時には生のデータが不足してて、それがあれば知能がもっと役立つってこともある。今日の素粒子物理学者はめちゃくちゃ創意工夫に富んでいて、幅広い理論を開発してるけど、粒子加速器のデータが限られてるから、それらの理論の中からどれを選ぶかを決めるデータが足りてへんのや。
彼らが超知能になったとしても、もっと大きな加速器の建設を速めること以外では、劇的に良くなることはないかもしれへん。
本質的な複雑さ：中には本質的に予測不可能なものや、カオス的なものがある。どんなに強力なAIでも、今日の人間やコンピューターよりも大幅に予測したり、もつれを解いたりすることはできへんのや。
例えば、めちゃくちゃ強力なAIでも、カオス系（一般的な三体問題とか）の予測を、今の人間やコンピューターより少しだけ先までしか予測できへんのや。
人間からの制約：多くのことは、法律を破ったり、人間に害を与えたり、社会を混乱させたりせんとできへんのや。調整されたAIは、そんなことはしたがらへんやろ。
人間社会の多くの構造は非効率的で、時には積極的に有害なもんやけど、変えるのが難しいんや。臨床試験に関する法的要件や、人々の習慣を変える意欲、政府の行動なんかの制約を尊重しながら変えるのは難しいんや。
技術的にはうまくいくけど、規制や根拠のない恐れのせいで、影響が大幅に減ってしまった進歩の例として、原子力発電、超音速飛行、エレベーターなんかがあるんや。」
これ、SpaceXのブースターが捕まえられた時の状況を思い出すな。アメリカの大多数の人が「これはすごい」って思ったのに、カリフォルニア沿岸委員会が出てきて「イーロン、もっとたくさん打ち上げたいって？ダメだ、止めるぞ」って言い出したんや。
完璧な例やな。
ほとんどの人が「なんで？なんでこれを止めるんや？」って思ったんやけどな。
官僚主義の問題もあるけど、AIの制限要因として、人間そのものもあると思うんや。新しい技術が出てきた時に、人々が変わるのは難しいんや。新しい技術を採用したり、行動や仕事の仕方を変えたりするのがね。
今、大企業でこれが起こってるのを見てるわ。ネット上で「LLMがあんまり採用されてへん」「人々があんまり使ってへん」って言ってる人がおるけど、それはLLMの問題やなくて、人間の問題やと思うんや。
改善できることはあるけど、多くの人は試してみようともせんのや。
ジョー、どう思う？
新しいロケットを開発しようとしてる会社の立場なんて、想像もつかへんわ。失敗する可能性は常にあるし、その失敗が時々とんでもなく派手で破壊的なもんになるからな。
そしたら規制当局が押し寄せてくるんや。打ち上げで何か問題が起こったら、FAAが来て、すべてが完全に調査され、他の誰かが満足するまで説明されるまで、打ち上げは許可されへんのや。そして、その「誰か」は政治的な要因に影響されてるんやろうな。
なんて苦しい存在やろう。技術的な問題をどう解決するかもわからへんのに、創造的になって物事を解決しようとしてるのに、その上、この官僚たちや規制まで相手せなあかんなんて。
ソフトウェアが失敗して、デバッガーで何が悪かったのか調べようとしてるだけやのに、今度は委員会に行かなあかんとか、世論の問題に対処せなあかんとか、問題の解決方法まで指示されるなんて、やってられへんわ。
そうやな。物理的に何かが爆発して、おそらくめちゃくちゃお金がかかって、試行回数も限られてるのに、その上さらにこんなことまで…。
NASAや政府の契約会社が、SpaceXに「ブースターを海上のプラットフォームに着陸させろ」とか「空中でつかまえて、着陸タワーで保持しろ」なんて要求したことは絶対ないと思うわ。そんなの仕様書には絶対載ってへんやろ。
これ、前回お前が言ってた、軌道に物を打ち上げるコストをどんどん下げてる話に繋がるな。コストを下げてる方法の一つが、ロケットの部品を再利用することやもんな。
そうそう。最近の打ち上げで、タワーが戻ってきた部分をキャッチして、ロケットのもう半分は海上のプラットフォームに着陸したの見たやろ。どれだけすごいことか考えてみ。彼らは基本的に全部再利用しようとしてるんや。
もちろん、修理したり、ダメージを受けた部分は除くけどな。でも、すべての部品を再利用しようとしてるんや。
そうやな。すごいことやで。
誰も彼らにそんなことをしろとは言ってへんかったんや。政府の要求でもなかった。そして、確実に彼ら自身の実験がさらに政府から問題視されることになったんやろうな。
イーロンが、ロケットが海に着陸することで野生動物にどんな影響があるか調査するよう強制されたって話聞いたか？アザラシを捕まえて、基本的に拷問みたいなことをせなあかんかったらしいわ。明るい光を当てたり、大きな音を立てたりして、かわいそうな動物をパニックにさせて、その結果を調べなあかんかったんや。
イーロンは「ロケットが降りてくる時に、その辺にアザラシがいる確率はどれくらいなんですか？」って聞いたんやって。そしたら規制当局は「それがなんの関係があるんだ？」って言うたらしい。
イーロンは「リスクや潜在的な悪影響を理解しようとする時は、常にリスクを計算するもんやろ。この辺りにアザラシがどれくらいいるのか、海岸線はどれくらいの長さなのか、アザラシはどこにいるのか、この辺りに着陸したら、数マイル以内にアザラシがいる確率はどれくらいなのか、そういうことを知る必要があるんや」って説明したんやって。
もしこれが超低確率のイベントやったら、なんでアザラシ何匹かを拷問して影響を調べなあかんのか、そもそもこの会話自体が必要なんかって話になるわな。
そのとおりや。なんでこんな会話せなあかんのかって感じやな。結局、可能性の薄いことに大量のリソースを使って、全体のプロセスを遅らせてるだけやん。
まあ、それはかなりネガティブな見方かもしれんな。善意に解釈すれば、野生動物を守ろうとしてるんやって言えるかもしれん。
でも、正直に言うと、国中にハイウェイがあって、毎日どれだけの動物がランダムに轢かれてるか考えてみ。
そうやな。もし同じような考え方を道路にも適用したら、道路なんて一本も作れへんわな。
せやな。文化的に「これは許容できるリスクや、これでええやろ」って思うもんもあれば、これみたいに「今回は注目されてるから、大騒ぎせなあかん」みたいなもんもあるんや。
実際はほとんど問題にならへんのに、大騒ぎになってしまうのは残念やな。
宇宙飛行のコストが下がってる話をしたけど、キログラムあたりのコストで言うと、Falcon 1の時は12,800ドルやったのが、今のStarshipの推定では200ドルまで下がってるんや。これ、15年か20年くらいの間にやで。彼らがやり遂げたことはほんまにすごいわ。
すごいな。彼らが使ってる種類の燃料を扱ってロケットを作ろうとすると、いろんなことが間違う可能性があるのを考えたら、原子炉を作ろうとする人のことを想像してみ。小型のモジュール式原子炉でさえ、規制の負担はとんでもないもんになるやろうな。
そして、近所の誰かが原子炉を作ろうとしてるって知ったら、すぐに訴訟を起こして阻止しようとするやろうな。
想像もつかへんわ。原子炉のコスト見積もりをする時、こういう遅延がプロジェクトに与える影響や、原子炉を完成させるのにかかる全体的なコストへの影響をもっとちゃんと分析してほしいわ。
どっか遠隔地を設定して、「ここでは規制なしで好きなだけ速く原子炉を作っていいよ」って自然実験ができたらええのにな。どれくらい速く作れるか見てみたいわ。
みんな「コスト的に見合わない」「出力と比べて高すぎる」って言うけど、それって規制のせいなんか、それとも実際に原子炉を作る技術的な部分のせいなんやろか。
誰も邪魔せんかったら、原子炉を作るのはかなり安くて、コスト的にも見合うもんになると思うんやけどな。
そうやな。今、世界中に200隻くらいの船が原子炉で動いてるけど、誰も気にしてへんよな。そのうちのいくつかは軍用車両やのにな。
でも、クリーンな商業利用をしようとすると、すぐに「ダメや」って言われるんや。
よう言うてくれたわ。じゃあ、ダリオの話に戻ろか。彼は、より賢いAIが役立つと思われる5つの分野について話してるんや。彼は「強力なAI」って呼んでるけどな。
まず、生物学と健康の分野や。ダリオはこう言うてる：
「生物学は、科学の進歩が人間の生活の質を直接的かつ明確に改善する可能性が最も高い分野やと思う。細胞、動物、さらには化学プロセスに関する実験は、物理的な世界の速度に制限されてる。
多くの生物学的プロトコルには、バクテリアや他の細胞を培養したり、単に化学反応を待ったりすることが含まれてて、これには時々数日、あるいは数週間かかることがある。これを速くする明確な方法はないんや。
動物実験は数ヶ月かかることがあるし、人間を対象とした実験はしばしば数年かかることがある。
でも、AIの進歩に関する中心的な仮説が正しいなら、AIを考える正しい方法は、データ分析の方法としてやなくて、生物学者が行うすべてのタスクを実行する仮想の生物学者として考えることやと思う。
これには、実際の世界で実験を設計して実行すること、新しい生物学的方法や測定技術を発明することなども含まれる。研究プロセス全体を加速することで、AIは本当に生物学を加速できるんや。
これを繰り返し言うのは、生物学を変革するAIの能力について話す時に最も多く出てくる誤解やからや。AIを単にデータを分析するためのツールとして話してるんやない。
この文章の冒頭で定義した強力なAIに沿って、生物学者がやることのほとんどすべてを直接実行し、改善するためにAIを使うことについて話してるんや。」
彼は、これらがアシスタントになって、単にデータを処理して生物学者を置き換えるんやなくて、生物学者の助けになるって見てるんやな。面白い見方やと思うわ。同時に、生物学者たちにもっと受け入れられやすくしようとしてるんやろうな。
それから、彼はもっと具体的に、どこで加速が起こりそうかについて話してるんや：
「生物学での進歩の驚くほど大きな部分が、本当に少数の発見から来てるんや。多くの場合、幅広い測定ツールや技術に関連してて、生物学的システムに対して正確やけど一般化可能なプログラム可能な介入を可能にするものや。
これらの大きな発見は、たぶん年に1回くらいのペースであって、全体として生物学の進歩の50%くらいを推進してるんやないかと思う。
これらの発見がそんなに強力なのは、まさに本質的な複雑さやデータの限界を突破して、生物学的プロセスに対する理解と制御を直接的に増やすからなんや。
数十年に数回の発見が、生物学の基本的な科学的理解の大部分を可能にし、多くの最も強力な医療治療法を生み出してきたんや。例えば、CRISPRなんかがその一例やな。」
最後に、彼はこう言うてる：
「これらの技術を全部リストアップしたのには重要な理由があるんや。これらの発見のペースは、もっと才能のある創造的な研究者がたくさんおれば、10倍以上に増やせると思うんや。言い換えれば、これらの発見に関しては、知能への見返りが高いと思うんや。そして、生物学や医学の他のすべてのことは、主にこれらの発見から派生してるんや。」
ダリオの言うてること、どう思う？
うーん、さっき話した「未来の結果を引き寄せる」っていうアイデアに沿ってるな。AIを既存の研究者のコパイロットとして使うだけやなく、研究者の仕事自体を完全に自動化しようとしてる感じやな。
面白いと思ったのは、彼が本当に生物学に焦点を当ててて、たしか5つくらいのカテゴリーを挙げてたんやけど、AIの研究者ってカテゴリーは入ってなかったと思うんや。見逃してないか？
そうやな。OpenAIは「主な進歩は、AIがAI研究者になることで起こる」って言うてるのに、全然違う視点やな。
AIが研究者になれば、プロセス全体がブートストラップされるし、改良が積み重なっていくからな。それに、ダリオが言うてる現実世界の制限で、サイクルタイムが制限されるって問題もないんや。
AI研究をしてれば、データセットがめちゃくちゃ大きくなったり、長い学習時間がかかったりしない限り、かなり速いペースで研究できるはずやからな。本物の動物や組織を使った実験が終わるのを待つ必要もないし。
そうやな。唯一の制約はデータセンターとGPUの計算能力くらいやな。
ただコンピューターともっとデータを扱うだけや。規制も、他の物理的な制約も、承認プロセスも全部すっ飛ばせるんや。
そうそう。現実世界で行動を起こしたり、試験管をいじったり、化学物質をいじったりする必要もない。すべてオンラインにあるデジタルデータで、システムが直接アクセスできるんや。
そう考えると、やっぱりソフトウェアの分野が、ダリオが言うてる生物学とかよりも、もっと速いペースで改善し続けそうやな。
彼がそこをスキップしてるのは変やな。少なくとも2つのカテゴリーがあると思うわ。一つは一般的なソフトウェアのカテゴリーで、ソフトウェア開発は明らかに強力なAIが取り組むべき分野やと思う。既に始まってるしな。
そのすぐ隣にあるのが、彼の会社がやってるのと同じ種類の研究やな。
彼はまた、最終的には臨床試験を物理的な世界でやるんやなくて、まずシミュレーションでやるAIができるって言うてるな。そうすれば、実際に臨床試験をやる時に、どれくらい効果があるかをよりよく予測できるらしいわ。
バイオテック企業が臨床試験やってるの見てると、ほとんどギャンブルみたいなもんやからな。
ええ指摘やな。自動運転車でも同じようなことが起こってるな。完全にシミュレーションされた環境を作って、そこで自分たちのモデルを訓練するための変な状況を好きなだけ作り出せるのが、めちゃくちゃ大きな利点になってるんや。
テスラのDojoみたいなもんやな。
それを拡張して、実際の道路を走ってる大量の車が現実世界の例を記録して、それをシミュレーション環境に持ち込んで、そこですぐにたくさんのバリエーションを試せるようにしてるんや。
それに、実際の世界でのフルセルフドライビングのためにモデルを訓練したら、実世界でどんなパフォーマンスを発揮するかもテストできるしな。
お前が言うてた、象が道路を横切るみたいな珍しいエッジケースを拾って、シミュレーションに入れ込むことで、車がそういう状況をより認識できるようになるんやな。
ダリオの例で言うと、これらのことの中には現実世界の速度に制限されてるもんがあるって言うてたやろ。自動運転車の場合、実際に車が現実世界で何かを試そうとすると、危険やし、承認も必要やし、それに現実の時間の流れに沿ってしか進まへんし、同じ例を正確に繰り返すこともできへんのや。
シミュレーションを使えば、それらの問題が全部なくなるんや。Dojoの例やと、何千何万ものコピーを走らせて、しかも現実の何倍もの速度でシミュレーションできるんや。最後に全部の学習結果を一つのモデルにまとめるんや。
めちゃくちゃ大きな倍率で学習できるし、現実の時間の制約を待つ必要もないんやな。
一方で、Waymoはちょっと違うアプローチを取ってるみたいやな。特定のエリアを選んで、そこでフルセルフドライビングが機能するかどうかを確認して、ブロックごとに進めていってる感じや。
確かに安全そうやけど、テスラがやろうとしてるような「現実世界の準備や手がかりなしに、車をフルセルフドライビングにする」っていう理想的な道筋からは外れてるかもな。
そうやな。Waymoもシミュレーションに大きく依存してると思うわ。彼らのトレーニングや安全チェックにもな。両方やってると思うけど、彼らのアプローチは、お前が言うたように、とても段階的で安全なアプローチやな。
でも、それにはGoogleみたいに、10年間くらい金を湯水のように使える会社じゃないとできへんかもな。
そうやな。5億ドルくらいの資金調達してるんちゃうか。車にかかるコストも考えたら…責められへんけどな。もしこれで失敗して歩行者が死んだりしたら、Googleへのアクセスを失うことになるかもしれんしな。
ロケットや原子炉の話に戻るけど、本当に悲しいのは、毎年予防可能な事故で死んでる人の数に目をつぶって、自動運転車で数人が死んだり怪我したりすることに集中してしまうことやな。
そうやな。利用可能性バイアスやな。ニュースで取り上げられることに人々が注目してしまうんや。
ジョール・サップがサポートしてくれてるな。ジョール、久しぶりやな。彼からコメントが2つ来てる。
「読んだ限りでは、原子炉を建設する上で最大の障害は、価格に関係なく可能な限り最も安全な技術を使わなければならないっていう規則みたいやな。」
ええ指摘やな。スタートアップでそんな先端技術に手を出す資金なんてないやろ。現在の体制下で十分安全で、問題も起こさへん程度の技術で十分なはずやのにな。
それに、どういう定義で安全なんやろな。運転時間や発電量で測ったら、原子力発電は他の発電方式よりずっと安全やと思うんやけどな。
そうやな。彼の2つ目のコメントはこうや。
「テスラの車は、新しいモデルを車の中で走らせて、上手な運転手がどうするかを観察してるんや。そして、上手な運転手が自分（AI）とは違うことをした時や、逆に自分がやりそうなことを運転手がした時に、本社に報告するんや。シャドーモードってやつやな。」
へー、知らんかったわ。
そのええところは、ヒントンが論文で説明してたみたいに、何かええことや悪いことが起こって、そこから学んだことが、自然に他のすべての車に伝わるってことやな。
フェデレーテッドラーニングでもできるけど、基本的なアイデアは、すべてのインスタンスでの学習がマージされて、それがすべてのインスタンスにブロードキャストされるってことやな。
つまり、一台が何かを学んだら、翌日にはみんなが知ってるってわけや。
スタートレックのボーグを思い出すな。「やばい、フェイザーに適応しやがった。もうみんな知ってるぞ。終わりや。」
そのとおりや。
ジョールの指摘はめっちゃええと思うわ。彼らは失敗からだけやなくて、ええ例からも学んでるんやな。
面白いのは、そのええ例が時々、法律的にはグレーなことやってことやな。
例えば、都会で誰かが車線の真ん中で止まって、ハザードランプをつけたとする。たいてい、ピックアップやデリバリーのために二重駐車してるんやろうな。
ええ運転手やったら、そういう状況を見て「対向車が来てへんかったら、この車をよけて行けるな。対向車が来てたら詰んだわ。この迷惑野郎がどくまで待つしかあらへん」って瞬時に判断するやろ。
せやな。
最初の自動運転車やったら、それを単なる障害物として認識して、その通りを勝手に追い越すのは違法やから、ただ停止してたと思うわ。
でも、普通の運転手やったら、その車を追い越そうとするやろうな。法律なんてどうでもええんや。
そうそう。これは倫理的なPRの問題を引き起こすな。「ちょっと待って、お前の車、二重線越えたやん。なんでそんなんを学習データに入れたんや？」みたいな感じやな。
そうそう。でも、ええ人間の運転手やったらそうするし、場合によっては、合法的なことをするとかえって後ろの車にぶつけられる可能性もあるんや。後ろの運転手が「なんでそこで止まってんねん！」ってキレるかもしれんしな。
ほんまにええ指摘やわ。これは本当にすごいエッジケースやな。
これを見ると、なんで以前のAIがこういう状況をAIのネットワークやニューラルネットにハードコーディングしようとしたのかよくわかるな。
こういうエッジケースが何兆とあるから、それは不可能なんや。
面白い例がもう一つあってな。Waymoが四方停止の交差点の問題について説明してたんや。
運転手は自然に、ちょっとだけ前に出て、「次は俺が行くで」っていう合図をするんや。
最初のWaymoの車や最初のプログラミングやと、誰かが前に出てきたのを見たら「ああ、あいつそのまま行くつもりや。自分の番やのに」って思って、完全に停止してしまうんや。
安全性が合法性よりも優先されてたからな。
結果として、人間の運転手はすぐに、自動運転車を intimidate（脅す）できることに気づいたんや。
そうそう。そしたら今度は、自動運転車に人間の運転手と同じような行動パターンをプログラムせなあかんくなったんや。
ルールに従うだけとか、安全だけを考えるんやなくてな。
そういうふうにしたら、全然動けへんようになるからな。
そうやな。まさに中指モードが必要やな。
よう言うてくれたわ、ジョー。1時には終わりたいと思ってたけど、もう1時1分や。
ジョール、ええコメントありがとうな。最後のコメントも読んどくわ。
「もう一つの例は、『安全そうに見えたら、すべての上手な運転手が一時停止で止まらずに進んでた』ってことやな。NHTSAはそれが嫌やったから、一時停止で止まる運転手を他に見つけんとあかんかったんや。」
ジョーが言うてたとおりやな。
ティモシー・ヌーナンが「バスの新型スマートカーの発売は失敗やったみたいやな」って言うてるけど、明日それについて少し話そうと思うわ。ウォール街は喜んでへんかったみたいやけど、株価は回復したんかな。
明日は、OpenAIの財務状況について詳しく見ていこうと思うわ。それと、いくつかの研究についても話して、Wiロボットのイベントについても触れたいと思うんや。
参加したい人は、patreon.com/svicに行って、このチャンネルのサポーターになってくれたらええで。もしくは、「参加する」ボタンを押してくれてもええんや。
ジョー、みんな、ありがとう。また後でな。
こんな感じで、視聴してくれてありがとう。「いいね」、「チャンネル登録」、「シェア」、「コメント」を忘れんといてな。
このショーは、みんなみたいな視聴者のおかげで続けられてるんや。patreon.com/svicに行って、月額22.99ドルで番組に貢献できるで。そうしたら、うちのDiscordにアクセスできるし、研究のまとめも見れるし、最高のプライベートなテックコミュニティの一つにも参加できるんや。
5ドルだけでも、ボーナスエピソードが見れるようになるで。
他にも見たいコンテンツがあったら、ここにある2つの動画をチェックしてみてな。
じゃあ、また後でな。バイバイ。
コメント