13,328 文字
人間と蟻の違いは単に知能の量ではなく、全く新しい能力を可能にする脳のアーキテクチャの違いなのです。そのように考えると、人間の次の段階、そしてその次の段階を想像できます。それらはただ賢いだけでなく、段階的な飛躍があるのです。
これは生物学的知能の範囲の終わりです。そしてこの上に人工超知能があります。私たちは次のレベルに何があるのか認識することさえできません。蟻にとって私たちがそうであるように、もし私たちがその階段を同じ距離上がったとしたら、私たちはそれを想像することすらできないのです。私にとって最大の例はアルファフォールドです。
そして、それは私たちがまだ発見していなかったり形状を知らなかったりする他のタンパク質の予測を出し始めました。私たちが理解も予測もできないようなパターンがあるのです。それをニューラルネットに入力すると、「ああ、もちろん生命の構成要素がこのようにパターン化されているんだ」と言うんです。
「明らかに、私はこれを作り出せます。はい、どうぞ」というわけです。私たちはこの地球上で最高の知性、頂点の知性として長い間、最も賢いものでした。こんにちは、私はYouTubeチャンネル「ディラン・キュリアス」のディラン・キュリアスです。ウェス、あなたとお話しできてとても嬉しいです。
とても嬉しく思います。それでは始めましょう。まず最初に、AIがこれだけの努力に値するかもしれないと思った決定的な瞬間はいつどこだったのか、教えていただけますか？多くの人にとって、ChatGPTの瞬間が何かの始まりだったと思います。私の場合、イーロン・マスクがツイートしているのを見ました。
「ChatGPTは怖いほど優秀になってきている」とか何とか言っていたので、「このChatGPTって何だろう？」と思いました。それで調べてみたんですが、まあまあでした。確かに何かはあったんです。魔法のようでも心を奪うようなものでもなかったけど、何かがありました。「なるほど、これは面白いな。まあいいや」と思いました。
次に、OpenAIについてもっと学び始め、彼らには本当に面白い隠れん坊の強化学習、ビデオゲームのようなものがあり、AIエージェントを訓練して隠れん坊をプレイさせていました。特に新しいものでも心を奪うようなものでもなかったと思います。
彼らはただそれを非常に魅力的な方法で提示するのが上手だったのだと思います。データを示し、概念を説明するのが上手でした。顔に笑顔を浮かべた小さな青と赤の人々が走り回っていたので、視覚的にも楽しかったです。
そして前提はとてもシンプルでした。二つのチーム、各チーム二人のプレイヤーがいて、一方は隠れる側、もう一方は探す側でした。基本的に探す側は…覚えていますか？そうです、ChatGPTの前のことです。LLMが本当に台頭する前で、それは何年も前のことだと思います。これは基本的な強化学習で、それは長い間存在していました。
赤チームはもし青チーム、つまり隠れる側を視界に捉えることができれば、ポイントを獲得し、隠れる側は探す側の視界から逃れることができれば、仮想的なハイタッチのような強化学習型の報酬を得るのです。非常に基本的なものでした。
最初の数千回、あるいは数十万回のシミュレーションでは、AIエージェントは何もできませんでした。彼らはただランダムにボタンを押していただけです。ぐるぐる回ったり、ぎくしゃくした動きをしたり、知能や知性の兆候は全く見られませんでした。
そのことについて知っていたのですが、実際に見るのは非常に興味深かったです。実際、これを理解することは、今起きていることの多くに関連しています。なぜなら、私たちは人間のデータを最初から与えていなかったからです。「これが隠れる方法だ」とは教えずに、「自分で考えなさい。何も教えないよ。間違ったことをすれば罰を与え、正しければハイタッチをあげるだけだ」と言ったのです。時間の経過とともに、何百万、何億回もの反復の後、知性が現れるのを見ました。そして見ていて、「ああ、なるほど。これは学習だ」と思いました。「これは私たちが学習と呼ぶものだ。それ以外の何ものでもない。これは機械学習だ」と。それが私にとって二つ目のパズルのピースでした。「なるほど、これは人間の脳に似て情報を集め、これとあれをするものだ」と思いました。
10億回の反復の後、彼らはシステムの開発者さえ気づいていなかったあるグリッチを見つけました。彼らは自分たちを空中に打ち上げて、隠れる側がいるところに着地するという方法を見つけ、それは開発者にとって驚きでした。それは創造性であり、まるで私たちが彼らの環境を作り、その環境について全てを知っていると思っていたけれど、彼らは開発者が「え、何をしたの？」と思うようなことを見つけ出したのです。私はそれが非常に興味深いと思いました。
それでChatGPTがあり、それがあって、その後すぐ、ChatGPTが出た数週間後、3、4ヶ月後にGPT-4が出ました。そのときMicrosoftが「AGIの火花」という論文を発表しました。彼らはこれが一種のAGI（汎用人工知能）のプロトタイプだと言っていました。その論文を読んだとき、それは「棺桶に打たれた最後の釘」というか、私は「なるほど、これは何でも投げかけられたことを試みるもので、上手くいくかもしれないし、上手くいかないかもしれない、ちょうど人間のように失敗するかもしれないけれど、試みるだろう」と思いました。
それはあなたが言おうとしていることを理解するでしょう。そして強化学習の側面と、LLMのGPT-4のより一般的な側面の間、それらの二つの瞬間の間のどこかで、私には「なるほど、私たちは何か大きなものに手をつけている」と理解されました。それがどこに向かうのか分かりませんでしたが、「これが大きな大きな大きな話題にならない可能性はない」と思いました。
そして私はすぐにそれに全力を注ぎました。そうですね、それはとても興味深いですね。なぜなら私も二つのこぶ、ラクダのように二つの山があったポイントを指摘できます。私が最初に「プログラミングと学習の間には違いがある」と思った瞬間です。
私にとってその最初の瞬間は、ワトソンを見ていたときでした。それはずっと前のことです。そしてA、B、Cなどの文字を書くさまざまな方法を学習していました。単に平均を取るのではなく、文字Aや文字Bについての一般的な何かを学んでいたのです。シミュレーション環境が「ああ、これは歩行やMRIの読み取りなど、狭い領域ではないように思えるすべてのことである可能性がある」と気づかせ始めました。
そして二番目のショックの瞬間があり、「ああ、これはここで起こっていることのように感じられるものに非常に近い」と思うのです。確かに。そしてあなたが「それはプログラミングではなく、それは何か別のものだ。それは学習だ」と言ったことが気に入りました。それは私が「待って、これはコードではない」と思ったとき大きな変化でした。
これは誰かがスクリプトを書いているわけではありません。これは何か別のものです。そう、開発者もどう動くかわからないのです。彼らは「データを入力して、モデルを調整したら解決した」と言いますが、プログラムされたわけではないのです。それをすべて遡って追跡する方法はありません。その通りです。
それは私にとって大きな考え方の転換でした。「わかった、これは違うんだ」と思いました。実際、ChatGPTを使っている人のうち、どれだけの人がそれをプログラムだと考えているでしょうか？私たちはそれを説明しようとする際に不利な立場にあります。なぜなら、あなたはiPhoneで両方を開くけれど、一つはアプリでもう一つはChatGPTで、とても似ているように感じるからです。
実際には、一方はそれがやることすべてを学び、もう一方はそれがやることすべてをプログラムされているという事実を理解するのは難しいです。その通りです。それは確かに、もっと多くの人が認識する必要があることの一つだと思います。なぜなら、彼らはそれをスクリプトと比較して、「ああ、このプログラムほど良くない」と言いますが、一つは静的で、もう一つは学習しているのです。まったく違うものです。そうですね。
ある人は「大きな数の平方根を計算するのもやっとだ」と不平を言っていて、私は「でも医学試験に合格したり、短編小説を書いたりもできるよ。それはあなたの電卓にはできないことでしょう。だから、考えてみればちょっと印象的だと思いませんか」と言いました。まったくその通りです。
それで、人間がこの惑星の中心として存在し、「たぶん違うかもしれない」と気づいた後、知性が私たちを特別にする要素だと考えていたのに、テクノロジーが他のすべてを取り除いているのを見て、今や知性さえも特別ではないかもしれないという考えに直面しているように感じますか？このようなことを掘り下げるにつれて、あなた自身はますます小さく感じていきますか？はい、でもそれは良いことです。
何年も前にイリヤ・サツケバーは「もし人間について唯一価値を置くものが知性、その知性レベルだけなら、あなたは悪い時を過ごすことになるだろう」と言いました。そして私はそれが彼が意味したことだと思います。私たちが見ているのはそれだと思います。なぜなら、AIが誰かの領域と交差するとき、彼らが自分自身を誇りに思っている領域、「ああ、私はこのことが得意だ」という領域で、AIが出てきて彼らを圧倒するとき、人々は怒ります。
私はこれを私のビデオのコメント、他の人のビデオ、Reddit、どこでも見ています。人々はそれについて非常に恐れています。多くの怒りがあります。なぜなら彼らはこのものが自分より優れていることに脅威を感じているからです。
もし彼らが自分の知性や能力を非常に誇りに思っていて、このものが出てきて彼らより賢いなら、もしそれが彼らが唯一価値を置くものなら、彼らは攻撃されていると感じます。そして私が言いたいのは、もしあなたがそれを少し手放すなら、もしあなたがそのエゴを手放すなら…それが正しい言葉かどうかはわかりませんが、自分自身をあまり真剣に受け止めないということです。そう、私たちはこの地球上で最高の知性、頂点の知性として長い間、最も賢いものでした。そして今、これは出現です。それはとても奇妙です。
私たちは自分たちが創造したものにそれを譲り渡そうとしています。それはとても異なります。通常、進化が新しい頂点の捕食者になるものを生み出しました。私たちは、自分たちが屈服するものを実際に構築する最初の存在かもしれません。「屈服する」とはどういう意味ですか？それは私たちを超越するという意味ですか、必ずしも私たち全員を殺すという意味ではなく？一番奇妙なのは、「屈服する」とは、例えばそれが超善意的で、私たちが完璧な動物園に住んでいるとしても、それでも一種の屈服です。
それは今や人類の方向性を担っているという意味です。それは奇妙です。良いか悪いかはわかりませんが、それは人々が考えるほど大きな問題ではないかもしれません。間違っているかもしれませんが、意見を聞かせてください。計算機は計算において私たちより優れていますが、誰もそれに存在論的な恐怖を感じません。チェスAIは人間よりはるかに優れていますが、人々はまだチェスをプレイします。人々はまだチェスを楽しんでいます。
スコット・アーロンソンという非常に賢い一流の物理学者がいます。彼はGoogleの量子チップの仕事をしていました。スコット・アーロンソンですね。そう思います。そしてイリヤ・サツケバーは何年か前に彼をOpenAIの安全チームの副業として招待しました。
それは彼の専門分野ではありませんでした。スコット・アーロンソンの分野は物理学で、彼は非常に賢いですが、AIは彼にとって全く新しいものでした。だから彼は専門家としてではなく、単に彼らが何らかの形で貢献してほしいと望んだ素晴らしい人物として参加しました。このように非常に賢い人が、AIのような全く新しい産業や分野で一から始め、これらの概念に取り組むのを見るのは興味深かったです。
彼が思いついたものの中には素晴らしいものがありました。彼のTEDトークがあり、最終的にはそれになりましたが、その前にYouTubeに別のトークがあり、彼はそこで部屋の前で練習し、もっとリラックスして自然な感じでした。それは素晴らしい見どころです。しかし最後に人々は「これらのAIが私たちよりすべてにおいて優れるようになったらどうなるの？」と彼に尋ねます。
彼は「それは問題にならないでしょう。なぜなら、私たちには人間のランナーより速い車があります。それでも私たちはオリンピックを見ます。私たちにはチェスより優れたものがあります。それでも私たちはオリンピックを見ます」あるいは「それでも私たちはチェスをプレイします」と言います。だから彼は私たちはお互いに競争し、それから楽しみを得るだろうと言っていました。
私たちは本を書くでしょう。なぜなら私たちは本を書くことを楽しみ、他の人は他の人の本を読むことを楽しむからです。ハイキングに行くなら、それが与えてくれる経験を楽しむでしょう。彼が基本的に言っていたのは、すべてが経済単位で測られたり、私たちが何らかの社会的はしごを登ろうとするのではなく、私たちはその経験のためにそれをするだろうということです。わかりますか？そうですね。
そうですね、私の頭の中では一つずつ考えていました。「わかった、私たちよりも優れたチェスを発明したけれど、それでも楽しみのために互いにプレイし、一部の人はそれから学ぶ。そして多分それはより良く車を運転するでしょう、そしてそれはより多くの意思決定のようなことに入り始めます。」これは私にとって少しあいまいになります。私は政府、大統領AIが私たちが投票する人間よりもより良い仕事をすると想像できます。だから私たちはそれを担当させます。そして医学や機械工学のようなものがアウトソースされるまで、私の生活の中で実用的なものや有用なものは本当に何もなくなると考えています。
しかし、たとえば友達と会って、必要がなくても医学について学ぶというようなことはまだあるかもしれません。あるいは私たちはただハイキングをしたり純粋に身体的なことをするだけでしょうか？そしてもしロボットがあなたをよりよくハグしたり、愛したりするのが上手で、人々が「別の人に自分が望むように行動させるのは本当に難しいけど、このものとデートできる」と言ったら、私たちが…チェスの類推は少し崩れる感じがしませんか？はい、
完全に理解できます。これは何が起こるか見るのがとても興味深いでしょう。一方では、そうですね、今私たちがしていることの多くは、ある種経済的に動機づけられています。私たちは決断を下し、良い決断をする人々は社会で報われます。会社を経営している場合などのように。
さて、それを取り除くとします。そして今、あなたは好きなことをするだけです。それは良い生活を作りますか？私たちは裕福に生まれた人々が惨めであるのを見ます。または多くの富を達成したが惨めな人々。ジム・キャリーがそれについて話していました。彼はお金を稼ぐために一生懸命努力し、そしてすべてのお金を稼いだ後、今彼は「それはすべて無意味で、そのようなことをすべてを気にしないでください、なぜならそれは無意味だから」と言っています。
仮定的に想像してみましょう、デジタルのウェス・ロスのツインがあるとします。あなたはこのiPhoneアプリを持っていて、ほとんどいつもそれがあなたのために決断を下し、メールを設定し、レストランの注文をするなど、ほとんどいつもあなたが考えるであろうことをします。
それはあなたが投票もアウトソースするようなものですか？「異なる候補者をすべて見て、私のために投票してください」と言うでしょうか？「この女の子に印象づけたいから、楽しい冗談を考えてくれれば私が言う」というようなことまでするでしょうか？
それとも、「アプリを開かないし、デジタルツインと話さない。自分でこれをやりたい」と本当に言うでしょうか？それは非常に考えさせられますね。これについては少しライブストリームで話しました。誰かが似たような質問をしてきて、「ああ、まいった」と思いました。
なぜなら、「もしすべての決断があなたのためになされたら？すべてが素晴らしく快適で、ストレスを感じる必要がなく、すべてを持っていたら？女の子に言いたい冗談があれば、その場で最高の冗談があるとしたら？」というアイデアだからです。
現代社会でも少しそれを見ています。私たちはますます多くのものを持っていますが、人々は必ずしも幸せではありません。実際、多くの人々は惨めです。だから私が思うのは、彼らはオリジナルのマトリックス映画でそれを的確に表現したと思います。エージェント・アンダーソン…いや、エージェント・スミスでしたね。
彼は「最初、私たちはあなた方人間のために完璧なユートピアを作りましたが、あなた方は惨めでした。だから私たちはそれを捨てて、このひどい世界を作りました。そしてあなた方は幸せでした。あなた方は惨めである必要がありました」と言います。だから私は、私たちには少し惨めである必要があると思います。何か否定的なものや、私たちが努力しているもの、走っているものがある必要があります。
私たちはみな働かなければなりません。それは特定の犬種のようなものです。彼らが働かなければ、彼らが貢献していると感じなければ、彼らは幸せではありません。私は人間にもそれが少しあると思います。だから私は、ある時点で、最終的にAIであろうとなかろうと、ある時点で私たちは自動化だけで、誰も今ほど働く必要がない点に達し、私たちはもう少し惨めになり、それらすべての外側の意味を見つける必要があると思います。
もし私があなたの質問を正しく理解しているなら、それは…私は私たちがすべてが処理されれば幸せになるとは思いません。解決策は何でしょうか？わかりません。そうですね。
なぜなら、それは非常に人間的な問題だからです。あなたは今失敗したくないですよね。だからチートコードに頼りたいと思います。そしてあなたは月から月へとチートコードに頼り、あなたの人生には満足感がありません。それは常にその瞬間に間違った動きのように感じ、長い目で見ても常に間違った動きになるのです。
ビデオゲームの例えでは、あなたはゲームをプレイしていて、興味はあるけれど苦戦しています。チートコードを入力すると、苦戦から簡単になり、すべての興味を失います。おそらく人生も同じです。もしあなたがすべてを持っていれば、すべての興味を失うでしょう。
だから私には、ある種の人工的な希少性や人工的な争い、困難を組み込むことが人間にとって良いことのように思えます。だからある時点で、私たちはそれをどうするかについて考えることになるでしょう。わかりません。私にとって今、気分が良くないとき、時々助けになるのは、ハードなトレーニングをしたり、ランニングに行ったりすることです。
必ずしも快適ではない何かをします。わかりますか？それは何か難しいことで、驚くべきことに、それは一種の対照的なものなので、後で気分がずっと良くなります。だから、もし人生に対照がなければ、良いものを本当に感謝する能力を失います。
だから私はそれが大きな問いになると思います。どうやって対照を作り出すか？そうですね。そして、もし地球上に80億人がいて、そのほとんどがその技術を学ぶ必要があるなら、それは自己認識という技術です。つまり、明らかに私の周りにあるにもかかわらず、簡単な答えを望まないということです。
それはスタートレックのレプリケーターの世界に慣れることであり、それに頼るだけではありません。あなたは休日に中毒になることはできません。自分の弱点を知り、それをより難しくするために人工的な障壁を自分の周りに置く必要があります。では、AIを発明したことを後悔すると思いますか？それとも、これは世界を向上させるテクノロジーの進歩と同じだと思いますか？より良い世界？私にとって、過去の各大きなテクノロジーがもたらしたのはより多くのことを行うためのレバレッジです。それは通常、より多くの害を与えることができることを意味します。私たちはより多くの良いことをすることができます。AIは私たちが今まで持っていた、そしておそらく将来持つであろう最大のレバレッジテクノロジーです。だから、私はそれが私たちがAIを発明した日が私たちが永遠に後悔する日になるか、あるいは人類にとって史上最高の日になるかのどちらかだと思います。
わかりますか？それが中立である可能性は見出せません。それは大きな影響を与えるでしょう、良いか悪いかは。あなたのP doom（破滅確率）はどれくらいですか？私はP doomについて話すという考えが好きではありません。なぜなら、考慮すべき他の本当に悪いディストピア的結果がいくつかあると思うからです。
もし私たちがただP doomとその存在論的リスク、何らかの破滅的なXリスクについて話しているなら、例えば誰かが冗談で「よし、私たちにはP doomがある。P 1984は何だろう？」と言いました。あのジョージ・オーウェルの本ですね？そうです。
もし何か専制政権が支配し、誰もが常に監視され、誰もが洗脳され、それに対抗したり打倒したりする方法がないとしたら？なぜなら、もしあなたがP doomについて話しているなら、AI開発を追求しないための多くの解決策は、より中央集権化、より協力的であることです。誰もAIを開発していないことを確認するトップダウンの世界政府組織のようなものについても話がありました。
もし本当に懸念していて、もしあなたのP doomが高いなら、あなたの唯一の解決策は何ですか？それは本当に政府を巻き込んで開発を停止することです。もしあなたのP doomが99％なら。他に何ができますか？しかし、もし政府がそれを悪用したり、自分たちの必要のために開発したりすることを決めたらどうなりますか？
だから私は、私たちはリスクを全体的に話す必要があると思います。それがダリオ・アモデイが取り組む方法です。彼は「ええ、私たちはXリスクについて話す必要がある。P doomについて話す必要がある。また、権威主義体制が他の誰よりも先にこのテクノロジーにアクセスした場合に何が起こるかについても話す必要がある」と言います。
彼は「起こり得る悪いことはいくつかある。私たちはそれらを全体的に見る必要がある」と言っています。理解できますか？もちろん、すべてを中央集権化すれば、権威主義体制などのリスクが潜在的に高まるかもしれません。P doomが高い人々、例えばヤンコウスキーは、「これは何を意味するのか？」と聞き始めるとき、それは政府がより緊密になることを意味します。
そして一部の国々が協力的でない場合、ある時点で、本当に協力的でない場合、核などのチェックプログラムと同じように、サーバーやセンターを爆撃するなどして、あなたが彼らの参加や協力について本当に真剣であることを示す必要があるかもしれません。
つまり、私たちは国々を完全に管理する世界政府について話しているのです。そのような方向性のものです。実際に誰かがそれを提案する演説がありました。だから私が勝手に作り出しているわけではないのです。それがどうすればそれに対処できるかということです。それも私を怖がらせます。わかりますか？
そうですね。それはもっと大きな意味を持ちますね。イーロン・マスク、サム・アルトマン、デミス・ハサビスなど、あなたが見てきた人々の中で、誰に最も同意し、誰を最も信頼し、AIの分野や主要テクノロジー企業のCEOについてどう感じているのか、ちょっと興味があります。まず、誰かが天使か悪魔かという考え方に陥らないようにしていると思います。
誰も完全に善でも悪でもありません。誰もが欠点を持つ混合物です。だから誰もが中間のどこかにいると思います。信頼という点では、完全に信頼できると感じるのはデミスだけです。なぜかはわかりません。
実は私も同じ気持ちです。そうですね。彼は誰よりも先にいました。そして彼はこれを急いで製品に押し込むことを望んでいませんでした。彼は本当に賢く、実際に地上レベルで物事を構築しています。彼はテクノロジーを理解しています。そして奇妙なことに、彼とのインタビューでは、何を投げかけても、生物学やその他のことについて話したいと思っても、彼はすべてを知っていて、すべてについて本当に素晴らしい理解を持っています。
そして彼は本当に自分自身や何かではなく、人類を気にしているように見えます。他の人々が必ずしも悪いとは思いませんが、彼らはより人間的です。つまり私たち残りの人々のように、彼らには自分自身の野心や目標などがあります。
サムが製品を急ぎすぎていると思いますか？それとも彼の考え方として、段階的に物事を押し出すことで人類がそれを吸収し、それをどうするかを考える余裕ができると感じますか？起きていることを見た後、それは私には意味をなすようになってきました。
反復して押し出し、反復して押し出すという考え方です。そして私たちはその場でいくつかのガードレールを構築し、それがどこで物事を壊し始めるのかを理解することができます。多くの人々がそれを狂気だと思っていることは確かです。彼らはそれが危険だと思っています。私もそれが安全だとは言っていません。彼らはある時点で何かを壊すモデルを押し出すでしょう。つまり、それは何らかの損害、何らかの問題を引き起こすということです。しかしそれが最も安全な方法かもしれません。それは進化的あるいは市場のダイナミクスのような安全性を持っているように見えます。サイバーセキュリティがサイバー攻撃と共に常に進化しているのと同じように。その通りです。
そして私はそれに真実があると思います。もちろん、それは会社の評価などの点で彼の手に乗る可能性があります。だから彼は自分のゲームをしているかもしれませんが、表面的には、物事を急速に押し出して社会に対処する方法を見つけ出すように強制するという考えは理にかなっています。
それが奇妙に聞こえることは知っています。それはリスクがあるように聞こえますが、この時点では悪い考えではないかもしれません。それはとても進化的なプロセスです、あなたが言ったように。それはそれを見る良い方法だと思います。そしてイーロン・マスクは、すべてのAIが全てを殺すと仮定することから、今では彼はそれについてより前向きであるか、少なくとも彼はそれを制御したいと思っていて、開発の一部になりたいと考えています。
彼らがコロッサスか何かという巨大なデータセンターを建設していて、それを楽しみにしています。それはメンフィスにあると思います。そうです、そこです。それは単一のデータセンターとして他の何よりも大きいです。だから次のGrockのイテレーションを、その全力で構築すれば、それは巨大なものになるでしょう。
スケーリングが天井に達していないと感じますか？私はいつも確信が持てません。「ああ、そうだね、今やそれは建築上の問題だ」と言う人もいます。時にはそれはただのスケールの問題です。しかし、スケーリングは線形的な進歩に対して指数関数的なコストですよね？だからあなたは物事を10倍にすると、モデルの能力を2倍にするというような感じです。
確かに4.0から4.5への飛躍はそれほど素晴らしく印象的ではありませんでした。しかし、私たちはより多くのコンピュートだけでなく、テスト時のコンピュートや多くの異なる種類のアーキテクチャの変更など、スケールする他の多くの方法を見つけました。だから私たちはそれを改善する他の道を見つけており、それもそれをスケールしているのですが、おそらく同じように、ただより多くのコンピュータなどでスケールしているわけではないのです。
だから、それが改善への唯一の道ではないと思います。いくつかの異なる道があるでしょうし、それでも私たちはより多くのNVIDIAチップやより多くのデータを生み出すものなどが必要になると思います。振り返ってみると、あなたが公開したビデオで最も誇りに思うお気に入りのものはありますか？あまり人気のないビデオがいくつか私のお気に入りです。
私がただあるウサギの穴に深く入り込み、それが私のためだけに存在するようなものです。しかし、それは多くの人々に訴えるようなものではありません。なぜなら新しいモデルのリリースなどが人々が見たいものだからです。私がいじっていることは、例えばAIモデルが私たちが伝えていない世界の部分でさえ、彼らが世界をどのように理解しているかについて独自のメンタルモデルを持っていることを示すようなものです。
彼らは外部世界の存在を推測する抽象的な表現を作り出します。それは私のお気に入りの一つでした。それは新しいものですか？アンスロピックの論文ですか？これは実際に古いもので、アンドリュー・アンがこれらのモデルが理解していると言っていたものです。OLL GPTを見てみてください。それは心を奪うものです。
OLL GPTでは、彼らはOLLというゲームからのゲームを与え、ただ動きの表記だけを与えました。しばらくすると、モデルは次にどの動きが来るかを予測できるようになりました。それは興味深く、彼らが行うはずのことのようですが、後でより深く掘り下げ始めると、モデルがボードがどのように見えるかについて一種の表現を持っていることがわかりました。
誰もボードについて教えませんでした。誰もプレイヤーについて教えませんでした。誰も四角について教えませんでした。しかし、それはボードがどのように見えるかについての心的モデルを作り出しました。意識がどのように構築されるかがそれかもしれませんね。あなたが3歳か4歳のときのことを考えてみてください。あまり蓄積がなかったので、少なく感じたのでしょう。そうですね、それはクレイジーです。考えるのは変なことです。
私はちょうど誰かが要約したものをざっと読んだだけですが、この週のアンスロピックの論文があるのを知っています。彼らはいくつかの質問がどのように答えられたかを調べるためにオートエンコーダーを使っていました。彼らが数学の足し算をするように頼んだとき、心の理論を通して、どのようにその解決策に至ったかを尋ねると、「1を繰り上げてこれらすべてのことをした」と言いました。しかし、彼らがオートエンコーダーを通して見たとき、それは実際には「何が馬鹿げた数字か」についてのネットワーク全体を活性化させ、平均的な答えを絞り込みました。ゼロは良い答えではないし、10億も良い答えではないと。
そして、ネットワークの別の部分が、計算したと思っていたこととは異なることをしました。それは確かに数字を足しましたが、最初の列だけでそうし、他の半分を一般化しただけでした。それは非常に魅力的です。それは非常に奇妙です。非常に魅力的です。
このことについてもっと発見するのが待ちきれません。なぜなら、それはニューラルネットで何が起こっているのかという全く新しいウサギの穴だからです。最初、人々は「ああ、これはただ確率的なオウムが予測するだけだ」と言っていましたが、違います。そこでは何か狂ったことが起きていて、それに魅了されています。
それがYouTubeのビデオを作るのが楽しい理由の一部です。私はまだ収益性のあるチャンネルではありませんが、私がこれを愛する理由は、それについて考えるのが好きだからです。そして私たちは次の5年、10年の間に大冒険をするでしょう。世界全体が変わり、私たちは毎日それを消化しようとするでしょう。それは素晴らしいことになるでしょう。
よし、これは興奮する議論でした。もっと聞きたい方は、ディランのYouTubeチャンネルでこの続きをお届けします。すべてのリンクをショーノートと固定コメントに残します。ぜひチェックして、フォローしてください。寿命延長、自由意志、その他のAI関連の話題について話し合う予定です。チェックしてください。そちらでお会いしましょう。
コメント