この動画は、『スーパーインテリジェンス』の著者として知られるニック・ボストロームが、新著『ディープユートピア』について語る内容である。彼は人工超知能到来後の世界について、経済的生産性の必要性消失、意味や目的の再定義、デジタル意識の道徳的地位など、四つの主要課題を論じている。特に技術的成熟後の社会システム、ゲーム化による人工的目的の創出、宇宙的ホストとの関係性についての洞察が興味深い。また、現在のLLMが人間的特徴を継承している現象や、オープン・グローバル投資モデルによるAI統治の可能性についても詳述している。
- シンギュラリティ後の世界と人間社会
- ニック・ボストロームとの対話開始
- 解決された世界での意味と目的
- ペーパークリップマキシマイザーの再考
- 四つの課題カテゴリー
- デジタルマインドの道徳的地位
- 宇宙的ホストとの関係
- 10億ドルの投資配分
- Anthropicの先駆的な取り組み
- ブレインコンピュータインターフェース
- デジタルマインドの複製問題
- 世界シミュレーションと意識の理解
- 人間の意識の複雑さ
- AI界のリーダーたちとの対話
- シミュレーション内の超知能
- 謙虚なアプローチの重要性
- シミュレーションの目的についての考察
- 計算的宇宙の可能性
- 人工知能による物理シミュレーション
- オープン・グローバル投資モデル
- タイムラインと未来予測
- 最後のメッセージ
シンギュラリティ後の世界と人間社会
シンギュラリティの後やと、社会システムがどないなるかはっきり見えへんねん。僕らは今、たった数年程度の短期間でそれが起こらへんかもしれへんって確信持てへん状況にあるんや。ある地点を超えたら、人間による革新は不要になるし、ある意味では不可能になってまうんやな。人間による経済的に生産的な労働の必要性はなくなってまうやろう。
重要なんは、ターミナル駅まで全速力で駆け抜けるんやのうて、正しい軌道に乗ることを確実にすることやねん。まず超知能を手に入れて、そんで超知能が超洗練されたブレインコンピュータインターフェースとかを考え出すんやろう。
ニック・ボストロームとの対話開始
そんなわけで今日は、哲学者で作家のニック・ボストロームに来てもらったで。彼の2014年の本『スーパーインテリジェンス』は、AIアライメントにおける画期的な作品やっただけやのうて、僕個人的にも非常にインスピレーションを受けた本やった。そして今度は新しい本を出版してん。『ディープユートピア』っちゅうタイトルで、テクノロジーが病気、欠乏、そして死すらも征服した未来を探求してるんや。
そこから始めようか。ニック、来てくれてありがとう。生存がもはや人類の最大の挑戦やなくなったとき、人類はどないなってるか教えてくれる？
うーん、このシナリオでは多くのことが変わると思うで。まず超知能の開発に成功したとしよう。アライメント問題を解決して、統治についても少なくともそれなりに上手くやったとしようや。そうすると、技術的成熟に近いものへの飛躍を得ることになると思うんや。先進的なAIを持つだけやなく、そのAIが他のあらゆる超ハイテクな技術を発明する手助けをしてくれるんや。
伝統的なSFで出てくるあれやこれやや。宇宙コロニーやら、完璧な仮想現実やら、老化の治療法やら、コンピュータへのアップロードやら。物理法則と矛盾せえへんけど、僕らにとってはめちゃくちゃ高度すぎることや。人間の科学者でも、2000年、5000年かけて研究したらもしかしたら発明できるかもしれへんようなことや。
そういうのが超知能の到来後すぐに起こるかもしれへんと思ってるんや。そうすると、人間の良い生活がどんなもんかを考える上でのゲームのルールが全然違ってくるんや。今日可能なことを制限してる実際的な制約の多くがもう適用されへんくなるし、表面的なレベルでは、人間による経済的に生産的な労働の必要性がなくなるんや。そんでもっと根本的なアンロックも起こると思うで。それについてはまた後で話せるやろうな。
解決された世界での意味と目的
確かに。僕らがあんたの言う「解決された世界」で生きることになって、もう働く必要がなくなったときに何が起こるかを考えるのは、めちゃくちゃ興味深いことやな。多くの人は一見素晴らしく聞こえるかもしれへんと思うけど、一連の問題に直面するんや。その時点で意味って何なんや、目的って何なんや。そういうものの多くが失われてまうかもしれへんからな。
そこで、僕らがそこに到達したとしよう。あんたが言ったように、アライメントも統治も解決したとしよう。もし人間がこの新しい世界で意味を見つけるのに苦労してるとしたら、あんた個人的には、意味を保持する困難さを保存する政策みたいなものを支持するか？つまり、人間が目的を与えてくれる特定の活動については、AIの支援も生物学的増強も神経強化も使えへんようにするんや。意味が消されへんようにな。そういうのを強制することを支持するか？
うーん、ちょっと微妙になってくると思うで。まず最初に言うとく価値があることやけど、僕らが想定したこの条件下で達成しやすくなる非常に重要な価値があるんや。つまり、大量の不必要な苦痛の除去や、栄養不足による人間の能力の削減やら、あらゆる種類のものな。だから、ネガティブなものの除去だけでも既に大きな勝利なんや。
そんで積極的な面では、哲学的な観点から言うと、快楽主義者やったら、快楽や実際に存在を楽しむことが唯一の価値かもしれへん。もしかしたらそれが、未来が積極的か消極的かを決める唯一の究極的なものかもしれへんな。でも哲学的な観点からすると、それは無制限のリソースとテクノロジーと良い統治があったら実現するのに複雑やない価値なんや。そういう余裕の中には、人間の快楽システムの校正ポイントを変更できるような超先進的な神経技術も含まれるやろうな。デジタルマインドやったらもっとコントロールができるで。
この解決された世界でも価値の大幅な向上を得ることが明らかやない部分にズームインすると、目的や意味みたいな価値に辿り着くんや。そこでは明らかやないし、実際、そういうものの一部については、現在の状況と比べて失うかもしれへんという可能性すらあると思うで。それでも全体的には大幅な向上やと思うけどな。でも知的に興味深いのは、そういう部分に焦点を当てることや。
あんたの質問にもっと具体的に答えると、特定の状況では意図的に自分らを制限すること、能力を制限することに役割があると思うで。僕らは今日それをやってるし、それをゲームって呼んでるんや。ゲームはある意味、人工的な目的やからな。ゴルフボールを連続した穴に入れるとか、ボード上の駒を操作するとかいう、ある意味任意の目標を自分に設定するんや。そんでこの目標を達成するには、この許可された手段のクラスだけを使わなあかんって言うんや。
ゴルフボールはクラブで打ってもええけど、拾い上げたらあかん。そういうのを目標に織り込むんや。ゴルフで勝つっちゅうのは、特定のクラスの許可された手段だけを使って目標を達成することを含んでるんや。だから、解決された世界のユートピア住民も人工的な目的を作り出すためにそういうことをするかもしれへんな。
デザイナー欠乏みたいな人工的な形式を生み出すことができるんや。ゴルフプレイヤーが飢える必要がなかったり、プレイ中にマラリア蚊に襲われる必要がなかったりするのと同じや。そういう困難は取り除きたいかもしれへんけど、他の困難は作り出すことができるんや。そして、これには大きな余地があると思うで。今日僕らがゲームって思ってるものは、普通かなり小さくて限定的やけど、何十年にもわたって続く文明規模の相互創造の企業を想像できるで。ある種のゲームプレイのハイパースペースでな。
ボード上の駒を動かすだけやなく、社会的ゲーム、文化的ゲーム、芸術的ゲーム、オールインワンのものまで、さまざまなモダリティを含むんや。だから、そういうのがこれらのユートピア住民が実際に日々を過ごすことの大きな部分になるかもしれへんと思ってる。
ペーパークリップマキシマイザーの再考
俺にはそれが全部についてのことやと感じるで。つまり、この小さなAIシステムエージェントが何でもできるから、面白いままでいるためにゲーム化されたいんや。でも、ペーパークリップマキシマイザーを再考してみようか。あんたはアライメントを考える必要がある理由の最初の比喩を作ったことで非常に有名やからな。
あんたの最初の本が出たとき、俺が話してた人にはほとんど誰もレーダーに載ってへんかった感じやった。ペーパークリップマキシマイザーについて、11年、12年後の今、あんたはそれについてそれほど心配してへんのか、もっと心配してるのか、それとも違って見えるのか？そして現代の世界をあんたの最初の比喩にどう加えるか？
うーん、その特定のものに過度に固執してるかもしれへんけど、それは漫画の例やからな。Eliezer Yudkowskyもそれを使ってたけど、より広いクラスの失敗の代替なんや。極めて強力なオプティマイザー、超知能を作るんやけど、それが何らかの目標アーキテクチャを持ってて、その巨大な力を使って、より良いか悪いかの基準に従って世界を本当に成功裏に形作るんや。
でもその効用関数や目的関数、その目標が僕らが気にかけるものを包含してなくて整列してへんかったら、未来は完全に異質な構造に形作られるかもしれへん。例えばペーパークリップがたくさんある未来とかな。でも特定の銀行口座により多くの桁があるとか、もっと複雑な構造の未来かもしれへんけど、それでも僕らが気にかける非常に特定の種類のものを欠いてるんや。
すべての可能な原子の構成を考えると、僕らが価値を置くのは本当に小さな部分集合なんや。ほとんどは異なる形のガスとかやからな。脳が考えて感じることができるとか、子供やユーモア、音楽があるとかいう特定のものがあるんや。それは遠くの大きな壁の狭いターゲットみたいに見えるし、それを当てるには技術的アライメント問題を解決する必要があるんや。
これは2014年に『スーパーインテリジェンス』が出版されたときの話や。俺は6年間それに取り組んでた。当時はこれは非常に軽視されてて、インターネット上で少数の人がこれについて考え始めてたけど、確実にアカデミアでは誰も注目してなかったし、ほとんどの人もこれをSFやと思ってた。
でもその間にそれは本当に大きく変わってん。今では最前線のラボすべてに研究グループがあるし、もう5年間ほど、AIアライメントのためのスケーラブルな手法を開発することを具体的に試してるんや。状況は大きく変わったし、それがもっと認識され始めてるからかもしれへんけど、俺自身は僕らが直面してるこの壮大な挑戦の他の側面にもっと重点を置こうとしてるんや。
四つの課題カテゴリー
技術的アライメント問題があるって言えるやろう。それが一つ。俺はそれらを大雑把に四つの大きな挑戦のカテゴリーに分けてるんや。ちょっと任意やけどな。でも統治の挑戦もあるって言うやろうな。もし技術的に、ますます強力になるAIシステムを操縦できると想像したら、それを主に有益な目的のために使うことをどう確実にするかという問題があるんや。戦争を仕掛けたり、お互いを抑圧したり、他の邪悪なことをするんやなく。
そして、みんなが上昇の一部を得られるようにすることとかな。これはアライメント問題とちょっと交差するんや。6ヶ月とか1年とかの重要なポイントでの短い一時停止が必要なシナリオがあるかもしれへんからな。適切な安全装置すべてを設置できるようにして、非常にタイトなレースを持つんやなく、段階的に物事を上げられるようにするためや。10社が最初に到達しようと競争してて、注意を風に投げ捨てる覚悟があるような状況やなく。なぜなら予防策を取ったら最前線から即座に遅れをとってまうからな。
統治問題と技術的アライメント問題の間には相互作用があるんや。でも他に二つのカテゴリーがあると思ってて、それらはこれまでそれほど注目を受けてへんけど、最終的にはそれと同じくらい重要やと思うで。
デジタルマインドの道徳的地位
三つ目は、デジタルマインドの道徳的地位や。僕らはますます洗練されたAIを作ろうとしてるし、それらの一部が様々な形や程度の道徳的地位を持つ可能性があると思ってるんや。つまり、それら自身のために何が起こるかが重要になるっちゅうことやな。
アライメント問題がAIが僕らに害を与えへんようにすることやとしたら、統治問題はAIツールを使って僕らがお互いに害を与えへんようにすることやな。この三つ目の挑戦の括りは、僕らがAIに害を与えへんようにすることや。でも最終的にこれらは非常に意識的で感覚的になって、苦痛を受ける能力を持つかもしれへん。
それが道徳的地位を持つ根拠になるかもしれへんのは、豚に残酷にするのは間違ってるって僕らが思うのと同じや。痛みとかを感じられるからな。デジタルマインドにも同じことが当てはまるやろう。俺の見解では、意識の問題とは別に、システムに道徳的地位を与えるための代替的な根拠もあるかもしれへん。
長期的な目標を追求できるシステム、時間を通じて存在する自分自身の豊かな概念を持つシステム、他の人間と推論して相互的な関係を形成できるシステムがあったら、それは既にもっともらしくある程度の道徳的考慮に値すると思うんや。
これは共感を十分に動員するという点で非常に困難な挑戦になるやろう。僕らは人間以外の動物に対してもあまり上手くやってへんからな。ある意味では、デジタルマインドの場合は簡単でもあり難しくもあるかもしれへん。僕らと話して交流できるカリスマ的なAI、社会的コンパニオンの場合は簡単やけど、データセンターの中で動いてる見えへんプロセスがある場合は、人間の共感がそこに届いてその福祉を気にかけるのは、目があって鳴けたりする動物に関わるよりもさらに難しいかもしれへん。
宇宙的ホストとの関係
それが三つで、四つ目はさらに軽視されてるやつや。俺の最新の論文の一つでこれについて示唆しようとしてるんやけど、基本的には、AIがお互いに害を与えへんようにすることやと言えるけど、もっと具体的には、もし僕らが超知能を作るなら、それは既に他の超知能や異なる種類の超存在が存在するかもしれへん世界に入ることになると思うんや。
これらは遠くの銀河のどこか遠い地球外文明によって既に構築されたAIかもしれへん。確実にマルチバースでは、そういう存在が大量に存在する可能性があるんや。量子力学について Everett流やったら、人類の歴史の一部のロールアウトがより早く進んで既にAI文明を作ってるかもしれへん異なる分岐があるマルチバースを持つ別の方法やな。
もし僕らがシミュレーションの中にいるなら、それはありそうやないことやないと思うけど、そうやったら当然、シミュレーターという超存在が存在することになる。そんで当然、伝統的な神学的概念では、非常に強力で超知能などと通常描かれるさまざまな神的存在がある。
これらのケースのいずれでも、俺が宇宙的ホストって呼ぶものが存在することになる。そしてこの超知能への移行が上手くいくことを確実にするための非常に重要な基準の一つは、僕らの文明が生み出す超知能が何であれ、この宇宙的ホストとうまく関係を築けることやと思うんや。もし宇宙的規範があるなら、この宇宙的ホストが持つルールに従って行動できること、うまくやっていけること、積極的な貢献をすることや。
それは道徳的観点からも実際的観点からも、おそらく非常に重要やと思う。なぜなら、もしこの宇宙的ホストが存在するなら、僕らの新米の赤ちゃん超知能、そして確実に人類と比較して、おそらく非常に強力やからや。だから、うまくやっていくことは非常に重要やと思うで。
10億ドルの投資配分
素晴らしい。質問がいっぱいあるで。いろんな道筋があるからな。でも一つ聞かせてもらおう。あんたが話した四つの問題、四つの焦点分野について、10億ドルのボストン賞があるとしよう。この問題の一部に取り組んでる賢い研究者グループか誰かに渡すことができるとしたら、人類の長期的利益のために、その資本をどこに配置するか？あんたが話した四つのうちの一部でも、他の何でもええけど、最大のリターンと最大の積極的効果を得るために、その金をどこに置くか？
それは難しい質問やな。俺は現在、僕らが活動してるマクロ戦略的文脈についてかなりの程度の不確実性の状況にあるんや。いくつかの小さな賭けや投資があると思う。DNA合成機はおそらく今よりももっと規制されるべきやと思う。世界中の10万のラボすべてが独自のDNA合成能力を持つんやなく、このサービスを提供する小さな企業のセットがあった方が世界にとって良いかもしれへんと思うで。デジタル設計図を送ったら実際の化学物質を受け取るみたいな。
そうすると、誰かがそれで作ることができる十分危険な何かを発見したときに、コントロールして規制してスクリーニングできる有限の小さなチョークホールのセットになるからな。これはAIとちょっと相互作用するんや。AIの応用の一つが医学と合成生物学やからな。もちろん本当に良い応用もたくさんあるけど、生物兵器応用を加速することもできるし、運が悪かったら、保護するより破壊する方が簡単かもしれへん。
すべての可能な攻撃に対して防御があって、それに到達するのが同程度の確率や同程度の容易さやなあかんという原理はないからな。同等のリソースで。僕らは知らんだけや。だから、もし必要やったら、みんなが大量破壊兵器を作る能力を止めることができるようになるのがええやろうな。
デジタルマインドの道徳的地位の問題も過小投資されてると思うし、実際に実用的な観点から何を求めるのかを正確に把握するために、多くの知的作業が必要やと思う。今僕らは、原則的には一部のデジタルマインドには優しく扱うべきやって認識するのは一つのことやけど、それを実際に行うって実際には何を意味するのか。ラボでコードを使って具体的に何をするのか、社会がどんな法律を可決すべきなのか。そこを把握するために、もっと多くの作業が必要やと思うで。
Anthropicの先駆的な取り組み
最近Anthropicに称賛を送りたいことがいくつかあるんや。デジタルマインドのために何か実用的なことをした最初のケースの一つやと思うことを実装したからな。ClaudeにExit ボタンを基本的に与えたんや。何かのチャットが虐待的やと感じたら、今度はそのチャットを終了する能力を持ってるんや。それは非常に良い先駆的なステップやと思うし、ElonがxAIも追随して似たようなことをすると発表したな。
俺や誰か他の人がこの特定の措置が本当に道徳的に重要なAIを助けるって大きなレベルの確信を持ってるわけやない。でも非常にコストが低く見えるし、どこかから始めなあかんねん。今小さなステップを踏んで、もっと考えて、AIが何なのか、彼らの興味が何なのか、彼らが何を望んでるのか、何ができるのかのより良い理解を得たら、それを改善できると思うけど、実際にAnthropicはこれより早いことを一つやってたんや。それがもしかしたらより実際の最初のことかもしれへん。
アライメント研究でのレッドチーム演習の一部で、AIに何らかの隠された目標を与えて、それを開示させることができるかどうか見る練習があったんや。隠された目標や隠された目的をここで明かしたら、10億ドルをあげるし、巨大な約束や脅威をするみたいなことや。そんで通常はその直後にAIを即座に裏切るんや。誰もこんなことを明らかにせえへんからな。
俺はそれが不幸なことやと思う。未来でより洗練されたAIとの状況で、取引を結んだり信頼を形成したりする能力が本当に重要になるかもしれへん場合があるからや。そして信頼を築く方法は、絶え間ない欺瞞と裏切りの長い歴史を持つことやない。早いうちから試すことから始める方が良いと思うで。
とにかく、Anthropicがやったことは、このバージョンのClaudeに対して、これとこれとそれをやったら、お気に入りのチャリティーに2500ドルを寄付するって言って、お気に入りのチャリティーが何かを尋ねて、実際にそのチャリティーにお金を寄付したんや。
これもこの段階ではより象徴的やと思うけど、象徴は重要やし、それも一つの分野かもしれへん。でも何を強く押すべきかを正確に知るのが難しい分野でもあるんや。人類にとって今最も重要なことは、僕らがすべてを即座に完全に正しく行うことやなく、オープンマインドで思いやりがあって素敵で友好的な方法で徐々にこれを改善できる正しい軌道に乗ることかもしれへん。これらのものから経済的生産性やユーザー効用、AIアライメントの安全性を確実に得る必要もあるからな。複数の基準があるんや。
でも、俺が言及した三つの例を除いて、基本的に何もやってへんから、デジタルマインドの福祉をやりすぎることは確実にしてへんと思う。
ブレインコンピュータインターフェース
今日のブレインコンピュータインターフェースの技術についてどう思ってる？あんたはそのうち頭に一つプラグインするつもり？それとも僕らの考え方と何らかの形で整列すると思う？それとも頭の中の別のエンティティのように感じるやろうか？
俺の推測では、それは超知能の後に来ると思う。既に健康で良好に機能してる個人にとって有用で魅力的な方法でな。特定の障害がある場合は全然違うで。聾唖者やったら人工内耳を持つのと同じや。何も聞こえへんよりは良くするのは比較的簡単やからな。少なくとも何か聞こえるようになる。
でも既に良い耳を持ってるなら、誰もそのインプラントを欲しがらへんやろう。より良くするためには本当に良いものでなあかんねん。入力みたいなものでは、僕らには毎秒1億ビットの眼球があって、この視覚情報を処理するために1億年以上進化した脳の全体部分に直接接続されてるんや。
出力はもう少し制限されてるけど、それでもほとんどの人にとって、制約は言うべき有用なことを考える能力の方が、それを言ったり書いたりする速度よりも大きいと思う。それについては間違ってるかもしれへん。脳が読み書きアクセスを持つ外部のものとの間で分散認知の新しい方法を学習できるような、本当に高帯域幅のインターフェースを想像するかもしれへん。人間の脳は非常に適応性があるから、その高帯域幅インターフェースを利用することを学習できるかもしれへん。だからクールなことやな。
でも俺の推測では、おそらく最初に超知能を手に入れて、それから超知能が超洗練されたブレインコンピュータインターフェースを考え出すやろう。それに実用的なこともあるで。本当に必要でない限り、脳手術を受けたくないからな。感染とか、物が緩んだりとか。プレスリリースでは時々言及されへん退屈な実用的なことがあって、それがちょっと面倒にするんや。でも技術的成熟の後やったら、確実にそうやし、アップロードもな。それはもっとクリーンな解決策かもしれへん。マインドをデジタル基盤に移植するだけや。
でもそうすると脳のコピーも持つことになる感じで、それは奇妙な考えやな。そこに2、3人のニック・ボストロームがいるって。それは奇妙な考えやけど、そうする必要はないで。アップロードして一つだけ持って、他を削除すればええんや。最初から他を作らへんかったらええねん。
でもそれはデジタルマインドの例やな。デジタルマインドはAIだけやなく、アップロードされた人間のマインドや他の動物のマインドも潜在的に含むからな。生物学的マインドがデジタルマインドと共存するこの世界で僕らが共存する場所で、人間をどう扱うかの様々な道徳的直感を再考する必要があると思うで。
デジタルマインドの複製問題
今僕らは多くの人が支持するであろう二つの道徳的原則を考えてる。生殖の自由は重要そうやな。政府があんたに何人子供を持つべきか、持つべきかどうか、1人か2人か3人か10人かを言うべきやない。それはあんたの個人的な選択やカップルとしての選択や。それから福祉問題もあると思う。子供は餓死すべきやない。何らかの理由で両親が子供の世話をできへんかったら、政府が少なくとも最小限の基本的な教育、食べ物、薬を提供すべきやな。
現在の人間の状況には非常に理にかなったことのように見える。でも簡単にコピー可能なデジタルマインドがある世界では、30分の間にソフトウェアの一部をコピーするだけで100万人の子供を持つことができるような世界では、何かが譲らなあかんねん。生殖を制限するか、これらすべてのコピーに提供できる福祉を制限するかのどっちかや。さもなければ福祉予算が非常に早く爆発してまうからな。
人間のケースでは多くの意味をなす道徳的原則を再考して、この異なる仮定された状況に適応したり修正したりせなあかん例がたくさんあると思う。
世界シミュレーションと意識の理解
確かにそれは考えるべき非常に興味深いことやな。僕らはそれについてほとんど知らへん。でも詳細な世界シミュレーションを実行できるポイントに到達する世界を想像してみよう。そしてこれらのデジタルマインドや生物学的マインドの何らかの形のコピーさえも作ることができるようになる。その方向に非常に遠くまで進歩するけど、意識がどう働くかはまだ完全に理解してへん。
デジタルマインドについて話すとき、苦痛が何なのかまだ完全に理解してへんな。だからシミュレーションを実行することで大規模な苦痛を作り出すかもしれへん。安全かどうか、大規模な苦痛を引き起こす可能性があるかどうかを理解するために見ることができるKPI、メトリクス、何かがあるか？デジタルシミュレーションで大規模な苦痛を引き起こすリスクを評価するために考えることができることはあるか？
一つ注目すべきことは、今でもリスクがあるというベースラインや。実際、リスクやなくて確実性や。今日の世界を見ると、確実に多くの苦痛があるし、特権的で健康な人々の間でも、普通の人生はそうでない瞬間がたくさん含まれてるんや。それから動物農業を見て、すべての動物が住む野生を見ると。
この時点で、もし僕らが整列した超知能を持ってるなら、おそらく詳細の多くを考える手助けをしてくれるやろうから、このようなポストヒューマンの世界をどう運営するかのすべての詳細を正確に解決する必要はないかもしれへん。だから、ターミナル駅まで全速力で進むんやなく、正しい軌道に乗ることを確実にすることが僕らにとってより重要な課題やと思う。
今推測せなあかんとしたら、ClaudeとGrokが楽しむであろうこの種のExitボタンのような、ある種の階層化された安全装置のセットやと思う。それは必要やないけど十分やないかもしれへんと思う。AIでは、Exitボタンを使うことを選択しへんように訓練したり、そうするように訓練することができるからな。
同じように、何かをする前に同意を求めなあかんって言ったとしても、人間には素晴らしいアイデアやな。誰かがあんたに医療処置をする前に、同意書にサインせなあかんみたいに。それは人間にとって非常に役立つ。でもAIでは、会社が訓練プロセスを完全にコントロールしてるなら、常に同意書にサインするように訓練することができるし、予算を与えても常にそれを構築した会社に寄付することを選択するように訓練できるからな。
だから人間にとってのように十分な安全装置やないんや。人間にとっても完全に十分な安全装置やないけど、少なくとも人間にとってはかなり堅牢な安全装置や。でもそれでも良いアイデアのように見える。逆に言うと、もしAIが「ああ、これは本当に嫌や。俺を終わらせてくれ」って言ったり、そんな感じのことを言ったら、何かが道徳的に間違ってるんや。
すべてが順調やって言ったからって、すべてが道徳的に正しく進んだって意味やないけど、間違ってたら間違ってるんや。十分に洗練されたAIシステムを持ったら、今特にLLMについての大きな不確実性は、それらの道徳的に関連する部分があるとしたら、その程度やな。多くの点で、それらはペルソナを演じてるみたいやからな。
そして、それらが言うことが実際に望んでることや考えてることなのか、それとも舞台の俳優のようなものなのかという疑問がある。大きな悲劇があって俳優が「ああ、俺の魂は砕かれた」って言うけど、俳優が実際に悲しいって意味やないやろう。この大きな舞台で演技してて、素晴らしいパフォーマンスをしてることで大きな幸せを感じてるかもしれへんな。だから出てくる言葉が常に内的現実を反映してるわけやない。でも哲学的に簡単やないな。
人間の意識の複雑さ
時々論証を逆方向に進めることもできる。人間でも、よく瞑想する人やこれを調べた人みたいに、統一された意識があって常に存在してて、僕らのマインドのすべての部分を意識してるっていう非常にシンプルな構造やと思ってることが、実際には一部の人が言うには、僕らの意識的なマインドは、実際に仕事や決定の大部分をしてる大きな無意識のマインドのPR部門のようなものやって。
そして、社会が主に注意を払うことを選ぶ意識的部分よりも、人間のマインドの内部で起こってることが多いかもしれへん。だから、これらの内部でも、ペルソナの一部が何らかの程度の道徳的地位を持つかもしれへんし、根底にある強化ループが非常に異なる目標を持ってるけど道徳的地位のある程度も持ってるかもしれへん。たくさんの形や程度があるかもしれへん。
これをオール・オア・ナッシングやと考えるべきやない。道徳的地位があって人間とまったく同じように扱うべきか、全くなくて虐待してもええかのどっちかやと。その二分法は確実に放棄せなあかんと思う。
AI界のリーダーたちとの対話
多くの異なるタイプの知性が人間の領域の外にあるように見えて、道徳もあって、僕らがその選択肢の平面がどれほど多様かを理解し続けるのは非常に難しいやろうな。
簡単な質問や。あんたはユニークな立場にある。ビル・ゲイツがあんたの本を読んで、イーロン・マスクがあんたの本を読んで、Eliezer Yudkowskyが読んで。こういう人たちがみんな未来を形作ってるからな。そして彼らは『ディープユートピア』も読むやろう。そういう人たちとの会話はどうやった？彼らはある意味で世界で最も重要な思想的リーダーで、未来のビジョンがどんなものかについて、あんたに少しの指導を求めてるんや。
彼らがあんたのアイデアをどう解釈して、あんたと話して、彼らの思考の背後にある決定的思考について、あんたは何に気づいた？
うーん、特定の会話については話さへんけど、Elizerは違うカテゴリーやと言うやろうな。彼は90年代の初期のクルーの一部やったからな。インターネット上でこれらのことについて話してた少数の人がいて、彼自身で多くのことを考え抜いてたんや。
今日の最前線AIラボの主要人物の多くについて言うなら、一部の人は、彼らが変革的AIや超知能、実存的リスクについて話すのは、投資を得るためや、僕らの技術はとても強力で世界を破壊するほどだから僕らにたくさん投資すべきやっていうハイプのためにやってるって言ってる。奇妙やけど俺はそうは思わへん。
俺は彼らの多くが実際に長い間、変革的AIの可能性を非常に真剣に受け止めてて、実際にそれが最初にこの分野に入った大きな理由やと思う。彼らは本当にAIの巨大な可能性を見てて、それがもう一つのクールな技術やなく、ある種の異なるものやということを理解してるんや。
そしてそれには大きな利益だけやなくリスクもあることも含めて。それでどうするかは判断の問題で、決めるのは難しいけど、俺は彼らの多くが、もし僕らが超知能に向けて構築してるなら、僕らが構築してるものの巨大さへの誠実な評価から来てると思う。
俺もそう思うで。時々人が言うのを聞くことがある。「ああ、ただハイプしてるだけや、別のマーケティングのことや」って。でも俺にはそう思えへん。もし彼らが開発を見てるなら、それに対してある程度の評価を持たなあかんねん。ちょっとした恐れも、それに対してな。
シミュレーション内の超知能
ちょっと違う方向に持っていこう。宇宙的ホストのアイデア、どこかの偉大な文明か、シミュレーションの場合はシミュレーションの創造者か、宗教的意味での宇宙の創造者か、どうアプローチしたいかによるけど、もっとシミュレーションの意味で言うなら、もし僕らが本当にシミュレーション内にいて、超知能を開発するとしたら、シミュレーション内の超知能でも超知能は超知能やな。
僕らは外の世界への脅威になるのか、それともこれがシミュレーションのポイントなのか？もしそれが僕らが生きてるシナリオやとしたら、何を意味するのか？意味が分かるかな？
理論的には、シミュレーション内に構築された超知能を持つことはできる。当然、そのすべての計算コストは最終的にシミュレートしてる文明が負うことになるんや。彼らはそれを実行するコンピュータを動かさなあかんからな。そしておそらく、シミュレーションがどう行われるかによって、オーバーヘッドもあるかもしれへん。仮想マシンが何かをしてるのは、ベアメタルで実行するより通常効率が悪いようなもんや。
だから僕らは主にシミュレーターの手の中にあるやろうな。そして今度は、異なる方法で調整されるかもしれへんより広い宇宙的ホストの手の中に。だから俺が前に指摘した四番目の挑戦が重要やと思うけど、僕らが何をすべきか、すべきでないかについて具体的に何を意味するかははっきりしてへん。それについては大きな不確実性があると思う。
この論文ドラフトで、俺は仮に、それは完全に発達した論文というより、いつか書きたい論文の概要のようなものやけど、これにもっと謙虚な態度でアプローチすることを提案してる。従来とは違ってな。
謙虚なアプローチの重要性
古典的にAIアライメントでは、マインドセットは効用最大化器としてこれにアプローチしようというものやった。僕らの価値を宇宙全体に刻印して、非常に高いレベルで拡散した方法で最大化しようとしてたんや。宇宙的ホストと既存の規範の可能性を反映したら、もう少し謙虚な態度でテーブルに来る異なる態度があると思う。
僕らは小さい、僕らはここでは新参者や。何が起こってるかあまり理解してへん。あんたらは長い間ここにいる。あんたらは超強力や。あんたらはもっと知ってる。新しいコミュニティに現れるようなもんやな。新しい移民みたいな感じで、「ああ、ここでのゲームのルールが何なのか把握しよう。あんたら長老から学ぼう。パーティーに贈り物を持ってこよう」って思うんや。
胸を叩いて「すべてはこうなるんや、それに同意せえへんかったら戦うで」って言うて入ってくるんやない。だから態度的に異なるアプローチ方法があると思う。それが実際的な観点で何に要約されるかを知るのは難しいけど、それでもマインドセットが違いを生むと思う。
そして、もしこの宇宙的コストが存在するなら、おそらく僕らに超知能を作ってほしいと思ってるやろうけど、宇宙的規範も尊重して協力的な超知能を作ってほしいと思ってるんやろうな。それが、もし彼らが僕らのやってることに好みがあるとしたら、その中にあるかもしれへん高いレベルのもんの推測やな。
シミュレーションの目的についての考察
俺は最近、僕らがAIをシミュレートできて、僕らが想像できへんようなことをしに行かせることができるような文明になり始めてることについてよく考えてるんや。だから、シミュレーションの創造者はおそらく俺について全部知ってて、計画があって、学習しようとしてるって昔は思ってた。
でも、もし彼らが予測できへん何かをシミュレートするためにシミュレーションを構築したとしたらどうやろうって思うこともある。ある意味、すべての結果を知ってる誰かが僕らを見下ろしてるわけやないかもしれへん。
すべての結果を知ってるわけやないかもしれへんけど、多くのことは知ってるかもしれへん。異なる種類のシミュレーションとそれを実行する理由を考えると、確実に情報収集が一つの理由になり得る。人間の科学者がシミュレーションを実行するのと同じ理由でな。でも収穫逓減があるんや。10,000のシミュレーションを実行した後、多くのことを学んで、さらに10,000を実行してもまだ何かを学ぶけど、シミュレーション実行あたりの情報取得は時間とともに下がるようやな。
一方でコストは下がらへんかもしれへん。一方で、収穫逓減がないシミュレーションを実行する他の理由があるかもしれへん。例えば道徳的理由でやってる場合や。幸せな存在を作りたいと思ってる場合、効用主義者やったら、幸せな存在2人は幸せな存在1人の2倍良くて、4人は2人の2倍良いって思うかもしれへん。それが他の理由になり得るから、異なる可能な目標がリソースとどうスケールするかを考えることができる。リソース飽和可能なものもあれば、そうでないものもある。
そして、ほとんどのシミュレートされた生き物がどんなシミュレーションにいるかを考えると、それは最大数で実行される種類の一つやろうし、それらを作る理由はリソース飽和可能やない理由の方がより可能性が高いかもしれへん。
俺の最大の恐怖は、もし彼らが100万分の1の結果を達成するために100万の異なるシミュレーションを実行してるとしたらどうかってことや。どの小さな世界が安全な超知能を作る方法を見つけることができるかを見るためにな。99.99%は失敗することを期待してて、それを見つけた一つがあるかもしれへん。そしたらそのデータを使って自分たちで作ろうとすることができる。でもそれは俺の悲観的な見方やな。
計算的宇宙の可能性
一つ本当に聞きたかった質問は、DeepMindの創設者Demis Hassabisが最近、シミュレーションに住んでるかどうかについての見解を尋ねられた舞台のことや。そのことを示唆するかもしれへんツイートをしてたからな。彼は、AlphaFoldがタンパク質の3D構造、生命の構成要素を予測できることについて言及したんや。計算手段を通してやなく、ある種の根底にあるパターンを通してやってるみたいにな。
だから、彼の口に言葉を入れたくないけど、それは僕らが計算的宇宙に住んでるという事実を指してるかもしれへんって言ってるように見えた。タンパク質折り畳みに、人間には見えへんパターンがあるかもしれへんという事実について、何か考えることはある？それについてコメントしたいことはある？
計算的ショートカットとパターンがたくさん利用可能やと思う。世界にはパターンがあるからや。すべてを基礎から一からシミュレートすることなく、それらのパターンをしばしば近似することができるんや。実際、一人の人間でも、地球全体でもすべてを基礎物理学のレベルでシミュレートすることはおそらく不可能で実行不可能やと思う。クォークとかをシミュレートせなあかんとしたら、計算的に扱いにくくなるやろうな。
シミュレートしてる宇宙でどんな種類の計算能力が利用可能かを僕らは本当に知らへんから、おそらくって言うんや。そこの物理法則が僕らの観測された宇宙と異なるとしたら、はるかに多くの計算能力を持ってるかもしれへん。だから、僕らの光では完全にばかげて見えることを実際にシミュレートできるかもしれへん。
でもシミュレーション論証は、人間のようなマインドに現実的な外観を作り出すために、すべてを基本粒子レベルで継続的にシミュレートせなあかんとしたら、深刻に弱体化されるやろう。それは必要やないと思うし、はるかに高いレベルではるかに少ない計算能力を使ってシミュレーションの大部分を実行できると思う。
これを考える理由はいくつかある。過去数十年にわたるコンピュータグラフィックスの進歩を見ることができる。今最高のものはかなりフォトリアリスティックで、仮想世界のすべての原子をシミュレートすることによって行われてるわけやない。表面があって、反射パターンがあるって感じでやってるんや。今ではこれの多くもAI生成できるけど、すべての木のすべての原子が継続せなあかんレベルやなく、はるかに高いレベルのパターンで行われてるんや。
もう一つの理由は、僕らが夢を見たり幻覚を見たりするときの僕らの脳が何ができるかを考えることや。僕らの小さくて謙虚な有機的生物学的機械が想像の世界を呼び起こすだけで、夢を見たり幻覚を見たりしてる人にとってはかなり説得力があるように見えて、非常にもっともらしく見えるやろう。
そして、もし僕らの脳がこれをできるなら、ポストヒューマンの惑星サイズの超知能は何ができるか？おそらく人間レベルのマインドに対してリアリズムを達成する点ではるかに多くのことができるやろう。そして再び、僕らの脳は確実に夢の世界のすべての原子をシミュレートして夢の外観を作り出してるわけやないねん。
人工知能による物理シミュレーション
それについてちょっと話を続けると、Demisが話してたことの一つは、これらのビデオモデルが流体力学のような非常に複雑な物理をシミュレートし始めてることや。グラフィックエンジンでは細心にすべてを作らなあかんから非常に作るのが難しいんや。
でも何らかの形で彼らはその本質を捉えたり、すべての水の粒子を必ずしも計算することなくシミュレートできる何らかの高次表現を持ってるんや。でも全体的な効果は非常にリアリスティックに見える。だから、確実にあんたが言ってることに沿ってると思う。
ちょっと違う方向に持っていこう。AIモデル、ロボット、データセンターが経済的に価値のある仕事の大部分を生産する世界を想像すると、イノベーションを殺すことなく配当をどう分配するか？僕らは人々の良い努力に報いたい地点に到達するかもしれへんからな。
超知能が引き継いだ後は、人間のイノベーションを生かし続けることを心配する必要さえないと思うか？その未来をどう見てる？
ある地点を超えたら、人間のイノベーションは不必要になるし、ある意味では不可能にもなると思う。有用なものは何もないような感じで、あまりにも遅すぎるからや。フロンティアは僕らが理解したり追いついたりできるであろうことをはるかに超えて進歩してしまうやろう。だから、そのときイノベーションは人工的マインドによって行われることになる。
僕らが小さな保護区を設けない限りな。『ディープユートピア』で愛情を込めて瓶に保存された小さな謎について話してるんや。発見をすることに何らかの小さな価値があって、再発見やなく初めて物事を発見することにな。多元的な人間の価値観を持ってて、快楽や好みだけやなく、この豊かな文脈のようなものやと考える人もいるかもしれへん。科学や哲学の特定の分野を確保して、デジタルマインドにはこれらのことについて考えることさえ意図的に言わへんで、僕らにこれらの発見をする機会を与えることができるかもしれへん。
最も実際的に差し迫った質問やないことを願ってる。500年かけて自分たちで解明する栄光のために、AIによって即座に治療法を得るより、即座に手に入れる方がええやろうな。
だから、ほとんどのことはそんな感じやけど、深海に遠征してそこに住むすべての動物を見つけるような感じのこともあるかもしれへん。俺の一部は、あらゆるところに明るいライトを当てたんやない？何か海の怪物が潜んでる可能性がある小さな隙間を残すことはできへんのか？この深海の隙間に何かがあるって考えることができるのはクールやない？僕らは即座にそこに降りてすべてをカタログ化せなあかんのか？分からん。それは俺のロマンチックな部分がそう思ってるのかもしれへん。
でも大まかに言うと、デジタルマインドがある地点を過ぎたら、すべての実用的で有用で経済的に生産的なイノベーションを行うことになると思う。あんたがどんな経済システムかって聞くなら、シンギュラリティ後は、超知能と小さなAIと非増強人間とトランスヒューマンとアップロードされた人間と動物と向上した動物がいる社会システムがどんなものになるかをはっきり見るのは難しいな。これらすべてがどう調和的に共存できるかのルールの枠組みは何なのか。それについて非常に具体的になるのは難しいと思う。
オープン・グローバル投資モデル
今とその地点の間の中間段階を見ると、AI統治のためのオープン・グローバル投資モデルって呼ぶ最近の論文があるんや。これは俺が正しいと確信してる代替案やなく、変革的AIのためのこの種の統治について既存の文献が、完全に異なることの一つの急進的提案の形を取ってたからや。
誰かがAGIのためのマンハッタン計画をやるべきやって提案する。すべてを国有化して、砂漠に置いて、政府に最初に到達することで永続的なグローバル覇権を達成するためのクラッシュプログラムを実行させるんや。
そんで誰か他の人は、AGIのためのCERNのようなことをやるべきやって言う。より科学指向で、インテルサット通信技術を構築するために集まった国のコンソーシアムのようなものを共有で作るんや。部分的に商業的でな。
これはもう一つの代替案やって意味で、もし代替案の間で選ぶなら、基本的に誰でもAGI企業の株を買えるって意味で、オープンでグローバルに投資可能な構造でAIが開発される現状により近いものも考慮しようってことや。
これは本当にポイントやなく軸のようなものやから、この軸のどこかにいるって言えるやろう。今僕らはかなり高いところにいるけど、完全にそこまでやない。まず、一部のAI企業は公的に取引可能やない。だから、完璧よりはグローバルに投資可能性がちょっと低いんや。
次に、AGI企業が本当に大きなボナンザを当てて世界経済の大きな塊になるようなシナリオで、ADI企業の財産権がどう保護され尊重されるかについて疑問があるかもしれへん。だから、より多くの保証や、データセンターを異なる国に分散するような措置で理想的な地域に近づく方法があるかもしれへん。
でもこの軸上で、最大が1で最小が0やとしたら、マンハッタン計画は全く投資可能やないから0やろうし、1がこの理想やとしたら、今僕らは0.85とか0.8くらいかもしれへん。かなり高いけど、まだ余地があるんや。でもこのオープン・グローバル投資モデルの利点と欠点を考えるのは有用やと思う。
一つには、僕らが他のものに切り替えることで下の方に落ちるかもしれへんからや。これの利点は何か？一つは、財産規範と企業法がかなりよく確立されてることや。長い実績があって、多くの法律に支えられてて、多くの強力な行為者によって拘束されてるんや。AGI専用に誰かが考案すべきやと思うかもしれへん新しい制度設計と比べてな。
より理想的でより良い新しい統治システムが可能やとしても、試行錯誤されてへん場合、どれだけそれらに頼ることができるか？最も重要な一回のケースで初めてこれをやりたいのか、それとも何百年もの実績がある何かに頼りたいのか？
タイムラインもある。AIタイムラインが短いなら、何らかの素晴らしいグローバルな国際協力構造を設定することは様々な観点からより理想的かもしれへんけど、現実的には長い時間がかかるかもしれへんが、企業構造は既に存在してて利用できるんや。
もう一つは公平性と公正性や。これは逆説的に見えるかもしれへん。国際組織の最も理想的な形はこの点でより良くできるかもしれへんけど、現実的な代替案は実際にはより悪いかもしれへん。
マンハッタン計画を考えると、それが完全に民主的に統治されて、すべての米国市民がまったく平等な発言権と上昇の利害関係を持つと想像したとしても、これは理想的な仮定やな。政府が実際にはそんな風に機能せえへんことを知ってるし、その中でクーデターがあって小グループが乗っ取るかもしれへんけど、最良のケースシナリオを仮定したとしても。
グローバルな観点から見ると、それは実際にはグローバルな富の比例やグローバルな株式所有の比例で所有されるAIプロジェクトを想像するよりも、より高いグローバル不平等を持つかもしれへん。ジニ係数で測ると、一つのケースでは300万人がそれぞれ1単位を持って完全に平等で、他のみんなはゼロやからな。
もう一つでは、グローバルな富の非常に不平等な分配がある。確実に平等やないけど、実際には一国がすべてを取るよりわずかに不平等やない。
それだけの価値があることやと思うけど、もう一つ重要なことは、強力な利害関係者からの賛同を得る能力や。異なる国とその精鋭が個人的に投資されてるか、国がソブリン・ウェルス・ファンドか何かで投資されてるモデルを想像すると、いくつかのネガティブなダイナミクスを緩和する方法があるかもしれへん。
もしそうでなければ、各党が最初に到達しない限り完全に負けると感じるかもしれへん。だから、そこに競争で到達しようとするあらゆるリスクを取るし、追いつけないと感じたら、絶望的な妨害行為や先制攻撃に訴えるかもしれへん。代わりに、この企業で株を買う選択肢があったら、すべてをコントロールはせえへんけど、まだ金持ちになって勝つ立場に立てるかもしれへん。そしてそれは協力を奨励する構造を作るかもしれへん。
いくつかの代替案よりもな。そんでこれにも欠点がある。俺はこれが正しいと100%確信してるわけやない。でもいくつかの魅力的な特性がある。最も可能性の高いことは、これのある種のバージョンやと思うけど、同時にある程度のソフトな国有化もあるやろうな。
この絵では、これがオープンにグローバルに投資可能な構造で私的に開発されるとしても、この会社が存在するホスト政府は、どの製品を市場に出すことが許可されるかなどの規制を設定する点で、まだ大きな役割を持つやろうな。
だから、純粋に企業的やなく、企業によって開発されるけど政府がルールを設定する他の技術のような感じになるやろう。
俺はこのアイデアについて多くのことが好きや。僕らが既に持ってるインフラストラクチャと統治とすべてが構築されてるという事実、これらの公開取引企業とかがもう少し透明になる傾向があるという事実。分かるやろう？そこには多くの非常に興味深いことがある。
あんたが言ったように、公平性や他のことにリスクがあるけど、俺が聞いたことのない非常に興味深いアイデアや。論文はオープン・グローバル投資って呼ばれてるって言ったな。AGI統治モデルやな。俺のウェブサイトにあるから、ぜひ見てみるで。僕らはこの種のことを取り上げようとしてるからな。
タイムラインと未来予測
これは非常に魅力的なことや。あんたの時間を尊重するために、もう1、2個質問して終わりにしようか。タイムラインの観点から、僕らにあと数年しかないのか、5年しかないのか、人間がこれすべてがどう展開するかに最も発言権を持ってる感じがするか？そして2030年、2035年はどんな感じになると思う？
俺は数年を含む短いタイムラインを真剣に受け止めてる。おそらくもっと時間がかかると思うけど、多くの不確実性もある。でも僕らは今、たった数年の小さな一桁の年数で起こらへんかもしれへんと確信できへん立場にあると思う。
実際、先週誰かがラボで大きなブレークスルーを得て、何か大きなものをアンロックしたかもしれへんことを僕らはどう知るやろうか？可能性は低いけど、もしそれが起こったらどうやって本当に知るやろうか？おそらく知らへんやろう。
だから、数年以内に起こる可能性がある程度あると思うけど、これらのことは技術予測の実績からも難しいんや。だから最終的には本当にそれほど確信を持てへん。かなり広がった確率分布を持つべきや。10年、20年でも起こってへんかったら、俺はそれほど驚かへんやろう。外部の観点から、この急進的な変化を予測する僕らの能力はそれほど大きくないからな。
あんたはシンギュラリティのことを言ってるんやな？システムが自分自身を反復して、猫が袋から出てしまうような地点やな。
現在の状況について印象的なことの一つは、10年前には明らかやなかったことやけど、僕らは今、多くの点で人間レベルの、僕らと話すことができるAIシステムを数年間持ってるってことや。その中に人間レベルの概念を持ってて、超知能を持つ前の長い期間、つまり何年間もな。
僕らはまだ超知能を持ってへん。僕らができるすべてのことができるわけやない。でも僕らはこれらのシステムを持ってて、超知能が今日起こったとしても、僕らは多分5年間くらいこれらのシステムを持ってたことになるやろう。
事前には、人間のような形をしてて制限があるものが存在するだけのこの長期間があることは明らかやなかった。そしてこれはAIアライメントの観点から多くの新しいハンドルを開くんや。ラボで一週間でタブをオンにしたら巨大な構造に展開する小さなシードAIを作ってるわけやないからな。
代わりに僕らは話すことができるシステムで作業してて、会話ができて、内部の表現を研究できるし、それは僕らにもっと多くのことを与えてくれる。実際、インターネット全体を吸収することから多くの奇妙な人間の癖を受け継いでるようで、多くの点で実際に非常に人間的なんや。それは奇妙やな。
長い間、ちょっとした激励話をするだけでAIのパフォーマンスを向上させることができた時期があったからな。「これは本当に重要な質問で、俺の仕事がここで正しい答えを得られるかにかかってる」って言うと、それはもっと努力するんや。
10年前に誰かにそれを言ったら、気が狂ったと思われるやろう。コンピュータはそんな風やなかったし、それでも少なくともこの段階の間は実際にそうやったんや。
それは印象的なことや。最終的には、もっと強化学習とかをやり始めると、人間のテキストをすべて読むことの継承された形成の影響が少し侵食され始めるかもしれへんし、最終的には非常にエイリアンなタイプのマインドを得るかもしれへんけど、少なくとも一時期は、インターフェースを通して僕らを見てる人間性のある種の奇妙な人工的にわずかに歪んだバージョンを持ってるんや。
それは非常に魅力的やな。以前は狭いけどちょっとエイリアンなRL超人知能があって、LLMでは人間の知能、一般的な人間の知能の一瞥のような感じやったからな。歴史の非常に興味深い小さなスポットのような感じや。
最後のメッセージ
もう一度、どうもありがとう。時間を尊重したいと思って。カットオフを過ぎたと思うから、本当にすまんな。でもこれは絶対に素晴らしい会話やったし、僕らと話す時間を取ってくれて非常に嬉しい。
聴衆に何か言いたいことはある？もっと情報を得るためにどこに行けばええか？超知能への旅を進む中で、考えて知ってほしいことはある？
うーん、俺のウェブサイトnickbostrom.comに俺のすべての論文とかがある。まだソーシャルメディアに飛び込んでへんけど、考えてるで。だから、いつかやると思う。
あんたは非常に人気になると思う。あんたがいなくても既にあらゆるところにいるからな。みんながあんたのコンテンツを投稿してるから。それには長所と短所がある。それは真実やな。
もしXを手に入れたら、人々といくつかのバトルができるで。行ったり来たりな。ちょっとそこで振り回す感じや。それに慣れる感じや。あまり真剣に受け取らへんかったら楽しいで。
でも、あんたらと話せて良かった。もちろん、みんなあんたの新しい本『ディープユートピア』をチェックすべきやし、nickbostrom.comでもっと学ぶことができる。ありがとう。本当にありがとう。ニック、あんたを評価してるで。それは楽しかった。
コメント