AGIの到来により人類は前例のない速度で重大な決断を迫られる可能性があるが、AI開発は同時に機会でもある。適切なAI意思決定ツールを構築し展開することで、人類はより明確に思考し賢明に行動し効果的に協調できるようになる。認識論的ツールと協調ツールという二つのカテゴリーが特に有望であり、これらは人間の意思決定における最も一般的な失敗、すなわち誤情報、不正確な予測、協力の欠如に対処する。ただし、この分野はまだ成熟しておらず、どのような取り組みが実際に有用かについては大きな不確実性があり、潜在的なマイナスリスクも存在する。現段階では、特に思慮深く起業家精神のある数百人程度がこの分野に取り組むことが望ましいとされている。
はじめに
こんにちは、リスナーの皆さん。Zershaanehです。始める前に、このようなナレーション記事を聴くのが好きな方々に素晴らしいお知らせがあります。基本的に、私たちの新しい80,000 Hours Narrationsフィードには、文字通り何百ものナレーション記事が用意されています。そこでは、AIに仕事を奪われない方法や、どんなキャリアでも違いを生み出す方法といったアドバイスのほか、工場畜産やデジタルマインドの道徳的地位といった差し迫った問題の概要を見つけることができます。
さらに良いことに、その多くは20分から30分程度の長さです。大きなアイデアを素早く吸収したい方には、これがかなり完璧だと思います。この素晴らしい新しいフィードをどこで見つけられるか気になる方は、お使いのポッドキャストアプリで80,000 Hours Narrationsを検索して、忘れずに登録してください。それでは以上です。記事を楽しんでいただければ幸いです。
AIを活用して社会的意思決定を強化する
80,000 Hoursウェブサイト向けにZershaaneh Qureshiが執筆し、2025年9月に公開され、2025年11月に著者自身が朗読した記事です。
要旨
AGIの到来により、1世紀分の進歩が10年に圧縮される可能性があり、人類はこれまでに経験したことのないほど高い賭け金の決断を、しかもそれを正しく行うための時間が少ない中で下すことを余儀なくされるでしょう。
しかし、AI開発は機会も提示しています。私たちは、より明確に考え、より賢明に行動し、より効果的に協調するのを助けるAIツールを構築し展開することができます。そして、これらの意思決定ツールを十分に速く展開できれば、人類は目前の重要な時期をナビゲートするためのはるかに優れた装備を持つことができるでしょう。私たちは、より多くの人々がこれらのツールの開発と採用を加速させようとするのを見たいと思っています。
適切な人にとって、この道は非常に影響力のあるものになる可能性があると考えています。
とはいえ、これは成熟した分野ではありません。どのような取り組みが実際に最も有用になるかについては大きな不確実性があり、関与することには潜在的なマイナスリスクがあります。したがって、現段階では、特に思慮深く起業家精神のある数百人程度の人々が、AIを使って社会的意思決定を改善することに取り組むことが素晴らしいことだと推測しています。
そして、この分野が有望であることが証明されれば、彼らは後により多くの人々が関与するための道を開くことができるでしょう。
セクション1:AI意思決定ツールの進歩が重要である理由
人間はしばしば大きな過ちを犯します。私たちの制度は何十年も気候科学者を無視し、COVID-19の初期警告に効果的に対応できず、すべての当事者が後に後悔した無数の戦争に突入してきました。
私たちの実際の決定が、後から見れば明らかに必要だったことからどれほど遠く離れているかは驚くべきことです。しかし、なぜこのようなことが続くのでしょうか。時には事実を誤解したり、私たちの前にある課題を予測できなかったりします。また別の時には、問題があることは分かっていても、十分な行動を取らなかったり、対応について協調できなかったりします。
私たちは今、社会のあらゆる側面を変革しうる高度なAIシステムを急速に開発しており、これは良い意思決定がさらに重要になる可能性があることを意味します。まもなく、私たちは人間とは異なる目標や利益を持つ可能性のある、非常に有能なエージェントという全く新しい集団を扱うことになるかもしれません。
経済の進歩の大部分を人間ではなくAIシステムが推進する、完全に再構築された労働市場が存在する可能性があります。AIは、兵器を含む新しい高度な技術を、私たちがそのリスクを研究できるよりもはるかに速く開発している可能性さえあります。そして、高度なAIを誰が管理するか、あるいは誰がその恩恵を受けるかをめぐる社会的および地政学的緊張があり、深刻な紛争にエスカレートする可能性があります。
これらすべてに加えて、高度なAIシステムは人間よりもはるかに速くアイデアや経済的アウトプットを生み出す可能性もあり、Will MacAskillとFin Moorhouseが彼らの記事「インテリジェンス爆発への準備」で論じているように、1世紀分の進歩を10年に圧縮する可能性があります。これは、かつては何年もかけて展開していた決定を、数か月のうちに下す必要があるかもしれないことを意味します。
したがって、誤りの可能性は高いのです。そして、私たちが他の場所で論じてきたように、賭け金は実存的なものになる可能性があります。
この時期をうまく乗り切りたいのであれば、私たちはこれまで以上に明確に考え、賢明に行動し、効果的に協調する必要があります。そして、それは大変な注文です。
次に、AIツールが私たちがはるかに良い決定を下すのを助けることができる理由と、これらのツールの展開を加速する機会があるかもしれない理由を説明します。
まず最初の主張から始めましょう。AIツールは私たちがはるかに良い決定を下すのを助けることができます。高度なAIの開発は、意思決定をより困難にし、人類の将来の決定の賭け金を高める可能性があります。しかし、AIは一枚岩ではありません。そして、おそらく直感に反するかもしれませんが、特定のAIツールが実際に解決策の一部になる可能性があると考えています。
AIシステムは、人間には単純にできないことができます。はるかに多くの情報を吸収し、それをはるかに高速で処理し、同じタスクを何百万回も練習することでパフォーマンスを向上させることができます。彼らはすでに囲碁のような戦略ゲームで最高の人間を打ち負かしており、現在では複雑な推論や問題解決タスクでも印象的なパフォーマンスを発揮しています。
OpenAIやGoogle DeepMindのようなAI企業の深層研究ツールを使ったことがあれば、現在のモデルが膨大な量の情報を、最高の人間の頭脳よりもはるかに速く首尾一貫した結論に処理できることを見てきたことでしょう。
これを考えると、人間の意思決定を真剣に改善できるAIツールに手が届くところにいると考えています。そして、その一部は今日の技術で構築可能かもしれません。
二種類のAIツールが特に有望に見えます。最初のカテゴリーは認識論的ツールで、何が真実で何が起こりそうかを理解するのを助けるものです。たとえば、AI事実検証ツールは、人間よりも信頼性が高く公平な情報評価者になる可能性があります。結局のところ、社会は現在、事実の問題について収束するのに苦労しています。
政治的な意見の相違がどれほど頻繁に事実をめぐる論争に帰着するか、あるいは誤情報がオンラインでどれほど簡単に広がるかを考えてみてください。将来の高度なAIシステムからの混乱をナビゲートするためには、この点ではるかに優れる必要があります。このカテゴリーにはAI予測システムも含まれます。これは、機関が世界の出来事についてより良い予測を立て、異なる政策の効果をモデル化するのを助けることができます。
そしてより推測的には、道徳的進歩のためのAIツールは、複雑な倫理的問題を推論し、社会としてより多くの合意に達するのを助けることができる可能性があります。二番目のカテゴリーは協調ツールで、グループが協力し、たとえ競合する利益を持っていても、より良い集団的決定を下すのを助けるものです。
たとえば、AI交渉ツールは、そうでなければ見逃される可能性のある相互に有益な合意を見つけることができます。おそらく、何千時間もの交渉を迅速にシミュレートし、提案を行う前に膨大な数の合意をテストすることによってです。AI対応検証システムは、合意の遵守を信頼性高く公平に監視でき、グループが協力するのを妨げることが多い信頼の障壁を克服できます。
そして、構造化された透明性ツールは、厳密に管理された情報共有を可能にし、当事者が互いからの特定の脅威、たとえば誰かが危険な兵器を構築しているかどうかを、通常の監視のより広範なプライバシーコストなしに検出できるようにします。協力的AIの分野でも進行中の研究があり、協調を改善するためにAIを使用するより多くの方法を探求しています。
詳細については、Allan Dafoeらによる「協力的AIにおける未解決問題」をチェックできます。
これらの認識論と協調における応用は、人間の意思決定の最も一般的な失敗のいくつかを対象としていると考えています。私たちはしばしば偽の情報に惑わされ、物事がどのように展開するかを誤って予測したり、協力できないという理由だけで誰も望まなかった結果を防ぐことができなかったりします。
これらの応用のもう一つの長所は、全体として悪い結果よりも良い結果を可能にするのに有用であるように見えることです。一般的な経験則として、人々が世界をよりよく理解し、互いに協調するのを助けることは、少なくとも人々は通常善意を持っているという仮定の下では、通常人類にとって良いことのように思われます。
もちろん、この仮定が常に成り立つわけではなく、人々が故意にこれらのAIツールを使って害を引き起こすリスクは確かにあります。これは後で取り上げる可能性です。
さて、二番目の主張に移りましょう。つまり、AI意思決定ツールの展開を差異的に加速できるかもしれないということです。現在、先ほど説明したような種類のAIツールを構築しているプロジェクトはほんの一握りしかありません。これは、広く有能なAIエージェントの開発に投資されている数十億ドルと比較すれば、大海の一滴です。
さらに、社会が製品を構築する能力を持つことと、それが実際に構築され首尾よく展開されることの間には、しばしば遅れがあります。COVID-19ワクチンを考えてみてください。これらのワクチンの基礎となるmRNA技術は2000年代半ばに証明されていましたが、実際に到着したのはパンデミックに入って約1年後の2020年後半でした。
これは機会を指し示しています。私たちはAI意思決定ツールの開発と採用を加速できるかもしれず、それはそれらの恩恵をより早く得ることを意味します。そして、わずかな加速でさえ重大な結果をもたらす可能性があります。たとえば、洗練された検証ツールをわずか数か月早く入手できれば、危険なAIシステムを開発する前に重要な安全性へのコミットメントを確定できることを意味し、違いを生み出すには遅すぎるタイミングで到着する代わりになります。
ここで指摘しているのは、差異的技術開発の一形態です。基本的に、世界をより安全にするために、異なる技術が出現する順序に影響を与えることです。この場合、アイデアは、他のよりリスクの高いAI能力に対処しなければならなくなる前に利用できるように、特定の安全性を促進するAI能力の開発を加速することです。
そして、これまでこの方向のプロジェクトが非常に少なかったため、まだ摘むべき低い位置の果実がたくさんあります。後ほど、有用だと考えるいくつかの取り組みについて説明します。
セクション2:AI意思決定ツールの進歩に取り組むことに反対する議論は何か
とはいえ、この分野で働くかどうかを決定する際に人々が本当に考慮すべきいくつかの反対意見があると考えています。そのうちの三つをご紹介します。
反対意見1:これらの技術はとにかくデフォルトで開発されるのではないか
巨大なAI企業があらゆる種類の複雑な推論に優れたモデルを開発するために競争しており、急速な進歩を遂げています。
一方、商業的に価値のある特定のタスクのためのAI製品を構築する市場インセンティブが高まっており、これには先ほど話した応用のいくつかが含まれる可能性があります。したがって、AI意思決定ツールはとにかくお金を稼ごうとしている人々によって開発されるかもしれず、これはキャリアで善を行いたい人々にとって時間の良い使い方ではないかもしれないということです。
他の人がこれらのツールを開発するのを待って、自分の時間で他のことをすることもできるように思えます。
この議論はある程度正しいように思われます。一般的なルールとして、すでに商業的にインセンティブが与えられているものに焦点を当てることは、おそらくあなたの仕事の反事実的影響を減少させるでしょう。
しかし、ここでまだ意味のある違いを生み出すことができる方法があると考えています。特に、どのプロジェクトを追求するかを決定する際に市場のギャップに焦点を当てれば。
まず、あなたの仕事は、これらのツールの恩恵を社会がそうでなければ到着したであろうよりも早く達成するのを助けることができます。たとえば、他の誰かがそこに到達する前に特定のツールをうまく構築することで、直接物事をスピードアップするかもしれません。
そして、あなたの仕事が別のプロジェクトに追い越されたとしても、将来のツールの到着を加速する複合効果を持つ可能性があります。たとえば、それがより多くの投資を引き付けたり、関連する知識を構築したりすれば、あなたのプロジェクトは他の人が特定のマイルストーンをより速く達成できるようにし、それが次のマイルストーンを早めることができ、というように続きます。そして、先ほど述べたように、わずかな加速でさえここでは大きな違いを生み出す可能性があります。
フロンティアモデルは最終的に認識論と協調におけるタスクに優れると考えていますが、単に良い意思決定ツールが展開されるのを待つことは、AGIがすでに到着してからそれらを入手することを意味する可能性があり、その時点では破局を避けるためにそれらを使用するには遅すぎるかもしれません。
第二に、市場によってインセンティブが少ない製品に焦点を当てることができるかもしれません。
たとえば、高度なAI予測ツールは金融取引のような収益性の高い用途のためにデフォルトで構築されるかもしれませんが、他のことを予測するのが得意なAIシステムを開発したり、倫理について推論するための洗練されたツールを作成したりする商業的圧力ははるかに少ないのです。
反対意見2:これは、私たちが物事を遅くすべき時に、危険なAI能力をより速く到着させることにならないか
これらのツールの進歩を加速することで、AI研究開発全体への知識、誇大広告、投資も増加させる可能性があります。これはAGIをより早く実現させ、そのリスクに備える時間を少なくする可能性があります。あなたの仕事は特定の危険な能力を強化することもあります。たとえば、計画に優れたAIシステムは人間を無力化するリスクをもたらすと考えており、予測に優れたシステムを開発することは、AI計画能力を危険に高める可能性があります。
私たちはこれらの懸念を私たちのウェブサイトの他の場所で探求しており、この主題について言うべきことはたくさんありますが、この文脈では、いくつかのことを心に留めておく価値があります。まず、この分野のプロジェクトはある程度AIの誇大広告に貢献するかもしれませんが、これらの効果はおそらく、すでにAGIの構築に投資されている数十億ドルと比較すれば非常に取るに足りないものでしょう。
対照的に、人類が賢明な決定を下す能力に対して、あなたは過大な影響を持つ可能性があります。
第二に、あなたは危険な能力の開発に直接貢献しないリスクの低い応用を対象にすることができるかもしれませんし、おそらくそうすべきです。たとえば、AI事実検証ツールは、戦略的計画や説得を活用するツールよりもはるかに安全に構築できるように思われます。
そして第三に、これらのツールが世界最大の課題をナビゲートする私たちの能力を真剣に改善するなら、危険なAI能力の到着におけるある程度の加速は、全体としてまだ価値があるかもしれません。
危険な技術の進歩を遅らせる介入の役割もあります。それは、企業が一方的な減速のコストを負担せずに安全性に時間をかけることを可能にする規制を通じてであれ、あるいはフロンティアAI開発を完全に一時停止するキャンペーンを行うことであれ。しかし、安全性を促進する技術の進歩を加速することは同時に起こり得ますし、それはまたより簡単かもしれません。
減速には当局者や企業からの合意が必要ですが、コンセンサスなしに新しいツールを開発することを決定するだけでよく、あなたの戦略が将来のAIの恩恵を放棄したり遅らせたりすることを意味せず、強力な企業の収益を脅かすこともないため、反発に直面する可能性も低いでしょう。
反対意見3:人々はこれらのツールを危険な方法で使用するかもしれない
多くの技術と同様に、認識論と協調のためのAIツールは害を引き起こすために使用される可能性があります。結局のところ、世界をよりよく理解し、他の人と協調することがうまくなることは、通常あなたの目標を達成することがうまくなることを意味します。
そして、人々は時には他の人に有害な目標を持っているため、これらのツールは時々人々がより効果的に悪いことをするのを助けるでしょう。たとえば、交渉や予測能力を強化するツールにアクセスできるグループは、それらを使ってそのようなツールを持たない人々に対して不当に戦略的優位を得ることができます。極端な場合には、これは危険な権力奪取さえ可能にする可能性があります。
しかし、本当に悪意のある意図を持つアクターはそれほど一般的ではないと推測しています。大まかに言えば、最も有害な決定は人々が本当に害を引き起こしたいからではなく、状況を誤解したり、自分たちの行動が持ちうる結果に気づかなかったり、関与するすべての人にとってよりコストの低い解決策を見つけることができなかったりするために起こるように思われます。これらはすべて、AI意思決定ツールが私たちが克服するのを助ける欠陥です。
そして先ほど述べたように、ここでの一般的な常識的な経験則は、人間が世界を理解し、よりよく協調するのを助けることは、通常人類にとって良いことであるように思われるということです。
したがって、全体的な推測としては、AI意思決定ツールは、それらが悪い結果を可能にするよりも頻繁に悪い結果を防ぐのに役立つだろうということです。
これが私たちがこれらのツールについて広く熱心である主要な理由の一つです。しかし、これは一般化であり、あなたが作成できるすべてのAI意思決定ツールに当てはまるわけではありません。したがって、新しいツールを構築または促進するかどうかを決定する場合は、その特定の悪用リスクと、それが実際に有益な使用よりも有害な使用を優遇する可能性があるかどうかを考慮に入れるべきです。そして、これらは難しい質問なので、それらに答えようとする際には助けを得るべきです。
ここでの最も極端なリスク、権力奪取を可能にする可能性のようなものは、AI意思決定ツールを十分な手に渡すことの重要性も強調しています。デフォルトでは、最も強力なアクターは他の誰よりも優れた技術にアクセスできます。しかし、意思決定ツールを広くアクセス可能にし、それらを使用するために主要な機関を装備できれば、単一のグループが他のグループに対して危険な優位性を得るのを防ぐことができます。
これを実現するには専用の努力が必要かもしれません。そして、もしこれに取り組むことを決定したなら、その努力を払うことをお勧めします。
では、あなたはこれに取り組むべきでしょうか。結論:複雑ですが、あなたが良い適合者であれば、これに取り組むことは多くの利点を持つ可能性があります。興味のある人は誰でも、それが自分に良い適合かもしれないかどうかを調査することをお勧めします。たとえば、私たちのアドバイザーの一人と話すために申し込むことができます。
今説明した理由により、この分野での一部の取り組みはほとんど影響を持たず、一部はマイナスの効果さえ持つ可能性があるように思われます。市場によってインセンティブが不足しているAI意思決定プロジェクト、他の危険なAI能力の開発を推進する可能性が低いプロジェクト、悪用に対してより堅牢なプロジェクトを優先できれば、落とし穴を避ける可能性が高くなります。
しかし、この基準でどのプロジェクトを追求するかを決定することは、言うは易く行うは難しです。そして、ここには具体的な仕事の機会があまりないため、この分野で働くことは、他の多くの差し迫った問題に取り組むために必要とするよりも起業家的なアプローチを必要とするかもしれません。したがって、全体として、この仕事を、影響への道がよりテストされ、より明確にマッピングされているより成熟した分野で働くことを推奨するほど広く推奨できるとは思いません。
それでも、AI意思決定ツールを進歩させる努力は、適切な人にとって非常に影響力がある可能性があると考えています。曖昧さをナビゲートすることが特に得意で、起業家的なマインドセットを持ち、どのプロジェクトを優先するかについての強い判断力を持っている場合、これは素晴らしい適合かもしれません。現段階では、おそらく数百人以上の人々がこの分野で働くのを見られることに興奮しています。
それらの人々の一人になることに興味があるなら、まずAI安全性のネットワークを構築し、特定のプロジェクトアイデアについて考えるのを助けてくれる人々を見つけることをお勧めします。「実存的セキュリティのためのAIツール」の著者のような一部の研究者は、この記事とこの録音の説明にリンクされていますが、この分野で働く人がはるかに多いことについて、私たちよりも楽観的に感じていることも注目に値します。したがって、私たちはそれを過小評価している可能性があります。
いずれにせよ、AGI課題の進化する状況を最新の状態に保ち、他のニーズがより差し迫ったものになった場合にピボットする準備ができていることもお勧めします。
セクション3:この分野でどのように働くか
AI意思決定ツールの開発と採用を加速したい人々のために、私たちが見てきたトップの推奨事項をご紹介します。
あなたができる最も直接的なことは、ツール自体を構築している場所で働くことです。この記事で紹介されている求人掲示板で採用している関連組織や研究プロジェクトを見つけることができますが、この分野は現在小規模なので、代わりに自分のプロジェクトを立ち上げることを検討するかもしれません。いずれにせよ、ここでやるべきことはたくさんあります。
コアエンジニアリング作業だけでなく、デモの作成、ステークホルダーの参加、意思決定者にアピールするユーザーインターフェースの設計、ユーザーのニーズに製品を調整するための市場調査、プロジェクトが効率的に運営されることの確保などもあります。これは、この種のプロジェクトに参加または立ち上げるために技術的専門家である必要がないことを意味します。
彼らはまた、優れた運営スタッフ、プロダクトマネージャーなども必要としています。ツールの構築に直接関与せずにこれらの努力を支援する他の方法もあります。
たとえば、意思決定に最も役立つAI能力のためのベンチマークや評価を設計することによって、これらの有益な能力を測定し導くことができます。支援技術とインフラストラクチャに取り組むこともできます。
それは、採用の障壁を取り除くのに役立つ補完的な技術を開発することを意味する可能性があります。たとえば、ユーザーのプライバシーやセキュリティの懸念に対処することによってです。
また、特化したAI意思決定ツールをトレーニングするために使用できるデータセットをキュレーションおよび管理することも意味する可能性があります。たとえば、予測や交渉における過去の過ちに関するデータ、または特化した意思決定ツールが非常に役立つ可能性のある分野からの高品質な研究ノートなどです。
あるいは、人々がリソースを共有しプロジェクトで協力するのを助けるためのオンラインデータベースやディレクトリのようなインフラストラクチャを作成することも含まれる可能性があります。
さらに、主要な機関での既存の意思決定プロセスにこれらのツールを統合することによって、実装を支援することもできます。これには、ステークホルダーにそれらの使用方法について教育することも含まれます。
現在これらのいずれにも取り組むことができない場合、または単にそれが今最良の選択肢ではないと感じる場合でも、将来助けるために自分自身を位置づけることができます。害のない会社、特にテクノロジー会社を設立することで、プロジェクトを立ち上げるスキルを学び実践することができます。あるいは、これらのAIツールが特に影響力を持つ可能性のある分野、予測や外交のような分野での専門知識を開発することもできます。
あるいは、AI意思決定ツールから大きな恩恵を受ける可能性のある政府機関や国際機関のような主要な機関に参加し、そこにいる間は技術の最新情報を把握することで、後でそれらを統合するのを助けることができます。この道を追求することについて一対一のアドバイスが必要ですか。
この道があなたにとって素晴らしい選択肢かもしれないと思うなら、私たちのチームはあなたの次のステップについてアドバイスできるかもしれません。
私たちは、選択肢を比較し、つながりを作り、そして場合によっては仕事や資金調達の機会を見つけるのを助けることができます。詳細を学ぶ:詳細を学ぶことに興味がある場合は、私たちのウェブサイトでこの記事をご覧ください:80000hours.org。「AIを使用して社会的意思決定を強化する」を検索してください。ページの下部には、特定のプロジェクトアイデアを探している場合にお勧めするリソースを含む、さらなる読書のリストがあります。
また、記事の終わりに向けて紹介されている求人掲示板で、公募職、資金調達の機会、フェローシップを見つけることもできます。聴いていただきありがとうございます。
このプロフィールは、ForethoughtのArticle「実存的セキュリティのためのAIツール」から広範囲に引用しています。Arden Koehler、Lizka Vaintrob、Niel Bowerman、Max Dalton、Rose Hadsharの皆様からのインプットに多くの感謝を申し上げます。
この記事が役立つまたは興味深いと思われる他の人と共有してください。ありがとうございました。
AIを使用して社会的意思決定を強化する:Zershaaneh Qureshiによって執筆され、2025年11月に著者によって朗読され、Dominic Armstrongによって編集されました。
コメント