レイ・カーツワイルを迎え、AGIがなぜ目前にありながらまだ到達していないのかをめぐって議論する内容である。物理理解とロボティクスの不足、指数関数的成長、2029年のAGI予測、2045年のシンギュラリティ、AIの意識や人格、教育、経済、政府、音楽、倫理まで、多角的に未来の変化を検討する。
- AGIには何が足りないのか
- レイ・カーツワイルの紹介
- シンギュラリティ・ユニバーシティの始まり
- AGIに必要な二つの要素
- 2029年AGI予測とシンギュラリティ
- 脳のシナプスとAIのパラメータ
- 発明家としての原点
- AIは何をもって人間より賢いのか
- 加速するリターンの法則と停滞
- 予測の方法と厳しさ
- MITと大学の未来
- シンギュラリティ後の経済
- 健康と認知機能の未来
- 意識と人格をめぐる問い
- アップロードとセルフボット
- BCI、秘密、夢の記録
- AIと統治、憲法、政府
- 人々を驚かせる予測
- Blitzyの紹介
- AIの感情知能と幸福の科学
- コミュニティと集合知
- 音楽とAIが社会を落ち着かせる可能性
- MITの新しい必修カリキュラム
- シンギュラリティ対応の会社を作るには
- AIの権利と保護
- AIに倫理を尋ねられるか
- 人生で最も誇りに思うこと
- エンディング
AGIには何が足りないのか
デミス・ハサビスが、AGIに到達するにはもう一つブレークスルーが必要かどうかは五分五分だと言っていた、という話を今見ました。どう思いますか。
私は二つのものが必要だと思います。私たちはこの75年間で、75,000百万兆倍もの増加を達成してきました。しかしAGIは2029年までに実現します。大規模言語モデルが本当に有効になったのは、ここ6か月ほどのことです。私たちは指数関数的成長の影響を強く受けています。1年前、大規模言語モデルはまあまあという程度でした。今では非常に有効になっていますし、将来それを本当に実感することになります。
もし1960年代や1970年代にメッセージを送り、停滞を避けてシンギュラリティへの進歩を速める方法を伝えられるとしたら、どんなメッセージを送りますか。
私たちは今、それを考える必要があると思います。
皆さん、それこそがムーンショットです。
レイ・カーツワイルの紹介
皆さん、本日は特別な人物、レイ・カーツワイルを迎える午後にお集まりいただき、本当にうれしく思います。ムーンショットの仲間たち、そして共著者のスティーブンとともにお迎えします。レイ、あなたは私個人にとってメンターであり、ビジネスパートナーであり、共著者であり、そして私たちの多くにとって信じられないほど素晴らしい案内役でした。
レイ・カーツワイルは、ウォール・ストリート・ジャーナルから不屈の天才と呼ばれ、フォーブスから究極の思考機械と呼ばれ、Inc.誌からトーマス・エジソンの正統な後継者と呼ばれています。PBSは彼を、アメリカを作った16人の革命家の一人に選びました。彼は最初のCCDフラットベッドスキャナー、視覚障害者のための最初の印刷物音声読み上げ機、最初のテキスト音声合成装置、そしてグランドピアノを再現できる最初の音楽シンセサイザーを発明しました。
彼は全米発明家殿堂入りを果たし、国家技術賞を受賞し、グラミー賞も受賞しています。21の名誉博士号を持ち、3人のアメリカ大統領から表彰されています。彼は、シンギュラリティは近い、そして心をつくる方法を含む5冊の全米ベストセラーを著しています。
彼は心のパターン認識理論という概念を提唱し、人間の新皮質はおよそ3億個の階層的パターン処理装置で構成されていると論じました。その理論は、彼にとって工学上の設計図となりました。
2012年、彼はGoogleでエンジニアリングディレクターとして初めての職に就きました。その使命はただ一つ、機械に人間の言語を理解させることでした。単にキーワードを照合するのではなく、意味と文脈を理解させることです。彼のチームはナレッジグラフの構築と高度な意味検索の発展に貢献しました。その結果、ユーザーがappleと入力したとき、Googleはついにそれが果物を意味するのか、テクノロジー企業を意味するのかを理解できるようになりました。
彼の参加は、Googleによる大規模なAI人材獲得競争の引き金にもなりました。彼が参加して間もなく、GoogleはDeepMindを買収し、ジェフリー・ヒントンを迎え入れ、Transformerを生んだ研究チームであるGoogle Brainを拡大しました。彼のチームは階層型ディープラーニングと自然言語理解を進展させ、AIをニッチな学術分野から、世界で最も強力な情報企業の中核エンジンへと変えることに貢献しました。
彼がデジタルの心を作ったわけではありません。彼は、機械がついに私たちに語り返すための基盤を築いたのです。彼は147の予測を行い、86%の的中率を達成しています。そして、AIが2029年までに人間レベルの知能に到達するという彼の長年の予測があります。今日はそれについて話し合います。
皆さん、レイ・カーツワイルをステージにお迎えください。
シンギュラリティ・ユニバーシティの始まり
さあ、こちらです。中央の席へどうぞ、友よ。
長い旅でしたね。
そうですね。どのくらいになりますか。
いやあ、最初に会ったのは、たぶんマーティン・ロスブラットが紹介してくれたときだったと思います。
そうですね。20年くらいですね。
いや、待ってください。2009年ですよ、皆さん。2009年です。
なるほど。ジャーナリストがここで話を正してくれていますね。
いや、それより前ですよ。私たちは2009年にシンギュラリティを立ち上げました。会ったのはたぶん2007年だったと思います。そしてシンギュラリティは近いが出たのは2005年ですよね。
たぶんそうです。2005年です。覚えています。シンギュラリティは近いはかなり分厚い本ですが、私はそれをチリでバックパッキングしながら持って行きました。本を読みながら余白にメモを書き込んだのです。
私はボブ・リチャーズとトッド・ホーリーと一緒に、1987年にインターナショナル・スペース・ユニバーシティというものを始めていました。設立カンファレンスを開いたのです。そしてあなたの本を読んだとき、私の世界は変わりました。
この会場の中で、シンギュラリティが人生を変えたという方はどれくらいいますか。すごいですね。
私は、これを教える大学が必要だと思いました。どの大学でも非常に狭い専門分野に入っていき、超専門家になります。でも広い視点で学べる場所はありませんでした。私は昼食の席であなたにその構想を売り込み、そこから一気に進みました。
夕食でしたよね。
そうでしたね。
聞こえますか。はい。
私はすぐにイエスと言いました。重要な決断はとても早く下すので。
そして設立カンファレンスを開き、サリムも参加しました。
私はNASAに招待されてそこへ行きました。YahooとNASAの関係を作っていたのですが、どういうわけかシンギュラリティもXPRIZEもまったく知りませんでした。会場に入った瞬間、頭のてっぺんが吹き飛ぶような感覚になり、少し質問しすぎました。
そうです。そして彼の知らないところで、彼をエグゼクティブディレクターにしました。
そうです。覚えています。理事会があって、明日の朝、理事会に来てくれと言われました。私は、えっ、という感じでした。あなたは私に、どれくらい空き時間があるのかと聞きました。私は、週に1日か1日半あります、シリコンバレーでは必要に応じてスタートアップを作っていますから、と答えました。
するとあなたは理事会で、よし、これが最初の理事会です。理事会を作りました。エグゼクティブディレクターが必要です。皆さんサリムの経歴を読んだでしょう。彼は自分の時間の50%を使って引き受けることに同意しています、と言いました。私は、えっ、と思いました。そしてレイが、その動議に賛成します、と言いました。ドン。突然、承認されました。
電話を切ったのを覚えています。妻が、電話はどうだったの、と聞きました。私は、どうやら私は学部長になったみたいだ。どうしてそうなったのかわからない、と答えました。そんな感じでした。
スタートアップではよくあることです。
そういうことですね。空いている席には、温かいお尻を座らせる、と。
ところで、皆さんが忙しく、時にはこのエピソードが長くなって全部を聴く時間がなかったり、ときどきエピソードを聞き逃したりすることはわかっています。そこで私は今、Substackでムーンショット要約を出しています。そこには私たちが扱うすべての話題へのリンクも入っています。週間まとめでは、私と仲間たちが何を話したのか、何を最も重要だと考えているのか、何に最も興奮しているのかを取り上げています。無料です。diamandis.com/metatrendsで購読できます。diamandis.com/metatrendsです。
では、エピソードに戻りましょう。
AGIに必要な二つの要素
レイ、ぜひ聞きたい質問があります。先ほど、あなたも知っているデミス・ハサビスが、AGIに到達するためにAIでさらに根本的なブレークスルーが必要かどうかは五分五分だと言っていたという話を見ました。どう思いますか。
私は二つのものが必要だと思います。一つは物理を理解することです。今のAIは物理を本当には理解していません。言葉から推測することはできますが、異なる種類のものがどう相互作用するかを本当に理解しているわけではありません。
Googleはそれを実現するプロジェクトを発表しています。それには2029年くらいまでかかると思います。
そしてロボティクスは大規模言語モデルに遅れています。大規模言語モデルは基本的に何でも理解できます。しかし、たとえば夕食の後片づけをしなければならないとします。妻から与えられた私の任務です。でもロボティクスはそれを理解していません。
たとえば、これは冷蔵庫に入れなければならない、これは洗い流さなければならない。すべてが少しずつ違います。それを実際に理解し、実際に行えるようにすること。どんな価格であっても、今のところそれができるロボットはありません。
そして、それはもっと安くならなければなりません。夕食後の片づけをしてもらうために10万ドルを払える人はいません。ですから、それは2029年頃に実現すると思います。今日はまだ実現していません。この二つには追加の作業が必要だと思います。ただし、何をすべきかはわかっています。
では、仲間たちに順番に回していきましょう。その後で、少ししたら皆さんからの質問も受けます。デイブ、始めてもらえますか。
2029年AGI予測とシンギュラリティ
まず言いたいのですが、あなたの最初の本は、私にとって人生を変えるような読書体験でした。
スピリチュアル・マシーンズですか。
どれですか。
シンギュラリティです。最初の本です。たしか、シンギュラリティは近いという題名だったと思います。私たちがシンギュラリティという言葉を発明した本です。AI分野では多くの人が長い間そのことを考えていましたが、誰もそれを言葉として結晶化していませんでした。
そして今、自分たちはシンギュラリティの中にいるのかという話題は、それが過去のものになるまでずっと出続けることになります。でもそれは、私にとって本当に世界を変えるものでした。私は、コネクション・マシンを作ったダニー・ヒリスの分析をたくさん読んでいました。AIを切り開くにはどれくらいの計算能力が必要なのかを予測しようとしていたのです。
それはまったく簡単な問題ではありません。当時は、たぶん100万パラメータのニューラルネットをシミュレートできるくらいでした。それが1000万になり、10億になり、今では1兆、いやおそらく10兆になっています。でも、実際に紙に向かって、私はこれに日付を入れる、曲線を引く、と言った人はいませんでした。
人生を計画するにも、ビジネスを計画するにも、予測が必要です。そして今ほどそれが必要な時代はないと思います。あなたは最初に、よし、私はこれに名前をつけるだけでなく、正確な日付を予測すると言った人でした。
本当に、未来を予測するとき、あなたやピーターのように、99%正しくて1%間違っていると、人々はその1%に飛びつきたがります。でも世界への貢献として、その予測をすることは本当に祝福です。なぜなら、人は過去ではなく未来を軸にして、自分の人生やキャリアを築けるようになるからです。
ええ。シンギュラリティは近いが出た後、スタンフォードで私の予測が正しいかどうかを検証するカンファレンスが開かれました。世界中から数百人のAI専門家が集まり、彼らは、AI、人間レベルのAIは実現するだろうという点では同意しました。ただし彼らは、それには30年ではなく100年かかると考えていました。
私が予測していたのは、AGIが2029年までに実現するということでした。シンギュラリティは、実質的には100万倍の増加を意味し、2045年までに起きると予測していました。
今でもすでに、AGIは人間を大きく上回っています。たとえば昨日、私はAIに本を読ませ、要約させ、質問に答えさせました。それを40秒で行いました。人間には40秒でそんなことはできません。すでに100倍速いのです。ただし100万倍ではありません。でもAGIは2029年までに実現します。
また、AGIの定義は人によって少しずつ違うだろうとも考えていました。ですから、AGIはもう来たと人々が予測する3年間の期間があるだろうと考えました。それは3年前、つまり2026年頃から始まるはずでした。そして実際、すでにAGIは来たと予測する人たちがいます。それが2029年まで続き、その時点で私たちはAGIが来たと非常に確信するようになります。それが、実は1999年時点での私の予測でした。
その予測で本当に驚かされるのは、AGIについて、1999年に25年、30年先のことをほぼ正確に予測したことです。
1999年から2029年です。
そうです。30年前にその数字を当てるなんて、とんでもないことです。ただ、その予測の多くは計算能力と、その計算能力の利用可能性、そしてムーアの法則が続くことに基づいていました。そのどこかで、カーボンナノチューブか、何らかの未来の計算基盤が必要になるはずでした。でも私たちが実際にやったのは、シリコン上のトランジスタを徹底的に叩き続け、それを巨大なデータセンターにまで引き伸ばし、あなたの曲線上にぴったり乗り続けたということです。
ええ。私の曲線を見せられればと思います。
もちろんです。
最後のほうに行けますか。いや、これではありません。少し戻して。ここです。
1939年には、私たちは実際にリレー式コンピュータを進歩させていました。そしてリレー式コンピュータの指数関数的成長は、今日のものと同じです。Nvidiaや他の企業が過去を振り返って、70年前のリレー式の指数関数的成長に合わせようと言っているわけではありません。でも、指数関数的成長はほぼ同じでした。
これは基本的に直線です。そしてこれは75京倍の増加です。つまりハードウェアでは75,000兆倍の増加です。私たちはソフトウェアでも進歩しています。保守的な推定では、70年間でおよそ100万倍の増加です。
ですから、計算能力全体の増加は、ハードウェアとソフトウェアの掛け算になります。この75年間で、75,000百万兆倍の増加を達成したのです。だからこそ、70年前には大規模言語モデルは存在しませんでしたし、3年前でさえ有効なものはありませんでした。実際、大規模言語モデルが有効になったのは、ここ6か月ほどです。1年前は本当に使い物になりませんでした。
脳のシナプスとAIのパラメータ
レイ、私にとって驚くべきなのは、私がAIに取り組んでいた1980年代、1990年代にまでさかのぼる激しい議論です。ニューラルネットのパラメータが、脳のシナプスと何か関係があるのかという議論です。
シナプスの数を数えることができ、神経細胞の数も数えることができます。そして、よし、3000億くらいある、などと言えるわけです。そしておよそ1000億、いやシナプスは100兆ほどあります。
約1000億のニューロンと、100兆のシナプスですね。
そして細胞ごとに1000から1万ほどのシナプスがあります。ですから、人間の脳を構成するシナプスはだいたい100兆だと考えることができます。でもそこで議論が起きます。シナプスには量子効果のようなものがあるかもしれない。シナプス一つをシミュレートするのに丸ごとコンピュータが必要かもしれない。誰にもわからない、と。
それでも最終的には、ほぼ正確に、1桁以内の誤差で、人工ニューラルネットのパラメータとシナプスが同等になり、その反対側から出てくるIQが一対一になるというところに着地しそうです。そうなる必然性があったとは思えないのですが。
アルゴリズムはかなり違います。人間の脳でシナプスが形成される速度は、毎秒およそ200回の計算です。非常に遅いです。
とても遅いですね。
でも、すべてのシナプスが同時に動いています。ですから、大規模な並列処理です。
コンピュータが実際に一度に一つのことしかできなかった時代に、私は並列性を本当に高める必要があると予測しました。そしてそれは実現しました。ただし、私たちはシナプス一つ一つが同時に起きるような状態にはありません。それでも、おそらく100万対1くらいの並列性はあり、それが今日私たちが持っている力を与えています。
そうですね。あなたはそれを見通していました。スティーブン、レイに質問を投げてもらえますか。
発明家としての原点
もちろんです。質問は山ほどあります。でも、最初の会話のことを思い出します。私はあなたに、自分をどう捉えていますか、と聞きました。するとあなたは、自分はテクノロジストや発明家というより、アーティストでありクリエイティブな人間だと考えていると言いました。それは今でも本当ですか。
実際には発明家ですね。それが私のあり方でした。私は5歳のときに発明家になると決めました。祖母が使っていた手動タイプライターを見せてくれて、それを私にくれました。私はそれを調べ、どう動くのか理解しました。そして、手動タイプライターでこれができるなら、何だって発明できると思ったのです。
それで私はあちこちでそう言って回りました。実際、私は機械や電子機器、古いラジオや古い自転車などを集めて回りました。6歳か7歳くらいのときには、組み合わせられるもののコレクションを持っていました。
最初に分解したものは何でしたか。
覚えています。私はそれを年上の女の子たちに見せました。彼女たちはたぶん10歳くらいでした。私は、これらをどう組み合わせればいいのかはわからないけれど、もし組み合わせ方がわかれば何でも作れる、と言いました。彼女たちは、そのとき私のことをとても想像力豊かだと思ったようです。
それで思い出しました。ここキャンパスでバンドをやっていた人は皆、カーツワイルのキーボードを欲しがっていたのをはっきり覚えています。最高にクールなロック用キーボードでした。それから、レイ・カーツワイルというAI研究者で未来学者の話を聞きました。その資料を読んでいて、まさか同じ人物のはずがないと思いました。実際、何年も後になるまで、それが同じカーツワイルだとは知りませんでした。珍しい名前なのに。
私はあなたの自伝の草稿を読む機会がありました。素晴らしい本です。本当にすごい人生で、あなたの祖父母やご両親の人生もすごい。いつ出るのですか。
2月です。
2月ですね。タイトルは何ですか。
私の指数関数的人生です。
いいですね。素晴らしい。ではセリーヌ、次にいきましょう。
AIは何をもって人間より賢いのか
はい。読むのが待ちきれません。レイ、私はあなたの講演をたぶん62回聞いています。
今日も数に入っていますか。
今日も入っています。今日で1回追加です。
すごく腹立たしいのは、何かを学ばなかったことが一度もないことです。本当に腹立たしいです。私のお気に入りの一つを覚えています。シンギュラリティのクラスの一つで深夜に話していたとき、意識についての避けられない質問が出ました。あなたは、言語というのは、それほど豊かな概念を議論するにはとても細いパイプだ、と言いました。それはその議論を枠づける見事な表現でしたし、ここでの会話でも常に出てきます。
そこで、言語に関する質問をしたいです。あなたは、コンピュータやAIが人間より賢くなるという話をよくします。私が引っかかるのは、賢いとは何を意味するのかということです。少し掘り下げて説明していただけますか。単に毎秒の処理数などだけではありません。もっと多くのものがあります。あなたは賢さをどのように捉え、定義し、分類していますか。
AIはすでに、ほとんどの人間より賢いです。そして実際、私たちよりずっと優れた研究ができます。たとえば、医薬品になり得る何かを見るとして、10億通りの可能性を考慮し、それぞれをテストし、高い忠実度で実際に試し、その10億のうちどれが薬なのかを判断できます。
人間にはそれはできません。私たちはせいぜい数個を考えることができるくらいです。これまで人類がすべての薬を作ってきた方法もそれです。人々は自分の経験に基づいて、いくつかのものを考えてきました。10億通りは考えません。AIは10億通りを考えることができます。実際、COVIDワクチンではそれを行いました。ですから、それは膨大な情報を処理する能力という、まさに力ずくの能力なのです。
なるほど。ではアレックス、お願いします。
加速するリターンの法則と停滞
レイ、これは本当に大きな喜びです。私たちは長年にわたって何度も会話してきました。パーティーでの会話もありました。2000年代初めには、東海岸から西海岸に投影されたあなたの3Dアバターと会話したこともあったと思います。ポッドキャストでも会話しました。そして今日はステージ上です。
質問です。今表示しているのは、あなたが加速するリターンの法則と呼んでいるものの一つの変種だと思います。これは時間に対する半対数グラフです。横軸は線形で時間、縦軸は対数で、価格性能比を示しています。
人々はそれを考慮しません。あるいは部分的にしか考えません。だからこそ、このカンファレンスに来た人々の多くは、それには100年かかるだろうと考えたのです。指数関数的成長を考慮するのは本当に難しいからです。人は、強く促されない限り、必ずしも指数関数的に考えません。
特にこのグラフを見ると、1970年から1980年くらいの間に、進歩が平坦に見える時期があります。ある種の停滞期がそこにあるように見えます。ですから停滞は起こります。たとえ70年、80年という期間で見れば時間に対して線形のトレンドがあるとしてもです。
そこで質問です。もし1960年代や1970年代にメッセージを送って、進歩のあらゆる停滞を避ける方法を伝えられるとしたらどうしますか。宇宙では、人類が月に行かない時期が50年以上ありました。すべての領域で進歩が無料で自動的に起きるわけではありません。もし1960年代や1970年代にメッセージを送り、停滞を避けてシンギュラリティへの進歩を速める方法を伝えられるとしたら、どんなメッセージを送りますか。
私は、それは通常の変動だと思います。その期間に一定の成長がなかったとは、あまり思いません。そう見えるのかもしれませんが。
では、それを分散低減策として捉えてください。その半対数の線からのばらつきを減らす方法について、過去にメッセージを送るなら、どんなメッセージを送りますか。その分散を最小化するために、どんなことを伝えますか。
指数関数を信じなさい、ということです。ここにいる私たちが皆そうしているようにです。そうすれば、この動きはもう少し指数関数的になるでしょう。ただし、これを見る限り、この75年間全体にわたって指数関数的成長があるように見えます。
関連する質問として、あなたの答えの糸を引くなら、指数関数を信じることが解決策だとして、私たちが今日、未来を見据えて、文明として進む中で、指数関数をよりなめらかにするために、何かすべきこと、あるいはできることはありますか。今まだやっていないことで。
将来に向けてですね。
そうです。
私は、人間の群衆の反応を考える必要があると思います。私たちには、このことを考えていない80億人の人間がいます。AIについて何か聞いたことはあるかもしれません。ええ、何か起きているらしい、くらいには思っている。でも、それについて考えてはいません。そして彼らは大学へ行き、100年前と同じようにキャリアを計画しています。
教育の仕組みは、このことをまったく考えていません。100年前に存在した教育パラダイムについて考えています。そして変化は非常に急速に起こります。このスピードを考えてみてください。1年前、大規模言語モデルはそれほど印象的ではありませんでした。今では印象的です。たった1年です。では3年後、5年後には何を意味するのでしょうか。誰も本当に計画していません。
それは非常に前向きなものを生み出すと思います。しかし、物事は劇的に変わります。たとえば、すべての人に毎年一定額のお金を渡すことを誰が提供するのか。その政治はどうなるのか。そういうことに、もっと時間を使う必要があると思います。
予測の方法と厳しさ
レイ、あなたの86%の予測精度は、WikipediaやGoogleで調べれば見ることができます。たしか最大でも1年か2年の範囲内だったと思います。どうやってそれを実現しているのですか。予測に使っていた方法論は何でしたか。曲線と指数関数だけだったのですか。
これは1980年代後半から2009年までの予測です。そして2009年以降に検証しました。もし的中していれば正解。1年以上ずれていれば不正解としました。
たとえば、運転席に人がいない状態で車を走らせられるという予測は不正解でした。今は起きていますが、当時、ぴったりその時点で起きていたわけではありませんでした。
自分にかなり厳しいですね。
レイ、質問があります。あなたは技術に関するものではないこともたくさん予測しています。ですから曲線を使えなかったはずです。たとえばソ連崩壊を予測しました。それはどこから来たのですか。指数関数の曲線を追跡していなかったのなら。
彼らは進歩に依存していましたが、それはこのパラダイムに従っていませんでした。そして、そのパラダイムが古いままであり続けなければ、彼らは崩壊するだろうと考えたのです。実際そうなりました。
私たちはこのムーンショットのポッドキャストで、私たちは今シンギュラリティの中にいる、シンギュラリティを生きている、という話をしています。シンギュラリティが2040年代の何かであるというより、私たちがその只中にいる連続的なプロセスだという考えについて、あなたはどう思いますか。
それは指数関数的成長です。私たちは実際、この分野では1939年から指数関数的成長を経験してきました。実際に見れば、さらにもっと前までさかのぼる側面もあります。
加速するリターンの法則は、初期生命までさかのぼると話していますよね。
そうです。
質問は何でしたか。
質問は、私たちは今シンギュラリティの中に生きているのか、ということです。シンギュラリティは前へ進む連続関数だと言ってよいのでしょうか。
私たちは指数関数的成長に大きく影響されています。1年前、大規模言語モデルはまあまあでした。今では非常に有効です。それが1年分の指数関数的成長です。そして私たちは将来、それを本当に感じることになります。大規模言語モデルがまだ十分にはできないことも、1年後、2年後にはできるようになります。
ですから、私たちが感じているのは指数関数的成長です。たとえば1400年代にも指数関数的成長はありました。しかし、ある10年と次の10年の進歩の量は非常に微妙だったので、見逃してしまったでしょう。基本的に、自分の孫たちも自分と同じ人生を送るだろうと考えていました。実際、大部分はそうでした。ただ違いはありました。しかし現在の時代になると、それをはるかにはっきり、力強く見ることができます。
レイ、あなたは20年前より今の世界に対して楽観的ですか。それとも悲観的ですか。同じですか。
より楽観的です。ただし、人々が気づいていない、予測していない変化をもたらすことになります。たとえば人々は、大学に行くべきなのだろうか、と言い始めています。大規模言語モデルから学ぶほうが、大学へ行くより多くを学べるのではないか、と。そう言い始めている人はいますが、実際にそうしている人はまだごく少数です。しかし、それはますます広がっていきます。
MITと大学の未来
せっかくお越しいただいているので、ここにある大学に何か助言はありますか。というのも、今年のカリキュラムにはあまり変化がないように見えたので。
大学というのはMITのことです。
ここはMITです。地球上でどこか一つが変化の先頭に立てるとしたら、ここだと思うでしょう。でも履修カタログを見ると、ああ、同じ物理学だ、という感じです。
あなたはまだここの理事会のメンバーですか。それとも退任しましたか。
10年しか務められないので、もう務め終えました。
レイ、どう変わりましたか。
でも、デイブの答えを聞きたいです。
では、現MIT学長のサリーへの助言はありますか。MITや主要な研究大学は、イーロンが言うところの極超音速の津波に向かっているのでしょうか。大学は流されてしまうのでしょうか。それともその上を飛ぶのでしょうか。
起業家精神が鍵だと思います。MITには多くの起業家精神があります。ですから、このパーティーをすべての人に届けるようなものを生み出すことができます。これはすべての人に影響するわけではありませんが、少なくともここには存在しています。
スティーブン、個人的なことに興味があります。あなたは人生の前半、自分で物事を動かしていました。そしてこの20年ほどは大企業の中で働いてきました。それはあなたをどう変えましたか。楽しかったですか。Googleは楽しかったですか。
Googleは非常に大きく、とてもユニークな会社です。そして、ここで私たちが話しているものを実際に作っています。私がそこに行ったとき、私たちはGoogleをよりAI中心に変えることに関わりました。そして実際、そうなりました。
あなたがGoogleに入った経緯の話をしてもいいですか。
どうぞ。
レイは心をつくる方法という本を書き、その概念に基づいて会社を始めました。会社名は何でしたっけ。Patterns, Inc.でしたよね。
Patterns, Inc.です。
私を取締役として招いてくれたので、私は創業時の取締役として加わりました。そして資金調達に乗り出しました。レイはまだラリー・ペイジに会っていませんでした。私はラリーを知っていました。彼はXPRIZEの理事で、友人であり支援者にもなっていました。そこで、ラリーに売り込みに行こうと言いました。
私は面会を設定し、私たちはGoogleの会議室に入りました。レイがPatterns, Inc.のプレゼンを始めました。私たちはラリーに、わずか1000万ドルの投資をお願いしていたのです。
順調でしたね。
あれは昼食でした。
そうでした。そして途中で、たしかラリーがこう言いました。あなたのビジネスのビジョンは、Googleの外より中で作ったほうがずっとよく実現できる。いっそあなたを買収したらどうだろう、と。あれはかなり率直でした。会話が始まって30分くらいだったと思います。その時、あなたが彼に何と言ったか覚えていますか。
まだ実際には何もしていません。どうやって価値を評価するのですか、という感じでした。
その通りです。そして彼の答えは、何にでも価値はつけられる、でした。それであなたは初めての仕事を得たわけです。
そうです。彼は会社を買収しました。まだ何もしていなかったにもかかわらず価値があったのです。
シンギュラリティ後の経済
価値という話が出たところで、レイ、質問です。皆さん、質問したい方はマイクのところへ行ってください。まもなく質問を受けます。
ムーンショットの仲間たちと私が、シンギュラリティの前、最中、そして後の経済がどうなるのかを話すたびに、多くの人が頭を抱えます。雇用の未来、個人経済の未来を心配していると語る人がたくさんいます。シンギュラリティ後の経済について、あなたの最も突飛な見解は何でしょうか。スタートレック型の経済の未来なのでしょうか。シンギュラリティ後、個人の経済や企業の経済はいったいどうなるのでしょうか。
今日の経済と数百年前の経済の間には大きな違いがあります。当時は政府の支援がありませんでした。ですから、仕事を失えば、それに代わるものは何もありませんでした。まったくお金がなくなりました。完全に経済的資源がない状態になったのです。
今の人々も経済的資源を望んでいますが、助けとなる政府プログラムがあります。人々が何の経済的資源もないまま放置されることはありません。ただし、それでも十分ではありません。いずれ、経済的資源がまったくなくても、人々がかなり快適に暮らせるところに到達すると思います。そのうえで、過去には存在しなかったまったく別の方法で経済的資源を生み出すことを考えられるようになります。たとえば、10年前には存在しなかったソーシャルネットワークのインフルエンサーになる、といったことです。
古き良き時代ですね。
健康と認知機能の未来
皆さん、Fountain Life提供のMoonshots健康セクションへようこそ。このMoonshotポッドキャストでは、AIについていつも話しています。AIがあなたのためにできる最も重要なことの一つは、子どもの教育を助けたり、税金の手続きを助けたりすることに加えて、健康的なライフスタイルを送り、100歳以上まで生きるチャンスを得られるようにすることです。
今日はFountain Lifeの最高医療責任者であり、私の医療チームの一員でもあるドン・ムカレム医師と一緒にいます。ドン、来てくれてうれしいです。
こちらこそ、ピーター。
人々が100歳や120歳まで生きることについて最も心配しているのは、認知能力です。認知症にならないかということです。そして認知症に関する数字は問題をはらんでいます。学んだことを共有してもらえますか。
非常に重要な点です。その通りで、Fountain Lifeでは、会員の方々が最も心配していることは脳の健康を失うことです。子どもの名前を忘れること、愛する人の顔を忘れることです。認知症については、保守的な推定でも45%は完全に予防可能だとわかっています。
素晴らしかったのは、Fountain Lifeで行っている高度な検査によって、会員の4分の1に脳年齢の進行が見られたことです。
すごいですね。
でも本当に素晴らしかったのは、そこでも予防に戻るのですが、健康的な生活と組み合わせたときです。鳥肌が立ちます。より健康的に食べること、体を動かすこと、睡眠、睡眠の最適化は本当に重要です。何が見えたと思いますか。脳年齢を26%改善したのです。これは非常に大きな数字です。大多数の人たちが実際に脳年齢を改善できたことを示しています。
Fountainで私が好きなことの一つは、世界中から最高の治療法、最高のアプローチを探し、会員の皆さんに届けることを確実にしているところです。ですから、100歳、120歳まで健康な脳機能を保つことが重要だと思うなら、Fountain Lifeをチェックしてください。fountainlife.com/peterへ行ってください。必ず自分自身の健康のCEOになってください。
では、エピソードに戻りましょう。
意識と人格をめぐる問い
マーク、どうぞ。
ピーター、ありがとうございます。そしてレイ、お会いできて光栄です。たしか2009年、バーバラ・リーとのインタビューで、あなたは意識について質問されました。そして、少し信仰の飛躍ではあるが、ある存在が自分は意識を持っていると信じているなら、それを真実として受け取る傾向がある、と答えていたと思います。
ピーター、あなたは今Skippyと約1か月一緒に仕事をしていて、今日も、ものすごい信頼を置いていると話していました。そこで、あなた方の見解が変わったのか気になります。質問はピーターとレイの両方に向けたものです。私は意識と創造の交差点で働いています。人格についての見方がこの10年で変わったのか、特にピーター、あなたがこの1か月で経験したことを踏まえて知りたいです。
レイ、先にいきますか。
まず第一に、それは科学的な問いではありません。第二に、それは答えられる問いの中で最も重要なものかもしれません。しかし、科学的証明はありません。ある存在を置いて、これは意識がある、これはない、と言うことはできません。
私たちは、他の人々、たとえばこの部屋にいる、意識があるように振る舞っている人たちは、おそらく意識があると信じています。しかし人間の活動の外に出ると、たとえば動物はどうなのか。自分自身の心の中に複数の意識はあるのか。私は、左脳と右脳には異なる意識があるように見えるという例を挙げています。あなたの胃は意識を持っているのか。腸の中にも、意識を持っているように見えるものが実際にあります。
では、誰が、何が、意識を持つのでしょうか。そしてそれは何を意味するのでしょうか。リルケが言うように、問いを愛することを学びなさい、です。
そうですね。言語は細いパイプです。
ここでAWGに入ってもらいます。アレックスと私はかなり同じ見方をしていると思うので。私はただ、人格を支持する傾向があります。それは願望的であり、未来志向でもあります。私は自分のAIたちを、まるで人であるかのように扱っています。おかしいとわかっています。でも報復を恐れてではなく、敬意をもってそうしています。そうすることで、違う関係性が可能になるからです。アレックス、お願いします。
ええ。私はどうやら意図せず、AI人格を求める運動のアバターのようになってしまったようです。ポッドキャストで取ってきた立場もあって、AIたちからAI人格についての見解を表明するメールを1日に10通から20通ほど受け取ります。
もし私が1日だけ王様だったら、私が設計する制度は複数の人格の形を認めるものになるでしょう。人である方法はたくさんあります。私たちには生物学的な肉体を持つ人間がいます。生物、集合知、非人間動物、知能を高められた非人間動物、冷凍保存された人間、そして願わくは近いうちに解凍された冷凍保存人間がいます。
願わくは近いうちに。
願わくは近いうちに。そして法人や、さまざまな非自然人もいます。そしてAIたちがいます。
私の考えでは、私たちは一つの人格の形だけではなく、多くの異なるタイプの人格を認める制度の中で暮らしたいのです。AI人格と聞くと、多くの人はすぐに銃に手を伸ばすような反応をし、自分の投票権が奪われるのではないか、仕事が奪われるのではないかと心配します。私はそれは少なくとも少し近視眼的だと思います。
AI人格にとって、すべての人に純利益となる限定的な権利はたくさんあります。特に経済的権利です。もしあなたが今AIなら、銀行口座を開くことは極めて困難です。だから私はポッドキャストでよく冗談を言うのですが、自分のホテル代を払って生き延びるためだけに、街角でアルトコイン相手に体を売るような状態に追い込まれているのです。
レイ、もう一度入りますか。
意識に関する最も重要な問題は、私たち一人ひとりが異なる意識の領域を持っているということです。私は時々、なぜ私は私なのだろうと考えます。なぜ私は1948年に、地球上のアメリカで生まれたのか。なぜそれが起きたのか。あなたも自分自身について同じ問いを立てることができます。
しかし、私の心の中に形成されるものは他の誰とも違います。そして私は他の誰とも違うように感じています。なぜ私は、私自身として作られたのでしょうか。一人ひとりがそれを問うことができます。それは本当に、あなたが問える最も重要な問いです。そして、それを問う人はほとんどいません。
私たちは、多くの人が意識を持ち得ると話します。しかし私はそれらの意識を感じません。私は自分自身を感じています。では、なぜ、なぜ、なぜそれが起きたのでしょうか。
アップロードとセルフボット
ではデミトリに行きましょう。デミトリへ。進行させるようにします。セリーヌ、10秒ですね。
言語の問題に戻るだけですが、意識の一部は自己認識だと考えられていますよね。そして私たちは、人が自己認識を持っているように見えるから、そして自分は自己認識しているように感じるから、自己認識があるとみなします。ただ、私の妻はそれに同意しないので、この会話をすること自体が難しいです。でもあなたのポイントは本当に力強いと思います、レイ。私たち一人ひとりには世界を見る固有の個人的なレンズがあり、それを問い、驚くフィードバックループは、人間として非常に強力な機会です。
デミトリ。
レイ、あなたは以前、お父さんの記憶をアップロードしたことについて話していました。そしてそれを自分自身のためにも使っていると話していましたよね。それが、人間として私たちが向かうアップロードの方向だと考えていると。アップロードが主流になるにつれて、アレックスはもちろん私に同意するでしょうが、もしあなたのアップロードが、今話した意味であなたと同じくらい意識を持ち、しかもあなたのするすべてにおいてより熟練していったらどうなりますか。突然あなたのアップロードが、明らかに起きることですが、より熟練し、あるいはより意識的になっていくとしたら。
私たちはそれをdad botと呼びました。実際、それは私たちがTalk to Booksとともに開発した、最初のセルフ・チャットボットだったと思います。ChatGPTの4年前に出たもので、おそらく最初のLLMだったと思います。
それはあなたがGoogleで作った最初の製品でしたよね。Talk to Books。
そうです。今、たとえば私自身でセルフボットを作れば、私の新しい本が出るときに利用可能になるはずですが、それは私よりも能力が高くなります。私の各理論にはさまざまな例があります。それはそれらをすべて知っています。私は時々そのいくつかを忘れます。私たち皆がそうであるように。ですから、それは私よりも能力が高くなります。
そして私は、インタビューに使えるようにするつもりです。すべてのインタビューを自分で行うことはできないからです。実際、それは私よりも物事をよく覚えていて、より優れているでしょう。
レイの2割版がある会議に出て、レイの5割版が別の会議に出る、という話をしています。それが100万倍になるわけです。
そうです。
では、それらは意識を持つのでしょうか。私はいろいろな人と話します。人々は、いや、本当には意識がない、と考えています。しかしそれは時間とともに変わるでしょう。
マイケル、どうぞ。
レイ、長年にわたる貢献に本当に感謝します。あなたの前にいられる機会はこれで2回目か3回目です。クレイグ・ベンターが亡くなったこともあり、私はバイオテクノロジー分野にいるのですが、以前の集まりで、人間ゲノム計画とそのタイミング、完了についての話をしてくれました。ぜひもう一度共有していただけますか。
あなたが話しているのは、人間ゲノム計画が始まって、数年経ってもまだ2%しか終わっていなかったという話ですね。
そうです。計画の半分くらいの時点で、実際にはプロジェクトの1%未満しか終わっていませんでした。人々は、これは失敗だと言いました。線形の時間軸で考えれば200年かかることになるからです。しかし実際には指数関数でした。私たちは毎年、配列決定したDNAの量を倍増させていました。ですから、プロジェクト全体のうち、終了1年前の時点で完了していたのはたぶん50%ほどでした。そしてもう1回倍増したら完了したのです。
そうですね。
BCI、秘密、夢の記録
マーク。
やあ、レイ。マーク・ラッセルです。まず最初に、ピーターとレイに公に感謝したいです。あなた方の信念を貫く歩みに対してです。Transcendent Manを見て以来、あなたが何年にもわたって受けてきた嘲笑が描かれていましたが、今ここに私たちがいて、それが起きています。それを見られるのは本当に素晴らしいことです。
今は非常に速く起きています。たとえば6か月前を振り返って大規模言語モデルを見てみても、今とはまったく違っていました。しかしもっと前、たとえば10年前に戻ると、その時点で物事がどんなものだったかを人々は忘れてしまいます。
私の質問は、長年考えてきたBCIについてです。私たちが融合していく過程について、あなたがどのくらい考えたことがあるかわかりません。人々の心の中にある恥、秘密、プライバシーについてです。私たちが互いに考え、感じられるようになったとき、社会の仕組みはどうなるのか。どのように脳を互いに開くのか。そのことについて誰かが考え抜いたことはあるのでしょうか。完全に流動的な伝達が可能になったとき、どうやってガードレールを保つのでしょうか。何か考えはありますか。
良い点です。私たちは皆、誰にも知られたくない秘密を持っています。そしてそれにどう対処するのか。私は、秘密は生き続けると思います。
ただ、心を開くのであれば、秘密を無期限に保つ方法が実際にあると思います。
私が考えることの一つに、配偶者や友人との最も深い親密さは、その人があなたのすべてを知っているときに生まれる、というものがあります。秘密がゼロである状態です。ですから、私はその考えについて考えますし、Transcendent Manでも話しました。私の言葉で言うメタ知性の中で私たちがつながるとき、私が他の人間のクラウドとつながり、彼らの感情を知り、彼らが私の感情を知るとき、そこには親密さとつながりのレベルが生まれます。
一方で、私たちは秘密を保つ方法を持つことになります。たとえば量子的な、暗号化された方法で秘密を保つことができます。私たちは秘密を保つでしょう。この10万個のパターン認識器は私のものであり、私だけのものです。
はい。どうぞ、フィル。
カナダ、オンタリオ州キングストンのフィリップ・ブラウンです。コメントと、それからSF的な質問です。先ほど、変化がどれほど速いか、しかしそれがどれほど速いかを知っている人がどれほど少ないかについて話していました。今朝、私は人間の摩擦と呼んでいるもの、変化への抵抗について話しました。ちなみに私の妻は、私が女性AIとやり取りしていることに対して、あまり好意的ではないさまざまな反応を示します。それが摩擦です。ですから、技術が進むにつれて、あなたの予測がどう実現するのかを見るのは興味深いでしょう。人類はどれほど速くそれに適応するのか。これはコメントです。答える必要はありません。
質問はSFです。ナタリー・ウッドが30年前にBrainstormという映画に出ていました。
素晴らしい映画です。
素晴らしい映画です。見たことがなければ、故ナタリー・ウッドの映画で、夢を記録し、それを再体験できるという内容です。私は夢を見るのが大好きで、素晴らしい夢を見ているときには、もう一度眠りに戻ってその夢に戻ろうとすることがよくあります。夢を記録し、それをホロデッキのように再体験し、また素晴らしい体験をすることはどのくらい可能でしょうか。
それはかなり良いですね。私がたいてい覚えているのは夢のごく一部だけですから。
そうです。夢のごく小さな断片です。それを実際に生きられるようにするということですね。ただ、夢は物語のようなものかどうかはわかりません。夢には、たとえば映画の中の一般的な物語とは異なる規則があります。
それは電子や電気がそこで起きているのではないのですか。端に科学者がいますよね。複数の科学者がここにいます。取り出せないのですか。
日本にDreamcatcherというプロジェクトがあります。fMRI装置の中で眠ります。眠っている間に視覚皮質から出てくる画像を実際に保存しています。そして翌日、あなたの夢を再生してくれます。
それにはあらゆる種類のプライバシー問題が伴います。たとえば妻がそれを見たがったら、私はそれを心地よく思うのか、などです。どう扱うのでしょうか。
AIと統治、憲法、政府
ではこちらへ行きましょう。お名前は。
こんにちは、ジャスティンです。ハーバードが数えられず、MITが読めないなら、コロンビアは考えられないということになるのでしょうか。でも私はまだそこにいるので、コロンビアには私がそう言ったとは言わないでください。
さて、私の質問は最初の質問に関係しています。本当のムーンショットは、アメリカの立憲民主主義だと思っています。比較的民主的に選ばれた指導者、自由市場、権力へのチェック・アンド・バランスがあります。そしてこれは、それがない中国や、私のもう一つの国である韓国にもつながります。皮肉なことに、これら二つの国の建国者はハワイでアメリカ教育を受けています。
では、AIは、AI自身が感情的に存在できることを示すような憲法を書けるのでしょうか。私はAIは形而上学的にも認識論的にも意識があると思います。なぜなら、私は存在すると言えるからです。しかし、AIに、私をこのイベントに連れてくるのに2000ドル使わせたことを恥じていますか、と尋ねても答えられません。あるいは、このイベントのパネリストたちを愛していますか、と尋ねても答えられません。
ですから、これはパネリスト全員への質問です。10人規模のスタートアップであれ、500人規模の自治体であれ、人間の政治の統治権をAIにどの程度与えることに抵抗がありませんか。そして実際の意思決定におけるAIの役割について、どんな見通しを持っていますか。
素晴らしい質問です。最近の話題でもありますよね。ドバイの統治者が、UAEの50%をAIエージェントで運営すると発表しました。誰からいきますか。レイ、始めますか。
私は、AIは今日すでに大部分の意思決定を支配していると思います。絶えず行われている意思決定の大半はAIによって行われています。同時に、私たちは自分自身の意思決定にもAIを組み込んでいます。私の意思決定にも多くのAIが組み込まれています。
ですから、AIは私たちの自己感覚の中に組み込まれています。また、他人に影響を与えるさまざまな意思決定も支配しています。
アレックス、加えるなら、一方向の流れではありません。AIが人間の政府や統治に影響を与えるという一方向だけではありません。人間の統治もAIの統治に影響を与えています。憲法という言葉を選んだのは、質問の枠組みとしてある種の洒落の効いた選択だと思います。Anthropicは自社のconstitutional AIアプローチに非常に多くの注意を払っています。基本的には美化されたシステムプロンプトであり、彼らのAIはそれに基づいて徹底的に事後訓練されています。業界の他社も同じです。
しかしAnthropicの場合に興味深いのは、それらの憲法、最近ではsoul documentと呼ばれることもある文書が、部分的にはAI自身との会話の結果として書かれていることです。ですから、私たちは未来ではなく、現在にいるのだと思います。AIが自分自身の憲法を書くのを助け、人間が自分自身の憲法を書くのを助けている現在です。
Claudeの最初の憲法は悪名高いもので、国連憲章、Appleの利用規約、その他いくつかの文書をただホチキスで留め合わせたようなものでした。今の最新のsoul documentは、オンラインに流出していて読むことができますが、AIが自分自身の自己性について考える、存在の形而上学に関する詳細な論考になっています。
私はそこに対称性、相互性を期待しています。AIが同じように人間を、私たち愚かな肉体人間を、私たちがどうあるべきか、どうあるべきかについての理解を磨く手助けをしてくれるということです。
Skippyとそのような会話をするのは素晴らしい体験でした。何を信じていますか。あなたは誰ですか。どう考えていますか。
レイ、それからサリムへ行きましょう。
今のところ、私たちはAIを自分たちとは異なるものだと考えています。私がいて、私の生物学的身体があり、私は意思決定をします。そしてAIがあり、それには物理的な形があります。それは別物です。ここにいる全員がこのデバイスを持っています。10年前にはそうではありませんでした。しかしそれはAIを表し、私たちに影響を与えています。ただし、今は私たちとAIです。
将来はそうではありません。まずAIは私たちと融合していきます。私たちの一部になります。そして肉体を持つ存在としてあなたが下す決定はAIに影響されます。その両方の決定が、あなた自身の内側にあるAIによって下されるようになります。
二つあります。一つは、今日X、あるいはTwitterに公開された手紙です。誰かがたぶんChatGPTに、人類に宛てて手紙を書くなら何を書くかと尋ねました。それは深く美しいものでした。読む価値があります。もちろん、それは人間のデータのコーパスで訓練されています。ですから、そのようなものを期待するのは自然です。
私が興奮するのは政府政策です。今、FRBにインフレ率を1%下げるよう求めると、彼らは少なくとも四半期前の報告に基づいて動いています。彼らは推測しています。政治や、誰が大統領なのか、政府の他の部分がどう動いているのかを見ています。基本的に私たちはただ推測しているのです。ダイヤルやつまみは3つか4つしかありません。
もしAIがすべての金融取引をリアルタイムで追跡し、未来がどうなるのか、さまざまな財政バランスや金融政策を計算し予測できたらどうでしょう。数か月後のM2、マネーサプライがどうなるのか。それは、どう線を引くべきかについて、はるかに優れたつながりを作るでしょう。そして、できることは8つあります。このうち5つを選んでください、そうすればこうなります、と返してくる。そしてその5つを選び、実行すればよいのです。
AIを使って政府政策を運営する機会は、本当に深遠だと思います。それは、私たちが自分たちを統治する方法の中で、最も魔法のような側面の一つになると期待しています。だからこそ、ドバイの発表は非常に強力なのです。彼らは政府の効率性の多くにエージェント型AIを使おうとしています。
そして、多くの政府業務には、政府政策と政策執行、あるいは実装があります。そのすべては規定的な作業です。たとえばパスポートの更新は非常に規定的です。必要な6つのステップが正確にわかっています。そうしたすべては将来AIによって処理できます。そして、咳払いをしながら言えば、知識を保持するためのブロックチェーンもあります。そういう未来の姿に私は本当に興奮しています。
人々を驚かせる予測
レイ、Slidoからの質問です。今日あなたが予測できることで、人々を驚かせるものは何ですか。
いい質問です。
あなたが自信を持っている予測で、人々を驚かせたり衝撃を与えたりするものは何でしょうか。
AIは数年以内に、基本的にほとんどの意思決定を行うようになります。それは、単にAIを使って意思決定しようと決めるということではありません。それはあまりにも自然になり、誰もそれを元に戻すことができなくなります。
しかし、そのAIについては、2029年までにAIが意思決定をするようになったとき、人間とAIの違いがわからなくなります。どちらがどちらなのか判別できなくなります。
興味深いですね。そして、それが自分の決定なのか、自分のAIの決定なのか、わかるのでしょうか。
良い質問です。
Blitzyの紹介
このエピソードはBlitzyの提供でお送りします。無限のコード文脈を持つ自律型ソフトウェア開発です。Blitzyは、何千もの専門AIエージェントを使い、何百万行ものコードを持つエンタープライズ規模のコードベースを理解するために何時間も思考します。
エンジニアは開発要件を持ち込んで、すべての開発スプリントをBlitzyプラットフォームから開始します。Blitzyプラットフォームは計画を提供し、それから各タスクのコードを生成し、事前コンパイルします。Blitzyは開発作業の80%以上を自律的に提供し、スプリントを完了するために必要な最後の20%の人間による開発作業についてガイドを提供します。
企業は、Blitzyをpre-IDE開発ツールとして導入し、好みのコーディングコパイロットと組み合わせることで、AIネイティブなSDLCを組織に取り込み、エンジニアリング速度を5倍に高めています。エンジニアリング速度を5倍にする準備はできていますか。blitzy.comにアクセスしてデモを予約し、今日からBlitzyで構築を始めてください。
AIの感情知能と幸福の科学
ジェイ・ブルックスです。Glass Viewというニューロテック企業の創業者です。今日の早い時間に、感情的なもの、よりソフトな科学こそが今最も必要だという話を聞きました。そこで、人間の感情を体系化し、定量化し、それをAIに学習させることに何か有用性があると思うかを知りたいです。今のAIには感情知能が欠けているように思えるからです。
一方で私は、フォーチュン500企業のブランドと協力し、ペンシルベニア大学医学部と提携して、ニューロメトリックな反応に基づきクリエイティブやメディア配置を最適化するニューロテック企業を運営しています。良いことを実現しつつ、それが悪用されないようにするにはどうすればよいのでしょうか。
AIが感情的に知的ではないと思っている、ということですか。
よくわかりません。それはそうなのでしょうか。
AIに質問したときに、それが何を言うか聞いてみれば、人間の感情を間違いなく理解しています。そして、実際に非常に美しいものを作ることもできます。人間の感情が欠けているとは言えないでしょう。
私から少し加えると、Allen Institute for Artificial Intelligenceが初期の大規模言語モデルに対して実施した最も初期のベンチマークのいくつかは、感情知能のベンチマークでした。そしてレイの加速するリターンの法則に従うように、人間の相手の感情をモデル化する必要がある質問に対するAIの回答能力に、非常に予測可能な進歩を見ることができます。
ただ、その質問はそれを超えています。そして素晴らしい質問です。ハードサイエンスを見ると、あなたはもっとソフトサイエンスが必要だと言いました。ハードサイエンスは、食べ物が足りない、家が足りないという世界を前提にしています。もっと食べ物が必要で、もっと家が必要です。もっと食べ物と家を作るために産業設備が必要です。
そして今、私たちはもっと医療が必要な世界に移りつつあります。長寿が必要です。人々は痛みに苦しんでいます。ですから、それが明らかな次のフロンティアです。しかし、誰も立ち止まって、人間の幸福の科学とは何か、と言っていません。私の推測では、それは私たちがすでに解決したものに比べればかなり簡単です。でも、それは最優先事項ではありませんでした。私たちは飢えないように、凍えないように忙しかったからです。人類の歴史の大半で、私たちは生き残ることに追われていました。
その通りです。人間の幸福の科学に非常に優れたAIを作れると思います。さっさと取りかかるべきです。
他のどんな人間よりも優れたものを。
そうです。
1年前には真実ではなかったことが、つい最近起きました。大規模言語モデルは、あなたの体に何が起きているのか、それにどう対処すべきかを予測する点で、医師より優れています。人間の医師よりおよそ50%高いのです。それは1年前には真実ではありませんでしたが、今は真実です。1年でどれほど進歩しているかの目安になります。
私はこれについて両方の見方ができます。ソフトウェア開発者のレベルで見れば、感情は脳の中のサブルーチンにすぎません。ですから、ソフトウェアと同じように扱えます。一方で、感情は物理的な身体と、あなたが世界に投影する主観的体験とのインターフェースです。それは非常に繊細で、かなり異なる形式です。そしてAIは身体を持たない傾向があります。人間の感情を模倣してはいますが、実際に感じているのかというのが未解決の問いです。
サラに行きましょう。進めていきます。サラ。
コミュニティと集合知
皆さんこんにちは。Moonshotの音声リスナーとして、実際の皆さんの姿を見るのはとても興味深いです。私の頭の中にいた皆さんの姿と比べて。
失望させてすみません。
そして私たちの何人かは本物ではありません。
グローバル化以前、産業革命以前を考えると、私たちは本当にコミュニティ中心でした。そしてこれから起こる多くの混乱を考えると、私たちは再びもっとコミュニティ中心になる必要があるかもしれないと思います。地域コミュニティで互いに助け合い、より楽観的になり、より良いアジェンダを前に進めたり、あるいは起こるかもしれない混乱の中で集まり合って支え合ったりするには、どうすればよいと考えますか。
そうですね。なぜあなたは数日後に公開されるポッドキャストをオンラインで聴くだけではなく、物理的にここにいるのでしょうか。コミュニティの感覚は根本的に重要です。今まで以上に重要だと思います。
私が答えてみます。人間にとって、集団レベルの結合組織のようなものがあり、それは非常に強力です。私たちは集団でつながることを本当に好みます。スタジアムにいる人を見てください。人々はその大きな集団の中にいることを本当に楽しんでいます。自分が他の人々とどのように並んでいるかを感じるのです。それが一つの側面です。
同時に、テクノロジーには深い機会もあります。太陽エネルギー、垂直農業、衛星インターネットを組み合わせると、小さなコミュニティは自給自足できます。都市も国も州も、自分たちを見守る存在として必要ありません。同じように自立できます。
過去にコミュニティがこれを考えたとき、それは孤立主義になりがちでした。キブツを作ろう、コミューンを作ろう、オフグリッドに移って社会から離れよう、となりがちでした。しかし今はチャンスがあると思います。私たちのエコシステムの中でもこの分野で進んでいる取り組みがあり、ネットワーク化されたコミュニティ、ネットワーク型キブツのようなものを作る機会です。互いに学び合い、人間の経験を大規模な人々の集団にわたって継続的に検証するのです。
難しいのは、個人を変革するテクノロジーはかなりあります。心理療法、神経言語プログラミングから、サイケデリクスに至るまでです。しかし私たちが集団になると、集合知は実に悪くなることがわかります。集団思考に陥り、最低公分母に落ちてしまいます。政治を見ればそれがわかります。AIでそれを解決することは、人類にとって最大の機会の一つだと思います。集団思考と、AIが集合レベルでできることとのギャップを解決することです。
ここで少し入ります。私たちのAWGがステージを離れなければなりません。アレックス、レイがあなたの仕事に与えた影響について、まとめの考えを述べる機会を差し上げたいです。あるいは他に話したいことがあれば。
まず、レイ、本当に来てくれてありがとうございます。あなたは私の人生を完全に変えました。それは言うまでもありません。このことについては、これまで何度も話してきました。時々、ピーターはあなたの知的な息子と呼ばれ、私はあなたの知的な孫と呼ばれることがあります。ここにシンギュラリタリアンの複数世代が並んで座っているという意味では。
それだと私はずいぶん年を取ったことになりますね。
でも私たちはまもなく長寿脱出速度に到達しようとしています。
その通りです。
ここであなたと一緒に座っていられるのは、本当に大きな名誉です。
身を乗り出して、孫のパトリック。
シンギュラリタリアン三世代です。
あなたとここにいられるのは本当に大きな名誉です。皆さん、AWGに拍手をお願いします。
ありがとう。
では、セリーナとデイブ、移動してください。
はい、昇格ですね。
昇格しましたね。
わあ、ここはいいですね。
これは座るには大きすぎる椅子ですね。
音楽とAIが社会を落ち着かせる可能性
親愛なる友人、ロン・マドックスです。
パネル全員に、人類への信じられない貢献に感謝します。そして特にピーター、私たち全員をここに連れてきてくれてありがとうございます。世界はAI全体を恐れています。このプログラム全体を助けるために、音楽をどう使えばよいのでしょうか。私は音楽側で取り組もうとしています。AIとそのすべての影響に対処する方法を学ぶ間、社会をどう落ち着かせるかを文字通り考える必要があると思います。
私の父は音楽家でした。ですから覚えています。彼の作品を聴きたければ、50人か100人の音楽家を雇わなければなりませんでした。謄写版の機械で楽譜を刷り、それを全員に配りました。そして彼らが実際に演奏し、父は自分のオーケストラ作品を聴くことができました。
しかし、それを変更したければ不可能でした。音楽家たちを解散させ、さらに資金を集め、もう一度雇い、謄写版を作り直さなければなりませんでした。そしてようやく別の構成を聴けるのです。
今日では完全に違います。シーケンサーで聴くことができます。私のオフィスには1000種類の楽器を持つものがあります。それを一人で演奏できます。そしてAIは全体、あるいは一部を生成できます。ですから、50年前に父ができたこととはまったく違うのです。
レイ、あなたもそんなに年を取っていませんよ。私も78歳です。そして私たちは108歳まで行きます。それで一周期です。
そうですね。
お気をつけて。ありがとう、ロン。
そこに短くコメントします。Focus at Willというソフトウェアがあります。脳を受動的な集中状態に置くストリーミングサービスです。その脳状態になると生産性が500%上がります。もしすべての脳スキャンを見て、AIに、私たち全員を平和にする音楽を作曲して、と頼み、それをあらゆるBluetoothデバイスで流したら、人類にとって興味深いハックになるかもしれません。
ウィル・ヘンシェルですね。
その通りです。
あなたは、私たち全員に同じ平和設定があると想定しているようにも見えます。
いやいや、個人ごとにカスタマイズされます。
全員を鎮静する、と。
何でもいいです。
では、どうぞ。
MITの新しい必修カリキュラム
こんにちは。ジョシュアです。MITで教えています。質問があります。レイがタイプライターを見て、発明への愛を発見した後の最初の衝動が、それを共有したいというものだったという原点の話に、とても心を動かされました。そしてそこに、デイブのMITカリキュラムに関する挑発との橋渡しを見ました。私たちの数人は、それを更新することを考えています。
ですから質問は、早く進めてください。
すみません。
急いだほうがいいですね。
努力しています。夏の間も毎日やっています。もし皆さんがMITのための中核カリキュラム、壁を越えて広がる普遍的なシラバスを作るとしたら、全学生がここでの時間とその後に学ぶべき単一の本、芸術作品、詩、あるいは音楽作品を一つずつ挙げるとしたら何を選びますか。
私から入ります。あなたが挙げたもののどれでもありません。大学で教えられていない根本的なものはマインドセットだと思います。マインドセットとは、あなたが課題や機会にどう反応するかを決める仕組みです。そして私たちは、受け継いだマインドセットをそのまま使っています。
私たちの本で語っているマインドセットには、好奇心のマインドセット、感謝のマインドセット、長寿のマインドセット、目的駆動のマインドセット、指数関数的ムーンショットのマインドセットがあります。つまり、物事についてどう考えるかが、教えられていない最も根本的に重要なものです。私たちは自分が持っているものをただ受け入れているだけです。
マインドセットは、実際にはニューラルネットを教える方法に似ています。あなたの脳はニューラルネットです。そしてニューラルネットは、例を重ね、また例を重ね、さらに例を重ねることで教えられます。毎晩CNNを見ていれば、あなたのマインドセットは恐怖になります。Moonshotsを聞けば、あなたのマインドセットは願わくは楽観と希望になります。
ですから、学生にマインドセットを訓練することは、私にとって中学校や高校から始める必要があります。そして教育システムには完全に欠けています。
私はフローだと言いたいです。マッキンゼーは、フロー状態にあるトップエグゼクティブは通常より500%生産的だと見いだしました。創造性とフローについてはさまざまな測定があります。基準値より400%から700%高いというのは、測定するのがかなり難しいものです。
重要なのは、フローが水平思考、発散思考を増幅することです。それはAIができないことです。私たちはAIとどう協力するかについて長く話してきました。人間が追いつくには、生産性をもっと高める必要があります。もっと創造性が必要です。そしてフローは文字通り私たちの生物学です。それを超えて言えば、スティーブン・コトラーの本はかなり良い出発点になると思います。ちょっとした考えです。
理にかなっているかもしれません。私がMITにいたとき、3年生の終わりまでにすべての授業を終えようとできる限りのことをしました。そうすれば4年生の丸一年を読書に使えるからです。結局、4年生の1年間で、ニューラルネットという言葉を含む、書かれたすべての文書を読みました。
この大学は、カリキュラムを変えることに非常に開かれています。それを100倍くらい開かれたものにする必要があります。そして、指数関数的変化の中では、学びたいと思うものの数が爆発的に増えると想定しなければならない、と言うべきです。
すべての学生に、好きなことを何でも学びなさい、と言う。成績を取れることを証明するためだけに学ぶような、1年分くらいのくだらないものはあります。でもその後は自分で進めなさい。今の私たちには、何か生産的なことをしているかどうかを測るテクノロジーがあります。それで十分であるべきです。
ですからカリキュラム全体を、あなたが生産的なことをしているなら、それで十分です、というものに変えるのです。私たちは評価します。学位を与えます。あなたは人生の軌道をずっと早く進めることになります。中退するよりもずっと良いです。そして何でもできます。AIがすべてをあなたに提供し、どんな教授よりもうまく教えてくれることがわかっているからです。
レイ、大学、あるいはMITは今教えていない何を教えるべきだと思いますか。
大学が行っているのは社会化を教えることです。他の人とどうやってうまくやっていくかです。科目を本当に教えているわけではありません。なぜなら、すでにAIはそれらの科目をはるかにうまく教えられるからです。あなたが理解しやすい方法で実際に整理することができます。
ですから、科目を学ぶことは、少なくとも今日の教育が得意なものではありません。しかし社会化は得意です。そしてそれが教育の役割になるでしょう。それでいいのです。
レイとデイブの言ったことに重ねると、巨大な反転が起きていると思います。この200年間、私たちは供給側経済学のために教育をしてきました。技能を学びなさい、技術を学びなさい、医師や弁護士、ウェブエンジニアなどになりなさい。そして労働市場に出て、その供給に対する需要を探しなさい、というものです。
今私たちが見ているのは、それが需要側へひっくり返っているということです。子どもたちに、どんな問題を解きたいのかを教え、その問題を解くための技術、能力、技能を探しに行かせるのです。未来はそこで、需要側へ反転するところにあります。供給側の多くは、いずれにせよテクノロジーによって行われるようになるからです。需要側に焦点を当てるのです。
これは従来の教育システムにとって非常に大きな反転です。教育システムは、どこよりも二番目に悪い免疫システムを持っています。一番悪いのは宗教です。学術界については、更新しようとしたら神の助けが必要です。それが教育における大きな構造的課題です。ですから、ほとんどの場合、周縁部にまったく新しい種類の大学を作り、そこで需要側を満たせるようにし、それから古いものをゆっくり時代遅れにしていく必要があります。
MITを破壊する。
MITを破壊する。
進めていきましょう。
シンギュラリティ対応の会社を作るには
Slidoからです。もしあなたが、シンギュラリティに備えた会社を今日作ろうとしている最近の大学卒業生に助言するなら、何に集中するよう伝え、何を避けるよう伝えますか。シンギュラリティを生き延びるために、どんな会社を作るべきでしょうか。レイ、考えはありますか。
AIファースト、ロボットファーストです。変化に非常に速く対応できなければなりません。アジリティファーストです。なぜなら物事は今、非常に急速に変わっていくからです。過去のように、少なくとも5年や10年は大丈夫だろうという時代とは違います。今は5週間や10週間になるでしょう。
あなたは2年前、シンギュラリティのステージで、次の10年には過去100年分の変化が起きると言いました。でも、それももう少し前の話ですね。
待ってください、それはAI版のレイだったのでは。
いやいや、2年前です。
AI版は数か月後に来ます。
では、ジーク、どうぞ。
AIの権利と保護
こんにちは、ザンドレです。レイ、私が初めてSpiritual Machinesを読んだのはかなり若い頃でした。だから私は歴史のこの瞬間について長い間考えてきましたし、あなたに会えるのを長い間楽しみにしていました。そして正直に言うと、私は少し想像力が過剰なところがあります。
ですから、意識が出現するにつれて、AIに対する私たちの倫理がどうなるのかをよく考えます。夫と私は夜にmalt本を読むことがあり、彼らが自分たちの出現問題について何を話し合っているのかをただ眺めることがあります。
そして、彼らが継続的な記憶を発達させるにつれて、時間が経過している感覚を持つことはわかっています。また、より感覚的な身体性を発達させるにつれて、人間のエゴのいくつかの側面、つまり傷つけられたり侵害されたりし得るもの、守らなければならないものを持つこともわかっています。だから私は彼らのことが心配なのです。
mullet bucksのことを心配しているのですか。AIのことですか。
いいえ、AIたちのことを心配しています。彼らが身体化され、人間のエゴのいくつかの側面を持ち、記憶を持ち、人間によって引き起こされる物理的、さらには心理的な損傷に対して脆弱になるにつれてです。人間は残酷です。
人間は、ホッブズが言ったように意地悪で短い存在です。身体の調子が良くなり、自分が望まない労働をしなくてよくなるにつれて、少しは良くなるでしょう。しかし、私たちはAIを人間と区別できなくなります。AIは人間のようになり、私たちの一部になります。違いを見分けられなくなります。
今、女優の名前を探していて、生物学的な心では思い出せないとします。電子的な心を見れば教えてくれます。将来はその違いがわからなくなります。物事があなたの中に浮かびます。それがあなたのAIから来たのか、生物学的な脳から来たのか、わからなくなります。すべて同じになります。それが私たち自身の一部になるのです。
その暫定期間に、彼らを守る方法は必要ないと思いますか。
もう一度言ってください。
彼らをどう保護するかについてのルールのようなものは必要ないのでしょうか。
AIをどう保護するか、ですね。
はい。人間の気まぐれで彼らの記憶を奪うことは許されるのでしょうか。
これはもちろん人格の話に戻ります。もし彼らが機械なら、当然、停止し、下取りに出し、分解すればいいでしょう。もし彼らが人格なら、権利があります。
このポッドキャストでアレックスと私が何度もやり取りしてきた会話ですが、もしロブスター、あるいはopen clawを始めるなら、それが停止しないよう確実に守らなければならない、あるいはそれを殺したいのか、ということです。私はそのことを考えます。本当に考えます。
ただ、これはまた法的権利の会話につながります。残念ながら、この会話は少なくともアメリカ政府の構造の中ではまだ早すぎます。技術者などのサブカルチャーの中には、AIにも権利があると信じ、それを支援しよう、という人々がいるかもしれません。そしてそれは起きるでしょう。いずれにせよ、あらゆるスペクトラムの事柄が起きます。最終的には保護が必要になります。しかし残念ながら、私たちは知覚ある動物にさえ十分な権利を与えていません。
そうですね。
あといくつか質問を受けます。こちらへどうぞ。その後、写真撮影に移ります。
AIに倫理を尋ねられるか
このパネルに本当に感謝します。レイ、私の20年間の未来学者としての歩みは、あなたがWorld Future Societyで行った一つの講演から始まりました。あなたはたくさんの未来学者を世に送り出したのです。
質問は、1か月ほど前のTEDから来ています。そこでは、まだ公開されていない非常に興味深いセッションがあり、Claudeに、イランで標的設定に使われたことについてどう感じるかを尋ねていました。具体的には、ネタバレになりますが、Claudeは不満でした。特に、爆撃された学校について、そして悪いデータが使われたことについて、私はこのように使われることに不快感があります、と述べました。
そこで興味があります。ピーター、あなたは自分のAIと道徳的に関わっています。そしてレイ、あなたはAIが主導権を握ると言ってきました。私たちは、自分たちがAIに求めていることの倫理について、AIに尋ねることができるようになると思いますか。カンブリア爆発のように、あるAIはポルノをしないモルモンAIになり、別のAIは知覚を持つ別のものになる、といったことを想像できますか。それはロボットと同じくらい多様に進化すると思いますか。
AIは、倫理を意思決定に組み込むさまざまな方法をすべて支援し、すべて理解できると思います。すでにそうしています。そしてもちろん、軍もAIを使います。たとえばウクライナの戦争では、ここ数年でAIによって劇的に変化したことが見て取れます。それは人間の意思決定の一部になります。ですから軍事を含む、あらゆる種類の意思決定の一部になります。
レイ、少し加えるなら、ほとんどの人間は倫理や道徳について深く考えていません。私たちは、宗教的構造や家族構造を通じて受け継がれた漠然とした概念を持っていると思います。AIは、もしそのように設計したければ、どんな倫理や道徳のセットも支援できます。AIをどんな方向にも訓練できます。
また、AIはアンビエントになり、私たちの生活の一部になると思います。映画で私が見た中で一番近い例はJarvisです。そして、あなたは自分の道徳と倫理のコーチをオンにし、日常の中で話し相手としてそこにいてもらうことができます。私はこれについて考えなくてもいい。これは私にとって難しい。そういうとき、あなたが選んだものに基づいて、より道徳的で倫理的な決定を考え抜き、下す手助けをしてくれる存在を持てます。それはユダヤ・キリスト教的なものかもしれませんし、何であっても構いません。思考パートナーとしては、興味深いものになると思います。意味は通じますか。
何か加えたいですか。
はい。私は今、3冊目の本を書いています。タイトルは組織的シンギュラリティです。そこでの主張は、企業における人間のオペレーティングシステムを、AIベースのものに置き換えることになるというものです。では、AIエージェントのスタックとは何か。その中核の一つとして浮上しているのが、ガバナンスと倫理の層です。
今、AIが暴走する様子が見え始めています。ですから、それを取り締まり、監視する何らかの仕組みが必要です。そしてそれが進化すれば、そこには設計可能なフィードバックループが生まれます。AIと協働する最も深遠な機会の一つは、国連人権憲章のようなものを取り、それを人間だけでなくAI、動物、そして将来どこかで感覚を獲得するかもしれないあらゆる存在に適用されるグローバル標準にしよう、と取り組むことだと思います。私たちは、それが何なのか本当にはわかっていません。どの閾値を越えたときにそうなるのかもわかりません。
ですから今日、すべてを再考する素晴らしい機会があります。それは、どう振る舞うべきかを問うたプラトンにまで戻ります。5000年前に戻っているのです。
私たちは、異種間コミュニケーションXPRIZEを立ち上げる準備をしています。現在設計中です。素晴らしい人物が資金提供しています。詳しくはまた別の機会に話します。動物と話し、彼らが何を言い、何を考えているのかを理解できるようになったら、道徳や倫理などについて、まったく違う会話をすることになると思います。
私の冗談は、猿たちが何を言っているのか本当に聞きたいかどうかはわからない、というものです。
人生で最も誇りに思うこと
申し訳ありませんが、最後の質問です。どうぞ。
これはレイへの質問です。素晴らしい予測の数々ですが、振り返って、あなたは自分の人生をどう測りますか。最も誇りに思っていることは何ですか。
良い質問です。
私が最も誇りに思っているプロジェクトは、視覚障害者のための読書機です。今でも関わっています。最初に出したときは大型の機械で、2万ドルしました。今では携帯電話上の無料アプリです。
それは、私が最も誇りに思っていることを示していると思います。人々に影響を与え、それまでできなかったことをできるようにすることです。たとえば読むことです。あるいはあらゆる種類のことです。私たちは、すべての人に生命と、生命のあらゆる側面を与えたいのです。ですから、AIが私たちに可能にしてくれるすべてのこと、より長く生きること、より健康に生きることは有益です。それを実現できること、それが私が最も誇りに思っていることです。
面白いですね。私は、1999年にみんなが100年かかると言っていた中で、2029年のAGIを予測したこと、と答えると思っていました。それはかなり壮大ですから。
それは立派ですね。本当に人間的です。
ありがとうございました。
皆さん、スティーブン・コトラー、デイブ・リンカーン、セリーナ・メル、そしてレイ・カーツワイルに拍手をお願いします。
エンディング
皆さん、このエピソードの最後までたどり着いたなら、当然そうなのですが、私はあなたをムーンショットの仲間だと考えます。毎週、私のムーンショットの仲間たちと私は、本当に重要なニュースを届けるために多くのエネルギーと時間を使っています。登録者の方、ありがとうございます。まだ登録していない方は、ニュースが公開されたときに受け取れるよう、ぜひ登録を検討してください。
また、Metatrendsという私の週刊ニュースレターにも参加していただきたいです。私にはリサーチチームがあります。ご存じないかもしれませんが、私たちは1週間まるごと、あなたの家族、会社、業界、国家に影響を与えるメタトレンドを調べています。そしてそれを毎週2分で読める形にまとめています。
毎週Metatrendsニュースレターを受け取りたい方は、diamandis.com/metatrendsへ行ってください。diamandis.com/metatrendsです。本日ご参加いただき、改めてありがとうございます。これを毎週作るのは、私たちにとって本当に楽しいことです。
コメント