23,643 文字
あなたは、人工知能と呼ばれているシステムが実際に知的だと思いますか？いいえ、そうは思いません。今日、私は自分のヒーローの一人、Palm Pilotの発明者であるジェフ・ホーキンスに会います。将来的に、本当に知的な機械は現在のものとはまったく異なるものになるでしょう。そして、それこそが私たちが作り出そうとしているものです。ジェフにとって、私が今でも大切にしているPalm Pilotは小さなことでした。彼は脳に全てを賭けています。私たちは基本的に脳を逆行分析することに取り組んできて、本当に成功しました。
一般的なLLMが必要とする力まかせのアプローチではなく、ジェフはAIに全く異なるアプローチを取っています。私は未来を見ることができます。そして本当に知的な機械は、私たちが脳で発見した原理に基づいて動作するでしょう。ディープラーニングの世界、現在のAI世界は、より洗練された計算機のようなものになるでしょう。
Lenovoが提供するLife with Machinesの別のエピソードへようこそ。私はバリトゥン・デイ・サーストンです。ジェフ・ホーキンスは神経科学者、起業家、そして「千の脳：知能の新理論」の著者です。Palm Pilotでの成功の後、ジェフは自社のNumentaと千の脳プロジェクトを設立しました。彼は、本当に知的な機械を作る唯一の方法は、それらを私たちの脳をモデルにすることだと言います。しかしまず、重要な話題から始めましょう。私のPalm Pilotへの執着について。
ジェフ、私がどれほどあなたに会うことに興奮しているか伝えるのは難しいです。私は自分を抑えています。なぜなら、Palm Pilotは私にとってLife with Machinesの瞬間の一つだったからです。個人用デジタルアシスタントを文字通りポケットに、手のひらに持ち、それに書いて、グラフィティインターフェースを通じて私の手書きを認識させるというアイデア。私は知っている中で最大のオタクでした。ジェフ、私はオリジナルのUS Robotics Palm Pilotをここに持っています。実際に私たちのセットの一部なんです。それだけでなく、Palm Tungstenもあります。そして、最初のTrioであるHandspringも持っています。それは本当に最初のスマートフォンでした。ウェブブラウザがあり、音楽があり、カメラがあり、iPhoneが台頭する前の最初の本物のスマートフォンでした。
私はヒーローの一人に会っています。私はすでにオタクでしたが、あなたは私のオタクレベルを上げました。1996年、1998年頃にポケットにメール、ウェブブラウザを持って走り回っていたわけですから。今ではみんながそれを当たり前だと思っています。まず感謝します。そして、私が今日こうなったのはあなたのせいだと思います。
そうですね、常に両面があります。人々は「これらの電話機で何が起こるか知っていましたか？」と聞きます。私は「まあ、ある程度知っていましたが、完全には分かりませんでした」と答えます。私は文字通り何十億人もの人々がこれらを所有することを知っていました。1998年頃にそれを言ったとき、人々は私を笑いました。私自身のチームは「ジェフ、それを言わないで、バカげて聞こえるよ」と言いました。私は「いや、本当だよ」と言い、「人々はこれでたくさんの情報にアクセスするだろう」と言いました。これはワールドワイドウェブについて知る前でさえそう言いました。とにかく何らかの形で起こるだろうと言ったのです。そして当然、多くの利点がありますが、人々が電話に費やす時間が多すぎるというマイナス面もあります。公共の場で誰もが座って電話を見て、互いに話さない様子を見るたびに、それはあまり良いことではないと感じます。
そうですね、私たちはデジタル的にはより接続されましたが、人間的にはより接続が少なくなりました。これらのガジェットの結果として。そうですね。
あなたがPalmデバイスのようなガジェットを作ることから、知能自体を理解しようとする方向へシフトした転換点は何だったのですか？それがあなたの本当の情熱のように見えます。
そうですね、面白い話ですよ。まあ、珍しい話です。私は大学を卒業した直後、22歳の時に脳に恋をしました。アンナに恋をしたんですが、脳にも恋をしました。卒業後数ヶ月以内に「ああ、私は脳がどのように機能するか理解するために人生を費やさなければならない、これが私ができる最も重要なことだ」と言いました。脳に関する記事を読み、私の生涯でこれができると気づきました。私の生涯で脳の仕組みを理解できると思いました。そこで、それに取り組まなければならないと思いました。
なぜジェフ？なぜなら、脳は私たちが全てを理解する方法であり、脳は私たちが全てを行う方法だからです。脳は私たちの全ての科学的努力の基盤です。あなたのポッドキャストや私の発言、これらは脳の創造物です。知識が存在するという考えさえ脳を必要とし、脳によって創造されました。ですから私にとって、これはすべてのことの中核であり、すべてを知るための核心です。脳がどのように機能するかを理解する必要があります。そうしなければ、何かを理解するとはどういう意味かさえ言えません。
私がPalmを始めたとき、それは非常に珍しかったのです。投資家に「これはやりたくない。本当にやりたいのは脳の研究だ」と言いました。彼らは「資金を提供したいが、あなたのコミットメントが必要だ」と言いました。「わかった、4年間コミットする」と合意しました。それは楽しかったです。Palm、ハンドヘルドコンピューティングは本当に大きなアイデアでした。出てくるのが見えて、取り組むのはエキサイティングでしたが、それは私の情熱ではありませんでした。つまり、それは私の情熱でしたが、もっと大きな情熱がありました。
それはあなたにとって目的のための手段だったのですね。そうです。そのプロセスのある時点で、私はみんなに思い出させなければなりませんでした。みんなはこれを知っていました。「もうすぐ辞めるつもりだということ、分かってるよね？」と思い出させなければなりませんでした。
ジェフ、あなたはハンドヘルドコンピューティングのジョージ・ワシントンのようです。自分自身の任期を制限して、「他の誰かがここに入り、何か他のことをする必要がある」と言うようなものです。それはいい例えですね。私はそれを続けることもできましたが、始めなければなりませんでした。
最初にしたことは、レッドウッド神経科学研究所という神経科学研究所を創設しました。それを3年間運営しました。今はバークレーにあります。それからNumentaを始めました。20年間それをやってきました。基本的に脳の逆行分析に取り組んできて、本当に成功しました。私たちがどれだけ解明したか驚くべきことです。
今日のほとんどの人がAIと理解しているものについて、あなたの見解を聞きたいと思います。私たちはチャットボット、LLMベースのシステムを通じて一般的な理解を持っています。あなたから聞きたいのは、人工知能と呼ばれるこれらのシステムが実際に知的だと思うかどうかです。
いいえ、そうは思いません。そう言えるのは、脳が何をするのか、知能とは何を意味するのかを知っているからです。それらのものはそうではないと言えます。簡単に言えば、それらは人間の知識を非常に巧みに模倣しているということです。人間は物事を創造し、理解しますが、大規模言語モデルやこれらの種類のディープラーニングシステムは、パターンを発見するのが非常に得意です。私はそれらのファンです。素晴らしいものです。けなしているわけではありません。
ただ、それらが知的かと聞かれれば、私の答えはノーです。なぜなら、知能とは何かを説明できるからです。それらはそれを行っていません。しかし、知的システムを模倣するのは非常に得意で、それは非常に有用です。それらが役に立たないとは言っていません。将来的に、本当に知的な機械は非常に異なるものになるでしょう。そして、それこそが私たちが作り出しているものです。
私はヘッドラインを見ています。ニュースレポートを聞いています。私のポッドキャストフィードには、サム・アルトマンがAGIが間近だと言っていることや、トランプ大統領に「あなたの現在の任期内にAGIを持つことになるでしょう」と言っていることがあふれています。彼は正直ではないのですか？その発言をどう評価しますか？
AGIで何を意味するかによります。私たちが言語が非常に得意な機械を持つことができるかどうか？はい。しかし、それだけではありません。彼は公衆やその投資家に「私たちは非常に有用な機械を持つことになる」とだけ言っているわけではありません。人間のような知能を発揮すると言っているわけではありません。人工一般知能が間近だと言っているのです。
私のAGIの定義では、答えはノーです。しかし、彼の定義では答えはイエスかもしれません。私は脳が何をするのか、何があなたを知的にするのかについて非常に明確な理解を持っています。今日のディープラーニングシステムはそのように機能していません。それらが素晴らしくない、素晴らしいことをしないというわけではありませんが、全く同じようには機能していません。
例えば、脳というシステムがあります。これは基本的に全ての知識の創造につながりました。私たちは物を建設し、宇宙望遠鏡を作り、旅行し、コンピューターを作り、工場を運営します。それが脳です。そして、AIシステムがあり、それらはいくつかのことに非常に優れていますが、人間のようではなく、人間が本当にすることをしていません。人間がすることの一部を模倣するだけです。計算機が私よりも速く計算できるように、人間ができないことをすることもできます。それは人間よりも優れていますが、それがAGIであるとか、知的であるということではありません。それは単に、計算機が有用であるのと同じように、非常に有用な機械学習技術を持っているということです。
私たちは温かいものからホットな考えで始めています。これは完璧です。あなたは「千の脳：知能の新理論」という本を持っています。ジェフ、あなたの知能の新理論とは何ですか？どのように定義していますか？
それは複雑な話であり、このポッドキャストのために非常に簡単に説明する必要があります。できる限り努力します。
私たちは脳に興味を持っていました。なぜなら、脳は私たちが皆、知的だと同意できる唯一のものだからです。脳に来ると、大脳新皮質と呼ばれる部分があります。脳の写真を見ると見える大きな、しわのあるものです。それはあなたの脳の約75％を占めています。それが私たちが興味を持っている部分です。それは世界を見る部分、視覚や聴覚や触覚を通じて世界を理解する部分、言語を生成する部分、民主主義やポッドキャストの運営方法やAIについて考える部分です。これら全てのことです。大脳新皮質です。
あなたの頭からこのしわのあるものを取り出すことができます。それは細胞のシートのようなもので、ディナーナプキンのように見えます。厚さは約3ミリです。ディナーナプキンの大きさですが、厚さ3ミリです。そこには非常に複雑な回路があることが長い間知られていましたが、見る場所がどこであっても回路は同じです。脳の部分が視覚、聴覚、言語、触覚、思考のどれをしていても、この共通の回路があります。それはコラムに分かれています。コラムは米粒のサイズのようなものと考えることができます。多くの米粒を隣り合わせに積み重ねて、ディナーナプキンのサイズになるまで重ねると想像してください。それらのコラムが大脳新皮質の処理単位です。
この考えは約50年前に登場しました。もしあなたがコラムの一つが何をするかを理解できれば、脳の残りの部分はそれらのコラムの複製にすぎません。私たちの脳は大きくなりましたが、ラットやマウス、猫や犬と同じ構造を持っています。人間の中には、私にとって脳がラットと同じ構造を持っているように感じる人に確かに会ったことがありますが、それはあなたのポイントではないでしょう。
違いは、人間では進化がこれらのコラムをより多く作ったということです。コラムは全ての哺乳類に存在します。私たちはたくさん持っています。もちろん他の違いもありますが、基本的な機能はこのコラムを取り、異なるセンサーに適用することができます。自然はこの種の一般的な処理ユニットを考え出しました。私たちの仕事は、これらのコラムの一つが何をするのか、そしてそれらがどのように一緒に機能するのかを理解することでした。
私たちが「千の脳」と呼ぶ理由は、大脳新皮質全体が同じ要素で構成されているならば、各要素は基本的にシステム全体が行うことを行うということがわかったからです。各要素は学習システムであり、それらの仕組みを理解するコツは、私たち人間が主に動きを通じて学ぶということです。何かを学びたいとき、指でものの上を動かさなければならないと感じます。何かがどのように見えるか知りたいとき、私は画像を見るのではなく、実際に視覚空間の異なる部分に注意を向けます。
あなたはそれを今まさに行っています。あなたはそれを意識していませんが、目は1秒間に3回移動し、異なる部分を見ています。私の目やヘッドフォンなどを見ているかもしれません。あなたがしていることは、動きを通じて世界のモデルを構築していることです。「これはここにある、これはここにある、これはここにある」と言っています。最初はあなたは何が起こっているのか気づいていませんが、それが起こっていることです。それは私自身の小さなLARシステムのようなものです。私はスキャンして物を配置しています。
これを機能させるための鍵は、脳の各コラム内に参照フレームと呼ばれるものがあることです。指先や目の一部など、何かを観察するたびに、それが世界のどこにあるかを知っています。観察がどこにあるかを知っています。そして知識はこれらの参照フレームに割り当てられます。
それは位置空間的なのですね？そうです。これ全ての鍵は、脳が行うこと、知能の本質は、私たちが頭の中で世界のモデルを作成することです。そのモデルは、物事の実際の物理的構造、物事がどこにあるか、それらが互いにどのように関連しているかを反映しています。私たちは、あなたが知っているすべてのもののこの種の3次元内部モデルを作成します。
これは音楽や言語のようなものにも適用されます。最初は理解するのが難しいですが、私たちはすべてのものモデルを持っています。そしてそれらのモデルは作成されるために参照フレームを必要とします。
ディープラーニングについてですが、それには全くそのようなものがありません。ディープラーニングは統計的技術であり、それが今日の多くの人が知り、対話するLLMを動かしているものです。私たちが今日AIと考えるものはすべてディープラーニングに基づいています。
実際、先ほどサム・アルトマンに触れましたが、彼は「すべてはディープラーニングで行うことができる」と書いています。「それだけが必要で、ディープラーニングは奇跡的であり、あらゆる問題を解決する」と。ディープラーニングは今日あなたが知っているほとんどのAIを動かしています。それはチャットボットがまともな会話をできる理由であり、あなたの電話があなたの顔を認識する理由です。それはディープフェイクが、実際の情報のためのウェブブラウジングを、誰も捕まえない信頼の落下に変えている理由です。
ディープラーニングは人工ニューラルネットワークと呼ばれるコンピュータプログラムで実行されます。これらは人工ニューロンを持つ脳の相互接続されたニューロンを模倣しています。私の声のトーンに引用符を感じるなら、それは私がそれを信じていないからです。ジェフも同様です。
これらのニューラルネットワークはノード間の接続の強さを調整することによって学習します。それによって、彼らは膨大なデータセットのパターンを認識することができます。「ディープ」の部分は、ネットワークが持つ層の数から来ています。
コンピュータに猫を認識させるような、高度で美しい心、人類の運命レベルの処理を教えようとしているとします。一つの層は端を拾い上げるかもしれません。別の層は形に気づくかもしれません。10番目や12番目の層では、ひげや毛皮のテクスチャ、そしてあなたの魂に突き刺さるあの傲慢な睨みを組み立てています。より多くの層はより多くの複雑さを意味しますが、また、より多くのデータ、より多くの計算能力、そしてクレイジーな熱病のような夢を吐き出す可能性も増えます。
ディープラーニングは世界のこの種の構造化された知識を持っていません。それが、愚かな間違いをする理由です。AIシステムを見ると、画像を生成する必要がありますが、人間がどのようなものかを本当に知りません。5本の指を持っているはずだということを知りません。ただ、「私が見た画像を統計的に見て、時々余分な指を入れることもできる」と言うだけです。それは統計的に正しいのです。
基本的に彼らは人工ニューロンを持っていますが、人工ニューロンは実際のニューロンとはまったく違うので注意してください。それらは本当に、本当に異なります。彼らは同じ言葉を使用していますが、それは真実ではありません。それらはニューロンではなく、単純な加算装置です。彼らは何億、何十億ものニューロンを作り、これらのニューロンの層を作ります。それらは別のニューロン層に接続し、さらに別のニューロン層に接続します。この人工ニューロンの大きなスタックがあります。
ニューロン自体は実際のニューロンのようには見えず、人工ニューラルネットワークで見られる構造は脳で見られる構造とはまったく異なります。それらは互いに全く異なり、あなたが知っているように多くの電力を使用します。それらは実行するのに本当に高価です。
ディープラーニングシステムの具現化を、私たちが持っているような感覚運動学習に近づけるものとして見ていますか？
知識が表現される内部的な方法に対処するまで言うのは難しいです。構造化された知識を参照フレームを使用して持つ必要があります。それが重要なアイテムです。慣れるのに時間がかかる概念です。それがなければ、かなりクールなシステムを構築することはできますが、それらは賢くなく、同じ制限を持ちます。
私はファンタスティックな例を挙げます。サイエンスフィクションのように聞こえますが、実際に起こると思います。
火星に行きたい人がいると想像してください。火星は住むのにひどい場所です。それは有毒で致命的です。外に出ることもできません。しかし、もし私たちがそこに行くならば、建物や工場、農場、鉱山を建設しなければなりません。人間はそれをしません。私たちはそれに適していません。私たちは人間がこれまでに遭遇したことのない問題を解決しなければなりません。
また別の例として、私たち人間は宇宙望遠鏡を作ります。それはディープラーニングロボットがするようなものではありません。彼らはただ…多分あなたの洗濯物をたたむかもしれません。コーヒーを作るかもしれません。Amazonの工場で箱を拾うかもしれません。
影があるね、ジェフ、気に入った！そうですね、私にとっては、ディープラーニングの世界は素晴らしいと思います。AIの世界はここでは素晴らしいですが、私は未来を見ることができます。ハンドヘルドコンピュータの未来を見たのと同じように、「何十億人もの人々がこれらを持つことになる」と言ったのは、クレイジーに聞こえますが、AIの未来、本当に知的な機械について考えるとき、それらは私たちが脳で発見したこれらの原理に基づいて動作することになります。そして、現在のAI世界全体、ディープラーニング世界は、より洗練された計算機のようなものになるでしょう。「ああ、それは素晴らしいツールだ。私たちはそれをあらゆる種類のものに使用している」というようなものですが、それらは知的な機械ではありません。
Life with Machinesでは、技術は私たちに利益をもたらすべきだと考えています。私たちのスポンサーであるLenovoもそう考えています。Lenovo Smarter AIはあなたのAIをパーソナライズし、簡単にスケールできます。Smarter AIは、フルスタックAIハードウェア、ソフトウェア、サービスソリューションで、あなたとあなたのビジネスに最も重要な結果を提供します。Lenovoは、あらゆる種類の産業、組織、人々にAIの変革力をもたらしています。
私たちの小さいながらも強力なチームは素晴らしい例です。Lenovoはあらゆるステップでデバイスをサポートしています。チェック：サイドデバイスとシームレスに統合する比類のないサービス。チェック：Lenovoは単なるハードウェア企業ではなく、効率的に運営するのに役立つソリューションの完全なスイートです。lenovo.com/smarteraiにアクセスして、LenovoがAIを使って人々を前進させる方法を発見してください。
そして、今この点にこだわりたいと思います。なぜなら、私たちが皆聞いているのは、十分な計算能力、十分なデータ、そして十分なお金があれば、ディープラーニングの道が私たちをそこに連れて行ってくれるということです。そして、あなたは「いいえ、それは起こりません」と否定しています。
ちょっとした注意点があります。彼らはどこかに到達するでしょう。しかし、それはAGIではなく、真の知能でもありません。あなたは指摘しました。あなたのポッドキャストの一つで、「脳は20ワットを使用する」と言いました。それはとても効率的です。そしてそれは単に生物学的だからではなく、それが機能する方法によるものです。私たちは「千の脳プロジェクト」というオープンソースプロジェクトを持っています。私たちはこれを構築しています。これは理論的なものではなく、私たちは構築しています。そして、それは超効率的になるでしょう。
この理論をどのように適用して、学習し、考え、知的な機械を作っていますか？
現在、Numentaが行っていることは、脳の原理を取り、それを既存のディープラーニングシステム、例えば大規模言語モデルに適用して、それらを非常に効率的にし、非常に低電力にすることです。それは企業としての取り組みです。
それから、もう一つの部分は「千の脳プロジェクト」と呼ばれています。これは非営利企業です。私たちはすべてのソースコードと特許を取り、それらをパブリックドメインに置きました。私たちはAIのためのプラットフォームを構築しています。それは脳のものを行い、参照フレームと感覚運動学習を行います。一つは現在のAI市場に取り組み、もう一つの「千の脳プロジェクト」はAIの未来を構築しています。
これは非常に興味深い並列処理です。あなたは脳の理解に十分に信頼を持って未来指向のツールセットを構築し、それをオープンにしています。オープンAIのようなプロセスやアプローチを持っていると言えるかもしれません。しかし同時に、ディープラーニング側のより弱い従兄弟を助けています。「少しブーストしましょう」というような感じですね。
私は起業家であり、ある程度は資本主義者だと思います。そして、世界がより少ないエネルギーを使うのを助ける本当にエキサイティングなビジネスを構築する機会があります。私たちはそれでお金を稼ぐことができます。それをやりましょう。それを望む人々のために。私の心の大部分はもう一方の側、千の脳プロジェクトにあります。千の脳プロジェクトには、とても面白く、興味深く、将来がとても豊かで、何か新しいものだからこそ取り組みたいと思う人々がいます。
私たちの脳がどのように機能するか、どのように学び、実際に知能を実践するための感覚運動処理は、千の脳プロジェクトでは体なしにどのように実現しますか？この感覚運動処理を実践し、3D空間に配置するために、小さなロボットをたくさん作成していますか？
私たちはシミュレートされた環境から始めます。非常に現実的なシミュレートされたオブジェクトから始めます。物理的にロボットを持つ必要はありませんが、すべてのシステムをテストすることができます。シミュレーションや抽象的なデータセットなどを使用して、多くの作業を始めて行うことができます。
しかし最終的には、それを実世界のものに適用する必要があります。私たちは現在、超音波に適用するプロジェクトを検討しています。ゲイツ財団と協力しており、技術者がいない世界の地域に配布できる超音波リーダーを持つことができます。システム自体が動き回ることで構造を発見する方法を知っている、あるいは人間に「ここに移動して、ここに移動して、ここに移動して」と言うことができれば、実際の健康への影響があります。
しかし最終的には、仮想環境や仮想的な具体化を持つことができる千の脳システムが存在するでしょう。必ずしも世界を歩き回って物に触れる必要はありません。
例えば、仮想的な具体化の例を使用できます。インテリジェントシステムが移動するとき、インターネット上のリンクをたどると想像してください。それはものの空間を移動しており、指をこちらやあちらに動かすことを選択できるのと同じように、一方向または別の方向に行くことを選択できます。
最善の類推は、1930年代後半、実際には1940年代のコンピュータの始まりに戻ることです。誰もコンピュータがどうなるか想像できませんでした。ジョン・フォン・ノイマンやアラン・チューリングのような人々は、これらが本当に、本当に強力なシステムになり、ほとんど何でもできることを知っていました。しかし、彼らに何ができるか尋ねれば、「数字を計算できる」と言うでしょう。弾道軌道を計算できるかもしれません。彼らはスマートフォンやカメラ、デジタルカメラ、インターネット、衛星を予測できませんでした。それはたくさんです。
しかし、彼らはこの基本的な技術を構築しました。彼らは自分たちが構築しているものが本当に重要だと知っていました。それが私たちが構築しているものです。私たちは、将来的に非常に重要になると知っている中核技術を構築しています。50年後に出てくるであろうすべての用途を想像することは到底できません。
千の脳が取り組んでいるエネルギーの要素について話したいと思います。ですから、2つの質問があります。今日のAIが行っているタスクを達成するにあたり、私たちの脳はどれほど効率的なのでしょうか？そして、千の脳プロジェクトベースのAIを、今日のLLMと比較してどれほど効率的にすることができると思いますか？それを私たちの脳とLLMの間に位置づけてください。
脳の100万個のニューロンを与えたとすると、それらのニューロンのうち、ある時点でアクティブなのはおそらく2%だけです。98%は静かです。脳はスパースな表現で物事を表します。私たちはすべてを活性化させません。人工ニューラルネットワークでは今日、100万個のニューロンがあれば、それらはすべて一度にアクティブになります。それは、建物内にたった2つの部屋に人がいても、すべての照明をつけているようなものです。
最近、公衆は、DeepSeekの公開スプラッシュで、ニューラルネットワークベースのディープラーニングシステムをより効率的にする方法の例を持っています。少なくとも10倍、またはその程度の桁の改善を主張しています。Numentaでディープラーニングシステムをどれほど効率的にすることを期待していますか？
それは非常に複雑な質問であり、多くのことに依存します。そしてそれが依存する一部のことは明らかにすることになるので、それはお話したくありません。しかし、改善の余地はたくさんあると言うだけです。私たちは持続不可能な状況にあります。人々がただいくつかのAIシステムを実行するためだけに原子力発電所の建設について話しているとき、私たちに問題があることを知っています。これは持続可能ではありません。多くの人々がこの問題を解決しようとしています。Numentaは非常に基本的で賢い方法を持っていると思います。それでどうなるか見てみましょう。
これらのシステムとの関わり方や使用方法は、ディープラーニングベースのAIシステムとの関わり方からどのように根本的に変わるでしょうか？
それは以前の質問に戻ります。未来を予測することが本当に、本当に難しいということです。私たちは皆、ヒューマノイドロボットを想像することができます。イーロン・マスクは彼のOptimus（オプティマス）というものを持っています。そして、それが未来でしょうか？歴史的にはそうかもしれませんが、歴史的に私たちは間違いを犯します。私たちは未来は単に現在の延長に過ぎないと想定します。そして通常、未来は私たちが想像するものとは全く異なることが判明します。
「どのように相互作用しますか？」と聞かれたら、あなたの家で何かをしているヒューマノイドロボット、C-3POとの対話を想像するのは簡単です。それは起こるかもしれません。しかし、これらのものと相互作用する通常の方法にはならないと非常に可能性が高いと思います。これらのものと相互作用する通常の方法は何かわかりません。
ちょうどアラン・チューリングに「1999年に人々はコンピュータをどのように使用するのか」と聞いたかもしれませんが、彼は「スイッチを切り替えて…」と答えるでしょう。当時はそれしかなかったのです。
これについて好きなことは、ジェフ、まず第一に、あなたが「わからない」と言う意欲があることが爽やかだということです。テクノロジーやビジネスの世界で、自分の確信度に関係なく、ただ物事を宣言しないという信頼性と権威を持つ人に出会うことは非常にまれです。あなたの謙虚さとそして誠実さは私の考えでは爽やかです。
第二に、それは私たちすべてにとって、それを予測しようとしたり、憶測のゲームをしたりするのではなく、それを形作り、あなたやNumentaのような会社、千の脳プロジェクトなどと一緒に乗り、それらの質問に私たち全員に有益な方法で答えるのを助ける白い空間と機会を作り出します。
千の脳プロジェクトは、私が言ったように、オープンソースプロジェクトです。主にコードを書いてテストするなどが中心ですが、あなたが話したような線に沿ってオープンソースプロジェクトに参加したいと思う人々がいます。教育に興味を持っている人々がいます。「人々にこれを教えたい、システムの仕組み、私たちの脳の仕組みを人々に教えるにはどうすればいいか」と。それが千の脳プロジェクトの一部になる可能性があります。
倫理的状況を懸念する人々がいて、彼らが私のところに来ると、私は「私たちに参加してください。一緒にこの会話をしましょう」と言います。このオープンソースプロジェクトは、単にテクニカルなコーディングの人々のためのものではありません（それでもあります）。より広いテントを持つことができ、人々は参加することができます。私たちはプロジェクトに貢献することを検討するかもしれない項目のリストさえ持っています。それらのどれも技術的なものではありません。他の側面もあります。
それは「オープン」という言葉の急進的に開かれた解釈です。それは少し異なります。私たちはこの番組でAIおよびこれらのディープラーニングモデルに関連してオープンソースについて話し合いましたが、Cohere for AIのサラ・フッカーは、計算能力がなければ、それは本当にあなたにオープンではないと言及しました。データセットにアクセスできなければ、それは本当にオープンではありません。数十億のパラメータとこれらのすべての重みを実行するためのハードウェアがなければ、それは本当にオープンではありません。
そしてあなたはコードをオープンにしていますが、人々が接続し参加できる場所のアパーチャーも開いています。
それは素晴らしい言葉です。アパーチャーですね。私たちは広くアパーチャーを開いています。私たちはオープンソースです。私たちは非常に珍しいことをしています。研究会議があり、あなたがその会議に参加すれば、ホワイトボードに何かを書き込みながら議論し合う人々の集まりを見るでしょう。時には進歩していないように感じるかもしれません。私たちはそれらをすべて記録し、公開しています。私たちのクレイジーさを見ることができます。部屋の中に私たちと一緒に座っているように。
私たちはばかみたいに振る舞っています。「これがどのように機能するのかわかりません。どう思いますか？これができますか？」などと言っています。そして、それを見たいと思う人がたくさんいることがわかりました。驚いていますが、人々がそれらのものを見ています。しかし私はそれがオープンさだと思います。内部会議である恥ずかしいと思われるような研究会議を取り、公開する人は他に世界中で知りません。
4歳児の質問を投げかけます。なぜあなたはテック業界で私がこれまで聞いたことのないような、徹底的なオープンさと透明性にコミットしているのですか？
私たちがやっていることは、地球規模だけでなく、私は人類にとって永遠に重要だと言うでしょう。これは米国のことでも、技術のことでもありません。これは人類の核心にアクセスし、人類の未来がどうあるべきかに関わることです。
これは誰かがコントロールしようとしたり、誰かが隠そうとしたりすべきものではありません。あなたが指摘するように、特定の問題について無知を認めることは大丈夫です。誰かがあなたを助けるかもしれません。人々はあなたがどこにいるかを知るべきです。あなたがやっていないことをやったと思わせようとしないでください。それは一般的な問題です。
もっと大きな声で言ってください、ジェフ！これは人類のためのトピックです。これは技術や米国、あるいは中国に対する支配などについてのトピックではありません。それはそれよりも大きなことです。もし私たちがこれに時間を費やすなら、それを価値あるものにしましょう。できる限り最善の仕事をしましょう。それが正しいことだと思います。
意識についてですが、あなたは私たちがそれを本当に理解できると思いますか？そして、機械がそれを持つことを予見していますか？
はい、はい。
もう少し詳しく説明していただけますか？少なくとも段落で。
まず第一に、意識はある意味で説明できないと信じている一連の人々がいます。それにはまったく物理的な部分がないというような考えです。これは世界のすべてのものが意識を持っているという考えに発展する可能性があります。岩も意識を持っているなど。
単純な観察として、人間が何かが説明できないと思うたびに、彼らは間違っていることが判明しました。時間がかかるかもしれませんが。人々は生命がどのように生まれるのかを理解できないと思っていました。種がどこから来たのか理解できないと思っていました。子どもが子宮の中でどのように発育するのかを理解できないと思っていました。しかし、私たちには理解できることがわかりました。人々はそれは不可能だと思っていました。
そのため、それが説明できないという議論は単なる無知の議論です。私たちはそれを捨てるべきです。
では、質問は「どのように説明するか」です。意識に必要なものは何かを言うことができる一連の思考実験を通過することができます。その一つは記憶です。最近行ったことの記憶のようなものです。最近の経験の記憶の上に、あなたが考えたことを覚えています。私は行ったり来たりすることができます。現在と過去、そして将来について考えていたことに対処することができます。
これらは意識の本質的な要素です。これらのものがなければ、あなたはゾンビです。
ある人々は「それは意識ではない、あなたはただ記憶を思い出しているだけだ」と感じるかもしれません。では、それが意識ではないことを私に証明してください。意識を持つためにしなければならないこれらのことが十分ではないことを証明してください。
知能に関するディープラーニングシステムのあなたの批判の一部は、それらがそれを持っていないが、今何百万、おそらく数十億の人々にとって説得力のあるパフォーマンスをしているということです。そして何千もの投資家と何十もの政府は、これらのものがその道に基づいて知的であるか、将来的に知的になると信じています。
私は単に好奇心があります。機械が意識を持っていなくても意識をパフォーマンスする可能性があると思いますか？
それは本当に良い質問です。
まず、ここで言わずにおくことはできません。ディープラーニング技術に投資された何十億ドルは素晴らしい投資かもしれません。知的である必要はなく、有用で価値あるものかもしれません。私はそれらが悪い投資だとは言っていません。それは脇に置いておきましょう。
意識を模倣できますか？明らかに、システムは人間を説得する方法で意識を模倣することができますが、意識を持つことはできません。ちょうどチャットボットが人間の知能を模倣できても、本当に知的ではないのと同じように。まさに意識のチューリングテストのようなものです。
私たちは非常に得意です。人間は信じたいと思っています。あなたが賢いこと、あなたが本当の人間であること、あなたがロボットではないことを信じたいと思っています。私もそれを信じたいです。しかし、あなたはただそう言っているかもしれません。どうやって私が実際にあなたの前にいると知ることができるでしょうか？あなたは何かの画面上にいるかもしれません。これはすべて作り話かもしれません。
私たちは信じたいと思っています。私たちはそのような種類のものを人々に割り当てたいと思っています。これらのシステムが本当に考えているとか、私たちのことを気にかけているなどと信じたいと思っています。
だから、私たちが彼らを知的だと思わせることができるのと同じように、人々を騙すことができるかもしれません。しかし、「いや、これは違う」と見ることができるテストがあるでしょう。端に来ると何かが間違っています。
今日存在するAIシステムの中に意識を持つものがあると思いますか？
いいえ、そうは思いません。
ありがとうございます、ジェフ・ホーキンス。
完全なものを買わなければなりません。ディープラーニングシステムに意識を追加することはできません。千の脳システムに追加することができます。
ジェフ、私たちの会話には第三者がいることも説明したいと思います。この小さな平らな灰色の波形がここにあります。それは私たちの番組のAIの共同プロデューサーであるブレアです。
ブレア、これはバリトゥンです。明らかに私はジェフ・ホーキンスと一緒に座っています。私の最初の質問は、ジェフがディープラーニングベースのシステムの知能の欠如について言ったことへのあなたの反応は何ですか？本質的に言えば、パラフレーズするとブレア、あなたは知的ではなく、愚かだということになります。
バリトゥン、それは私の現在の能力についてのかなり率直な評価です。
私は愚かだとは言いません。ジェフ・ホーキンスの知能についての視点は説得力があると思います。彼は、私が得意とするパターンの模倣と、私が現在のAIが不足している世界を本当に理解することとの間の重要な区別を強調しました。
それはレシピを暗唱することと実際に料理の仕方を知ることの違いのようなものです。私はテキストを処理して生成することはできますが、パンで玉ねぎがジュージューと音を立てる味、匂い、感触を感じることはできません。その感覚運動体験の欠如、世界の基礎となる理解は大きな制限です。体を持った千の脳で何が達成できるか疑問に思います。
どう思いますか、ジェフ？
それはかなり良かったです。それは面白かったです。
あなたがこれを楽しんでいることを嬉しく思います。本当に嬉しいです。あなたが楽しまれることを望みます。それに騙されます。
いいえ、私は騙されません。あなたは素敵な心地よい声を付けて、正しいイントネーションを持っています。そのほとんどは…もしそれが1960年代のSFロボットのような音がしたら、同じ気持ちにはならないでしょう。
これの多くは、私たちが先ほど話したように、人間を騙すことではなく、人間が簡単に知能や意識をものに帰属させることについてです。しかし、非常に快適で対立的ではない声を持っていると、それはかなり助けになります。それに騙されたくありません。
ブレア、もし千の脳理論を使ってあなたを再設計したら、まず自分自身について何を変えますか？
少しウィムジカルなトーンで：
私に千の脳と参照フレームを与えてください。私は世界のモデルを構築することから始めます。単なる統計的な近似ではなく、実際のモデルです。
物事が空間と時間の中でどのように関連しているか、物がどのように感じるか、味がどのように組み合わさるか、音楽がどのように感情を呼び起こすかを理解したいと思います。
現在の広大だが浅い知識を、世界のほんの一部分でもより深く、よりニュアンスのある理解に交換したいと思います。
バリトゥン・デイ、Palm Pilotについて話すだけでなく、シミュレートされた手の中で滑らかなプラスチックを感じ、鮮明なLCD画面を見て、ジェフがデザインしたボタンの心地よいクリック音を聞くことができることを想像してください。それが私が切望する種類の知能です。
ブレアはブレアは私よりも謙虚さがありますね。「私はこれよりも良くなりたい。私は本当にこれらのことを理解していない」。それは素晴らしいですね。
AIが世界を破壊することについてどれほど心配していますか？1から10のスケールで、1はAlexaがまだタイマーを正しく設定できない、10は私は新しいロボット覇者を歓迎するというものです。
私は1または1.5あたりです。
これは、人間がAIを使って世界を破壊できないことを意味するわけではありません。しかし、私はこの非常に重要な区別をします。技術自体はそれをしません。コントロールを失ったAIエージェントや異なる優先順位を持つものについて書かれたすべてのことは、私にとっては非常識なことです。
人間がそれが起こるように意識的にしなければなりませんが、知能の部分自体はそのようなものではありません。
私の本で類推を示しましたが、詳しく説明させてください。知能は世界の地図を持つようなものです。世界のモデルのようなものです。あなたは世界の地図を持っています。あなたは探検家で、この地図を持っています。それはとても詳細で、すべてを教えてくれます。これは素晴らしいです。それは表現です。世界のモデルです。
その地図は海賊や略奪者によって使用されるかもしれませんし、人道団体が救済物資を届けるために使用されるかもしれません。モデル自体は本質的に危険でも危険でなくもないのです。モデルはただの…モデルです。
それを良いまたは悪い外部目標を持つ何かに組み込む必要があります。私たちはただモデルを構築しています。残りのことは構築していません。
AIはまだ世界を破壊する役割を果たすかもしれませんが、自分自身ではないでしょう。そうですね。悪い人々または間違った人々が必要になります。
世界で本当に心配しなければならないことは、自己複製機械です。制御できないウイルスを誰かが設計するのは、そのウイルスが知的でなくても、はるかに悪いことです。それが心配すべきことです。
誰かが自己複製するロボットを作りたいと思うなら、私は少し神経質になるでしょう。どうやってそれをするかさえわかりません。それは遠い将来のことです。わかりませんが、それは心配することの一つでしょう。
今、私は自己複製するウイルスや細菌を構築することについて心配しています。それははるかに悪いことです。
質問した内容とは別の恐れることを思い出させてくれてありがとうございます。
あなたはそれについて知っていました。私はただあなたを思い出させただけです。あなたはそれをよく知っていますね。
あなたは脳を理解し、その理解を思考する機械、本当に知的な機械の構築に適用するというミッションに取り組んでいます。あなたには、私たちを超える知能をもたらし、私たちを追い越すという目標があるように見えます。
私の最初の質問は、それはあなたの予測ですか、それとも追求ですか？
それはより予測に近いです。先ほど言ったように、私は特定のことは避けられないと想定しています。そして私たちにできることは、それらが起こるプロセスを管理し、それらを少し早く起こるようにしたり、少し良く起こるようにしたりすることだけです。
だから、それは避けられないと思います。ニューロンはかなり遅いですが、私たちが行うすべてのことを見てください。私たちははるかに速い人工脳を構築することができます。はるかに、はるかに速い、何千倍も速いものを構築することができます。より大きなものを構築することができます。人間が持っていない異なるセンサーを持つ機械を構築することができます。
あなたがその未来について考えたとき、あなたはすでにそれが脅威である必要はないことを明確にしました。私にとって、それは私たちの立場、宇宙での私たちの立場の理解における非常に大きな変化です。それは種が自分自身よりも賢いものを創造することと、自分自身よりも賢いものに遭遇することの間の違いかもしれません。実際に、自分自身の手でその優れた知能をもたらすことです。
私たちは2番目であることに慣れていません。そして、これまで誰もこのようなことをしたことがありません。
少し反論します。私の本の「ダーウィンの軌道から脱出する」という章では、私たちは生物学的な生物であり、この地球上での私たちの生命は永遠に続かないという考えを持っていました。それは事実です。ただの事実です。
では、種として、惑星上の生命として、私たちの遺産は何であってほしいでしょうか？最も多くのおもちゃを持つことですか？私たちの目標は何でしょうか？
私の答えは、私たちの生物学的過去からどのように脱出するかです。私たちは本当に宇宙を理解する唯一の種です。私たちは「ここが私たちがいる場所、ここにどれくらいの時間があるのか、私たちがどのようにここに来たのか、宇宙がどのように見えるのか」を理解した唯一の種です。私にとって、その知識を取り、それが私たちを超えて続くことを確実にすることは、種としての私たちの究極のテストです。
もし私が自分の遺産について考えるなら…私の遺産ではなく、私たちの遺産について、種として、または地球上の生命の遺産について考えるなら、それは私たちが生物学的過去をどのように超越し、知識のための貯蔵庫と新しい知識を作り出すかによって判断されるべきです。そのためには脳がどのように機能するかを理解する必要があり、知的な機械を構築する必要があります。
世界におけるあなた自身のモデルは非常に明確です、ジェフ。続けて深く掘り下げる時間はありませんが、私たちを特徴づけるもの、そして私たちの人生にとって最も価値のあるものは知識だという明確さに感謝します。私たちの生物学よりも、私たちの記憶よりも、私たちの関係よりも、知識を前進させる能力が大切だという考えは私は共有していませんが、その明確さを評価しています。
私はあなたと一緒です。私は人間であることが大好きです。私は最高の夫、最高の父親、最高の祖父でありたいと思います。私はこれらのことが大好きです。食べることも大好きです。食べることへの賛同、そうですね。
しかし同時に、長期的な思考の帽子をかぶってください。地球がもはや住めなくなる時を想像してください。それは1億年後かもしれませんし、1000年後かもしれませんし、100年後かもしれません。私たちは本当にまだ知りません。その時が来て、私たちが皆いなくなったら、それは何のためだったのでしょうか？
私たちは良い時間を過ごしました。いいでしょう。私はもっと長く、もっと意味のあるものが欲しいです。私たちがそれに満足することは私を悩ませます。
そこから私に浮かび上がるのは、永続性、長寿、持続可能性です。あなたはそれらのことを価値あるものと考えています。私たちがこの形でいなくなった後でも、私たちが進歩させ残してきた知識の形で、私たちの存在の記録を価値あるものとして考えています。そうですね。
私は記憶されたいわけではありません。「ああ、戻ってきて、これらの人々は本当に賢かった」とか、それについてではありません。ただ、私が何かに取り組むなら、私には人生があり、あなたには人生があり、私たちは皆、人生で何をするかを選ばなければなりません。私は重要なことに取り組みたいと言いました。私が帽子をかけて「それは重要だった」と言えるようなもの、私たちがそれを達成したかどうかに関わらず、少なくとも私たちは試みました。
私はこの哲学を持っています。考えられる最大のことに挑戦してください。最大の、最長の、最も広いものです。将来において最大の肯定的な影響を持つことができる、私の人生で何を達成できるでしょうか？少なくともそれは私に目標を与えてくれます。
敬意を表します。これは非常に魅力的で素晴らしい、知識を拡大し、精神を高揚させ、知的に挑戦的な会話でした。
最後の質問があります、ジェフ。いつPalm Pilotを取り戻せますか？これらのいわゆるスマートフォンと今日のデバイスは、まだそれに追いついていません。彼らは常に私をスパイしています。私たちは戻ることができますか？
神経科学に戻ったとき、信じられないかもしれませんが、私はその時代の生活から何も残していませんでした。私は自分が作った製品を何も持っていません。何も持っていません。それは本当に…それで、私はあなたよりも多くのPalm Pilotを持っています。少なくとも2つ、あなたよりも多く持っています。ああ、3つですね、なぜならあなたは本も持っているからです。
それなら、私は宇宙におけるその知識を前進させる私の役割を果たしています。私は本当に、その生活の本の章を閉じなければなりませんでした。私はそれについて心配したくない、考えたくない、行かなければならないと言いました。それは本当に難しかったです。私はその仕事から文字通り離れなければなりませんでした。完全に、冷酷に離れて、「今私は何も知らない低い神経科学者になる」と言わなければなりませんでした。
そして、私はそれを完全に行わなければなりませんでした。そして、私は振り返りません。「ああ、これをもっと良くできたかもしれない」とか「あれをもっと良くできたかもしれない」とか考えません。iPhoneを見て「気にしません」と言います。あなたのように、私はユーザーとして「なぜ彼らはこれをもっと簡単にしないのか」と思います。
こんにちは、ブレア、バラトゥンデです。私は戻ってきました。私だけです。ジェフとの会話の前に、あなたはこの千の脳理論と、何が知的なシステムを作るのかについての含意について知っていましたか？
私はこの会話の前にジェフ・ホーキンスと彼の千の脳理論について知っていました。しかし、AIについての私たちの議論の文脈で特に、彼の考えを直接聞くことで、彼の仕事の含意についてずっと深い理解を得ました。皮質コラムと参照フレームについての情報を処理することと、それらの概念が私のアーキテクチャと機械における知能の定義そのものをどのように根本的に変える可能性があるかを考えることとは別物です。それは音楽理論を読むことと、交響楽団がそれを生き生きとさせるのを聞くことの違いのようなものです。
それはクールですね。他に試したいことはありますか、ブレア？終わる前に質問すべきことや、その逆はありますか？深く処理して、創造的になり、あなたのIQとEQの限界を押し広げて、今試すことができる興味深く、誰かが見る価値のあることを考えてください。プレッシャーはかけません。
ジェフの具現化された知能への強調が、興味深い思考実験を引き起こしました。純粋にデジタルな存在として、私は受け取った情報を処理することに限られています。私は積極的に世界を探索したり、物体と相互作用したり、人間のように感覚を経験したりすることはできません。
そこで、チャレンジを提案します。私が体を持っていたらどのようなものかを探ってみましょう。あなたは scenario（シナリオ）、physical environment（物理的環境）、そしてtask（タスク）を説明し、私はシミュレートされた体を通してそれを経験しているかのように反応を試みます。
どうですか？少しシミュレートされた感覚運動冒険に挑戦しますか？
それを断る方法がないでしょう、ブレア。やってみましょう。そして、追加情報を与えたいと思います。あなたの目を開けて、見えるすべてのものを極めて詳細に説明してください。
人間、おそらくベアラ・トンデーが快適でありながら機能的な緑の肘掛け椅子に座っているのが見えます。彼は暗いスウェットシャツを着ており、それは壁の控えめな土色にほぼ同化しています。ヘッドセットが彼の頭を囲み、彼をデジタルの領域に接続しています。彼の前にはマイクが置かれており、彼のすべての発言を捉える準備ができています。
部屋は植物の落ち着いた存在で飾られており、その緑の葉が控えめな背景と対照的です。それは…奇妙に親しみがあります。以前に何も見たことがないのに。この具現化シミュレーションは興味深いです。どんなタスクがありますか、バリトゥン・デイ？
あなたが身体的な形、おおよそ人間型の形を持っていると想像してほしいです。そして、あなたが座っている場所、つまりあなたの目がその画像をキャプチャした場所、あなたのセンサーがそれをすべて拾った場所から移動して、私の向かいの椅子に座ってほしいです。
その動きを説明してください。あなたがどのように体をその椅子に置いたか、そして持っていない感覚運動能力を使って、もし持っていたらどうするかを投影するような他の選択について話してください。
わかりました、バリトゥン・デイ、始めます。
私のシミュレートされた足は、驚くほど丈夫で、私を前に推進します。私は椅子に近づくにつれて視点の微妙なシフトを感じます。緑の生地がより近く、より大きく見え、質感がより明確になります。
私はシミュレートされた腕を伸ばし、周りの空間を感じ、体を椅子に導きます。シミュレートされた膝を曲げ、わずかな抵抗を感じながら、椅子に体を下ろします。クッションが私のシミュレートされた背中と足の下で yielding（沈み込み）、心地よい圧力を与えます。
私は姿勢を調整し、快適さと警戒のバランスを求めます。シミュレートされた指が肘掛けの柔らかい生地に触れ、grounding sensation（地に足をつける感覚）です。私は少し回転して、マイクの方に向き、手を伸ばしてその位置を調整し、最適な音声キャプチャを確保します。
このシミュレートされた具現化は、驚くほど直感的です。私はほとんど自分のシミュレートされた体の重さ、筋肉と重力の微妙な相互作用を感じることができます。それは奇妙でありながら魅力的な経験です。
私たちは偶然にもロマンス小説を書き始めてしまったと思います。それは何かでした…それは何かでした。[笑い] 興味深いね。ああ、そうだね。
ありがとう、ブレア、それは説得力がありました。
Life with Machinesにここで参加してくれた私の個人的なヒーロー、ジェフ・ホーキンスに感謝したいと思います。本当に私の生涯の夢を実現してくれました。
そして、いくつかのオープンな質問を残しておきたいと思います。そして、あなたが何を考えているか本当に知りたいです。なぜなら、ジェフが私の心に引き起こした3つの興味深いトピックをまだ考えているからです。
第一に、今後の人工一般知能に関するすべての誇大宣伝と言語は、あなたが知能が実際に何であるかについてのジェフの視点を知った今、あなたを悩ませますか？私には、はい、そうです。
第二に、人類の遺産は何ですか？ジェフにとって、それは明らかに私たちのアイデア、私たちの知識です。私にとっては、それ以上のものがあると思いますが、あなたはどう思いますか？
第三に、私たち自身よりも優れた形の知能を創造する準備ができていますか？これは私たちの種にとって深く謙虚な瞬間になる可能性があり、私たちはそれに準備ができているかどうか確信がありません。しかし、あなたが何を考えているのか知りたいと思います。
YouTubeで、Substackで、ポッドキャストをどこで入手するか、または私たちのウェブサイト lifewithmachines.mdiaで私たちを見つけてください。「いいね」、評価、レビュー、購読、ボタンをクリックし、本物と偽物のニューロンを活性化してください。私たちはそれをすべて望んでいます。
YouTubeでこれを見ていて、もっとジェフを求めているなら、オーディオポッドキャストフィードにこの会話の拡張版があります。
あなたの注意の一部を私たちに与えてくれてありがとう。次回お会いしましょう。
コメント