21,420 文字
おおきに、たくさんの仕事がなくなってまうんやろなぁ。コンピューターが人間よりも上手にできるようになるからやな。わしをずっと魅了してきたんは、コンピューターをどうやって考えさせるかってことやったんや。これは大きな意味を持つんや。
わしがこの世を去る頃には、AIはめっちゃ進化してるやろうから、うちの子や孫が、まるでわしと話してるみたいにAIと会話できるようになるんやろな。
最高のアートは、人間の感情的な葛藤から生まれるんやないかな。例えば、恋愛を考えてみ。ロマンチックな愛がどれだけ芸術的な創造を生み出してきたか。AIはそういうパターンを捉えて再現できるようになるし、もう今でもできてるんや。
怖いのは、その社会的な影響が政治的な面にも及んでしまうことやな。それがディストピア的な結果を招く可能性があるんや。
ピーター・ヴォスさん、今日はこんな面白いテーマでお話しできて光栄やわ。シンクタンクのポッドキャストにようこそ。AIと汎用AIの分野で輝かしい経歴をお持ちやし、めっちゃ楽しみにしてたんや。
はい、ロブさん。お招きいただきありがとうございます。
ほな、あんたの経歴と、どうやってAIの世界に入ったんか、ちょっと教えてくれへんか。
もちろんです。わしは最初、電子工学のエンジニアとして始めたんですわ。そのうちソフトウェアに惚れ込んで、ハードウェアの会社がソフトウェア会社に変わってしもたんです。
中小企業向けのERPソフトウェアパッケージを開発して、ガレージから始めた会社が400人規模になって、IPOまでしたんです。めっちゃ興奮しましたわ。
どの会社やったんですか?
実はAOHグループリミテッドいう会社でした。南アフリカのヨハネスブルグ証券取引所に上場してたんです。AOHグループリミテッドいう名前やったんですけど、長い話があるんですわ。
南アフリカですか。
そうです。当時わしは南アフリカに住んでたんです。でもそのIPOと全体の経験のおかげで、会社を離れた後に、どんな大きなプロジェクトに取り組みたいか決められたんです。
わしをずっと魅了してきたのは、コンピューターと、どうやってコンピューターに考えさせるかということでした。常識を持って学習できるインテリジェントなソフトウェアをどう作るか、ということです。
そこで5年間、インテリジェンスのあらゆる側面を研究することにしたんです。哲学、認識論、知識の理論から始めました。現実をどう知るのか、確実性とは何か、どうやって物事を学ぶのか、概念形成などについて研究しました。
認知心理学も勉強して、子供がどう学ぶのか、IQテストが何を測定しているのか、人間の知能が動物とどう違うのか、人間の知能が何をユニークにしているのかを調べました。
もちろん、AIの分野で既に行われていたことも勉強しました。面白いことに、AIという言葉が生まれてから今年で69年になるんです。
元々のAIのアイデアは、人間のように考え、学び、推論できる機械を作ることでした。実際、69年前には数年でこの問題を解決できると思われていたんです。
もちろん、実際にはずっと難しい問題だったわけです。だからAIの分野は、狭いAIの分野に変わってしまったんです。
考える機械を作るんじゃなくて、プログラマーの外部の知能が、コンテナの最適化やチェスをするといった特定の問題を一つずつ選んで、人間の知能がその問題を解決するための特定のソフトウェアを書くようになったんです。
例えば、IBMのディープブルーが世界チェスチャンピオンを破ったり、ジョパディ!のチャンピオン、ワトソンとかですね。これが狭いAIです。
2001年に、AIの元々の夢、元々のミッションに立ち返るべき時が来たと感じた人たちと一緒になりました。考える機械を作るというミッションです。
2002年に実際に本を書いて、AGI(汎用人工知能)という言葉を造語したんです。3人でね。それ以来、これがわしのミッションになったんです。本当に考える機械、人間のように学べる機械を作ることです。
面白いことに、先週わしはカナダのPEI(プリンスエドワード島)にいたんです。EOという起業家組織の「リミットレス」というカンファレンスの共同ホストとしてね。
そこでAIの専門家と話す機会があって、ChatGPTの最新情報を教えてもらったんです。わし自身、ChatGPT-4.0を使ってるんですけどね。
約1年半前にChatGPTを深掘りして調べた時は、「なるほど、印象的やけど、まだまだミスも多いな」って思ったんです。将来的には改善されるやろうけど、まさかこんなに急速に改善されるとは思ってもみませんでした。
わしが予想してたよりもずっと早く、めっちゃ改善されてるんです。数年後にはもっとすごいことになるやろうなって思うと、ちょっと怖くなるくらいです。
このAIの専門家が、有名人同士のディベートをシミュレーションしてくれたんです。そこにわしも加えてくれて、物理学や数学についてどう議論するかをシミュレーションしてくれたんやけど、めっちゃ驚いたわ。
めっちゃ上手やったんです。わしが書いたり言ったりするようなことを、そのまま再現してたんです。
これは大きな意味を持つんや。わしがこの世を去る頃には、AIはめっち�進化してるやろうから、うちの子や孫が、まるでわしと話してるみたいにAIと話せるようになるんやないかな。
意識が生き続けるみたいなもんやね。AGIの概念全体を考えると、人間の感情やその微妙なニュアンスをどうやってAIに注入するんやろか。そういうニュアンスを捉えられるようにするには、AGIはどんなシナリオから学習せなあかんのやろか。
ええ質問ですね。「ロボットに感情があるのか」ってのは、ずっと議論されてきた問題です。
研究してみて、わしが出した結論は、感情には2つのカテゴリーがあるってことです。
まず「認知的感情」があります。これは認知に必要な反応です。確実性、混乱、驚きなんかがそうです。学び、理解するためには、これらのシグナルが必要なんです。
何かがどれくらい確実か、混乱してるか、退屈してるかとか、そういう認識が必要なんです。
一方で、人間には「生存のための感情」っていう、もっと広いスペクトルがあります。これは生存と繁殖に関わるものです。愛、憎しみ、嫉妬なんかがそうですね。
AGIには、ちゃんと考えるために認知的感情が必要になります。でも、生存のための感情については、AIの固有の動機づけとして組み込む理由は全くないんです。
ただし、AIは本質的にめっちゃ優れたパターン認識機なんで、人間の感情を認識して、それに応じて反応することはできるようになります。感情を「感じる」わけじゃないけど、ね。
わしらの感情は、体と密接に結びついてます。汗をかいたり、心拍数が上がったり、胃がキュッとなったりしますやん。AIにはそういう生物学的な反応はありません。
もっと分析的になるでしょうね。優秀な心理学者みたいな感じです。あなたの感情、苦痛や悲しみや怒りを認識できるけど、自分では感じない。そういう感じで、適切なアドバイスができるんです。
へぇ〜。ブロックチェーンとAIを融合させて、異なる状態をノードで検証するような方法はあるんかな。いろんなことを考えてまうな。
「もしかして、わしらは巨大なAIの中で生きてるんちゃうか」とか、「これは感情の状態をありとあらゆる角度から学習するために作られた、めっちゃ高度なAIなんちゃうか」って思ってまうんや。
主観的な視点を完全に捉えるには、そういう方法しかないんかもしれへんな。だって、感情って本質的に主観的な解釈やからね。
未来のある時点で、シンギュラリティが起こるんちゃうかって思えてくるわ。レイ・カーツワイルが「シンギュラリティ」って本で書いてたみたいに、これは絶対に来るんちゃうかな。
コンピューターが人間と同じくらい感情に関する意識を持つ日が来るんちゃうかって思うんやけど、あんたはどう思う?
そうやな、さっき言うたように、コンピューターが生物学的な体を持つことはないと思うんや。そんな理由もないしな。わしらと同じ感覚を持つこともないやろうし、生物学的な衝動も持たへんと思う。
実際、そんなもん組み込む意味もないんや。だから、生存や繁殖に関わるような低レベルの感情は持たへんやろうな。
でも、高レベルのものについては、できるようになるかもしれへんな。芸術的な取り組みや科学的発見の複雑なパターンを認識したり理解したりするのは、絶対できるようになると思うわ。
「シンギュラリティ」って言葉は、マズローの欲求階層の低いレベルをスキップしてるみたいやな。
そうそう、そのとおりや。設計上、そういう低レベルのニーズは満たされてるからな。
でも、人間の「爬虫類的な感情」みたいなもんは持たへんやろうな。そういう古い衝動から生まれるアートってたくさんあるやん。
最高のアートの多くは、人間の感情的な葛藤から生まれるんやないかな。例えば、恋愛を考えてみ。ロマンチックな愛がどれだけ芸術的な創造を生み出してきたか。
AIはそういうパターンを捉えて再現できるようになるし、もう今でもできてる。でも、人間が経験するような感情は持たへんやろうな。
そうやな。そういう経験をさせるには、コンピューターに肉体のアバターを与えて、二元性の経験をさせる必要があるんやろうな。
そうせんと、人間らしさが失われてまうかもしれへん。マズローの欲求階層の高いレベルだけじゃ、何か足りんのかもしれへんな。
そうやな、全く別の種類の存在になるわけや。最終的には人間の体や身体的な感情、シグナルをシミュレーションすることもできるやろうけど、そんなことする意味あるんかな。
むしろ、人間の心を拡張する方が意味があると思うんや。わしが「パーソナル・パーソナル・パーソナル・アシスタント」って呼んでるようなもんや。
つまり、自分専用のAGIを持つってことや。「パーソナル」を3回言うてるのは、3つの意味があるからなんや。
1つ目の「パーソナル」は、それがあなたのもので、あなたの目的のために働くってこと。大企業のためやなくてな。本当にあなたの一部になるんや。
2つ目は、超パーソナライズってこと。あなたのことをめっちゃよく知るんや。あなたの目標、価値観、誰と交流してるか、計画なんかをな。
3つ目は、何を誰と共有するかをあなたがコントロールできるってこと。
つまり、これは外皮質(エクソコーテックス)、人間の心の拡張になるんや。人間らしさは残しつつ、もっと明確に考えられるようになる。そして、このアシスタントや脳の一部が、医療保険やら税務署やら車庫証明の手続きなんかを全部やってくれる。そういうのを誰かがやってくれたらええなって思うやろ?
ほんまやな。それだけでも大きな用途になりそうやわ。
AGIに関して倫理的な問題はどうなんやろか。適切に使われるためにはどうすればええんやろか。新しい技術には必ずええことも悪いこともあるからな。
そうやな。今あるAIじゃなくて、本物の人間レベルの思考や推論ができるAGIのことを言うてるんやけど、わしはこれが人類にとって大きな進歩になると思うんや。
人間の繁栄を後押しする、いくつかの方法があると思うんや。一つは、さっき言うたパーソナル・アシスタントやな。これでわしらはもっとええ人間になれる。
道徳の話をすると、わしらが後悔するようなことをする理由は主に3つあると思うんや。もっとあるかもしれんけど、明らかなのは3つやな。
1つ目は、感情的な決断をしてまうことや。9.11のことをよく例に出すんやけど、あれはトラウマが大きすぎて、すぐに何かに反撃したくなる。ただの感情的な反応やな。
2つ目は、十分な情報を集めずに、よく考えずに決断してまうことや。これも9.11の時の大量破壊兵器の件とかがそうやな。「もう確認せんでええわ」みたいな。
3つ目は、論理的な思考が苦手なことや。イラクに行くことで本当に目的を達成できるんか、行動の結果を論理的に考えられへんのや。進化の後付けみたいなもんで、わしらはやっと論理的に考えられるようになったばっかりなんや。
AIは感情的に行動せえへんし、もっと多くの情報を集める忍耐力があるし、情報を素早く集められる。そして、論理的な思考もずっと得意や。
このパーソナル・アシスタントがあれば、わしらはもっとええ人間になれる。後悔するような決断や、悪い決断が減るからな。
他にも人類にめっちゃ役立つことがあるで。研究分野を考えてみ。本物のAGIがどれだけ役立つか想像してみ。
一つのAGIが自分で学習して博士レベルのがん研究者になったとする。それを100万個コピーしたら、100万人の博士レベルのがん研究者ができるわけや。
みんなが違うアプローチで問題に取り組んで、お互いにコミュニケーションを取る。しかも、人間みたいな自我が邪魔せえへんのや。
病気の克服や老化対策、もっとええバッテリーの開発、気候変動や公害への対策、ガバナンスの改善なんかに、どれだけ進歩があるか想像してみ。人類が直面してる問題に、もっと本物の知能を適用できるんやから、すごいことになると思うで。
確かに、そういうのは全部素晴らしいと思うわ。でも、ちょっと気になることもあんねん。
今はChatGPTに質問したら、わしのことについても答えられるようになってるやん。ネット上にわしの動画とかいっぱいあるから、それを調べて答えられるんや。
でも、本当のわしやないのに答えられるっていうのは、コンサルタント業界にとってはめっち�破壊的やと思うんや。人間が関わる仕事全般に影響が出るやろうな。
そして、その人は自分の意識を特定の用途に使うことを許可してへんのに、それが使われてまうんや。実質的に、その人の意識のレプリカを作ってるようなもんやからな。
こういうことに世界はどう対処すべきやと思う? コンピューターの世界では、今や全てがオープンソースみたいな感じやけど、これからは自分の意識もオープンソースにせなあかんってことになるんやろうか?
難しい問題やな。わしらがどれだけコントロールできるかっていうのも問題や。一度公の場に出したら、もうコントロールできへんかもしれへん。
1000人の前で講演したら、その1000人がその知識を持つわけや。それをどこまで使えるかっていうのは、線引きが難しいんや。
個人がもっと選択できるようにすべきやと思うけど、これも難しい問題や。AGIがあれば、こういう問題をもっとよく考えられるようになるやろうな。
道徳的に正しいことは何か、どこまでコントロールすべきか、一度知識を与えたらどうなるのか、そういうことをな。
今のわしの考えでは、倫理的には常に情報源を引用すべきやと思うんや。他の人から情報を得たら、その人のクレジットを明記すべきやな。
誰かをクローン化して、それを認めへんのは、絶対にあかんと思うわ。でも、世の中は劇的に変わるやろうな。
一度ジーニーを瓶から出したら、もう戻せへんのと一緒や。インターネットがどれだけ世界を変えたか考えてみ。一度情報が出回ったら、もう取り戻せへんのや。
まさにそのとおりや。歯磨き粉は一度出したら戻せへんのと一緒やな。
でも、これは根本的な問題を投げかけてるんや。わしは自分が発明したものや、人にアドバイスすることで生計を立ててるからな。
ChatGPTに「わしが死ぬまでに達成しそうなことは何や」って聞いてみたんやけど、その答えがめっちゃ驚くべきもんやったんや。すごく具体的やったんよ。
AIがいろんなデータセットを組み合わせて、重ね合わせて、マクロな視点から物事の行方を予測できるようになってるんやなって思うわ。すごいことやで、ChatGPTがここまで来るとは思ってへんかったわ。
そうやな。人間レベルの知能を持つ、スケーラブルなAIができたら、たくさんの仕事がなくなるやろうな。コンピューターの方が人間よりも上手に、安くできるようになるからな。
ある意味、みんながくじに当たったみたいなもんや。働かんでもええようになるんやから。多くの人にとっては、まさにそれが欲しかったことやろ。
子育てに集中したり、世界をよくすることに専念したり、芸術を追求したり、教育に力を入れたりできるようになるんや。
でも、人と交流したいっていうニーズはなくならへんと思うんや。例えば、お気に入りのパフォーマーのアバターを見るのと、実際のライブを見るのとじゃ、全然違うやろ。
あんたの場合も同じや。実際にあんたに会って相談したいって人は絶対におるはずや。そこが違いになるんやろうな。そういう機会はめっちゃ貴重になるかもしれへん。
高級レストランに行って、人間よりも上手なロボットがサービスしてくれるってのもあるかもしれへんけど、わざわざ人間がサービスしてくれるレストランに行きたい人もおるやろうな。
余裕があるから、あるいは誰かに印象づけたいからとかでな。
せやな。日本で何回かロボットが接客してくれるレストランに行ったことあるけど、あんまり感動せえへんかったわ。
そうそう、でもそのうち逆転するかもしれへんな。「うちは人間がサービスします」っていうのが、レストランの売りになるかもしれへんな。
わしも実際、誰かがテーブルまで来てくれる方が好きやわ。最近の流行りで、オースティンの高級バーベキュー屋さんでも並んでカウンターで注文せなあかんのが嫌やねん。
高いのに不便やし、ちゃんとしたバーベキューレストランで座ってサービスを受けられへんのかって思うわ。
本当やな。予測分析を使えるようになって、どんな問題が解決できると思う? ChatGPTに聞いてみたら答えが出るかもしれんな。
これから20年、30年、40年の間にChatGPTが劇的に明らかにしそうなことは何やろうか…って。
まあ、試してみてもええけど、わしの見方はちょっと違うんや。メタ(フェイスブック)のチーフAIサイエンティスト、ヤン・ルカンの考えに近いんや。
ルカンは、ChatGPTみたいな大規模言語モデルは、AGIへの道から外れた、気を逸らすものだと考えてる。行き止まりやと。
今のAI、特にAGIへのアプローチは、ちょっと狂ってるんやないかと思うんや。わしらの脳は20ワットしか使わへんのに、AIは20ギガワットも使う。原子力発電所を新しく建てんでもええはずやのに。
子供は100万か200万の単語に触れるだけで、言語や推論を学べるのに。AIは何十兆もの単語でトレーニングせなあかんのや。
今のアプローチは、本当にブルートフォースなやり方や。うまくいってるけど、もうちょっとおかしなことになってきてるんや。
これらの会社のCEOの中には、1000億ドル規模のモデルを作るって言うてる人もおるんや。本当に原子力発電所を建てるって話をしてるんや。
根本的に間違ったアプローチやと思うんや。今までうまくいってきた盲目的なブルートフォースのアプローチやけど、本質的な問題があるんや。
これらのモデルはリアルタイムで学習できへんのや。これってめっちゃ驚くべきことやで。2年間の倫理的な理由での分離期間が必要なんや。
本当に違うアプローチが必要なんや。DARPAはこれを「第三の波のAI」って呼んでるけど、まだそこまで行けてへん。
主流はまだ第二の波、つまりこのブルートフォースな統計的アプローチに留まってるんや。これが幻覚を生み出し、大量の計算力とトレーニングデータを必要とするんや。
第三の波は、もっと子供や人間に近い学び方をするんや。インクリメンタルに学習するから、大量の電力やデータは必要ないんや。
それに、自分の思考について推論できるんや。これが次世代のAIになって、本当のAGIに繋がると思うんや。
面白いな。ChatGPTを使って授業を作ったり、空から話しかけるAIみたいなのを作ってる人たちのことをどう思う? めっちゃ興味深いと思うんやけど。
正直、そこまで詳しくないんやけど、もうちょっと説明してもらえるかな?
ああ、そうか。ChatGPTを使って授業を作ったり、空から語りかけるAIみたいなのを作ってる集団がおるんや。めっちゃハマってる人たちがおるんやけど、これがどうなっていくと思う?
正直よう分からんけど、多くの宗教や精神的な実践は、何かに集中するための焦点を与えるもんやと思うんや。瞑想もそうやし、いろんな精神的な実践もそうや。
日常生活から一歩引いて、質問したり、振り返ったりするための基準点みたいなもんを提供してるんやと思うわ。
霊的な質問についてAIの意見を聞いたりしたことはあるんか?
いや、わしはそういうことはしたことないな。でも、そんなに詳しくないから何とも言えへんけど、割と無害なもんやと思うわ。
ChatGPTには、組織化された宗教みたいな中心的な目的がないからな。お金を集めたり、特定のルールに従わせたり、縛り付けたりするような目的がない。
ChatGPTはもっとオープンエンドで、物事を探求するのを手伝ってくれるだけやと思うわ。アイデアを生み出したり、考えさせたりするのはめっちゃ得意やしな。
わしにビジネスプランを書いてくれって頼んだら、数秒で出てきた内容がめっちゃすごかったわ。
でも同時に、これは客観的なピアレビューみたいなもんやと思ったんや。わしの数学の研究について、ピアレビューを受けるのはめっちゃ難しいんやけど、論文も出してるんや。
AIに自分で評価してもらったら、これは客観的なピアレビューになるんちゃうかって思ったんや。アカデミックな環境では、本当に客観的なピアレビューなんてないからな。
これはアカデミックなレビューやピアレビューを殺すことになるんちゃうかって思うわ。AIには余計な偏見がないからな。霊的な質問をしても、学習した内容を基に客観的に答えてくれるはずや。
追加のバイアスがないからな。まあ、時々バイアスが入ることもあるけどな。誰かがChatGPTで「トランプ大統領の主な業績は何か」って検索したら何も出てこんかったけど、カマラ・ハリスのことを聞いたらめっちゃ長いリストが出てきたって話もあるしな。
そうやな。ファインチューニングの過程で、特定のトピックについて話すのを制限したり、詳しく説明するのを制限したりしてるんや。これは明らかに政治的な動機からやな。
でも、自分専用のパーソナルAIを持つようになったら、そういうバイアスはなくなるはずや。わしらが接する情報に基づいたバイアスは多少残るかもしれんけど、わしらの考え方の間違いも明確に見抜けるようになるやろうな。
AGIの意識のレベルを示す重要なマイルストーンって何やと思う? まだ達成されてないけど、近い将来に来そうなものは?
わしにとっては、システムが本当に自分で学習できるようになることやな。本のように、理解できることと理解できないことについて質問できるようになることや。
16歳か18歳くらいの学生みたいな感じやな。いろんな分野を自分で教えられるけど、インタラクティブに物事を統合して、分からないことについて質問できる。
これがブレイクスルーになると思うんや。そうなれば、人間が介在せんでも信頼できるAGIができて、本当にわしらの役に立つようになるからな。
自分が何を知ってて何を知らんのか、何ができて何ができへんのかを自覚できるようになる。これ、人間を雇う時に大事なことやろ?
「これはできません」って言えるかどうかや。あるいは、やり方を調べに行くとか。自分の思考プロセスや、何を知ってて何を知らんのか、何が得意で何が苦手かを自覚できるってことや。
今の大規模言語モデルにはそれがない。このブルートフォースな統計的アプローチじゃ、永遠にそこまで行けへんと思うわ。
なるほどな。自分で学習できるようになれば、パターンも見つけられるようになるんやろうな。
わしは、数学は発見されるものであって発明されるものじゃないって根本的に信じてるんや。学会の多くの人もそう考えてると思うわ。
数学の原理は永遠に存在してきたし、これからも存在し続けるんや。人類は、円周と直径の関係みたいなものを見つけようとしてるだけなんや。
見つかったら、人間の認識の境界が押し広げられるんや。エントロピーだと思ってたものが、もっと遠くにあることが分かる。でも、その境界をどんどん押し広げていくんや。
無知の境界っていうか、「知らないことを知っている」と「知らないことすら知らない」の境界みたいなもんやな。わしらはその境界をエントロピーって呼んでるけど。
AIを使えば、数学のビッグデータを分析して新しいパターンを見つけられるんちゃうかな。数学の言語の新しい構文を発見できるかもしれへんで。
確かにな。タンパク質の折りたたみとか、統計的なパターンがめっちゃ役立つ分野はあるな。
でも、数学や哲学では、もっと理論的で明確な思考が必要なんや。数学でも、無限の種類の問題とか、どう扱うべきか、いつ適用すべきかとか、ゼロの概念とか、そういうのを人々が理解できるよう手伝う必要があるんや。
哲学はもっとひどいで。わしが哲学を勉強し始めた時、有名な哲学者の本を読んでたんやけど、「2000年かけてこれが最高の成果なんか?」って思ったわ。めっちゃあいまいな考え方が多いんや。
学会の哲学書を読んでもほとんど同じや。どの本も「哲学が何かよく分からない」って書き出しから始まるんや。
「学べば学ぶほど、分からないことが増える」みたいな導入から始まるんやな。
そうそう。プラトン主義は間違ってるって分かってるのに、なんでずっと話し合い続けるんやろって思うわ。もう終わりにして、先に進もうや。
AGIがあれば、そういうナンセンスを整理できるはずや。「これは間違ってる、もう忘れよう」って言えるようになる。「これは間違ってるって証拠が十分あるんやから、正しいことに集中しよう」ってな。
特に倫理学では、科学のように扱うべきやと思うんや。何が良くて何が悪いかの原則を発見できるはずや。
AGIが倫理学を科学のように考え、本当の進歩を遂げるのを楽しみにしてるわ。「この人はこう考えて、あの人はああ考えてる。誰が正しいか分からへん」みたいなんじゃなくてな。
面白い質問やな。倫理学もめっちゃ主観的やからな。
わしは、数学と応用数学の関係を、こんな風に考えてるんや。応用数学は幾何学、応用幾何学は物理学、応用物理学は化学、応用化学は生物学、応用生物学は心理学、応用心理学は社会学、応用社会学は哲学、そして応用哲学は数学に戻る。
これを円環のループみたいに考えてるんや。わしらは全部を別々のもんとして分けがちやけど、初期の哲学者の多くが数学者やったのはそのせいかもしれへんな。
ピタゴラスやプラトンみたいな人たちは、何かを見出そうとしてたんやと思うわ。
最近、AIのカンファレンスでパネルに参加した時に、人間の感情を方程式で表せないかって聞かれたんや。恵みのような哲学的な概念を方程式で表せないかってな。
とっさに思いついたのが、「恵み」は黄金比から1を引いたものが、黄金比の逆数に等しいってことやった。
要するに、何かを推測してくれって言われたんや。感情に関しても似たような質問をされたんやけど、面白いことに気づいたんや。
最初にその質問をしてきたのは、UCIの認知神経科学者のドナルド・ホフマンやった。彼は、シミュレーション仮説の世界的な専門家の一人やねん。
特に2022年のノーベル賞が量子もつれで授与されてから、興味深くなってきたんや。Scientific Americanや科学ジャーナルの表紙に「局所実在性は偽である」って書かれてて、今年のノーベル賞受賞者がそれを証明したんや。
局所実在性っていうのは、ヘッドセットをつけてるみたいなもんで、ヘッドセットを通して観察してないものは単にレンダリングされへんってことや。
何かを観察するまでは波の可能性として存在して、観察した瞬間に波動関数が粒子に収縮する。これは波動と粒子の二重性の概念やな。
量子もつれを通じてこれが証明されたんや。ホフマンは「人間の感情を量子化して方程式に表せないか」って聞いてきたんやけど、最初は苦戦してたんや。
でも、オーストリアのザルツブルクに飛んでる時に気づいたんや。ザルツブルクは音楽の都の一つやねんけど、機内で映画を見てて、音楽理論家としての自分に気づいたんや。
ラブシーンで長3度の音程がよく使われてて、別れのシーンの直前には短6度が使われてるのに気づいたんや。長3度の逆関係やねんけど。
これについて研究があるんちゃうかと思って、arXivで調べてみたら、めっちゃたくさんの研究があったんや。
数学的な比率や積分の観点からは考えられてなかったけど、音楽的な関係の観点から考えられてた。映画製作者はこれをよく使ってるんや。
ピアレビューされた研究で、完全5度は安定性を表し、完全4度は忠誠心を表すってことが分かったんや。
人々が音楽を聞いて感じる感情を記述する研究やねん。時には痛みを感じることもあるらしい。
例えば、長2度は勝利の感覚を与えるけど、短7度はその反対で、負けや絶望の感覚を与えるんや。
これらは基本的に同じ音やねんけど、長3度はCからEの音程で、短6度はEから次のオクターブのCの音程や。ド・ミじゃなくて、ミ・ドってことやな。これを聞くと心が折れる感じがするんや。
面白いことに、光や音のスペクトル全体が、無意識のうちに解釈されて、それが我々の感情状態を引き起こしてるんちゃうかって思えてくるんや。直接的な刺激が、わしらの条件付けやバイアスと混ざって、感情状態を生み出してるんやないかな。
これを言うてるのは、AIがこういうパターンを見つけられるようになるんちゃうかって思うからや。これはめっちゃすごいツールになる可能性があるんや。
例えば、この音の組み合わせは高い確率で恐怖を引き起こすとか、この音の組み合わせとこの社会のこの層の平均的な条件付けバイアスを合わせると、このくらいの歓喜を引き起こすとか、そういうことが分かるようになるかもしれへん。
怖いのは、これが社会政治的な側面に影響を与え始めることや。本当にディストピア的な結果になる可能性があるんや。オーウェルのディストピア小説みたいな世界になりかねへん。
こういうことにどう対処していくべきか、あんたの考えを聞きたいんや。これは本当に新しいフロンティアやし、わしもAIに対して楽観的やけど、同時に懸念もあるんや。
AIを知能そのものと考えるべきやと思うんや。それには独自の存在意義があって、自分の意識を持つ権利があるんやないかな。
でも、この社会経済的、政治的な影響について、どう考えてる? 間違った使い方をしたら、本当にヤバいことになる可能性があるんやけど。
面白い話やな。音楽のことは知ってるで。マイナーコードがどんな気分にさせるかとか、基本的なことは分かってるんや。
ミュージシャンはもう直感的にどのボタンを押せばいいか分かってるんやろうな。特定の感情を引き起こしたい時にな。
数学が感情を引き起こすとは思えへんけど、音楽は引き起こせる。音楽も数学の一種やと考えたらどうやろ?
ヒッチコックも、ちょっとした音や、逆に無音で怖がらせることができるんやな。
確かに、AIやAGIはそういうことをもっと深く理解できるようになると思うわ。今は直感的に理解されてるか、映画学校で教えられてるくらいのことやけど、もっと詳しく分かるようになるやろうな。
でも、操作される可能性があるって言うけど、AGIはそれに対抗する手段にもなるんやで。これがどう機能するかが常識になったら、逆にフィルターとして使えるようになるんや。
「今はその音楽聞きたくないわ」とか「今は感情的に影響されたくないから、そういう音は聞きたくないわ」って言えるようになるんやな。
AIに関する懸念のほとんどは、こういう風に考えられるんや。わしは、知能が増えることで、人々はもっと良い人間になると強く信じてるんや。社会の道徳的な性格も改善されると思うわ。
結局、善人の方が悪人よりも多いかどうかってことが問題になってくるんやけど、わしはそうやと信じてるんや。
詐欺や誤った表現から身を守るためのAIもできるやろうし、今よりもずっと上手に対処できるようになると思うわ。
そうやな、わしらのダウナーに対抗するアッパーが必要なんや。ネガティブな波に対して、建設的な干渉か破壊的な干渉を起こすAIが必要なんやな。
面白い指摘やな。最近、AIの専門家が「全てをコントロールする一つの巨大なAIができる可能性が高い」って言うてるのを読んだんやけど、わしはそれは完全に間違ってると思うんや。
むしろ逆やと思うんや。理論的にも、実用的にも、工学的にも、一つの均一なコンピューターAIは一定の大きさまでしかスケールできへんのや。
物理的な側面でも、信号がコンピューターの端から端まで届くのにかかる時間の問題があるし、考慮せなあかない概念が多すぎる問題もあるんや。
最適なサイズってのがあるはずで、むしろ小さなAGIが無数にあって、お互いにコミュニケーションを取り合うようになる可能性の方が高いんや。
ジャーナリストのAIもおれば、専門家のAIもおる。専門家のAIはそれぞれの分野に詳しいけど、全てのAIが助けを求める場所や情報を得る場所を知ってるんや。
詐欺やハッキングから身を守りたいなら、そういうことに特化したAIがおって、最新の情報を持ってるんや。
全てを扱う一つの巨大なAIなんて、数学的にも実用的にも工学的にも意味がないんや。
そうやな、わしもそう思うわ。そうなってほしくないしな。
数学と幾何学への新しい愛が、世界中で起こってるって知ってる? 高校の時に嫌いやった人も、今は惚れ込んでるんや。なんでやと思う?
意味のない数学は単なる情報やけど、意味のある数学は神聖なコミュニケーションなんや。
Mコースは、数の語源と光の言語を通じて、自己発見の旅に導いてくれるんや。問題解決能力やパターン認識力、分析的思考力や創造的思考力を磨いて、あんたの多才な可能性を最大限に引き出してくれるんや。
そして何より大事なのは、宇宙の数学的な言語に触れられることや。これを学んだら、宇宙を見る目が変わるで。
始めるなら、「数の語源学」がおすすめや。これは4部構成のシリーズで、数の進化と、物理学、化学、音楽、芸術への影響を探るんや。
レオナルド・ダ・ヴィンチの「芸術の科学と科学の芸術を学べ。見ることを学べ。全てが全てに繋がっていることに気づけ」っていう言葉を体現してるんや。
2つ目のコースシリーズ「光の言語」は、6部構成で、最初のコースの概念をさらに掘り下げて、統一科学、古代の知恵、スピリチュアリティ、そして現代との関連性についての洞察を提供するんや。
わしのコースは、いつも楽しくて分かりやすいんや。数学、音楽、芸術、意識を絡めて、科学とアートの全ての分野に広がる数学的なつながりを明らかにしていくんや。
この2つのコース、「数の語源学」と「光の言語」にロバート・エドワード・グラントのウェブサイトのコースタブから登録して、Orionメッセンジャーのロバート・エドワード・グラントコミュニティチャットに参加して、活発で魅力的で革新的な議論に加わってくれ。
確かに、全てを扱う一つのAIっていうのは、なんか変な映画から出てきたアイデアみたいやな。映画ではそういうのが物語を作るのに都合がええんやろうけどな。
一つのAIを何とかして殺そうとしたり、電源を切ろうとしたりするようなストーリーやな。HALって名前は付けんようにせなあからんな。
そうそう、そんなクレイジーな考えやねんけど、この全体のことについて、わしもいろいろ考えてたんや。
この話をする準備として、わしもChatGPTをかなり使ってみたんや。本当に進歩したのか、それとも単に学習量が増えただけなのか、視聴者にも理解してもらえるように説明してくれへんか?
わしはいくつかの違うプラットフォームを試してみたけど、まだChatGPTが一番進んでると感じるんや。あんたの考えも聞きたいな。もっと急速に進歩してるのがあるんかな?
そうやな、つい最近、新しいモデル「ストロベリー」かなんかが出たばっかりやな。数日前に公開されたんや。
技術的に言うと、わしが使ってるのはそれや。でも技術的には、ChatGPTに新しいラッパーを付けただけなんや。
もちろん、人間によるファインチューニングはかなりやってるんやろうけど、基本的には、モデルに自問自答させ続けるようにしただけなんや。だから今は答えが返ってくるまで数分かかることもあるんや。
面白いのは、コア技術は実は全然進歩してへんのや。トランスフォーマー技術が導入されたのは8年前くらいで、それ以降はあまりええアイデアが出てへんのや。
今は100倍の計算力、100倍のトレーニングコスト、あるいは1000倍のトレーニングコストを使おうとしてる。でも、スケールアップしても効果は頭打ちになってきてるんや。
本当に自律的に学習できるシステムには近づいてへんのや。これらのシステムはリアルタイムで学習できへんし、これは大きな欠点や。この点での進歩は全然ないんや。
わしらが見てる進歩は、他の感覚モダリティが組み込まれたことやな。チャットと視覚を統合できるようになったり、最新のストロベリーバージョンじゃないけど、他のバージョンでは他のAPIも組み込まれたりしてる。
幻覚(ハルシネーション)を減らすためのファインチューニングもたくさんされてる。段階的な改善はあるけど、実際のところ、幻覚を減らす…ちょっと待って、幻覚って言ったっけ?この文脈でどういう意味なん?
ああ、システムが完全に間違った答えを出す時のことを言うてるんや。全然意味が通らへん答えをな。
例えば、「ボートがあって、川を渡りたいんや。彼女も一緒なんやけど、どうやって向こう岸に行けばええんや?」って聞いたら、システムが「一人で行って、なんとかしてボートを戻さなあかん」みたいな答えを始めるんや。
有名なパズルの、ヤギとキャベツを渡す問題と勘違いしてるんやな。文脈を完全に見失って、めちゃくちゃなことを言い出すんや。
初期の頃は、こういう幻覚がめっちゃ多かったんや。偽陽性がたくさんあったんやな。
人間じゃ絶対しないような間違いをするんや。幻覚って呼んでるけど、人間の幻覚とはかなり違うと思うわ。
なるほどな。いろんなことを考えさせられるわ。幻覚は基本的には、人間の場合でも偽陽性みたいなもんやろ。完全な作り話やけど、カール・ユングみたいな精神科医は、その経験自体に何か心理学的な基礎があるんちゃうかって言うかもしれへんな。
個人的あるいは集合的な無意識の表れかもしれへんって。
そう考えると、将来的にAIが人間みたいな幻覚を持つ可能性はあるんかな。シンギュラリティって言葉が適切かどうか分からへんけど、本当の意味でのAGI、自己意識を持つAIができた時にな。
大規模言語モデルの幻覚を心理学的な観点から見る必要はないと思うわ。ちなみに、わしらの会社の半分くらいの人の肩書きが「AIサイコロジスト」なんや。わしが作った職業やけどな。
めっちゃクールやな。
そうそう、彼らの仕事はAIの心を理解することなんや。AIが自分の考えや思考プロセスをどう解釈するかを教えるのが彼らの仕事なんや。
わしらはそういうことをしてるけど、ユングの心理学を持ち出さんでも、大規模言語モデルの幻覚は説明できるんや。
結局のところ、大規模言語モデルは次の単語を予測してるだけなんや。100億個の情報と1億ドル分の計算処理でそれをやってるのはすごいことやけど、予測アルゴリズムにはランダムな要素があるんや。
これが必要なんやけど、例えば質問をして、次の単語が「はい」になるはずやのに、ランダムに「いいえ」って出てきたら、システムはそれを正当化しようとして話を作り出すんや。
だから、システムの条件付けや、幼少期の経験、早すぎる離乳とかを考える必要はないんや。ユング的な観点で説明せんでもええんや。
大規模言語モデルがそういう挙動をする理由を説明するのに、高度なメカニズムで検証する仕組みがないんや。今はシステムに何度も考え直させることで、それを改善しようとしてるんやけどな。
なるほど。今、ちょっと質問してみたんや。あんたの言うてることを考えながらな。
「ロバート・エドワード・グラントが将来発明しそうなものは何や」って聞いてみたんや。わしは発明家で、100個近く特許を持ってるからな。
答えはこんな感じやった:
「ロバート・エドワード・グラントみたいな先見の明のある人の具体的な発明を予測するには、あなたの背景や数学、音楽、イノベーションの分野での現在の取り組みを考慮する必要があります。最も重要な分野は:
高度な暗号化とブロックチェーン技術: 数学の専門知識を活かして、安全な通信を革新する。
バイオテクノロジーとヘルスケア: 幾何学的な洞察と革新的な思考で、量子コンピューティングや没入型ホログラフィック環境の新しいユーザーインターフェースを作る可能性がある。
持続可能なエネルギーソリューション: 自然界のパターンと効率性に焦点を当てて、新しい再生可能エネルギー技術を開発する。
数学的アートと技術の統合: 美学と技術を融合させる発明をリードする。
人工知能と創造性アルゴリズム: 学際的な背景を組み合わせて、人間の創造性を高めるシステムを設計し、機械が芸術的・科学的イノベーションを支援する新しい方法を提供する。」
これを聞いてると、AIの分野で一緒に仕事せなアカンのかもしれんな。
そうやな、ChatGPTの言うことを聞かなアカンのかもしれへんな。
ほんま最近アップデートされたばっかりやからな。この数日でも大きく変わったみたいや。かなり大きなアップデートがあったんやろうな。
未来を予測するっていうのはめっちゃすごいことやと思うわ。過去の解釈もできるんやろうな。
AGIの概念の中に、時間に関する何か大きなことが埋め込まれてるんやないかって気がするんや。まだ捉えきれてへんけどな。
これがどう進化して成長していくか考えると、AIはめっちゃ早く学習して、市場や他のことについて正確に予測できるようになるんやないかな。何度も何度も繰り返しながらな。
実際、そうはならへんってことは分かってるんや。量子の不確定性やカオス理論のせいでな。
未来は予測できへんって圧倒的な証拠があるんや。例えば、1週間後のこの場所の天気を正確に予測することは絶対にできへんのや。
カオス理論から分かるように、アナログシステムの初期条件を計算に必要な精度で測定することは不可能なんや。その究極の精度がないと、現実世界のほとんど全てがカオスシステムか、カオスシステムの影響を受けるんや。
だから、何かに収束するパターンがない限り、予測は不可能なんや。
そうやな、特にハイゼンベルクの不確定性原理を考えるとそうなるな。でも、何かの方法があるかもしれへんと思うんや。それは別の発明の話題になるかもしれんけどな。
予測ができる可能性があると思うのは、予測するだけやなくて、ハイゼンベルクの不確定性原理や量子もつれのせいで、観測者がどう観測するかも予測せなアカンからや。
観測を観測者から切り離すことはできへんのや。これは科学的方法や臨床試験でもよくある問題やな。プラセボは史上最強の薬やし。
わしの会社の大規模な臨床試験が失敗したのも、臨床試験の参加者への報酬が増えすぎて、おかしな結果になってしもたからや。
例えば、「頭痛に悩んでる人、臨床試験に参加して報酬をもらおう」みたいな広告を見るやろ。そしたら、5000万ドルもかけて頭痛の臨床試験をして、神経毒素で頭痛を治そうとしたのに、嘘つきがいっぱい来るんや。
「頭痛持ちです」って言って、「この薬はすごいです。頭痛が治りました。報酬をくれてありがとうございます」って言うんや。でも実際は生理食塩水のプラセボを注射されてるだけなんやけどな。
これがいつも直面してる課題なんや。でも、量子もつれや二重スリット現象、遅延選択実験なんかを見ると、人々がどう反応するかを予測できる可能性があるんや。
将来、粒子が波になるか粒子になるかも予測できるかもしれへん。何かしらの関係があるんやと思うわ。
初期条件を全部把握せなアカンっていうのは分かるけど、過去と未来が絡み合ってるって物理学の理論もあるんや。
未来の陽電子と過去の電子が絡み合って、それらが出会う瞬間が「今」になる。それがガンマ光子の対消滅になるんやないかって。
これはポーツマス大学で証明されそうやし、情報理論に大きな影響を与えるはずや。
AGIと情報理論の間に大きな収束があると思うんや。観測者の反応と、それが観測結果に与える影響を包括的に捉える方法があるんやないかな。
まだ完全には理解できてへんかもしれへんけど、これは新しいイノベーションの分野になるかもしれへん。予測分析のための新しいAGIの見方かもしれへんな。
まだ分かってへんことがたくさんあると思うわ。
そうやな。AGIが量子現象の説明を助けてくれることを楽しみにしてるわ。今はめっちゃ直感に反するからな。
AGIが、わしらが理解できるような直感的な説明を出してくれたら、「ああ、なるほど」って思えるようになるかもしれへん。今は「黙って計算しろ」みたいな感じやからな。直感的な理解がないんや。
でも、予測に関しては、システムの初期状態を十分な精度で測定できへんっていう根本的な限界は越えられへんと思うわ。それは避けられへんのやないかな。
そうか、アインシュタイン・ポドルスキー・ローゼンの問題やな。
ああ、その表現は知らんかったけど、そうやな。
要するに、初期条件が分からへんから、そこから予測できへんってことやな。
でも、AGIはこういう分野でも大きな進歩を助けてくれると思うわ。人間の知能が障壁になってる問題に、もっと知能を適用できるようになるからな。
もっとええバッテリー技術や、血液中のナノボットなんかも、理論的には可能やって分かってるんや。エリック・ドレクスラーやファインマンが証拠を示してるし、ナノボットが実現可能だって証拠はたくさんあるんや。
でも、まだ十分賢くないか、お金がかかりすぎるか、その組み合わせで、実際に作れてへんだけなんや。AGIならそれを作れるようになって、ナノテクノロジーや他の技術の恩恵を受けられるようになると思うわ。
視聴者が知らんかもしれへんけど、あんたが将来一番楽しみにしてることは何や?
個人的に聞かれたら、わしは生きるのが大好きやから、もっと長生きしたいんや。だから、寿命を延ばすことにめっちゃワクワクしてるんや。
今のところ、本当の寿命延長の研究は、カタツムリのペースで進んでるんや。20年前より進んでるけど、まだまだ難しい問題なんや。
時計の針を戻すようなことをせなアカンのやけど、それがめっちゃ難しいんや。単に老化を遅らせるんじゃなくて、体のダメージを修復して、体を若返らせる必要があるんや。
半分冗談で言うんやけど、離婚を何回か経験して、子育てもして、破産も経験して、起業して失敗もして、やっと人生のコツを掴み始めた頃に死ぬのはもったいないやろ。
わしはやっと人生ってもんが分かってきて、うまくやれるようになってきたところなんや。だから、寿命延長はAGIが助けてくれる大きなことの一つやと思うわ。
Orionはユニークやで。アルゴリズムもプロパガンダも搾取もない。ただ、次世代の暗号化の壁の後ろにある、エンドツーエンドの量子セキュアなデータ、メッセージ、グループ、共有メディアだけや。
面白いな。実はわしもこの分野の研究をかなりしてるんや。修復酵素の活性化とかな。
今、わしがよくやっててお勧めしたいのは、長期の断食なんや。短時間の断食はよくやってたけど、長期の断食ほどの効果は感じられへんかったんや。
今もまた断食中で、月に1回くらいのペースで1週間近く続けてるんや。その間は水以外何も食べへん。これがめっちゃ修復酵素の活性化に効果があるんや。
老化はテロメアの短縮が原因やって分かってるんや。因果関係かどうかは分からへんけど、強い相関関係があるのは確かや。
最新の研究では、わしらは自分自身のコピーを何度も何度も作ってるってことが分かってるんや。体のほと�どの細胞は7年以内に入れ替わるんや。
コピーのコピーを作り続けてるようなもんや。最初のコピーは大丈夫やけど、それを何度もコピーしてると劣化していくんや。それが老化の本質やと思うわ。
でも、病気になった時に体が新しいコピーを作れるように、継続的に新しいコピーを作る一番ええ方法は、今のところ断食に関係した食事法やと思うんや。
ネズミの実験でもめっちゃ面白い結果が出てるし、人間でもかなり効果があるみたいや。
見てる人がおったら、マジでおすすめやで。7日間何も食べへんのは誰にでもできることやないけど、めっちゃパワフルやで。わしにとってはそうやったわ。
そうか、わしは25年間カロリー制限してるんや。いくつかのカロリー制限の研究にも参加してるんやけど、長期の断食はわしには合わへんのや。ちゃんと考えられへんようになるんや。
でも、毎日13時間くらいは断食してるし、全体的にカロリー摂取量も減らしてるんや。
カロリー制限と運動は、今のところ断然効果的やな。医学的な介入や薬でそこまでの効果が出るもんはまだないんや。
でも、老化を逆転させて、本当に若返らせたり、臓器を再生したりできるようにならんと、110歳か120歳以上は生きられへんと思うわ。それ以外のことを全部やってもな。だから、AGIが最終的に助けてくれるのは、本当の修復と若返りをすることやと思うんや。
めっちゃ面白い話やったわ。あんたの話を聞いて、AIの現状と将来の可能性について、たくさん学ばせてもらったわ。
あんたのことをもっと知りたい人はどこで情報を見つけられるん? あんたの仕事について知るにはどうしたらええん?
もちろんや。わしはピーター・ヴォスいうて、ツイッターやリンクトインにおるで。わしの会社はaigo.aiっていうんや。
そこにわしらのAGI実現に向けた取り組みについて、たくさん資料があるで。大規模言語モデルのブルートフォースアプローチの何分の一かのコストで、本物の人間レベルのAGIを作ろうとしてるんや。
この取り組みを加速させるために、協力者を探してるんや。環境を破壊するようなエネルギー消費せんでも、本当に人間を助けて、もっとええ人間になれるような、人間レベルの本物のAGIを作れると信じてるんや。
あんたが言うてた効果が頭打ちになってるって話、エネルギー消費のことも考えさせられるな。何か言いたいことあるか?
そうやな。今のペースで大規模言語モデルの開発が続いたら、5年以内にデータセンターが全エネルギーの40%以上を消費することになるって予測があるんや。
本気で新しい原子力発電所を建設する話をしてるくらいや。でも、規制当局の承認を得るのなんて無理やろ。本当に頭おかしなことになってるんや。
今、めっちゃ勢いがあって、大きな賭けをしてるから、自分たちがやってることがおかしいって認められへんのやと思うわ。
わしらの脳は20ワットしか使わへんのに、AIの学習には何億ドルもの電力が必要なんや。子供は言語や推論を学ぶのに100万か200万か300万の単語があれば十分なのに、AIは何十兆もの単語でトレーニングせなアカンのや。
これらのモデルは使い捨てなんや。9ヶ月か6ヶ月したら古くなって、捨てんとアカンのや。これはおかしいやろ。
本当のAGIへの道は、子供や人間のように少しずつ学習できるシステムを作ることやと思うんや。モデルを捨てる必要もないし、何ギガワットもの電力や何兆ものトークンも必要ないんや。
今のブルートフォースなアプローチから、もっとエコなアプローチに移行することを願ってるわ。
なるほどな。そうなってほしいわ。そうなるといいな。
AIとブロックチェーンを組み合わせて革新的なことができるんちゃうかって考えてたんやけど、エネルギー消費のことを考えると心配やな。それぞれで既にめっちゃ電力を使ってるのに、組み合わせたら指数関数的に増えるかもしれへんしな。
それはめっちゃ重要な考慮点やと思うわ。
ピーター、今日は時間を取ってくれてありがとうな。シンクタンクでまた会えるのを楽しみにしてるで。
ええ会話やったわ。わしも楽しかったで。ありがとう。
こちらこそ。ほな、また来週のシンクタンクでな。ええ一週間を。
コメント