13,025 文字
ねぇ、生物学的なニューラルネットワークと人工ニューラルネットワークの違いで、あんたにとって一番不思議で魅力的で意味深いのはどんなとこやねん。
まずな、生物学的なニューラルネットワークについて分からんことがめっちゃあるねん。それがめっちゃ不思議で魅力的やねんけど、人工ニューラルネットワークを改善するカギになるかもしれへんからな。
最近勉強したことの中で、生物学的なニューラルネットワークがどないしてるか分からんけど、人工ニューラルネットワークにめっちゃ役立つことがあんねん。それは、めっちゃ長い時間にわたってクレジット割り当てをする能力やねん。
原理的には人工ニューラルネットでできることやけど、あんまり便利ちゃうし、生物学的にもありえへんねん。この食い違いが面白いと思うねん。これを研究することで、a) 脳がどないしてるんかをもっとよう理解できるかもしれへん。だって、人工ニューラルネットではええ対応する理論がないからな。b) 脳が違うようにやってることについて新しいアイデアが出てくるかもしれへん。それを人工ニューラルネットに取り入れられるかもしれへんしな。
ほな、クレジット割り当てについてもうちょい詳しく話そか。めっちゃ技術的な用語やけど、いろんなことを含んでるかもしれへんな。RNNのメモリーの方に近いんか、それとも時間をかけて常識的な知識を積み上げていくことに近いんか、はたまた強化学習の意味で、特定の目標を達成するために時間をかけて報酬を積み上げていくことに近いんか。
最初の2つの意味を考えてたんやけどな。脳にはいろんな種類の記憶、エピソード記憶みたいなんを保存してるやろ。それを後で使って、今観察してることの原因を推論したり、ちょっと前に出した決定や解釈にクレジットを割り当てたりできるねん。そして、過去に反応したり解釈したりした方法を変えられるんや。それが学習に使われるクレジット割り当てやねん。
人工ニューラルネットワーク、今のLSTMとか現在のアーキテクチャが、おそらくめっちゃ長期的なものを捉えられへんと思ってるんやけど、どないやと思う？
今のリカレントネットは、数十から数百のタイムステップのシーケンスに対してはまあまあうまくやれてるんやけど、何を覚えなあかんかとかによって、長い期間になればなるほど難しくなってくねん。一方で人間は、ほぼ無制限の時間にわたってクレジット割り当てができるみたいやねん。例えば、去年やったことを思い出して、新しい証拠を見たから去年の考え方を変えて、同じ間違いを二度とせえへんようにするみたいな感じやな。
それの大部分は、たぶん忘れることやと思うわ。本当に大事なことだけを覚えてる、めっちゃ効率的な忘却やねん。
そうやな。覚えることの選択があるんやな。ここで、高次の認知機能との面白いつながりがあると思うねん。意識とか決定、感情とかに関してな。何が意識に上がってきて、何が記憶に保存されるかを決めることは、簡単なことちゃうねんで。
あんたは、ニューラルネットワーク、ディープニューラルネットワークが人工知能の分野でできることのすごさを示す最前線におったわけやな。いろんなアプリケーションでめっちゃすごいことができるようになってきたけど、それについてはずっと話し続けられるわ。でも、未来のことを考えるなら、あんたから見て、ディープニューラルネットワークが世界を表現する方法の一番弱いところはどこやと思う？何が足りてへんと思う？
今の最先端のニューラルネットは、大量の画像やテキストで訓練されてるから、それらのデータセットを説明するある程度の理解はあるねん。でも、それはめっちゃ基本的で低レベルなもので、人間の理解ほど頑健で抽象的で一般的やないねん。
これじゃあ、どないして直せばええかは分からへんけど、ニューラルネットの訓練の仕方を変えて、例えば因果関係の説明に焦点を当てるようにせなあかんかもしれへんな。今のニューラルネット訓練ではそないなことはやってへんけどな。
今日の午後の講演で話すけど、画像や動画と、テキストを別々に学習するんじゃなくて、言語と、それが指す世界について一緒に学習する方法をもっとうまくせなあかんねん。そうすれば、両方がお互いを助け合えるようになるんや。
ニューラルネットが文章を本当に理解するには、世界についてのええモデルを持ってなあかんねん。そして、言語入力があれば、ニューラルネットの上位レベルで表現されるべき高レベルの概念、意味的な概念についてのヒントを提供できると思うねん。
実際、完全に教師なし学習で表現を学習しても、教師あり学習で得られるような強力な高レベル表現は生まれへんっていう証拠があるんやで。
それってアーキテクチャの問題なんか、それともデータセットの問題なんやろか。
どっちでもないな。
そこで終わりたいところやけど、もちろんデータセットやアーキテクチャはいつも弄りたくなるもんやけどな。でも、一番大事なんは訓練の目的や枠組みやと思うねん。
例えば、データを受動的に観察するだけやなくて、世界に介入して因果関係を学ぶような、もっと能動的なエージェントに変えていくとかな。
今はないけど、最高レベルの説明を学習から引き出すのに重要かもしれへん目的関数とか、正しい種類の探索に報酬を与えるような目的関数とかな。
こういう問題はデータセットやアーキテクチャの問題やなくて、どんな目的のもとでどないやって学習するかっていう問題なんやで。
あんたはいろんな文脈で、子供の学び方みたいなアイデアを出してきたよな。子供は世界の物体と相互作用して学んでるみたいで、それがめっちゃ面白いと思うねん。強化学習の一部の場合を除いて、そのアイデアは人工ニューラルネットワークの学習プロセスにはほとんど含まれてへんねんな。
あんたは、例えばこの物体をこんな風に突いてみたら、もっと学習が進むかもしれへんって言うような目的関数みたいなもんを想像してるんか？学習のある側面を導くみたいな感じやな。
そうやな。ちょうど1時間前にレベッカ・サックスと話してたんやけど、幼児がはっきりと興味のあることに集中的に注目してるっていう証拠がめっちゃあるらしいねん。受動的な学習者やないんや。世界の中で一番面白くて、ありきたりやない方法で驚きをもたらすような側面に注目するんやって。それによって、世界についての理論を変えていくんやな。これは未来の進歩についてのめっちゃ面白い見方やと思うわ。
もうちょっと退屈な質問かもしれへんけど、もっと深くて大きくするってのはどう思う？この数年でめっちゃ大きくなってきたもんをもっと大きくすることで、大きな進歩が見込めると思う？さっき言うてた表現の問題、抽象化の意味で浅いって言うてたやつな。
ネットワークの深さを増やすこと、例えば100層を1万層にするってことで問題が解決するとは思えへんな。
それはあんたにとって明らかなことなん？
エンジニアや企業、研究室、院生たちがアーキテクチャを調整して、いろんな工夫を探って、現在の最先端技術をちょっとずつ改善し続けるってのは分かってるわ。でも、それだけじゃ全然足りへんと思うねん。
学習者が環境を深く理解するっていう目標を達成するには、学習の考え方をかなり抜本的に変える必要があると思うわ。
でも、もっと面白い質問をしようとしてたんやと思うわ。相互作用を通じて学習する方法を見つけたら、その情報を保存するのにどれだけのパラメータが必要になるんやろか。脳はほとんどのニューラルネットワークよりもかなり大きいよな。
あー、そういうことか。分かったわ。世界についての幅広い知識を持つニューラルネットを作るには、たぶん今我々が持ってる計算能力じゃ足りへんと思うわ。
でもな、ええニュースがあるねん。ハードウェア企業がニューラルネット用のチップを作ってるから、どんどんよくなっていくはずやねん。
でも、ええニュースでもあり悪いニュースでもあるのは、最先端のディープラーニング手法でさえ、めっちゃ単純な環境、例えば我々が作ったグリッドワールドみたいなんでも、理解するモデルを学習できへんねん。
もちろん、十分な例を与えて訓練すれば最終的にはできるようになるんやけど、人間やったら数十の例で済むところを、これらのシステムは何百万もの例が必要になるんや。めっちゃ単純なタスクでもな。
だから、Googleみたいな計算能力がない学者にも、めっちゃ重要で面白い研究をして最先端技術を進歩させるチャンスがあると思うねん。シンプルで人工的な環境でも、今の機械学習では失敗するような環境で、訓練の枠組みや学習モデル、エージェント学習を進歩させる研究ができるんやで。
事前知識と常識的な知識について話してきたけど、人間は多くの知識を当たり前のように扱ってるみたいやな。この事前知識、世界についての広い見方、情報の蓄積についてどう思う？そして、ニューラルネットワークや学習システムにその知識を身につけさせるにはどうしたらええと思う？
知識っていうのはな、80年代くらいに人工知能の分野で知識表現、知識獲得、エキスパートシステムっていう面白い問題群があったんや。シンボリックAIの見方やったんやけど、ちょっと保留になってもうた感じやな。だって、うまくいかへんかったからな。
でも、その目標は今でも重要やねん。その目標をどないやって達成できると思う？
まず、古典的なエキスパートシステムのアプローチが失敗した理由の1つは、我々が持ってる知識の多くが意識的にアクセスできへんからやと思うねん。常識や直感について話してたけど、こういう種類の知識はめっちゃ多いねん。
ええ決定を下すのに必要な知識の多くは、説明できへんねん。時々話をでっち上げることはあるけどな。この知識は、機械がええ決定を下すのにも必要やけど、エキスパートシステムやルールベースのシステム、コスト・ヤーイア形式主義では表現しにくいねん。
もちろん、古いAIには他にも問題があってな。例えば、不確実性をうまく扱う方法がなかったとかな。
もっと微妙なことやけど、今はもっとよう分かってるけど、まだ十分に理解されてへんことがあるねん。分散表現から生まれる力やねん。これがニューラルネットをめっちゃうまく機能させてるんやけど、シンボリックの世界ではその力を再現するのが難しいねん。
エキスパートシステムとかの知識はルールの集まりみたいにうまく分解されてるけど、ニューラルネットを考えると正反対なんや。ニューラルネットは、ネットワークが知ってることを全部表現するためにパラメータの大きな塊が密接に協力して働いてるんやけど、十分に因子分解されてへんねん。
これは今のニューラルネットの弱点の1つやと思うねん。古典的なAIから教訓を学んで、言語とかルールによくある別の種類の合成性を取り入れなあかんのやけど、ニューラルネットにはそれがあんまりないんや。
そういう考え方でいくと、分離された表現についてちょっと話してもええか？
ええで、分離された表現と関連付けてみるわ。
長年、めっちゃ重要やと思ってて、今でもそう信じてるんやけど、学習アルゴリズムを開発せなあかんねん。教師なしでも教師ありでも、強化学習でもええんやけど、大事な要素、できれば因果要素がきれいに分離されて、表現から簡単に取り出せるような表現を構築するアルゴリズムやねん。
これが分離された表現のアイデアなんや。データを、全てが簡単になる空間に変換するっていうことやな。そうすれば、気にしてることについて線形モデルで学習できるかもしれへんねん。
これはまだ重要やと思うけど, 古典的なAIシステムが思い出させてくれる大事な要素が抜けてると思うねん。
例えば、分離された表現を持ってるとしても、変数間の関係についてはまだ学ばなあかんねん。これらの高レベルの意味的な変数は独立してへんやろ。これは仮定しすぎやと思うわ。将来を予測したり過去を説明したりできるような面白い関係があるはずやねん。
古典的なAIシステムでは、そういう関係についての知識はルールにエンコードされてるんや。ルールは、2つか3つか4つの変数が面白い方法で結びついてるっていう小さな知識の断片みたいなもんやねん。そうすれば、他のいくつかが与えられたときに、1つか2つについて何か言えるんや。
表現の要素を分離するだけやなくて、それらの変数を互いに関連付ける仕組みも分離せなあかんねん。ルールみたいなもんやな。
ルールはきれいに分離されてて、各ルールは独立して存在してるんや。ルールを学習して変更しても、他のルールを壊す必要はないねん。
一方で、今のニューラルネットは、破滅的忘却って呼ばれるものにめっちゃ敏感なんや。何かを学習した後で新しいことを学ぶと、前に学んだことを破壊してしまう可能性があるねん。
知識がもっとよく因子分解されて分離されてたら、そういうことの多くは避けられるはずやねん。
感覚領域、ピクセル空間ではこれはできへんけど、でも私のアイデアは、データを正しい意味空間に投影すれば、入力から表現への変換を超えた追加の知識を表現することが可能になるっていうことなんや。表現がどのように互いに作用し合って未来を予測するかとかな。それをきれいに分離できる方法でね。
そうすれば、ルールが互いに分離されるだけやなくて、変数も互いに分離されるんや。
あんた、意味空間とピクセルのような空間を区別してるよな。アーキテクチャに違いがあるべきやと思う？
そうやな。ピクセルみたいな感覚空間があって、そこではすべてが絡み合ってるねん。変数みたいな情報がめっちゃ複雑な方法で相互依存してるんや。
計算も同じやねん。変数だけやなくて、それらがどう関係してるかもすべて絡み合ってるんや。
でも、私は正しい高レベルの表現空間では、変数とそれらの関係の両方が分離できるって仮説を立ててるんや。それによって、めっちゃ強力な一般化能力が得られると思うねん。
一般化能力か。テストセットの分布は訓練セットの分布と同じやと仮定されてるよな。
そこが今の機械学習の弱点なんや。新しい分布にどないやって一般化するかについて何も言えへんねん。
人々は、新しい分布が何になるか分からへんのに何が言えるんやって思うかもしれへん。でも実際のところ、人間は新しい分布に一般化できるんや。我々はどないやってそれができるんやろか。
これらの新しい分布は、表面的にはめっちゃ違って見えるかもしれへんけど、共通点があるからなんや。
具体的な例を挙げるわ。SF小説を読むとするやろ。SF小説は別の惑星に連れて行ってくれて、そこではものごとが表面的にはめっちゃ違って見えるかもしれへん。でも、物理法則は同じなんや。
だから本を読んで、何が起こってるか理解できるねん。分布はめっちゃ違うけど、地球での因果関係や物理的なメカニズム、そして社会的な相互作用についての知識の多くを応用できるから、この新しい惑星で何が起こってるのか理解できるんや。
そのアナロジーをもうちょっと進めて歪めてみるわ。SF世界に入ってみよか。例えば「2001年宇宙の旅」のHALとか、AIコミュニティの外でも多くの人が好きな「エクス・マキナ」とかな。あんた、見たことあるか？
ああ、見たで。好きなところと嫌いなところがあるわ。
ほな、その映画について好きなところと嫌いなところを教えてもらえへんか。それについて、ちょっと質問したいことがあるねん。
人工知能の実存的脅威を懸念してる人たちがおるやろ。いろんなバックグラウンドの人たちが、AIコミュニティの外からも来てるんやけど。あんたはこのコミュニティが時間とともに発展していくのを見てきたわけやな。そやから、ある視点を持ってると思うねん。
AIの安全性について、AIコミュニティの内外で議論する最善の方法はどんなんやと思う？「エクス・マキナ」が一般の人々にとってAIについての主な情報源の1つになってるっていう事実を踏まえて考えてほしいんやけど。
あんたの言う通りやと思うわ。AIコミュニティ内での議論と、一般の人々にとって本当に重要な議論には大きな違いがあるんやな。
ターミネーターみたいな絵とか、AIが暴走して人を殺すとか、何をしてもダメにしてしまうスーパーインテリジェンスみたいな話は、一般の人々の議論にはあんまり役立たへんと思うねん。
一般の人々の議論で本当に大事なのは、AIが社会に与える短期的・中期的な悪影響やと思うわ。例えば、セキュリティの問題、顔認識を使ったビッグブラザーのシナリオとか、自律型兵器とか、労働市場への影響とか、権力の集中や差別の問題とかな。
これらの社会問題の中には、実際に民主主義を脅かす可能性のあるものもあるんやで。
ちょっと確認させてもらうけど、キラーロボットって言うたんは自律型兵器システムのことやよな？ターミネーターのことやないよな？
そうや、自律型兵器システムのことや。ターミネーターやないで。
これらの短期的・中期的な懸念は、一般の人々の議論の重要な部分になるべきやと思うねん。
一方で、実存的リスクについては、めっちゃ起こりにくいと思うけど、それでも学術的な調査には値すると思うわ。隕石が地球に衝突して破壊するかもしれへんから研究すべきかって言うのと同じような感じやな。
これが起こる可能性はめっちゃ低いし、少なくとも近い将来に起こる可能性は低いと思うわ。AIが暴走するっていうシナリオは、少なくとも現在の機械学習や現在のニューラルネットに関する私の理解とは相容れへんねん。
でも、もちろん水晶玉を持ってるわけやないし、50年後のAIがどうなってるか誰も分からへんからな。だから、科学者がこういう問題を研究するのは価値があると思うわ。ただ、私にとってはそんなに急を要する問題やないと思うねん。
ほな、その線でもうちょっと質問させてもらうけど、「エクス・マキナ」っていう映画について、好きなところと嫌いなところを教えてもらえへんか。私も2回目に見たときはもっと楽しめたんやけど、1回目は嫌いやったんや。ある部分を受け入れられるようになってから楽しめるようになったんやな。あんたはどんな経験したん？どう思う？
マイナス面は、科学の描き方がめっちゃ間違ってるねん。科学一般もAIも特にな。科学は隠れた場所で、めっちゃ頭のええ人が1人でやってるもんやないねん。これはめっちゃ非現実的や。
1人どころか、チームが孤立した場所でやってるってのも違うねん。科学は小さな一歩ずつ進んでいくもんで、大勢の人々が協力し合って、交流しながら進めていくもんなんや。
その分野の専門家である科学者たちは、産業界の研究所で何が起こってるかでも知ってるねん。情報は流れるし、漏れるしな。
そして、その精神は映画で描かれてるのとはめっちゃ違うねん。
ほな、その点についてもうちょっと聞かせてもらうわ。これまでのところ、GoogleやFacebookみたいな企業の中で研究が行われても、結局は外に出てくるってことやったよな。
そうや、絶対にな。
それがいつもそうやと思う？アイデアを完全に秘密にして、一般の研究コミュニティには全く知られへんような画期的な発見があるってことはあり得へんと思う？
可能やけど、ありそうにないな。
ありそうにないんか。今はそうやってへんし、予見できる将来でもそうなるとは思えへんねん。でももちろん、水晶玉を持ってるわけやないから、誰にも分からへんな。結局これはSFやからな。
でも、普通はそないにはならへんねん。
あかん、その話してる間に電気が消えてしもうた。
もう一度言うけど、映画の問題は、SF小説みたいにいろんなことを想像できるってことやねん。でも、こういう映画が実際の科学やその進め方についてめっちゃ間違ったイメージを与えてしまうのが問題なんや。
それが人々の現在の科学に対する理解に悪影響を与える可能性があるのが残念やねん。
研究には大事な原則があるんや。それは多様性やねん。つまり、研究はアイデアの空間を探索することなんや。違う人が違う方向に集中するっていうのは、ええだけやなくて必要不可欠なんやで。
私と意見が違ったり、直交してるように見える方向を探索する人がおっても、全然構わへんし、むしろ大事やと思うねん。
私や私の仲間が普遍的な真理を主張してるわけやないし、特に未来に何が起こるかについてはな。
でも、もちろん直感はあるし、それに従って行動するねん。我々が一番役立てると思うところや、社会が一番得るものが大きいか失うものが大きいと思うところで行動するんや。
そういう議論はせなあかんし、研究に1つの声や1つの考え方しかない社会にはならんようにせなあかんねん。
研究資金は分散してるから、意見の不一致はええ研究、ええ科学の証やねん。
人間的な意味でのバイアスっていう考え方があるやろ。機械学習に人間の価値観に沿ったバイアスをどないやって組み込むと思う？
人間は直感的にバイアスがどういう意味か、他の人間に対する基本的な敬意がどういうもんかって分かってるやろ。でも、それを機械学習システムにどないやって組み込むと思う？
そやな、短期的にできることと長期的にせなあかんことがあると思うわ。
短期的には、既にいくつかの技術が提案されてて、これからもどんどん改善されていくと思うねん。他の選択肢も出てくるかもしれへん。
例えば、バイアスがあるって分かってるデータセットがあるやろ。人間が観察されて決定を下してるようなデータセットにはほぼ間違いなく、特定のグループに対する何らかのバイアスや差別があるんや。
そういうデータセットを使って、機械学習の技術でバイアスの少ない予測器や分類器を作ろうとしてるねん。例えば、敵対的な方法を使って、敏感であってはいけない変数に対してシステムの感度を下げるとかな。
これらは、問題に対処するためのはっきりとした、よく定義された方法やねん。もちろん弱点もあるし、もっと研究が必要やけどな。でも、実際には十分成熟してて、政府が企業に規制をかけ始めてもええくらいやと思うわ。
特に大事なところ、例えば保険会社とかにな。これらの技術を使うように強制せなあかんと思うねん。だってこれらの技術はバイアスを減らすけど、その代わりに予測の精度が下がる可能性があるからな。だから、企業は強制されへんかぎりやろうとせえへんのや。
これが短期的なことやけど、長期的には、コンピューターに道徳的価値観をどないやって組み込むかを考えるのがめっちゃ面白いと思うねん。もちろん、これは今後5年か10年で達成できることやないけどな。
例えば、既に画像や音声、テキストから感情を検出する研究があるやろ。それに、異なるエージェントが異なる方法で相互作用するパターンが、例えば不正義に対応してるかもしれへんし、それが怒りを引き起こす可能性もあるねん。
これらは中期的にできることやと思うわ。そして最終的には、例えば人間がどないやって感情的に反応するかをモデル化するようにコンピューターを訓練できるかもしれへん。
一番シンプルなのは、不公平な状況が怒りを引き起こすってことやと思うわ。これは他の動物とも共有してる最も基本的な感情の1つやねん。
次の数年以内にこれを実現するのはかなり可能やと思うわ。残念ながら、周りの世界について十分に理解できるようになるまでにはまだまだ時間がかかるけどな。
でも、最初は仮想環境でできるかもしれへんな。例えば、エージェントが相互作用するビデオゲームみたいなもんを想像してみてな。そこで、ある状況が感情を引き起こすようなんを作れるかもしれへん。
機械にそういう状況を検出させて、人間がキャラクターの1人をプレイしてたら、特定の感情を感じる可能性が高いって予測させることはできると思うわ。
あんたは教師あり学習にめっちゃ興味を示して、すばらしい仕事をしてきたよな。でも、教師あり学習の文脈で、人間とロボットが協力するプロセス、つまりアノテーションのプロセスについてどう思う？
もっと面白い言い方をすると、人間が機械に教えるってことやな。これについてどう考えてる？
そうやな、それは大事なテーマやと思うわ。アノテーションに単純化するのは、明日システムを作ろうとしてる人には役立つかもしれへんけど、長期的に見ると、教えるプロセスはもっと注目に値すると思うねん。
機械学習のコミュニティからもっと注目を集めるべきやと思うわ。「機械教育」って言葉を作った人もおるねん。学習エージェントを教える良い戦略って何やろか。教える側のシステムを設計したり訓練したりできるやろうか。
私のグループでは「ベビーAI」とか「ベビーAIゲーム」っていうプロジェクトがあってな。これは学習エージェントと教えるエージェントがおるゲームやシナリオなんや。
最終的には教えるエージェントは人間になるはずやけど、まだそこまでいってへんねん。教える側の役割は、環境についての知識を使って、学習者ができるだけ早く学べるように手伝うことなんや。
その知識はどんな方法でも、力づくでもええから獲得できるんやけどな。
学習者は探索とかを使って学ぼうとするけど、教える側は学習者との相互作用に影響を与えられるねん。学習者を導いたり、学習者が一番苦手なことを教えたり、知ってることと知らへんことの境界にあるようなことを教えたりできるんや。
こういうアイデアには他の分野からの伝統もあるねん。チュートリアルシステムとかAIの分野やな。もちろん、人文科学の人たちもこういう問題について考えてきたけど、機械学習の人たちがこれを見る時期が来たと思うわ。
将来的には、人間が介在する人間と機械の相互作用がどんどん増えていくやろ。これをうまく機能させる方法や、その周りの問題を理解することはめっちゃ面白いし、まだ十分に取り組まれてへんと思うねん。
あんたは言語の研究もたくさんしてきたよな。伝統的に定式化されたチューリングテスト、つまり自然言語理解と生成のテストで、あんたから見て会話の中で一番難しい部分はどこやと思う？
そうやな、言語以外の知識に関わることすべてやと思うわ。文章を理解するのに暗黙のうちに必要な知識やな。
ウィノグラードスキーマみたいなもんがええ例やと思うわ。意味的にあいまいな文やねん。つまり、世界についてよう理解してなあかん。そうせんと、それらの文を正しく解釈できへんのや。
これらは機械学習にとって面白い課題やと思うわ。世界がどう機能してるか、世界の因果関係を理解するシステムを作る方向を指し示してるからな。そして、その知識を言語でどう表現するかを関連付けるんや。読むときも書くときもな。
あんた、フランス語喋れるんやろ？
そうや、母語やねん。
ロマンス言語の1つやな。チューリングテストに合格することと、今話した根本的な課題は言語に依存すると思う？フランス語の方が英語よりも簡単かもしれへんと思う？
いや、言語には依存せえへんと思うわ。どんな言語を使う人間のエージェントからでも、同じ原則や同じ学習メカニズムを使って学べるシステムを作りたいねん。
確かに、人間はある言語の方が他の言語よりも美しく滑らかに、複雑なアイデアを詩で表現しやすいかもしれへんな。私はロシア語が元々やから、ロシア語の詩の方が英語よりも複雑なアイデアを伝えやすいかもしれへんって思うけど、それは私の偏見かもしれへんな。
フランス語についても同じことを言う人もおるかもしれへん。でも、最終的な目標は、人間の脳がどんな言語でも道具として使えるってことやねん。意味を伝えるためにな。
もちろん、言語間には違いがあって、ある言語の方が特定のことに少し向いてるかもしれへん。でも、大局的に見て、脳がどう機能してるか、言語がどう機能してるかを理解しようとしてる我々にとっては、これらの違いはごくわずかやと思うわ。
あんた、ある意味AIの冬を経験してきたよな。どないやって暖かく過ごしてきたん？研究を続けられたんや？
友達と一緒にやな。友達と一緒に。
友達を持つのは大事なんやな。この経験から何を学んだ？
自分の内なる声に耳を傾けることやな。ただ群衆や流行に合わせようとせんことや。何かについて強い直感があって、実際の証拠に矛盾してへんなら、それを追求せなあかんねん。
もちろん、人々に矛盾されることはあるかもしれへんけど、自分の知ってることすべてに基づいた直感は大切にせなあかんねん。
もちろん、実験結果が信念と矛盾したら、その信念は修正せなあかんけどな。でも、そうでなければ信念を守らなあかんのや。そうせんと、あの時期を乗り越えられへんかったし、時間がかかっても実を結ぶまで粘り強く続けられへんかったと思うわ。
AIの歴史は、もちろん技術的なブレークスルーで彩られてるけど、コミュニティの想像力をかき立てるような画期的な出来事でも彩られてるよな。最近では、AlphaGoが人間の世界チャンピオンを倒したのがそういう瞬間の1つやったと思うわ。次のそういう瞬間はどんなんになると思う？
まず言っておきたいのは、そういういわゆる画期的な出来事は過大評価されてると思うねん。前も言うたけど、科学は小さな一歩で進んでいくもんなんや。
でも、そういう小さな一歩を1つ積み重ねると、バケツを満たす最後の一滴みたいになって、劇的な結果をもたらすことがあるねん。
今までできへんかったことができるようになったり、何かの問題を解決したり装置を作ったりするコストが、既存のものよりも安くなって、新しい市場が開かれたりするんや。
特に商業や応用の世界では、小さな科学の進歩が大きな影響を与えることがあるねん。でも、科学そのものでは、めっちゃゆっくりで段階的なもんやと思うわ。
今、どこでそういう一歩が踏み出されてるんやろか。
教師あり学習はもちろんやけど、私のコミュニティで見てるトレンドで1つ好きなのがあるねん。
例えば、私の研究所のMILAでは、今一番ホットなトピックは何やと思う？GANsと強化学習なんや。特にモントリオールでは、強化学習は2、3年前までほとんどなかったのに、今では学生たちがめっちゃ興味を持ってるし、私みたいな人間も大きな興味を持ってるねん。
これは、まだ実際の産業への応用はそれほどもたらしてへんけど、長期的に見るとめっちゃ重要やと思うわ。AlphaGoはあるけど、Googleはまだこれで金儲けしてへんしな。
でも長期的に見ると、いろんな理由でめっちゃ重要になると思うねん。
言い換えると、エージェントっていうか、もっと一般的に言うと強化学習やな。必ずしも報酬が必要ってわけやないし、エージェントが環境について学ぶ方法はいろいろあるからな。
強化学習に興味があるんやな。GANsが何か画期的なものをもたらすと思う？
そうやな、GANsや他の生成モデルは、世界を理解できるエージェントを作る上で重要な要素になると信じてるわ。
過去の強化学習の成功の多くは、方策勾配を使ってきたんや。これは単に方策を学習するだけで、実際には世界のモデルを学習せえへんのや。
でもこれにはいろんな問題があって、今のところモデルベースの強化学習のやり方は分かってへんねん。でも、これこそが我々が進むべき道やと思うわ。
新しい分布にもっと早く、もっとうまく一般化できるモデルを作るにはな。少なくとも、世界の根本的な因果メカニズムをある程度捉えられるようなモデルをな。
最後の質問や。あんたを人工知能に惚れさせたものは何やった？振り返ってみて、人間の心や人工の心に魅了された最初の瞬間はいつやった？
そうやな、子供の頃、めっちゃ本を読んでたんや。そしたら、SFを読み始めてな。
ほら、そこや！そうや、そこからハマってしもうたんや。それから、最初のパソコンの1つを手に入れて、プログラミングにハマってしもうてな。
フィクションから始まって、それを現実にしていくってことやな。
ヨシュア、今日はありがとうな。めっちゃ楽しかったわ。
こちらこそ楽しかったで。
コメント