この動画は、ロシアで起きた数学者同士の論争から生まれたマルコフ連鎖という概念が、核爆弾の開発、Googleの検索アルゴリズム、そして現代の大規模言語モデルに至るまで、いかに世界を変えてきたかを解説している。1905年のロシア革命時代、確率論の権威ネクラソフと無神論者マルコフが「独立性」の概念を巡って激しく対立し、この論争からマルコフが依存関係のある事象でも確率論が成り立つことを証明したマルコフ連鎖が誕生した。この理論は後にマンハッタン計画での中性子挙動シミュレーション、モンテカルロ法の開発、そしてGoogleのPageRankアルゴリズムという兆ドル規模の技術革新へと発展していく壮大な数学史である。
ロシアの数学論争から生まれた革命的理論
トランプのカードを完全にランダムにするには何回シャッフルしたらええんやろか？核爆弾を作るのにウランはどれくらい必要やねん？文章の次の単語をどうやって予測するんや？そしてGoogleはどうやって君が実際に探しとるページを分かるんやろか？
実は、これら全部の答えが分かるのは、100年以上前にロシアで起きた奇妙な数学論争のおかげなんや。
1905年、ロシア全土で社会主義グループがツァーリ、つまり帝国の支配者に対して蜂起したんや。彼らは完全な政治改革か、それが無理やったらツァーリが完全に権力を手放すことを要求した。
これで国が真っ二つに分かれてしもたんや。一方にはツァーリ派がおって、現状維持でツァーリを権力の座に留めとこうとした。もう一方には完全な政治改革を望む社会主義者がおった。この分裂はめちゃくちゃひどくて、社会のあらゆる部分に入り込んで、ついには数学者までもが陣営を選ぶようになったんや。
確率論の権威vs無神論の数学者
ツァーリ側についたのはパベル・ネクラソフ、非公式に「確率のツァーリ」と呼ばれとった男や。
ネクラソフは深く宗教的で力のある男で、数学が自由意志と神の意志を説明するのに使えるって主張するために自分の地位を利用したんや。
社会主義側の彼の知的宿敵は、アンドレイ・マルコフ、別名「怒れるアンドレイ」やった。マルコフは無神論者で、厳密性に欠ける人間、つまり彼の目にはネクラソフがそう映っとったんやが、そういう連中に対しては全く我慢ならんかった。なぜなら、彼の考えでは数学は自由意志や宗教とは何の関係もないからや。
それでマルコフはネクラソフの研究を公然と批判して、「数学の濫用」の一例として挙げたんや。彼らの論争は、過去200年間人々が確率を扱うのに使ってきた主要なアイデアを中心にしとった。
これを簡単なコイン投げで説明できるわ。コインを10回投げたら、表が6回、裏が4回出た。これは明らかに期待される50対50やない。
でもコインを投げ続けると、最初は比率があちこち飛び回る。しかし大量に投げた後、ゆっくりと落ち着いて50対50に近づいていくのが見える。この場合、100回投げた後、表51回、裏49回で終わって、これはほぼ期待通りの結果や。
この行動、つまり独立した試行を重ねるほど平均結果が期待値にどんどん近づいていくっていうのが、大数の法則として知られとるんや。これは1713年にヤコブ・ベルヌーイが最初に証明したもので、マルコフとネクラソフの時代まで確率論の中心的概念やった。
でもベルヌーイは、公正なコイン投げみたいな独立事象や、人にアイテムの価値を推測してもらう時みたいに、一つの事象が他に影響を与えへん場合にしか働かへんことを証明しただけやった。
でも今度は、各人に個別に推測を提出してもらう代わりに、人々に公の場で答えを叫んでもらうと想像してみい。
この場合、最初の人がそれは異常に価値のあるアイテムやと思って、2000ドルくらいの価値があるって言うかもしれん。でも今度は部屋の他の全員がこの値に影響されて、彼らの推測が依存的になってしまうんや。そうすると平均は真の値に収束せんで、代わりにもっと高い金額の周りに集まってしまう。
それで200年間、確率論は大数の法則を観察するには独立性が必要やっていう重要な仮定に依存しとった。そしてこれがネクラソフとマルコフの論争に火をつけたアイデアやったんや。
自由意志は測定できるのか？
ネクラソフはベルヌーイと同じく、大数の法則を得るには独立性が必要やって同意しとった。でも彼はもう一歩進んだんや。大数の法則が見られたら、根本的な事象は独立やったと推論できるって言ったんや。
1841年から1845年のベルギーの結婚統計の表を見てみい。毎年平均約29,000になっとるのが分かる。
それで値が収束しとるように見えて、従って大数の法則に従っとるように見える。ネクラソフが犯罪率や出生率みたいな他の社会統計を見た時も、似たようなパターンに気づいたんや。
でもこのデータが全部どこから来とるか考えてみい。結婚する決定、犯罪を犯す決定、赤ちゃんを作る決定、少なくとも大部分はそうや。
それでネクラソフは、これらの統計が大数の法則に従うから、それを引き起こす決定は独立やったはずやって推論したんや。言い換えれば、それらは自由意志の行為やったはずやって主張したんや。だから彼にとって、自由意志は単に哲学的なもんやなくて、測定できるもんやった。それは科学的やったんや。
でもマルコフにとって、ネクラソフは妄想にとらわれとった。数学的独立性を自由意志と結びつけるのは馬鹿げとると思ったんや。
それでマルコフは、依存事象も大数の法則に従うことを証明しようと決意して、依存事象でも確率論ができることを示そうとしたんや。
詩から生まれた数学的発見
これをするために、彼は一つの事象が明らかに前に起きたことに依存する何かが必要やった。そして彼はテキストでこれが起こるってアイデアを得たんや。次の文字が子音か母音かは、現在の文字が何かに大きく依存しとる。
これをテストするために、マルコフはロシア文学の中心にある詩、アレクサンドル・プーシキンの「エフゲニー・オネーギン」に向かったんや。
彼は詩の最初の20,000文字を取って、句読点とスペースを全部取り除いて、一つの長い文字列に押し込んだんや。文字を数えて、43%が母音、57%が子音やって分かった。
それからマルコフは文字列を重複するペアに分けて、4つの可能な組み合わせを得た。母音-母音、子音-子音、母音-子音、子音-母音や。
もし文字が独立やったら、母音-母音ペアの確率は単に母音の確率の二乗、つまり約0.18か18%のチャンスになるはずや。
でもマルコフが実際に数えてみると、母音-母音ペアは時間の6%しか現れへんかった。独立やった場合よりもずっと少ない。他のペアをチェックした時も、実際の値は全部独立の場合が予測するもんとは大きく違っとった。
それでマルコフは文字が依存的やってことを示したんや。
予測マシンの誕生
ネクラソフを打ち負かすには、これらの文字がまだ大数の法則に従うことを示すだけで十分やった。それで彼は一種の予測マシンを作ったんや。
まず二つの円を描いて、一つは母音用、一つは子音用にした。これらが彼の状態やった。母音におったとしたら、次の文字は母音か子音のどちらかになる可能性がある。それで彼はこれらの遷移を表すために二つの矢印を描いたんや。
でもこれらの遷移確率は何やねん？マルコフは、ランダムな開始点を選んだら、それが母音である確率は43%やって知っとった。母音-母音ペアが時間の約6%発生することも知っとった。それで母音から別の母音に行く確率を見つけるために、0.06を0.43で割って約13%の遷移確率を求めたんや。
そして次の文字が来る確率は100%やから、同じ状態から出る矢印は全部足して1になる必要がある。それで子音に行く確率は1から0.13を引いた87%や。彼は子音についても同じプロセスを繰り返して予測マシンを完成させたんや。
どう働くか見てみよう。母音から始める。次に、0と1の間でランダムな数を生成する。0.13より下やったら別の母音を得て、上やったら子音を得る。0.78を得たから子音を得た。それから別の数を生成して、0.67より上か下かをチェックする。0.21やったから母音を得る。
これを続けて、母音対子音の比率を追跡し続けることができる。最初は比率があちこち飛び回るが、しばらくすると安定した値に収束する。43%の母音と57%の子音、マルコフが手で数えたのと全く同じ分割や。
それでマルコフは依存システム、文字通りの事象の連鎖を構築して、それがまだ大数の法則に従うことを示したんや。これは社会統計での収束を観察することが、根本的な決定が独立やったことを証明せへんことを意味した。言い換えれば、それらの統計は自由意志を全然証明せへんのや。
マルコフはネクラソフの議論を粉砕して、それを知っとった。
それで彼は論文を宿敵への最後の一撃で終えたんや。「このように、確率をするのに自由意志は必要やない。」実際、確率をするのに独立性すら必要やないんや。
このマルコフ連鎖として知られるようになったもので、彼は依存事象で確率をする方法を見つけたんや。
現実世界への応用
これは大きなブレークスルーになるはずやった。なぜなら現実世界では、ほとんど全てが他の何かに依存しとるからや。明日の天気は今日の条件に依存する。病気の広がり方は今誰が感染しとるかに依存する。粒子の行動は周りの粒子の行動に依存する。これらのプロセスの多くがマルコフ連鎖を使ってモデル化できるはずやった。
人々はこれがマイクドロップの瞬間やと思って、「ああ、ネクラソフはアウト、マルコフがすごい」みたいになったんか？それとも人々は気づかへんかったんか、それとも曖昧やったんか？
人々は実際には気づかへんかったと思う。それほど大きなことやなかった。マルコフ自身も、それが実際の事象にどう応用されるかについてはあまり気にしてへんようやった。彼は書いた。「私は純粋な解析の問題にのみ関心がある。適用可能性の問題については無関心で言及する。」
彼は、この新しい形の確率論が20世紀の最も重要な発展の一つで大きな役割を果たすことになるとは知らんかったんや。
マンハッタン計画での革命的応用
1945年7月16日の朝、アメリカは世界初の核爆弾「ガジェット」を爆発させた。
6キログラムのプルトニウム爆弾は約25,000トンのTNTに相当する爆発を作り出した。これは極秘のマンハッタン計画の頂点で、J・ロバート・オッペンハイマー、ジョン・フォン・ノイマン、そしてスタニスワフ・ウラムという知られざる数学者を含む、生きとる中で最も賢い人々による3年間の努力やった。
戦争が終わった後でも、ウラムは核爆弾の中で中性子がどう振る舞うかを理解しようと続けとった。
核爆弾は大体こんな風に働く。ウラン235のコアがあるとして、中性子がU-235の核に当たると、核が分裂してエネルギーを放出し、重要なことに、さらに2つか3つの中性子を放出する。平均して、それらの新しい中性子が1つ以上の他のU-235核に当たって分裂させるなら、暴走連鎖反応が起きて核爆弾になる。
でもウラン235、爆弾に必要な核分裂燃料は本当に入手困難やった。それで重要な質問の一つは、爆弾を作るのにどれだけ必要かってことやった。これがウラムが中性子の振る舞いを理解したかった理由や。
病気から生まれたアイデア
でも1946年1月、全てが停止した。ウラムは突然深刻な脳炎、脳の炎症に襲われて、ほとんど死にかけたんや。
回復は長くて遅く、ウラムはほとんどの時間をベッドで過ごした。時間を潰すために、彼は簡単なカードゲーム、ソリテアをした。でも数え切れないゲームをして、勝ったり負けたりしとる中で、一つの質問が彼を悩ませ続けた。ランダムにシャッフルされたソリテアのゲームが勝てる確率はどれくらいや？
これは見かけによらず解くのが困難な問題やった。ウラムは52枚のカード全部で遊んで、それぞれの配置が独特のゲームを作る。それで可能なゲーム総数は52の階乗、つまり約8×10の67乗や。だから解析的に解くのは絶望的やった。
でもウラムにひらめきがあった。何百ものゲームをして、どれだけ勝てるかを数えたらどうや？それが答えの何らかの統計的近似を与えてくれるやろう。
ロスアラモスに戻って、残りの科学者たちはソリテアよりもずっと難しい問題、核心の中で中性子がどう振る舞うかを理解することと格闘しとった。核心の中には何兆もの中性子があって、全部が周囲と相互作用しとる。だから可能な結果の数は膨大で、直接計算するのは不可能に見えた。
でもウラムが仕事に戻った時、突然の洞察があった。ソリテアでしたみたいに、たくさんのランダムな結果を生成してこれらのシステムをシミュレートできたらどうや？
彼はこのアイデアをフォン・ノイマンと共有して、フォン・ノイマンはすぐにその力を認識したが、重要な問題も見つけた。
ソリテアでは、各ゲームは独立や。一つのゲームでカードがどう配られるかは次に影響せへん。でも中性子はそうやない。
中性子の振る舞いは、それがどこにあって、前に何をしたかに依存する。だからソリテアみたいにランダムな結果をサンプリングするだけではあかん。代わりに、各ステップが次に影響する事象の連鎖全体をモデル化する必要があった。フォン・ノイマンが気づいたのは、マルコフ連鎖が必要やってことやった。
モンテカルロ法の誕生
それで彼らは一つ作って、それの非常に単純化されたバージョンはこんな風に働く。
開始状態は核心を通って移動する中性子だけで、そこから3つのことが起こり得る。原子で散乱してそのまま移動し続ける。これは自分自身に戻る矢印を与える。システムを離れるか非核分裂物質に吸収される。この場合もう連鎖反応に参加せんので、マルコフ連鎖を終了する。または別のウラン235原子に当たって、核分裂事象を引き起こして、さらに2つか3つの中性子を放出し、それらが自分の連鎖を始める。
でもこの連鎖では、遷移確率は固定やない。中性子の位置、速度、エネルギー、そしてウランの全体的な構成と質量みたいなことに依存する。だから速く動く中性子は散乱する確率が30%、吸収されるか離れる確率が50%、核分裂を起こす確率が20%かもしれん。でも遅く動く中性子は違う確率を持つやろう。
次に、彼らはこの連鎖を世界初の電子コンピューター、ENIACで動かした。コンピューターはランダムに中性子の開始条件を生成して連鎖をステップスルーし、実行あたり平均でどれだけの中性子が生成されるかを追跡した。これは増倍率kとして知られとる。
だから平均して一つの中性子が別の二つの中性子を生成するなら、kは2に等しい。平均して二つの中性子ごとに三つの中性子を生成するなら、kは3の2分の1に等しい、という具合や。
それから、指定されたステップ数だけ完全な連鎖をステップスルーした後、平均k値を集めてその数をヒストグラムに記録する。
このプロセスを何百回も繰り返して、結果を合計して、結果の統計分布を得る。ほとんどの場合kが1より小さいと分かったら、反応は収まる。1に等しかったら、自己持続する連鎖反応があるが、成長せへん。kが1より大きかったら、反応は指数的に成長して爆弾ができる。
これで、フォン・ノイマンとウラムは正確な計算をせんでも、どれだけの中性子が生成されるかを統計的に理解する方法を手に入れた。言い換えれば、解析的に解くには難しすぎる微分方程式を近似できるようになったんや。
必要やったのは新しい方法の名前だけやった。ウラムの叔父はギャンブラーで、ランダムサンプリングと高い賭けがモナコのモンテカルロカジノを思い出させて、名前が定着した。
モンテカルロ法が生まれたんや。
この方法はめちゃくちゃ成功して、長い間秘密やなかった。1948年の終わりまでに、シカゴの別の研究所、アルゴンヌの科学者たちがそれを使って原子炉設計を研究した。そこから、アイデアは急速に広まった。
ウラムは後にこう述べた。「黒板への数回の走り書きが人間の営みの進路を変えることができるというのは、今でも私にとって尽きることのない驚きの源である。」
そしてそれはマルコフ連鎖ベースの方法が人間の営みの進路を変える最後の時やなかった。
インターネット革命とGoogle誕生
1993年、インターネットが一般に公開されて、すぐに爆発した。1990年代半ばまでに、毎日何千もの新しいページが現れて、その数は増え続けるだけやった。これは新しい種類の問題を作り出した。
この絶えず拡大する情報の海で、どうやって何かを見つけるんや？
1994年、スタンフォードの博士課程の学生2人、ジェリー・ヤンとデイビッド・ファイロが、この問題に対処するために検索エンジンYahooを設立したが、金が必要やった。それで1年後、日本の億万長者、日本のビル・ゲイツとしても知られる孫正義と会うことを取り決めた。
彼らは次のスタートアップのために500万ドルを調達しようとしとった。でも孫には他の計画があった。
彼は代わりに完全な1億ドルを投資することを申し出た。創設者が求めた20倍や。それでジェリー・ヤンは「そんなにいらん」と言って断ったが、孫は同意せんかった。「ジェリー、みんな1億ドルが必要や。」
創設者が応答する機会を得る前に、孫は再び飛び込んで聞いた。「君の最大の競合相手は誰や？」「ExciteとLycos」と二人は答えた。
孫は部下にその名前を書き留めるよう命じた。それから彼は言った。「もし君がYahooに投資させてくれへんなら、そのうちの一つに投資して君を殺すで。」
孫は何かに気づいとった。当時の主要検索エンジンはどれも優れた技術を持っとらんかった。他より技術的優位性があらへんかった。
どれも検索語が特定のページにどれだけ頻繁に現れるかでページをランク付けしとっただけや。だから一番の検索エンジンをめぐる戦いは、誰が最もユーザーを引きつけられるか、誰がマーケティングに最も金を使えるかで決まるやろう。
「Lycos、行け。」「Lycosを手に入れろ、さもなくば迷子になれ。」「これは革命や。」「Yahoo」
マーケティングには大金が必要で、孫が持っとった金や。だから彼が戦争の勝者を決められた。Yahooの創設者は、孫の投資を受け入れる以外に本当の選択肢がないことに気づいた。
「それで私たちはここにおる、Yahooの真ん中に。」
4年以内に、Yahooは地球上で最も人気のあるサイトになった。
「この文を言うのにかかる時間で、Yahooは世界中で79,000の情報要求に答える。二人の男は今それぞれ1億2000万ドルの価値がある。」「Yahoo」
でもYahooには致命的な弱点があった。Yahooのキーワード検索は騙すのが簡単やった。ページを高くランク付けしてもらうには、白い背景に白いテキストで隠してキーワードを何百回も繰り返すだけでよかった。
「初期にはなかったものの一つは、結果の品質という概念やった。だから関連性という概念、つまりこの文書は君が興味を持っとることについて話しとるかという概念はあった。でもどれがよりよいかという概念は実際にはなかった。」
彼らが本当に必要やったのは、関連性と品質の両方でページをランク付けする方法やった。
でもウェブページの品質をどうやって測るんや？それを理解するには、図書館からアイデアを借りる必要がある。
「私は図書館の本に紙のカードが入っとった時代を知っとるくらい古い。それは返却期限の日付が全部スタンプされたカードやった。本を取って、それにたくさんのスタンプがあったら、『ああ、これはきっといい本やな』と言った。何もなかったら、『まあ、これは最高の本やないかもしれん』と言った。」
スタンプは推薦みたいに働いた。スタンプが多いほど、本はよいはずや。そして同じアイデアがウェブにも適用できる。スタンフォードで、博士課程の学生2人、セルゲイ・ブリンとラリー・ペイジが、まさにこの問題に取り組んどった。
PageRankの革命
ブリンとペイジは、ページへの各リンクが推薦として考えられることに気づいた。そしてページが送り出すリンクが多いほど、各票の価値は下がる。だから彼らが気づいたのは、ウェブをマルコフ連鎖としてモデル化できるってことや。
これがどう働くかを見るために、4つのウェブページだけの玩具インターネットを想像してみい。Amy、Ben、Chris、Danと呼ぼう。これらが状態や。通常、一つのウェブページは他にリンクして、それらの間を移動できるようにする。
これらが遷移や。この設定では、AmyはBenにだけリンクするから、AmyからBenに行く確率は100%や。BenはAmy、Chris、Danにリンクするから、それらのページのどれかに行く確率は33%や。同じ方法で他の遷移確率も埋められる。
それでこのマルコフ連鎖を動かして何が起こるか見ることができる。この網でサーファーやと想像してみい。ランダムなページ、例えばAmyから始めて、マシンを動かし続けて各ページで過ごす時間の割合を追跡し続ける。時間がたつと、比率が落ち着いて、スコアがこれらのページの相対的重要性の何らかの尺度を与えてくれる。
Benで最も多くの時間を過ごすから、Benが1位にランクされて、Amy、Dan、最後にChrisが続く。システムを打ち負かす簡単な方法があるように見えるかもしれん。君のウェブサイトに全部リンクする100ページを作るんや。そうすると100の完全な票を得て、常に上位にランクされるやろう。でもそうやない。
最初の数ステップでは君のページが重要に見えるかもしれんが、他のウェブサイトはそれらにリンクせえへん。だから多くのステップを経ると、それらの貢献は問題にならへん。多くのリンクがあるかもしれんが、品質のリンクやないから、アルゴリズムに影響せえへん。
でもまだ一つ問題がある。全てのページが接続されとるわけやない。このようなネットワークでは、ランダムサーバーがループに引っかかって、ウェブの残りに決して到達できへんことがある。
これを修正するために、85%の時間はランダムサーバーが普通にリンクを辿るっていうルールを設定できる。でも約15%の時間は、ランダムなページにジャンプするんや。この減衰係数で、引っかかることなくウェブの全ての可能な部分を探索することが確実になる。
マルコフ連鎖を使って、ペイジとブリンはより良い検索エンジンを構築して、PageRankと呼んだ。
「ページがどう反応するか、ウェブページが互いにどう反応するかを話しとるからで、また創設者の名前がラリー・ペイジやから、彼がそれを忍び込ませたんや。」
PageRankで、Googleはずっと良い検索結果を得て、しばしば一回で探しとるサイトに連れて行ってくれた。でも、これをひどいアイデアやと思う人もおった。
「他の人は、『ああ、君は最初の答えで正しい結果を得る検索を教えてくれとるんか？まあ、それは欲しくない。なぜなら正しい答えを得るのに3回か4回の検索がかかるなら、広告を見せる機会が3回か4回ある。すぐに答えをくれたら、ただ失うだけや。だから、なぜより良い検索がより良いのか分からん』と言った。」
でもペイジとブリンは同意せんかった。自分たちの製品がはるかに優れとったら、人々がそれに殺到するって確信しとった。
「実際に機能する民主主義やと言えると思う。全てのページが平等やったら、誰でも好きなだけページを製造できる。明日私のサーバーに10億ページを設定できる。それら全部を平等に扱うべきやない。好奇心からデータを見ただけで、より良い検索をする技術があることが分かって、素晴らしい検索を持つことがどれほどインパクトがあるかに気づいたんや。」
それで1998年、彼らはYahooに挑戦するために新しい検索エンジンを立ち上げた。
最初は、分析した被リンクにちなんでBackRubと呼んどった。でもそれが最も魅力的な名前やないかもしれんことに気づいた。彼らの野望は大きくて、基本的にインターネット上の全てのページをインデックス化することやった。同じくらい大きな名前が必要やった。それで思いつく限り最大の数、10の100乗、googolを考えた。
でもドメインを登録しようとした時、間違ってスペルを間違えてしもた。それでGoogleが生まれたんや。
次の4年間で、GoogleはYahooを倒して最も使われる検索エンジンになった。
「インターネットを知っとる人はほぼ確実にGoogleを知っとる。」「Googleは10代にとって酸素みたいなもんや。」
そして今日、Googleの親会社であるAlphabetは約2兆ドルの価値がある。
「Googleがアルゴリズムでほんの少しでも変更を加えると、大きな影響を与えることがある。」「Google。」「Google。」「Google。」「Google。」「彼らは燃えとる。彼らが燃えとる理由は、彼らが集中しとるからで、検索をするYahooよりも集中しとるし、Bingで検索をするMicrosoftよりも集中しとる。」
「Yahooはたくさんのトラフィックを持っとる。いつもそうや。本当に素晴らしいプロパティがいくつかある。でもYahooが行くべき場所やとは思わん。」
そしてこの兆ドルアルゴリズムの中心にあるのはマルコフ連鎖で、現在の状態だけを見て次に何が起こるかを予測するんや。
言語モデルへの発展
でも1940年代に、情報理論の父であるクロード・シャノンが別の質問をし始めた。彼はマルコフの元のテキスト予測のアイデアに戻ったが、母音と子音を使う代わりに、個々の文字に焦点を当てた。そして彼は疑問に思った。予測子として最後の文字だけを見る代わりに、最後の2文字を見たらどうや？
それで、こんな風に見えるテキストを得た。
あまり意味をなさへんが、「whey」「of」「the」みたいな認識できる単語がいくつかある。でもシャノンはもっとうまくできると確信しとった。
それで次に、文字を見る代わりに、予測子として単語全体を使ったらどうやと疑問に思った。それがこんな文を与えた。「The head and in frontal attack on an English writer that the character of this point is therefore another method for the letters that the time of who ever told the problem for an unexpected.」
明らかに、これは何の意味もなさへん。でもシャノンは4つくらいの単語の連続は一般的に意味をなすことに気づいた。例えば、「attack on an English writer」は何となく意味をなす。
それでシャノンは、前の単語をもっともっと考慮に入れることで、次の単語が何になるかについてどんどん良い予測ができることを学んだ。Gmailが次に何を打つかを予測するのと似とる。
そしてこれは偶然やない。これらの予測をするアルゴリズムはマルコフ連鎖に基づいとる。
「彼らは必ずしも文字を使っとるわけやない。彼らはトークンと呼ぶものを使っとる。その一部は文字、一部は単語、句読点、何でもや。だからアルファベットだけより大きなセットや。ゲームは単純で、30の長さかもしれんトークンの文字列があって、次のトークンがこれかあれかあれかの確率はどれくらいかを聞いとるんや。」
でも今日の大規模言語モデルは、これらのトークン全部を平等に扱わへん。単純なマルコフ連鎖と違って、彼らはアテンションと呼ばれる何かも使って、モデルに何に注意を払うかを教える。
だから「the structure of the cell」という句では、モデルは血液やミトコンドリアみたいな前の文脈を使って、cellが監獄の房やなくて生物学を指す可能性が高いことを知ることができる。そしてそれを予測の調整に使う。
でも大規模言語モデルがより広まるにつれて、一つの懸念は、それらが生成するテキストがインターネットに載って、将来のモデルの訓練データになることや。
「それをし始めると、ゲームはすぐに終わる。この場合、非常に退屈で安定した状態に来て、同じことを何度も何度も永遠に言うだけになる。言語モデルはこのプロセスに脆弱や。」
システムの限界と可能性
このようなフィードバックループがあるシステムは、マルコフ連鎖を使ってモデル化するのが困難になる。例えば地球温暖化を取ってみい。大気中の二酸化炭素の量を増やすと、地球の平均気温が上がる。でも気温が上がると、大気はより多くの水蒸気を保持できるようになって、これは信じられないほど強力な温室効果ガスや。
そしてより多くの水蒸気で、気温がさらに上がって、さらに多くの水蒸気が可能になる。だから正のフィードバックループが得られて、次に何が起こるかを予測するのが困難になる。
だからマルコフ連鎖が働かへんシステムもあるが、他の多くの依存システムについては、確率をする方法を提供してくれる。
でも魅力的なのは、これらのシステム全部が非常に長い歴史を持っとることや。テキスト内の全ての文字を遡ったり、中性子がしたことの全ての相互作用を遡ったり、何週間もの天気を遡ることができる。でもマルコフや他の人が見つけた美しいことは、これらのシステムの多くで、ほとんど全てを無視できるってことや。
現在の状態だけを見て、残りは忘れることができる。それがこれらのシステムを記憶なしにする。そしてこの記憶なしの性質がマルコフ連鎖をとても強力にする。なぜならそれが、これらの非常に複雑なシステムを取って、大幅に単純化して、それでも意味のある予測をすることを可能にするからや。
ある論文が言ったように、「問題解決はしばしば適切なマルコフ連鎖を料理することや。」
「このような数学の基本的事実が、実際にはそれとは何の関係もない、あのような争いから出てくるってのは、私には何だか馬鹿げとる。でも全ての証拠は、ネクラソフを見せつけるというこの決意が本当にマルコフに仕事をさせたことを示唆しとる。」
カードシャッフルの謎
でもまだ答えてへん質問が一つある。ソリテアをする時、ウラムはどうやってカードが完全にシャッフルされとることを知ったんや？完全にランダムなカードの配置を得るのに何回シャッフルが必要なんや？
「カードデッキがあったら、シャッフルする必要があるやろ？シャッフルしとる時、半分に分けて、それからこれをする（カードをリフルする音）なら、どれくらいの頻度でシャッフルして完全にランダムにする必要があるんや？」
「2回。」「2回？私は26回でいく。」「うん、4回。」「4回？」「分からん、52回？」「オーケー。オーケー、悪い推測やない。」「7回？」「7回や。」「本当に？」「うん。だからカードシャッフルは、各デッキ配置が状態で、各シャッフルがステップであるマルコフ連鎖として考えることができる。」
「それで52枚のカードデッキの場合、リフルシャッフルを7回すると、デッキの全ての配置がほぼ同じ確率になって、基本的にランダムになる。でも私はそんな風にシャッフルできへん。だから私がするのはこうや。こんな風にシャッフルするのに何回必要やと思う？」
何やと思う？そしてもっと重要なのは、どうやってそれを計算するんや？それが今日のスポンサーBrilliantの出番や。
Brilliantは、まさにこのような問題に実際に取り組ませてくれる学習アプリや。数学、物理学、プログラミング、さらにはAIでも、Brilliantのインタラクティブなレッスンとチャレンジで、より鋭い心への道を遊ぶことができる。
基本的なマルコフ連鎖から複雑なニューラルネットワークまで、大規模言語モデルが実際にどう働くかを発見できる。またはこのシャッフルの質問の背後にある数学を掘り下げることもできる。
知識とスキルを構築して、あらゆる種類の問題を解決するのに役立つ楽しい方法や。それが私たちをシャッフルに戻す。それでキャスパー、実際の答えは何や？
「実際には2,000回を超える。」「何？」「2,000回を超える。」「クレイジーやろ？」「うん。」
だから次回誰かがゲーム前にシャッフルを申し出たら、正しくやっとることを確認しろ。7回のリフルか、そうやなかったらカウントされへん。
でも興味深い部分は、それを知ることだけやなくて、なぜかを理解して、簡単な質問がどうやって驚くほど複雑な数学に導くかを見ることや。そしてそれがBrilliantの全てや。
Brilliantが提供する全てを30日間無料で試すには、brilliant.org/veritasiumを訪れて、説明のリンクをクリックするか、この便利なQRコードをスキャンしてくれ。そして登録すると、年間プレミアム購読が20%オフになる。
Brilliantがこの動画をスポンサーしてくれたことに感謝したいし、見てくれた君にも感謝したい。
「簡単や。」
コメント