Extropicが初の熱力学的コンピューター「TSU(サーマルサンプリングユニット)」を発表した。この技術は、量子コンピューティングとは対照的に、トランジスタから漏れる自然なノイズを計算メカニズムの一部として活用する革新的なアプローチである。動画では、TSUシミュレーターを使用して数独パズルや8クイーン問題を解く実演を通じて、従来の逐次的な推測と検証を必要とせず、制約条件をプログラムすることで一度に解を導き出す仕組みを解説している。この技術は、タンパク質折り畳み問題や核融合におけるプラズマ閉じ込め制御など、最適化問題全般に応用可能であり、GPT-2が生成AIの先駆けとなったように、熱力学的コンピューティングが次世代の計算パラダイムの幕開けとなる可能性を示唆している。
ExtropicのTSU発表と熱力学的コンピューティングの革新
皆さん、おはようございます。David Shapiroです。そうですね、Extropicが初の熱力学的コンピューター、TSU、つまりサーマルサンプリングユニットを発表しました。詳細な分析や深掘り動画はたくさん出ていますので、私がすべてを詳しく説明するつもりはありません。Anastasian Techが約9~11ヶ月前に素晴らしい確率的コンピューティングの動画を公開していますので、この記録時点からすると、そちらを参考にしてください。
ただ、私がお伝えするのは、この装置がどのように機能するかについての少しの直感です。チュートリアルを作るのは久しぶりです。古参のリスナーでない方のために説明すると、私のチャンネルは実はチュートリアル、GPT-3のチュートリアルから始まったんです。もちろん、当時はコーディングがそれほど得意ではありませんでした。
今では、すべてにChatGPT Proを使っていて、コーディングははるかに優れています。このチュートリアルは、熱力学的コンピューティングとは何か、何をするのか、そして私がなぜこれにこれほど興奮しているのかについて、直感を与えることに重点を置いています。それでは、早速この装置がどのように機能するかをお見せしましょう。
どこにあるかな。ここです。さあ、どうぞ。では、始めましょう。これが私が書いた、つまりChatGPTが書いた便利なスクリプトです。数独です。これが実行されている間に、少しお話ししましょう。
数独パズルの解決デモンストレーション
数独パズルを生成して、もしよければ解くことができます。鉛筆と紙でできますよね。これは昔からある人間の遊びです。それでは、TSUに解かせてみましょう。ここで明確にしておく必要があるのですが、私は実際のTSUではなく、TSUシミュレーターを使っています。実際のハードウェアは持っていませんが、ご覧のとおり、1回の反復で問題を解決しています。
最初のヒントがこちらです。51283とあります。51、283、これらはまだそこにあります。7184。71、8、4がまだそこにあります。以下同様です。ヒントを固定して、TSUが残りを一度に埋めてくれました。
人間がこれをやろうとすると、多くのバックトラックや推測と検証、その他いろいろなことが必要になります。しかし、TSUは文字通り、既知の値を固定し、制約条件をプログラムすることで、1ステップでやってのけます。もちろん、数独の制約条件は、行に重複がないことです。ここを見てください。751238964、重複がありません。列にも重複があってはいけませんし、正方形の中にも重複があってはいけません。
Pythonを使ってプログラム的に解が正しいかどうかを手動で確認しましたが、TSUが提案した解は完全に仮想TSUによって実行されたもので、一度でやってのけました。プログラム的に言えば、これは数独を解く根本的に新しいアプローチであり、量子コンピューティングに近いものと考えられます。
しかし興味深いことに、熱力学的コンピューティングと量子コンピューティングの動作原理は、ほぼ正反対なのです。量子コンピューティングは、すべてのノイズ、すべての熱を排除しようとし、量子トンネリングや重ね合わせなどを利用します。一方、こちらは実際にノイズを使用します。非常に簡略化したバージョンで言うと、サーマルサンプリングユニットは、漏れやすいトランジスタからの自然なノイズを計算メカニズムの一部として使用しています。
もっと詳しく説明することもできます。このリポジトリに説明があります。理解したい方は、Dave Shaperのリポジトリをご覧ください。これはTwitterで出回っているジョークです。ちょっとした内輪ネタなんですが、熱力学的コンピューティングの直感を与えるための詳しい説明と、数独ソルバーの説明、そして8クイーン問題ソルバーの説明もあります。
8クイーン問題の解決デモンストレーション
8クイーン問題も素早くお見せして、さらに直感を深めていきましょう。8クイーンを実行してみます。これが実行されている間に、少し背景をお話しします。
アイデアは、チェス盤に8つのクイーンを配置して、どのクイーンも互いに攻撃できないような配置を見つけることです。これは聞こえるよりも難しいんです。非常に複雑な問題です。そして、92通りのユニークな解があります。これは1世紀以上前に数学的に証明されています。これは本当に良いテストです。
推測と検証やショットガン法、パーティクルフィルターのようなものを使うのではなく、ルールと制約条件を組み込むことで、TSUは基本的に一発で解くことができます。実際にいくつかのサンプルを引き出しているのがわかります。2サンプル、4サンプル、5サンプル、6サンプルという具合です。ほぼ一発で解いています。
ここで私たちがやっているのは、仮想TSUがすべての92通りのユニークな解を再発見するのにどれくらい時間がかかるかを見ることです。時々重複が出てくるのがわかります。全体的には、すべてを発見するのに約450から630回の反復がかかります。重複が出てくるからです。
これが興味深い理由は、明らかに仮想TSUなので、実際にテストできる物理的なものはないのですが、8クイーン問題のすべての解は同じエネルギーレベルを持っていて、それはゼロだからです。ここでの考え方は、エネルギーレベルゼロに到達しようとしているということです。エネルギーレベルゼロは、与えられた問題に対して最良の解、つまり可能な限り最低のエネルギーです。
すべての問題がゼロのエネルギーを持つわけではありません。しかし、数独と8クイーン問題の場合、有効な解はエネルギーがゼロです。92通りの解があり、すべてゼロの値を持っています。
私がこれをやった理由は、本当に92通りの解すべてを発見するかどうかを確認したかったからです。答えはイエスです。ただし、すでに得たものを事前にフィルタリングする方法がないため、総反復回数の約4、5、6倍かかります。できるかもしれませんが、毎回TSUを再プログラムする必要があります。
では、これの何がユニークなのでしょうか。数独のこの方法論は、逐次的な推測と検証を必要としません。これは根本的に異なるアプローチで、アニーリングと呼ばれます。すべての初期条件とすべての制約条件をTSUにプログラムすると、問題をアニーリングして、解がポンと出てくるのです。
もちろん、これは物理学と数学の大幅な単純化です。しかし、私たちが期待しているのは、熱力学と物理学の基本法則に問題を解決させることです。これは完全なアナログコンピューターというわけではありません。過去数年間で、音響や光学ニューラルネットワークのような興味深い実験や研究があったのをご覧になったかもしれません。
熱力学的コンピューティングの仕組みと従来の計算との違い
メタマテリアルを通って音が伝わったり、一連のレンズや他のメタマテリアルを通って光が伝わると、計算と処理が行われます。ここで見ているもの、TSUが実際に行うことは、アナログコンピューターとGPUの中間です。GPUでやっていることは、ノイズをシミュレートすることです。
これが難しい理由の1つです。ここに主要な比喩や類推があります。勾配降下法が人工知能のすべてです。勾配降下法を視覚化する1つの方法は、10マイル×10マイルの地形にいて、その100平方マイルで最も低い高度地点を見つけようとしていると想像することです。
衛星もドローンも飛行機もありません。夜で、唯一持っているツールは、足の下の周囲の勾配の感覚と高度計です。現在の高度と、足のすぐ下の地形がどんな感じかはわかります。しかし、その100平方マイルで最低地点、つまり最低エネルギー地点または最低高度地点を見つけなければなりません。
これが勾配降下法の比喩です。熱力学的コンピューティングで起こることは、すべての可能な解を一度に同時にテストできることです。これにより、最低勾配地点がすぐにわかります。
それを説明する方法としては、その100平方マイルに100万個のバウンシーボールを落として、地震をオンにできると想像してください。バウンシーボールがすべて跳ね回り、跳ね回りながら自然に最低エネルギー地点を見つけ、落ち着いたら、「OK、これらのバウンシーボールが最低高度地点に集まった。終わり」となります。
このプロセスが古典的コンピューティングよりもどれだけ効率的かということです。逐次反復アルゴリズムを使用するのではなく、根本的に異なるアプローチを使用しています。
このビデオを作っている理由は、誇大宣伝を避けようとしているのですが、私たちが見ているのは、非常に根本的に異なるコンピューティングのアプローチだからです。古典的コンピューティングとは、量子コンピューティングのようなものと同じくらい異なっています。しかし違いは、15人のチームが2年でこれをやったのに対し、量子コンピューティングには何十年にもわたって何十億ドルも注ぎ込まれていますが、まだ商業的に実行可能なものは出てきていません。
これは、Extropicの第一世代TSUに商業的有用性があるとか、確実にスケーラブルだと言っているわけではありません。しかし、デスクに置いて今日使える室温で動作するものを構築したという事実は、多くを物語っています。
熱力学的コンピューティングの実用的応用
なぜこれがこんなに刺激的なのか、何が大きな問題なのかと思われるかもしれません。これが数学的に可能にすることは、特定の種類の問題に対して、膨大な時間とエネルギーを節約できるということです。
明らかに、8クイーン問題を再現したり数独を解いたりすることは1つのことで、私はこれらを選びました。なぜなら、非常に直感的で、脳でできることだからです。鉛筆と紙でできますし、チェス盤を手に入れて8つのポーンを持ってきてクイーンのように扱い、自分で試してどれだけ難しいか確認できます。
今、すでに92通り中86通りを発見しました。おっと、87通りになりました。ただ動き続けています。明らかに、これはCPUに依存してTSUの効果を近似しています。実際のTSUがあれば、これはおそらくほぼ瞬時に起こるでしょう。
実用的に言うと、すぐに使える用途の1つはタンパク質折り畳みです。現在、タンパク質折り畳みを行う最良の方法は、AlphaFoldのようなものです。これは、入力に基づいてタンパク質の最適構造を予測するように訓練されたニューラルネットワークを使用します。
しかし、これは最適化問題なので、実際に探しているのは最低エネルギー状態です。つまり、タンパク質の形状における電子衝突の最小数です。この種の技術は、これらの制約条件を組み込むだけで、ほぼ瞬時にそれを実行できます。
初期条件とすべての要件をプログラムすると、タンパク質の形状は、この場合のクイーンのように様々な制約を持つボードの形状と根本的にそれほど異なりません。クイーン間には反親和性があります。つまり、これらのクイーンは互いに触れることができません。
何だと思いますか。複雑な分子がどのように互いに形を作るかを見ると、同じようなことが起こります。なぜなら、そのタンパク質を構成する様々な原子または元素の電気的特性や原子価殻のためです。実際には、これは医学研究のようなものを劇的に加速する可能性があります。
核融合技術への応用可能性
私にとって最もエキサイティングな可能性は、これが核融合に対して何ができるかということです。一方では、人工知能を加速したり、完全なニューラルネットワークを実際に使用せずに直接推論を行ったり、この場合は8クイーン問題や数独を解いたりするために使用できる熱力学的コンピューティングについて話しています。
しかし、これらすべての他の問題と非常に似ている別の問題は、核融合のための磁気閉じ込め場の形状を作ることです。なぜなら、核融合プラズマは非常にエネルギッシュで、非常に強力な磁石があり、今のところ、核融合を作り出すためにこれらの形状やこれらの場をどのように形作る必要があるかを正確に計算することは不可能だからです。
しかし、私の仮説、そしてもちろん様々なAIモデルの助けを借りてこのアイデアをテストしているのですが、TSUは、プラズマを融合する点まで収縮させることが目標だと言うとき、ほぼ最適な種類のコンピューターです。素晴らしい。しかし、リアルタイムで更新する必要があり、十分速く更新できる種類のものの1つは、電気そのものです。
マトリックスではなく、GPUやTPUやCPUで何回も抽象化することなく、非常に小さなチップ上で移動する電子が、チップ自体で直接計算を行うことで、リアルタイムで核融合の磁気収縮を実現するのに十分な速さになる可能性があります。
さらに一歩進めると、別のTSUチップではないフォームファクターでそれを行うことができるかもしれません。トカマクの壁に直接熱力学的コンピューティングを組み込むことができるかもしれません。そうすれば、装置自体が熱と磁気と放射にリアルタイムで反応して、プラズマを収縮させることができます。
もちろん、これは純粋に仮説的なもので、理解できなくても責めません。しかし、アイデアは、これが根本的に新しいアプローチを解き放つということです。私の言葉を覚えておいてください。サーマルサンプリングユニット、TSUを使った熱力学的コンピューティングで私たちが見ているものは、新しいコンピューティングパラダイムのGPT-2モーメントです。
新しいコンピューティングパラダイムの幕開け
覚えていない方のために説明すると、GPT-2はGPT-3とChatGPTの前身で、もちろん生成AIは現在大流行しています。GPT-2は、「さあ、これが基本的にSDKです。自宅で遊べるバージョンがここにあります」という最初のバージョンでした。私はそれを使っていくつかのプロジェクトをやりました。句読点修正機を作りました。文章のスクランブル解除機を作りました。当時、GPT-2をトレーニングしていくつかのことをやりました。
ここで見ているこの技術、TSU技術は、長期的には同じくらい大きなものです。私はしばらく技術業界にいます。2007年に初めて仮想化に触れたとき、「これは明らかに未来の方向性だ」と言いました。何だと思いますか。その後のほぼ20年間で、仮想化は未来の方向性であるだけでなく、クラウドとデータセンターのデフォルトになりました。
次に起こったのは2009年で、「ディープラーニングは明らかに汎用人工知能への道だ」と言いました。ほぼ20年後の今、それは真実であることが判明しました。Googleがユニバーサルセンテンスエンコーダーをリリースしたとき、それはGPTの直接の前身でしたが、「汎用人工知能に非常に近づいている」と言いました。それもまた非常に先見の明がありました。
そしてもちろん、GPT-2とGPT-3が登場したとき、「これだ。これが未来の方向性だ。これが次の大きなものだ」と言いました。それは正しかったのです。ですから、TSU、このコンピューティングのパラダイムが次の大きなものだと言うとき、私は誇張していません。これは、最先端のこれらのことについての技術業界での20年間の経験に基づいています。
これが何をするかに細心の注意を払ってください。これが終わることを期待していたのですが、もうすぐ700回の反復になります。これが最も遅く、重複を続けています。しかしいずれにせよ、おわかりいただけたと思います。
最後まで聞いていただきありがとうございました。それではまた。
コメント