物理学者たちは、振動、電圧、レーザーからニューラル ネットワークを構築しており、コンピューティングの未来は宇宙の複雑な物理的挙動を利用することにあると主張しています。
はじめに
防音の箱の中に、世界最悪のニューラル ネットワークの 1 つが置かれています。数字の 6 の画像が表示された後、数字の 0 を識別する前に少しの間停止します。このネットワークの開発を主導したコーネル大学の物理学者兼エンジニアのピーター・マクマホン氏は、手書きの番号がずさんに見えると指摘し、おどおどした笑みを浮かべてネットワークを擁護している。 NTT Researchからマクマホン氏の研究室を訪れているポスドク、ローガン・ライト氏は、デバイスは通常は正しい答えを出すと断言するが、間違いはよくあることだと認めている。 「これだけひどいんです」と彼は言いました。
圧倒的なパフォーマンスにもかかわらず、このニューラル ネットワークは画期的なものです。研究者らが木箱をひっくり返すと、コンピューターチップではなく、スピーカーにボルトで固定されたチタンプレートに向かって傾いたマイクが現れた。他のニューラルネットワークは0と1のデジタル世界で動作しますが、このデバイスは音で動作します。ライト氏が数字の新しい画像をキューに入れると、そのピクセルが音声に変換され、スピーカーがプレートを振るとかすかなおしゃべりが研究室に響き渡ります。シリコン上で動作するソフトウェアではなく、金属の残響が「読み取り」を行います。このデバイスがしばしば成功するということは、その設計者さえも信じられないほどです。
「揺れる金属の機能が何であれ、手書きの数字の分類とは何の関係もありません」とマクマホン氏は言いました。
コーネル大学のグループがネイチャーの論文で明らかにした、デバイスの原始的な読み取り機能 1 月に発表されたこの論文は、マクマホン氏らに、その遠い子孫がコンピューティングに革命をもたらす可能性があるという希望を与えています。
従来の機械学習に関しては、コンピューター科学者は、大きいほど優れていることを発見しました。ニューラル ネットワークに、より多くの人工ニューロン (数値を保存するノード) を詰め込むと、ダックスフントとダルメシアンを区別したり、その他の無数のパターン認識タスクを成功させる能力が向上します。本当に驚異的なニューラル ネットワークは、エッセイの執筆やイラストの作成など、人間の気が遠くなるような仕事を成し遂げることができます。より多くの計算能力があれば、さらに壮大な偉業が可能になるかもしれません。この可能性により、より強力で効率的な計算方法を開発するための多くの取り組みが行われてきました。
マクマホン氏と志を同じくする物理学者の一団は、宇宙に私たちのために数値を計算してもらうという、型破りなアプローチを支持しています。 「多くの物理システムは、コンピュータよりも効率的または高速に一部の計算を自然に実行できます」とマクマホン氏は述べています。彼は風洞を例に挙げています。エンジニアが飛行機を設計するとき、設計図をデジタル化し、スーパーコンピューターで翼の周りの空気の流れをシミュレーションするために何時間も費やすかもしれません。あるいは、車両を風洞に入れて飛ぶかどうかを確認することもできます。計算の観点から見ると、風洞は翼が空気とどのように相互作用するかを即座に「計算」します。
風洞はひたむきな機械です。空気力学をシミュレートします。マクマホン氏のような研究者は、あらゆることを学習できる装置、つまり手書きの数字を分類したり、話し言葉の母音を別の母音から区別したりするなど、あらゆる新しい能力を獲得するために試行錯誤を通じて動作を適応させることができるシステムを追い求めています。最近の研究では、光の波、超伝導体のネットワーク、電子の分岐流などの物理システムはすべて学習できることがわかっています。
新しい物理学習アルゴリズムの設計に貢献したスイス連邦工科大学チューリッヒ校の数学者ベンジャミン・セリエ氏は、「私たちはハードウェアだけでなく、コンピューティングパラダイム全体も再発明しているのです」と述べています。
考えることを学ぶ
学習は珍しいプロセスです。 10 年ほど前までは、それをうまく実行できるシステムは脳だけでした。コンピューター科学者が、現在最も人気のある人工学習モデルであるディープ ニューラル ネットワークを設計するきっかけとなったのは、脳の構造でした。
ディープ ニューラル ネットワークは、実践を通じて学習するコンピューター プログラムです。ネットワークはグリッドとして考えることができます。値を保存するニューロンと呼ばれるノードの層は、線または「シナプス」によって隣接する層のニューロンに接続されています。当初、これらのシナプスは「重み」として知られる単なる乱数です。
ネットワークに数字 (たとえば 4) を読み取ってもらいたい場合は、ニューロンの最初の層に 4 つの生の画像を表現させ、おそらく各ピクセルの色合いを対応するニューロンに値として保存します。次に、ネットワークは「考え」、層ごとに移動し、ニューロンの値にシナプスの重みを乗算して、次の層のニューロンを設定します。最終層で最も高い値を持つニューロンがネットワークの答えを示します。たとえば、2 番目のニューロンの場合、ネットワークは 2 を見たものと推測します。
より賢い推測を行うようにネットワークに教えるために、学習アルゴリズムが逆方向に動作します。各試行の後、推測と正しい答えの差が計算されます (この例では、最終層の 4 番目のニューロンの高い値と他の部分の低い値で表されます)。次に、アルゴリズムがネットワークを層ごとにステップバックし、最終的なニューロンの値を必要に応じて増減させるために重みを微調整する方法を計算します。逆伝播として知られるこの手順は、深層学習の中心にあります。
バックプロパゲーションは、推測と微調整を何度も繰り返すことにより、重みを数値の構成に導き、画像によって開始される乗算のカスケードを通じて、そこに書かれた数字を吐き出します。
メリル・シャーマン/クアンタ・マガジン
しかし、脳内で起こっていることと比較すると、人工ニューラルネットワークで起こるデジタル化された学習は劇的に非効率に見えます。人間の子供は、1 日 2,000 カロリー未満の摂取カロリーで、数年以内に話したり、読んだり、ゲームをしたりすることなどを学びます。このようなエネルギー制限のある食事では、流暢な会話が可能な画期的なニューラル ネットワークである GPT-3 がチャットを習得するには 1,000 年かかったでしょう。
物理学者の観点から見ると、大規模なデジタル ニューラル ネットワークは単に過剰な計算を実行しようとしているだけです。今日の最大の巨大企業は、5 兆件を超える数値を記録し、操作する必要があります。一方、宇宙は、コンピューターの貧弱な簿記能力の限界をはるかに超えるタスクを常に実行しています。部屋には何兆もの空気分子が飛び跳ねている可能性があります。これはコンピュータが衝突の本格的なシミュレーションで追跡するのには不可能な数の移動部品ですが、空気自体は瞬間瞬間でどのように動作するかを問題なく決定します。
課題は、AI に必要な両方のプロセス、つまり画像の分類に必要な「思考」と、そのような画像を正しく分類するために必要な「学習」の両方を自然に実行できる物理システムを構築することです。両方のタスクを習得したシステムは、実際に数学を行わずに数学的に動作する宇宙の能力を活用することになります。
「3.532 掛ける 1.567 などの計算は決してしません」と Scellier 氏は言います。 「それは物理法則によって直接行われますが、暗黙のうちに行われます。」
思考の部分
マクマホンと彼の協力者たちは、パズルの「考える」半分で進歩を遂げました。
パンデミック前の世界の最後の数か月間、コーネル大学に研究室を設立していたとき、マクマホン氏は興味深い発見について考えました。何年にもわたって、最高のパフォーマンスを誇る画像認識ニューラル ネットワークはさらに深化してきました。つまり、より多くのレイヤーを持つネットワークは、大量のピクセルをより適切に取り込み、「プードル」などのラベルを付けることができました。この傾向は、数学者にネットワークが達成している変換 (ピクセルから「プードル」へ) を研究するよう促し、2017 年にはいくつかのグループが、ネットワークが滑らかな数学関数の近似バージョンのように機能していると提案しました。数学では、関数は入力 (多くの場合、x に沿った位置) を回転します。 -axis) を出力 (y) に変換します。 -その位置でのカーブの値、または高さ)。特定の種類のニューラル ネットワークでは、関数のギザギザが少なくなり、理想的な曲線に近づくため、層が多いほどパフォーマンスが向上します。
マクマホン氏はこの研究をきっかけに考え始めた。おそらく、物理システムが滑らかに変化することで、デジタル アプローチに特有のブロック性を回避できるかもしれません。
秘訣は、複雑なシステムを使いこなす方法、つまりトレーニングによってその動作を適応させる方法を見つけることでした。マクマホン氏と共同研究者らは、その多くのパターンの振動が入ってくる音を複雑にブレンドするため、そのようなシステムの 1 つとしてチタン プレートを選択しました。プレートをニューラル ネットワークのように機能させるために、入力画像をエンコードした 1 つの音声 (たとえば、手書きの 6) と、シナプスの重みを表す別の音声を入力しました。山と谷は、デバイスが音を統合して答えを与えるために正確なタイミングでチタン プレートを叩くために必要です。たとえば、分類「6」を表す 6 ミリ秒以内に最も大きな新しい音などです。
同グループはまた、入力画像と重みが結晶によってごちゃ混ぜになる 2 つの光線にエンコードされる光学システムと、同様に入力をシャッフルできる電子回路にそのスキームを実装しました。原理的には、ビザンチン動作を備えたシステムであればどれでも問題ありませんが、研究者らは光学システムが特に有望であると信じています。クリスタルは光を極めて素早く混合できるだけでなく、光には世界に関する豊富なデータも含まれています。マクマホン氏は、自分の光学ニューラル ネットワークの小型版がいつか自動運転車の目として機能し、私たちの網膜が入ってくる光に対して基本的な視覚処理を行うのと同じように、一時停止標識や歩行者を識別してからその情報を車両のコンピュータ チップに送ることを想像しています。
ただし、これらのシステムのアキレス腱は、システムをトレーニングするにはデジタル世界に戻る必要があることです。バックプロパゲーションには、ニューラル ネットワークを逆に実行することが含まれますが、プレートやクリスタルは音と光を容易に分離しません。そこでグループは、各物理システムのデジタル モデルを構築しました。ラップトップでこれらのモデルを逆にすると、バックプロパゲーション アルゴリズムを使用して重みを調整して正確な答えを得る方法を計算できます。
このトレーニングにより、プレートは 87% の確率で手書きの数字を正しく分類できるようになりました。回路とレーザーの精度はそれぞれ 93% と 97% に達しました。フランス国立科学研究センター(CNRS)の物理学者、ジュリー・グロリエ氏は、この結果は「逆伝播によって訓練できるのは標準的なニューラルネットワークだけではないことを示した」と述べた。 「それは美しいですね。」
このグループの震える金属板は、コンピューティングを脳の衝撃的な効率にまだ近づけていません。デジタルニューラルネットワークの速度にも及びません。しかし、マクマホン氏は、自分のデバイスは、控えめではあるが、考えるのに脳やコンピューターチップが必要ないことを証明する顕著な証拠であると考えている。 「あらゆる物理システムはニューラル ネットワークになり得る」と彼は言いました。
学習部分
パズルの残りの半分、つまりシステムがすべて自動的に学習するようにするためのアイデアがたくさんあります。
ドイツのマックス・プランク光科学研究所の物理学者、フロリアン・マルカルト氏は、選択肢の 1 つは逆方向に動作するマシンを構築することだと考えています。昨年、彼と共同研究者は、そのようなシステム上で実行できるバックプロパゲーション アルゴリズムの物理的類似物を提案しました。
それが機能することを示すために、彼らは、別の入力波と混合する光波でエンコードされた調整可能な重み (たとえば、画像のエンコード) を使用して、マクマホンのようなレーザー設定をデジタルでシミュレートしました。彼らは出力を正しい答えに近づけるように微調整し、光学コンポーネントを使用して波を分離し、プロセスを逆転させます。 「その魔法は、同じ入力でデバイスをもう一度試すと、[出力] が希望するものに近づく傾向があることです」と Marquardt 氏は言います。次に、彼らは実験者と協力してそのようなシステムを構築しています。
しかし、逆方向に動作するシステムに焦点を当てると選択肢が制限されるため、他の研究者はバックプロパゲーションを完全に置き去りにしています。彼らは、脳が標準的な逆伝播以外の方法で学習することを知ることで励みになります。 「脳はこのようには機能しません」 とシェリエ氏は言いました。 ニューロン A はニューロン B と通信しますが、「ただし、それは一方向のみです。」
フランス国立科学研究センターの物理学者である Julie Grollier は、バックプロパゲーションの有望な代替手段と見なされている物理学習アルゴリズムを実装しました。
クリストフ・コードロイ
2017 年、Scellier とモントリオール大学のコンピューター科学者 Yoshua Bengio は、平衡伝播と呼ばれる一方向学習手法を開発しました。どのように機能するかを理解するには、ニューロンのように機能する矢印のネットワークを想像してください。矢印の方向は 0 または 1 を示し、シナプスの重みとして機能するバネによってグリッドに接続されています。スプリングが緩いほど、リンクされた矢印が位置合わせされにくくなります。
まず、一番左の行の矢印をひねって手書きの数字のピクセルを反映させ、外乱がバネを通して波紋を広げ、他の矢印を反転させている間、それらを固定したままにします。反転が停止すると、右端の矢印が答えを示します。
重要なのは、矢印の反転を解除してこのシステムをトレーニングする必要がないことです。代わりに、ネットワークの下部に沿って正解を示す別の矢印のセットを接続します。これらの矢印が上部セットで反転すると、グリッド全体が新しい平衡状態に落ち着きます。最後に、矢印の新しい方向と古い方向を比較し、それに応じて各スプリングを締めたり緩めたりします。多くの試行を経て、Scellier と Bengio がバックプロパゲーションと同等であることを示した方法で、スプリングはよりスマートな張力を獲得します。
「物理ニューラルネットワークとバックプロパゲーションとの間には関連性がないと考えられていました」とグロリエ氏は言う。 「つい最近、それが変化したのですが、とてもエキサイティングです。」
平衡伝播に関する初期の研究はすべて理論的なものでした。しかし、グロリエ氏とCNRSの物理学者ジェレミー・レイデヴァント氏は、近々出版される出版物で、D-Wave社が開発した量子アニーラーと呼ばれるマシンでのアルゴリズムの実行について説明している。この装置には、相互作用する何千もの超電導体のネットワークがあり、バネで結ばれた矢印のように機能し、「バネ」がどのように更新されるべきかを自然に計算できます。ただし、システムはこれらのシナプスの重みを自動的に更新することはできません。
サークルを閉じる
少なくとも 1 つのチームが、物理学を使ってすべての重労働 (思考、学習、重みの更新) を行う電子回路を構築するための部品を集めました。 「私たちは小さなシステムのループを閉じることができました」とペンシルバニア大学の物理学者サム・ディラヴー氏は述べています。
ペンシルバニア大学の物理学者サム・ディラヴーは、学習しながら自身を修正できる回路をいじくり回しています。
ジェイコブ・F・ワイコフ
ディラヴー氏とその共同研究者らの目標は、文字通りのスマート物質である脳をエミュレートすることである。つまり、単一の構造が命令を下すことなく学習する比較的均一なシステムである。 「すべてのニューロンは独自のことを行っています」と彼は言いました。
この目的のために、彼らは可変抵抗器がシナプス重みとして機能し、ニューロンが抵抗器間で測定される電圧である自己学習回路を構築しました。特定の入力を分類するために、データをいくつかのノードに印加される電圧に変換します。電流は回路内を流れ、エネルギーの消費が最も少ない経路を探し、回路が安定するにつれて電圧を変化させます。答えは、指定された出力ノードの電圧です。
彼らの主要な革新は、常に挑戦的な学習ステップにおいてもたらされ、そのために連成学習と呼ばれる平衡伝播に似たスキームを考案しました。 1 つの回路がデータを取得して推測を「考える」と、同じ 2 番目の回路が正しい答えから始めて、それを動作に組み込みます。最後に、抵抗の各ペアを接続する電子機器がその値を自動的に比較し、「よりスマートな」構成を実現するように調整します。
同グループは昨年夏のプレプリントでその初歩的な回路について説明し、95%の精度で3種類の花を区別できることを示した。現在、彼らはより高速でより高性能なデバイスの開発に取り組んでいます。
そのアップグレードでも、最先端のシリコンチップには及びません。しかし、これらのシステムを構築している物理学者は、デジタル ニューラル ネットワークは、今日では強力に見えますが、最終的にはアナログ ニューラル ネットワークに比べて遅く、不十分なものに見えるようになるのではないかと疑っています。デジタル ニューラル ネットワークは、過剰な計算によって行き詰まる前にある程度しかスケールアップできませんが、より大きな物理ネットワークは、そのままの状態でいること以外は何もする必要がありません。
「これは非常に大きく、急速に変化し、変化に富んだ分野であるため、これらの原理で作られた非常に強力なコンピューターが存在しないとは信じがたいです」とディラヴー氏は述べています。
