現在最も成功している人工知能アルゴリズムである人工ニューラル ネットワークは、私たちの脳にある実際のニューラル ネットワークの複雑なウェブに大まかに基づいています。しかし、私たちの非常に効率的な頭脳とは異なり、これらのアルゴリズムをコンピューターで実行すると、驚くほど大量のエネルギーが消費されます。最大のモデルは、生涯で自動車 5 台分の電力を消費します。
私たちの脳の設計原理と物理学により近いニューロモルフィック コンピューティングは、AI のエネルギー節約の未来になる可能性があります。ニューロモーフィック デザインは、中央処理装置とメモリ チップの間で長距離にわたってデータをやり取りする代わりに、脳内のゼリー状の塊のアーキテクチャを模倣し、コンピューティング ユニット (ニューロン) をメモリの隣に配置します (ニューロンを接続するシナプスに格納されます)。 .それらをさらに脳に似せるために、研究者はニューロモルフィック チップと、実際のニューロンのように連続信号を処理できるアナログ コンピューティングを組み合わせます。結果として得られるチップは、0 と 1 のバイナリ信号処理に依存するデジタルのみのコンピューターの現在のアーキテクチャおよびコンピューティング モードとは大きく異なります。
脳をガイドとするニューロモーフィック チップは、いつの日か、AI のような大量のデータを処理するコンピューティング タスクのエネルギー消費をなくすことを約束します。残念ながら、AI アルゴリズムは、デバイスのミスマッチとして知られる問題のため、これらのチップのアナログ バージョンではうまく機能しませんでした。チップ上では、アナログ ニューロン内の小さなコンポーネントは、製造プロセスのためにサイズが一致していません。個々のチップは最新のトレーニング手順を実行できるほど洗練されていないため、アルゴリズムはまずコンピューター上でデジタル的にトレーニングする必要があります。しかし、アルゴリズムがチップに転送されると、アナログ ハードウェアで不一致が発生すると、パフォーマンスが低下します。
さて、先月 Proceedings of the National Academy of Sciences に掲載された論文 この問題を回避する方法がついに明らかになりました。フリードリッヒ ミーシャー生物医学研究所のフリーデマン ツェンケとハイデルベルク大学のヨハネス シェンメルが率いる研究チームは、スパイクと呼ばれる脳の独特の通信信号を使用するスパイキング ニューラル ネットワークとして知られる AI アルゴリズムが可能であることを示しました。チップを操作して、デバイスの不一致を補正する方法を学びます。この論文は、AI を使用したアナログ ニューロモーフィック コンピューティングに向けた重要な一歩です。
「驚くべきことは、それが非常にうまく機能したことです」と、オランダの国立数学およびコンピューター科学研究所である CWI のスパイキング ニューラル ネットワークの専門家である Sander Bohte 氏は述べています。 「これはかなりの成果であり、アナログ ニューロモーフィック システムをさらに活用するための青写真となる可能性があります。」
脳ベースのコンピューティングに対するアナログ コンピューティングの重要性は微妙です。デジタル コンピューティングは、脳のスパイク信号 (稲妻のようにニューロンを通過する電気インパルス) の 1 つのバイナリ アスペクトを効果的に表すことができます。バイナリ デジタル信号と同様に、スパイクが送信されるか送信されないかのいずれかです。しかし、スパイクは時間の経過とともに継続的に送信されます。これはアナログ信号です。ニューロンが最初にスパイクを送信することを決定する方法も、時間の経過とともに変化する細胞内の電圧に基づいて継続的です。 (電圧が細胞外の電圧と比較して特定の閾値に達すると、ニューロンはスパイクを送ります。)
「アナログには、脳の核となる計算の美しさがあります。脳のこの重要な側面をエミュレートすることは、ニューロモルフィック コンピューティングの主な原動力の 1 つです」と、チューリッヒ大学およびチューリッヒ工科大学のニューロモルフィック エンジニアリング研究者である Charlotte Frenkel は述べています。
2011 年、ハイデルベルク大学の研究者グループは、神経科学実験用に脳を厳密にモデル化するために、アナログとデジタルの両方の側面を備えたニューロモルフィック チップの開発を開始しました。現在、Schemmel が率いるチームは、BrainScaleS-2 と呼ばれる最新バージョンのチップを発表しました。チップ上のすべてのアナログ ニューロンは、脳細胞の入出力電流と電圧変化を模倣します。
「情報を絶え間なく交換しているダイナミックなシステムが実際にあります」と Schemmel 氏は言います。また、材料の電気特性が異なるため、チップは人間の脳の 1,000 倍の速さで情報を転送します。
しかし、アナログ ニューロンの特性は非常にわずかに異なるため (デバイスのミスマッチの問題)、電圧と電流レベルもニューロン間で異なります。アルゴリズムは、完全に同一のデジタル ニューロンを備えたコンピューターでトレーニングされたため、これを処理できず、オンチップのパフォーマンスが急落しました。
新しい作品は、進むべき道を示しています。このチップをトレーニング プロセスに組み込むことで、著者らはスパイク ニューラル ネットワークが BrainScaleS-2 チップのさまざまな電圧を補正する方法を学習できることを示しました。 「このトレーニング設定は、変動性が補償されるだけでなく、悪用される可能性もあるという最初の説得力のある証拠の 1 つです」と Frenkel 氏は述べています。
デバイスの不一致に対処するために、チームは、チップがコンピューターと通信できるようにするアプローチと、Zenke が特にスパイク ニューラル ネットワーク用に共同開発したサロゲート勾配と呼ばれる新しい学習方法を組み合わせました。ニューロン間の接続を変更して、ニューラル ネットワークがタスクで発生するエラーの数を最小限に抑えることで機能します。 (これは、バックプロパゲーションと呼ばれる非スパイキング ニューラル ネットワークで使用される方法に似ています。)
実際、代理勾配法は、コンピューターでのトレーニング中にチップの欠陥を修正することができました。まず、スパイキング ニューラル ネットワークは、チップ上のアナログ ニューロンのさまざまな電圧を使用して単純なタスクを実行し、電圧の記録をコンピューターに送り返します。そこでアルゴリズムは、ニューロン間の接続を最適に変更してアナログ ニューロンとうまく連携する方法を自動的に学習し、学習中にチップ上でニューロンを継続的に更新します。次に、トレーニングが完了すると、スパイキング ニューラル ネットワークがチップ上でタスクを実行します。研究者は、彼らのネットワークが、コンピューター上でタスクを実行する上位のスパイキング ニューラル ネットワークと同じレベルの精度に達したことを報告しています。つまり、アルゴリズムは、デバイスの不一致の問題を解決するためにどのような変更を加える必要があるかを正確に学習しました。
サセックス大学の計算神経科学者である Thomas Nowotny は、次のように述べています。そして、予想通り、優れたエネルギー効率でそれを実現します。著者らは、チップ上でアルゴリズムを実行すると、標準プロセッサが必要とするエネルギーの約 1,000 分の 1 のエネルギーしか消費しないと述べています。
ただし、Frenkel 氏は、これまでのところエネルギー消費は良いニュースですが、ニューロモーフィック チップは、標準的なプロセッサではなく、同様の音声認識および視覚認識タスク向けに最適化されたハードウェアに対して、その性能を証明する必要があると指摘しています。そして Nowotny は、コンピュータとチップの間でデータをやり取りする必要があるため、このアプローチでは大規模な実際のタスクにスケールアップするのが難しい可能性があると警告しています.
長期的な目標は、コンピューターをまったく必要とせずに、ニューラル ネットワークをスパイクして、最初から最後までニューロモーフィック チップでトレーニングして実行することです。しかし、それには新しい世代のチップを構築する必要があり、それには何年もかかると Nowotny 氏は述べています。
今のところ、Zenke と Schemmel のチームは、スパイク ニューラル ネットワーク アルゴリズムがニューロモルフィック ハードウェア上のアナログ ニューロン間のわずかな変動を処理できることを喜んで示しています。 「デジタル コンピューティングの 60 年または 70 年の経験とソフトウェアの歴史に頼ることができます」と Schemmel 氏は述べています。 「このアナログ コンピューティングでは、すべてを自分たちで行う必要があります。」
