AI研究者は生物学に目を向けてノイズと戦う|生き物

人工知能は、私たちが見ていないものを見ています。機械の画像認識能力は飛躍的に向上しましたが、それでもだますのは簡単です。入力画像に、人間の目には検出できない少量のノイズを追加するだけで、AI は突然、スクールバス、犬、または建物を、ダチョウなどのまったく別の物体として分類します。

6 月にオンラインで投稿された論文で、トロント大学の Nicolas Papernot と彼の同僚は、言語を処理するさまざまな種類の機械学習モデルを研究し、人間には見えないプロセスで入力テキストに干渉することでそれらをだます方法を見つけました。隠された命令は、コンピューターがテキストの背後にあるコードを読み取り、文字をメモリ内のバイトにマップするときにのみ表示されます。 Papernot のチームは、空白をエンコードする 1 文字などの小さな追加でさえ、モデルのテキストの理解に大混乱をもたらす可能性があることを示しました。そして、これらの取り違えは、人間のユーザーにも影響を及ぼします。ある例では、1 つの文字が原因で、アルゴリズムが、ユーザーに間違った銀行口座に送金するように指示する文を出力しました。

これらの欺瞞行為は、敵対的な例として知られる攻撃の一種であり、アルゴリズムを欺いて間違いを引き起こすように設計された入力への意図的な変更です。この脆弱性は、2013 年に研究者がディープニューラルネットワーク (計算を実行する人工「ニューロン」の層を多数備えた機械学習モデル) を欺いたときに、AI 研究で注目を集めました。

今のところ、敵対的な例の媒体 (画像、テキスト、その他) に対する確実な解決策はありません。しかし、希望はあります。画像認識の場合、研究者は意図的にディープニューラルネットワークを敵対的画像でトレーニングし、より快適に見られるようにすることができます。残念ながら、敵対的トレーニングとして知られるこのアプローチは、モデルが見た敵対的な例に対してのみ十分に防御します。さらに、敵対的でない画像でのモデルの精度が低下し、計算コストが高くなります。最近、人間がこれらの同じ攻撃にだまされることはめったにないという事実により、一部の科学者は私たち自身の生物学的ビジョンに触発された解決策を探すようになりました.

ブリストル大学の計算神経科学者であるベンジャミン・エヴァンスは、「進化は何百万年もの間、非常に多くの生物を最適化してきており、非常に興味深い創造的な解決策をいくつか見つけてきました。「これらのソリューションを一瞥し、リバースエンジニアリングできるかどうかを確認するのは当然のことです。」

中心窩に注目

人間と機械の視覚の最初の明らかな違いは、ほとんどの人間が目を通して世界を処理し、ディープニューラルネットワークはそうではないという事実から始まります。私たちは、眼球の後ろの瞳孔の後ろにある小さなくぼみである中心窩の位置により、視野の真ん中で最もはっきりと物を見ることができます。そこには、光を感知する何百万もの光受容体が他のどこよりも密集しています。

マサチューセッツ工科大学の計算神経科学者であり、脳、心、機械センターの所長であるトマソポッジオは、次のように述べています。

マシンは、画像内のすべてのピクセルの色と明るさを表す数字のグリッドを分析することによって「見る」。これは、視野全体 (というよりは、数字のグリッド) で同じ視力を持っていることを意味します。ポッジオと彼の共同研究者は、私たちの目のように画像を処理することで、周辺のノイズの影響を軽減することで敵対的ロバスト性を改善できるかどうか疑問に思いました。彼らは、1 か所だけに高解像度を表示するように編集された画像を使用してディープニューラルネットワークをトレーニングし、私たちの目が焦点を合わせる場所を模倣し、解像度の低下とともに外側に拡大しました。私たちの目は画像の複数の部分に注視するために動き回るため、高解像度の異なる領域を持つ同じ画像の多くのバージョンも含まれていました.

昨年発表された彼らの結果は、「中心窩」画像でトレーニングされたモデルが、精度を低下させることなく、敵対的な例に対するパフォーマンスの向上につながることを示唆していました。しかし、彼らのモデルは依然として、非生物学的ソリューションのトップである敵対的トレーニングほど攻撃に対して効果的ではありませんでした。ポッジオの研究室の 2 人のポスドク研究者である Arturo Deza と Andrzej Banburski は、周辺視野で発生する計算に重点を置いて、より複雑な中心窩計算を組み込むことにより、この研究を続けています。

視覚ニューロンのミラーリング

もちろん、目の細胞に光が当たることは最初のステップにすぎません。光受容体からの電気信号が目の奥から出ると、脳の奥にある視覚処理の座に到達するまで、神経線維に沿って移動します。線の向きなどの視覚的特徴を表現するために個々のニューロンが階層的に編成されている方法に関する初期のブレークスルーは、1980 年にコンピューター科学者の福島邦彦氏に最初の畳み込みニューラルネットワーク (CNN) を開発するきっかけを与えました。これは現在、機械学習モデルの一種です。視覚野全体の脳活動の一部を模倣することがわかっている画像処理に広く使用されています。

CNN は、画像をスキャンしてオブジェクトのエッジなどの特定の特徴を抽出するフィルターを使用して機能します。しかし、私たちの視覚野で行われる処理は、依然として大きく異なり、より複雑です。一部の人は、それをより厳密にミラーリングすることで、敵対的な例に対するものも含めて、機械が私たちのように見えるようになると考えています.

MIT の James DiCarlo とブリストル大学の Jeffrey Bowers の研究室はまさにこれを行っています。（ディカルロは、この編集上独立した出版物にも資金を提供しているシモンズ財団から資金提供を受けています。）両方のラボは、単一ニューロンが一次視覚野として知られる領域で視覚情報を抽出する方法を近似する特別なフィルターを追加しました。ランダムな時間に発火する脳のノイズの多いニューロンを複製するためのノイズジェネレーターなどの機能を追加します。これらの追加により、テクスチャへの過度の依存 (一般的な AI の問題) や、ぼやけなどの画像の歪みの問題を防ぐことで、マシンビジョンがより人間らしくなりました。

DiCarlo の研究室が敵対的な例に対して強化された CNN を試したところ、標準的な CNN モデルと比較して、クリーンな画像では精度がわずかに低下しただけで、修正によって敵対的な画像の精度が 4 倍向上したことが示唆されました。また、敵対的トレーニング方法よりも優れていましたが、トレーニング中に使用されなかったタイプの敵対的画像に対してのみ.彼らは、生物学に着想を得たすべての追加機能が連携して攻撃を防御することを発見しました。最も重要なのは、モデルがすべての人工ニューロンに追加したランダムノイズです。

11 月に発表された新しい会議論文で、DiCarlo の研究室は他のチームと協力してニューラルノイズの影響をさらに研究しました。彼らは、新しい人工ニューラルネットワークにランダムノイズを追加しました。今回は、聴覚システムに触発されたものです。彼らは、このモデルが発話音の敵対的な例をうまくかわしたと主張し、ランダムノイズが大きな役割を果たしていることも発見しました. 「ノイズが他の機能と相互作用する理由はまだよくわかっていません」と、DiCarlo の研究室の博士課程の学生で論文の共同主執筆者である Joel Dapello は述べています。「それはかなりオープンな質問です。」

スリープ状態のマシン

目が閉じていて、視覚野が外界を処理していないときに脳が何をするかは、攻撃に対する生体防御にとって重要かもしれません。カリフォルニア大学サンディエゴ校の計算神経科学者であるマクシム・バジェノフは、20 年以上を費やして、睡眠中に脳で何が起こっているかを研究してきました。最近、彼の研究室では、アルゴリズムをスリープ状態にすることで、敵対的な例を含む多くの AI の問題を解決できるかどうかの調査を開始しました。

彼らの考えは単純です。睡眠は記憶の定着に重要な役割を果たします。これは、私たちの脳が最近の経験を長期記憶に変える方法です。バジェノフのような研究者は、睡眠は、私たちが毎日遭遇するものについての一般化された知識の構築と保存にも貢献する可能性があると考えています.その場合、同様のことを行う人工ニューラルネットワークは、主題に関する一般化された知識を保存する能力が向上し、敵対的な例からのわずかなノイズの追加に対して脆弱になる可能性があります。

「睡眠は、脳が実際に外部入力をオフにして、その内部表現に対処する時間があるフェーズです」とバジェノフは言いました。「そしてちょうど生物学的システムのように、[機械] は一定期間の睡眠を必要とするかもしれません。」

大学院生のティモシー・タドロスが率いる 2020 年の会議論文で、バゼノフの研究室は人工ニューラルネットワークを訓練して画像を認識させた後、睡眠段階を経させました。スリープ中、ネットワークは、バックプロパゲーションとして知られるエラーの最小化に依存する一般的な学習方法に従って、ニューロン間の接続を更新する必要がなくなりました。代わりに、ネットワークは監視されていない方法で接続を自由に更新でき、Hebbian 可塑性と呼ばれる有力な理論に従ってニューロンが接続を更新する方法を模倣しました。スリープ後、ニューラルネットワークは、スリープしていないニューラルネットワークと比較して、だまされる前に、敵対的な例に追加するノイズを増やす必要がありました。しかし、敵対的ではない画像の精度はわずかに低下し、一部の種類の攻撃では敵対的トレーニングが依然として強力な防御でした.

不確かな未来

敵対的な例から保護するための生物学に着想を得たアプローチの開発における最近の進歩にもかかわらず、それらが実証済みのソリューションとして受け入れられるまでには長い道のりがあります.別の研究者がこれらの防御を打ち負かすことができるようになるのは時間の問題かもしれません — 敵対的機械学習の分野では非常に一般的な出来事です.

生物学が適切な場所でさえあると誰もが確信しているわけではありません.

「このカテゴリの攻撃によって悪影響を受けない、生物学に着想を得たシステムを作成する方法を知るためのシステムの理解やトレーニングの程度のようなものはないと思います。カーネギーメロン大学。コルターは、敵対的な例に対する非生物学的に着想を得た防御方法の設計において大きな役割を果たしてきました.そして、彼はそれが解決するのが非常に難しい問題になると考えています.

コルター氏は、今後の最も成功する道は、非常に大量のデータでニューラルネットワークをトレーニングすることであると予測しています。これは、機械が世界を私たちと同じように見なくても、私たちと同じように世界を見られるようにする戦略です。