人間の脳は、転換点という言葉で説明されることがよくあります。活動の高低、ネットワークの密集と疎、秩序と無秩序の境界線を慎重に示しています。現在、記録的な数のニューロンからの発火パターンを分析することにより、研究者はさらに別の転換点を明らかにしました。今回は、神経コードで、入力される感覚情報と脳の神経表現との間の数学的関係です。 Nature に掲載された彼らの調査結果 6月に、脳は可能な限り多くの情報をエンコードすることと、ノイズに柔軟に反応することとの間でバランスをとっていることを示唆しています.この偉業を達成する方法は、人工知能システムがどのように機能するかについての新たな洞察を提供する可能性もあります.
バランスをとる行為は、科学者が最初に見つけようとしたものではありません。彼らの研究は、より単純な質問から始まりました。視覚皮質は、多くの異なる反応パターンを持つさまざまな刺激を表しているのでしょうか、それとも類似のパターンを何度も繰り返し使用しているのでしょうか?研究者は、後者のシナリオでの神経活動を低次元と呼んでいます。それに関連する神経コードの語彙は非常に限られていますが、感覚入力の小さな摂動に対しても回復力があります。刺激が単に良いか悪いかで表される一次元コードを想像してみてください。個々のニューロンによる発火の量は入力によって異なる可能性がありますが、集団としてのニューロンは高度に相関しており、それらの発火パターンは常に同じ全体配置で一緒に増加または減少します。一部のニューロンが失火したとしても、刺激はおそらく正しくラベル付けされます.
反対に、高次元の神経活動は相関性がはるかに低くなります。情報は、「善悪」のようないくつかの軸だけでなく、多くの次元にわたってグラフ化または分散できるため、システムは刺激に関するはるかに詳細な情報をエンコードできます。トレードオフは、そのようなシステムでは冗長性が少なくなることです — 個々の値から全体的な状態を推測することはできません — そのため、システムが失敗しやすくなります.
過去 20 年間の研究では、ニューラル システムは一般に低次元表現を好むことが示されていました。自然界には非常に大量の情報が含まれていますが、脳はその多くを破棄して、より単純な神経記述を支持しているようです。しかしその後の分析で、この結論は実験自体の弱点に帰着する可能性があることが示されました。実験動物に与えられた刺激はごくわずか、または非常に単純であり、研究者は一度に限られた数のニューロンからしか記録できませんでした。ユニバーシティ・カレッジ・ロンドンの神経科学者であるケネス・ハリスは、「もちろん、これらの実験はそのような結果をもたらしました。 「彼らは何も違うことはできませんでした。」
そこで、Harris と彼の同僚は、10,000 個のニューロンから同時に記録する新しい技術を作成した後、この問題を再検討しました。自然の風景の約 3,000 枚の画像をマウスに見せたとき、彼らは動物の視覚野の反応を監視し、神経活動の高次元画像に適合する一連のパターンを見つけました。
しかし、研究者たちは、その活動について不可解なことも発見しました。ニューロンは、すべての次元を等しく気にかけているわけではありません。いくつかの次元、または発火パターンが、視覚刺激に対する神経反応のほとんどを捉えていました。他のディメンションを追加すると、その予測力はますます小さくなり、増分がさらに増加しました。ミュンヘン工科大学の計算神経科学者で、この研究には参加していない Jakob Macke 氏は、この減衰はべき法則として知られているもの、つまり「人々が探しているほぼすべての場所で発見されている」特殊な数学的関係に従ったものであると述べています。
ハリスと彼の同僚は、それが何を意味するのかについて困惑しました。最近の研究ではべき乗則の関連性 (さらには普及率) が疑問視されていますが、Harris 氏は「ドナルド・トランプのツイートに含まれる感嘆符の数の分布でさえ、べき乗則に従っている」と冗談を言っていますが、これには何か特別なことがありました。刺激の数学的構造では説明できない指数である特定の傾きが一貫してありました。
「この種のこと、データの量的規則性は、生物学では起こりません。 …私たちはそれが何を意味するのかまったくわかりませんでした」—しかし、それは何かを意味しているように見えました.
説明を求めて、彼らは関数の微分可能性に関する以前の数学的研究に目を向けました。彼らは、入力から出力へのべき乗則マッピングの減衰が遅くなると、入力の小さな変化が出力の大きな変化を生み出す可能性があることを発見しました。研究者はこれを滑らかさの崩壊と呼んでいます:基礎となるコードによって生成された出力は常に連続しているとは限りません.
この研究の共同リーダーであるカーセン・ストリンガーとマリウス・パチタリウによると、それはフラクタリティの境界にいるようなもので、ハリスの研究室で働き、現在はバージニア州のハワード・ヒューズ医学研究所のジャネリア・リサーチ・キャンパスの研究者です。 「イングランドの海岸線のようなフラクタルを考えてみると、ギザギザのエッジがたくさんあるため、その海岸線に沿って少し移動すると、非常に急速に変化することになります。」
脳の用語では、2 つの非常によく似た画像が、非常に異なる神経活動によって表される可能性があることを意味します。 「そしてそれは問題です」と彼女は付け加えました。 「たった 1 つのピクセルが変化した場合、または画像が少し移動した場合でも、表現が完全に変化することは望ましくありません。」
逆に、べき法則がより速く減衰すると、神経表現は低次元になります。暗号化する情報は少なく、いくつかの重要な側面を強調し、残りは無視します。
まとめると、これらの原則は、表現が可能な限り詳細かつ高次元でありながら、滑らかさを維持していることを意味していました.
ハリスによると、発見を解釈する 1 つの方法は、減衰が遅くなると、あまり重要でない次元に重点が置かれすぎるということです (なぜなら、神経活動を次元に関連付ける曲線がより平坦になると、神経集団が気にかけていることを示すからです)。すべての次元がより均等になります)。刺激のより細かい部分の表現は、より大きな特徴の表現を圧倒します。視覚野は常に特定の些細な詳細に過敏になり、結果として一貫した認識と決定を定式化することが難しくなります。一方、減衰が速いと、大きな特徴に必要以上の重みが置かれ、関連する可能性のある小さな特徴も圧倒されます。
脳はそれを正しく理解しているようです。ワシントン大学の数理神経科学者で、この研究には関与していない Eric Shea-Brown は、次のように述べています。 「同様の入力を同様の応答にマッピングするという点で、スムーズで体系的であることのバランスですが、それ以外は、入力について可能な限り多くを表現します。」
ハリスと彼のチームは、彼らのアイデアを検証するために別の実験を行いました。彼らが発見したべき法則の特定の勾配は、複雑な画像が必然的に高次元であるように、入ってくる刺激が高次元であることに依存していました。しかし彼らは、入ってくる視覚的入力がより単純で次元が低い場合、滑らかさの崩壊を避けるために傾きを急にする必要があると計算しました.
これはまさに、低次元画像を提示されたマウスの神経活動を分析したときに彼らが見たものです.
研究者は現在、このべき法則を可能にする生物学的メカニズムを決定したいと考えています。彼らはまた、他の脳領域、他のタスクや行動、および疾患モデルにおいて、それが果たす可能性のある役割を引き続き調査したいと考えています.
彼らが探求し始めている魅力的なコンテキストの 1 つは、人工知能です。深層学習システムには、滑らかさの崩壊という独自の問題があります。トレーニング後、画像をパンダとして正確にラベル付けできるかもしれませんが、人間の目には実際には見えないほんの一握りのピクセルに加えられた変更が原因になる可能性があります。代わりに画像をチンパンジーとして分類します。 「これは、これらのネットワークの病理学的特徴です」とハリスは言いました。 「彼らが過敏に感じる細部が必ずあるのです。」
コンピューター科学者は、なぜこのようなことが起こるのかを突き止めようとしており、Harris 氏は、彼のチームの調査結果がいくつかの手がかりを提供する可能性があると考えています。深層学習ネットワークの予備分析により、それらの層の一部は通常、マウス実験で観察されたものよりもゆっくりと減衰するべき法則に従うことが明らかになりました。ハリス、ストリンガー、および彼らの同僚は、脳内のネットワークとは異なり、完全に連続的ではない表現を生成するため、これらのネットワークが脆弱である可能性があると考えています。おそらく、Harris 氏は、彼が研究してきたべき法則の教訓を深層学習ネットワークに適用して、ネットワークをより安定させることができるかもしれないと述べました。しかし、深層学習ネットワークのべき法則も研究している Macke によると、この研究はまだ初期段階にあります。
Shea-Brown は、今でも始めるのに適した場所だと考えています。 「継続的でスムーズな関係は、環境内のさまざまなタイプの状況を一般化して比較する能力を生み出すために明らかに重要です。」科学者たちは、脳がニューロンの完全なネットワークを使用して世界の表現をエンコードする方法を理解し始めています。現在、「この驚くべき美しい結果」により、彼らはそのコードについて考えるための「新しい目標と非常に有用な基準点」の両方を手にしています。
ハリスは、視覚野におけるこの冪則の予想外の存在は、「データから出てきたものにすぎない」と指摘しました。数千のニューロンを一度に画像化して分析する彼のグループの技術を使用して、他の研究課題を追求できるようになった今、「べき法則に関するこのことは、おそらくいくつかの非常に基本的な最初の発見になるでしょう」。 「このアプローチ全体が、物事に対する私たちの考え方を完全に変えるでしょう。」
編集者注:ケネス・ハリスはシモンズ財団から資金提供を受けており、この財団はこの編集的に独立した雑誌にも資金を提供しています。
