人工ニューラルネットがついに脳の学習方法の手がかりを生み出す|生き物

2007 年、深層ニューラルネットワークの背後にある主要な思想家の何人かが、人工知能に関する権威ある年次会議の余白で、非公式の「サテライト」会議を組織しました。会議は、公式ワークショップの要請を拒否しました。ディープニューラルネットワークが AI を引き継ぐにはまだ数年かかりました。海賊版会議の最後のスピーカーは、トロント大学の Geoffrey Hinton 氏でした。彼は、認知心理学者でコンピューター科学者であり、ディープネットにおける最大のブレークスルーのいくつかに関与しています。彼は皮肉なことから始めました。パパ、もうやめて」

聴衆は笑った。ヒントンは続けて、「それで、これがその仕組みです。」さらに笑いが起こりました。

ヒントンのジョークは、AI を使用して脳を理解するという真剣な追求を裏切っています。今日、ディープネットが AI を支配しているのは、バックプロパゲーションまたはバックプロップと呼ばれるアルゴリズムのおかげです。このアルゴリズムにより、ディープネットはデータから学習できるようになり、画像の分類、音声の認識、言語の翻訳、自動運転車の道路状況の理解、およびその他の多くのタスクの実行が可能になります。

しかし、実際の脳が同じアルゴリズムに依存している可能性はほとんどありません。モントリオール大学のコンピューター科学者であり、ケベック州の人工知能科学研究所ミラの科学ディレクターであるヨシュア・ベンジオ氏は、「脳は最先端の AI システムよりも優れた方法で一般化して学習することができる」というだけではありません。 Intelligence Institute および 2007 ワークショップの主催者の 1 人。さまざまな理由から、バックプロパゲーションは、特に皮質において、脳の解剖学的構造および生理学と互換性がありません。

ヒントンに触発されたベンジオと他の多くの人々は、少なくともバックプロパゲーションの成功に匹敵する、より生物学的にもっともらしい学習メカニズムについて考えてきました。それらのうちの 3 つ — フィードバック調整、平衡伝播、および予測コーディング — は、特に有望であることが示されています。一部の研究者は、特定のタイプの皮質ニューロンの特性や、注意などのプロセスをモデルに組み込んでいます。これらすべての取り組みにより、脳内で機能している可能性のあるアルゴリズムの理解に近づいています.

「脳は巨大な謎です。その原理の一部を解き明かすことができれば、AI に役立つ可能性があるという一般的な印象があります」と Bengio 氏は述べています。「しかし、それ自体にも価値があります。」

バックプロパゲーションによる学習

何十年もの間、脳がどのように学習するかについての神経科学者の理論は、主にカナダの心理学者ドナルド・ヘブによって 1949 年に導入された規則によって導かれてきました。つまり、隣接するニューロンの活動がより相関しているほど、それらの間のシナプス結合が強くなります。この原則は、いくつかの修正を加えて、特定の限られたタイプの学習および視覚的分類タスクを説明することに成功しました.

しかし、間違いから学ばなければならないニューロンの大規模なネットワークでは、うまく機能しませんでした。ネットワークの奥深くにあるニューロンが、発見されたエラーについて学習し、自分自身を更新し、間違いを少なくするための直接的を絞った方法はありませんでした。スタンフォード大学の計算神経科学者でコンピューター科学者でもある Daniel Yamins は、次のように述べています。

それにもかかわらず、それは神経科学者が持っていた最高の学習ルールであり、神経科学を支配する前でさえ、1950 年代後半に最初の人工ニューラルネットワークの開発に影響を与えました。これらのネットワーク内の各人工ニューロンは、複数の入力を受け取り、生物学的な対応物と同様に出力を生成します。ニューロンは、各入力にいわゆる「シナプス」重み (その入力に割り当てられた重要性を示す数値) を掛けてから、重み付けされた入力を合計します。この合計がニューロンの出力です。 1960 年代までに、そのようなニューロンを入力層と出力層を持つネットワークに編成できることが明らかになり、人工ニューラルネットワークを訓練して、特定のクラスの単純な問題を解決できるようになりました。トレーニング中、ニューラルネットワークはエラーを排除または最小化するためにニューロンの最適な重みを決定しました。

しかし、1960 年代でさえ、より複雑な問題を解決するには、入力層と出力層の間に挟まれたニューロンの 1 つまたは複数の「隠れた」層が必要であることは明らかでした。隠れ層を使用して人工ニューラルネットワークを効果的にトレーニングする方法を誰も知りませんでした — 1986 年にヒントン、故デビッドルメルハート、ロナルドウィリアムズ (現在はノースイースタン大学) が逆伝播アルゴリズムを発表するまでは。

このアルゴリズムは 2 つのフェーズで機能します。「フォワード」フェーズでは、ネットワークに入力が与えられると、出力が推測されますが、これは誤りである可能性があります。 2 番目の「後方」フェーズでは、シナプスの重みを更新し、出力を目標値により近づけます。

このプロセスを理解するために、推測されたアウトプットと望ましいアウトプットの差を丘と谷の景観として表す「損失関数」について考えてみましょう。ネットワークが与えられた一連のシナプスの重みで推論を行うとき、それは損失ランドスケープのある場所に行き着きます。学習するには、損失が可能な限り最小限に抑えられる谷に向かって斜面または勾配を下る必要があります。バックプロパゲーションは、シナプスの重みを更新してその勾配を下降させる方法です。

本質的に、アルゴリズムの逆方向フェーズは、各ニューロンのシナプスの重みがエラーにどの程度寄与するかを計算し、それらの重みを更新してネットワークのパフォーマンスを向上させます。この計算は、出力層から入力層まで順次逆方向に進むため、バックプロパゲーションという名前が付けられています。これを一連の入力と目的の出力に対して何度も繰り返し、最終的にニューラルネットワーク全体で許容できる一連の重みに到達します。

脳には不可能

バックプロパゲーションの発明は、実際の脳では決して機能しないという一部の神経科学者からの抗議をすぐに引き出しました。最も注目すべき否定論者は、ノーベル賞を受賞したDNA構造の共同発見者で、後に神経科学者になったフランシス・クリックでした。 1989 年に Crick は、「学習プロセスに関する限り、脳が実際に逆伝播を使用する可能性は低い」と書いています。

バックプロップは、いくつかの主な理由から生物学的に信じがたいと考えられています。 1 つ目は、コンピューターはアルゴリズムを 2 段階で簡単に実装できますが、生物学的ニューラルネットワークでこれを行うのは簡単ではないということです。 2 つ目は、計算神経科学者が重み輸送問題と呼んでいるものです。バックプロップアルゴリズムは、推論に関与するすべてのシナプスの重みに関する情報をコピーまたは「転送」し、それらの重みを更新して精度を高めます。しかし、生物学的ネットワークでは、ニューロンは他のニューロンの出力のみを認識し、その出力を形成するシナプスの重みや内部プロセスは認識しません。ニューロンの観点からは、「自分自身のシナプスの重みを知っていても問題ありません」と Yamins 氏は述べています。「よくないのは、他のニューロンのシナプスの重みのセットを知っていることです。」

生物学的にもっともらしい学習ルールは、ニューロンが隣接するニューロンからの情報にのみアクセスできるという制限も遵守する必要があります。 backprop は、より多くのリモートニューロンからの情報を必要とする場合があります。したがって、「バックプロップを文字どおりに解釈すると、脳が計算するのは不可能に思えます」と Bengio 氏は述べています。

それにもかかわらず、ヒントンと他の数人は、逆伝播の生物学的にもっともらしいバリエーションに取り組むという課題にすぐに取り組みました。ペンシルバニア大学の計算神経科学者であるコンラッド・コーディングは、「脳がバックプロパゲーションを行っていると主張する最初の論文は、バックプロパゲーションと同じくらい古いものです。過去 10 年ほどの間に、人工ニューラルネットワークの成功が人工知能の研究を支配するようになったため、バックプロップに生物学的に相当するものを見つける努力が強化されてきました。

よりリアルに

たとえば、2016 年にロンドンの Google DeepMind の Timothy Lillicrap と彼の同僚の厚意により、重み輸送問題に対する最も奇妙な解決策の 1 つを考えてみましょう。逆方向パスのランダム値で初期化された行列。一度割り当てられると、これらの値は変更されないため、バックワードパスごとに重みを転送する必要はありません。

ほとんどの人が驚いたことに、ネットワークは学習しました。推論に使用される順方向の重みは各逆方向のパスで更新されるため、ネットワークは依然として損失関数の勾配を下降しますが、経路は異なります。順方向の重みは、ランダムに選択された逆方向の重みとゆっくりと調整され、最終的に正しい答えが得られます。このアルゴリズムはフィードバック調整と呼ばれています。

「実際には、それはあなたが思っているほどうまくいかないことがわかりました」と Yamins は言いました — 少なくとも単純な問題については.大規模な問題や、より多くの隠れ層を持つより深いネットワークの場合、フィードバック調整はバックプロップほどには機能しません:フォワードウェイトへの更新は、真にバックプロパゲーションされた情報からの更新よりも各パスでの精度が低いため、多くの時間がかかります。ネットワークをトレーニングするためのより多くのデータ。

研究者はまた、ニューロンがローカルネイバーにのみ応答するという古典的な Hebbian の学習要件を維持しながら、backprop のパフォーマンスを一致させる方法を調査しました。 Backprop は、推論を行うニューロンの 1 つのセットと、シナプスの重みを更新するための計算を行う別のニューロンのセットと考えることができます。ヒントンのアイデアは、各ニューロンが両方の計算セットを実行するアルゴリズムに取り組むことでした。「それは基本的に、2007 年に Geoff が話した内容でした」と Bengio は言いました。

ヒントンの研究に基づいて、ベンジオのチームは 2017 年に学習規則を提案しました。この規則では、反復接続を持つニューラルネットワークが必要です (つまり、ニューロン A がニューロン B を活性化すると、次にニューロン B がニューロン A を活性化します)。このようなネットワークに何らかの入力が与えられると、各ニューロンがすぐ隣のニューロンのプッシュとプルに応答するため、ネットワークの残響が設定されます。

最終的に、ネットワークは、ニューロンが入力および相互に平衡状態にある状態に到達し、誤った出力を生成します。次に、アルゴリズムは出力ニューロンを目的の結果に向けて微調整します。これにより、ネットワークを逆方向に伝播する別の信号が設定され、同様のダイナミクスが発生します。ネットワークは新しい均衡を見つけます。

「この数学の優れた点は、ナッジ前とナッジ後の 2 つの構成を比較すると、勾配を見つけるために必要なすべての情報が得られることです」と Bengio 氏は述べています。ネットワークのトレーニングには、この「平衡伝播」のプロセスを多数のラベル付きデータに対して反復的に繰り返すだけです。

認識の予測

ニューロンが局所環境に反応することによってのみ学習できるという制約は、脳がどのように知覚するかについての新しい理論にも表現されています。エジンバラ大学の博士課程の学生であり、サセックス大学の客員研究員であるベレン・ミリジと彼の同僚たちは、予測コーディングと呼ばれるこの新しい認識の見方と、逆伝播の要件とを調整してきました。「予測コーディングは、それが特定の方法で設定されている場合、生物学的にもっともらしい学習ルールを提供します」と Millidge 氏は述べています。

予測コーディングは、脳が感覚入力の原因について常に予測を行っていると仮定しています。このプロセスには、ニューラル処理の階層的なレイヤーが含まれます。特定の出力を生成するために、各レイヤーは下のレイヤーの神経活動を予測する必要があります。最上位のレイヤーが顔を見ることを期待している場合、この認識を正当化できる下のレイヤーのアクティビティを予測します。下の層は、その下の層から何を期待するかについて同様の予測を行います。最下層は、実際の感覚入力、つまり網膜に当たる光子について予測を行います。このようにして、予測は上位層から下位層に流れます。

ただし、階層の各レベルでエラーが発生する可能性があります。つまり、レイヤーが期待する入力について行う予測と実際の入力との違いです。最下層は、受け取った感覚情報に基づいて、シナプスの重みを調整してエラーを最小限に抑えます。この調整により、新しく更新された最下層と上の層との間に誤差が生じるため、上位層はシナプスの重みを再調整して予測誤差を最小限に抑える必要があります。これらのエラー信号は上方に波及します。各層の予測誤差が最小化されるまで、ネットワークは行き来します。

Millidge は、適切な設定により、予測コーディングネットワークが backprop とほぼ同じ学習勾配に収束できることを示しました。「バックプロップ勾配に本当に、本当に、本当に近づくことができます」と彼は言いました。

ただし、従来のバックプロップアルゴリズムがディープニューラルネットワークで行う後方パスごとに、予測コーディングネットワークは複数回反復する必要があります。これが生物学的にもっともらしいかどうかは、これが実際の脳でどれくらいの時間がかかるかにかかっています.重要なことに、ネットワークは外界からの入力が変化する前に解決策に収束する必要があります。

「『虎が飛びかかってきたので、100 回繰り返して脳を上下させてください』というようなことはできません」と Millidge 氏は言います。それでも、ある程度の不正確さが許容できる場合、予測コーディングは一般的に有用な答えにすぐに到達できると彼は言いました.

錐体ニューロン

一部の科学者は、個々のニューロンの既知の特性に基づいてバックプロップのようなモデルを構築するという核心的なタスクを引き受けました。標準的なニューロンには、他のニューロンの軸索から情報を収集する樹状突起があります。樹状突起はシグナルをニューロンの細胞体に伝達し、そこでシグナルが統合されます。その結果、ニューロンの軸索からシナプス後ニューロンの樹状突起に向かうスパイクまたは活動電位が発生する場合と発生しない場合があります。

しかし、すべてのニューロンがまさにこの構造を持っているわけではありません。特に、大脳皮質で最も豊富なタイプのニューロンである錐体ニューロンは、明らかに異なっています。錐体ニューロンは、樹状突起の 2 つの異なるセットを持つツリーのような構造を持っています。幹は上に達し、頂端樹状突起と呼ばれるものに枝分かれします。根は下に達し、基底樹状突起に分岐します。

2001 年に Kording によって独自に開発されたモデル、そして最近では McGill 大学の Blake Richards と Mila と彼の同僚によって開発されたモデルは、錐体ニューロンが順方向と逆方向の両方の計算を同時に行うことによって深層学習ネットワークの基本ユニットを形成できることを示しました。鍵となるのは、ニューロンに入る信号を分離して前進する推論と逆流するエラーであり、モデルでは基底樹状突起と頂端樹状突起によってそれぞれ処理できます。両方の信号の情報は、ニューロンが出力として軸索に送る電気的活動のスパイクにエンコードできます。

リチャーズのチームによる最新の研究では、「ニューロンのかなり現実的なシミュレーションを使用して、錐体ニューロンのネットワークを訓練してさまざまなタスクを実行できることを示すことができるようになりました」とリチャーズは述べています。「そして、これらのモデルのもう少し抽象化されたバージョンを使用して、錐体ニューロンのネットワークを取得し、機械学習で人々が行う一種の困難なタスクを学習させることができます。」

注目の役割

バックプロップを使用するディープネットの暗黙の要件は、「教師」の存在です。つまり、ニューロンのネットワークによって発生したエラーを計算できるものです。しかし、「脳内には、運動皮質のすべてのニューロンに『スイッチをオンにし、スイッチをオフにする必要があります』と伝える教師はいません」とオランダ神経科学研究所のピーター・ロエルフセマ氏は述べています。

Roelfsema は、問題に対する脳の解決策は注意の過程にあると考えています。 1990 年代後半に、彼と彼の同僚は、サルが物体に視線を向けると、大脳皮質でその物体を表すニューロンがより活性化することを示しました。サルが注意を集中させる行為は、責任のあるニューロンへのフィードバック信号を生成します。「これは非常に選択的なフィードバック信号です」と Roelfsema 氏は述べています。「これはエラー信号ではありません。これらすべてのニューロンに、[行動の] 責任を負うことになると言っているだけです。」

Roelfsema の洞察は、このフィードバック信号が、他の特定の神経科学的発見で明らかにされたプロセスと組み合わされた場合、バックプロップのような学習を可能にする可能性があるというものでした。例えば、ケンブリッジ大学のウォルフラム・シュルツらは、動物が予想以上の結果をもたらす行動をとった場合、脳のドーパミン系が活性化されることを示しました。「それは脳全体を神経調節物質であふれさせます」と Roelfsema は言いました。ドーパミンレベルは、全体的な強化信号のように機能します。

理論的には、注意フィードバック信号は、シナプスの重みを更新することにより、グローバルな強化信号に応答するアクションに関与するニューロンのみをプライミングすることができる、と Roelfsema は述べた。彼と彼の同僚は、このアイデアを使用してディープニューラルネットワークを構築し、その数学的特性を研究しました。「エラー逆伝播が発生することがわかりました。基本的に同じ方程式が得られます」と彼は言いました。「しかし、今では生物学的にもっともらしくなりました。」

チームは、12 月に開催された Neural Information Processing Systems のオンライン会議でこの研究を発表しました。 Roelfsema 氏は次のように述べています。「バックプロパゲーションよりも 2 ～ 3 倍遅いだけです。」そのため、彼は、「生物学的にもっともらしいと提案されている他のすべてのアルゴリズムを凌駕しています」と述べています。

それにもかかわらず、生きている脳がこれらのもっともらしいメカニズムを使用するという具体的な経験的証拠はとらえどころのないままです。「まだ何かが足りないと思います」とベンジオは言いました。「私の経験では、それは小さなことかもしれません。おそらく、既存の方法の 1 つにいくつかのひねりを加えるだけで、本当に違いが生まれるでしょう。」

一方、スタンフォード大学のヤミンズと彼の同僚は、提案された学習規則のどれが正しいものであるかを判断する方法について提案しています。彼らは、さまざまな学習モデルを実装する 1,056 の人工ニューラルネットワークを分析することで、ネットワークを支配する学習規則のタイプを、時間の経過に伴うニューロンのサブセットの活動から識別できることを発見しました。そのような情報がサルの脳から記録される可能性があります。「適切なオブザーバブルのコレクションがあれば、学習ルールを特定できるかなり単純なスキームを思いつくことができるかもしれません」と Yamins 氏は述べています。

このような進歩を考えると、計算神経科学者は静かに楽観的です。「脳がバックプロパゲーションを行うには、さまざまな方法があります」と Kording 氏は述べています。「そして、進化は非常に素晴らしいものです。バックプロパゲーションは便利です。進化がそこにたどり着いたのだと思います。」