脳は、秘密の一連のルールに従って無数の接続を微調整することにより、正規のタスクである学習を実行します。これらの秘密を解き明かすために、科学者は 30 年前に、学習プロセスを再現しようとするコンピューター モデルの開発を開始しました。現在、特定のタスクを実行する際に、これらのモデルが実際の脳と非常によく似た動作をすることが明らかになった実験が増えています。研究者は、類似点は、脳とコンピューターの基礎となる学習アルゴリズムの間の基本的な対応を示唆していると述べています。
1983 年に Geoffrey Hinton と Terry Sejnowski によって発明されたボルツマン マシンと呼ばれるコンピューター モデルで使用されるアルゴリズムは、発達、記憶形成、物体と音の認識、および睡眠覚醒サイクル。
オンタリオ州ハミルトンにあるマクマスター大学の心理学、神経科学、および行動学の教授であるスー・ベッカーは、「現在のところ、脳を理解するための最良の可能性です」と述べています。 「学習と脳の構造に関して、より広い範囲の現象を説明するモデルを私は知りません。」
人工知能分野のパイオニアであるヒントンは、脳が接続を強めるタイミングと弱めるタイミングを制御するルール、つまり学習方法のアルゴリズムを常に理解したいと考えてきました。 「何かを理解したいのなら、それを構築できる必要があるように思えました」と彼は言いました。物理学の還元主義的アプローチに従って、彼の計画は、さまざまな学習アルゴリズムを採用した脳の単純なコンピューター モデルを構築し、「どれが機能するかを確認する」ことでした。コンピューター サイエンスの教授、および Google。
1980 年代から 1990 年代にかけて、Hinton は 19 世紀の論理学者である George Boole のひ孫にあたる人物であり、その業績は現代のコンピューター サイエンスの基礎となっています。彼は機械学習アルゴリズムのコレクションを発明または共同発明しました。コンピューターにデータから学習する方法を伝えるアルゴリズムは、人工ニューラル ネットワークと呼ばれるコンピューター モデルで使用されます。人工ニューラル ネットワークとは、相互接続された仮想ニューロンの網であり、スイッチのオンとオフ、つまり「発火」によって隣人に信号を送信します。データがネットワークに供給され、発火アクティビティのカスケードが開始されると、アルゴリズムは発火パターンに基づいて、ニューロンの各ペア間の接続またはシナプスの重みを増減するかどうかを決定します。
何十年もの間、ヒントンのコンピューター モデルの多くは衰退しました。しかし、コンピューティング能力の進歩、科学者による脳とアルゴリズム自体の理解のおかげで、ニューラル ネットワークは神経科学においてますます重要な役割を果たしています。カリフォルニア州ラホーヤにあるソーク生物学研究所の計算神経生物学研究所所長である Sejnowski 氏は、次のように述べています。現在、これらのアイデアのいくつかをテストし始めています。」
ブレイン マシン
ヒントンの初期の脳複製の試みは限定的でした。コンピューターは小さなニューラル ネットワークで彼の学習アルゴリズムを実行できましたが、モデルをスケールアップするとすぐにプロセッサを圧倒しました。 2005 年、Hinton は、ニューラル ネットワークを複数の層に分割し、一度に 1 つの層でアルゴリズムを実行すると、脳の構造と発達に近似するようになることを発見しました。
ヒントンは彼の発見を 2 つのトップ ジャーナルに発表しましたが、それまでにニューラル ネットワークは支持されなくなり、「彼は人々の関心を引くのに苦労していました」と、ワシントン州のマイクロソフト リサーチの主任研究員であるリー デンは述べています。しかし、Deng は Hinton のことを知っており、2009 年に彼の「ディープ ラーニング」手法を試してみることに決め、すぐにその可能性を見出しました。それ以来、理論的な学習アルゴリズムは、Google Now パーソナル アシスタントや Microsoft Windows Phone の音声検索機能など、急増するアプリケーションで実用化されています。
これらのアルゴリズムの中で最も有望なものの 1 つであるボルツマン マシンは、19 世紀のオーストリアの物理学者ルートヴィヒ ボルツマンの名前を冠しています。ルートヴィヒ ボルツマンは、統計力学として知られる多数の粒子を扱う物理学の分野を開発しました。ボルツマンは、平衡に達したときに特定のエネルギーを持つ分子の気体の確率を与える方程式を発見しました。分子をニューロンに置き換えると、ボルツマン マシンが起動すると、まったく同じ方程式に収束します。
ネットワーク内のシナプスは重みのランダムな分布から始まり、重みは非常に単純な手順に従って徐々に微調整されます。マシンにデータ (画像や音声など) が供給されている間に生成されたニューラル発火パターンは、ランダムなパターンと比較されます。入力がオフになっている間に発生する発火活動。
各仮想シナプスは両方の統計セットを追跡します。接続しているニューロンがランダムに発火している場合よりもデータによって駆動されている場合の方がより頻繁に近い順序で発火する場合、シナプスの重みはその差に比例して増加します。しかし、2 つのニューロンがデータ駆動発火よりもランダム発火中に一緒に発火することが多い場合、それらを接続するシナプスが厚すぎて弱体化します。
ボルツマン マシンの最も一般的に使用されているバージョンは、一度に 1 レイヤーずつ「トレーニング」されるか、何千ものサンプル データが与えられるときに最適に機能します。まず、ネットワークの最下層は、ピクセル化された画像または多音の音を表す生データを受け取ります。網膜細胞と同様に、データのパッチで明から暗への切り替えなどのコントラストを検出すると、ニューロンが発火します。発火は、それらの間のシナプスの重みに応じて、接続されたニューロンも発火させる可能性があります。仮想ニューロンのペアの発火がバックグラウンドの発火統計と繰り返し比較されると、ニューロン間の意味のある関係が徐々に確立され、強化されます。シナプスの重みが研ぎ澄まされ、イメージまたはサウンドのカテゴリが接続に根付きます。後続の各レイヤーは、下のレイヤーからの入力データを使用して、同じ方法でトレーニングされます。
車の写真が、画像内の特定のオブジェクトを検出するように訓練されたニューラル ネットワークに供給された場合、エッジまたはエンドポイントを示すコントラストを検出すると、下位層が起動します。これらのニューロンの信号は高レベルのニューロンに伝わり、コーナーや車輪の一部などを検出します。最上層には、画像に車が含まれている場合にのみ発火するニューロンがあります。
ニューヨーク大学のデータ サイエンス センターのディレクターである Yann LeCun 氏は、次のように述べています。 「これまでに見たことのない車を見せた場合、トレーニング中に見せたすべての車に共通の形状または側面があれば、車であると判断できます。」
ニューラル ネットワークは、Hinton のレイヤーごとのトレーニング レジメン、グラフィカル プロセッシング ユニットと呼ばれる高速コンピューター チップの使用、およびトレーニングに使用できる画像と録音された音声の数の爆発的な増加のおかげで、最近大きな進歩を遂げています。ネットワークは、平均的な人間の聞き手の約 96% と比較して、通常の人間の英語の会話で話された単語の約 88% を正しく認識できるようになりました。画像内の車やその他の何千もの物体を同様の精度で識別でき、過去 3 年間で機械学習の競争を支配するようになりました。
脳を鍛える
脳の学習規則を直接確認する方法は誰にもわかりませんが、脳の動作とボルツマン マシンの動作には非常に示唆に富む類似点が数多くあります。
どちらも、データに自然に存在するパターン以外は監視なしで学習します。 「母親が画像の内容を教えてくれる何百万もの例はありません」とヒントンは言いました。 「物事が何であるかを誰にも言われなくても、物事を認識することを学ばなければなりません。次に、カテゴリを学習した後、人々はこれらのカテゴリの名前を教えてくれます。子供たちは犬と猫について学び、犬は「犬」と呼ばれ、猫は「猫」と呼ばれることを学びます。」
100,000 の車の画像で訓練されたボルツマン マシンが別の車の画像を見てもあまり変化しないのと同じように、大人の脳は若い脳よりも順応性が低くなります。そのシナプスには、車を分類するための適切な重みが既にあります。それでも、学びに終わりはありません。新しい情報は、脳とボルツマン マシンの両方の構造に統合できます。
過去5年から10年にわたる睡眠中の脳活動の研究は、脳が新しい情報と記憶をその構造に統合するためにボルツマンのような学習アルゴリズムを採用しているという最初の直接的な証拠のいくつかを提供してきました.神経科学者は、睡眠が記憶の定着に重要な役割を果たし、新しく学んだ情報を統合するのに役立つことを長い間知っていました. 1995 年、Hinton と同僚は、睡眠がアルゴリズムのベースライン コンポーネント (入力がない場合の神経活動の速度) と同じ機能を果たすことを提案しました。
「睡眠中にしていることは、基本レートを把握しているだけです」とヒントンは言いました. 「システムが単独で実行されている場合、これらのニューロンがどの程度相関するかを把握しています。そして、ニューロンがそれよりも相関している場合は、それらの間の重みを増やします。それよりも相関が低い場合は、それらの間の重みを減らします。」
シナプスのレベルでは、「このアルゴリズムはいくつかの異なる方法で実装できます」と、今年初めにオバマ政権の新しい BRAIN イニシアチブのアドバイザーになった Sejnowski 氏は述べています。 .
彼によると、脳がボルツマン アルゴリズムを実行する最も簡単な方法は、日中にシナプスを強化することから、夜間にシナプスを弱めることに切り替えることです。ウィスコンシン大学マディソン校の睡眠と意識センターの責任者である Giulio Tononi は、シナプス内部の遺伝子発現がこの仮説を支持する方法で変化することを発見しました。シナプス刈り込みは、睡眠中により活発になります。
別の方法として、「睡眠中にベースラインを計算し、日中にそれに対して変更を加えることもできます」と Sejnowski 氏は述べています。彼の研究室では、シナプスとシナプスが維持するネットワークの詳細なコンピューター モデルを構築して、覚醒時と睡眠時にシナプスの発火統計を収集する方法と、違いを反映するためにシナプスの強さを変更するタイミングを決定しています。
脳の合併症
ボルツマンのようなアルゴリズムは、脳がシナプスを微調整するために使用する多くのアルゴリズムの 1 つにすぎない可能性があります。 1990 年代に、いくつかの独立したグループが、視覚系が網膜に衝突する大量の情報を効率的にエンコードする方法の理論モデルを開発しました。この理論では、「スパース コーディング」と呼ばれる画像圧縮に似たプロセスが視覚野の最下層で行われ、視覚系の後期段階がより効率的になると考えられていました。
モデルの予測は、ますます厳しい実験的テストに徐々に合格しています。 5 月に PLOS Computational Biology に掲載された論文で、イギリスとオーストラリアの計算神経科学者は、2002 年に Hinton によって発明された Products of Experts と呼ばれるスパース コーディングのアルゴリズムを使用するニューラル ネットワークが、同じ異常な視覚データにさらされることを発見しました。生きている猫 (たとえば、猫とニューラル ネットワークはどちらも縞模様の画像しか見えません) では、それらのニューロンはほぼ同じ異常を発症します。
「情報が視覚野に到達するまでに、脳はそれをまばらなコードとして表現していると考えています」と、計算神経科学者であり、カリフォルニア大学バークレー校のレッドウッド理論神経科学センターの所長であるブルーノ・オルスハウゼンは述べています。スパースコーディングの理論を開発するのに役立ちました。 「つまり、まばらなコードの要素間の関係を学習しようとしているボルツマン マシンが頭の後ろに座っているようなものです。」
Olshausen と彼の研究チームは最近、視覚野の上位層のニューラル ネットワーク モデルを使用して、画像の動きにもかかわらず、脳がどのようにして視覚入力の安定した認識を作成できるかを示しました。別の最近の研究では、白黒映画を見ている猫の視覚野全体のニューロン発火活動が、ボルツマン マシンによって適切に記述されることがわかりました。
この研究の潜在的な用途の 1 つは、人工網膜などの神経プロテーゼの構築です。 「脳内の情報のフォーマットを理解すれば、脳を刺激して、誰かに画像を見ていると思わせる方法がわかります」と Olshausen 氏は述べています。
Sejnowski は、シナプスが成長および収縮するアルゴリズムを理解することで、研究者はそれらを変更して、ネットワーク機能がどのように崩壊するかを研究できるようになると述べています。 「そうすれば、人間が抱えている既知の問題と比較することができます」と彼は言いました。 「ほとんどすべての精神障害は、シナプスの問題に起因する可能性があります。したがって、シナプスをもう少しよく理解できれば、脳の正常な機能、情報を処理する方法、学習する方法、統合失調症などの場合に何がうまくいかないかを理解できるようになります。」
脳を理解するためのニューラル ネットワークのアプローチは、スーパーコンピューターを使用して人間の脳の正確なシミュレーションを作成するという、スイスの神経科学者ヘンリー マークラムの大々的な計画であるヒューマン ブレイン プロジェクトのアプローチとは対照的です。非常に単純化されたモデルから始めて徐々に複雑にするというヒントンのアプローチとは異なり、マークラムは、完全な機能と意識が現れることを期待して、最初から個々の分子まで可能な限り詳細を含めたいと考えています.
このプロジェクトは、1 月に欧州委員会から 13 億ドルの資金提供を受けましたが、Hinton は、まだ誰も理解していない可動部分が多すぎて、メガ シミュレーションは失敗すると考えています。 (Markram はコメントの要求に応答しませんでした。)
より一般的に言えば、ヒントンは、脳の働きは脳画像研究の詳細だけから推測できるとは考えていません。代わりに、これらのデータを使用してアルゴリズムを構築および改良する必要があります。 「ボルツマン マシンのような理論を考え出すには、理論的に考え、学習アルゴリズムの領域を探索する必要があります」と彼は言いました。ヒントンにとって次のステップは、層の間だけでなく内部でニューロンを接続するシナプスを持つネットワークなど、さらに脳に似たニューラル ネットワークをトレーニングするためのアルゴリズムを開発することです。 「主な目標は、各段階でより複雑な計算を行うことで、計算によって得られるものを理解することです」と彼は言いました.
オルスハウゼンによれば、これはおそらく、脳が「知覚的な埋め合わせ」を達成する方法であり、上位層が下位層が部分的な情報に基づいて感知しているものについて推論を行う方法です。 「それは意識と密接に関係しています」と彼は言いました。
もちろん、人間の脳はどのモデルよりもはるかに複雑なままです。より大きく、より高密度で、より効率的で、より相互接続され、より複雑なニューロンを持ち、複数のアルゴリズムを同時に処理します。 Olshausen は、視覚野の活動の 15% しか理解していないと見積もっています。モデルは進歩していますが、神経科学はまだ「ニュートン以前の物理学に少し似ています」と彼は言いました。それでも彼は、これらのアルゴリズムを構築するプロセスが、いつの日か、脳の究極の謎、つまり感覚データが現実の主観的認識にどのように変換されるかを説明できるようになると確信しています。 Olshausen は、意識は「非常に複雑なボルツマン マシンから現れるものです」と述べています。
