ニューロンと神経系の接続に広く着想を得た人工ニューラル ネットワークを含む今日の人工知能システムは、既知の制約のあるタスクで素晴らしいパフォーマンスを発揮します。また、多くの計算能力と膨大な量のトレーニング データが必要になる傾向があります。これらすべてが、チェスや囲碁のプレイ、画像内に車があるかどうかの検出、猫と犬の描写の区別に優れているのに役立ちます。ペンシルベニア大学の計算神経科学者であるコンラッド・コーディングは、「しかし、彼らは音楽を作ったり、短編小説を書いたりするのはかなり下手です。 「彼らは世界で有意義に推論するのに非常に苦労しています。」
これらの制限を克服するために、一部の研究グループは脳に戻って新鮮なアイデアを求めています。しかし、彼らのほんの一握りは、最初はありそうもない出発点のように思えるかもしれないもの、つまり嗅覚または嗅覚を選択しています.生物が化学情報を処理する方法をよりよく理解しようとしている科学者は、AI の問題に特に関連すると思われるコーディング戦略を明らかにしました。さらに、嗅覚回路は、より優れた機械を構築するために関心を集めてきた、より複雑な脳領域と驚くほど類似しています。
コンピューター科学者は現在、機械学習のコンテキストでこれらの発見を調査し始めています。
まぐれと革命
今日使用されている最先端の機械学習技術は、情報の階層的抽出に基づく視覚システムの構造を少なくとも部分的に模倣するように構築されています。視覚野が感覚データを受け取ると、最初に空間マッピングを含むエッジ、テクスチャ、色など、明確に定義された小さな特徴を選択します。神経科学者の David Hubel と Torsten Wiesel は、1950 年代と 60 年代に、視覚系の特定のニューロンが網膜の特定のピクセル位置に相当することを発見し、この発見でノーベル賞を受賞しました。
視覚情報が皮質ニューロンの層を通過するにつれて、エッジ、テクスチャ、および色に関する詳細が組み合わされて、入力のますます抽象的な表現が形成されます。たとえば、オブジェクトが人間の顔であり、顔のアイデンティティがジェーンであるなどです。 .ネットワークのすべての層は、有機体がその目標を達成するのに役立ちます。
ディープ ニューラル ネットワークは、同様に階層的に機能するように構築され、機械学習と AI 研究に革命をもたらしました。これらのネットに顔などの物体を認識するように教えるために、何千ものサンプル画像が与えられます。このシステムは、人工ニューロン間の接続を強めたり弱めたりして、与えられたピクセルの集合が顔のより抽象的なパターンを形成していることをより正確に判断します。十分なサンプルがあれば、新しい画像やこれまでに見たことのないコンテキストで顔を認識できます。
研究者は、画像分類だけでなく、音声認識、言語翻訳、その他の機械学習アプリケーションでも、これらのネットワークで大きな成功を収めています。それでも、ワシントン大学の計算神経科学センターの研究者であるチャールズ・デラハント氏は、「深層網を貨物列車と考えるのが好きです」と述べています。 「線路を敷設し、巨大なインフラを整備できる適度に平坦な地面がある限り、それらは非常に強力です。しかし、生物学的システムがそのすべてを必要としないことはわかっています — ディープ ネットでは現在対応できない困難な問題を処理できるということです。」
AI で話題の自動運転車を取り上げます。車が新しい環境 (絶えず変化し、ノイズとあいまいさに満ちた環境) をリアルタイムでナビゲートするとき、視覚システムに着想を得たディープ ラーニング技術では不十分な場合があります。おそらく、大まかにビジョンに基づいた方法は正しい方法ではありません。マサチューセッツ工科大学の生物物理学者であるアダム・マーブルストーンは、そのビジョンはまったく偶然の出来事であり、「歴史的なまぐれ」だったと述べています。これは、科学者が最もよく理解しているシステムであり、画像ベースの機械学習タスクに明確に適用できます。
しかし、「すべての種類の刺激が同じように処理されるわけではありません」と、カリフォルニア州ソーク生物学研究所のコンピューター科学者であるサケット ナブラカは述べています。 「たとえば、視覚と嗅覚は非常に異なる種類の信号です。 …したがって、さまざまな種類のデータを処理するためのさまざまな戦略が存在する可能性があります。視覚系がどのように機能するかを学ぶ以外にも、もっと多くの教訓があると思います。」
彼と他の人々は、昆虫の嗅覚回路がそれらの教訓のいくつかを保持している可能性があることを示し始めています.嗅覚研究は、1990 年代にコロンビア大学の生物学者である Linda Buck と Richard Axel が匂い受容体の遺伝子を発見するまで始まりませんでした。しかし、それ以来、嗅覚系は特によく特徴付けられるようになり、ハエや他の昆虫で簡単に研究できるようになりました.一部の科学者は、視覚システムは一般的な計算上の課題を研究するためのものではないという点で扱いやすいと主張しています。
「私たちが嗅覚に取り組んでいるのは、嗅覚が比較的完全に特徴付けることができる有限のシステムだからです」とデラハントは言いました。 「あなたには戦いのチャンスがあります。」
英国ハートフォードシャー大学の計算神経科学者であるマイケル・シュミューカーは、「人々はすでに視覚でこのような素晴らしいことを行うことができます. 「もしかしたら、嗅覚でも素晴らしいことができるかもしれません。」
ランダム ネットワークとスパース ネットワーク
嗅覚は多くの面で視覚とは異なります。においは構造化されていません。それらにはエッジがありません。それらは空間でグループ化できるオブジェクトではありません。それらはさまざまな組成と濃度の混合物であり、互いに類似または異なるものとして分類することは困難です.したがって、どの機能が注目されるべきかは必ずしも明確ではありません。
これらの匂いは、視覚野ほど複雑ではない浅い 3 層ネットワークによって分析されます。嗅覚野のニューロンは、階層内の特定の領域ではなく、受容体空間全体をランダムにサンプリングします。彼らは、ソーク研究所の神経生物学者であるチャールズ・スティーブンスが「アンチマップ」と呼んでいるものを採用しています。視覚野のようなマッピングされたシステムでは、ニューロンの位置によって、ニューロンが運ぶ情報の種類が明らかになります。しかし、嗅覚皮質のアンチマップでは、そうではありません。代わりに、情報はシステム全体に分散され、そのデータの読み取りには、最小数のニューロンからのサンプリングが含まれます。アンチマップは、高次元空間での情報のスパース表現と呼ばれるものによって実現されます。
ショウジョウバエの嗅覚回路を見てみましょう。50 個の投射ニューロンが、それぞれ異なる分子に敏感な受容体から入力を受け取ります。 1 つの匂いが多くの異なるニューロンを興奮させ、各ニューロンはさまざまな匂いを表します。それは、この時点で 50 次元の空間に表現されている情報の、重なり合った表現の混乱です。この情報は、特定の香りをエンコードする 2,000 個のいわゆるケニオン セルにランダムに投影されます。 (哺乳類では、梨状皮質として知られている細胞がこれを処理します。) これは、40 倍の次元拡張を構成し、神経反応のパターンによって匂いを区別しやすくします。
「たとえば、1,000 人が部屋に詰め込まれ、趣味で整理しようとするとします」と Navlakha 氏は言います。 「確かに、この混雑した空間では、これらの人々をグループに構造化する方法を見つけることができるかもしれません.しかし今、それらをサッカー場に広げたとしましょう。データをいじって構造化するための余分なスペースがすべてあります。」
ハエの嗅覚回路がそれを行ったら、重複しないニューロンで異なる匂いを識別する方法を見つけ出す必要があります。これは、データを「スパース化」することによって行われます。 2,000 個の Kenyon セルのうち約 100 個 (5%) のみが、特定の匂いに反応して非常にアクティブになり (アクティブでないセルは沈黙します)、それぞれに固有のタグを提供します。
要するに、伝統的な深層ネットワーク (これも視覚系から手がかりを得ている) は、「学習」するにつれて接続の強さを常に変化させますが、嗅覚系は一般に、投射ニューロンとケニオンの間の接続を調整することによって自分自身を訓練するようには見えません。
研究者は 2000 年代初頭に嗅覚を研究していたため、高次元でのランダムな埋め込みとスパース性が計算効率にどのように役立つかを判断するアルゴリズムを開発しました。イギリスのサセックス大学の Thomas Nowotny とカリフォルニア大学サンディエゴ校の Ramón Huerta という 2 人の科学者は、サポート ベクター マシンと呼ばれる別の種類の機械学習モデルとの関連性さえ引き出しました。彼らは、自然のシステムと人工的なシステムの両方が情報を処理し、ランダムな編成と次元拡張を使用して複雑なデータを効率的に表現する方法は、形式的に同等であると主張しました。 AI と進化は、独立して同じソリューションに収束しました。
そのつながりに興味をそそられた Nowotny と彼の同僚は、嗅覚と機械学習の間のインターフェースを探求し続け、両者の間のより深いつながりを探しています。 2009 年、彼らは昆虫に基づいた嗅覚モデルが、最初は匂いを認識するために作成され、手書きの数字も認識できることを示しました。さらに、大部分のニューロンを除去して (脳細胞が死んで置き換えられない様子を模倣するため)、パフォーマンスに大きな影響はありませんでした。 「システムの一部がダウンする可能性がありますが、システム全体は機能し続けます」と Nowotny 氏は述べています。彼は、過酷な条件下で動作しなければならない火星探査機のようなものにそのようなハードウェアを実装することを予見しています.
しかし、しばらくの間、これらの発見を追跡するための作業はあまり行われませんでした。それはごく最近まで、一部の科学者が、より具体的な機械学習の問題を改善する方法についての洞察を求めて、嗅覚の生物学的構造を再検討し始めたときまででした.
固定知識と素早い学習
Delahunt と彼の同僚は、蛾の嗅覚システムを基礎として使用し、それを従来の機械学習モデルと比較して、Nowotny が実施したのと同じ種類の実験を繰り返しました。サンプル数が 20 未満の場合、蛾ベースのモデルは手書きの数字をよりよく認識しましたが、より多くのトレーニング データを提供すると、他のモデルははるかに強力で正確であることが証明されました。 「機械学習法は、大量のデータが与えられた場合に非常に正確な分類器を提供するのが得意ですが、昆虫モデルは大まかな分類を非常に迅速に行うのが得意です」と Delahunt 氏は述べています。
嗅覚は、学習の速度に関してはよりうまく機能しているようです。その場合、「学習」は、目前の特定のタスクに最適な機能や表現を探すことではなくなるからです。代わりに、多数のランダムな機能のどれが役に立ち、どれが役に立たないかを認識することになります。 「ワンクリックでトレーニングできたら、もっと素敵ですよね？」中国の南方医科大学の生物学者である Fei Peng は次のように述べています。
実際、嗅覚戦略は、いくつかの基本的で原始的な概念をモデルに焼き付けているようなものであり、世界の一般的な理解が私たちの脳に組み込まれているように見える.構造自体は、命令なしでいくつかの単純な生来のタスクを実行できます。
これの最も顕著な例の 1 つは、昨年 Navlakha の研究室から出てきました。彼は、スティーブンスと、カリフォルニア大学サンディエゴ校のコンピューター科学者であるサンジョイ ダスグプタと共に、類似性に基づいて検索を実行する嗅覚にヒントを得た方法を見つけたいと考えていました。 YouTube がユーザーが現在見ている動画に基づいてサイドバーに動画のリストを生成できるように、生物は匂いを識別する際にすばやく正確に比較できなければなりません。ハエは、熟したバナナの匂いに近づき、酢の匂いを避けるべきであることを早い段階で学習するかもしれませんが、その環境は複雑で騒音に満ちています。まったく同じ匂いを二度と経験することはありません.ハエは、新しい匂いを検出すると、以前に経験したどの匂いが最も似ているかを把握する必要があります。これにより、適用する適切な行動反応を思い出すことができます。
Navlakha は、嗅覚ベースの類似性検索アルゴリズムを作成し、それを画像のデータ セットに適用しました。彼と彼のチームは、彼らのアルゴリズムが、次元削減のみを含む従来の非生物学的方法よりも優れており、時には 2 ～ 3 倍優れていることを発見しました。 (これらのより標準的な手法では、いくつかの基本的な特徴または寸法に焦点を当ててオブジェクトを比較しました。) また、ハエベースのアプローチでは、「ほぼ同じレベルの精度を得るために、計算量が約 1 桁少なくなりました」と Navlakha 氏は述べています。 「つまり、コストかパフォーマンスのどちらかで勝ったのです。」
Nowotny、Navlakha、Delahunt は、本質的に訓練されていないネットワークが、分類計算や同様のタスクにすでに役立つ可能性があることを示しました。このようなエンコーディング方式を組み込むことで、システムはその後の学習を容易にする態勢が整ったままになります。たとえば、ナビゲーションや記憶に関係するタスクで使用できます。たとえば、状況の変化 (たとえば、パスの障害物) がシステムから離れず、多くの学習時間や多くの例から学ぶことができない状況です。
Peng と彼の同僚はまさにその研究を開始し、一連の重なり合った画像からおなじみのルートをナビゲートする方法を決定するアリの嗅覚モデルを作成しました。
現在審査中の研究で、Navlakha は同様の嗅覚ベースの方法をノベルティ検出に適用しました。これは、過去に何千もの同様のオブジェクトにさらされた後でも何かを新しいものとして認識します.
Nowotny は、嗅覚系が混合物をどのように処理するかを調べています。彼はすでに、他の機械学習の課題への応用の可能性を見出しています。たとえば、生物はいくつかの匂いを単一の匂いとして認識し、他の匂いを混合物として認識します。人は何十もの化学物質を摂取してバラの匂いを嗅いだことを知ったり、近くのパン屋から同じ数の化学物質を感知してコーヒーとコーヒーを区別したりします。クロワッサン。 Nowotny と彼のチームは、分離可能な匂いが同時に知覚されないことを発見しました。むしろ、コーヒーとクロワッサンの匂いが交互に非常に急速に処理されます.
その洞察は、人工知能にも役立つ可能性があります。たとえば、カクテル パーティーの問題は、騒がしい環境で多数の会話を分離することがいかに難しいかを示しています。部屋に複数のスピーカーがいる場合、AI は音声信号を非常に小さな時間枠に分割することで、この問題を解決できる可能性があります。システムが 1 つのスピーカーからの音を認識した場合、他のスピーカーからの入力を抑制しようとする可能性があります。このように交互に繰り返すことで、ネットワークは会話を解きほぐすことができます。
インセクト サイボーグの登場
先月科学プレプリント サイト arxiv.org に掲載された論文で、Delahunt と彼のワシントン大学の同僚である J. Nathan Kutz は、彼らが「昆虫サイボーグ」と呼ぶものを作成することで、この種の研究をさらに一歩進めました。彼らは、蛾ベースのモデルの出力を機械学習アルゴリズムの入力として使用し、画像を分類するシステムの能力の向上を確認しました。 「これにより、機械学習アルゴリズムは、より強力な素材を扱うことができます」と Delahunt 氏は述べています。 「蛾の脳によって何らかの異なる種類の構造が引き出されており、その異なる種類の構造を持つことが機械学習アルゴリズムに役立ちます。」
一部の研究者は現在、嗅覚の研究を利用して、より深いネットワークで複数の形態の学習をどのように調整できるかを解明したいと考えています。 「しかし、現時点では、そのほんの一部しか取り上げていません」と Peng 氏は述べています。 「現時点では、深層学習システムを改善する方法がよくわかりません。」
開始点の 1 つは、嗅覚ベースのアーキテクチャを実装することだけでなく、システムの入力を定義する方法を理解することでもあります。 Science Advances に掲載されたばかりの論文で 、ソーク研究所のタチアナ・シャーピーが率いるチームは、においを説明する方法を模索しました.画像は、一種の「視覚空間」におけるピクセル間の距離に応じて、多かれ少なかれ類似しています。しかし、嗅覚にはそのような距離は当てはまりません。構造的相関関係も、信頼できる方向性を提供することはできません。化学構造が似ている匂いは非常に異なるものとして認識され、化学構造が非常に異なる匂いは類似していると認識される可能性があります。
シャーピーと彼女の同僚は、代わりに、自然界でどのくらいの頻度で一緒に発見されるかという観点から匂い分子を定義しました（彼らの研究の目的のために、彼らはさまざまな果物や他の物質のサンプルで分子がどのくらいの頻度で共起するかを調べました）.次に、共活性化する傾向がある場合はニオイ分子を近づけ、そうでない場合は離れて配置することで、マップを作成しました。彼らは、都市が球体 (地球) にマッピングされるのと同じように、匂い分子が双曲空間 (鞍のように見える負の曲率を持つ球体) にマッピングされることを発見しました。
Sharpee は、双曲線構造を持つ入力を機械学習アルゴリズムに与えることで、構造化されていないオブジェクトの分類に役立つ可能性があると推測しました。 「深層学習には、入力がユークリッドのメトリックで行われるべきであるという最初の仮定があります」と彼女は言いました。 「私は、その測定基準を双曲線的なものに変更してみることができると主張します。」おそらく、そのような構造は、深層学習システムをさらに最適化する可能性があります.
共通点
現在、これの多くは理論的なままです。 Navlakha と Delahunt による作業は、嗅覚にヒントを得たモデルが違いを生むかどうかを判断するために、はるかに困難な機械学習の問題にスケールアップする必要があります。 「これはまだ始まったばかりだと思います」とナウトニーは言いました。 「どこまで行くか見てみましょう。」
研究者に希望を与えているのは、嗅覚系の構造が、多くの種の脳の他の領域、特に記憶とナビゲーションに関与する海馬、および運動制御を担う小脳に驚くほど類似していることです。嗅覚は細菌の化学感覚にまでさかのぼる古代のシステムであり、環境を探索するためにすべての生物によって何らかの形で使用されています.
「一般的に皮質と呼ばれるすべてのものの進化の起源に近いようです」とマーブルストーンは言いました.嗅覚は、学習の共通点を提供する可能性があります。コロンビア大学の神経科学者である Ashok Litwin-Kumar は、次のように述べています。 「学習に役立つ基本的なものがそこにあるはずです。」
嗅覚回路は、海馬と小脳で使用されるより複雑な学習アルゴリズムと計算を理解し、そのような洞察を AI に適用する方法を理解するためのゲートウェイとして機能する可能性があります。研究者は、現在の機械学習のアーキテクチャとメカニズムを改善する方法を提供することを期待して、注意やさまざまな形態の記憶などの認知プロセスに目を向け始めています。しかし、嗅覚は、それらのつながりを築くためのより簡単な方法を提供するかもしれません. 「これは興味深いネクサス ポイントです」とマーブルストーン氏は言います。 「次世代のニューラル ネットについて考えるための入り口です。」
