この研究者は、脳活動に基づいて人々がどんな曲を聴いているかを知っていた

人間の脳は、私たちの体の中で最も神秘的な器官です。記憶や意識から精神疾患や神経障害に至るまで、私たち自身の心の複雑さを理解する前に、なすべき研究や研究が数多く残されています。しかし、研究者たちはある程度、私たちの思考や感情を利用することに成功しています。私たちの夢の内容, を観察するサイロシビンの影響うつ病によって中断された脳のネットワーク、またはどのような種類のものを予測できるかについて私たちが魅力的だと思う顔.

今年初めに発表された研究では、脳の活動を解読するという同様の偉業が説明されています。イアン・デイリーイギリスのサセックス大学の研究者は、脳スキャンを使用して、人々が聴いている音楽を 72% の精度で予測しました。 Daly は、XNUMX つの異なる形式の「ニューラルデコーダー」を使用した彼の研究について次のように説明しています。紙の自然.

彼の研究の参加者が音楽を聴いている間、Daly は、電極とワイヤのネットワークを使用して脳内で発火しているニューロンの電気信号を取得する脳波計 (EEG) と機能的磁気共鳴画像法の両方を使用して、脳活動を記録しました (fMRIを)、神経活動に応じて発生する血液の酸素化と血流の変化を示しています。

EEG と fMRI には反対の長所があります。前者は、電極が頭皮にあるため、脳の表面からしか脳活動を短時間記録できません。後者は、脳のより深い部分の活動を捉えることができますが、それはより長い期間に限られます。両方を使用することで、Daly は両方の長所を得ることができました。

彼は、音楽を聴いているときと音楽を聴いていないときの脳の活動を比較し、左右の聴覚皮質、小脳、海馬を、音楽を聴いて感情的に反応する重要な領域として特定しました。は、各地域での活動に関して、異なる参加者の間で多くの違いがあったことを指摘しました。ある人は特定の音楽に感情的な反応を示し、別の人は同じ曲を退屈だと感じることがあるため、これは理にかなっています。

EEG と fMRI の両方を使用して、Daly は 18 人が 36 の異なる曲を聴いているときの脳活動を記録しました。彼は、脳活動データを双方向長期短期 (biLSTM) ディープニューラルネットワークに入力し、脳波を使用して参加者が聞いた音楽を再構築できるモデルを作成しました。

biLSTM は再帰型ニューラルネットワークの種類これは、自然言語処理アプリケーションで一般的に使用されます。通常の長短期記憶ネットワークに追加の層を追加し、その追加の層はその情報の流れを逆にし、入力シーケンスが逆方向に流れることを可能にします。したがって、ネットワークの入力は順方向と逆方向の両方に流れ (したがって「双方向」部分)、両側からの情報を利用することができます。これにより、単語とフレーズの間、またはこの場合は音符とシーケンスの間の依存関係をモデル化するための優れたツールになります。

Daly は、biLSTM ネットワークからのデータを使用して、人々の EEG 活動に基づいて曲を大まかに再構築し、72% の精度で彼らが聴いていた音楽を特定することができました。

次に、EEG を使用して 20 人の新しい参加者からデータを記録し、最初のデータセットからこれらの信号のソースに関する洞察を得ました。そのデータに基づくと、曲を特定する彼の精度は 59% に低下しました。

しかし、Daly は、彼の方法を使用して、脳卒中を起こした人や、麻痺を引き起こす可能性のある他の神経学的状態に苦しんでいる人を支援するためのブレインコンピューターインターフェース (BCI) を開発できると考えています。 ALSなど. 脳活動を言葉に変換できるBCIにより、これらの人々は、他の方法では不可能な方法で、愛する人やケア提供者とコミュニケーションをとることができます. ソリューションはすでに次の形で存在しますが、脳インプラントDaly のような技術が同様の結果を達成できれば、患者への侵襲性ははるかに低くなります。

「音楽は感情的なコミュニケーションの一形態であり、人間の会話と多くの時間的、スペクトル的、文法的な類似点を共有する複雑な音響信号でもあります」と Daly は述べています。紙に書いた. 「したがって、脳の活動から聞いた音楽を再構築できるニューラルデコーディングモデルは、コミュニケーションを支援するアプリケーションを持つ他の形式のニューラルデコーディングモデルへの合理的な一歩を形成することができます。」

画像のクレジット：アリナ・グルブニャック on Unsplash