今天小編分享的互聯網經驗：你聽到的音樂在腦中是怎樣的？這項研究把它錄下來了！，歡迎閲讀。
圖片來源 @視覺中國
文 | 追問 NextQuestion，作者 | 一碗蘿莉面
音樂是生命體驗中不可或缺的一部分。過去，人們想要表達音樂只能憑歌喉哼唱、靠樂器演奏；而如今，科學家已經能通過解碼大腦來呈現腦中音樂——近期，加州大學伯克利分校（University of California, Berkeley，UC Berkeley）的科學家們成功地從腦電波中重建了大腦所聽到的音樂。
這項成果來自 UC Berkeley 的 Helen Wills 神經科學實驗室，于今年 8 月 15 日發表于 Plos Biology 雜志，天橋腦科學研究院（Tianqiao and Chrissy Chen Institute，TCCI）應用神經技術前沿實驗室主任 Gerwin Schalk 教授也是研究者之一。此前，該團隊已經成功通過腦電波重建腦内語音。而這次的研究更進了一步，音樂所包含的信息顯然遠遠大于語音。正如研究團隊成員介紹，" 音樂本質上是充滿情感和韻律的——它有節奏、重音、抑揚頓挫，包含了比任何語言中有限的音素更廣泛的含義。"
有趣的是，與使用古典音樂的傳統方式不同，研究人員重建的音樂片段是來自英國搖滾樂隊 Pink Floyd 發表于 1979 年的歌曲 "Another Brick in the Wall, Part 1"。為什麼團隊選擇了 Pink Floyd 的音樂、特别是這個片段呢？" 在論文中，我們提到的科學原因是：這首歌非常具有層次感，它引入了復雜的和弦、不同的樂器和不同的節奏，使得分析變得有趣。" 認知神經科學家、該研究的主要作者 Ludovic Bellier 説道。" 不過，不太科學的原因是我們真的很喜歡 Pink Floyd。"
這項研究共納入了 29 名耐藥性癫痫患者，他們均接受過顱内電極植入，以監測癫痫的發作。納入本次研究的電極共 2668 個，每位患者 36 個到 250 個不等。研究人員為患者播放了 "Another Brick in the Wall, Part 1"，讓他們聆聽這段音樂，此後利用人工智能對電極記錄的信息進行解碼、重建。
先來聽聽這驚人一致的原曲和腦電波重建曲吧！可以聽到，雖然重建的音頻有些模糊不清、仿佛 " 在水下説話 "，但樂曲的走向、一些重音處的歌詞如 "the wall" 以及節奏都是清晰可辨的。
注：将原始歌曲波形轉換為僅有幅度的聽覺頻譜圖，然後使用迭代相位估計算法将其轉換回波形。
注：使用非線性模型對所有 29 名患者的 347 個重要電極進行反饋，重建歌曲節選。
哪些腦區記錄了音樂？
為了确定哪些部位的電極記錄了歌曲聲學信息的編碼，研究者利用人工智能對 2379 個無偽迹電極記錄的腦波信息進行了譜時感受野（STRF）拟合，評估不同位置電極記錄的神經元高頻活動到底能夠多準确地被歌曲的聽覺頻譜圖預測：預測程度越好，則該位置的電極便與記錄音樂越相關。
▷圖 1：響應電極的解剖位置
圖 1A 表示所有電極的覆蓋範圍。圖 1B 顯示，347 個電極具有顯著的 STRF 拟合結果，位于左半球的有 199 個，右半球的有 148 個。這 347 個響應電極絕大多數（87%）集中在三個區網域：68% 位于雙側颞上溝（STG），14.4% 位于雙側感覺運動皮層（SMC，位于中央前回和中央後回），4.6% 位于雙側額下回（IFG）。圖 1C、D 中，較深的顏色表示電極位于右半球，較淺的表示位于左半球；雙因素 ANOVA 分析顯示，兩側半球的對比有統計學意義，電極響應更加集中的區網域均是右半球。
從腦海中重建歌曲需要多少信息？
科學家們從 347 個響應電極中随機抽取電極記錄的數據，再利用人工智能解碼其中信息、進行歌曲的重建。研究者發現，随機使用 43 個電極的數據即可達到最佳準确預測能力的 80%；在單個患者上也類似，43 個電極的信息已經可以進行解碼，盡管解碼的準确性較低；使用數據的持續時間與預測準确性之間也存在類似關系，例如，相比于使用完整的 190.72 秒的歌曲數據，使用 69 秒的數據即可以獲得 90% 的重建準确性。
那麼，放置電極的解剖位置對重建是否有影響呢？在移除不同解剖位對的電極信息後再解碼，發現：
（1）相比其他腦區，雙側 STG 具有獨特的音樂信息；
（2）相比左側 STG，右側 STG 具有獨特的信息；
（3）左側 STG 的部分音樂信息在右側 STG 存在冗餘編碼。
▷圖 2：不同音素的解碼
不同解剖位置的電極在解碼音樂時是否具有不一樣的功能？确實如此。在對所有響應電極的獨立成分分析後，結果如圖 2 所示：
僅位于雙側後 STG 的 " 起始成分 "，記錄主音吉他或合成器的起始部分、及人聲中音節核心的起始部分（圖 2B、C、D 的第一行）；
位于雙側中、前 STG 以及雙側 SMC 的 " 持續成分 "，記錄歌曲的人聲部分（圖 2B、C、D 的第二行）；
位于雙側後、前 STG，以及雙側 SMC 的 " 遲發型起始成分 "，也與主音吉他或合成器的起始部分、及人聲中音節核心相關，只是潛伏期更長（圖 2B、C、D 的第三行）；
位于雙側中 STG 的 " 節奏成分 "，記錄歌曲中速度為 99bpm、貫穿整個歌曲的節奏吉他中的 16 分音符（圖 2E）。
了解了大腦是如何 " 接收 " 與 " 理解 " 音樂信号後，再來看響應電極的功能成分對音樂重建又有哪些影響？在移除不同相關功能的響應電極後再解碼，發現：
右側起始電極相比左側具有獨特的信息；左側起始電極的部分信息在右側起始電極中存在冗餘編碼。對于遲發性起始電極也觀察到類似現象。
右側節奏成分電極具有獨特的信息，沒有任何信息在左側節奏電極中存在冗餘編碼。
盡管持續電極數量很多，但移除它們的信息未發現任何影響。
不過，由于電極的功能成分存在一定重疊性，所以對它們功能重要性的解讀沒有解剖位置那麼準确。
為什麼關注大腦中重建的音樂？
或許有人會對這項研究的目的產生疑問，為何我們要去聽大腦對外界聲音的映射？
其實，這類研究能夠幫助我們更好地理解音樂和語言的處理方式。另外，在對疾病的認識上也能給我們一些實證性的啓發，例如揭示為什麼布羅卡失語症患者講話費力，但通常卻可以毫無困難地用唱歌的方式唱出相同的詞。
這項研究也為将情感賦予合成語音奠定了基礎。盡管研究重點放在音樂上，但研究人員認為，這項結果對于基于腦電波的語音合成将有很大幫助。無論哪種語言，人類的話語都包含着節奏、重音、抑揚頓挫等音樂性要素，這些要素構成了話語之中隐含的情感成分。
" 這些元素，我們稱之為韻律，攜帶着無法僅僅用語言表達的意義。" 研究者 Bellier 希望這個模型能夠改進腦機接口技術，使語言輔助不僅能重構語音本身，還能重構話語中用韻律表達的意圖。
過去，科學家們已成功重建腦内語音，能使中風或肌萎縮側索硬化症等神經系統疾病患者通過植入式語音解碼器來表達自己；但此類重建通常是機械、刻板的。研究者們希望這項成果最終能幫助失語患者恢復自然言語的音樂性。
" 如果腦機接口能夠用音樂中固有的韻律和情感來重新創造某人的言語，那麼它所能重建的不僅僅是單詞，不是機械地説，‘我，愛，你，’而是可以像真人一樣大喊，‘我愛你！’ "
另外，這項研究重建的是研究對象聽到的音樂，而研究者 Robert Knight 認為，未來的研究應向重建腦中想象的語音、音樂發展。" 雖然他們沒有記錄受試者想象音樂時的大腦反應，但這可能是腦機接口未來的用途之一：将想象的音樂轉化為真實的音樂。"
不過，這項技術離實際運用還有很長的路要走，比如，目前獲取的數據還基于有創的顱内植入電極；或許未來可以利用無創電極來實現數據收集，這将建立在腦機接口技術的發展之上。
總之，一旦這項技術成熟應用，是否我們就能依靠一個輕型頭盔來創作心中的音樂呢？那時候會有怎樣瑰麗的想象化為現實？讓我們無限遐想。
參考文獻
Bellier L, Llorens A, Marciano D, Gunduz A, Schalk G, Brunner P, et al. ( 2023 ) Music can be reconstructed from human auditory cortex activity using nonlinear decoding models. PLoS Biol 21 ( 8 ) : e3002176. https://doi.org/10.1371/journal.pbio.3002176
