今天小編分享的科學經驗：眨眼就能照相？哈佛從神經信号提取出影像，成果登Nature，歡迎閲讀。
将肉眼直接用來 " 照相 "，也許将成為可能……
哈佛團隊推出的新模型能夠分析神經信号，甚至從視覺皮層中直接提取影像。
相比于傳統神經解析工具，這項成果大大提高了識别效率和連續性。
Nature 的編輯也評價它 " 十分優雅 "：
這款模型名叫 CEBRA（發音同 zebra），是将對比式學習與非線性獨立分析相結合的產物。
一名團隊成員表示，這個名字十分貼切，因為 CEBRA 可以把信息 " 條紋化 "，就像斑馬一樣。
在小鼠身上進行的實驗中，CEBRA 視頻解析的準确率超過了 95%。
團隊還發現，CEBRA 在跨越大鼠和小鼠兩個物種時的表現具有一致性。
所以可以展望 CEBRA 在其他物種上的應用，説不定人眼攝影機也會成為可能。
論文通訊作者也表示，未來的目标是将 CEBRA集成到腦機接口中：
本質上，CEBRA 是一個神經信号解析模型。
所以它的技能不只有影像獲取，只要和神經信号有關的事情，它都能做。
比如根據神經活動來預測肢體的運動行為。
還可以根據神經信号判斷肢體活動是主動還是被動做出。
對比式非線性學習
行為或神經數據的降維壓縮一直是神經信号識别中不可缺少的一環。
研究團隊将對比式學習引入非線性獨立成分分析模型，提出了新的框架。
對比式學習是一種強大的自驅動學習方式，使用呈現對比關系的樣本進行訓練，以發現數據間的共性與個性。
用 CEBRA 的模型訓練神經網絡，可以得到一種編碼器。
這種編碼器則可以生成由動作或時間調控的低維嵌入空間。
具體而言，是通過将離散或連續的變量與時間相結合使數據對得到分布，然後再交由編碼器處理。
CEBRA 獲取神經活動嵌入時同時使用用户定義（監督驅動、假設式）和只帶有時間（自驅動、發現式）的标籤。
這一過程中，CEBRA 将行為及時間标籤與神經信号一并優化，映射到低維嵌入空間。
根據數據集大小的不同，優化計算可以采用批量計算、随機梯度下降等不同方式。
優化後得到的低維嵌入既可以用于數據可視化，也可以在解碼等下遊工作中使用。
相比于傳統的非線性降維方式，對比式訓練無需生成模型，适用廣泛性更強。
魯棒性與實用性兼具
在事實信息重構的測試中，CEBRA 的表現顯著優于 pi-VAE。
然後，團隊又使用了一個海馬數據集進行測試，該數據集被用來作為神經嵌入算法的基準。
在這一輪測試中，團隊賦予了 pi-VAE 卷積網絡加持，但最終結果仍是 CEBRA 更勝一籌。
魯棒性方面，團隊使用了代數拓撲學方法進行測試。
将 CEBRA 生成的低維嵌入投影到球面，團隊發現了一個環形拓撲結構。
通過計算 Eilenberg-MacLane 坐标發現，CEBRA 的環形拓撲結構與（真實）空間跨維度匹配。
至于跨個體甚至物種的表現，團隊在訓練時就使用了包含多種動物的數據集。
測試結果也表明，CEBRA 生成的結果具有很高的個體間和種間一致性。
與完全在未見過的個體上進行訓練相比，CEBRA 的結果錯誤更少、效率也更高。
實際應用中，團隊在小鼠身上進行了實驗。
他們讓小鼠反復觀看幾段視頻，并與小鼠視覺皮層的信号一并作為訓練數據。
另有一些視頻則用作測試數據，結果顯示，CEBRA 視頻解析的準确率超過了 95%，遠高于其他模型。
論文地址：
https://www.nature.com/articles/s41586-023-06031-6
項目主頁：
https://github.com/AdaptiveMotorControlLab/CEBRA
