今天小編分享的财經經驗：大腦如何區分和存儲記憶？，歡迎閱讀。
圖片來源 @視覺中國
文｜追問 nextquestion
在神經科學領網域諸多關于記憶的研究論文中，有一個高頻出現的名字—— Henry Molaison（簡稱 H.M.）。
他曾是一位嚴重的癫痫患者。1953 年，他決心接受一項有望治療癫痫的外科手術——切除包括海馬體 1（圖 1）在内的腦組織。手術後的 H.M. 在大多數方面都表現得相當正常：他的個性、抽象思維能力和推理能力并未受到影響；他也保留了童年的記憶，能夠清晰地記得小時候老家的地址。然而，讓世人感到疑惑的是，H.M. 幾乎完全喪失了創造長期記憶的能力。他不記得手術後經常看他的醫生，甚至也不記得剛剛吃過飯。
1 海馬體：組成大腦邊緣系統的一部分，位于大腦皮質下方，擔當着關于短期記憶、長期記憶，以及空間定位的作用。
H.M. 的經歷，讓人們對海馬體與記憶之間的功能聯系產生了興趣。目前，神經科學家和心理學家已經開始認識到，我們的大腦中存在多種類型的記憶：有關過去經歷的情節性記憶，有關事實的語義記憶，短時和長時記憶等。但是，為什麼這些記憶會以不同類型存在？不同類型的記憶都儲存在大腦的什麼地方？對科學家來說，這些問題仍是未解之謎。
▷圖 1 ：H.M. 的海馬體在手術中被剝除。圖片來源：brainfacts
記憶指的是大腦編碼、存儲和檢索過往經驗的能力。對過往經驗的存儲和概括有益于動物做出适應性的決策。舉例來說，記住通往特定水源的安全路徑，并對這些記憶線索進行概括，就能發現能預測新水源的環境特征，如周圍的地貌、植被類型等。因而，這種能夠被用來識别和理解當前的情境，并基于過去的經驗預測将要發生的事情的記憶的能力，即可預測記憶，對生物的環境适應能力尤為重要。
▷ 原始論文：Organizing memories for generalization in complementary learning systems
如今，一項經人工神經網絡實驗證實的新理論表明，大腦可能會通過評估記憶在未來的有用程度，對記憶進行分類。具體來說，可預測記憶 2（比如每天早餐吃什麼或上班的路線怎麼走）會保存在大腦的新皮質中，它們将幫助你更好的适應不斷變化的環境和做出相應有效的決策。至于一些不太有用的記憶，比如在一個派對上喝過的特殊飲料的味道，則會被直接保存在海馬體中，不再會在新皮質中被鞏固。
可見，大腦會根據記憶的有用性和可預測性對其進行分類 " 裝箱 "，優化了記憶的可靠性，來幫助我們應對新穎的情境。
2 可預測記憶：過去的經驗和記憶對未來事件的發生或特征產生一定程度的可預測性。當大腦接收新信息時，先前存儲的記憶可以用來識别和理解當前的情境，并基于過去的經驗預測将要發生的事情。這種可預測性有助于個體更好地适應環境和做出有效的決策。
系統鞏固神經網絡模型
關于記憶在腦區間的存儲，目前較為經典的研究理論是互補學習系統假說（圖 2）。該理論認為，大腦中存在兩個互補的學習系統——海馬體和新皮質。海馬體，位于腦内深處，人們認為它在學習初期特别活躍。海馬體主要負責快速地将新的信息進行編碼和存儲，并且對于空間導航、事實和事件的短期記憶至關重要。新皮質則是大腦外層的一部分，它會對信息進行更長期的存儲和整合。新皮質的學習過程相對較慢，但它能夠處理更加復雜和抽象的信息，并将其整合到長期記憶中。這兩個系統配合着一起工作，就形成了學習和記憶的動态過程。海馬體在學習初期迅速編碼新信息，然後逐漸将這些信息傳遞給新皮質，再由新皮質進行更加穩固和長期的存儲。
▷ 圖 2：海馬體與新皮質在儲存記憶時的互補學習過程。圖源：researchgate
基于上述互補學習系統假說，研究人員建立了一個叫做" 教師 - 筆記本 - 學生 "的系統鞏固神經網絡模型（圖 3），該模型由三個功能不同的神經網絡組成——教師、筆記本和學生網絡。教師網絡代表生物生存的環境，它提供經驗性的輸入；筆記本網絡則代表海馬體，能夠快速地編碼環境所提供的每個經驗的所有細節；而學生網絡則代表新皮質，其通過海馬體（筆記本）中記錄的經驗來預測環境（教師）提供的信息。
具體來說，在神經網絡模型中，" 教師 " 是一個線性前饋網絡，通過固定的權重和附加輸出噪聲生成 " 輸入 - 輸出對 "。" 學生 " 是一個與之大小相匹配的權重可學習的線性前饋網絡。" 筆記本 " 則是一個稀疏的 Hopfield 網絡。在模型訓練的過程中，" 學生 " 從包含信号和噪聲的有限經驗集合中進行權重的學習，最終希望 " 教師 " 的輸出和 " 學生 " 的預測之間的平方差應盡可能小。另外，研究人員也提出假設，在這個模型中，" 學生 " 的主要目标是優化泛化性能，能夠最終較好地預測新的 " 教師 " 輸出。
▷圖 3：教師 - 學生 - 筆記本結構圖 圖源：參考文獻 1
研究人員使用該神經網絡模型模拟了記憶和泛化的動态過程，來研究系統鞏固 3 的實際影響和特征。為了優化學生的記憶回溯，研究人員将模型建模為無限的筆記本回放。在每次模拟中，他們會根據三個不同可預測性（信噪比）的教師網絡（高預測性、輕微預測性以及不可預測性），生成經驗輸入。
結果發現（圖 4），盡管對于無噪聲的教師網絡輸入，學生網絡的泛化誤差單調減小，但有噪聲的教師網絡輸入最終仍使得學生網絡泛化效果不佳（紅色實線）。也就是說，在不可預測的環境中，過度的系統鞏固可能會嚴重降低模型的泛化性能，導致新皮質（學生）過度拟合環境（教師）中不可預測的元素。
這也預示着，在建構神經網絡模型的過程中，為了最終能夠提高模型的泛化能力，有必要将系統鞏固水平考慮在内。
3 系統鞏固：研究人員将系統鞏固建模為學生網絡内部突觸的可塑性。學生網絡的可塑性機制受筆記本重新激活的指導，類似于假設海馬體回放有助于系統鞏固的方式。
▷圖 4：在優化學生記憶時，學生概括錯誤、學生記憶錯誤、筆記本概括錯誤和筆記本記憶錯誤的動态變化。圖源：參考文獻 1
泛化優化的互補學習系統（Go-CLS 模型）
Go-CLS 模型
Go-CLS 模型是在系統鞏固神經網絡模型的基礎上建構而成的。考慮到上述實驗中在不可預測的環境裡系統鞏固對模型泛化能力的不利影響，研究人員調整了模型的系統鞏固水平。該理論的基本假設是，系統鞏固的程度是自适應調節的，當系統鞏固到一定程度後，如果繼續鞏固反而會削弱模型的泛化能力，就應該停止鞏固。從目前 Go-CLS 模型的訓練結果看，在這種設定下，學生（紅色實線）可以從每位教師的經驗中實現幾乎最佳的泛化性能。
▷圖 5：在優化概括的表現時，學生概括錯誤、學生記憶錯誤、筆記本概括錯誤和筆記本記憶錯誤的動态變化。（b）高可預測性（無噪聲）；（d）輕微可預測性（輕微噪聲）；（f）不可預測性（多噪聲）。圖源：參考文獻 1
與系統鞏固的神經網絡模型比較
研究人員将上述兩個模型進行比較，發現兩者在處理不同預測性教師數據時表現出明顯差異。在标準系統鞏固模型中，所有記憶都會被鞏固，但泛化能力随着教師可預測性的不同而有很大變化。對于可預測性較低的教師，這種模型的泛化誤差較高（圖 6，左）。與之相較，Go-CLS 模型消除了過拟合的有害效應，在學生能夠到達最優記憶性能之前結束。并且随着教師的可預測性程度增加，泛化性能和記憶性能均得到改善（圖 6，右）。
▷圖 6: 鞏固模型與 Go-CLS 模型下學生泛化性能随教師的可預測性程度變化的比較。左：系統鞏固的神經網絡模型，右：Go-CLS 模型。圖源：參考文獻 1
可見，Go-CLS 模型不僅在逆行性遺忘 4（即過去記憶的丢失）方面與系統鞏固的神經網絡模型表現不同，還在時間依賴性泛化方面表現出顯著差異。在模拟海馬體剝除後，在逆行性遺忘方面，系統鞏固的神經網絡模型總會表現出記憶逐漸丢失的趨勢，即過去的記憶更容易被遺忘。而 Go-CLS 模型則能夠解釋不同類型的記憶丢失現象，包括那些随時間變化而不同的記憶丢失模式。在時間依賴的泛化層面，在處理不同的可預測性的經驗時，兩種模型都會產生多樣的泛化曲線，最大泛化性能随着教師的可預測性增加而提高。然而，在學生過拟合時，只有 Go-CLS 能夠維持其随時間變化的泛化能力。系統鞏固的神經網絡模型甚至可能導致學生過度泛化，產生極不準确的輸出。
4 逆行性遺忘（retrograde amnesia）：在某個特定時間點之前發生的事件或信息無法被記憶，而在這個時間點之後的記憶則相對保留。這種記憶缺失通常是由于腦部受損或其他神經系統障礙引起的，影響了個體對過去經歷和信息的回憶。逆行性遺忘可能涉及特定類型的記憶，如語義記憶或事件記憶，而不是影響所有記憶類型。研究者通常根據記憶缺陷在最近和遠期記憶中是否相似（平坦逆行性遺忘）、在最近記憶中是否更為明顯（分級逆行性遺忘），或者在最近和遠期記憶中是否都不存在（無逆行性遺忘）來對海馬體遺忘動态進行分類。
對互補學習系統理論的補充
Go-CLS 神經網絡模型的實驗結果為互補學習系統假說提供了新的見解。海馬體和新皮質耦合的快速和慢速學習模塊——是互補學習假設的基本前提。
于是，研究人員又利用 Go-CLS 神經網絡模型比較了耦合的學生 - 筆記本網絡（圖 7，左）與孤立的學生（圖 7，中）和筆記本網絡（圖 7，右）的泛化性能。考慮到 Go-CLS 神經網絡模型中，" 學生 " 表征的是互補學習系統假說中的新皮質，" 筆記本 " 表征的是海馬體，因此孤立的學生和筆記本網絡的實驗組，則分别表示各自僅用新皮質或僅用海馬體學習的情境。
▷ 圖 7: 學習系統模型示意圖，（a）使用學生 - 筆記本網絡；（b）僅使用學生網絡；（c）僅使用筆記本網絡。圖源：參考文獻 1
孤立學生網絡模型必須在線從每個教師網絡的經驗中學習，并且無法重新訪問或是回顧以往的信息。這就限制了它的泛化性能（圖 8，橙色與黑色曲線相比）。結果表明，使用兩個包含學生的網絡模型都要比僅含筆記本的網絡模型泛化性能更好。另外，當教師網絡提供适量可預測的數據時，學生 - 筆記本耦合網絡模型的泛化增益要遠遠大于孤立的學生網絡模型。因此，在數據适中且環境中噪聲适度的情況下，學生 - 筆記本耦合網絡模型在泛化性能上更為優越。
另外，當學生的經驗數量等于學習模型中可調整的參數數量時，使用 " 回顧先前的學習經驗來進行學習 "（回放功能）可以最有效地提升學生的學習能力。但這種情況下也存在風險：大腦可能會過度适應這些舊信息，導致對新情況的反應不夠靈活，就像機器學習中的 " 雙峰下降 " 現象一樣。在這種現象中，當數據量處于與網絡大小相關的中等水平時，過拟合最為嚴重。當記憶模式的數量接近網絡模型可以處理的最大數量（容量）時，神經網絡必須最精細地調整其權重。這通常需要對權重進行大幅度的更改，以減小小的訓練誤差。為了避免這個問題，最優學生 - 筆記本網絡模型可以通過根據教師的可預測性調整系統鞏固的數量，以防止過度适應噪聲。這預示着，大腦可能也在以類似的方式根據經驗的可預測性來調節學習和記憶的方式。
▷圖 8：互補學習系統的優勢。圖源：參考文獻 1。
總結
Go-GLS 模型為我們提供了一個有趣的理論假設，即大腦可能是通過評估記憶的可預測性和對未來的有用性來對記憶進行分類的。
▷圖 9：用一則故事說明系統鞏固模型與 Go-CLS 模型在概念上的差異 圖源：參考文獻 1。
設想這樣的情境：一個小女孩與父親在湖邊度過快樂的一天。在這一天的經歷中，可能包含了新鮮采摘的草莓，味道很甜這樣的可預測關系。Go-GLS 模型的研究結果表明：可預測關系應該從經驗中提取出來，并與相關經驗的記憶相互整合，通過系統鞏固過程來生成記憶，并被強化，實現可預測經驗的泛化。在這一天的經歷中，也可能會出現不可預測的共現事件，比如父親的襯衫顏色剛好與草莓的顏色都是紅色。但這類關系不應在新皮質中被鞏固。當然，它們仍然可以作為這一天的情景記憶的一部分存放在海馬體中。
另一方面，Go-GLS 模型與人工智能研究有許多微妙的聯系。Go-CLS 模型通過教師 - 學生對的最優逼近誤差來定義可預測性。但是，這與實際情況中，是否可以學到最優學生權重是不同的。比如梯度下降可能陷入局部最小值或短暫地降低泛化性能。另外，由于過拟合同樣可以在更復雜的學生架構以及現代深度學習模型中觀察到，Go-GLS 模型中提出的基本概念也适用于更廣泛的模型類别。同樣，一些機器學習方法可以插值訓練數據并很好地泛化，因此我們有必要尋找能夠在學習過程中更好地平衡記憶和泛化的學生網絡架構和學習規則。
然而，Go-GLS 模型僅關注了簡單的監督學習問題，未來我們仍需要解決在具有更為多樣化的泛化情境下的最優鞏固問題，例如強化學習和大型語言模型中的新興少樣本學習。
參考文獻：
[ 1 ] Sun, W., Advani, M., Spruston, N. et al. Organizing memories for generalization in complementary learning systems. Nat Neurosci 26, 1438 – 1448 ( 2023 ) .
[ 2 ] https://www.quantamagazine.org/the-usefulness-of-a-memory-guides-where-the-brain-saves-it-20230830/
