今天小編分享的科技經驗：美國哥倫比亞大學研究：大語言模型正在變得越來越像人類大腦，歡迎閲讀。
IT 之家 12 月 20 日消息，以 ChatGPT 等為代表的大型語言模型（LLMs）在過去幾年中越來越擅長處理和生成人類語言，但這些模型在多大程度上模拟了人類大腦支持語言處理的神經過程，還有待進一步闡明。
據 Tech Xplore 18 日報道，哥倫比亞大學和費因斯坦醫學研究所的研究團隊近期進行了一項研究，探索了 LLM 與大腦神經反應的相似性。研究表明，随着 LLM 技術的進步，這些模型不僅在性能上有所提升，而且結構上也越來越接近人類大腦。
論文的第一作者加文・米施勒（Gavin Mischler）在接受 Tech Xplore 采訪時表示：" 我們撰寫這篇論文的靈感來源于近年來 LLM 和神經 AI 研究的迅速發展。"
" 幾年前，有幾篇文章顯示，GPT-2 的詞嵌入與人腦對語言的神經反應有一定相似性，但在人工智能這一飛速發展的領網域中，GPT-2 如今已經過時，算不上最強大。"
" 自從 ChatGPT 發布後，湧現了許多更強大的模型，但關于這些新模型是否仍然表現出相同的大腦相似性，相關研究卻并不多。"
米施勒及其團隊的主要目标，是探究最新一代的 LLM 是否依然表現出與人類大腦相似的特征。研究人員對 12 個不同的開源 LLM 進行了分析，這些模型在架構和參數數量上幾乎一致。同時，他們也通過在神經外科患者的腦部植入電極記錄其聽到語言時的大腦反應。
米施勒解釋道：" 我們還将同樣的演講文本輸入 LLM，并提取其詞嵌入，這些嵌入是模型内部用來處理和編碼文本的表示。為了衡量這些 LLM 與大腦的相似性，我們嘗試通過預測大腦對詞語反應的神經活動來評估它們的對應性。通過這種方式，我們可以了解兩者的相似度。"
在數據收集後，研究人員利用計算工具分析 LLM 與大腦的對齊程度。他們特别關注哪些層次的 LLM 與大腦中與語言處理相關的區網域最為匹配。大腦對語言的反應已知會逐步通過對語音的聲學、語音學等成分的分析，建立語言的抽象表征。
米施勒表示：" 我們發現，随着 LLM 能力的提升，這些模型的詞嵌入與大腦對語言的反應越來越接近。更出乎意料的是，随着模型性能的提升，它們與大腦層次結構的對齊程度也有所提高。這意味着，語言處理過程中大腦不同區網域提取的信息，與性能較強的 LLM 的不同層次提取的信息對比，更加一致。"
這些研究結果表明，表現最好的 LLM 更能準确反映大腦的語言處理反應。而且，這些模型的優秀表現可能與其早期層次的高效性有關。
有關研究結果已經在《自然・機器智能》期刊上發表，IT 之家附鏈接：點此前往
