今天小編分享的科技經驗:腦部掃描變文字?耶魯等高校新AI工具來了!,歡迎閲讀。
IT 之家 3 月 3 日消息,耶魯大學聯合劍橋大學、達特茅斯學院研究人員,共同推出一款名為 MindLLM 的醫療行業 AI 工具,該工具能夠将腦部功能性磁共振成像(fMRI)數據轉化為文字,在多個基準測試中,表現優于業界 UMBRAE、BrainChat、UniBrain 等技術。
據介紹,MindLLM 由 fMRI 編碼器和大型語言模型組成,能夠分析 fMRI 掃描中的立體像素(Voxels)來解讀腦部活動。其 fMRI 編碼器采用了神經科學注意力機制,能夠适應不同輸入信号的形狀,從而實現多種分析任務。
研究團隊還為相應工具引入了腦部指令調優(BIT)方法,增強了模型從 fMRI 信号中提取多種語義信息的能力,使其能夠執行影像描述、問答推理等多種解碼任務。
測試結果顯示,在文字解碼、跨個體泛化和新任務适應性等基準測試中,MindLLM 相對業界模型至高提高了 12.0%、16.4% 和 25.0%,證明其在适應新受試者和處理未知語言推理方面均優于傳統模型。
不過,研究人員提到目前該模型僅能分析靜态影像信号,未來如果進一步改進,有望發展成實時 fMRI 解碼器,并廣泛應用于神經控制、腦機接口和認知神經科學等領網域,對神經假肢修復感知能力、精神狀态監控以及腦機互動等應用帶來積極影響。
目前,相應論文已發布在 ArXiv 上,IT 之家附論文地址(點此訪問)。