慘遭拒稿的Mamba，7個月後拿下首屆COLM傑出論文，華為俄羅斯實驗室等4篇入選

今天小編分享的科學經驗：慘遭拒稿的Mamba，7個月後拿下首屆COLM傑出論文，華為俄羅斯實驗室等4篇入選，歡迎閱讀。

頂流新會議首屆 COLM成功舉辦，Mamba 等 4 篇論文獲得傑出論文獎。

新架構 Mamba 系列經歷了等風波後，，現在開山之作也終于獲得了應有的認可。

雖然 COLM 剛剛才辦第一屆，熱鬧程度已不輸老牌頂會，根據參會者現場返圖，海報區人擠人。

作為專注語言建模的會議（Conference on Language Modeling），四篇獲獎論文分别探讨了序列建模的新架構、語言模型中的評估問題、數據中的知識截止問題、以及生成文本的檢測。

Mamba 作者 Tri Dao 參會感覺，由于專注于單一領網域，人們投入程度更高。

最佳論文講了啥

第一篇：Mamba: Linear-Time Sequence Modeling with Selective State Spaces，團隊來自 CMU、斯坦福

https://arxiv.org/abs/2312.00752

獲獎理由

Mamba 解決了結構化狀态空間序列模型中的關鍵架構和實現問題，創造了一個潛在可行的 Transformer 替代方案。雖然建模長序列的最優架構仍有待商榷，但這是具有次二次復雜性的序列建模中的一個重要且有影響力的進步。

第二篇：Auxiliary task demands mask the capabilities of smaller language models，團隊來自哈佛、斯坦福

https://arxiv.org/abs/2404.02418

獲獎理由

本文借鑑了人類兒童推理行為的研究，認為對語言模型性能的解釋應考慮任務需求——與正在評估的能力無關但可能影響模型分數的因素。作者表明，任務需求對小型語言模型的影響尤為顯著，表明當前的評估可能低估了它們的能力。

第三篇：Dated Data: Tracing Knowledge Cutoffs in Large Language Models，團隊來自約翰霍普金斯大學

https://arxiv.org/abs/2403.12958

本文介紹了大語言模型訓練中的 " 有效知識截止 "：與訓練期間使用的數據的特定部分相關的日期。作者引入了一種簡單的方法來評估資源的有效截止，并研究了有效截止與報告截止之間的不一致，揭示了大語言模型中數據文檔的重要後果。

第四篇：AI-generated text boundary detection with RoFT，團隊來自華為俄羅斯 AI 基礎與算法實驗室、倫敦瑪麗女王大學等

https://arxiv.org/abs/2311.08349

獲獎理由

本文提出了一種思考生成文本檢測的新方法：檢測包含人類編寫和人工智能生成的文本的文檔中人類編寫和人工智能生成的文本之間的過渡。鑑于大型語言模型如何用于協作文本創作，這種觀點特别有先見之明。實驗表明，基于困惑度的方法和内在維度估計優于傳統分類器，并且能夠很好地适應混合了人類和人工智能生成的文本的環境中的細微挑戰。