今天小編分享的科學經驗：頂流Mamba竟遭ICLR拒稿，學者集體破防變，LeCun都看不下去了，歡迎閲讀。
一項ICLR 拒稿結果讓 AI 研究者集體破防，紛紛刷起小醜符号。
争議論文為 Transformer 架構挑戰者Mamba，開創了大模型的一個新流派。發布兩個月不到，後續研究 MoE 版本、多模态版本等都已跟上。
但面對 ICRL 給出的結果，康奈爾副教授 Alexander Rush 都表示看不懂怎麼回事了，" 如果這都被拒了，那我們小醜們還有什麼機會 "。
在評論區和轉發區，不少研究者帶上小醜面具前來報道。
具體來説，四位審稿人打出8/8/6/3的分數，這樣被拒很多人就已經覺得不正常。
其中一位審稿人提的問題是" 有沒有訓練更大的模型，和 10b 參數的 Transformer 比較如何？"。
對此，有人表示已經開始向審稿人提及實驗成本了。
審稿人可能不知道他們要求的實驗會花費50000 美元。
ICLR 會議創辦的初衷正是優化同行評審過程，LeCun作為會議創始人之一，也表達了不滿：
很遺憾，歷屆程式委員會主席慢慢把它變成了一個與傳統評審流程差不多的會議。
只有一些小勝利：OpenReview 平台現在被大多數 ML/AI 會議使用，以及論文提交後立刻就能被所有人閲讀（盡管匿名）。
LeCun 還舉例自己也有一篇從未被接受、ArXiv 獨占的論文，現在被引用次數已超過 1880 次。
也有研究者認為，這次很多高分被接受論文與 Mamba 比起來充其量只能算增量研究，更令人遺憾了。
這屆 ICLR 混亂重重
先來借用給 6 分審稿人的意見，簡單介紹一下 Mamba 論文的主要貢獻。
提出了基于SSM 狀态空間模型的新架構，可實現 Transformer 質量的性能，同時線性縮放序列長度。
提出了一種硬體感知算法，通過掃描而不是卷積來循環計算模型，避免具體化擴展狀态以減少内存使用。
将先前的深度序列模型架構簡化為同構架構，具有快速推理、線性縮放和改進的長序列性能。
在多種模态（語言、音頻和基因組學）上都取得 SOTA 性能，成為跨模态通用序列模型主幹的有力候選者。
但這位審稿人提出的二次内存需求問題，不少熟悉這篇論文的人都表示不認可。
對此，作者也在 Rebuttal 中給出了解釋，内存需求實際上是随序列長度線性增長的。
另外一位打 3 分的審稿人，還被吃瓜群眾指出可能根本不熟悉什麼是 RNN。
作者針對這位審稿人的 Rebuttal 太長，足足分了 4 條才發完。
然鵝，這位對自己評分給出 5 級置信度的審稿人，根本沒有回復。
這就讓人更擔心會不會影響領網域主席的判斷了。
正如這位研究者所説，這屆 ICLR 出現的争議還不止一例。
8/8/6/3 如果被拒還算事出有因，知乎相關讨論上還有得分 8/8/8 被 AC 拒，就更離譜了。
還有作者和審稿人吵起來，以至于要讨論禮貌問題的。
投稿接不接收全靠随機？
這也引發了網友們對整體學術評審現狀的讨論。其中一個主要讨論點是評審過程有缺陷 " 接不接受真的很随機，和論文本身的質量關系不大 "：
網友也是緩緩打出一個問号：
既然評審流程存在問題，那解決方案是什麼？就靠運氣？
對此，康奈爾副教授 Alexander Rush 甚至還提出了這樣的建議 ( 手動狗頭 ) ：
如果你讀博已經讀到了第六年的那種，應該提交兩篇糟糕的論文，而不是一篇好的。
不只一位學者分享了類似的建議：
我的教授曾説，論文被接受的過程就像擲一個四面骰子，如果這次運氣不好，就再擲一次……
當然，也有人抱有不同的觀點，認為會議作為一種認可，已出名的作品其實已經不需要了，可以給其他未被發掘的論文更多機會，所以已經出名的論文被學術會議拒絕也是完全可以接受的。
值得一提的是，還有不少人建議大家轉投新生代會議CoLM，Alexander Rush 自己也參與了這個會議的創辦：
而大家提到的 CoLM 會議，全稱 Conference On Language Modeling，專注于語言模型領網域。CoLM 剛創立不久，第一屆大會将在今年 10 月份舉辦。
其中七位組織者均是來自業界學界的大佬，其中有三位是華人學者谷歌周登勇、普林斯頓陳丹琦、Meta 的 Angela Fan。
與 ICLR 類似，COLM 将采用雙盲審核，并使用 OpenReview 管理投稿。
會議征稿主題包括但不限于語言建模及大模型語境下的對齊、數據、評估、社會影響、安全、科學、高效計算、工程、學習和推理算法等 17 個方向。
據説，COLM 還是在 ACL 2024 主席公開抨擊稱 "arXiv 是科研的毒瘤 " 而後引發争論的背景下，催生出來的。
參考鏈接：
[ 1 ] https://twitter.com/srush_nlp/status/1750526956452577486
[ 2 ] https://x.com/ylecun/status/1750594387141369891
[ 3 ] https://openreview.net/forum?id=AL1fq05o7H
— 完 —
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
