大酷樂
  • 汽車
  • 理财
  • 軍事
  • 科技
  • 遊戲
  • 互聯網
  • 娛樂
  • 财經
  • 科學
  • 社會
  • 親子
  • 電影
  • 健康
  • 教育
  1. 首頁
  2. 科學

ICLR審稿集體搞抽象!評審結果寫半句,還有的求ta也不審,網友:科研人自己的春晚

2024-12-05 简体 HK SG TW

今天小編分享的科學經驗:ICLR審稿集體搞抽象!評審結果寫半句,還有的求ta也不審,網友:科研人自己的春晚,歡迎閱讀。

今天,ICLR 2025 的 discussion phase 的 ddl 已經截止。回看過去 14 天的讨論過程,可太精彩了!

各大平台上随手一翻就是作者們的吐槽大會,都在無語這屆 ICLR 評審的各種奇葩亂象。

譬如 UCSB 博士生 @JiachenLi11 就在推特上非常之無奈:

我收到的評審内容,低到令人擔憂——其中一條評審甚至話都沒說完。難道審稿人的 tokens 用完了嗎???

△圖源推友 @JiachenLi11

你還真别說,他這個 "tokens 用完 " 的吐槽并不是空穴來風——

ICLR 2025 的論文提交數前所未有地高,約有 11000 篇。

為了提升審稿速度和質量,ICLR 今年引入了 AI 參與審稿工作。

當然了,倒也不是單一 AI,是多個 AI 大模型組成的 Agent。

然而,你以為審稿人話不寫完評審内容就點發送,就是 ICLR 2025 的全部槽點了嗎?

ICLR 吐槽大賞

要細數今年 ICLR 2025 的神奇事件,咱們先從最廣為人知的一件說起:

[ 10,10,10,10 ] 和 3 個 poor 得分并存

今年的 ICLR 出現了一篇4 個審稿人同時打出了 10 分的論文。

假如這個分數能保持到中稿通知,這将是近 5 年來,ICLR 的唯一一篇滿分作文。

論文題目如下圖,是一個叫IC-Light(全稱 Imposing Consistent Light)項目,是關于控制影像照明的。

作者張呂敏,也是大名鼎鼎的 ControlNet 的作者。

他在蘇州大學拿到學士學位後,去往斯坦福讀博。

IC-Light 可以随意控制照片主體的光源和背景,将主體、光源、背景三者迅速地融合在一張圖片裡。

半年前,IC-Light 就在 GitHub 上開源,現在共 6.5k 星。

與此同時,ICLR 2025 還出現了幾篇,某一審稿人給某篇論文全打 1 分的論文。

這裡我們打斷一下,了解一下 ICLR 的評分體系:

1 分:太差了

3 分:拒絕

5 分:婉拒了哈

6 分:接……吧

8 分:接收

10 分:強接收

就拿其中一篇來說吧,看到這個結果給作者氣的,寫了一篇十幾頁的 strong rebuttal。

那審稿人為什麼給人家 Soundness、Presentation、Contributions 都給了 1 分?

審稿人言辭非常犀利,直呼Paper Writing is quite bad,然後還毫不客氣地提問:"Is there a human author on this paper?"

審稿人還表示,(這也是全部最低分的最重要一點),我們是可以判斷一篇論文是人寫的還是 AI 寫的," 也許您在生成文本時沒有進行基本的連貫性檢查 "。

作者繼續輸出長篇大論 rebuttal,并回擊 " 我可真欽佩你識别 AI 的能力 "。

作者 5 頁回應,審稿人在 ddl 突然否定領網域

一位在北大 CS 讀博的小某書網友 @Kevin 對審稿人的神操作大吐苦水。

事情是這樣的,ICLR 不是共 14 天用來 discussion phase 嘛。

這 14 天裡,有一位審稿人 5,一共對他所在團隊提交的 paper 提出了 10 個問題。

團隊認真回復了整整五頁,審稿人 5 已讀不回。

團隊多次希望與其讨論,審稿人 5 已讀不回。

總之就是一整個石沉大海。

到了昨天,也就是 discussion phase 的最後一天," 審稿人 5 突然否定這個領網域,并将 5 分改為 3 分 "。

@Kevin 非常不理解為什麼審稿人這樣做的意圖。

真的就,令人心碎的 discussion phase。

" 你需要引用另一篇 ICLR 2025 投稿 "

推友 @PandaAshwinee(普林斯頓博士畢業,現在在 Trails.ai 從事博後工作)給看熱鬧的網友們畫了個自己接收到的評審内容的亮點:

你需要引用另一篇 ICLR 2025 的投稿。

展開說說,就是審稿人鏈接了 ICLR 2025 openreview 的另外一篇論文,表示兩個項目高度相關,所以小哥應該引用。

但是哭啊,小哥查過了,要求被引的論文根本不在 arXiv 上。

而且這不是他第一次感覺 " 天塌了 " ——他在評論區補充,之前他的項目在 ICML 2024 被拒,主要原因也是 " 與另一篇 ICML 2024 投稿高度相似 "。

不過 ICLR 很快在小哥推文下面回復了,表達程式主席開始調查這個事兒。

" 乞讨式 "ICLR

前面提到的都是審稿人和作者有來有回(哪怕回得慢)的激情 battle,更有意思的事是,無論國内還是國外,很多人都把這屆稱為 " 乞讨式 "ICLR。

簡而言之,就是審稿人一直不給評審不給分。

有人上個月下旬的時候,就開始給所有 AC(區網域主席)發了郵件,要求他們提醒審稿人回復作者。

或者至少确認審稿人們知道自己還得幹這活。

當時就有網友提醒 " 最壞的打算 ",有的審稿人會拖到最後一刻,因為他們也在為自己措辭……

果不其然,單看國内,昨天開始 24h 内倒計時了,很多作者還在懇求審稿人快快評審,快快給分。

哎。

對作者的奇怪請求

在 Google DeepMind 工作的 Ahmad Beirami(@abeirami)分享了一則訊息:

發到推特上後,有 ICLR 作者表示出了疑惑:

如果作者們寫了這玩意兒,是否真的對審稿有幫助?

他覺得這 " 可能是在浪費時間 ",因為審稿人完全可能看都不看,直接去看 paper 原文。一切都是徒勞的。

不過 Ahmad 很快回復了這位作者:

Yes!

作為一名 AC,我想确保我沒有從作者的角度遺漏任何内容。可能會有很多變化、新結果等。我想确保我知道在哪裡找到它們,以便能夠形成觀點,判斷一些原始評論 / 關注是否适用。

得到這個答復後,作者小哥很愉快地去添加注釋去了。

ICLR 2025 為何這樣

以上種種,只是大家或身在其中 / 或圍觀看熱鬧的 ICLR 2025 的一點點故事而已。

但,身為權威頂會,為什麼會這樣?

有的人認為和今年的稿件數量有關。

官方數據顯示,ICLR 2025 的論文提交數量達到了 11,000 多篇,同比增長 61%。

而去年 ICLR 2024 組委會收到的投稿總數為 7,262 篇——當然了,對那時候的 ICLR 來說也是不小的工作量,同比增長了 47%。

今年,面對如此龐大的論文數量,審稿人數量高達 15,000 多名。

這還不夠,官方還引入了多個 AI 大模型構成的 Agent 來參與審稿。但它的功用不是完全替代審稿人,它不會撰寫審稿評論或直接編輯評論,而是提供建設性和可操作性的反饋,幫助審稿人提高審稿質量。

這個 Agent 針對審稿中可能存在的三類問題提供建議:

鼓勵審稿人改寫含糊的評論,使其對作者更具可操作性;

突出文章中可能已經回答了審稿人問題的部分;

發現并處理不專業、不恰當的言論。

但很多作者認為,稿件數量激增确實加大了工作量,Agent 的輔助無可厚非,但絕不是 ICLR 變成被看熱鬧的 " 科研春晚 " 的原因。

一方面,Agent 提出的建議,審稿人是可以選擇接受或者忽略不管的。

另一方面,極速擴張的審稿人中,是否有人并不是适合評審工作?

再一方面,為了确保審稿質量,每位審稿人平均分配 3 篇論文,頂天了看 4 篇,工作量并不是超負荷狀态。

除了有點混亂以外,另一個被網友們激烈讨論的點,集中在這屆 ICLR 的分數上。

一般來說,ICLR 的傳統接收率在 30% 左右,然後今年 ICLR 的排名前 30% 的論文,平均評分約為 5.6。

前面我們介紹了,6 分算是一個勉勉強強的分數,屬于論文被接收的邊緣門檻。

這就意味着 " 低于‘邊緣接受’門檻的論文将被接收 "。

網友談道,"當會議接受變得如此随意時,我們正在破壞整個科學評估系統——這影響到 AI 研究整體的完整性。"

在此基礎上,他提出了三點自己的思考,希望 ICLR 應有更嚴格和公平的程式。

當然,也有另一種聲音:

期待一些超級強大到無懈可擊的大模型出現,讓它們充當審稿人,解決上述所有問題,以此幫助減輕審稿的負擔。

只是不知道這一天什麼時候會到來了。

參考鏈接:

[ 1 ] https://x.com/mo_danesh/status/1863964693687107823

[ 2 ] https://x.com/JiachenLi11/status/1856472250636964350

[ 3 ] https://x.com/Yuchenj_UW/status/1862541099136651536

[ 4 ] https://x.com/abeirami/status/1863629237741064608

[ 5 ] https://x.com/PandaAshwinee/status/1856384624873570749

[ 6 ] https://x.com/ysu_nlp/status/1860504185583648863

[ 7 ] https://openreview.net/group?id=ICLR.cc/2025/Workshop_Proposals#tab-accept

熱門排行
  • 王治郅:楊瀚森主要的問題是速度 他的速度跟不上現代籃球的節奏 王治郅:楊瀚森主要的問題是速度 他的速度跟 郟君昊 | 2025-05-05
  • 貿易戰燒進電影院:特朗普拟重稅打擊外國電影 逼好萊塢等回美拍片 貿易戰燒進電影院:特朗普拟重稅打擊外國電影 習又夏 | 2025-05-05
  • 貸款追高炒黃金的人後悔了!有人一天虧掉6年工資,賣掉舍不得,不賣扛不住 貸款追高炒黃金的人後悔了!有人一天虧掉6年 寸飛蘭 | 2025-05-05
  • 手機電池突破8000mAh?矽碳技術的回旋镖:「折壽」換容量 手機電池突破8000mAh?矽碳技術的回旋镖:「折 衛青柏 | 2025-05-05
  • 貸款追高炒黃金的人後悔了!有人一天虧掉6年工資,賣掉舍不得,不賣扛不住 貸款追高炒黃金的人後悔了!有人一天虧掉6年 繁綺文 | 2025-05-05
  • 任天堂對Genki提起Switch 2商标侵權訴訟,後者回應稱将嚴肅對待 任天堂對Genki提起Switch 2商标侵權訴訟,後 郜萌運 | 2025-05-05
  • 哪吒汽車APP和官網恢復正常 知情人士:之前斷網因流量欠費 哪吒汽車APP和官網恢復正常 知情人士:之前斷 袁曼雁 | 2025-05-05
  • 極越汽車 CEO 夏一平名下青島/義烏兩家公司被列入經營異常 極越汽車 CEO 夏一平名下青島/義烏兩家公司 集玲琳 | 2025-05-05
  • 全國經濟第一大省明确,推動組建農商聯合銀行 全國經濟第一大省明确,推動組建農商聯合銀行 佼昌翰 | 2025-05-05
  • 桑保利:亞馬爾有配合意識&有點像梅西 姆巴佩更專注進球&更像C羅 桑保利:亞馬爾有配合意識&有點像梅西 姆巴佩 甄正浩 | 2025-05-05
  • 高露現身上海虹橋機場 黑色外套點綴亮色愛心裝飾俏皮亮眼 高露現身上海虹橋機場 黑色外套點綴亮色愛 惠惠君 | 2023-05-02
  • 《歧路旅人2》:向光而生 《歧路旅人2》:向光而生 衛青柏 | 2023-05-02
  • vivo X90S曝光:處理器更新為天玑9200+ 安卓最強芯 vivo X90S曝光:處理器更新為天玑9200+ 安卓最 袁曼雁 | 2023-05-05
  • “懶癌”發病率上升,定期體檢别忽視 “懶癌”發病率上升,定期體檢别忽視 幸聽楓 | 2023-05-02
  • 宋慧喬獲百想視後 韓素希發圖手動加愛心表情慶祝 宋慧喬獲百想視後 韓素希發圖手動加愛心表 賁芳蕤 | 2023-05-02
  • 曹操墓,裡面都有啥? 曹操墓,裡面都有啥? 衛青柏 | 2023-05-02
  • 十年了,他們終于要HE! 十年了,他們終于要HE! 惠惠君 | 2023-05-07
  • 中央部署經濟工作,釋放5大信号 中央部署經濟工作,釋放5大信号 郜萌運 | 2023-05-02
  • 高德上線手機彎道會車預警功能 高德上線手機彎道會車預警功能 習又夏 | 2023-05-02
  • 陳自瑤抱病為愛女做蛋糕慶生,王浩信點贊沒露面 陳自瑤抱病為愛女做蛋糕慶生,王浩信點贊沒露 賁芳蕤 | 2023-05-02
  • 等比例長大的童星,李蘭迪算一個 等比例長大的童星,李蘭迪算一個 郟君昊 | 2023-05-02
  • 這些被抓來做實驗的流浪狗,最終拯救了無數糖尿病人 這些被抓來做實驗的流浪狗,最終拯救了無數糖 集玲琳 | 2023-05-02
  • 高端國產車:軍車血統,目前電動車越野的“天花板”? 高端國產車:軍車血統,目前電動車越野的“天花 謝飛揚 | 2023-05-02
  • 《雲襄傳》終于抬上來啦,男O女A讓人好上頭! 《雲襄傳》終于抬上來啦,男O女A讓人好上頭! 集玲琳 | 2023-05-02
  • 21家A股遊戲公司2022年收入651億 今年“遊戲+AI”能否逆風翻盤? 21家A股遊戲公司2022年收入651億 今年“遊 衛青柏 | 2023-05-04
  • 與周立波夫婦鬧糾紛成老賴,唐爽被司法拘留15日 與周立波夫婦鬧糾紛成老賴,唐爽被司法拘留15 寸飛蘭 | 2023-05-05
  • 信用風險釋放趨緩,結構性風險需重點關注 ——2023年一季度債市信用風險回顧與下階段展望 信用風險釋放趨緩,結構性風險需重點關注 — 袁曼雁 | 2023-05-02
  • 普京籤署總統令,批準對俄刑法典相關法條的修正案 普京籤署總統令,批準對俄刑法典相關法條的修 集玲琳 | 2023-05-02
  • 中銀證券給予南京銀行增持評級 中銀證券給予南京銀行增持評級 袁曼雁 | 2023-05-03
  • 解除資格!停止一切合作 解除資格!停止一切合作 佼昌翰 | 2023-05-02
  • 3699起 聯想小新mini主機上架 13代酷睿标壓處理器 3699起 聯想小新mini主機上架 13代酷睿标壓 習又夏 | 2023-05-05
  • 前董事長被免,天山生物全面進入“中植系”時代?股價曾在一月内暴漲超400% 前董事長被免,天山生物全面進入“中植系”時 惠惠君 | 2023-05-02
  • 瘋成這樣,怎麼還能被全網吹捧? 瘋成這樣,怎麼還能被全網吹捧? 郜萌運 | 2023-05-02
  • 狂吼11次“讓一下”!交警咆哮開道嘶吼到吐 狂吼11次“讓一下”!交警咆哮開道嘶吼到吐 寸飛蘭 | 2023-05-03
  • 摩根大通收購美國第一共和銀行 摩根大通收購美國第一共和銀行 謝飛揚 | 2023-05-02
  • 台劇赢麻了,又來一部8.9 台劇赢麻了,又來一部8.9 衛青柏 | 2023-05-02
  • 事關農村土地承包和農民權益,《農村土地承包合同管理辦法》5月1日起施行 事關農村土地承包和農民權益,《農村土地承包 郟君昊 | 2023-05-02
  • 下降45分,上漲35分!34所自劃線院校復試分數線漲幅匯總 下降45分,上漲35分!34所自劃線院校復試分數線 袁曼雁 | 2023-05-07
  • "三高"已盯上青少年,做好這件事是關鍵 "三高"已盯上青少年,做好這件事是關鍵 習又夏 | 2023-05-05
  • 五一檔沒一個能打的 五一檔沒一個能打的 集玲琳 | 2023-05-05
  • 恐怖韓劇下神壇,這次膽小可入 恐怖韓劇下神壇,這次膽小可入 袁曼雁 | 2023-05-05
  • 這劇是不是用ChatGPT寫的呀? 這劇是不是用ChatGPT寫的呀? 惠惠君 | 2023-05-02
  • 200戶連夜疏散,原因讓人憤怒!“損失超一億”,官方通報 200戶連夜疏散,原因讓人憤怒!“損失超一億”, 袁曼雁 | 2023-05-03
  • 性騷擾慣犯,滾出娛樂圈 性騷擾慣犯,滾出娛樂圈 謝飛揚 | 2023-05-05
  • 48歲何炅自曝已老花眼,黃磊睡前認老,《向往的生活》證實将停辦 48歲何炅自曝已老花眼,黃磊睡前認老,《向往的 佼昌翰 | 2023-05-02
  • 一個《長月燼明》倒了,《狐妖》《長相思》《與鳳行》…在路上了 一個《長月燼明》倒了,《狐妖》《長相思》《 惠惠君 | 2023-05-02
  • 張天愛假期曬“酷”存照 卷發披肩穿黑色吊帶裙大秀好身材 張天愛假期曬“酷”存照 卷發披肩穿黑色吊 嬴覓晴 | 2023-05-02
  • 當年輕人開始不随份子錢 當年輕人開始不随份子錢 袁曼雁 | 2023-05-02
  • 畢滢用8年時間成功逼宮?曾被傳已婚生子的她,不容小觑 畢滢用8年時間成功逼宮?曾被傳已婚生子的她, 幸聽楓 | 2023-05-03
  • 宋慧喬獲視後首次曬照,拿獎杯笑容溫柔 宋慧喬獲視後首次曬照,拿獎杯笑容溫柔 郜萌運 | 2023-05-02

©2022 大酷樂 版權所有

隱私政策 | 服務條款 | 聯繫我們