大酷樂
  • 汽车
  • 理财
  • 军事
  • 科技
  • 游戏
  • 互联网
  • 娱乐
  • 财经
  • 科学
  • 社会
  • 亲子
  • 电影
  • 健康
  • 教育
  1. 首頁
  2. 科学

ICLR审稿集体搞抽象!评审结果写半句,还有的求ta也不审,网友:科研人自己的春晚

2024-12-05 简体 HK SG TW

今天小编分享的科学经验:ICLR审稿集体搞抽象!评审结果写半句,还有的求ta也不审,网友:科研人自己的春晚,欢迎阅读。

今天,ICLR 2025 的 discussion phase 的 ddl 已经截止。回看过去 14 天的讨论过程,可太精彩了!

各大平台上随手一翻就是作者们的吐槽大会,都在无语这届 ICLR 评审的各种奇葩乱象。

譬如 UCSB 博士生 @JiachenLi11 就在推特上非常之无奈:

我收到的评审内容,低到令人担忧——其中一条评审甚至话都没说完。难道审稿人的 tokens 用完了吗???

△图源推友 @JiachenLi11

你还真别说,他这个 "tokens 用完 " 的吐槽并不是空穴来风——

ICLR 2025 的论文提交数前所未有地高,约有 11000 篇。

为了提升审稿速度和质量,ICLR 今年引入了 AI 参与审稿工作。

当然了,倒也不是单一 AI,是多个 AI 大模型组成的 Agent。

然而,你以为审稿人话不写完评审内容就点发送,就是 ICLR 2025 的全部槽点了吗?

ICLR 吐槽大赏

要细数今年 ICLR 2025 的神奇事件,咱们先从最广为人知的一件说起:

[ 10,10,10,10 ] 和 3 个 poor 得分并存

今年的 ICLR 出现了一篇4 个审稿人同时打出了 10 分的论文。

假如这个分数能保持到中稿通知,这将是近 5 年来,ICLR 的唯一一篇满分作文。

论文题目如下图,是一个叫IC-Light(全称 Imposing Consistent Light)项目,是关于控制影像照明的。

作者张吕敏,也是大名鼎鼎的 ControlNet 的作者。

他在苏州大学拿到学士学位后,去往斯坦福读博。

IC-Light 可以随意控制照片主体的光源和背景,将主体、光源、背景三者迅速地融合在一张图片里。

半年前,IC-Light 就在 GitHub 上开源,现在共 6.5k 星。

与此同时,ICLR 2025 还出现了几篇,某一审稿人给某篇论文全打 1 分的论文。

这里我们打断一下,了解一下 ICLR 的评分体系:

1 分:太差了

3 分:拒绝

5 分:婉拒了哈

6 分:接……吧

8 分:接收

10 分:强接收

就拿其中一篇来说吧,看到这个结果给作者气的,写了一篇十几页的 strong rebuttal。

那审稿人为什么给人家 Soundness、Presentation、Contributions 都给了 1 分?

审稿人言辞非常犀利,直呼Paper Writing is quite bad,然后还毫不客气地提问:"Is there a human author on this paper?"

审稿人还表示,(这也是全部最低分的最重要一点),我们是可以判断一篇论文是人写的还是 AI 写的," 也许您在生成文本时没有进行基本的连贯性检查 "。

作者继续输出长篇大论 rebuttal,并回击 " 我可真钦佩你识别 AI 的能力 "。

作者 5 页回应,审稿人在 ddl 突然否定领網域

一位在北大 CS 读博的小某书网友 @Kevin 对审稿人的神操作大吐苦水。

事情是这样的,ICLR 不是共 14 天用来 discussion phase 嘛。

这 14 天里,有一位审稿人 5,一共对他所在团队提交的 paper 提出了 10 个问题。

团队认真回复了整整五页,审稿人 5 已读不回。

团队多次希望与其讨论,审稿人 5 已读不回。

总之就是一整个石沉大海。

到了昨天,也就是 discussion phase 的最后一天," 审稿人 5 突然否定这个领網域,并将 5 分改为 3 分 "。

@Kevin 非常不理解为什么审稿人这样做的意图。

真的就,令人心碎的 discussion phase。

" 你需要引用另一篇 ICLR 2025 投稿 "

推友 @PandaAshwinee(普林斯顿博士毕业,现在在 Trails.ai 从事博后工作)给看热闹的网友们画了个自己接收到的评审内容的亮点:

你需要引用另一篇 ICLR 2025 的投稿。

展开说说,就是审稿人链接了 ICLR 2025 openreview 的另外一篇论文,表示两个项目高度相关,所以小哥应该引用。

但是哭啊,小哥查过了,要求被引的论文根本不在 arXiv 上。

而且这不是他第一次感觉 " 天塌了 " ——他在评论区补充,之前他的项目在 ICML 2024 被拒,主要原因也是 " 与另一篇 ICML 2024 投稿高度相似 "。

不过 ICLR 很快在小哥推文下面回复了,表达程式主席开始调查这个事儿。

" 乞讨式 "ICLR

前面提到的都是审稿人和作者有来有回(哪怕回得慢)的激情 battle,更有意思的事是,无论国内还是国外,很多人都把这届称为 " 乞讨式 "ICLR。

简而言之,就是审稿人一直不给评审不给分。

有人上个月下旬的时候,就开始给所有 AC(区網域主席)发了邮件,要求他们提醒审稿人回复作者。

或者至少确认审稿人们知道自己还得干这活。

当时就有网友提醒 " 最坏的打算 ",有的审稿人会拖到最后一刻,因为他们也在为自己措辞……

果不其然,单看国内,昨天开始 24h 内倒计时了,很多作者还在恳求审稿人快快评审,快快给分。

哎。

对作者的奇怪请求

在 Google DeepMind 工作的 Ahmad Beirami(@abeirami)分享了一则讯息:

发到推特上后,有 ICLR 作者表示出了疑惑:

如果作者们写了这玩意儿,是否真的对审稿有帮助?

他觉得这 " 可能是在浪费时间 ",因为审稿人完全可能看都不看,直接去看 paper 原文。一切都是徒劳的。

不过 Ahmad 很快回复了这位作者:

Yes!

作为一名 AC,我想确保我没有从作者的角度遗漏任何内容。可能会有很多变化、新结果等。我想确保我知道在哪里找到它们,以便能够形成观点,判断一些原始评论 / 关注是否适用。

得到这个答复后,作者小哥很愉快地去添加注释去了。

ICLR 2025 为何这样

以上种种,只是大家或身在其中 / 或围观看热闹的 ICLR 2025 的一点点故事而已。

但,身为权威顶会,为什么会这样?

有的人认为和今年的稿件数量有关。

官方数据显示,ICLR 2025 的论文提交数量达到了 11,000 多篇,同比增长 61%。

而去年 ICLR 2024 组委会收到的投稿总数为 7,262 篇——当然了,对那时候的 ICLR 来说也是不小的工作量,同比增长了 47%。

今年,面对如此庞大的论文数量,审稿人数量高达 15,000 多名。

这还不够,官方还引入了多个 AI 大模型构成的 Agent 来参与审稿。但它的功用不是完全替代审稿人,它不会撰写审稿评论或直接编辑评论,而是提供建设性和可操作性的反馈,帮助审稿人提高审稿质量。

这个 Agent 针对审稿中可能存在的三类问题提供建议:

鼓励审稿人改写含糊的评论,使其对作者更具可操作性;

突出文章中可能已经回答了审稿人问题的部分;

发现并处理不专业、不恰当的言论。

但很多作者认为,稿件数量激增确实加大了工作量,Agent 的辅助无可厚非,但绝不是 ICLR 变成被看热闹的 " 科研春晚 " 的原因。

一方面,Agent 提出的建议,审稿人是可以选择接受或者忽略不管的。

另一方面,极速扩张的审稿人中,是否有人并不是适合评审工作?

再一方面,为了确保审稿质量,每位审稿人平均分配 3 篇论文,顶天了看 4 篇,工作量并不是超负荷状态。

除了有点混乱以外,另一个被网友们激烈讨论的点,集中在这届 ICLR 的分数上。

一般来说,ICLR 的传统接收率在 30% 左右,然后今年 ICLR 的排名前 30% 的论文,平均评分约为 5.6。

前面我们介绍了,6 分算是一个勉勉强强的分数,属于论文被接收的边缘门槛。

这就意味着 " 低于‘边缘接受’门槛的论文将被接收 "。

网友谈道,"当会议接受变得如此随意时,我们正在破坏整个科学评估系统——这影响到 AI 研究整体的完整性。"

在此基础上,他提出了三点自己的思考,希望 ICLR 应有更严格和公平的程式。

当然,也有另一种声音:

期待一些超级强大到无懈可击的大模型出现,让它们充当审稿人,解决上述所有问题,以此帮助减轻审稿的负担。

只是不知道这一天什么时候会到来了。

参考链接:

[ 1 ] https://x.com/mo_danesh/status/1863964693687107823

[ 2 ] https://x.com/JiachenLi11/status/1856472250636964350

[ 3 ] https://x.com/Yuchenj_UW/status/1862541099136651536

[ 4 ] https://x.com/abeirami/status/1863629237741064608

[ 5 ] https://x.com/PandaAshwinee/status/1856384624873570749

[ 6 ] https://x.com/ysu_nlp/status/1860504185583648863

[ 7 ] https://openreview.net/group?id=ICLR.cc/2025/Workshop_Proposals#tab-accept

熱門排行
  • 王治郅:杨瀚森主要的问题是速度 他 王治郅:杨瀚森主要的问题是速度 他 郟君昊 | 2025-05-05
  • 贸易战烧进电影院:特朗普拟重税打击 贸易战烧进电影院:特朗普拟重税打击 習又夏 | 2025-05-05
  • 贷款追高炒黄金的人后悔了!有人一天 贷款追高炒黄金的人后悔了!有人一天 寸飛蘭 | 2025-05-05
  • 手机电池突破8000mAh?硅碳技术的回 手机电池突破8000mAh?硅碳技术的回 衛青柏 | 2025-05-05
  • 贷款追高炒黄金的人后悔了!有人一天 贷款追高炒黄金的人后悔了!有人一天 繁綺文 | 2025-05-05
  • 任天堂对Genki提起Switch 2商标侵 任天堂对Genki提起Switch 2商标侵 郜萌運 | 2025-05-05
  • 哪吒汽车APP和官网恢复正常 知情人 哪吒汽车APP和官网恢复正常 知情人 袁曼雁 | 2025-05-05
  • 极越汽车 CEO 夏一平名下青岛/义乌 极越汽车 CEO 夏一平名下青岛/义乌 集玲琳 | 2025-05-05
  • 全国经济第一大省明确,推动组建农商 全国经济第一大省明确,推动组建农商 佼昌翰 | 2025-05-05
  • 桑保利:亚马尔有配合意识&有点像梅 桑保利:亚马尔有配合意识&有点像梅 甄正浩 | 2025-05-05
  • 高露现身上海虹桥机场 黑色外套点缀亮色爱心装饰俏皮亮眼 高露现身上海虹桥机场 黑色外套点缀亮色爱心装饰俏皮亮眼 惠惠君 | 2023-05-02
  • 《歧路旅人2》:向光而生 《歧路旅人2》:向光而生 衛青柏 | 2023-05-02
  • vivo X90S曝光:处理器更新为天玑9200+ 安卓最强芯 vivo X90S曝光:处理器更新为天玑9200+ 安卓最强芯 袁曼雁 | 2023-05-05
  • “懒癌”发病率上升,定期体检别忽视 “懒癌”发病率上升,定期体检别忽视 幸聽楓 | 2023-05-02
  • 宋慧乔获百想视后 韩素希发图手动加爱心表情庆祝 宋慧乔获百想视后 韩素希发图手动加爱心表情庆祝 賁芳蕤 | 2023-05-02
  • 曹操墓,里面都有啥? 曹操墓,里面都有啥? 衛青柏 | 2023-05-02
  • 十年了,他们终于要HE! 十年了,他们终于要HE! 惠惠君 | 2023-05-07
  • 中央部署经济工作,释放5大信号 中央部署经济工作,释放5大信号 郜萌運 | 2023-05-02
  • 高德上线手机弯道会车预警功能 高德上线手机弯道会车预警功能 習又夏 | 2023-05-02
  • 陈自瑶抱病为爱女做蛋糕庆生,王浩信点赞没露面 陈自瑶抱病为爱女做蛋糕庆生,王浩信点赞没露面 賁芳蕤 | 2023-05-02
  • 等比例长大的童星,李兰迪算一个 等比例长大的童星,李兰迪算一个 郟君昊 | 2023-05-02
  • 这些被抓来做实验的流浪狗,最终拯救了无数糖尿病人 这些被抓来做实验的流浪狗,最终拯救了无数糖尿病人 集玲琳 | 2023-05-02
  • 高端国产车:军车血统,目前电动车越野的“天花板”? 高端国产车:军车血统,目前电动车越野的“天花板”? 謝飛揚 | 2023-05-02
  • 《云襄传》终于抬上来啦,男O女A让人好上头! 《云襄传》终于抬上来啦,男O女A让人好上头! 集玲琳 | 2023-05-02
  • 21家A股游戏公司2022年收入651亿 今年“游戏+AI”能否逆风翻盘? 21家A股游戏公司2022年收入651亿 今年“游戏+AI”能否逆风翻盘? 衛青柏 | 2023-05-04
  • 信用风险释放趋缓,结构性风险需重点关注 ——2023年一季度债市信用风险回顾与下阶段展望 信用风险释放趋缓,结构性风险需重点关注 ——2023年一季度债市信用风险回顾与下阶段展望 袁曼雁 | 2023-05-02
  • 与周立波夫妇闹纠纷成老赖,唐爽被司法拘留15日 与周立波夫妇闹纠纷成老赖,唐爽被司法拘留15日 寸飛蘭 | 2023-05-05
  • 普京签署总统令,批准对俄刑法典相关法条的修正案 普京签署总统令,批准对俄刑法典相关法条的修正案 集玲琳 | 2023-05-02
  • 中银证券给予南京银行增持评级 中银证券给予南京银行增持评级 袁曼雁 | 2023-05-03
  • 解除资格!停止一切合作 解除资格!停止一切合作 佼昌翰 | 2023-05-02
  • 3699起 联想小新mini主机上架 13代酷睿标压处理器 3699起 联想小新mini主机上架 13代酷睿标压处理器 習又夏 | 2023-05-05
  • 前董事长被免,天山生物全面进入“中植系”时代?股价曾在一月内暴涨超400% 前董事长被免,天山生物全面进入“中植系”时代?股价曾在一月内暴涨超400% 惠惠君 | 2023-05-02
  • 疯成这样,怎么还能被全网吹捧? 疯成这样,怎么还能被全网吹捧? 郜萌運 | 2023-05-02
  • 狂吼11次“让一下”!交警咆哮开道嘶吼到吐 狂吼11次“让一下”!交警咆哮开道嘶吼到吐 寸飛蘭 | 2023-05-03
  • 摩根大通收购美国第一共和银行 摩根大通收购美国第一共和银行 謝飛揚 | 2023-05-02
  • 台剧赢麻了,又来一部8.9 台剧赢麻了,又来一部8.9 衛青柏 | 2023-05-02
  • 事关农村土地承包和农民权益,《农村土地承包合同管理办法》5月1日起施行 事关农村土地承包和农民权益,《农村土地承包合同管理办法》5月1日起施行 郟君昊 | 2023-05-02
  • 下降45分,上涨35分!34所自划线院校复试分数线涨幅汇总 下降45分,上涨35分!34所自划线院校复试分数线涨幅汇总 袁曼雁 | 2023-05-07
  • "三高"已盯上青少年,做好这件事是关键 "三高"已盯上青少年,做好这件事是关键 習又夏 | 2023-05-05
  • 五一档没一个能打的 五一档没一个能打的 集玲琳 | 2023-05-05
  • 恐怖韩剧下神坛,这次胆小可入 恐怖韩剧下神坛,这次胆小可入 袁曼雁 | 2023-05-05
  • 这剧是不是用ChatGPT写的呀? 这剧是不是用ChatGPT写的呀? 惠惠君 | 2023-05-02
  • 200户连夜疏散,原因让人愤怒!“损失超一亿”,官方通报 200户连夜疏散,原因让人愤怒!“损失超一亿”,官方通报 袁曼雁 | 2023-05-03
  • 性骚扰惯犯,滚出娱乐圈 性骚扰惯犯,滚出娱乐圈 謝飛揚 | 2023-05-05
  • 48岁何炅自曝已老花眼,黄磊睡前认老,《向往的生活》证实将停办 48岁何炅自曝已老花眼,黄磊睡前认老,《向往的生活》证实将停办 佼昌翰 | 2023-05-02
  • 一个《长月烬明》倒了,《狐妖》《长相思》《与凤行》…在路上了 一个《长月烬明》倒了,《狐妖》《长相思》《与凤行》…在路上了 惠惠君 | 2023-05-02
  • 张天爱假期晒“酷”存照 卷发披肩穿黑色吊带裙大秀好身材 张天爱假期晒“酷”存照 卷发披肩穿黑色吊带裙大秀好身材 嬴覓晴 | 2023-05-02
  • 当年轻人开始不随份子钱 当年轻人开始不随份子钱 袁曼雁 | 2023-05-02
  • 毕滢用8年时间成功逼宫?曾被传已婚生子的她,不容小觑 毕滢用8年时间成功逼宫?曾被传已婚生子的她,不容小觑 幸聽楓 | 2023-05-03
  • 宋慧乔获视后首次晒照,拿奖杯笑容温柔 宋慧乔获视后首次晒照,拿奖杯笑容温柔 郜萌運 | 2023-05-02

©2022 大酷樂 版權所有

隱私政策 | 服務條款 | 聯繫我們