2026/10/18 20:52:36

ICLR 2026四篇论文中稿复盘:从选题到Rebuttal的完整经验

ICLR 2026四篇论文中稿复盘:从选题到Rebuttal的完整经验 凌晨一点半实验室群跳出一条消息“ICLR 2026放榜了”。我核对完四篇论文的ID全部都是Accepted。高兴归高兴放下手机之后我更想做的是把整个投稿过程复盘一遍。原因很简单四篇一起被录用这件事放在哪个实验室都算不上理所当然。ICLR是这几年机器学习社区公认的重要会议之一评审量大、审稿意见细而且整个流程公开。很多人以为中稿靠的是灵感或者运气但站在实验室的角度一次四个方向同时中稿背后其实是选题、实验、写作、Rebuttal这四条线同时达标的结果。这篇文章会把这四条线逐一拆开讲清楚我们到底做了什么、踩过哪些坑以及哪些投入是真正值得的。如果你正准备投稿或者在等结果下面的内容应该对你有用。1. 一个中稿数字背后这届录用比想象中更挑剔1.1 评审机制决定了录用不是“投票通过”就算数ICLR的核心关注点是表示学习从会议名字就能看出来它比较看重方法能不能把问题的底层逻辑说清楚而不是论文里堆了多少个得分点。每年投稿量都在涨评审也越来越辛苦很多稿子还没进入作者回复阶段就已经因为“读不懂”被扣掉不少分。ICLR的评审过程和某些会议不一样在正式结果出来前作者能读到审稿人之间的讨论也能通过回复重新影响评分。也就是说最终录用名单是反复博弈后的结果不是一锤定音。这带来的直接影响是中稿难度有很大一部分藏在“评审能不能顺利理解你的论文”上。同一项工作如果写作混乱、实验设计关联不清评分会差出很多。反过来只要研究问题真实、方法逻辑清晰、实验证据链完整就算某个审稿人给了低分也有可能在讨论环节被拉回来。我们这次四篇里就有两篇的评分最初并不高是靠Rebuttal和审稿人讨论翻回来的。1.2 四篇同批录用不代表四个方向都在极热赛道我把四篇论文拆成四个方向后发现它们并不是最近热度最高的几个话题。第一篇处理少样本下的泛化问题第二篇处理图结构里的长程依赖第三篇做生成模型的采样加速第四篇关注多模态对齐中的噪声数据。方向分散意味着这批论文背后不是运气共振而是方法论的一致——都从真实痛点出发都做清楚了实验也都把写作和回复当成正式工作来对待。下面这张表是我们复盘时常用来对照的四条线环节常见失分点我们这次的做法选题追热点但说不清为什么重要先用一句话写“问题陈述”大部分人卡在这一句实验baseline不全、消融缺失每篇至少主表加三个消融结论必须有数字支撑写作related work写成文献列表每个相关工作和我们的区别都要落到一句话Rebuttal只道歉不给证据意见分类后逐条回表格指向章节、公式和实验这张表看起来普通但把四篇论文真正串起来的正是它。一个实验室如果连续两三轮投稿都能保持这个框架中稿数量自然会稳定在一个水平上。反过来哪一线没做到位审稿意见里几乎一定会暴露。与其说我们在做四篇论文不如说我们在用同一个质量标准做四件事。2. 四篇论文的选题逻辑我们没有追最热的方向先说结论这四篇论文没有一篇是冲着榜单或热点去的至少在最开始不是。我们选方向的时候反复问自己某个问题是不是真实存在现有方法是不是有一块明显的短板而我们手上的资源和能力能不能补上这块短板。三个问题的答案都符合才会投入时间。2.1 少样本场景下的泛化稳定性从用户痛点倒推问题第一篇少样本条件下的泛化稳定性。这个问题听着不新但每天都有没标注的数据、小样本场景出现所以延展性很强。我们注意到很多已有方法都假设训练数据足够充分一旦数据量掉下来模型表现就很不稳定。于是我们希望找到一种方式把“有限样本下的不确定性”显式建模进训练流程。选题的起点不是某篇刷榜论文而是落地时反复出现的痛点。判断要不要做的标准很简单我们把问题写成一句话拿去问没有参与的同学他能不能在一分钟内察觉这个问题有实际影响。如果不行说明问题陈述还不够具体。2.2 图数据的长程依赖不是搭新结构而是给位置一个连续表达第二篇图结构数据里的长程依赖。图模型在多层之后普遍存在过平滑问题这是圈内都知道的公开难题。我们并没有像很多人那样直接堆叠更多层而是换了个角度给节点位置设计一种连续表达让深层信息传递时位置编码依然清晰。选这个方向是因为它从已知缺陷出发创新点更容易被理解也更容易通过消融实验验证。对于首次尝试顶会投稿的人来说最忌讳的是把一个模糊想法包装成一个大主题最后做出来一堆指标却说不清机制。2.3 生成模型的少步采样把训练时的约束变成推理时的免费午餐第三篇生成模型的少步采样加速。生成模型要迭代很多次才能产出高质量结果这在计算资源有限时很费劲。我们做的是训练阶段的一致性约束让模型在少步推理时误差不逐层累积。这属于那种“读论文时一眼能看出意义”的题目因为速度和质量的矛盾是客观的。但我们花了很长时间才想清楚真正要解决的问题是误差累积不是单纯减少迭代步数。这两句话的区别决定了实验设计完全不同。2.4 多模态对齐的噪声样本先学会判断哪些数据该被忽略第四篇多模态对齐中的标签噪声。这个方向来自一次实际的数据清洗经历网上抓下来的图像文本配对里有大量噪声硬学会学坏。我们发现对比学习目标下一部分噪声样本其实可以被安全忽略关键在于先判断哪些样本不可靠。这个选题的过程最接近一个经验教训把一个具体的数据问题抽象成方法论问题成功率反而比直接做应用更高。2.5 动手前的判断清单四篇论文都过了一遍这个模板筛选项目时我们用下面这个清单过了一遍又一遍判断项具体的提问方式卡住时的信号问题是否真实如果没有这个方法现有工具会不会明显受影响大家一起拍脑袋说“应该有用”但举不出实际场景对比对象是否清晰能不能一句话说出相对已有方法改进点是什么说不清楚说明相关工作没有读透结果形态是否明确哪种实验能一眼看出方法有效只能靠一堆指标堆结论缺少直观可验证场景资源约束是否可承受以实验室算力、数据、人力能不能在半年内看到初步结果答不上来选题先放一放这张表看起来简单但它等于把很多“肠子悔青”的选题失败提前消灭了。四篇论文最后能走完整个流程和选题阶段没有埋下“说不清为什么”的病根有很大关系。3. 真正决定命运的往往是实验设计和写作表达很多人以为顶会中稿的核心是数学创新但回顾四篇论文我们投入最多的其实是实验设计和写作。审稿人面对一份陌生稿子时第一步判断就是“结果可信度”。实验部分如果做不到“结论和证据一一对应”后面的理论写得再好也会被拉低评分。3.1 实验不是跑分而是向审稿人证明“因果关系”我们内部有个硬性要求每个核心结论至少要有一张主表和一条消融证据链。主表告诉读者“方法比基线好”消融告诉读者“知道好在哪里”。一句话实验不是跑分而是向审稿人证明因果关系。公平性方面也有具体操作所有baseline尽量采用它们原论文默认设置训练步数、batch size、优化器配置保持一致如果为了统一条件修改了什么必须在实验说明或附录里写清。审稿人最怕的就是baseline比原论文低一截那会让你的主表失去解释力。我们在四篇论文中都采用同一个标准先复现到接近原论文分数再谈改进。这个工作很枯燥但几乎是投这类会议的底线。3.2 写作顺序建议从摘要到导言Related Work最后写写作顺序我们也固定下来了。先写实验部分但不是从引言开始。首先把实验表头、数据集、评价指标列清楚让整篇论文的“证据地图”先成形。接着写摘要和引言。摘要基本按四句话结构问题一句话现状不足一句话方法两到三句话结果给出具体数字。引言则更像一条故事线问题为什么重要、现有方法为什么不够、我们怎么做、结果如何验证。Related Work一定要避免写成文献列表。我们要求每个相关工作和本工作的区别必须落到一句话放在同一条上下文里比较。写完初稿后会请没参与该方向的同学读一遍只问一个问题这篇论文想解决什么。如果他三分钟内说不出来说明引言还要继续改。这个办法比任何润色工具都有效。3.3 可复现性与实验细节最容易被低估的隐性得分点可复现性是把“看起来还行”变成“可以相信”的关键。我们的做法是环境依赖锁定版本随机种子至少跑5次并报告均值与波动范围所有训练超参写进附录代码仓库在投稿前就整理好。做这些事不需要很高深的技术但很容易被低估。审稿人没有义务帮你判断结果一旦他发现某个关键设置没有写清楚很难不怀疑其他实验。实际上四篇论文都有一稿因为细节说明不完整被打过低分后来我们把可复现性当成论文正文的一部分来对待问题才消失。4. Rebuttal不是写小作文是对审稿人的一种“证据管理”4.1 拿到意见后的第一反应用表格把所有问题钉死拿到ICLR评审意见后第一件事不是急着回怼而是把所有意见放进一张表。我会按类型分四类理解偏差、方法质疑、实验补充需求、写作与表达问题。分类要具体比如“为什么不用某方法对比”属于实验补充需求但不能简单归为方法质疑。分类完成后评估每类意见对最终评分的影响权重把最重要的几条放在回复最前面。这是一次典型的项目管理和学术水平相关但和组织能力更相关。意见类型常见表现我们回应时的核心动作理解偏差“我没看懂3.2节”复述问题指出对应公式或段落用一句话重讲核心逻辑方法质疑“这个方法感觉就是XX”给出对比分析说明关键差异附上差异实验实验补充需求“缺少某方法的对比”能补则补尽量给出直接答案补不了也要给间接证据写作表达问题“引言里术语太多”承诺在终稿统一术语并用回复说明修改位置4.2 逐条回应的证据链每句话都要能指向论文里的某个具体角落逐条回应的核心原则是每句话都要能指向论文里的某个具体角落。不要只说“我们已经实验验证”要给出表X、图Y、附录Z。如果审稿人问的是某个baseline我们通常会补上一栏对比数字即使这个数字来自已有实验。回复的结构建议是先感谢再复述对方问题确认理解一致然后给出回答最后说明这个回答在论文里的位置。ICLR的作者回复窗口很短所以措辞尽量精简长句容易让审稿人失去耐心。比如审稿人问“为什么不和某方法比较”我们当时的处理方式是先承认对方说得有道理接着说明我们看过该方法的设定与我们的问题不同最后贴上一张在相同设置下跑出的对比表。虽然结果不一定是我们赢但完整性会让审稿人觉得你认真对待了意见。4.3 回复中的三类绝对不可做的事三类话绝对不要出现在Rebuttal里。第一类是攻击性表达比如“你显然没有认真读”“这很常识”它们不会带来任何帮助。第二类是空洞承诺“我们会在终稿补充大量实验”——如果回复窗口内补不完终稿也没有机会这句话只会伤害可信度。第三类是只贴代码不解释审稿人没有时间翻代码仓库你必须把关键结果直接放在回复里。实话讲这些错误我们几乎每届都会看到它们会让原本可以翻盘的稿子失去机会。5. 踩坑实录三个差点让我们前功尽弃的小问题5.1 坑一某个baseline的分数一直偏低根因竟是环境配置先说一个最典型的坑某个baseline在我们环境里跑出来的分数一直比原论文低3个百分点。最开始我们没当回事主表里直接拿这个偏低的数字做对比。后来在投稿前补写Implementation Details时一个同学发现是数据预处理顺序不一样另外一个项目的环境里用到的依赖库版本也偏旧。两处修正后分数回到原论文水平。虽然我们没有刻意造假但这个“偏低”会让主表呈现一种并不公平的比较一旦被审稿人抓住整篇论文的可信度都会受损。从那以后我们给所有外部baseline定了规矩先按原论文默认配置复现再动任何一行代码环境依赖全部锁进依赖清单里。这一步枯燥但值得。5.2 坑二可视化只挑了漂亮样本结果是给审稿人送分题第二个坑和可视化有关。论文里有一组例子展示方法生成的效果我们当时挑了效果最好的几个样本图片确实漂亮审稿人却一针见血地指出这组样本在各类别里的分布并不均匀看起来不像随机抽样。这个意见其实等于把“你有选择偏差”写在了桌面上。我们只能重新补了一组全量统计用各类别比例和指标中位数说明整体效果并把选择标准写进附录。这个坑的教训是可视化的目的是验证不是装饰。凡是展示就要敢于用随机样本或者严格说明选择规则。5.3 坑三训练超参数散落在代码里正文却只写了主干第三次出现在训练超参数的说明上。论文主表里的模型用了warmup、梯度裁剪和一个调度策略但正文的Implementation Details只写了学习率和batch size。审稿人怀疑这些额外设置是专门为我们的方法调的甚至追问baseline是否也用了同样的训练细节。我们把完整超参数表上传到代码仓库并在附录中标注每一组设置来自哪一轮实验。最终审稿人接受了。这件事说明训练配置本身就是实验结果的一部分不写等于告诉别人“这里可能藏着后门”。以后再投我们会在初稿阶段就把训练配置表当正文一样对待。5.4 这些坑的共同本质可验证性比结果好看更重要这三个坑放到一起看本质都是同一个问题论文的每个结论都必须经得起验证。审稿人不会追着每行代码去读但一旦发现某一处细节不可解释整篇论文都会被打上问号。我们复盘时经常说中稿不是赢在算法创新多惊艳而是赢在让审稿人挑不出低级毛病。可验证性比短期结果好看重要得多这个排序应当刻在每一个投稿人的脑子里。6. 录用之后的五日清单让下一次投稿少走弯路6.1 论文公开后第一周就要做完的四件事录用通知不是终点只是责任升级的开始。我们的经验是拿到通知后五天内完成四件事第一对照Rebuttal里给审稿人的承诺逐条检查最终版论文有没有真正做到第二把训练配置、复现命令和环境安装说明归一版别让开源仓库处于“能看不能跑”的状态第三把Rebuttal中补充的有价值的实验整理进附录而不是让它只存在对话里第四组织一次内部报告把这个项目的立题、被质疑过程、实验取舍完整讲一遍。这么做看起来慢实际上是把一次投稿的经验变成团队通用的资产。6.2 一份可以直接抄的投稿Checklist接下来是一份我们内部用了两届的投稿Checklist你可以直接抄走阶段检查项经验说明启动前期用一句话写出问题陈述找没参与的人检验写不出来或听不明白方向先别急着动手实验中期主表加至少三个消融所有baseline先复现再修改每一个数字都要能追溯到一组完整命令写作阶段先列实验地图再写摘要和引言related work全部做对比投稿前6周动笔留给内部评审至少1周投稿前期匿名信息检查附录补全超参数代码仓库可复现这次踩过的坑大部分都在这一步暴露Rebuttal窗口意见分类后逐条回证据链先处理影响评分的关键问题回复不是作文比赛是证据管理6.3 团队经验沉淀我自己的数据记录方式最后说一个我个人很喜欢的小习惯为每篇论文建一行记录放在同一个页签里。内容包括论文ID、目标会议、初版选题、最关键的三条评审意见、最终怎么回应的、以及投稿后遗留的问题。下一次选方向时翻一下这些记录比重新开一次讨论会高效得多。对方向分散的实验室来说这几乎是靠录像带传承经验。四篇论文被ICLR 2026录用当然值得高兴但我最想留下的不是那张录用名单而是这套已经跑通两轮的方法。它才是下一批论文能被录用的真正原因。