★ FEATURED ARTICLE 又到了每周固定刷 arXiv cs.LG 的日子。2026.10.05 这一期出来的时候我照例先扫了一遍标题和摘要目录大概三百来篇的体量其中跟大模型沾边的占了大半剩下的是图模型、时序预测、优化理论和AI4Science那几条老线。说实话这个配比已经稳定很长一段时间了真正值得逐字读的论文可能不到十分之一但问题在于如果你不建立一套自己的筛选方法光是跟着标题点来点去一个下午就没了。这篇博文我不打算给你罗列论文清单——那种东西数据库做得比人好。我想做的是把这些年蹲 arXiv 的筛选经验、复现习惯、以及从摘要到落地这一路上踩过的坑结合这期 cs.LG 的热点分布一次性讲清楚。不管你是刚开始读论文的研究生还是要靠论文找 idea 的算法工程师或者单纯想follow 前沿的独立开发者按这套流程走一遍至少能让你每周少浪费两三个小时把精力花在真正有信息量的工作里。1. 先看大方向这期 cs.LG 在卷什么1.1 大模型推理、对齐与评测产出最密集的区域如果你打开这期目录的前五十条会明显感觉到一个趋势真正占据压倒性数量的不是基础架构创新而是大模型周边工作。大致能分成三类。第一类是推理过程优化。包括推理时缩放、逐步验证、搜索策略、结果奖励模型这类方向核心思路其实就是让模型在生成时多花算力去“想”而不是把一切都压在预训练和 SFT 上。这个方向最近很热原因也很直白后端改进不需要重训大模型成本相对可控而且效果在数学、代码这些任务上非常直接。第二类是对齐与偏好优化。RLHF 的变体已经卷出花来了从DPO到各种长度修正、奖励修正、参考策略修正还有一大票针对多轮对话和工具调用场景的对齐工作。这一块论文多但量产化严重很多只是把损失函数改个形状然后报告一个增量。第三类是评测与基准。每隔几周就会冒出新的 benchmark覆盖复杂推理、智能体任务、长上下文理解、多模态可靠性等。这类论文的价值不在方法而在你用它评估自己模型时能不能少踩坑所以也值得专门看一下其中数据构建和指标设计的部分。子方向核心问题适合谁重点看推理时缩放测试阶段算力换精度做推理系统、数学/代码模型的人偏好优化让模型输出符合人类偏好做对齐、数据配比的人评测基准如何验证模型真实能力需要写技术报告、评估模型的人1.2 高效训练与推理所有人在薅算力羊毛这一期里高效方向的文章数量仅次于对齐。注意力机制依旧是重灾区稀疏注意力、线性注意力、状态空间模型的改良版本层出不穷另一大块是量化与压缩从 4bit 训练后量化到训练感知量化都有新工作还有一部分是蒸馏尤其是把大模型能力压到小模型上的知识蒸馏。看这类论文我的建议是不要只看它报的加速比一定要看它牺牲了什么。很多高效方法是在序列长度、上下文窗口、数值稳定性某个维度上做了取舍的论文里不一定会写清楚。比如有的稀疏注意力对短文本效果不错但长程依赖任务明显掉点作者可能把它放在 limitations 里一句话带过。你如果只看摘要里的“2倍加速、效果持平”就拿去用后面可能要花几周排查线上效果问题。这也是我觉得高效方向最需要“细读图表”的原因别只看最终平均分去对比那几个困难样本、长序列子集、分布外数据上的表现。这一期里有几篇做了很扎实的跨任务鲁棒性分析比单纯报速度的work有价值得多。1.3 智能体与数据工程从模型问题变成系统问题智能体相关论文在这期里占比不小但研究对象已经跟两年前大不一样。现在很少人还去卷“让模型调用工具”这个基础能力了更多是在讨论多智能体协作、长期记忆管理、任务分解可靠性、以及智能体评测环境的真实性。我特别关注了数据工程这一支。有一类论文专门研究训练数据的选择和配比比如如何从海量语料里筛出高质量子集、如何做课程学习、合成数据怎么生成才不会被模型自己的偏差污染。这个方向很有意思因为它的结论往往跟直觉相反更多数据不等于更好模型数据多样性也未必是越高越好。这类论文对实战很有用。如果你在训练自己的小模型或者微调底座模型数据配比和筛选策略往往比模型结构改动带来更多稳定收益。而且这些经验很难从教科书上学到只能靠论文加实验一点点积累。1.4 经典方向依旧坚挺图模型、时序预测与科学计算不要因为大模型刷屏就忽略传统方向。这一期里图神经网络的工作还在持续产出话题集中在动态图、知识图谱推理和分子图表示学习时序预测则围绕多变量长期预测、非平稳时间序列处理和基于 patch 的建模方法展开AI4Science 也有不少新论文用生成模型做分子构象、用扩散模型解决逆问题这类是主流。我对非大模型读者的建议是经典方向论文的实验设计往往更规范baseline 更齐全消融做得很到位。作为一个领域新人从这些论文里学到的“实验素养”比读一百篇大模型实证文章都有用。而如果你是大模型方向的人我也推荐偶尔翻翻这些方向——很多结构化的归纳偏置比如图的等变性、时间序列的多尺度分解放进大模型设计里就是真正的创新点。2. 文章这么多怎么用 30 分钟圈定必读清单2.1 摘要里的三句话结构把水论文挡在门外摘要筛选是最关键的一步。我自己的经验是一篇合格的机器学习论文摘要里基本存在一个固定结构——第一句讲要解决什么问题中间部分讲方法的核心思路最后一句给出实验结果和结论。三个部分缺一不可。只要看到下面这几种情况我基本直接关掉通篇只说“我们提出了一种新方法”但不说具体思路只报提升百分比但不说在什么任务和 baseline 上标题和摘要都在喊大词但数据集是自己构造的且没有公开基准可比性。这三类占了目录里相当大的比例。我列了一个快速判断信号表基本是我过滤论文时候的潜规则摘要信号判断倾向有明确问题动机 有方法名字 有量化结果值得点进去只有“提出框架”没有具体模块设计大概率是改包装结果全部在自己数据集上没有公开基准谨慎先看实验章节方法名是生造词但没解释清楚机制谨慎一句话讲清“解决什么问题、跟谁比、好在哪”优先级最高2.2 只看三张图技术新不新一眼就知道摘要看完如果觉得有兴趣我不会立刻读全文而是先拉一遍论文里的三张图方法框架图、主实验结果图、以及一个分析性图表。方法框架图最容易暴露问题。真正的新方法框架图里通常会有跟现有结构不一样的模块如果图里全是 Attention、FFN、LayerNorm 这些常规组件的排列组合那大概率是工程调优而非方法创新。主实验图看的是坐标轴和 error bar横轴是什么、纵轴是否断轴、有没有标准差范围一张图就能看出作者有没有做足重复实验。分析性图表则最直接体现作者的思考深度有没有关于失败案例的分析、有没有在不同配置下的敏感性分析。这三张图看完你对这篇论文的贡献和含金量基本就有判断了。剩下的事情才是决定要不要精读全文。2.3 建立雷达关键词、团队标签与代码仓库三件套长期刷 arXiv 的人都会有自己的雷达系统我的是三件套。第一是关键词库。不只盯 Transformer、LLM 这种大词更多盯超参敏感性、损失尖峰、负反馈、数据泄漏、重复率分析这类方法学关键词因为它们往往出现在真正做了深度分析的文章里。第二是团队标签。我维护了一个名单上面是几个在特定方向上持续产出、而且代码质量高的团队或个人他们的新论文我会优先看。第三是代码仓库。标题旁边有开源代码的论文在我这里默认比没有代码的同等论文更高一级因为至少作者敢把实现细节亮出来。这套雷达系统你不一定照抄但建议维护一份。它最大的价值在于时间积累三个月之后你再扫 arXiv基本扫一眼就知道哪些是换皮论文、哪些真正在推进问题边界。3. 从标题到复现一篇论文从浏览到落地的完整链路3.1 先算复现成本代码、数据、硬件缺一不可读论文和复现论文之间隔着一条巨大的河。如果你要决定复现一篇 cs.LG 论文我的建议是先做成本估算再动手指头。成本主要由三部分构成数据可获得性、算力需求、代码完备度。数据方面先看是否使用公开数据集有没有数据预处理脚本如果用的是自建数据集且没有开源建议直接跳过因为你复现出来的结果跟原文根本没有可比性。算力方面先看模型规模和训练策略一个大 batch 实验跑一次就要几百块卡时的工作个人研究者要慎重。代码方面则要检查作者是否提供了完整训练脚本和已处理好的数据接口。复现成本项低风险信号高风险信号数据公开数据 预处理脚本齐全自建数据 无开源计划算力单卡或小规模多卡可跑需要大规模集群做调参代码含完整训练、评估、推理代码只有推理脚本没有训练脚本先花二十分钟做这个评估能帮你挡掉至少一半“看起来能做、实际完全做不动”的项目。3.2 环境搭建最怕的不是难是“版本陷阱”如果你决定复现那环境搭建就是第一个坑。我在这上面栽过太多次了总结下来最烦的问题不是环境装不上而是装上了但行为不对。最常见的几类CUDA 和 PyTorch 版本不匹配导致某些算子不可用transfomers 库版本太新模型名映射变了导致加载失败依赖包指定了一大堆 test 时版本但核心训练脚本用的却是另一些 API。还有最隐蔽的——论文作者在自己的环境里能跑出结果但依赖的是某个没写进 requirements 的手改文件。我的建议是不管你用什么环境管理工具第一步一定是把 requirements 里所有包的版本号锁死创建独立环境安装第二步是跑官方 README 里最小的示例脚本确认前向传播和损失函数能正常计算第三步才是尝试跑小规模训练。这三步走完你踩的坑会少一大半。很多人上来就全量复现结果环境问题比算法问题还浪费时间。3.3 刷消融实验比复现出 SOTA 更有价值复现论文的终极目标不应该是“把作者的数字跑出来”因为很多论文的结果你复不出来不是你错了而是作者省略了大量调参细节和玄学运气。更靠谱的目标是理解每个设计决定带来了多少贡献。我自己的做法是复现步骤里永远加一轮消融。在跑完完整模型之后分别去掉关键模块、替换成标准组件、或者调整核心超参数观察效果变化幅度。比如一篇做稀疏注意力的论文我会把稀疏策略换回全注意力跑一遍看长序列上的差距到底有多少一篇做数据筛选的论文我会把筛选出来的子集换成随机子集看模型最终性能是否真的有显著下降。这个习惯的好处是即使你最后没能复现出论文声称的分数你也知道这个方法在什么条件下有用、什么条件下没用。这份“使用边界”的理解比你拿到一个 SOTA 数字对你的研究更有用。3.4 评估对齐别让指标骗了你复现过程中最容易出现“结果对不上”的环节其实是评估流程。很多人训练流程跑通了最后指标跟论文差一大截于是开始怀疑人生。但很多时候问题出在指标计算细节上。评估对齐要检查的东西包括数据 split 是否跟论文一致是否用了同样的 prompt 模板和生成参数指标计算代码是否一致——很多工作说的准确率其实是 top-1但你用的是自己写的实现可能分词、大小写、特殊符号处理都不一样还有最重要的是随机种子是否固定了因为很多任务在种子不同时波动非常大。所以我的建议是看完论文的实验设置之后先别急着训练花半天时间把作者公布的 checkpoint如果有在自己的评估代码上跑一遍看能不能对齐数字。如果连官方 checkpoint 都跑不出论文指标那你基本可以确认是评估代码的问题而不是训练的问题。这一步卡稳了后续训练才有意义。4. 四个值得你长期跟踪的研究趋势写于本期之后4.1 长上下文不是堆显存而是改结构这期里长上下文相关的论文仍然不少但我注意到讨论重心已经从“用各种稀疏注意力把序列塞进去”变成了“如何在长序列中保持稳定的信息提取与推理能力”。这个转向很有意思说明领域共识正在形成能输入长文本不代表能利用好长文本。值得跟踪的具体问题包括长上下文模型的注意力图谱到底在哪里衰减位置编码的泛化边界在哪儿长上下文模型在短任务上会不会反而退化以前大家拼的是“最长能读多少token”接下来可能要拼的是“读了十万token还能不能准确找到一句关键信息”。如果你要做这个方向建议从评测设计切入会比换个位置编码方案更有长期价值。4.2 推理时缩放训练变少、测试算力变多这一期有一批论文都在做类似的事情训练阶段简化把算力预算转移到推理阶段通过搜索、验证、回溯等手段提升答案正确性。这个方向背后的直觉其实跟 AlphaGo 很像——你用更多的搜索补偿策略网络的不足。目前的主流形态包括让模型生成多条候选然后用验证器排序、自我反思反复修正答案、在树搜索空间上做策略优化。它们的共性都是把“一次写出正确答案”变成“多次尝试并挑出正确答案”。应用价值目前最强的是数学和代码这类有确定性验证信号的领域所以如果你做这两个方向非常值得跟读这个趋势。4.3 模型小型化与数据蒸馏小模型正在吃掉大模型的应用市场如果你的硬件只有一张消费级卡这期里跟小型化和蒸馏相关的论文是你最该看的。当前大量的应用落地场景并不需要最强模型而是需要一个能在本地跑、成本低、响应快、还不至于太笨的模型。蒸馏工作正在从“模仿输出”进化到“模仿推理过程”。我看这期有几篇工作在让大模型生成带中间思考过程的训练数据再让小模型学习这个过程最终效果比单纯学习答案好很多。不过这里要提醒一句蒸馏数据的质量筛查非常关键如果你把大模型的错误推理步骤也学进去了小模型的错误模式会被放大。这个方向对个人开发者的友好度很高你完全可以在自己的项目里跑一轮完整实验。4.4 多模态融合进入“系统集成”阶段多模态方向这期没有太多惊艳的新架构更多是工程集成性质的贡献如何在相对小的模型上同时处理好图像、语音和文本如何统一不同模态的标记空间如何在多模态上下文里保持对话一致性。这类工作的难度其实比想象中大因为不同模态在数据规模、信息密度和对齐难度上差异巨大。我的建议是这个方向的研究不必追求完全创新很多有实用价值的产出是把已有模块以更合理的方式拼起来并给出细致的评测。如果你的目标是快速发论文可以找找“某个已有模块在某个特定场景下不好用”的切入口如果你的目标是做产品原型那就多注意那些报告了推理效率和内存占用的工作。5. 论文阅读与复现常见问题速查5.1 读论文阶段的问题问每次扫完标题感觉收获很多但转头就忘了怎么办 答这说明你没有主动加工信息。我的习惯是每周选三篇真正相关的论文写一段两百字以上的笔记用自己的话复述方法和关键图表而不是复制摘要。写的过程就是在强化学术判断力。问怎么判断一篇论文适不适合精读 答先回答三个问题它解决的问题是否和我关心的问题重叠方法有没有新机制还是旧组件排列组合实验是否覆盖了足够多的 baseline 和消融三个都过就值得精读其中方法部分和实验部分。问论文读不下去怎么办 答不要从引言开始读。先读方法再读实验最后回头看引言——引言里一般只有背景和吹嘘信息密度最低。如果你对一个问题已经有背景直接从方法开始是很高效的路线。5.2 复现阶段的问题问训练 loss 降不下去是代码问题还是超参问题 答先用小数据跑通梯度检查确认前向和反向没问题再检查学习率和 batch size 的数量级。大多数时候不是代码逻辑错误而是超参设置跟论文不一致。问复现出来的结果跟论文差距大怎么办 答先评估再训练。用作者最好的一套超参数、固定种子、按论文的设置重跑小规模实验如果差距依旧明显就把论文里没写的细节当作主要原因换个思路去理解。问要不要复现很多篇论文 答不必。精复现三篇相关度最高的工作比粗跑十篇有意义。每一篇都要跑通训练、评估、消融三步记录清楚差异这才是研究积累。5.3 我的个人经验总结最后聊点个人的方法。我每周五下午固定两小时刷 arXiv流程固定先扫标题再筛摘要最后精读不超过五篇每周只挑一篇最想深入的工作把它跟手头的问题做对比写笔记或者跑实验。这套流程坚持下来最大的变化不是论文数量而是对“什么问题值得做”的判断力上来了。还有一个建议把你筛选过的论文按“是否开源、是否可复现、是否值得跟读”打标签放进自己的管理工具里三个月后再回头翻一遍你会很清楚地看到自己在哪些方向上积累了判断力、哪些方向还在乱逛。这件事情本身比追着最新论文跑要重要得多。
阅读完成 · 觉得有帮助？
