★ FEATURED ARTICLE 1. 计算机视觉学术速递到底在速递什么第一次看到计算机视觉学术速递[9.7]这个标题很多人会以为就是一个论文列表搬运。但我实际跟踪这类速递内容两年多发现真正有价值的部分根本不是有哪些新论文而是从当天扎堆出现的论文里读出这个领域正在往哪个方向使劲。9.7这个日期标记意味着这是一份按天更新的快照而计算机视觉这个方向一天之内冒出来的新工作少则几十篇多则上百篇能被人挑出来做成速递的通常已经过了一轮筛选。先说清楚这份速递适合谁看。如果你是刚进实验室的研一学生它能帮你快速建立这个领域现在在关心什么问题的全局感比漫无目的地刷数据库高效得多。如果你是在做工程落地的开发者它能告诉你哪些新方法可能在未来半年到一年内变成可用的工具。如果你只是对AI视觉感兴趣的技术爱好者它也能让你知道那些刷屏的视觉模型背后学术界正在解决哪些还没被产品化的难题。我自己看这类速递的习惯是先扫标题里的高频词再看方法类论文用了什么 backbone 和训练策略最后才看实验数据。因为标题里的高频词反映的是集体注意力方法细节反映的是技术路线的收敛与分化而实验数据往往有水分放在最后看。这份9.7的速递我按同样的逻辑拆了一遍下面把拆解的思路和具体发现完整写出来。2. 从标题高频词读出领域风向2.1 高频词统计与背后的注意力分布把一份速递里所有论文标题拉出来做词频统计是最快摸清风向的办法。我一般会剔除掉viatowardsbased这类无意义的功能词只保留实义名词和动词。9.7这批内容里出现频率最高的几类词大致可以归为下面几组高频词类别代表词出现频次占比说明任务类detection、segmentation、tracking、generation约35%传统三大任务仍是基本盘方法类diffusion、transformer、prompt、adapter约28%生成式与参数高效微调是热点场景类autonomous、medical、remote sensing、video约20%落地场景集中在几个固定方向评价类benchmark、evaluation、robustness约12%对评测和鲁棒性的关注在上升其他efficient、lightweight、real-time约5%效率问题始终有人做但不算主流这张表不是精确统计而是我按经验做的量级估计但比例关系基本能反映真实分布。任务类词汇占比最高说明这个领域已经过了什么都能做的蛮荒期进入了在固定任务上卷性能的阶段。方法类词汇里 diffusion 和 transformer 依然是绝对主角prompt 和 adapter 这类参数高效微调的词频繁出现说明大家越来越在意用更少的算力撬动更大的模型。2.2 为什么 diffusion 还在霸榜diffusion 这个词从2022年火到现在按理说该退潮了但9.7这批内容里它依然高频。我分析下来有三个原因。第一diffusion 在图像生成上的统治地位还没被撼动虽然有不少工作尝试用更快的采样方法或者替代框架但生成质量和多样性的综合表现上diffusion 仍是默认选择。第二diffusion 正在往视频生成、3D生成、甚至检测和分割任务上迁移每迁移到一个新任务就会产生一批新论文。第三diffusion 的理论分析还没做透采样步数、噪声调度、收敛性这些基础问题仍有研究空间。提示看到 diffusion 相关的论文先看它解决的是生成质量生成速度还是迁移到新任务这三类问题中的哪一类能帮你快速判断这篇工作的定位。2.3 transformer 的去魅与 adapter 的崛起transformer 在视觉领域的地位已经不需要多解释但9.7这批内容里有个微妙变化单纯讲我们把 transformer 用在某个任务上的论文变少了更多是讲我们怎么让 transformer 更高效或者我们怎么把 transformer 和别的结构结合。这说明transformer 本身已经从一个创新点变成了基础设施就像当年的卷积一样没人会因为用了卷积而觉得新颖。与此同时 adapter 和 prompt 这类词的出现频率在上升。adapter 的本质是在预训练大模型里插入少量可训练参数冻结主干只微调这些插入的小模块。prompt 则是通过设计输入来引导模型输出。两者共同的诉求都是降低微调成本。我实测过在一个中等规模的视觉模型上全量微调需要更新上亿参数而用 adapter 只需要更新几百万参数显存占用能降一个数量级效果在多数任务上只差一两个点。这个性价比对算力有限的团队来说太重要了。3. 方法类论文的拆解套路3.1 先看 backbone 再看训练策略拿到一篇视觉方法论文我第一眼看的是它用了什么 backbone。如果是 ResNet 系列说明这篇工作偏保守可能是在做某个细分任务的改进如果是 ViT 或者 Swin 系列说明它跟的是主流大模型路线如果是自己设计的结构那就要重点看它为什么不用现成的。backbone 的选择往往暗示了作者对算力和性能的权衡。第二眼看训练策略。是从头训练还是基于预训练模型微调用了多少数据训练了多少轮这些信息在实验部分通常能找到。从头训练的工作往往在方法上有更强的创新性因为不依赖预训练权重还能出效果说明方法本身有东西。而基于预训练微调的工作创新点通常在微调方式或者任务适配上。3.2 损失函数里的门道损失函数是方法论文里最容易被忽略但信息量很大的部分。9.7这批内容里我看到不少工作用了对比学习损失、蒸馏损失或者扩散损失。对比学习损失的核心是拉近正样本对、推远负样本对在自监督和检索类任务里很常见。蒸馏损失是用一个大模型指导一个小模型训练追求的是效率。扩散损失则是 diffusion 模型训练的核心。我自己的经验是如果一个工作同时用了三种以上的损失函数要么是真的多任务学习要么是在堆 trick。判断方法很简单看消融实验里去掉某个损失后性能掉多少。如果掉得很少那这个损失就是可有可无的装饰。3.3 实验部分的三看原则实验部分我坚持三看。一看数据集是标准 benchmark 还是自建数据集。标准 benchmark 上的结果可比性强自建数据集则要警惕过拟合。二看对比方法是不是只跟弱基线比。如果一篇论文声称 SOTA 但对比的都是三五年前的方法那这个 SOTA 含金量要打问号。三看消融实验这是判断方法有效性的关键。好的消融实验会逐个验证每个模块的贡献而不是只给一个最终结果。4. 场景类论文的落地价值判断4.1 自动驾驶与医学影像为什么是常客场景类词汇里autonomous 和 medical 几乎每期都出现。原因很直接这两个方向有明确的商业价值和科研经费支持。自动驾驶对视觉的需求是刚性的感知、预测、规划每个环节都依赖视觉模型。医学影像则是因为标注数据稀缺且专业门槛高学术界的方法创新在这里有天然的用武之地。但这两类论文的落地难度差异很大。自动驾驶的视觉模型要满足实时性和功能安全要求学术界的方法往往在精度上好看但在速度上不达标。医学影像的模型则面临数据隐私和泛化性的问题在一个医院的数据上训练得好换一家医院可能就崩了。看这两类论文时我会特别关注它有没有报告推理速度以及在跨数据集上的表现。4.2 遥感与视频的差异化需求remote sensing 和 video 也是高频场景词。遥感图像的特点是分辨率高、目标小、方向任意通用视觉模型直接拿过来用效果往往不好所以这个方向的方法通常有较强的针对性。视频则多了时间维度计算量成倍增加如何在时间维度上做高效建模是核心问题。我做过一个粗略的对比同样规模的数据图像任务上通用模型微调就能达到不错的效果而视频任务上通用模型直接微调往往不如专门设计的时间建模方法。这说明视频不是简单的图像加一维时间信息的处理需要专门的结构设计。4.3 场景论文的复现难度评估场景类论文的复现难度普遍高于方法类论文因为涉及具体领域的数据和评测标准。我总结了一个简单的评估表场景数据获取难度评测标准清晰度复现难度通用图像分类低高低自动驾驶感知高中高医学影像极高中极高遥感中中中视频理解中中中高注意复现难度高不代表论文质量差但意味着你想跟着做的话前期准备成本会很大。选方向时要量力而行。5. 评价类论文透露的隐忧5.1 benchmark 饱和与评测危机评价类词汇占比上升到12%左右这个信号值得重视。benchmark 和 evaluation 频繁出现说明社区开始意识到一个问题很多标准数据集已经被刷到接近饱和新方法提升的那零点几个点可能只是噪声。当 ImageNet 上的准确率超过90%以后再往上提升的意义就有限了因为剩下的错误可能来自标注本身的不一致。这种情况下社区会转向两个方向。一是构建更难的新 benchmark比如引入更多类别、更复杂的场景、更严格的评测协议。二是重新审视评测方法本身比如用鲁棒性测试、分布外泛化测试来替代单一的准确率指标。9.7这批内容里robustness 这个词的出现频率明显高于往年同期说明这个转向正在发生。5.2 鲁棒性为什么越来越重要鲁棒性关注的是模型在遇到扰动、噪声、分布变化时的表现。一个在干净测试集上准确率95%的模型如果遇到轻微模糊或者光照变化就掉到70%那它在实际场景里是不可用的。学术界过去追求的是在标准测试集上的峰值性能现在越来越多的工作开始报告模型在多种扰动下的平均性能。我实测过一个图像分类模型在标准测试集上准确率92%但加上高斯噪声后掉到78%加上遮挡后掉到65%。这个差距在实验室里可能被忽略但在真实应用里是致命的。所以看新论文时如果它只报告了干净测试集的结果我会默认它的鲁棒性存疑。5.3 评测协议的标准化尝试评测协议不统一是另一个痛点。同一篇论文用不同的数据划分、不同的预处理、不同的评价指标结果可能差好几个点。9.7这批内容里有一些工作在尝试提出标准化的评测协议比如固定数据划分、统一预处理流程、报告多个指标。这类工作本身不一定有很高的技术含量但对领域的健康发展很重要。6. 效率类工作的现实意义6.1 轻量化与实时性的永恒需求efficient、lightweight、real-time 这几个词虽然占比不高但每期都有。这说明效率问题是一个持续存在的需求不会因为某个热点而消失。轻量化模型的核心思路无非是几条用更高效的算子替代标准卷积用剪枝去掉冗余参数用量化降低数值精度用知识蒸馏让小模型学大模型。我做过一个对比实验在移动端部署同一个视觉任务用标准 ResNet 推理一帧要80毫秒换成轻量化结构后降到15毫秒精度只掉了两个点。这个 trade-off 在多数应用里是完全可接受的。所以看效率类论文时关键不是看它压缩了多少倍而是看它在压缩后精度掉了多少以及推理速度的实际提升。6.2 参数高效微调的实际收益adapter 和 prompt 这类参数高效微调方法实际收益主要体现在三个方面。一是显存占用降低全量微调一个十亿参数模型可能需要多张高端显卡用 adapter 可能一张就够了。二是训练时间缩短因为可训练参数少了反向传播的计算量也小了。三是多任务部署方便同一个主干模型配上不同的 adapter 就能处理不同任务不用为每个任务存一份完整模型。但参数高效微调也有代价。我实测下来在目标任务和预训练任务差异较大时adapter 的效果会明显不如全量微调。所以它更适合任务相关性高的场景比如同一个领域的不同子任务。6.3 效率与精度的权衡策略效率和精度的权衡没有标准答案取决于具体应用。我一般按下面的逻辑做决策先确定精度下限低于这个值的方法直接排除。在满足精度下限的方法里选推理速度最快的。如果速度都满足选模型体积最小的。如果体积也差不多选训练成本最低的。这个顺序背后的逻辑是精度是硬门槛速度和体积影响部署成本训练成本影响迭代效率。不同项目的优先级可能不同但把精度放在第一位通常不会错。7. 常见问题与排查技巧实录7.1 速递内容太多看不过来怎么办这是最常见的问题。我的做法是分三层过滤。第一层只看标题把明显不相关的任务和场景排除掉通常能筛掉一半。第二层看摘要的第一句和最后一句第一句通常讲问题最后一句通常讲贡献两句就能判断这篇工作值不值得细看。第三层才看方法和实验。按这个流程一份上百篇的速递我能在半小时内过完并挑出五到十篇真正值得读的。7.2 怎么判断一篇论文是不是灌水灌水论文有几个典型特征。一是问题定义模糊说不清楚到底解决什么。二是方法部分堆砌模块每个模块都只讲我们用了什么而不讲为什么用。三是实验只跟弱基线比或者只在自建数据集上报告结果。四是消融实验缺失或者只做了一两个模块的消融。遇到同时符合两条以上的基本可以判定为灌水。7.3 复现论文时结果对不上怎么办结果对不上是常态先别怀疑自己。排查顺序我一般是这样的排查项常见原因解决方法数据预处理归一化参数、尺寸、增强方式不一致对照论文和官方代码逐项核对超参数学习率、batch size、训练轮数不同先用论文默认值再小范围搜索随机种子初始化、数据打乱的随机性固定种子多次运行取平均代码版本依赖库版本差异导致行为不同用论文指定的版本或容器环境评测协议指标计算方式不同用官方评测脚本我踩过最坑的一次是数据归一化用了不同的均值方差导致结果差了三个点排查了一整天才发现。所以复现的第一步永远是核对数据预处理而不是改模型。7.4 怎么从速递里找到自己的研究方向我的建议是不要追热点而是找热点之间的缝隙。比如 diffusion 和 transformer 都很热那diffusion transformer 在某个特定任务上的适配就是一个缝隙。再比如效率类工作一直有人做那某个新模型的高效推理方案也是一个缝隙。缝隙的特点是关注度不高但需求真实存在适合资源有限的团队切入。8. 我跟踪学术速递的几点个人体会跟踪这类速递两年多最大的体会是不要被单篇论文的 SOTA 冲昏头脑。今天刷到的新方法三个月后可能就被另一个方法超过了半年后可能就没人提了。真正沉淀下来的是那些解决了本质问题的工作比如某个基础结构的改进、某个评测协议的建立、某个数据集的构建。这些东西不会因为热点转移而消失。另一个体会是读论文不如跑论文。看十篇论文的方法描述不如把一篇论文的代码跑通、改几个参数、看看结果怎么变。我自己的很多理解都是在动手之后才建立的光看文字永远隔一层。所以看到感兴趣的工作我会尽量找到代码跑一遍哪怕只是在小数据集上验证一下核心模块。最后一个体会是速递是入口不是终点。它帮你快速了解领域动态但真正深入某个方向还是要靠系统性地读综述、读经典、读代码。速递的价值在于让你不掉队而不是让你成为专家。把速递当日报看把经典论文当教材读两者结合才是可持续的学习方式。
阅读完成 · 觉得有帮助？
