搞计算机视觉的尤其是做视频理解这块的人肯定都经历过这么一段摸爬滚打的时期刷论文的时候看着各种SOTA模型眼花缭乱收藏了一堆PDF结果真到自己要搭环境、跑demo、甚至复现的时候才发现这些论文普遍有个共同的问题——代码不公开、环境太老跑不起来、或者是只能看不能用的玩具代码。我入坑视频目标检测这三年多翻遍了各大顶会的论文列表也下载编译过不下二十个开源仓库。说实话这个方向相对于静态图像检测来说门槛高一点但套路也相对集中。今天想把自己攒下的这份论文仓库做个系统性梳理不是简单罗列标题而是把每个方向的代表性工作、它们的核心改进点、以及代码仓库的真实状态都写清楚。无论是刚入门找baseline的同学还是想找idea深入研究的老手这份清单应该都能帮你省下不少时间。1. 为什么视频目标检测不能直接套用静态图的做法先聊一个很多新手容易走偏的地方。有人觉得视频检测不就是把一帧一帧的图像喂给Faster R-CNN或者YOLO跑一遍吗从原理上确实可以这么做但实际效果一定是不尽人意的。原因在于视频天生自带一个静态图像不具备的约束——时间一致性。真实场景下的视频物体很少会突然出现又突然消失位置变化和外观变形在连续帧之间是平滑的。如果你逐帧独立检测最典型的毛病就是漏检和误检在帧间剧烈抖动。比如一个行人被遮挡了两三帧单帧检测器可能就在这几帧里彻底把人弄丢了等再出现时检测框的位置和类别置信度又会跳变。这对下游的任务比如跟踪、行为识别、甚至自动驾驶的规划决策都是致命的。视频目标检测的核心任务就变成了如何在充分利用时序上下文信息的前提下既能保持检测精度又能保证检测结果在帧间的稳定性和一致性。由此衍生出了两大技术流派。第一类叫基于关键帧检测的静态检测法思路是先挑出一部分关键帧用现成的静态检测器去处理然后通过光流或者跟踪算法把这些检测结果传播到相邻的普通帧上。优点是可以直接复用图像检测的成熟技术但缺点是光流传播会累积误差且对快速运动物体的处理效果不理想。第二类就是真正意义上的视频检测器直接设计网络结构去显式建模时序关系比如跨帧的特征聚合、时序图卷积、注意力机制等等。这些模型往往在精度上更有优势但在推理效率和工程复杂度上代价更高。理解了这个分野后面看论文的时候思路就会清晰很多。2. 基于时序传播与特征聚合的经典路线从光流到注意力这个方向算是视频检测的“正统血脉”从早期的光流传播一路演化到如今大行其道的Transformer注意力中间踩过的坑和积累的经验非常多。2.1 光流映射与稀疏传播的老牌思路早期最有代表性的工作是利用光流把关键帧的检测结果传播到其他帧。这里出现了两个名字DFFDeep Feature Flow和FGFAFlow-Guided Feature Aggregation。DFF的思路是每隔几帧做一次完整的检测然后把中间帧的特征通过光流扭曲过来大幅度节省计算量。FGFA则是反过来把多帧的特征全部扭曲到当前帧再做聚合精度更高但计算开销更大。我当时复现DFF的时候印象很深它的最大问题不在网络本身而在光流模块的精度。如果光流估算不准后面的特征扭曲就是错的检测框会跟着飘。后来大家的共识是这种方式适合背景相对固定、物体运动幅度小的视频场景遇到剧烈运动或遮挡误差会迅速累积所以现在的新工作几乎不再走这条老路了。不过DFF和FGFA作为奠基性工作它们提出的“稀疏计算特征补偿”思路至今仍影响着一大批移动端实时检测器。2.2 可变形卷积与稀疏注意力带来的性能跃升光流的局限性促成了可变形卷积在视频检测中的应用。可变形卷积最吸引人的地方在于它不再依赖外部模块去估计运动场而是让网络自己学习特征的位置偏移。曼彻斯特大学和商汤联合提出的STMCNSpatio-Temporal Memory Context Network就是这条路线的代表。STMCN把整个视频看成是由短期记忆和长期记忆组成的上下文流通过可变形卷积在不同帧之间自动对齐特征既避免了光流的误差累积又比纯粹的光流方法更加灵活。它的代码仓库是完整开源的支持训练、测试和多种主干网络的切换。我当时拿它在ImageNet VID数据集上做实验比FGFA的mAP高了将近两个点训练速度还更快——因为不再需要额外预计算光流文件省了很多预处理的时间。2.3 时序Transformer与自适应关系建模当下的主流Transformer火起来之后视频目标检测也顺势切换到了注意力机制的赛道。SELSASequence Level Semantics Aggregation是一个绕不开的里程碑工作。它的核心观点是在视频级别上去聚合语义信息而不是逐帧孤立地做检测。SELSA先把视频分成若干片段对每个片段内的帧提取候选框特征然后用注意力机制去发掘不同帧之间同类物体的语义关联最后用这些聚合后的特征做分类和回归。这个思路的巧妙之处在于它用“类级别”的语义一致性替代了单纯的“像素级别”的对齐对遮挡和剧烈形变有相当强的鲁棒性。SELSA官方仓库提供了基于MMDetection的完整配置代码风格整洁开箱即用。它是很多人切入时序Transformer检测的启蒙之作我自己也在这个框架上二开过不少新模块。在SELSA基础上后来的工作开始进一步细化时序关系的建模方式。MEGAMemory Enhanced Global-Local Aggregation把注意力分成了全局记忆库和局部传播两支全局负责跨帧的长期依赖局部负责短时精炼。这里有一个很值得玩味的细节MEGA在全局记忆库中使用了注意力掩码来限制传播范围避免背景特征被错误地聚合进来。这种“全局局部”的双路设计后来在不少视频检测和跟踪一体化模型里都还能看到影子。3. 从检测扩展到跟踪视频实例分割与管中管检测的多任务融合视频目标检测走到后来很多研究者发现单纯输出一个边界框已经不够用了。真实场景中用户希望知道的不只是“这一帧哪里有物体”而是“这个物体从上一帧到这一帧是不是同一个”也就是检测和跟踪的联合解决。这就是视频实例分割和联合检测跟踪的由来。3.1 MaskTrack R-CNN掩码与嵌入双管齐下MaskTrack R-CNN算是视频实例分割的开山之作它把静态图的Mask R-CNN扩展到了视频域。整个框架内部维持两个并行的分支一个是用于分割的掩码分支另一个是用于跨帧关联的嵌入分支。嵌入分支学习一个高维向量用于衡量两帧中检测到的实例是否是同一个物体。我在自己的项目里试过这个模型它最突出的优点是工程完整度很高官方仓库提供了完整的训练、评估和demo脚本支持在Cityscapes和YouTube-VIS数据集上直接跑。缺点是整个系统比较重推理速度不太理想。这个项目最适合的场景是“离线处理一段视频输出高质量的实例级分割和轨迹”不太适合线上的实时任务。3.2 Tube-Like管道检测与时空Transformer的新解法另一派思路是直接在时空立方体里做检测也就是所谓的tube检测。这类方法不再逐帧独立出框而是预测一条贯穿整个视频片段的“管道”把检测和定位问题统一为一个三维空间的回归问题。代表性工作包括TubeTK和后来的VisTR。VisTRVideo Instance Segmentation Transformer是2021年让我眼前一亮的工作。它用了一套纯Transformer的结构不再依赖卷积主干把整个视频片段的实例分割看成是一个序列预测问题输入一段视频输出一组有序的掩码序列。它依靠端到端的匹配策略直接建立帧与帧之间实例的对应关系训练流程干净利落不需要额外的后处理跟踪模块。VisTR官方仓库基于开源的检测框架实现提供了可复现的训练配置。但说实话它的显存消耗相当惊人我在一台32G的显卡上跑默认配置都差点爆显存所以如果你是个人玩家建议先跑个小分辨率版本体验一下流程再决定是否上全量训练。3.3 Transformer与卷积协同TubeR的工程化探索TubeR是我个人非常偏爱的一个工作它用一种“少查询”的方式做了tube检测的工程化落地。与VisTR的密集预测不同TubeR设计了一组可学习的稀疏查询向量每个查询负责整段视频中的一个实例管道。它还引入了一个联合解码头的设计让分类、回归、掩码生成共享同一套查询特征避免了多任务头之间特征不一致的问题。TubeR的代码仓库是目前视频检测方向里写得最规整的之一配置项非常清晰从数据准备到评估指标都给了完整的脚本。我在自己构建的某个视频检测系统中直接把它当作baseline来用后处理代码几乎没怎么改就接上了。如果你需要一个“开箱即用的视频级检测器”TubeR绝对值得优先尝试。4. 轻量化与全序列建模两篇值得精读的实战派工作前面的工作普遍有一个通病计算量太大难以实时。而轻量化视频检测器恰恰是工业界最需求的方向这里我想仔细聊聊两篇在精度-速度平衡上做得特别好的工作。4.1 RepVLN重复视角聚合与轻量动态网络RepVLN这个工作我是在一篇关于移动端视频检测的技术报告中看到的。它的核心思路很直接视频相邻帧之间大部分信息是冗余的如果每一帧都跑一遍完整网络等于在做大量的重复计算。RepVLN通过对关键帧做粗粒度检测、对普通帧做细粒度特征复用配合一个轻量级的动态网络模块把推理速度提上去了同时又保证了帧间的检测一致性。这个工作的代码仓库不大核心模块可以在半小时内读完。如果你正准备做移动端视频检测的落地这个仓库里的动态计算思路非常值得借鉴——它在设计上没有依赖某个特定数据集或强势的网络结构模块化的程度很高移到自己的项目里基本是无痛的。4.2 TransVOD全序列Transformer的实用化尝试TransVOD把Transformer检测器直接铺到了全视频序列上不再用滑窗式的片段策略而是对整段视频做全局建模。这个模型提出了一个“query铺开”的方法在多个时间步上共享查询向量显式地让网络学习“哪些特征来自同一个物体在不同时刻的表现”。它的实战价值在于对待长视频尤其友好。短片片段式的Transformer方法往往只能看到前后几帧TransVOD则可以从整段视频中收集证据因此在快速运动和长时间遮挡的场景中表现非常稳。仓库里提供了和Static-DETR的对比实验你可以直观看到相同计算量下的性能差异。不过相应地全序列建模对显存的要求也更高内存连续性和batch size的控制需要花些功夫调。5. 测试阶段的时序增强策略不需要改网络也能提升分数这个部分算是我的私藏经验。很多时候我们受限于算力和代码改动成本不想换模型结构但又想提升视频检测的结果。这时候测试阶段的时序增强策略就是性价比最高的手段。具体做法是训练阶段仍然用普通的静态检测器但在推理时把视频相邻帧的特征或检测结果做一个时序协同。常用的有两种方式一种是在NMS阶段引入时序信息比如对不同帧的重叠框做跨帧抑制保留置信度更稳定的框序列另一种是检测后处理阶段做一个短时间的置信度平均把两三帧的分数打平消除帧间抖动。这类技巧在实战中的效果非常明显尤其在遮挡严重的行人检测数据集上mAP可以提升一到两个点而几乎不增加额外计算量。如果你想了解更系统的测试增强方案可以去看MMDetection社区里关于“Temporal RoI”的讨论有不少现成思路可以直接抄。6. 数据集、评估指标与复现路上的常见坑聊完了论文模型再来看看我们日常实验中最常打交道的三样东西数据集、评估指标和复现环境。这部分内容真的很重要因为好多人代码下了几天结果卡在环境搭建上最后不得不放弃。6.1 数据集的选取与预处理视频目标检测最常用的标准数据集是ImageNet VID和YouTube-VIS。ImageNet VID包含30个类别每种类别的视频片段长短不一适合做常规的跟踪式评估YouTube-VIS则是视频实例分割的基准类别覆盖更广但样本量相对较小。选数据集时要根据你的任务类型来定如果只是做框级别的检测和跟踪评估VID足够了如果想追求实例分割效果那YouTube-VIS更合适。预处理阶段最容易踩的坑是帧率不一致。很多开源数据集虽然标注了帧率但实际视频源的帧间隔并不均匀直接用帧序号去关联标注会出问题。我一般习惯在预处理时统一resample到固定帧率并且把每段视频的标注重新生成一遍避免跑到一半发现错位。6.2 mAP计算方式的细节差异视频目标检测的mAP和静态图像检测的mAP有不小的区别。VID数据集的评估标准是既要看单帧的检测精度还要看检测框在时序上的连续性。也就是说如果你在一段视频中检测到了同一个物体但中间漏掉了几帧哪怕单帧AP很高整体mAP也会被拉低。这个细节经常被新手忽略很多人在调模型的单帧精度时花了大把时间结果评估分数纹丝不动。正确的调优方向应该是优先保证检测框在连续帧间的稳定出现其次再优化分类置信度。实践中我会在验证集上画一下每个视频片段的“检出时长占比”这个指标比mAP更能直观反映问题所在。6.3 环境配置与复现心得老实说这批视频检测论文的代码环境维护情况参差不齐。很多老论文用的还是两三年前的库版本和当前的新版本不兼容。这里分享一个降低痛苦的经验尽量使用论文官方仓库自带的环境配置不要盲目升级PyTorch或CUDA版本。我踩过一次大坑为了图省事把某仓库的PyTorch从1.5升到了1.12结果一堆旧API直接报废回头重配环境浪费了一整天。另外视频检测训练比静态检测要慢很多因为输入往往是多帧组成的clip显存占用是单帧的好几倍。个人建议先在Tiny数据集上跑通完整流程确认Loss收敛正常后再切到完整数据训练。这样可以尽早发现代码或数据预处理中的问题避免浪费大量算力。7. 视频目标检测的演进脉络与我的选型建议最后梳理一条逻辑线供大家在做技术选型时参考。早期的方法重“传播”典型代表是DFF和FGFA它们依赖光流和手工特征对齐适合硬件资源受限、对精度要求不高的快速原型中期的方法重“聚合”以STMCN和SELSA为代表开始让网络自己学习跨帧的关联精度上了一个台阶但计算量也随之增加当前和未来的方法重“全局建模”VisTR、TubeR、TransVOD这些Transformer架构的玩家已经可以把整个视频当作一个序列来处理检测和跟踪统一在一个框架下性能上限更高。从实际工程角度我给不同场景的读者一个比较务实的建议路径如果你要快速搭一个视频检测demo先跑通SELSA或MEGA它们在主流框架上的支持最完善复现成本最低。如果你有足够的算力去做一个高精度的离线系统TubeR和VisTR值得深耕特别是TubeR在代码工程化上做过不错的沉淀扩展性很好。如果条件有限想跑轻量级模型可以从RepVLN的动态网络设计里提取一些模块思路自己做一个浅层的时序融合网络。当然现阶段视频检测距离成熟商用还有一段距离尤其在小目标检测、长时遮挡、多目标拥挤场景下这些模型的鲁棒性仍然有待提升。但反过来说这也意味着这个方向还有很多可以深入挖掘的地方。希望这份汇总能帮你快速找到适合自己的切入点少走一些没必要走的弯路。