「干货」计算机视觉视频理解领域的经典方法和最新成果

一、引言与常用数据集

相比图像，视频蕴含着更为丰富的时序信息，如何巧妙利用这些时序线索是视频理解技术的关键。视频理解在安防监控、行为分析等领域大有作为，比如能够替代人工对监控视频进行智能解析。本文将简要梳理近年来视频理解领域的研究进展，并对未来可能的研究方向进行展望。

常用数据集: 包括HMDB-51、UCF-101、Charades、Sports-1M、ActivityNet (v1.3)和Kinetics等，它们分别涵盖了从剪辑过的动作片段到未经剪辑的完整视频等多种类型，为各类方法提供训练和测试基准。

二、经典方法与融合策略

早期的经典方法如DT和iDT通过光流轨迹提取特征，尽管性能出色，但存在维度高、速度慢的问题。随着深度学习的发展，逐帧处理并融合深度特征的方法逐渐兴起。

逐帧处理融合: 这类方法视视频为一系列图像集合，每帧独立提取特征后进行融合，如Karpathy等人提出的多种融合策略，其中3D卷积融合效果最佳。

ConvLSTM: 通过CNN提取每帧特征，再结合LSTM捕捉时序关系，如Ng和Donahue等人提出的网络结构，同时利用了光流输入以增强表达能力。

3D卷积: 直接采用3D卷积捕获连续帧间的运动信息，如C3D、I3D、P3D及ResNet (2+1)D等，虽然能高效处理多帧信息，但也面临参数量大、训练难度高的挑战。

Two-stream架构: Simonyan和Zisserman开创性地提出两分支结构，一个分支处理单帧图像特征，另一个分支处理光流信息，两者结果融合提升识别精度。后续研究如TSN、TDD、ActionVLAD等进一步优化two-stream框架，探索更有效的特征融合方式和稀疏采样策略。

三、其他视频理解任务与未来方向

时序动作定位: 如SCNN、TURN TAP、R-C3D和CDC等方法，尝试在未剪辑视频中定位并分类动作。

异常检测: 如Sultani等人提出的基于回归排序的异常检测算法，在实际监控场景中识别异常事件。

视频摘要与浓缩: 提取关键帧或合并帧以生成视频摘要，服务于快速浏览和检索需求。

看视频说话: 类似于看图说话的任务，使用编码-解码模型生成视频的文字描述。

第一视角视频: 针对自动驾驶、机器人导航等应用，研究如何处理第一视角视频中的动态信息预测。

视频生成: 利用生成式模型来预测视频下一帧内容，实现视频的连贯生成。

目标跟踪: 对视频序列中的目标物体进行持续跟踪，涉及孪生网络、高效卷积操作等相关技术。

可能的未来方向包括：
1. 深入探索多示例学习在视频分析中的应用；
2. 在保证识别精度的同时提高视频处理效率；
3. 研究资源受限环境下的视频分析方法；
4. 构建更大、更通用的数据集以适应不同任务；
5. 尝试整合音频信息辅助视频理解。

4.相关综述文章提供了更多深入探讨与实验研究，如Tran等人关于网络配置和输入选择对性能影响的分析，以及Asadi-Aghbolaghi等人的深度学习在动作与手势识别综述等。

作者简介

张皓：南京大学计算机系机器学习与数据挖掘所（LAMDA）硕士生，专注于计算机视觉、机器学习，特别是视觉识别和深度学习领域。个人主页：goo.gl/N715YT