视频理解基础：时空特征与运动建模
视频理解基础：时空特征与运动建模
视频理解是计算机视觉从静态图像迈向动态世界的核心一步。它不仅要回答“某一帧里有什么”，更要理解“画面如何随时间变化”。本教程面向零基础读者，系统介绍视频理解中最基础的两个支柱：时空特征表示与运动建模。通过掌握这些概念，你将获得分析动作识别、事件检测、视频分割等任务的理论起点。
理解视频数据的特殊之处
视频可以看作一组按时间排列的图像序列，但其信息量远超单张图片的简单叠加。理解视频需要同时处理两个维度的变化：空间维度上的物体外观、纹理、形状，以及时间维度上的运动、变换、节奏。这种“时空二象性”催生了一系列专用方法。
为什么不能用图片模型处理视频
- 丢失时序关系：逐帧独立处理的卷积网络无法获知“挥手”与“握手”在动作顺序上的关键差异。
- 运动线索缺失：光流、轨迹等运动信息是判断动作类型的强信号，纯空间模型无法显式捕获。
- 计算冗余：相邻帧高度相似，若每帧独立提取特征，大量计算被浪费在重复内容上。
时空特征表示
时空特征表示的目标是将一段视频压缩为一个或一组能反映其动态内容的特征向量。根据建模方式的不同，主要分为手工设计特征和深度学习特征两个阶段，但现代方法几乎全部采用可学习范式。
早期经典：时空兴趣点与稠密轨迹
在深度学习兴起之前，研究者通过检测“时空兴趣点”来定位视频中发生显著变化的局部区域。例如 Harris3D 角点 将空间角点检测扩展到时间维，找到(X,Y,T)坐标处强度变化剧烈的点。随后围绕这些点提取 HOG3D（三维方向梯度直方图）或 HOF（光流直方图）等局部描述符。
更为强大的改良稠密轨迹（Improved Dense Trajectories, iDT） 曾长期统治行为识别榜单。它通过密集采样特征点并跟踪其跨帧轨迹，同时沿轨迹提取HOG、HOF、MBH（运动边界直方图）等多种特征，再用费舍尔向量编码。iDT的设计思路显式分离了外观与运动边界，至今仍值得学习。
深度学习时代的时空特征提取器
三维卷积网络（C3D）
二维卷积只在图像的宽度和高度上滑动，三维卷积则额外在时间维度上滑动，卷积核尺寸为 (d \times k \times k)（深度-宽-高）。这使得每一层的输出仍是三维特征图，自然保留了时间动态。C3D是早期代表，但参数量大、计算成本高。
双流网络（Two-Stream）
双流网络提出了一种解耦架构：空间流输入单帧RGB图像，捕捉外观信息；时间流输入堆叠的密集光流帧，专门捕捉运动模式。两路网络各自独立处理，最后在决策层融合。这种“外观+运动”的分解不仅提升准确率，也让网络更具可解释性。
时空分离卷积（(2+1)D 与伪3D）
为了降低3D卷积的复杂度，(2+1)D卷积将三维卷积拆解为串联的二维空间卷积和一维时间卷积。例如 S3D 或 R(2+1)D 模型，效果未见明显下降，参数量却大幅减少。伪3D（如P3D）则在残差块内混合多种时空卷积结构，进一步平衡效率与表达力。
时间位移模块（TSM）
时间位移模块（Temporal Shift Module）提出了一种极其高效的零参数运动建模方式：它将特征图中的一部分通道沿时间维度向前或向后移动，使得当前帧能够“看到”前后帧的特征，从而在2D CNN基础上无计算代价地获得时序推理能力。TSM在移动端和实时应用中备受欢迎。
Transformer与视频自注意
视觉Transformer（ViT）催生了 TimeSformer、Video Swin Transformer 等结构。TimeSformer分别应用空间注意力和时间注意力，让模型学习帧内位置关系和帧间动态关联。Video Swin Transformer则将Swin窗口机制扩展到时空域，兼顾局部归纳偏置和全局感受野。
运动建模
运动建模专注于描述像素或物体随时间的位移，是理解动态场景的基础模块。即使现代端到端网络能隐式学习运动，显式建模运动依然能为模型提供强先验。
光流：瞬时运动的投影
光流估计像素级的瞬时速度矢量，其基本假设是亮度恒定和邻域平滑性。经典方法如 Horn-Schunck 和 Lucas-Kanade 用变分法求解稠密光流。现代深度光流网络（FlowNet、PWC-Net、RAFT）则通过可学习的特征金字塔和迭代求精实现了高效准确的预测。
光流在视频理解中被广泛用作时间流的输入模态，能够为动作识别提供显式的运动边界，减少对纹理变化的依赖。
帧差法与背景减除
最简单的运动指示器是 帧差法：比较连续帧的像素差异。朴素帧差对噪声敏感，通常配合阈值和形态学操作使用。背景减除（如 MOG2、KNN 背景模型）则先建立背景模型，再检测前景运动物体。这些轻量级方法适用于静态摄像机下的目标分离和移动监测。
运动矢量与轨迹
在视频编码标准（如H.264/HEVC）中，运动矢量描述了宏块在帧间的位移，可直接从压缩域提取，避免了完全解码。轨迹建模则关注特征点在长序列中的移动路径，早期通过 KLT 跟踪器实现，现在多用格式化为图或序列的学习模型进行处理。
神经运动场与现代动态重建
近年来，利用神经辐射场和隐式表示，可以从视频中重建出连续的三维运动场。像 NSFF、D-NeRF 等方法不仅能合成新视图，还能输出每一帧的稠密运动信息。虽然这些属于前沿研究方向，但它们表明运动建模正与几何重建深度融合。
特征与运动融合的典型范式
将时空特征与运动信息有效融合，是提升视频理解性能的关键。常见范式包括：
- 早期融合：将RGB帧与光流在通道维度拼接后输入网络，让第一层就感知到运动线索。
- 晚期融合：用独立分支提取外观和运动特征，最后对分类分数或嵌入向量进行平均、拼接或门控融合。
- 多分辨率运动注入：通过侧边连接将不同层次的光流特征注入外观主干的对应层级，帮助网络适应不同速度的运动。
- 自监督运动代理任务：让网络预测帧序、旋转角度或像素变换，以运动为监督信号学习通用视频表征。
实际应用中，常根据任务需求选择融合层级：实时场景偏好TSM或(2+1)D，高精度场景则可能采用双流结合Transformer的架构。
常见问题与入门建议
如何选择输入帧率和采样策略
- 常规动作识别通常采用 16帧或32帧 均匀采样，帧率约15-30fps。
- 对快速动作（如体育）宜取更高帧率，对慢速动作（如日常起居）可适当稀疏采样。
- 动态采用策略如 分段采样（TSN）：将视频平均分段，每段随机取一帧，强制网络关注全局演化。
光流必须用吗
在当前大型视频模型（如 VideoMAE、InternVideo）时代，许多模型仅以RGB为输入就取得极高性能，因为它们通过海量预训练隐式习得了运动模式。但如果你面对小样本任务或需要运动可解释性，光流仍然是重要辅助。
入门实践路径
- 使用 Kinetics-400 或 UCF101 数据集。
- 从 TimeSformer 或 X3D 等开源视频模型开始微调，它们已提供预训练权重。
- 若资源有限，尝试 TSM 配合 MobileNet 主干，可在一块消费级GPU上快速迭代。
- 逐步加入光流分支或运动注意力模块，观察性能变化以理解运动建模的贡献。
总结
视频理解的基础建立在时空特征提取与运动建模的相互作用之上。从手工设计的时空兴趣点到三维卷积、双流结构、Transformer，再到显式的光流与轨迹，每一次演进都在试图更好地回答“画面如何随时间改变”。掌握这些基础概念后，你就可以更加自信地探索动作检测、视频问答、时序动作定位等更复杂的任务，并在实践中体会不同建模选择的差异化优势。