1. 光流法

首先，简单回顾下什么是光流估计。对于相邻的前后两帧图像x和y, 光流估计的目标是估计出y中每个像素点与在图像x上对应点的偏移量。我们讨论的是二维图像，所以这里的对于每个像素的偏移量由大小和方向表示。

如上图所示，左下角估计出的光流图像，色调表示偏移量的方向，色调的强度代表偏移量的大小。传统的光流估计法以LK光流法为代表, LK光流法主要由三个假设和利用最小二乘法求解每个像素点的偏移量(大小和方向)构成。其中三个假设为：

• 亮度恒定(建立等式)
• 相邻帧为小位移(能够进行泰勒级数展开)
• 局部小块具有运动一致性(每个像素点存在两个变量，但只有一个方程，所以需要假设多个像素点的偏移量一致，联立多个方程进行最小二乘法求解一致的偏移量)

具体公式见维基百科LK光流法

2. FlowNet

FlowNet利用CNN进行端到端的学习， 没有LK光流法那么多约束，通过数据驱动。损失函数为EPE(EndPoint Error)，也就是每个像素点预测的向量与gt光流向量的欧式距离。

FlowNet主要贡献点是如何构建有效的网络结构能够更有效。最简单的想法可以将两帧输入图像直接concate一起，组成W*H*6的输入，然后直接通过CNN，回归光流向量。这种方法显然能够行通，但可能不够有效。FlowNet通过引入Correlation Layer设计Siamese网络结构，可以简化学习的难度，训练得到更优的效果。

2.1 网络结构

• 上图为FlowNet最简单的形式FlowNetSimple，即将两张输入图片在RGB输入通道上cocate， 后面为常规的全卷积Encoder-Decoder结构，上采样过程利用对应Encode中的特征、Upsample的特征、不同分辨率下预测的光流图，具体结构如下图所示：

• 另外一种结构即为FlowNet中定义的Correlation Layer，Correlation Layer的定义为取上支路特征图上的某一个patch(实际上只取了一个像素点，1*1*c的特征)，在下支路对应位置的邻域位置上进行卷积(21*21的窗口)，所以最后经过correlation layer后的特征大小为w*h*441(其中441=21*21)， 后面的Refinement与FlowNetS是一样的。

但是在实际的试验中，FlowNetCorr的泛化能力反而不如最简单的FlowNetSimple，作者认为并不是FlowNetCorr结构不好，只是训练数据量不够。作者认为FlowNetCorr比FlowNetSimple的拟合能力更强。另一方面，FlowNetCorr中定义了卷积的窗口为21*21, 导致网路对于大的偏移量的效果不好。

另外还有一点值得注意的是训练数据，现有光流的训练数据远远不够用来训练，作者通过生成大量合成的数据构建了几万对pair， 对物体做仿射变换相当于前景运动，对背景做仿射变换相当于摄像头的移动。

3. FlowNet2.0

FlowNet2.0在FlowNet的基础上，扩充了训练数据，训练更多的step进行学习率衰减。通过堆叠模型取得state-of-the-art的结果。具体结构如下：

3.1 网络结构

在网络结构的改进主要以下几点：

• 通过堆叠FlowNetC和FlowNetS(2个)进行refinement，称为FlowNet-CSS，在这里用FlowNetC作为第一层，而把FlowNetS放在后面的原因在于，后面的输入比较多，不能简单地使用Siamese地结构，所以FlowNetS在后面堆叠
• FlowNet-CSS用于应对大偏移(Large DisplaceMent)的样本对，对于小偏移(Small Displacement)。作者从两方面解决：
  • 数据： 生成小偏移的训练数据
  • 模型： 将大的kenel 卷积换成多个小的kernel卷积，在Upsample的时候，加入更多卷积，使得输出更平滑，来应对Small Displacement。
• 最后用几层卷积Fusion两个分支的结果

Reference

1. FlowNet: Learning Optical Flow with Convolutional Networks(ICCV 2015)
2. Flownet 2.0: Evolution of optical flow estimation with deep networks (ICCV 2017)
3. FlowNet到FlowNet2.0：基于卷积神经网络的光流预测算法
4. FlowTrack跟踪算法