​

1.本文创新点：

提出了一个CNN,可以同时估计光流和视频中模糊的隐藏帧

为了更好的研究连续帧的特性，在CNN模型中开发了一种时间清晰度。

2.算法介绍：

该算法包含optical flow estimation module, latent image restoration module, temporal sharpness piror.

optical flow estimation module为latent image restoration module提供运动信息，而latent frame restoration module又进一步优化了optical flow estimation module，让它更准确。temporal sharpness prior可以从邻域的帧探索出sharpness pixels，从而更好的进行帧的恢复。所有模型在统一的框架里以端到端的方式统一训练。

optical flow estimation通过PWC-Net进行计算。

 

 

 

Latent frame restoration module用差分模型重建latent frame，用一个deep CNN模型重建latent frame I_i

 

 

用双线性插值计算wraped frames。

temporal sharpness prior module：定义评分标准：

 

 

如果接近1，则像素越清晰，用S来帮助深度神经网络区分一个像素是否清晰，并且帮助latent frame恢复。为了增强S的鲁棒性，定义了D：

 

 

定义latent frame 重建：

 

 

训练方式：用cascaded方式