1,CNN是什么?
2, RGB-D是什么?
3,解决的问题是 RGB-D salient object detection
4,解决的问题分为三个层面:
modal-specific representation learning----作者提出:a hierarchical cross-modal distillation scheme
complementary cue selection---作者提出:residual function
cross-modal complement fusion.---作者提出:
CNN神经网络学习(cs231N学习)
5, 背景介绍:
- depth sensors是什么。
- 什么是salient object。
- 什么是modality(模态)
- 深度图的编码方式:三通道输入。
- RGB图结合深度信息可以解决背景和物体颜色相近的挑战问题。
- 前人已经提出很多关于RGB-D的算法。
6,延申:
RGB-D相机:可以获取前景和后景的距离。微软的Kinect系列,intel的realsense系列。
目前的问题:
光滑面反射、半透明物体、深色物体、超出距离。
很多深度值大范围缺失。
深度图补全是一个非常好的研究方向,2018 CVPR提出深度图补全算法。deep depth completetion。
输入: depth 图 + TGB 图
输出: 补全缺失的图
论文:CNN-based RGB-D Salient Object Detection: Learn, Select and Fuse