文章转载自https://blog.csdn.net/qazwsxrx/article/details/107131676

(本文参考Maeda, T. et al. (2019) ‘Recent advances in imaging around corners’, arXiv preprint arXiv:1910.05613.总结而来。主要改动是添加了相关文献。更加详细的信息参考原文)

本文主要总结非视距成像研究主要使用的硬件设备，包括下面五类, 分类方法参考文献[1]

1. 条纹相机 + 脉冲激光器

2. 单光子雪崩二极管 + 脉冲激光器

3. 幅度连续调制ToF相机+调制光源

4. 传统相机(CCD/CMOS)

5. 干涉仪

 

1. 条纹相机 + 脉冲激光器

条纹相机是同时具备超高时间分辨与高空间分辨的唯一高端科学测量与诊断仪器——它把时间到来的先后顺序转换成空间进行判断，根据空间位置窥探瞬态过程。

因此，其优点包括：

• 高时间分辨率(ps~fs级，甚至能够达到100 fs)[1]
• 高空间分辨率: 可达0.03 mm

但缺点也很多：

• 价格昂贵(50万RMB+)
• 光子探测效率低；
• 高噪声水平；
• 需要扫描或其他的光学器件

高价格成本和高时间成本导致使用条纹相机的NLOS研究不是很多，主要集中在2015年之前，经典的包括：

Kirmani, A. et al. (2011) ‘Looking around the corner using ultrafast transient imaging’, International journal of computer vision, 95(1), pp. 13–28.

Velten, A. et al. (2012) ‘Recovering three-dimensional shape around a corner using ultrafast time-of-flight imaging’, Nature communications, 3, p. 745.

2. 单光子雪崩二极管 + 脉冲激光器

SPAD是一种具有单光子探测能力的光电探测雪崩二极管。[3]

优点：

• 有成为2D阵列的潜力，从而省去扫描时间，大大提高数据获取速度；
• 光子探测效率高

特点：

• 时间分辨率较高:20-100ps;
• 空间分辨率较高:6-30mm;
• 价格较高(19万RMB左右)

包括SPAD sensor和时间相关单光子计数器两个部分，目前制造商主要是PicoQuant.

可见，SPAD + Pulsed Laser的方法发展前景好，各方面都较好，因此使用SPAD进行3D NLOS imaging的研究非常多，经典的包括：

Buttafava, M. et al. (2015) ‘Non-line-of-sight imaging using a time-gated single photon avalanche diode’, Optics express, 23(16), pp. 20997–21011.

Tsai, C.-Y. et al. (2017) ‘The geometry of first-returning photons for non-line-of-sight imaging’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 7216–7224.

O’Toole, M. et al.(2018) ‘Confocal non-line-of-sight imaging based on the light-cone transform’, Nature, 555(7696), p. 338.

Ahn, B. et al. (2019) ‘Convolutional approximations to the general non-line-of-sight imaging operator’, in The IEEE international conference on computer vision (ICCV).

Lindell, D. B., Wetzstein, G. and O’Toole, M. (2019) ‘Wave-based non-line-of-sight imaging using fast f-k migration’, ACM Trans. Graph. (SIGGRAPH), 38(4), p. 116.

Tsai, C.-Y. et al.(2019) ‘Beyond Volumetric Albedo–A Surface Optimization Framework for Non-Line-Of-Sight Imaging’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1545–1555.

Musarra, G. et al. (2019) ‘Non-line-of-sight 3D imaging with a single-pixel camera’, Phys. Rev. Applied, 12(1), p. 6.

Xin, S. et al. (2019) ‘A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.

Iseringhausen et al.(2020) ‘Non-line-of-sight reconstruction using efficient transient rendering’, ACM Trans. Graph., 39(1).

等

 

3. 幅度连续调制ToF相机+调制光源

优点：

• 成本更低：3万RMB左右

缺点：

• 需要曝光时间长，因此对环境光敏感；

特点：

• 空间分辨率: 1 mm左右

这种相机已经在Microsoft Kinect 和 Photonic Mixer Device (PMD)等上进行了商用。

使用这种设备的研究也不多，但也有几篇比较有影响力，如：

Heide, F. et al. (2014) ‘Diffuse Mirrors: 3D Reconstruction from Diffuse Indirect Illumination Using Inexpensive Time-of-Flight Sensors’, in 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).

Kadambi, A. et al. (2016) ‘Occluded imaging with time-of-flight sensors’, ACM Transactions on Graphics (ToG), 35(2), pp. 1–12.

 

4. 传统相机(CCD/CMOS)

传统相机就是指使用CCD和CMOS阵列的成像设备。

CCD 是指电荷耦合器件，是一种用电荷量表示信号大小，用耦合方式传输信号的探测元件，具有自扫描、感受波谱范围宽、畸变小、体积小、重量轻、系统噪声低、功耗小、寿命长、可靠性高等一系列优点，并可做成集成度非常高的组合件。电荷耦合器件(CCD)是20世纪70年代初发展起来的一种新型半导体器件。CCD广泛应用在数码摄影、天文学，尤其是光学遥测技术、光学与频谱望远镜和高速摄影技术，如Lucky imaging。CCD在摄像机、数码相机和扫描仪中应用广泛，只不过摄像机中使用的是点阵CCD，即包括x、y两个方向用于摄取平面图像，而扫描仪中使用的是线性CCD，它只有x一个方向，y方向扫描由扫描仪的机械装置来完成[4]。

CMOS制造工艺也被应用于制作数码影像器材的感光元件（常见的有CCD和CMOS），尤其C是片幅规格较大的单反数码相机。再透过芯片上的模数转换器（ADC）将获得的影像讯号转变为数字信号输出。

CCD与CMOS图像传感器光电转换的原理相同，他们最主要的差别在于信号的读出过程不同；由于CCD仅有一个（或少数几个）输出节点统一读出，其信号输出的一致性非常好；而CMOS芯片中，每个像素都有各自的信号放大器，各自进行电荷-电压的转换，其信号输出的一致性较差。但是CCD为了读出整幅图像信号，要求输出放大器的信号带宽较宽，而在CMOS 芯片中，每个像元中的放大器的带宽要求较低，大大降低了芯片的功耗，这就是CMOS芯片功耗比CCD要低的主要原因。尽管降低了功耗，但是数以百万的放大器的不一致性却带来了更高的固定噪声，这又是CMOS相对CCD的固有劣势。[5]

传统相机能够测出辐照度，因此能够进行强度和光斑的测量。传统相机一般是不含有ToF信息的，但通过和diffuser结合能够提供被动的ToF信息[6]。

传统相机无疑是所有设备中最便宜的一种。它常常用于passive NLOS imaging，相关论文主要包括：

Tancik, M., Satat, G. and Raskar, R. (2018) ‘Flash photography for data-driven hidden scene recovery’, CoRR, abs/1810.11710.

Aittala, M. et al. (2019) ‘Computational Mirrors: Blind Inverse Light Transport by Deep Matrix Factorization’, in Advances in Neural Information Processing Systems, pp. 14311–14321.

Boger-Lombard, J. and Katz, O. (2019) ‘Passive optical time-of-flight for non line-of-sight localization’, Nature Communications, 10(1), p. 3343.

Saunders, C., et al. (2019) ‘Computational periscopy with an ordinary digital camera’, Nature, 565(7740), pp. 472–475

5. 干涉仪

多个光波之间的干涉能够提供深度信息。

分辨率：um量级；

例如2019CVPR best paper里就通过具有时间和空间上不相干的LED的光学相干断层扫描系统重建出μm量级的硬币[7]。

缺点：

• 仪器敏感、精密，需要控制误差；
• 商业上很难买到。

相关的论文并不多，主要包括：

Willomitzer, F. et al. (2018) ‘Non-line-of-sight imaging using superheterodyne interferometry’, in Imaging and Applied Optics 2018 (3D, AO, AIO, COSI, DH, IS, LACSEA, LS&C, MATH, pcAOP). Optical Society of America (Imaging and Applied Optics 2018 (3D, AO, AIO, COSI, DH, IS, LACSEA, LS&C, MATH, pcAOP)), p. CM2E.1. doi: 10.1364/COSI.2018.CM2E.1.

Xin, S. et al. (2019) ‘A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.(在Femtosecond-scaleexperiments中使用)

 

 

[1]. Maeda, T. et al. (2019) ‘Recent advances in imaging around corners’, arXiv preprint arXiv:1910.05613.

[2]. 条纹照相机_百度百科 (no date). Available at: https://baike.baidu.com/item/%E6%9D%A1%E7%BA%B9%E7%85%A7%E7%9B%B8%E6%9C%BA/17649081 (Accessed: 4 July 2020).

[3].SPAD（单光子雪崩二极管）_百度百科 (no date). Available at: https://baike.baidu.com/item/SPAD/22722258#viewPageContent (Accessed: 4 July 2020).

[4]CCD（电荷耦合元件）_百度百科 (no date). Available at: https://baike.baidu.com/item/CCD/362160 (Accessed: 5 July 2020).

[5]CMOS_百度百科 (no date). Available at: https://baike.baidu.com/item/CMOS#2 (Accessed: 5 July 2020).

[6]Boger-Lombard, J. and Katz, O. (2019) ‘Passive optical time-of-flight for non line-of-sight localization’, Nature Communications, 10(1), p. 3343.

[7]Xin, S. et al. (2019) ‘A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.