本文记录机器视觉硬件学习内容，第二部分：工业相机
本文的主要内容为相机的类型、接口类型及主要参数。
1、相机的分类
相机是机器视觉系统的核心部件，广泛应用于各个领域，尤其是用于生产监控、测量任务和质量控制等。工业数字相机通常比常规的标准数字相机更加坚固耐用。这是因为它们必须能够应对各种复杂多变的外部影响，如应用于高温、高湿、粉尘等恶劣环境。工业相机的分类形式有很多，下图是常见的一些分类方式。下文将详细介绍几种常用类型的工业相机。
2、按成像方式分类：面阵相机和线阵相机
刚接触机器视觉的时候，我想当然的以为面阵相机就是把相机组合排列成面阵，线阵相机就是组合排列成一排，闹了笑话。
面阵相机与线阵相机的区别在于前者是以面为单位进行图像采集，可以直接获得完整的二维图像信息，后者的以“线”为单位，虽然也是二维图形，但长度较长，而宽度却只有几个像素。这是因为线阵相机的传感器只有一行感光元素。虽然面阵相机的像元总数较多，但分布到每一行的像素单元却少于线阵相机，因此面阵相机的分辨率和扫描频率一般低于线阵相机。
由于线阵相机的感光元素呈现“线”状，采集到的图像信息也是线状，为了采集完整的图像信息，往往需要配合扫描运动。如采集匀速直线运动金属、纤维等材料的图像。线阵图像传感器以CCD为主，市场上曾经也出现过一些线阵CMOS图像传感器，但是，线阵CCD仍是主流。目前，陷阵CCD加扫描运动获取图像的方案应用广泛，尤其在要求视场范围大、图像分辨率高的情况下。面阵相机可以用于面积、形状、位置测量或表面质量检测等，直接获取二维图形能一定程度上减少图像处理算法的复杂度。在实际的工程应用当中，需要根据工程需求选择。
3、按输出色彩分类：黑白相机和彩色相机
此部分涉及一些图像处理的理论知识，如果对其感兴趣，可以关注公众号：一刻AI，回复：彩色相机，获取相关论文及资料。
黑白相机和彩色相机很容易理解，输出图像是黑白的就是黑白相机，彩色的就是彩色相机。有人说这不是废话么，确实是废话，不过从原理上来看还是比较有意思的。
先来看简单的黑白相机，当光线照射到感光芯片时，光子信号会转换成电子信号。由于光子的数目与电子的数目成比例，主要统计出电子数目就能形成反应光线强弱的黑白图像。经过相机内部的微处理器处理，输出就是一幅数字图像。在黑白相机中，光的颜色信息是没有被保留的。
实际上CCD是无法区分颜色的，只能感受到信号的强弱。在这种情况下为了采集彩色图像，理论上可以使用分光棱镜将光线分成光学三原色（RGB），接着使用三个CCD去分别感知强弱，最好在综合到一起。这种方案理论上可行，但是采用3个CCD加分光棱镜使得成本骤增。最好的办法是仅使用一个CCD也能输出各种彩色分量。
伊士曼·柯达公司科学家Bryce Bayer发明了拜耳列阵，使得仅使用一个CCD也能输出各种彩色分量。Bayer彩色相机的原理为：如下图所示，一行使用蓝绿元素，下一行使用红绿元素，如此交替。每个像素仅包括了光谱的一部分（R or G or B），必须通过色彩空间插值来还原每个像素的RGB值（文献【1】）。
插值算法有很多，这里介绍：临近插值算法。我们采用3X3的滑窗在上图中滑动取样，可以取到下图中的四种分布。
在（a）与（b）中，R和B分别取邻域的平均值；在（c）与（d）中，取领域的4个B或R的均值作为中间像素的值。
但是人眼对绿光的反应比较敏感，对紫光和红光反应较弱。为了更好的还原画质，依据邻近值对进行自适应插值。
在情况（a）中，中间值R由以下公式决定，即G的值将插值到R上。
图中，如果R1和R3之间的差小于R2和R4之间的差，则表明在垂直方向上相关性较强，我们使用垂直邻近值G1和G3的平均值。水平方向也同理。
在情况（b）中，中间值B由以下公式决定，即G的值将插值到B上。
从彩色相机的成像原理可以看出，色彩值主要通过插值的形式来表述。而在实际应用中，即使最成熟的色彩插值算法也会在图片中产生低通效应。文献【2】对比了彩色相机与黑白相机在相同环境下的成像质量，如下图所示。显然，彩色图像的细节处会出现伪彩色，导致精度降低。 在工业应用中如果我们要处理的是与图像颜色有关，那么我们需要采用彩色相机；如果不是，那么最好选用黑白相机，因为在同样分辨率下，黑白相机的精度高于彩色相机。
3、按图像传感器分类：CCD和CMOS
图像传感器是工业相机的核心元件，主要有CCD和CMOS两种。
CMOS(Complementary Metal Oxide Semiconductor)是互补金属氧化物半导体，CMOS 图像传感器阵面中的每一个像元都是由三个部分组合而成，分别是感光二极管、放大器和读出电路，然而由于每个单元独立输出，这也使得每个放大器的输出结果都不尽相同，所以 CMOS 阵列所获取的图像噪声较大，图像的质量也相对降低，但是，对于一般的精度要求，还是可以满足的。在集成电路领域中，CMOS采用的工艺是最基本的工艺，工艺相对来说不复杂，所以成本也不高，光电灵敏度较高等优点。它的一些性能参数也在不断被优化，应用也越来越广，总体来说，CMOS 的性价比还是较高的。
CCD （Charge-coupled Device）的全名是电荷耦合器件。CCD是一种半导体器件，能够把光学影像转化为数字信号，CCD上植入的微小光敏物质称作像素(Pixel)，一块CCD上包含的像素数越多，其提供的画面分辨率也就越高。CCD提供很好的图像质量、抗噪能力和相机设计时的灵活性。尽管由于增加了外部电路使得系统的尺寸变大，复杂性提高，但在电路设计时可更加灵活，可以尽可能的提升CCD相机的某些特别关注的性能。CCD更适合于对相机性能要求非常高而对成本控制不太严格的应用领域，如天文，高清晰度的医疗X光影像、和其他需要长时间曝光，对图像噪声要求严格的科学应用。
目前，CCD在性能方面还仍然优于CMOS。不过，随着CMOS图像传感器技术的不断进步，在其本身具备的集成性、低功耗、低成本的优势基础上，噪声与敏感度方面有了很大的提升，与CCD传感器差距不断缩小。
4、相机的主要接口类型
IEEE 1394:
- 在工业领域中应用广泛。协议、编码方式都非常不错，传输速度稳定。
- 在工业中，常用的是400Mb的1394A和800Mb的1394B接口。超过800Mb以上的也有，如3.2Gb的，但是比较少见。
- 接口普及率低，早期由苹果垄断，电脑上通常不包含其接口，因此需要额外的采集卡。
- 需要注意一下其PacketSize数据包大小设置。Packet Size是整个1394总线的带宽。
- 占用CPU资源少，可多台同时使用，但由于接口的普及率不高，已慢慢被市场淘汰
GIGE千兆网接口：
- 千兆网协议稳定，使用方便，连接到千兆网卡上即可工作
- 在千兆网卡的属性中，也有与1394中的Packet Size类似的巨帧。设置好此参数，可以达到更理想的效果。（我之前用NI Max的使用因为packet size设置的过大，导致无法软件采集不到图像）
- 传输距离远，可传输100米。
- 可多台同时使用，CPU占用率小。
USB接口：
- 早期的USB2.0接口连接方便，几乎所有电脑都配置USB接口，无需采集卡。
- USB2.0接口传输速率慢，传输过程需要CPU参与管理，占用及消耗资源大。
- USB2.0接口一般没有固定螺丝，接口不稳定，在运动设备上有松动的风险。
- USB3.0在2.0基础上新增了两组数据线，向下兼容，接近了传输速度慢的问题，但传输距离依旧较近。
Camera Link接口：
- 需要单独的CameraLink接口，不便携，导致成本过高。
- Camera Link接口的相机，实际应用中比较少。
- 采用LVDS接口标准，速度较快，抗干扰能力强，功耗低。
- 传输距离近。
5、相机的主要参数
- 分辨率（Resolution）：相机每次采集图像的像素点数（Pixels）。由工业相机所采用的芯片分辨率决定，是芯片靶面排列的像元数量。分辨率影响采集图像的质量，在对同样大的视场（景物范围）成像时，分辨率越高，对细节的展示越明显。
- 像素深度（Pixel Depth）：每位像素数据的位数，常见的是8bit，10bit，12bit。分辨率和像素深度共同决定了图像的大小。例如对于像素深度为8bit的500万像素，则整张图片应该有500万*8/1024/1024=37M。
- 最大帧率（Frame Rate）/行频（Line Rate）：相机采集传输图像的速率，对于面阵相机一般为每秒采集的帧数（FPS），对于线阵相机机为每秒采集的行数（Hz）。
- 曝光方式（Exposure）和快门速度（Shutter）：线阵相机为逐行曝光的方式，可以选择固定行频和外触发同步的采集方式，曝光时间可以与行周期一致，也可以设定一个固定的时间；面阵相机有帧曝光、场曝光和滚动行曝光等几种常见方式，工业数字相机一般都提供外触发采图的功能。快门速度一般可到10微秒，高速相机还可以更快。
- 靶面尺寸：图像传感器的感光部分的大小。 常见的靶面有1/4''、1/3''、1/2''、2/3''、1''等几种，当然也有其他规格。靶面尺寸规格见下表。
以basler的acA2500-14gm - Basler ace相机为例，该相机相机配有 ON Semiconductor MT9P031 CMOS 感光芯片，帧速率为每秒 14 帧图像（14fps），分辨率为500 万像素，靶面尺寸为1/22.5''。
在选型时，按照以下步骤进行：
- 根据需求和成本选择图像传感器型号：CCD还是CMOS；
- 根据目标的要求精度，选择合适的分辨率。对于视野大小为10*10mm的场合，要求精度为0.02mm/pixel，则当方向上分辨率=10/0.02=500。
- 若被测物体为运动物体，需要选择帧数较高的工业相机。
参考文献：
【1】Bayer color conversion and processing
【2】Jeon H G, Lee J Y, Im S, et al. Stereo matching with color and monochrome cameras in low-light conditions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 4086-4094.
【3】胡仁伟. 光滑零件表面缺陷检测系统设计与实现[D]. 电子科技大学, 2018.
欢迎关注公众号：一刻AI