相机拍摄物体的大致过程为：物体反射（或照射）的光线经过镜头，到达图像传感器，图像传感器把光信号转换为电信号，然后模数转换器件把电荷信号转换成数字信号，数字信号经过放大电路进入微处理器，数字信号经过ISP运算处理之后传输到存储器中存储为图像。 示意图如下：

1. 图像传感器

图像传感器是相机的主要组件之一，对成像质量影响很大。

传感器将从镜头上传导过来的光线转换为电信号，再通过内部的DA转换为数字信号。由于传感器的每个pixel只能感光R光或者B光或者G光，如下图，因此每个像素此时存贮的是单色的，我们称之为RAW DATA。要想将每个像素的RAW DATA还原成三基色，就需要信号处理器ISP来处理。

 图像传感器主要分两种，CCD（charge-coupled device，电荷耦合器件）和CMOS（complementary meta-oxide semiconductor，互补金属氧化物半导体）。CCD传感器成像质量好，图像明锐通透，细节丰富，色彩还原度好，但是成本较高，耗电功率高。CMOS传感器成像质量稍差，但耗电功率较低，成本也比DDC低。当今手机中主要还是采用CMOS传感器。CMOS传感器中集成了模数转换器，CCD传感器没有集成了模数转换器。

 

2. 图像信号处理器

图像信号处理器（Image Signal Processing，ISP）的作用就是对图像传感器传输过来的信号进行运算处理，最终得出经过线性纠正、噪点去除、坏点修补、颜色插值、白平衡校正、曝光校正等处理后的结果。ISP能够在很大程度上决定相机最终的成像质量。

ISP 的主要功能特性包括：

• DEMOSAIC

  DEMOSAIC 是 ISP 的主要功能之一。SENSOR 的像素点上覆盖着 CFA，光线通过 CFA 后照射到像素上。CFA 由 R、G、B 三种颜色的遮光罩组成，每种遮光罩只允许一种颜色通过，因此每个像素输出的信号只包含 R、G、B 三者中的一种颜色信息。SENSOR 输出的这种数据就是 BAYER 数据，即通常所说的 RAW 数据。显而易见，RAW 数据所反映的颜色信息不是真实的颜色信息。DEMOSAIC 就是通过插值算法将将每个像素所代表的真实颜色计算出来。

• FOCUS

  根据光学知识，景物在传感器上成像最清晰时处于合焦平面上。通过更改 LENS 的位置，使得景物在传感器上清晰的成像，是 ISP FOCUS 功能所需要完成的任务。FOCUS 分为手动和自动两种模式。ISP 可以运行 CONTRAST AF、PDAF、LASER AF 等算法实现自动对焦。

• EXPOSURE

  曝光。EXPOSURE 主要影响图像的明暗程度。ISP 需要实现 AE 功能，通过控制曝光程度，使得图像亮度适宜。

• WB

  白平衡。白平衡与色温相关，用于衡量图像的色彩真实性和准确性。ISP需要实现 AWB 功能，力求在各种复杂场景下都能精确的还原物体本来的颜色。

• LSC

  用于消除图像周边和图片中心的不一致性，包含亮度和色度两方面。ISP 需要借助 OTP 中的校准数据完成 LSC 功能。

• GAMMA CORRECTION

  伽玛校正。传感器对光线的响应和人眼对光线的响应是不同的。伽玛校正就是使得图像看起来符合人眼的特性。

• CROP/RESIZE

  图像剪裁，即改变图像的尺寸。可用于输出不同分辨率的图像。

• VRA

  视觉识别。用于识别特定的景物，例如人脸识别，车牌识别。ISP 通过各种 VRA 算法，准确的识别特定的景物。

• DRC

  动态范围校正。动态范围即图像的明暗区间。DRC 可以使得暗处的景物不至于欠曝，而亮处的景物不至于过曝。ISP 需要支持 DRC 功能。

• CSC

  颜色空间转换。例如，ISP 会将 RGB 信号转化为 YUV 信号输出。

• IS

  图像稳定。IS 的主要作用是使得图像不要因为手持时轻微的抖动而模糊不清。IS 有很多种，例如 OIS、DIS、EIS。ISP 可以实现 DIS 和 EIS。

 除了上面提到的功能外，ISP还需要支持 DENOISE、CONTRAST、SATURATION、SHARPNESS 等功能。

 

【参考文献】

手机摄像头的技术结构与原理：http://www.sohu.com/a/229372898_257861

手机摄像头的组成结构与工作原理：https://www.cnblogs.com/straybirds/p/7350535.html

相机系统综述--ISP：https://blog.csdn.net/xiangz_csdn/article/details/53172741