13 MTF与Demosaic

MTF调制传递函数

1. Color filter array：色彩滤镜阵列。
2. Bayer filter：贝尔滤镜。50%绿，25%红，25%蓝。用了Bayer才要用demosaic。

Bayer相当于采样，demosaic相当于重建。

CFA

NIR：近红外

RCCC sensor

采样定理：采样频率要的大于信号最高频率的2倍。一般要保证5~10倍的采样频率。采样定理又叫奈奎斯特定理。

Aliasing：如果不能满足采样定理的信号会重叠。

摩尔纹

Demosaic的步骤：

1. 判断插值的方向；
2. 在判定的方向上进行插值；
3. 后处理。不是必须的。

基础点：

1. Green-based demosaicking
2. Edge-based demosaicking
3. 相关性原理

插值方法：Hamilton and Adams原理。色差恒定法。

demosaic很重要，跟denoise差不多。

难点：

1. 摩尔纹
2. noise：放大噪声。会影响判断。
3. 模糊
4. false color：伪彩色。

思考题：怎么平衡noise和demosaic？

参考

MTF（调制传递函数）_百度百科
https://baike.baidu.com/item/MTF/261610

Optical transfer function - Wikipedia
https://en.wikipedia.org/wiki/Optical_transfer_function

14 色彩空间&色彩重建

三个概念：

1. Color model
2. Color space / color working space
3. Color management：ICC profile

color model

RGB

additive system加性色彩系统

imaging，display，eye

CMYK

subtractive system减性色彩系统

dye，paint，print

RGB和CMYK不是具体的色彩空间。

color space

色彩空间。也是color model，但用准确的量化来描述坐标系，量化范围，白点数据以及非线性转换特性。

设备无关：CIE XYZ， CIE LAB

设备相关：sRGB，Adobe RGB

色彩空间基本元素：

1. 参考白点
2. 几何描述
3. Gamma

显示器默认sRGB？

ICC profile

成像、打印……

加性色彩重建系统的几个重要概念

• Color Gamut色域
• Tone Mapping Function
• Color Balance
• Intensity Resolution

好的色彩重建的基本要求basic principles of good color reproduction

1. 正确映射白色和中性色，灰色
2. 控制彩色
3. 正确映射天空、树叶、肤色
4. 控制contrast和brightness

色彩重建的过程

scene exposure——Optics，filters，and sensor——Correction for offset……

色彩重建的数学表达

• CSC：color space conversion，
• CSM：color space matrix

15 Color Correction Matrix与3D LUT

CCM的目的：将camera rgb色彩空间转换为sRGB色彩空间。

camera_rgb->XYZ->sRGB

CCM的评价标准：

通过CIE LAB色彩空间来计算color error

CIE LAB（1976），1994，2000

注：

1. awb常用HSV？
2. ……

注意事项：

1. 饱和值处理
2. CCM一般在gamma前面（重要！）

计算方法：

1. ……

附加功能：

1. ccm各patch的权重
2. 可以考虑噪声等选项；
3. 可以提高或者降低饱和度。

调试CCM的注意事项：

1. 计算ccm时曝光需要正常。
2. ccm会增强彩噪，在高ISO时需要降低ccm的saturation，甚至关闭ccm模块。
3. gamma变动时

劣势

3D lut基本原理

16 Gamma与对比度增强

gamma是一种数学变换

gamma矫正：输入亮度和输出亮度的非线性变换关系。

scene——sensor——encoding gamma——存储——display gamma——display

为什么要gamma？

1. 微博理论（JND）：人眼对暗区的变化更加敏感。
2. 存储、传输、显示图像的手段是有带宽限制的。

存储的时候把更多的bit分配给暗区。

encoder gamma和display gamma一定是相乘为1吗？不是。

gamma对亮度、色彩的影响：

1. gamma会降低色彩的饱和度（ccm）
2. 不同gamma不同亮度

几种gamma

• srgb gamma
• P3 display

• REC709

• local contrast

• global contrast

动态gamma校正与contrast

直方图分析和AE——场景判断——对比度增强——生成gamma——gamma映射

思考题：

HDR10对于gamma的设计和调试有什么新的需求和变化？

17 Sharpening

锐化

仅次于降噪的一个模块。很难设计

边缘变化更陡峭。

信号=低频+中频+高频+噪声

S=SL+SM+SH+Sn

unsharp masking（USM）

一般算法

• overshoot
• undershoot

filter一般都是高斯滤波器。滤波器决定了最终锐化的频率，对sharpening影响最大。

难点：

• ring effect。光晕控制
• 噪声变大
• aliasing的影响。奈奎斯特频率信号区域增强。增强摩尔纹、锯齿

要增强中高频，而不是低频和奈奎斯特频率。

sharpen会增加MTF值。

注意事项：

1. 针对不同行业，调节不同的overshoot和undershoot，并保证MTF等达到要求。
2. 尽量不要增强噪声。
3. 不能引起Nyquist以上的频率出现artifact。
4. 边缘尽量平整、均匀。
5. sharpening和focus/MTF等互相影响，需要控制好其他变量。

18 CSC/CSM

• CSC：color space conversion
• CSM：color space matrix

sRGB变成编码格式

CSM在硬件ISP中的位置

RGB——CSM：3x3+offset——YCbCr——JPEG或video encoder

• Y=亮度信号（黑白、彩色电视）
• UV=色度信号（彩色电视）
• PAL制：YPbPr
• NTSC制：YIQ
• SECAM：YDbDr
• YCbCr
• BT601
• BT709

JPEG标准里的CSM

Conversion to and from RGB

三不管地带？

19 空域降噪与频域降噪

spatial denoise

噪声类型：

1. 高斯噪声。高斯+possion
2. 椒盐噪声。DBC去掉了。
3. FPN。有专门模块。

空域降噪

加权平均一些相似像素，去得到噪声更小的像素值。

怎么计算两个像素的相似性权重。

三类算法：

1. 局部的线性 ：高斯降噪。
2. ……
3. ……

高斯降噪和像素值无关，和距离有关。

双边滤波，会抹掉小细节，属于smooth领域。

非局部算法，根据图像块的相似性来计算像素的相似性权重。

频域降噪

• 傅里叶降噪
• 小波降噪
• DCT降噪

噪声图像——频域变换——……

小波收缩 软收缩 硬收缩

BM3D，降噪算法，结合了两种优势。计算量大。思想好。

20 时域去噪

是普通的空域噪声，在时间域上会波动。

FIR & IIR filter

FIR，图像上用的多。计算量少。

IIR，视频上用的多。

motion detection：检测当前像素是否移动

motion estimation：求得motion vector

时域降噪核心模块。

1. 像素值差判断，单点或block
2. 光流
3. 时域降噪和encoder。ME

motion compsensation运动补偿

做得不好：

1. 运动当成不运动，有拖影
2. 把不运动误判为运动的，导致噪声消除不干净

fusion

难点：

1. 平衡拖影和降噪效果
2. 在硬件设计中需要平衡带宽和片上mem的关系。帧读入读出消耗很大。
3. 手机中平衡运动补偿和降噪效果。

拖影最难

21 Color Aberrance Correction and Depurple

色散与去紫边。可能是其他颜色。

安防、全景相机比较多

纵向和横向色差

成因：不同波长的光线焦距不同，或者镜头对不同波长光线放大程度不同。

如何矫正CA

ISP：chromatic abberance correction、depurple

dot chart

标定+矫正

类似distortion

拍摄多张点状图——获取点状图每个点的圆心——根据R G B的圆心坐标……

purple finge的其他特定：

1. 出现在边界等对比度高的地方
2. 颜色基本在一定范围内

难点：

1. 硬件设计line buffer很大
2. depurple后饱和度降低，会产生artifact
3. 误检测

CA与demosaic

思考题：为什么demosaic会使CA变大？

22 ISP的统计信息

典型的ISP pipeline

sensor——BLC——Degamma——NR——LSC——WB——demosaic——CCM——gamma——sharpening——CSM——YUV NR/Sharpening

3A统计信息位置

流行的配置

AE统计信息典型举例

计算亮度

AWB

ROI，除了鱼眼镜头

CDAF

很多个格。focus value，luminance

FIR filter，IIR filter

其他

MV

23 自动曝光

AE：auto exposure

不等同于自动亮度控制。

感光度、光圈、快门速度

• sensor analog gain
• sensor digital gain
• ISP digital gain
• exposure time
• integration time：lines

曝光 = ISO x 光圈 x 曝光时间

工业界和学术界对亮度控制界定有区别。

什么是合适的曝光？

• 亮度
• 直方图

曝光误差的量化

色卡22，18%中性灰，反射率122，122，121

3种计算方法

• AE target：均值法

曝光误差=曝光误差22

18% reflection rate hypothesis failure

白加黑减，背景黑白

• 均值法AE的改进：

AE loop，闭环，自动控制

AE program

EV，shutter，aperture，参数值分配表，策略。增加曝光，晚上加大光圈，白天减慢快门

flickering reduction

50Hz光源，频闪

24 自动白平衡

AWB

为什么要做白平衡？

在不同光源下白色物体成像在sensor上

• CCT——10000K，艳阳天的阴影下
• 7000K，阴天
• 5000K，大晴天
• 3000K，钨丝灯
• 2000K，烛光

R G B各不同，需要乘以gain。人眼看R G B等值。

怎么算RGB gain？

手动计算gain

需要找到白吗？

不需要：

• 灰世界：最简单。大部分场景合适。
• 完美反射
• color gamut maximization
• ……

要：

• 白点法
• 白块法
• 灰边法
• ……

需要校准吗？

怎么找到白？

• 早期的白点法
• 改进白点法
• 现在普遍应用的加权白点法
• 统计加权白点法

思考题：基于校准白平衡方法与不基于校准的方法优缺点？