基础概念
人眼的结构
- 有三层薄膜包围着眼睛：角膜与巩膜外壳、脉络膜和视网膜
- 脉络膜位于巩膜正下方，包含有血管网，是眼睛的重要的滋养源
- 脉络膜的最前面是睫状体和虹膜，虹膜的收缩和扩张控制值进入眼睛的光亮
- 视网膜有两类感光器，分别是锥状体和杆状体
- 锥状体位于视网膜的中间部分，称之为*凹，且对颜色高度敏感。锥状体视觉称为亮视觉或白昼视觉。
- 杆状体的数量更多。没有彩色感觉，而对低照明度敏感，分布在*凹旁边。杆状体视觉称为暗视觉或微光视觉。
- 亮度适应现象：视觉系统不能同时在一个范围内工作。视觉系统的当前灵敏度级别称为亮度适应级别。
图像形成模型
f ( x , y ) = i ( x , y ) r ( x , y ) f(x,y)=i(x,y)r(x,y) f(x,y)=i(x,y)r(x,y)
i ( x , y ) i(x,y) i(x,y):入射分量，取决于照射源
r ( x , y ) r(x,y) r(x,y):反射分量，0是全吸收，1是全反射，取决于成像物体的新组织
图像的取样和量化
- 对坐标值进行数字化称为取样，对幅值数字化称为量化
- 数字图像的质量在很大程度上取决于取样和量化中所用的样本数和灰度级
- 由一副图像的坐标张成的实平面部分称为空间域，x和y称为空间变量或空间坐标
- 图像矩阵中每一个元素称为图像单元、图像元素或像素
- 数字图像的原点位于左上角，x轴向下，y轴向右
- 动态范围定义为系统中最大可度量灰度和最小可检测灰度之比。上限取决于饱和度，下限取决于噪声。定义最高和最低灰度间的灰度差为对比度。
- 空间分辨率：图像中可辨别的最小细节的度量。一般为每单位距离线对数和每单位距离点数，dpi（每英寸点数）
- 灰度分辨率：灰度级中可分辨的最小变化
- 等偏爱曲线：对于有大量细节的图像，可能只需哟较少的灰度级
- 图像内插：最近邻内插法（最邻近的灰度）、双线性内插（ v ( x , y ) = a x + b y + c x y + d v(x,y)=ax+by+cxy+d v(x,y)=ax+by+cxy+d，参数由邻近的四个点决定）、双三次内插（ v ( x , y ) = ∑ i = 0 3 ∑ j = 0 3 a i j x i y j v(x,y)=\sum_{i=0}^3\sum_{j=0}^3a_{ij}x^iy^j v(x,y)=∑i=03∑j=03aijxiyj，参数由邻近的16个点决定）
像素间的基本关系
相邻像素
| 名称 | 符号 |
|---|---|
| 4领域 | N 4 ( p ) N_4(p) N4(p) |
| 对角相邻 | N D ( p ) N_D(p) ND(p) |
| 8领域 | N 8 ( p ) N_8(p) N8(p) |
邻接性
V是用语定义邻接性的灰度值集合
| 邻接类型 | 邻接条件 |
|---|---|
| 4邻接 | p 、 q ∈ V & q ∈ N 4 ( p ) p、q \in V \ \& q \in N_4(p) p、q∈V &q∈N4(p) |
| 8邻接 | p 、 q ∈ V & q ∈ N 8 ( p ) p、q \in V \ \& q \in N_8(p) p、q∈V &q∈N8(p) |
| m邻接 | q ∈ N 4 ( p ) q \in N_4(p) q∈N4(p)或 q ∈ N D ( p ) & N 4 ( p ) ⋂ N 4 ( q ) ⋂ V = ∅ q \in N_D(p)\ \& \ N_4(p) \bigcap N_4(q) \bigcap V= \emptyset q∈ND(p) & N4(p)⋂N4(q)⋂V=∅ |
- 区域的边界是该区域中至少有一个背景邻点的集合
- 如果一个像素子集S的全部像素之间存在一个通路，则可以说两个像素p和q在S中是连通的。对于S中的任何像素p，S中连通到该像素的像素集称为S的连通分量。
距离
| 类型 | 名称 |
|---|---|
| D e ( p , q ) = ( x − s ) 2 + ( y − t ) 2 D_e(p,q) = \sqrt{(x-s)^2+(y-t)^2} De(p,q)=(x−s)2+(y−t)2 | 欧几里得距离 |
| $D_4(p,q) = | x-s |
| $D_8(p,q) = max( | x-s |
空间操作
- 单像素操作： s = T ( z ) s=T(z) s=T(z)
- 领域操作
- 几何空间变换和图像配准
- 坐标的空间变换,灰度内插， ( x , y ) = T ( v , w ) (x,y)=T{(v,w)} (x,y)=T(v,w)
- 图像配准：使用约束点
仿射变换
[ x y 1 ] = [ v w 1 ] T = [ v w 1 ] [ t 11 t 12 0 t 21 t 22 0 t 31 t 32 1 ] [x \ \ \ y \ \ \ 1] = [v \ \ \ w \ \ \ 1]T=[v \ \ \ w \ \ \ 1] \begin{bmatrix} t_{11}&t_{12}&0\\ t_{21}&t_{22}&0\\ t_{31}&t_{32}&1\\ \end{bmatrix} [x y 1]=[v w 1]T=[v w 1]⎣⎡t11t21t31t12t22t32001⎦⎤
| 变换名称 | 仿射矩阵T | 坐标公式 |
|---|---|---|
| 恒等变换 | [ 1 0 0 0 1 0 0 0 1 ] \begin{bmatrix}1&0&0\\0&1&0\\0&0&1\\\end{bmatrix} ⎣⎡100010001⎦⎤ | x = v y = w x=v \\ y =w x=vy=w |
| 尺度变换 | [ c x 0 0 0 c y 0 0 0 1 ] \begin{bmatrix}c_x&0&0\\0&c_y&0\\0&0&1\\\end{bmatrix} ⎣⎡cx000cy0001⎦⎤ | x = c x v y = c y w x=c_xv\\y=c_yw x=cxvy=cyw |
| 旋转变换 | [ c o s θ s i n θ 0 − s i n θ c o s θ 0 0 0 1 ] \begin{bmatrix}cos \theta&sin \theta&0\\-sin \theta&cos \theta&0\\0&0&1\\\end{bmatrix} ⎣⎡cosθ−sinθ0sinθcosθ0001⎦⎤ | x = v c o s θ − w s i n θ y = v s i n θ + w c o s θ x=vcos\theta-wsin\theta\\y=vsin\theta+wcos\theta x=vcosθ−wsinθy=vsinθ+wcosθ |
| 平移变换 | [ 1 0 0 0 1 0 t x t y 1 ] \begin{bmatrix}1&0&0\\0&1&0\\t_x&t_y&1\\\end{bmatrix} ⎣⎡10tx01ty001⎦⎤ | x = v + t x y = w + t y x=v+t_x \\ y = w+t_y x=v+txy=w+ty |
| (垂直)偏移变换 | [ 1 0 0 s v 1 0 0 0 1 ] \begin{bmatrix}1&0&0\\s_v&1&0\\0&0&1\\\end{bmatrix} ⎣⎡1sv0010001⎦⎤ | x = v s v + w y = w x=vs_v+w \\ y = w x=vsv+wy=w |
| (水平)偏移变换 | [ 1 s h 0 0 1 0 0 0 1 ] \begin{bmatrix}1&s_h&0\\0&1&0\\0&0&1\\\end{bmatrix} ⎣⎡100sh10001⎦⎤ | x = v y = s h v + w x=v \\ y = s_hv+w x=vy=shv+w |
灰度变换与空间滤波
灰度变换
灰度变换函数 s = T ( r ) s=T(r) s=T(r)，r，s分别代表处理前后的像素值
| 变换类型 | 定义 | 描述 |
|---|---|---|
| 图像反转 | s = L − 1 − r s=L-1-r s=L−1−r | 反转一幅图像的灰度值，可得到等效的照片底片 |
| 对数变换 | s = c log ( 1 + r ) s=c\log(1+r) s=clog(1+r) | 图像灰度级的扩展/压缩 |
| 幂律(伽马)变换 | s = c r γ s=cr^\gamma s=crγ | 伽马校正：用于校正幂律响应现象 |
| 分段线性变换函数 | 对比度拉伸、灰度级分层、比特平面分层 |
直方图处理
若一幅图像的像素倾向于占据整个可能的灰度级并且分布均匀，则该图像会有高对比度的外观并展示灰色调的较大变换
PDF：概率密度函数
CDF：累积分布函数
直方图均衡
希望一副图像的像素占有全部可能的灰度级且分布均匀，能够具有高对比度。使用的基本方法是灰度变换。增加像素灰度值的动态范围从而达到增强图像整体对比度的效果
s
=
T
(
r
)
=
(
L
−
1
)
∫
0
r
p
r
(
w
)
d
w
(连续)
s=T(r)=(L-1)\int_0^rp_r(w)dw \tag{连续}
s=T(r)=(L−1)∫0rpr(w)dw(连续)
s k = T ( r k ) = ( L − 1 ) ∑ j = 0 k p r ( r j ) = 1 M N ∑ j = 0 k n j (离散) s_k=T(r_k)=(L-1)\sum_{j=0}^k p_r(r_j)=\frac{1}{MN}\sum_{j=0}^k n_j \tag{离散} sk=T(rk)=(L−1)j=0∑kpr(rj)=MN1j=0∑knj(离散)
直方图规定化（匹配）
用于产生处理后有特殊直方图的方法称为直方图匹配或直方图规定化
连续
- 由输入图像得到
p
r
(
r
)
p_r(r)
pr(r),并由公式
s
=
T
(
r
)
=
(
L
−
1
)
∫
0
r
p
r
(
w
)
d
w
s=T(r)=(L-1)\int_0^rp_r(w)dw
s=T(r)=(L−1)∫0rpr(w)dw求得
s的值 - 使用公式 G ( z ) = ( L − 1 ) ∫ 0 z p z ( t ) d t = s G(z)=(L-1)\int_0^zp_z(t)dt=s G(z)=(L−1)∫0zpz(t)dt=s中指定的 P D F PDF PDF求得变换函数 G ( z ) G(z) G(z)
- 求得 z = G − 1 ( s ) z=G^{-1}(s) z=G−1(s)
- 首先使用直方图均衡公式，对输入图形进行均衡得到输出图像；该图像的像素值是s。对均衡后的图像中具有s值的每个像素执行反映射 z = G − 1 ( s ) z=G^{-1}(s) z=G−1(s),得到输出图像中的相应像素。这样输出图像的PDF将等于指定的PDF
离散
- 计算给定图像的直方图 p r ( r ) p_r(r) pr(r),并用它寻找公式 s k = T ( r k ) = ( L − 1 ) ∑ j = 0 k p r ( r j ) = 1 M N ∑ j = 0 k n j s_k=T(r_k)=(L-1)\sum_{j=0}^k p_r(r_j)=\frac{1}{MN}\sum_{j=0}^k n_j sk=T(rk)=(L−1)∑j=0kpr(rj)=MN1∑j=0knj的直方图均衡变换。把 s k s_k sk四舍五入为范围[0,L-1]内的整数
- 用公式 G ( z q ) = ( L − 1 ) ∑ i = 0 q p z ( z i ) G(z_q)=(L-1)\sum_{i=0}^q p_z(z_i) G(zq)=(L−1)∑i=0qpz(zi)对 q = 0 , 1 , 2 , . . . , L − 1 q=0,1,2,...,L-1 q=0,1,2,...,L−1计算变换函数G的所有值。把G的结果四舍五入为范围[0,L-1]内的整数，将G的值存储在一个表中
- 对每一个值
s
k
,
k
=
0
,
1
,
2
,
.
.
.
L
−
1
s_k,k=0,1,2,...L-1
sk,k=0,1,2,...L−1,使用
2中存储的G值寻找相应的 z q z_q zq,存储对应关系。 - 首先对输入图像进行均衡，然后使用步骤
3找到的映射把该图像中的每个均衡后的像素值 s k s_k sk映射为直方图该订花后的图像中相信 z q z_q zq值，形成直方图规定化后的图像。，
局部直方图处理
使用3X3的领域，不断移动领域中心，根据领域的数值，对中心点进行直方图均衡处理。
在图像增强中使用直方图统计
直接从直方图获得的统计参数可用于图像增强
空间滤波
空间滤波机理
一个大小为
m
×
n
m \times n
m×n的滤波器的相关操作
w
(
x
,
y
)
∗
f
(
x
,
y
)
=
g
(
x
,
y
)
=
∑
s
=
−
a
a
∑
t
=
−
b
b
w
(
s
,
t
)
f
(
x
+
s
,
y
+
t
)
=
w
T
z
w(x,y)*f(x,y)=g(x,y)=\sum_{s=-a}^a\sum_{t=-b}^bw(s,t)f(x+s,y+t)=\pmb w^Tz
w(x,y)∗f(x,y)=g(x,y)=s=−a∑at=−b∑bw(s,t)f(x+s,y+t)=wwwTz
一个 m × n m \times n m×n模板应该有等于 1 / m n 1/mn 1/mn的归一化常数。
空间相关与卷积
| 方面 | 相关 | 卷积 |
|---|---|---|
| 定义 | 滤波器模板移过图像并计算每个位置乘积之和的处理 | 滤波器模板旋转180°后，移过图像并计算每个位置乘积之和的处理 |
| 公式 | ∑ s = − a a ∑ t = − b b w ( s , t ) f ( x + s , y + t ) \sum_{s=-a}^a\sum_{t=-b}^bw(s,t)f(x+s,y+t) ∑s=−aa∑t=−bbw(s,t)f(x+s,y+t) | ∑ s = − a a ∑ t = − b b w ( s , t ) f ( x − s , y − t ) \sum_{s=-a}^a\sum_{t=-b}^bw(s,t)f(x-s,y-t) ∑s=−aa∑t=−bbw(s,t)f(x−s,y−t) |
| 单位冲激 | 一个函数与离散单位冲激相关，在该冲激位置产生这个函数的一个翻转的版本 | 一个函数与离散单位冲激卷积在该冲激位置产生这个函数的拷贝 |
如果滤波器模板是对称的，相关和卷积将得到相同的结果
平滑空间滤波器
作用
- 模糊处理
- 去除图像中一些不重要的细节
- 桥接直线或曲线的缝隙
- 减小噪声
分类
- 线性滤波器
- 均值滤波器
- 非线性滤波器
- 最大值滤波器、中值滤波器、最小值滤波器
平滑线性(均值)滤波器
- 主要应用是去除图像中的不相关细节
- 减小图像灰度的“尖锐”变化，减小噪声
- 由于图像边缘是图像灰度尖锐变化引起的，所以也存在边缘模糊的问题
g ( x , y ) = ∑ s = − a a ∑ t = − b b w ( s , t ) f ( x + s , y + t ) ∑ s = − a a ∑ t = − b b w ( s , t ) g(x,y)=\frac{\sum_{s=-a}^a\sum_{t=-b}^bw(s,t)f(x+s,y+t)}{\sum_{s=-a}^a\sum_{t=-b}^bw(s,t)} g(x,y)=∑s=−aa∑t=−bbw(s,t)∑s=−aa∑t=−bbw(s,t)f(x+s,y+t)
1 9 [ 1 1 1 1 1 1 1 1 1 ] 1 16 [ 1 2 1 2 4 2 1 2 1 ] \frac19 \begin{bmatrix}1&1&1\\1&1&1\\1&1&1\\\end{bmatrix} \\ \frac1{16} \begin{bmatrix}1&2&1\\2&4&2\\1&2&1\\\end{bmatrix} 91⎣⎡111111111⎦⎤161⎣⎡121242121⎦⎤
统计排序(非线性)滤波器
统计排序滤波器是一种非线性空间滤波器，这种滤波器的响应以滤波器保卫的图像区域中所包含的像素的排序为基础。然后使用统计排序结果决定的值代替中心像素的值。
- 中值滤波器：去除椒盐噪声
- 最大值滤波器：寻找最亮点
- 最小值滤波器：寻找最暗点
锐化空间滤波器
- 突出图像中的细节，增强被模糊了的细节
用途：
- 印刷中细微层次强调，弥补扫描图像的钝化
- 超声探测成像。分辨率低，边缘模糊，通过锐化来改善
- 图像识别中，分割前的边缘提取
- 锐化处理恢复过度钝化、曝光不足的图像
- 尖端武器的目标识别、定位
数字微分基础
∂ f ∂ x = f ( x + 1 ) − f ( x ) \frac{\partial f}{\partial x}=f(x+1)-f(x) ∂x∂f=f(x+1)−f(x)
∂ 2 f ∂ x 2 = f ( x + 1 ) + f ( x − 1 ) − 2 f ( x ) \frac{\partial ^2f}{\partial x^2}=f(x+1)+f(x-1)-2f(x) ∂x2∂2f=f(x+1)+f(x−1)−2f(x)
二阶微分在增强细节方面比一阶微分要好得多。
使用二阶微分进行图像锐化—拉普拉斯算子
各项同性滤波器：这种滤波器的响应与滤波器作用的图像的突变方向无关。是旋转不变的。
∇
2
f
=
∂
2
f
∂
x
2
+
∂
2
f
∂
y
2
(拉普拉斯算子)
\nabla^2f=\frac{\partial ^2f}{\partial x^2}+\frac{\partial ^2f}{\partial y^2} \tag{拉普拉斯算子}
∇2f=∂x2∂2f+∂y2∂2f(拉普拉斯算子)
∇ 2 f ( x , y ) = f ( x + 1 , y ) + f ( x − 1 , y ) + f ( x , y + 1 ) + f ( x , y − 1 ) − 4 f ( x , y ) \nabla^2f(x,y)=f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y) ∇2f(x,y)=f(x+1,y)+f(x−1,y)+f(x,y+1)+f(x,y−1)−4f(x,y)
[ 0 1 0 1 − 4 1 0 1 0 ] [ 0 − 1 0 − 1 4 − 1 0 − 1 0 ] (90度增量) \begin{bmatrix}0&1&0\\1&-4&1\\0&1&0\\\end{bmatrix} \begin{bmatrix}0&-1&0\\-1&4&-1\\0&-1&0\\\end{bmatrix} \tag{90度增量} ⎣⎡0101−41010⎦⎤⎣⎡0−10−14−10−10⎦⎤(90度增量)
[ 1 1 1 1 − 8 1 1 1 1 ] [ − 1 − 1 − 1 − 1 8 − 1 − 1 − 1 − 1 ] (45度增量) \begin{bmatrix}1&1&1\\1&-8&1\\1&1&1\\\end{bmatrix} \begin{bmatrix}-1&-1&-1\\-1&8&-1\\-1&-1&-1\\\end{bmatrix} \tag{45度增量} ⎣⎡1111−81111⎦⎤⎣⎡−1−1−1−18−1−1−1−1⎦⎤(45度增量)
g ( x , y ) = f ( x , y ) + c [ ∇ 2 f ( x , y ) ] (如果中心系数是负数，则c=-1) g(x,y)=f(x,y)+c[\nabla^2f(x,y)]\tag{如果中心系数是负数，则c=-1} g(x,y)=f(x,y)+c[∇2f(x,y)](如果中心系数是负数，则c=-1)
非锐化掩蔽和高提升滤波
处理过程是从原图像中减去一副非锐化（平滑处理过的）版本。
- 模糊原有图像
- 从原有图像减去模糊图像（产生的差值图像称为模板）
- 将模板加到原图像上
g m a s k ( x , y ) = f ( x , y ) − f ‾ ( x , y ) g_{mask}(x,y)=f(x,y)-\overline{f}(x,y) gmask(x,y)=f(x,y)−f(x,y)
g ( x , y ) = f ( x , y ) + k ∗ g m a s k ( x , y ) g(x,y)=f(x,y)+k*g_{mask}(x,y) g(x,y)=f(x,y)+k∗gmask(x,y)
当k=1是，我们得到上面定义的非锐化掩蔽。当k>1时，该处理为高提升滤波。选择k<1则不强调非锐化模板的贡献
使用一阶微分对(非线性)图像锐化—梯度
增强缺陷并消除慢变化背景的特性
∇
f
≡
g
r
a
d
(
f
)
≡
[
g
x
g
y
]
=
[
∂
f
∂
x
∂
f
∂
y
]
\nabla f \equiv grad(f) \equiv \begin{bmatrix}g_x\\g_y\\\end{bmatrix} =\begin{bmatrix}\frac{\partial f}{\partial x}\\\frac{\partial f}{\partial y}\\\end{bmatrix}
∇f≡grad(f)≡[gxgy]=[∂x∂f∂y∂f]
梯度指出了在位置
(
x
,
y
)
(x,y)
(x,y)处f的最大变化率的方向
M为梯度图像
M
(
x
,
y
)
=
m
a
g
(
∇
f
)
=
g
x
2
+
g
y
2
≈
∣
g
x
∣
+
∣
g
y
∣
M(x,y)=mag(\nabla f)=\sqrt{g_x^2+g_y^2} \approx |g_x|+|g_y|
M(x,y)=mag(∇f)=gx2+gy2
≈∣gx∣+∣gy∣
梯度向量是线性算子，不具有各向同性；向量的幅度不是线性算子，是旋转不变的
| 梯度算子模板 | 模板定义 |
|---|---|
robert罗伯特交叉梯度算子 |
[ − 1 0 0 1 ] [ 0 − 1 1 0 ] \begin{bmatrix}-1&0\\0&1\\\end{bmatrix} \begin{bmatrix}0&-1\\1&0\\\end{bmatrix} [−1001][01−10] |
sobel算子 |
[ − 1 − 2 − 1 0 0 0 1 2 1 ] [ − 1 0 1 − 2 0 2 − 1 0 1 ] \begin{bmatrix}-1&-2&-1\\0&0&0\\1&2&1\\\end{bmatrix} \begin{bmatrix}-1&0&1\\-2&0&2\\-1&0&1\\\end{bmatrix} ⎣⎡−101−202−101⎦⎤⎣⎡−1−2−1000121⎦⎤ |
模板中的系数之和为0，表明灰度恒定区域的响应为0
混合空间增强法
频率域滤波
基本概念
- 复数
C = R + j I = ∣ C ∣ ( cos θ + j sin θ ) = ∣ C ∣ e j θ C=R+jI=|C|(\cos \theta +j \sin\theta) = |C|e^{j\theta} C=R+jI=∣C∣(cosθ+jsinθ)=∣C∣ejθ
- 傅里叶级数
f ( t ) = ∑ n = − ∞ ∞ c n e j 2 π n T t c n = 1 T ∫ − T 2 T 2 f ( t ) e j 2 π n T t d t , n = 0 , 1 , − 1 , 2 , − 2 , . . . f(t)=\sum_{n = -\infty}^\infty c_ne^{j\frac{2\pi n}{T}t}\\ c_n=\frac1T\int_{-\frac{T}2}^{\frac{T}2}f(t)e^{j\frac{2\pi n}{T}t}dt,n=0,1,-1,2,-2,... f(t)=n=−∞∑∞cnejT2πntcn=T1∫−2T2Tf(t)ejT2πntdt,n=0,1,−1,2,−2,...
- 冲激及其采样特性
| 连续 | 离散 | |
|---|---|---|
| 定义 | δ ( t ) = { ∞ , t = 0 0 , t ≠ 0 \delta(t) = \begin{cases}\infty, &t=0\\0,&t \neq 0\end{cases} δ(t)={∞,0,t=0t=0 | δ ( x ) = { 1 , x = 0 0 , x ≠ 0 \delta(x) = \begin{cases}1, &x=0\\0,&x \neq 0\end{cases} δ(x)={1,0,x=0x=0 |
| 性质 | ∫ − ∞ ∞ δ ( t ) d t = 1 \int_{-\infty}^{\infty}\delta(t)dt=1 ∫−∞∞δ(t)dt=1 | ∑ x = − ∞ ∞ δ ( x ) = 1 \sum_{x=-\infty}^{\infty}\delta(x)=1 ∑x=−∞∞δ(x)=1 |
| 取样 | ∫ − ∞ ∞ f ( t ) δ ( t ) d t = f ( 0 ) \int_{-\infty}^{\infty}f(t)\delta(t)dt=f(0) ∫−∞∞f(t)δ(t)dt=f(0) | ∑ x = − ∞ ∞ f ( x ) δ ( x ) = f ( 0 ) \sum_{x=-\infty}^{\infty}f(x)\delta(x)=f(0) ∑x=−∞∞f(x)δ(x)=f(0) |
| 取样 | ∫ − ∞ ∞ f ( t ) δ ( t − t 0 ) d t = f ( t 0 ) \int_{-\infty}^{\infty}f(t)\delta(t-t_0)dt=f(t_0) ∫−∞∞f(t)δ(t−t0)dt=f(t0) | ∑ x = − ∞ ∞ f ( x ) δ ( x − x 0 ) = f ( x 0 ) \sum_{x=-\infty}^{\infty}f(x)\delta(x-x_0)=f(x_0) ∑x=−∞∞f(x)δ(x−x0)=f(x0) |
s Δ T ( t ) = ∑ n = − ∞ ∞ δ ( t − n Δ T ) (冲激串) s_{\Delta T}(t)=\sum_{n=-\infty}^{\infty}\delta(t-n\Delta T)\tag{冲激串} sΔT(t)=n=−∞∑∞δ(t−nΔT)(冲激串)
- 连续变量函数的傅里叶变换
F ( u ) = ∫ − ∞ ∞ f ( t ) e − j 2 π μ t d t f ( t ) = ∫ ∞ ∞ F ( μ ) e j 2 π μ t d μ F(u) = \int_{-\infty}^{\infty}f(t)e^{-j2\pi \mu t}dt\\ f(t)=\int_{\infty}^{\infty}F(\mu)e^{j2\pi \mu t}d \mu F(u)=∫−∞∞f(t)e−j2πμtdtf(t)=∫∞∞F(μ)ej2πμtdμ
| 原函数 | 傅里叶变换 |
|---|---|
| δ ( t ) \delta(t) δ(t) | 1 1 1 |
| δ ( t − t 0 ) \delta(t-t_0) δ(t−t0) | e − j 2 π μ t 0 e^{-j2\pi \mu t_0} e−j2πμt0 |
| f ( t ) = A , t ∈ [ − W / 2 , W / 2 ] , e l s e = 0 f(t)=A ,t\in[-W/2,W/2],else=0 f(t)=A,t∈[−W/2,W/2],else=0 | A W s i n ( π μ W ) π μ W = A W s i n c ( μ W ) AW\frac{sin(\pi \mu W)}{\pi \mu W}=AWsinc(\mu W) AWπμWsin(πμW)=AWsinc(μW) |
| s Δ T ( t ) s_{\Delta T}(t) sΔT(t) | 1 Δ T ∑ − ∞ ∞ δ ( μ − n Δ T ) \frac{1}{\Delta T}\sum_{-\infty}^{\infty}\delta(\mu-\frac{n}{\Delta T}) ΔT1∑−∞∞δ(μ−ΔTn) |
- 卷积
f ( t ) ∗ h ( t ) = ∫ − ∞ ∞ f ( τ ) h ( t − τ ) d τ f(t)*h(t)=\int_{-\infty}^{\infty}f(\tau)h(t-\tau)d\tau f(t)∗h(t)=∫−∞∞f(τ)h(t−τ)dτ
- 卷积定理
f ( t ) ∗ h ( t ) ⟺ H ( μ ) F ( μ ) f ( t ) h ( t ) ⟺ H ( μ ) ∗ F ( μ ) f(t)*h(t) \iff H(\mu)F(\mu)\\ f(t)h(t) \iff H(\mu)*F(\mu) f(t)∗h(t)⟺H(μ)F(μ)f(t)h(t)⟺H(μ)∗F(μ)
取样
- 取样
f ~ ( t ) = f ( t ) s Δ T ( t ) = ∑ n = − ∞ ∞ f ( t ) δ ( t − n Δ T ) f k = ∫ − ∞ ∞ f ( t ) δ ( t − k Δ T ) d t = f ( k Δ T ) \tilde{f}(t)=f(t)s_{\Delta T}(t) = \sum_{n=-\infty}^{\infty}f(t)\delta(t-n\Delta T)\\ f_k=\int_{-\infty}^{\infty}f(t)\delta(t-k\Delta T)dt=f(k\Delta T) f~(t)=f(t)sΔT(t)=n=−∞∑∞f(t)δ(t−nΔT)fk=∫−∞∞f(t)δ(t−kΔT)dt=f(kΔT)
- 取样函数的傅里叶变换
F ~ ( μ ) = 1 Δ T ∑ n = − ∞ ∞ F ( μ − n Δ T ) \tilde{F}(\mu) = \frac{1}{\Delta T}\sum_{n=-\infty}^{\infty}F(\mu-\frac{n}{\Delta T}) F~(μ)=ΔT1n=−∞∑∞F(μ−ΔTn)
- 取样定理
1 Δ T > 2 μ m a x \frac{1}{\Delta T}>2 \mu_{max} ΔT1>2μmax
带限函数：以原点为中心的有限区间 [ − μ m a x , μ m a x ] [-\mu_{max},\mu_{max}] [−μmax,μmax]之外的频率值，其傅里叶变换为零的 f ( t ) f(t) f(t)称为带限函数
取样定理：如果以超过函数最高频率的两倍的取样率（奈奎斯特取样率）来获得样本，连续的带限函数可以完全的从它的样本集来恢复。
-
混淆
由函数欠取样导致函数无法恢复的效果就是频率混淆，简称混淆
-
由取样后的数据重建函数
f ( t ) = ∑ − ∞ ∞ f ( n Δ T ) s i n c [ ( t − n Δ T ) / Δ T ] , s i n c ( m ) = s i n ( π m ) π m f(t)=\sum_{-\infty}^{\infty}f(n\Delta T)sinc[(t-n\Delta T)/\Delta T],sinc(m)=\frac{sin(\pi m)}{\pi m} f(t)=−∞∑∞f(nΔT)sinc[(t−nΔT)/ΔT],sinc(m)=πmsin(πm)
单变量的离散傅里叶变换对(DFT)
由取样后的函数的连续变换得到DFT
F ( μ ) = ∑ x = 0 M − 1 f ( x ) e − j 2 π μ x / M f ( x ) = 1 M ∑ μ = 0 M − 1 F ( μ ) e j 2 π μ x / M F(\mu) = \sum_{x=0}^{M-1}f(x)e^{-j2\pi \mu x/M} \\ f(x) = \frac1M\sum_{\mu = 0}^{M-1}F(\mu)e^{j2\pi \mu x /M} F(μ)=x=0∑M−1f(x)e−j2πμx/Mf(x)=M1μ=0∑M−1F(μ)ej2πμx/M
μ = m M Δ T \mu = \frac{m}{M\Delta T} μ=MΔTm
f ( x ) ∗ h ( x ) = ∑ m = 0 M − 1 f ( m ) h ( x − m ) f(x)*h(x) = \sum_{m=0}^{M-1}f(m)h(x-m) f(x)∗h(x)=m=0∑M−1f(m)h(x−m)
取样和频率间隔间的关系
如果 f ( x ) f(x) f(x)由函数 f ( t ) f(t) f(t)以 Δ T \Delta T ΔT为单位间隔取样后的M个样本组成，
- 则采样时间是
T = M Δ T T=M\Delta T T=MΔT
- 离散频率域中的相应间隔 Δ u \Delta u Δu
Δ u = 1 M Δ T = 1 T \Delta u = \frac{1}{M\Delta T}=\frac1T Δu=MΔT1=T1
- DEF的整个M个分量跨越的整个频率范围是
Ω = M Δ u = 1 Δ T \Omega = M \Delta u = \frac1{\Delta T} Ω=MΔu=ΔT1
两个变量的函数扩展
二维冲激及其取样特性
| 连续 | 离散 | |
|---|---|---|
| 定义 | δ ( t , z ) = { ∞ , t = z = 0 0 , 其 他 \delta(t,z) = \begin{cases}\infty, &t=z=0\\0,&其他\end{cases} δ(t,z)={∞,0,t=z=0其他 | δ ( x , y ) = { 1 , x = y = 0 0 , 其 他 \delta(x,y) = \begin{cases}1, &x=y=0\\0,&其他\end{cases} δ(x,y)={1,0,x=y=0其他 |
| 性质 | ∫ − ∞ ∞ ∫ − ∞ ∞ δ ( t , z ) d t d z = 1 \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\delta(t,z)dt\ dz=1 ∫−∞∞∫−∞∞δ(t,z)dt dz=1 | ∑ x = − ∞ ∞ ∑ y = − ∞ ∞ δ ( x , y ) = 1 \sum_{x=-\infty}^{\infty} \sum_{y=-\infty}^{\infty}\delta(x,y)=1 ∑x=−∞∞∑y=−∞∞δ(x,y)=1 |
| 取样 | ∫ − ∞ ∞ ∫ − ∞ ∞ f ( t , z ) δ ( t , z ) d t d z = f ( 0 , 0 ) \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f(t,z)\delta(t,z)dt\ dz=f(0,0) ∫−∞∞∫−∞∞f(t,z)δ(t,z)dt dz=f(0,0) | ∑ x = − ∞ ∞ ∑ y = − ∞ ∞ f ( x , y ) δ ( x , y ) = f ( 0 , 0 ) \sum_{x=-\infty}^{\infty} \sum_{y=-\infty}^{\infty}f(x,y)\delta(x,y)=f(0,0) ∑x=−∞∞∑y=−∞∞f(x,y)δ(x,y)=f(0,0) |
| 取样 | ∫ − ∞ ∞ ∫ − ∞ ∞ f ( t , z ) δ ( t − t 0 , z − z 0 ) d t d z = f ( t 0 , z 0 ) \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f(t,z)\delta(t-t_0,z-z_0)dt\ dz=f(t_0,z_0) ∫−∞∞∫−∞∞f(t,z)δ(t−t0,z−z0)dt dz=f(t0,z0)$ | ∑ x = − ∞ ∞ ∑ y = − ∞ ∞ f ( x , y ) δ ( x − x 0 , y − y 0 ) = f ( x 0 , y 0 ) \sum_{x=-\infty}^{\infty} \sum_{y=-\infty}^{\infty}f(x,y)\delta(x-x_0,y-y_0)=f(x_0,y_0) ∑x=−∞∞∑y=−∞∞f(x,y)δ(x−x0,y−y0)=f(x0,y0) |
二维连续傅里叶变换对
F ( μ , v ) = ∫ − ∞ ∞ ∫ − ∞ ∞ f ( t , z ) e − j 2 π ( μ t + v z ) d t d t d z f ( t , z ) = ∫ − ∞ ∞ ∫ − ∞ ∞ F ( μ , v ) e j 2 π ( μ t + v z ) d μ d v F(\mu ,v)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f(t,z)e^{-j2\pi (\mu t+vz)dt }dt\ dz \\ f(t,z)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}F(\mu,v)e^{j2\pi (\mu t+vz)}d\mu\ dv F(μ,v)=∫−∞∞∫−∞∞f(t,z)e−j2π(μt+vz)dtdt dzf(t,z)=∫−∞∞∫−∞∞F(μ,v)ej2π(μt+vz)dμ dv
二维取样和二维取样定理
s Δ T Δ Z ( t , z ) = ∑ m = − ∞ ∞ ∑ n = − ∞ ∞ δ ( t − m Δ T , t − n Δ Z ) (二维冲激串) s_{\Delta T \Delta Z}(t,z)=\sum_{m=-\infty}^{\infty}\sum_{n=-\infty}^{\infty}\delta(t-m\Delta T,t-n\Delta Z)\tag{二维冲激串} sΔTΔZ(t,z)=m=−∞∑∞n=−∞∑∞δ(t−mΔT,t−nΔZ)(二维冲激串)
1 Δ T > 2 μ m a x & 1 Δ Z > 2 v m a x (二维取样定理) \frac{1}{\Delta T}>2 \mu_{max} \ \ \& \ \ \ \frac{1}{\Delta Z}>2v_{max} \tag{二维取样定理} ΔT1>2μmax & ΔZ1>2vmax(二维取样定理)
图像中的混淆
放大图像-过采样
缩小图像-欠采样
锯齿：处理具有很强边缘内容的图像时，混淆的影响看起来就像是块状图像分量
莫尔波纹：使用周期或近似周期分量对场景取样产生的
二维离散傅里叶及其反变换
F ( u , v ) = ∑ x = 0 M − 1 ∑ y = 0 N − 1 f ( x , y ) e − j 2 π ( u x / M + v y / N ) f ( x , y ) = 1 M N ∑ u = 0 M − 1 ∑ v = 0 n − 1 F ( u , v ) e j 2 π ( u x / M + v y / N ) F(u,v) = \sum_{x=0}^{M-1} \sum_{y=0}^{N-1} f(x,y) e^{-j2\pi (ux/M+vy/N)} \\ f(x,y)=\frac1{MN} \sum_{u=0}^{M-1} \sum_{v=0}^{n-1} F(u,v)e^{j2\pi(ux/M+vy/N)} F(u,v)=x=0∑M−1y=0∑N−1f(x,y)e−j2π(ux/M+vy/N)f(x,y)=MN1u=0∑M−1v=0∑n−1F(u,v)ej2π(ux/M+vy/N)
二维离散傅里叶变换的一些性质
基本性质
| 性质 | 说明 |
|---|---|
| 空间和频率间隔的关系 | Δ u = 1 M Δ T , Δ v = 1 N Δ Z \Delta u = \frac1{M\Delta T},\Delta v = \frac1{N \Delta Z} Δu=MΔT1,Δv=NΔZ1 |
| 平移 | f ( x , y ) e j 2 π ( u 0 x / M + v 0 y / N ) ⟺ F ( u − u 0 , v − v 0 ) f(x,y)e^{j2\pi(u_0x/M+v_0y/N)} \iff F(u-u_0,v-v_0) f(x,y)ej2π(u0x/M+v0y/N)⟺F(u−u0,v−v0) |
| $f(x-x_0,y-y_0)\iff F(u,v)e^{-j2\pi(x_0u/M+y_0v/N)} $ | |
| 旋转 | f ( r , θ + θ 0 ) ⟺ F ( ω , φ + φ 0 ) f(r,\theta+\theta_0) \iff F(\omega,\varphi+\varphi_0) f(r,θ+θ0)⟺F(ω,φ+φ0) |
| 周期性 | F ( u , v ) = F ( u + k 1 M , v + k 2 N ) , f = ( x + k 1 M , y + k 2 N ) F(u,v)=F(u+k_1M,v+k_2N),f=(x+k_1M,y+k_2N) F(u,v)=F(u+k1M,v+k2N),f=(x+k1M,y+k2N) |
| f ( x , y ) ( − 1 ) x + y ⟺ F ( u − M / 2 , v − N / 2 ) f(x,y)(-1)^{x+y} \iff F(u-M/2,v-N/2) f(x,y)(−1)x+y⟺F(u−M/2,v−N/2) |
对称性
w e ( x , y ) = w e ( M − x , N − y ) w o ( x , y ) = − w o ( M − x , N − y ) w_e(x,y)= w_e(M-x,N-y) \\ w_o(x,y) = -w_o(M-x,N-y) we(x,y)=we(M−x,N−y)wo(x,y)=−wo(M−x,N−y)
| 空间域 | 频率域 |
|---|---|
| f ( x , y ) f(x,y) f(x,y)实 | F ∗ ( u , v ) = F ( − u , − v ) F^*(u,v)=F(-u,-v) F∗(u,v)=F(−u,−v) |
| f ( x , y ) f(x,y) f(x,y)虚 | F ∗ ( u , v ) = − F ( − u , − v ) F^*(u,v)=-F(-u,-v) F∗(u,v)=−F(−u,−v) |
| f ( x , y ) f(x,y) f(x,y)实 | 实部偶，虚部奇 |
| f ( x , y ) f(x,y) f(x,y)虚 | 实部奇，虚部偶 |
| f ( − x , − y ) f(-x,-y) f(−x,−y)实 | F ∗ ( u , v ) F^*(u,v) F∗(u,v)复 |
| f ( − x , − y ) f(-x,-y) f(−x,−y)复 | F ( − u , − v ) F(-u,-v) F(−u,−v)复 |
| f ∗ ( x , y ) f^*(x,y) f∗(x,y)复 | F ∗ ( − u , − v ) F^*(-u,-v) F∗(−u,−v)复 |
| f ( x , y ) f(x,y) f(x,y)实偶 | F ( u , v ) F(u,v) F(u,v)实偶 |
| f ( x , y ) f(x,y) f(x,y)实奇 | F ( u , v ) F(u,v) F(u,v)虚奇 |
| f ( x , y ) f(x,y) f(x,y)虚偶 | F ( u , v ) F(u,v) F(u,v)虚偶 |
| f ( x , y ) f(x,y) f(x,y)虚奇 | F ( u , v ) F(u,v) F(u,v)实奇 |
| f ( x , y ) f(x,y) f(x,y)复偶 | F ( u , v ) F(u,v) F(u,v)复偶 |
| f ( x , y ) f(x,y) f(x,y)复奇 | F ( u , v ) F(u,v) F(u,v)复奇 |
傅里叶谱和相角
| 性质 | 定义 |
|---|---|
| DFT的极坐标表示 | $F(u,v)= |
| 傅里叶谱(频谱) | $ |
| 相角 | ϕ ( u , v ) = a r c t a n [ I ( u , v ) R ( u , v ) ] \phi(u,v)=arctan[\frac{I(u,v)}{R(u,v)}] ϕ(u,v)=arctan[R(u,v)I(u,v)] |
| 功率谱 | $P(u,v)= |
| 将原点移动到矩阵中心 | F ( 0 , 0 ) = M N f ‾ ( x , y ) F(0,0)=MN \overline{f}(x,y) F(0,0)=MNf(x,y) |
二维卷积定理
f ( x , y ) ∗ h ( x , y ) = ∑ x = 0 M − 1 ∑ y = 0 N − 1 f ( m , n ) h ( x − m , y − n ) f(x,y)*h(x,y)=\sum_{x=0}^{M-1} \sum_{y=0}^{N-1} f(m,n)h(x-m,y-n) f(x,y)∗h(x,y)=x=0∑M−1y=0∑N−1f(m,n)h(x−m,y−n)
f ( x , y ) ∗ h ( x , y ) ⟺ F ( u , v ) H ( u , v ) f ( x , y ) h ( x , y ) ⟺ F ( u , v ) ∗ H ( u , v ) f(x,y)*h(x,y) \iff F(u,v)H(u,v)\\ f(x,y)h(x,y) \iff F(u,v)*H(u,v) f(x,y)∗h(x,y)⟺F(u,v)H(u,v)f(x,y)h(x,y)⟺F(u,v)∗H(u,v)
为了避免缠绕，
f
(
x
,
y
)
f(x,y)
f(x,y)是
A
×
B
A \times B
A×B的矩阵图像，
h
(
x
,
y
)
h(x,y)
h(x,y)是
C
×
D
C \times D
C×D的矩阵图像，进行0填充
f
p
(
x
,
y
)
=
{
f
(
x
,
y
)
,
0
≤
x
≤
A
−
1
,
0
≤
y
≤
B
−
1
0
A
≤
x
≤
P
或
B
≤
y
≤
Q
h
p
(
x
,
y
)
=
{
h
(
x
,
y
)
,
0
≤
x
≤
C
−
1
,
0
≤
y
≤
D
−
1
0
C
≤
x
≤
P
或
D
≤
y
≤
Q
P
≥
A
+
C
−
1
Q
≥
B
+
D
−
1
f_p(x,y)= \begin{cases} f(x,y), & 0 \leq x \leq A-1,0 \leq y \leq B-1 \\ 0 &A \leq x\leq P 或 B \leq y \leq Q \end{cases} \\ h_p(x,y)= \begin{cases} h(x,y), & 0 \leq x \leq C-1,0 \leq y \leq D-1 \\ 0 &C \leq x\leq P 或 D \leq y \leq Q \end{cases} \\ P \geq A+C-1\\ Q \geq B+D-1
fp(x,y)={f(x,y),00≤x≤A−1,0≤y≤B−1A≤x≤P或B≤y≤Qhp(x,y)={h(x,y),00≤x≤C−1,0≤y≤D−1C≤x≤P或D≤y≤QP≥A+C−1Q≥B+D−1
小结
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pUQ3DN81-1623667053688)(D:\QQ文档\1661463472\FileRecv\MobileFile\5ff3ce77-0b72-4e28-9a56-e9c6974dcdf7.jpg)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JZPjIw6n-1623667053690)(C:\Users\95622\Desktop\3.jpg)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4Fgz2MYP-1623667053691)(C:\Users\95622\Desktop\5.jpg)]
频域滤波基础
变换最慢的频率分量与图像的平均灰度成正比
等同地影响实部和虚部而不影响相位的滤波器称为零相移滤波器。
- 给定一副大小为
M
×
N
M \times N
M×N的输入图像
f
(
x
,
y
)
f(x,y)
f(x,y),根据公式获取填充参数
P和Q。典型的，我们选择P=2M和Q=2N - 对 f ( x , y ) f(x,y) f(x,y)添加必要数量的0，形成带下为 P × Q P \times Q P×Q的填充后的图像 f p ( x , y ) f_p(x,y) fp(x,y)
- 用 ( − 1 ) x + y (-1)^{x+y} (−1)x+y乘以 f p ( x , y ) f_p(x,y) fp(x,y)移到其变换的中心
- 计算上一步图像的
DFT,得到 F ( u , v ) F(u,v) F(u,v) - 生成一个实的、对称的滤波函数 H ( u , v ) H(u,v) H(u,v),其大小为 P × Q P \times Q P×Q,中心在 ( P / 2 , Q / 2 ) (P/2,Q/2) (P/2,Q/2)处。用阵列相乘形成乘积 G ( u , v ) = H ( u , v ) F ( u , v ) G(u,v)=H(u,v)F(u,v) G(u,v)=H(u,v)F(u,v)
- 得到处理后的图像 g p ( x , y ) = { r e a l [ I D F T [ G ( x , y ) ] ] } ( − 1 ) x + y g_p(x,y)=\{\ real\ [\ IDFT[G(x,y)\ ]\ ]\ \}(-1)^{x+y} gp(x,y)={ real [ IDFT[G(x,y) ] ] }(−1)x+y
- 通过从 g p ( x , y ) g_p(x,y) gp(x,y)的左上象限提取 M × N M \times N M×N区域，得到最终处理结果
使用频率域滤波器平滑图像
| 理想低通滤波器ILPF | H ( u , v ) = { 1 , D ( u , v ) ≤ D 0 0 , D ( u , v > D 0 H(u,v)=\begin{cases}1, &D(u,v) \leq D_0\\ 0,&D(u,v>D_0\end{cases} H(u,v)={1,0,D(u,v)≤D0D(u,v>D0 | 会产生较为严重的模糊和振铃特性 |
| 布特沃斯低通滤波器BLPF | H ( u , v ) = 1 1 + [ D ( u , v ) / D 0 ] 2 n H(u,v)=\frac1{1+[D(u,v)/D_0]^{2n}} H(u,v)=1+[D(u,v)/D0]2n1 | 当n较小时，振铃现象几乎没有 |
| 高斯低通滤波器GLPF | H ( u , v ) = e − D 2 ( u , v ) / 2 D 0 2 H(u,v)=e^{-D^2(u,v)/2D_0^2} H(u,v)=e−D2(u,v)/2D02 | 没有振铃现象，平滑效果比BLPF差一点 |
使用频率滤波器锐化图像
| 理想低通滤波器IHPF | H ( u , v ) = { 0 , D ( u , v ) ≤ D 0 1 , D ( u , v > D 0 H(u,v)=\begin{cases}0, &D(u,v) \leq D_0\\ 1,&D(u,v>D_0\end{cases} H(u,v)={0,1,D(u,v)≤D0D(u,v>D0 | 会产生较为严重的振铃特性 |
| 布特沃斯低通滤波器BHPF | H ( u , v ) = 1 1 + [ D 0 / D ( u , v ) ] 2 n H(u,v)=\frac1{1+[D_0/D(u,v)]^{2n}} H(u,v)=1+[D0/D(u,v)]2n1 | 当n较小时，振铃现象几乎没有 |
| 高斯低通滤波器GHPF | H ( u , v ) = 1 − e − D 2 ( u , v ) / 2 D 0 2 H(u,v)=1-e^{-D^2(u,v)/2D_0^2} H(u,v)=1−e−D2(u,v)/2D02 | 没有振铃现象，平滑效果更好 |
- 频率域的拉普拉斯算子
H ( u , v ) = − 4 π 2 D 2 ( u , v ) ∇ 2 f ( x , y ) = ξ − 1 { H ( u , v ) F ( u , v ) } g ( x , y ) = f ( x , y ) + c ∇ 2 f ( x , y ) H(u,v)=-4 \pi^2D^2(u,v) \\ \nabla^2f(x,y) = \xi^{-1}\{H(u,v)F(u,v)\} \\ g(x,y) = f(x,y)+ c \nabla^2f(x,y) H(u,v)=−4π2D2(u,v)∇2f(x,y)=ξ−1{H(u,v)F(u,v)}g(x,y)=f(x,y)+c∇2f(x,y)
- 钝化模板、高提升滤波图像锐化技术
g ( x , y ) = ξ − 1 { [ k 1 + k 2 ∗ H H P ( u , v ) ] F ( u , v ) } (k1>0,控制原点的偏移量，k2代表高频的贡献) g(x,y) = \xi^{-1}\{[k_1+k_2*H_{HP}(u,v)]F(u,v)\}\tag{k1>0,控制原点的偏移量，k2代表高频的贡献} g(x,y)=ξ−1{[k1+k2∗HHP(u,v)]F(u,v)}(k1>0,控制原点的偏移量，k2代表高频的贡献)
- 同态滤波
同时压缩灰度范围和增强对比度来改善一副图像的表现
图像的照射分量通常由慢的空间变化来表征，而反射分量往往引起突变，特别是在不同物体的连接部分。这些特征导致图像取对数后的傅里变换的低频成分与照射相关、高频成分与反射相关
g
(
x
,
y
)
=
e
i
′
(
x
,
y
)
e
r
′
(
x
,
y
)
i
′
(
x
,
y
)
=
ξ
−
1
{
H
(
u
,
v
)
F
i
(
u
,
v
)
}
r
′
(
x
,
y
)
=
ξ
−
1
{
H
(
u
,
v
)
F
r
(
u
,
v
)
}
H
(
u
,
v
)
=
(
γ
H
−
γ
L
)
[
1
−
d
−
c
[
D
2
(
u
,
v
)
/
D
0
2
]
]
+
γ
L
γ
L
<
1
且
γ
H
>
1
，
滤
波
器
将
趋
向
于
衰
减
低
频
(
入
射
)
的
贡
献
，
增
强
高
频
(
反
射
)
的
贡
献
c
掌
握
函
数
坡
度
的
锐
利
度
，
在
γ
L
和
γ
H
之
间
过
渡
g(x,y) = e^{i^\prime(x,y)}e^{r^\prime(x,y)}\\ i^\prime(x,y) = \xi^{-1}\{H(u,v)F_i(u,v)\}\\ r^\prime(x,y) = \xi^{-1}\{H(u,v)F_r(u,v)\}\\ H(u,v)=(\gamma_H-\gamma_L)[1-d^{-c[D^2(u,v)/D_0^2]}]+\gamma_L\\ \gamma_L<1且\gamma_H>1，滤波器将趋向于衰减低频(入射)的贡献，增强高频(反射)的贡献 \\c掌握函数坡度的锐利度，在\gamma_L和\gamma_H之间过渡
g(x,y)=ei′(x,y)er′(x,y)i′(x,y)=ξ−1{H(u,v)Fi(u,v)}r′(x,y)=ξ−1{H(u,v)Fr(u,v)}H(u,v)=(γH−γL)[1−d−c[D2(u,v)/D02]]+γLγL<1且γH>1，滤波器将趋向于衰减低频(入射)的贡献，增强高频(反射)的贡献c掌握函数坡度的锐利度，在γL和γH之间过渡
选择性滤波
带阻滤波器和带通滤波器
处理指定的频段
| 带阻滤波器（低通的变体） | 带通滤波器（高通的变体） | |
|---|---|---|
| 理想 | H ( u , v ) = { 0 , D 0 − W 2 ≤ D ≤ D 0 + W 2 , 其 他 H(u,v)=\begin{cases}0, &D_0-\frac W2 \leq D \leq D_0+\frac W2\\,&其他\end{cases} H(u,v)={0,,D0−2W≤D≤D0+2W其他 | H ( u , v ) = { 1 , D 0 − W 2 ≤ D ≤ D 0 + W 2 0 , 其 他 H(u,v)=\begin{cases}1, &D_0-\frac W2 \leq D \leq D_0+\frac W2\\0,&其他\end{cases} H(u,v)={1,0,D0−2W≤D≤D0+2W其他 |
| 布特沃斯 | H ( u , v ) = 1 1 + [ D W D 2 − D 0 2 ] 2 n H(u,v)=\frac1{1+[\frac{DW}{D^2-D_0^2}]^{2n}} H(u,v)=1+[D2−D02DW]2n1 | H ( u , v ) = 1 1 + [ D 2 − D 0 2 D W ] 2 n H(u,v)=\frac1{1+[\frac{D^2-D_0^2}{DW}]^{2n}} H(u,v)=1+[DWD2−D02]2n1 |
| 高斯 | H ( u , v ) = 1 − e − [ D 2 − D 0 2 D W ] H(u,v)=1-e^{-[\frac{D^2-D_0^2}{DW}]} H(u,v)=1−e−[DWD2−D02] | H ( u , v ) = e − [ D 2 − D 0 2 D W ] H(u,v)=e^{-[\frac{D^2-D_0^2}{DW}]} H(u,v)=e−[DWD2−D02] |
限波滤波器
拒绝或通过事先定义的关于频率矩形中心的一个领域的频率,
带阻滤波器的带宽很窄时，就可以看作是一个限波滤波器
实现
二维DFT的可分性
F ( u , v ) = ∑ x = 0 M − 1 ∑ y = 0 N − 1 f ( x , y ) e − j 2 π ( u x / M + v y / N ) = ∑ x = 0 M − 1 F ( x , y ) e − j 2 π u x / M , F ( x , y ) = ∑ y = 0 N − 1 f ( x , y ) e − j 2 π v y / N F(u,v) = \sum_{x=0}^{M-1} \sum_{y=0}^{N-1} f(x,y) e^{-j2\pi (ux/M+vy/N)}= \sum_{x=0}^{M-1}F(x,y)e^{-j2\pi ux/M},F(x,y)=\sum_{y=0}^{N-1}f(x,y)e^{-j2\pi vy/N} F(u,v)=x=0∑M−1y=0∑N−1f(x,y)e−j2π(ux/M+vy/N)=x=0∑M−1F(x,y)e−j2πux/M,F(x,y)=y=0∑N−1f(x,y)e−j2πvy/N
用DFT算法计算IDFT
M N f ∗ ( x , y ) = ∑ u = 0 M − 1 ∑ v = 0 N − 1 F ∗ ( u , v ) e − j 2 π ( u x / M + v y / N ) MNf^*(x,y) = \sum_{u=0}^{M-1}\sum_{v=0}^{N-1}F^*(u,v)e^{-j2\pi (ux/M+vy/N)} MNf∗(x,y)=u=0∑M−1v=0∑N−1F∗(u,v)e−j2π(ux/M+vy/N)
快速傅里叶变换FFT
图像复原与重建
图像退化/复原过程的模型
H
H
H是一种退化函数，
η
\eta
η是加性噪声项
g
(
x
,
y
)
=
h
(
x
,
y
)
∗
f
(
x
,
y
)
+
η
(
x
,
y
)
G
(
u
,
v
)
=
H
(
u
,
v
)
F
(
u
,
v
)
+
N
(
u
,
v
)
g(x,y) = h(x,y)*f(x,y)+\eta(x,y)\\ G(u,v) = H(u,v)F(u,v)+N(u,v)
g(x,y)=h(x,y)∗f(x,y)+η(x,y)G(u,v)=H(u,v)F(u,v)+N(u,v)
噪声模型
当噪声的傅里叶谱是常量时，噪声称为白噪声
噪声主要来源于图像的获取或传输过程
光照水平、传感器温度会影像图像中噪声数量
| P D F PDF PDF | ||
|---|---|---|
| 高斯噪声 | p ( z ) = 1 2 π σ e − ( z − z ‾ ) 2 / 2 σ 2 p(z)=\frac 1{\sqrt{2\pi} \sigma}e^{-(z-\overline z)^2/2\sigma^2} p(z)=2π σ1e−(z−z)2/2σ2 | |
| 瑞丽噪声 | p ( z ) = { 2 b ( z − a ) e − ( z − a ) 2 / b , z ≥ a 0 , z < a p(z)=\begin{cases}\frac 2b(z-a)e^{-(z-a)^2/b}, &z \geq a \\ 0,&z<a\end{cases} p(z)={b2(z−a)e−(z−a)2/b,0,z≥az<a | 对于近似歪斜的直方图十分适用 |
| 爱尔兰(伽马)噪声 | p ( z ) = { a b z b − 1 ( b − 1 ) ! e − a z , z ≥ a 0 , z < a p(z)=\begin{cases}\frac {a^bz^{b-1}}{(b-1)!}e^{-az}, &z \geq a \\ 0,&z<a\end{cases} p(z)={(b−1)!abzb−1e−az,0,z≥az<a | |
| 指数噪声 | p ( z ) = { a e − a z , z ≥ 0 0 , z < 0 p(z)=\begin{cases}ae^{-az}, &z \geq0 \\ 0,&z < 0\end{cases} p(z)={ae−az,0,z≥0z<0 | |
| 均匀 | p ( z ) = { 1 b − a , a ≤ z ≤ b 0 , e l s e p(z)=\begin{cases}\frac {1}{b-a}, &a \leq z \leq b \\ 0,&else\end{cases} p(z)={b−a1,0,a≤z≤belse | |
| 脉冲(椒盐)噪声 | p ( z ) = { P a , z = a P b , z = b 1 − P a − P b , e l s e p(z)=\begin{cases}P_a, &z=a \\ P_b,&z=b\\1-P_a-P_b,&else\end{cases} p(z)=⎩⎪⎨⎪⎧Pa,Pb,1−Pa−Pb,z=az=belse |
p ( z ) = { P a , z = a P b , z = b 1 − P a − P b , e l s e p(z)=\begin{cases}P_a, &z=a \\ P_b,&z=b\\1-P_a-P_b,&else \end{cases} p(z)=⎩⎪⎨⎪⎧Pa,Pb,1−Pa−Pb,z=az=belse
只存在噪声的复原—空间滤波
g ( x , y ) = f ( x , y ) + η ( x , y ) G ( u , v ) = F ( u , v ) + N ( u , v ) g(x,y) = f(x,y)+\eta(x,y)\\ G(u,v) = F(u,v)+N(u,v) g(x,y)=f(x,y)+η(x,y)G(u,v)=F(u,v)+N(u,v)
| 均值滤波器 | 定义 | 效果 |
|---|---|---|
| 算术均值滤波器 | f ^ ( x , y ) = 1 m n ∑ ( s , t ) ∈ S x y g ( s , t ) \widehat f(x,y)=\frac 1{mn}\sum_{(s,t)\in S_{xy}}g(s,t) f (x,y)=mn1∑(s,t)∈Sxyg(s,t) | 模糊了结果，但降低了噪声 |
| 几何均值滤波器 | f ^ ( x , y ) = [ ∏ ( s , t ) ∈ S x y g ( s , t ) ] 1 m n \widehat f(x,y)=[\prod_{(s,t)\in S_{xy}}g(s,t)]^{\frac 1{mn}} f (x,y)=[∏(s,t)∈Sxyg(s,t)]mn1 | 与算术均值相比，丢失的信息更少 |
| 谐波均值滤波 | f ^ ( x , y ) = m n ∑ ( s , t ) ∈ S x y 1 g ( s , t ) \widehat f(x,y)=\frac{mn}{\sum_{(s,t)\in S_{xy}}\frac 1{g(s,t)}} f (x,y)=∑(s,t)∈Sxyg(s,t)1mn | 对盐粒噪声效果较好，不适用于胡椒噪声。适合高斯噪声 |
| 逆谐波均值滤波器 | f ^ ( x , y ) = ∑ ( s , t ) ∈ S x y g ( s , t ) Q + 1 ∑ ( s , t ) ∈ S x y g ( s , t ) Q \widehat f(x,y)=\frac{\sum_{(s,t)\in S_{xy}}g(s,t)^{Q+1}}{\sum_{(s,t)\in S_{xy}}g(s,t)^Q} f (x,y)=∑(s,t)∈Sxyg(s,t)Q∑(s,t)∈Sxyg(s,t)Q+1 | 消除椒盐噪声。Q为正，消除胡椒，负消除盐粒噪声。Q=0是算术均值滤波器，Q=-1是谐波均值滤波器 |
| 统计排序滤波器 | 定义 | 效果 |
|---|---|---|
| 中值滤波器 | f ^ ( x , y ) = m e d i a n ( s , t ) ∈ S x y { g ( s , t ) } \widehat f(x,y)=median_{(s,t)\in S_{xy}}\{g(s,t)\} f (x,y)=median(s,t)∈Sxy{g(s,t)} | 存在单级或多级脉冲噪声的情况下效果较好 |
| 最大值滤波器 | f ^ ( x , y ) = m a x ( s , t ) ∈ S x y { g ( s , t ) } \widehat f(x,y)=max_{(s,t)\in S_{xy}}\{g(s,t)\} f (x,y)=max(s,t)∈Sxy{g(s,t)} | 对于发现图像中的最亮点非常有用 |
| 最小值滤波器 | f ^ ( x , y ) = m i n ( s , t ) ∈ S x y { g ( s , t ) } \widehat f(x,y)=min_{(s,t)\in S_{xy}}\{g(s,t)\} f (x,y)=min(s,t)∈Sxy{g(s,t)} | 对于发现图像中的最暗点非常有用 |
| 中点滤波器 | f ^ ( x , y ) = 1 2 { m a x ( s , t ) ∈ S x y { g ( s , t ) } + m i n ( s , t ) ∈ S x y { g ( s , t ) } } \widehat f(x,y)=\frac 12\{max_{(s,t)\in S_{xy}}\{g(s,t)\}+min_{(s,t)\in S_{xy}}\{g(s,t)\}\} f (x,y)=21{max(s,t)∈Sxy{g(s,t)}+min(s,t)∈Sxy{g(s,t)}} | 对于高斯和均匀噪声很有效 |
| 修正的阿尔法均值滤波器 | f ^ ( x , y ) = 1 m n − d ∑ ( s , t ) ∈ S x y g r ( s , t ) \widehat f(x,y)=\frac 1{mn-d}\sum_{(s,t)\in S_{xy}}g_r(s,t) f (x,y)=mn−d1∑(s,t)∈Sxygr(s,t) | 去掉最低灰度值的 d / 2 d/2 d/2和最高灰度值的 d / 2 d/2 d/2,适用于多种噪声混合 |
| 自适应滤波器 | 效果 |
|---|---|
| 自适应局部降低噪声滤波器 | 滤波后图像更加清晰 |
| 自适应中值滤波器 | 平滑非脉冲噪声时试图保留细节 |
用频域滤波器消除周期噪声
| 选择性滤波器 |
|---|
| 带阻滤波器 |
| 带通滤波器 |
| 限波滤波器 |
| 最佳限波滤波器 |
估计退化函数
- 图像观察估计：从图像中获取相关信息，估计H
- 试验估计：使用与获取退化图像的设备相似的装置，得到一个准确的退化估计
- 建模估计
其他
逆滤波
F ^ ( u , v ) = F ( u , v ) + N ( u , v ) H ( u , v ) \widehat F(u,v)=F(u,v)+\frac {N(u,v)}{H(u,v)} F (u,v)=F(u,v)+H(u,v)N(u,v)
限制滤波地频率，使其接近原点，可有效避免 H ( u , v ) H(u,v) H(u,v)过小的情况
最小均方差滤波
约束最小二乘方滤波
几何均值滤波
由投影重建图像
彩色图像处理
彩色基础
- 亮度：表达了无色的强度概念
- 色调：光波混合中与主波长有关的属性。是观察者感知的主要颜色
- 饱和度：相对纯净度，或者一种颜色混合白光的数量，与白光的数量成反比
- 色度：色调与饱和度一起称为色度
x = X X + Y + Z y = Y X + Y + Z z = Z X + Y + Z x + y + z = 1 x = \frac X{X+Y+Z}\\ y = \frac Y{X+Y+Z}\\ z = \frac Z{X+Y+Z}\\ x+y+z=1 x=X+Y+ZXy=X+Y+ZYz=X+Y+ZZx+y+z=1
- 蓝+绿=青，红+绿=黄，蓝+红=深红
彩色模型
| 彩色模型 | 描述 |
|---|---|
RGB彩色模型 |
稳定RGB色集合–
6
3
=
216
6^3=216
63=216 |
CMY彩色模型 |
CMY=1-RGB，用于在纸上沉积彩色颜料的设备 ，代表青色、深红色和黄色 |
CMYK彩色模型 |
在CMY的基础上增加了黑色 |
HSI彩色模型 |
色调、饱和度、强度 |
伪彩色处理
-
灰度分层：输入的灰度级根据其灰度值的大小，确定其的彩色信息。这一对应关系是阶梯型的。
-
灰度到彩色的变换：对任何输入像素的灰度执行3个独立的变换
全彩色图像处理基础
- 分别处理每一幅分量：然后由分别处理过的分量图像来形成一幅处理过的合成彩色图像。
- 直接处理彩色像素：彩色像素实际上是向量
为了使每张彩色分量处理和基于向量的处理等同，必须满足两个条件
- 处理必须对向量和标量都可用
- 对向量的每一分量的操作对于其他分量必须是独立的
彩色变换
- HSI模型中，0度和360度相遇处有一个不连续点
- 色调对于0饱和度未定义。
g ( x , y ) = T [ f ( x , y ) ] s i = T i ( r 1 , r 2 , . . . , r n ) i = 1 , 2 , . . . , n g(x,y)=T[f(x,y)]\\ s_i = T_i(r_1,r_2,...,r_n) i=1,2,...,n g(x,y)=T[f(x,y)]si=Ti(r1,r2,...,rn)i=1,2,...,n
- 补色：补色对于增强嵌在彩色图像暗区的细节很有用—特别是区域在大小上占优势时
- 彩色分层：显示感兴趣的颜色以便从背景中突出它们；或者像模板那样使用由彩色定义的区域
- 色调和彩色校正
- 直方图处理：均匀地展开这种彩色灰度，而保持彩色本身不变
平滑和锐化
基于彩色的图像分割：HSI彩色空间的分割、RGB向量空间中的分割、彩色边缘检测
彩色图像中的噪声
形态学图像处理
基础知识
B ^ = { w ∣ w = − b , b ∈ B } (B的反射) \widehat{B}=\{w|w=-b,b\in B\} \tag{B的反射} B ={w∣w=−b,b∈B}(B的反射)
( B ) z = { c ∣ c = b + z , b ∈ B } (B的平移) (B)_z=\{c|c=b+z,b\in B\} \tag{B的平移} (B)z={c∣c=b+z,b∈B}(B的平移)
- 在形态学集合的反射和平移广泛用来表达基于
结构元(SE)的操作：研究一幅图像中感兴趣特性所用的小集合或子图像
腐蚀和膨胀
| 腐蚀 | 膨胀 | |
|---|---|---|
| 定义 | $A\ominus B={z | (B)_z \subseteq A}$ |
| 简化 | $A\ominus B={z | (B)_z \cap A^C= \varnothing}$ |
| 效果 | 缩小或细化二值图像中的物体 | 增长或粗化二值图像中的物体，桥接裂缝 |
- 对偶性
( A ⊖ B ) C = A C ⊕ B ^ ( A ⊕ B ) C = A C ⊖ B ^ (A \ominus B)^C = A^C \oplus \widehat B\\ (A \oplus B)^C = A^C \ominus \widehat B (A⊖B)C=AC⊕B (A⊕B)C=AC⊖B
开操作与闭操作
| 开操作 | 闭操作 | |
|---|---|---|
| 定义 | A o B = ( A ⊖ B ) ⊕ B A^{\ o}B=(A \ominus B)\oplus B A oB=(A⊖B)⊕B | A ⋅ B = ( A ⊕ B ) ⊖ B A \cdot B=(A \oplus B)\ominus B A⋅B=(A⊕B)⊖B |
| 简化 | $A^{\ o}B=\bigcup{(B)_z | (B)_z \subseteq A}$ |
| 技巧 | 用一个圆形在A的内部滚动，A覆盖的面积就是 | 用一个圆形在A的外部滚动，覆盖的边界及时结果的外边界 |
-
开操作一般会平滑物体的轮廓、断开较窄的狭颈并消除细的突出物
-
闭操作同样也会平滑轮廓的一部分，通常会弥合较窄的间断和细长的沟壑，消除小的孔洞，填补轮廓线中的断裂
击中或击不中变换
从图像中寻找具有某种像素排列特征的目标，不关心的设置为×。计算时，只有当结构元素与其覆盖的图像区域完全相同时，中心像素的值才会被置为1，否则为0。
一些基本的形态学算法
| 算法 | 描述 | 定义 |
|---|---|---|
| 边界提取 | 相对图像进行腐蚀，然后用原图像减去腐蚀后的图像 | β ( A ) = A − ( A ⊖ B ) \beta(A)=A-(A \ominus B) β(A)=A−(A⊖B) |
| 孔洞填充 | 从孔洞中的一个点开始，膨胀后取不属于原图像的点后继续这个操作，直到结果稳定 | X k = ( X k − 1 ⊕ B ) ∩ A C X_k=(X_{k-1} \oplus B) \cap A^C Xk=(Xk−1⊕B)∩AC |
| 连通分量的提取 | 从图中的一点开始，膨胀后取属于图像的点后继续这个操作，直到结果稳定 | X k = ( X k − 1 ⊕ B ) ∩ A X_k=(X_{k-1} \oplus B) \cap A Xk=(Xk−1⊕B)∩A |
| 凸壳 | 如果在集合A内连接任意两个点的直线段都在A的内部，则称集合A是凸形的。任意集合S的凸壳H是包含于S的最小凸集。集合差H-S称为S的凸缺。使用4个模板，分别对A做击中击不中变换后求四个的交集 | |
| 细化 | 采取逐次去除边界的方法来进行的，不能破坏图像的*连通性*；逐次细化，当这一次的结果和下一次的结果一样的时候，就说明细化成功了； | |
| 粗化 | 通过对图像的补集进行细化得到的 | |
| 骨架 | ||
| 裁剪 | ||
| 形态学重建 | 一幅图像是标记，它包含变换的起始点，另一幅图像是模板，它约束该变换。结构元用来定义连接性。 |
灰度级形态学
| 形态学 | 定义 |
|---|---|
| 腐蚀 | f ⊖ b = m i n ( s , t ) ∈ b f ( x + s , y + t ) f\ominus b =min_{(s,t)\in b}{f(x+s,y+t)} f⊖b=min(s,t)∈bf(x+s,y+t) |
| 膨胀 | f ⊕ b = m a x ( s , t ) ∈ b f ( x − s , y − t ) f\oplus b =max_{(s,t)\in b}{f(x-s,y-t)} f⊕b=max(s,t)∈bf(x−s,y−t) |
| 开操作 | f o b = ( f ⊖ b ) ⊕ b f^{\ o} \ b = (f \ominus b)\oplus b f o b=(f⊖b)⊕b，从f的下面推结构元，结构元所到达的最高值。抑制比结构元小的亮细节 |
| 闭操作 | f ⋅ b = ( f ⊖ b ) ⊕ b f \ \pmb{\cdot} \ b = (f \ominus b)\oplus b f ⋅⋅⋅ b=(f⊖b)⊕b，从f的上面推结构元，结构元所到达的最低值。抑制比结构元小的暗细节 |
图像分割
基本思想
针对单色图像的分割算法基于处理灰度值的两类特性之一：不连续性和相似性。
在第一类特性中，假设这些区域的边界彼此完全不同，且与背景不同，从而允许基于灰度的局部不连续性来进行边界检测。基于边缘的分割是这一类中所用的主要方法。
第二类中基于区域的分割方法是根据事先定义的一组准则把一幅图像分割成相似的几个区域。
点、线和边缘检测
-
灰度局部强烈变化检测为基础
-
边缘像素：是图像中灰度突变的那些像素
-
边缘：是连接的边缘像素的集合。
-
边缘检测器：是设计用来检测边缘像素的局部图像处理方法
背景知识
- 一阶导数通常在图像中产生较粗的边缘
- 二阶导数对精细细节，如细线、孤立点和噪声有较强的响应
- 二阶导数在灰度斜坡和灰度台阶过渡处会产生双边缘响应
- 二阶导数的符号可用于确定边缘的过渡是从亮到暗还是从暗到亮
R = w 1 z 1 + w 2 z 2 + ⋯ + w 9 z 9 = ∑ k = 1 9 w k z k R = w_1z_1+w_2z_2+\cdots+w_9z_9 = \sum_{k=1}^9w_kz_k R=w1z1+w2z2+⋯+w9z9=k=1∑9wkzk
孤立点的检测
使用拉普拉斯模板，如果某点在该模板的响应的绝对值超过了一个指定的阈值，就把这个点标注为1，其他点设为0
线检测
可以使用拉普拉斯模板，也可以使用下面的模板，针对特定角度的线
| 水平 | +45° | 垂直 | -45° |
|---|---|---|---|
| $\begin{bmatrix}-1&-1&-1\2&2&2\-1&-1&-1\\end{bmatrix} $ | $\begin{bmatrix}2&-1&-1\-1&2&-1\-1&-1&2\\end{bmatrix} $ | $\begin{bmatrix}-1&2&-1\-1&2&-1\-1&2&-1\\end{bmatrix} $ | $\begin{bmatrix}-1&-1&2\-1&2&-1\2&-1&-1\\end{bmatrix} $ |
边缘模型
- 台阶模型
- 斜坡模型
- 屋顶模型
结论
- 一阶导数的幅度可用于检测推向中某个点是否存在一个边缘
- 二阶导数的符号可用于确定一个边缘像素位于该边缘的暗的一侧还是亮的一侧。
- 二阶导数的附加性质：
- 对图像中的每条边缘，二阶导数生成两个值
- 二阶导数的零交叉点可用于定位粗边缘的中心
执行边缘检测的三个基本步骤
- 为降噪对图像进行平滑处理
- 边缘点的检测
- 边缘定位
基本边缘检测
图像梯度及其性质
∇ f ≡ g r a d ( f ) ≡ [ g x g y ] = [ ∂ f ∂ x ∂ f ∂ y ] (梯度定义) \nabla f \equiv grad(f) \equiv \begin{bmatrix}g_x\\g_y\\\end{bmatrix} =\begin{bmatrix}\frac{\partial f}{\partial x}\\\frac{\partial f}{\partial y}\\\end{bmatrix} \tag{梯度定义} ∇f≡grad(f)≡[gxgy]=[∂x∂f∂y∂f](梯度定义)
M ( x , y ) = m a g ( ∇ f ) = g x 2 + g y 2 (梯度幅度图像) M(x,y)=mag(\nabla f)=\sqrt{g_x^2+g_y^2} \tag{梯度幅度图像} M(x,y)=mag(∇f)=gx2+gy2 (梯度幅度图像)
α ( x , y ) = a r c t a n [ g y g x ] (梯度方向图像) \alpha (x,y)= arctan[\frac {g_y}{g_x}] \tag{梯度方向图像} α(x,y)=arctan[gxgy](梯度方向图像)
任何点处一个边缘的方向与该点处梯度向量的方向 α ( x , y ) \alpha(x,y) α(x,y)正交
梯度算子
| 算子 | g x g_x gx | g y g_y gy | 效果 |
|---|---|---|---|
Roberts |
$\begin{bmatrix}-1&0\0&1\\end{bmatrix} $ | [ 0 − 1 1 0 ] \begin{bmatrix}0&-1\\1&0\\\end{bmatrix} [01−10] | 对对角线边缘感兴趣 |
Prewitt |
$\begin{bmatrix}-1&-1&-1\0&0&0\1&1&1\\end{bmatrix} $ | [ − 1 0 1 − 1 0 1 − 1 0 1 ] \begin{bmatrix}-1&0&1\\-1&0&1\\-1&0&1\\\end{bmatrix} ⎣⎡−1−1−1000111⎦⎤ | |
Sobel |
$\begin{bmatrix}-1&-2&-1\0&0&0\1&2&1\\end{bmatrix} $ | [ − 1 0 1 − 2 0 2 − 1 0 1 ] \begin{bmatrix}-1&0&1\\-2&0&2\\-1&0&1\\\end{bmatrix} ⎣⎡−1−2−1000121⎦⎤ | 可以平滑图像，抑制噪声 |
Prewitt2 |
$\begin{bmatrix}0&1&1\-1&0&1\-1&-1&0\\end{bmatrix} $ | $\begin{bmatrix}-1&-1&0\-1&0&1\0&1&1\\end{bmatrix} $ | 检测对角边缘 |
Sobel2 |
$\begin{bmatrix}0&1&2\-1&0&1\-2&-1&0\\end{bmatrix} $ | $\begin{bmatrix}-2&-1&0\-1&0&1\0&1&2\\end{bmatrix} $ | 检测对角边缘 |
与阈值处理相结合的梯度
更先进的边缘检测技术
Marr-Hildreth边缘检测器
G ( x , y ) = e x 2 + y 2 2 σ 2 (二维高斯函数) G(x,y)=e^{\frac{x^2+y^2}{2\sigma^2}} \tag{二维高斯函数} G(x,y)=e2σ2x2+y2(二维高斯函数)
∇ 2 G ( x , y ) = [ x 2 + y 2 − 2 σ 2 σ 4 ] e − x 2 + y 2 2 σ 2 (高斯拉普拉斯LoG) \nabla^2 G(x,y) = [\frac{x^2+y^2-2\sigma^2}{\sigma^4}]e^{-\frac{x^2+y^2}{2\sigma^2}} \tag{高斯拉普拉斯LoG} ∇2G(x,y)=[σ4x2+y2−2σ2]e−2σ2x2+y2(高斯拉普拉斯LoG)
- 用一个对二维高斯函数取样得到的nxn的高斯低通滤波器对输入图像进行滤波
- 计算第一步得到图形的阿普拉斯变换
- 找到上一步所得到图像的零交叉
坎尼边缘检测器
- 用一个高斯滤波器平滑输入图像
- 计算梯度幅度图像和角度图像
- 对梯度图像应用非最大抑制
- 用双阈值处理和连接分析来检测并连接边缘
边缘连接和边界检测
局部处理
- 计算输入图像 f ( x , y ) f(x,y) f(x,y)的梯度幅度阵列 M ( x , y ) M(x,y) M(x,y)和梯度角度阵列 α ( x , y ) \alpha(x,y) α(x,y)
- 形成一幅二值图像 g g g,任何坐标对 ( x , y ) (x,y) (x,y)处的值由 g ( x , y ) = 1 ( M ( x , y ) > T M 且 α ( x , y ) = A + T A ) , g ( x , y ) = 0 （ e l s e ） g(x,y)=1(M(x,y)>T_M 且 \alpha(x,y)=A+T_A),g(x,y)=0（else） g(x,y)=1(M(x,y)>TM且α(x,y)=A+TA),g(x,y)=0（else）
- 扫描g的行，并在不超过指定长度K的每一行中填充所有分析
- 为在任何其他方向 θ \theta θ上检测侧缝隙，旋转图像g后应用上一步的水平扫描，然后再旋转回来。
区域处理
寻找一个多边形拟合开放和闭合曲线的算法描述如下：
- 令 P P P是一个已排序序列。指定两个起始点A和B。他们是多边形的两个起始顶点
- 指定一个阈值T，以及两个空堆栈“开”和"闭"
- 如果P中的点对应于一条闭合曲线，则把A放到“开”中，并把B放到“开”和闭中。如果点对应于一条开放曲线，则把A放到开中，而把B放到闭
- 计算从闭中最后一个顶点到开中最后一个顶点的线的参数
- 计算步骤4所得到的直线至P中所有点的距离，序列把他们放到步骤4所得到的两个顶点之间。选择具有最大距离 D m a x D_{max} Dmax的点 V m a x V_{max} Vmax
- 如果 D m a x > T D_{max}>T Dmax>T，则把 V m a x V_{max} Vmax作为一个新顶点放到开堆栈的末尾。转到不好走4
- 否则，从开中移除最后一个定点，并把它作为闭的最后一个顶点插入
- 如果开非空，转到步骤4
- 否则，退出。闭中的顶点就是拟合P中多边形的顶点。
使用霍夫变换的全局处理
- 得到一副二值图像
- 指定 p θ p\theta pθ平面中的细分
- 对像素高度集中的地方检验其累加单元的数量
- 检验选中单元中像素间的关系
阈值处理
基础知识
g ( x , y ) = { 1 , f ( x , y ) > T 0 , f ( x , y ) ≤ T g(x,y)= \begin{cases} 1,&f(x,y)>T\\ 0,&f(x,y)\leq T \end{cases} g(x,y)={1,0,f(x,y)>Tf(x,y)≤T
- 全局阈值处理
- 可变阈值处理
- 局部阈值处理
- 区域阈值处理
影响波谷特性的关键因素
- 波峰间的间隔
- 图像中的噪声内容
- 物体和背景的相对尺寸
- 光源的均匀性
- 图像反射特性的均匀性
基本的全局阈值处理
- 为全局阈值T选择一个初始估计值
- 使用T分割图像。这将产生两组像素: G 1 G_1 G1由灰度值大于T的所有像素组成， G 2 G_2 G2由所有小于等于T的像素组成
- 对 G 1 G_1 G1和 G 2 G_2 G2的像素分别计算平均灰度值 m 1 m_1 m1和 m 2 m_2 m2
- 计算一个新的阈值 T = 1 2 ( m 1 + m 2 ) T=\frac{1}2(m_1+m_2) T=21(m1+m2)
- 使用新阈值，重复步骤2-4，直到迭代中的T值间的差小于一个预定义的参数值为止
用Otsu方法的最佳全局阈值处理
- 计算输入图像的归一化直方图。
- 用 P 1 ( k ) = ∑ i = 0 k p i P_1(k)=\sum_{i=0}^kp_i P1(k)=∑i=0kpi和 m 1 ( k ) = 1 P 1 ( k ) ∑ i = 0 k i p i m_1(k)=\frac 1{P_1(k)}\sum_{i=0}^kip_i m1(k)=P1(k)1∑i=0kipi对 k ∈ [ 0 , L − 1 ] k \in [0,L-1] k∈[0,L−1]计算累积和 P 1 ( k ) P_1(k) P1(k)和累计均值 m 1 ( k ) m_1(k) m1(k)
- 计算全局灰度均值 m G = ∑ i = 0 L − 1 i p i m_G=\sum_{i=0}^{L-1}ip_i mG=∑i=0L−1ipi
- 对 k ∈ [ 0 , L − 1 ] k \in [0,L-1] k∈[0,L−1]，计算 σ B 2 ( k ) = [ m G P 1 ( k ) − m ( k ) ] 2 P 1 ( k ) [ 1 − P ! ( k ) ] \sigma^2_B(k)=\frac{[m_GP_1(k)-m(k)]^2}{P_1(k)[1-P_!(k)]} σB2(k)=P1(k)[1−P!(k)][mGP1(k)−m(k)]2
- 得到 k ∗ = m a x { σ B 2 ( k ) } k^*=max\{\sigma^2_B(k)\} k∗=max{σB2(k)}
- 在 k = k ∗ k=k^* k=k∗处计算可分性度量 η ( k ) = σ B 2 ( k ) σ G 2 ( k ) \eta(k)=\frac{\sigma_B^2(k)}{\sigma_G^2(k)} η(k)=σG2(k)σB2(k)
用图像平滑改善全局阈值处理
利用边缘改进全局阈值处理
-
使用任何一种方法来计算一幅边缘图像
-
指定一个阈值T
-
用步骤2中的阈值对步骤1中的图像进行阈值处理，产生一幅二值图像 g T ( x , y ) g_T(x,y) gT(x,y)
-
仅用 f ( x . y ) f(x.y) f(x.y)中对应于 g T ( x , y ) g_T(x,y) gT(x,y)中的像素值为1的位置的像素计算直方图
-
用步骤4中的直方图全局的分割 f ( x , y ) f(x,y) f(x,y),例如使用 O t s u Otsu Otsu方法
多阈值处理
可变阈值处理
图像分块
把一幅图像分成不重叠的矩形，用于补偿光照和或反射的不均匀性。选择的矩形要足够小，以便每个矩形的光照都是近似均匀的。
当感兴趣物体和背景占据合理的可比大小区域是，通常图形细分工作较好。避免某一矩形内只有背景或只有物体。
基于局部图像特征的可变阈值处理
在一幅图像中的每一点 ( x , y ) (x,y) (x,y)计算阈值
使用移动平均
多变量阈值处理
彩色图像
基于区域的分割
区域生长
基本方法是从一组种子点开始，将与种子预先定义的性质相似的那些领域像素添加到种子上来形成这些生长区域。
区域分裂与聚合
- 对满足 Q ( R i ) = F a l s e Q(R_i)=False Q(Ri)=False的任何区域 R i R_i Ri分裂为4个不相交的象限区域
- 当不可能进一步分裂时，对满足条件 Q ( R j ∪ R k ) = T r u e Q(R_j \cup R_k)=True Q(Rj∪Rk)=True的仍和两个邻接区域进行聚合
- 当无法进一步聚合时，停止操作
用形态学分水岭的分割
基本知识
分水岭分割的主要应用之一是从背景中提取近乎一致的物体。由变化较小的灰度表征的区域有较小的梯度值。
表示和描述
表示
边界追踪
- 令起始点 b 0 b_0 b0为图像中左上角标记为1的点。使用 c 0 c_0 c0表示 b 0 b_0 b0西侧的邻点。很明显， c 0 c_0 c0总是背景点。从 c 0 c_0 c0开始按顺时针方向考察 b 0 b_0 b0的8个邻点。令 b 1 b_1 b1表示所遇到的值为1的第一个邻点，并直接令 c 1 c_1 c1是序列 b 1 b_1 b1之前的点。
- 令 b = b 1 b=b_1 b=b1和 c = c 1 c=c_1 c=c1
- 从c开始按顺时针方向行进，令 b b b的8个领点为 n 1 , n 2 , . . . , n 8 n_1,n_2,...,n_8 n1,n2,...,n8.找到标记为1的第一个 n k n_k nk
- 令 b = n k b=n_k b=nk和 c = n k − 1 c=n_{k-1} c=nk−1
- 重复步骤3和步骤4，直到 b = b 0 b=b_0 b=b0且找到的下一个边界点为 b 1 b_1 b1
链码
链码用于表示由顺序连接的具有指定长度和方向的直线段组成的边界。基于线段的4连接和8连接。每个线段的方向使用一种数字编号方案编码，称为弗雷曼链码。
-
原链码：按照任意起点走边界一周，方向按照上图对应的表示，得到的数字序列就是原链码。
-
归一化链码：为了解决原链码中起点不唯一而产生的序列不唯一的问题，规定，对于所有起点得到的原链码中，字典序最小的即为归一化链码。
-
差分码：为了解决图形旋转之后，原链码和归一化链码都会发生变化，引入差分码。
-
形状数：需要强调的是，形状数也是一个序列，而不是一个数。其实形状数就是把差分码按照字典序排序之后，最小的序列。形状数的阶数是该序列的长度。
使用最小周长多边形的多边形近似MPP
- 标记图：边界的一维函数表示
- 边界线段：将边界分解为线段
- 骨架：表示一个平面区域的结构形状的图形
边界描绘子
偏心率（长轴与短轴之比）、基本矩形、形状数、傅里叶描绘子、统计矩
区域描绘子
圆度率（一个区域的面积与具有相同周长的一个圆的面积之比）、拓扑描绘子（E=C-H=连通分量-孔洞数量）、纹理、不变矩