该内容为
- 《学习图像局部特征检测和描述-基于OpenCV源码分析的算法与实现》
- 《OpenCV 3 计算机视觉-Python语言实现》
- OpenCV官方网站的 https://docs.opencv.org/master/da/d22/tutorial_py_canny.html
的学习内容
1 Canny 边缘检测理论分析
Canny 边缘检测方法是由 Canny 于1996 年提出的一种公认为效果较好的边缘检测方法。
一个好的边缘检测方法应该满足三项指标
- 1、低失误率,即不能漏检也不能错检
- 2、高的位置精度,标定的边缘像素点与真正的边缘中心之间距离应该最小
- 3、每个边缘应该由唯一的响应,即得到单像素宽度的边缘。
基于此,Canny提出了判定边缘检测算子的3个准则:
- 1 - 信噪比准则
- 2 - 定位精度准则
- 3 - 单边缘响应准则
Canny 算子实现过程共有4(5)个步骤:
- 1 - 平滑处理,使用高斯滤波器对图像进行去噪处理
- 2 - 寻找图像的强度梯度 / 计算梯度 / 梯度检测
- 3 - 非极大值抑制,即在图像边缘上使用非最大抑制NMS
- 4 - 滞后阈值处理,即在检测到的边缘上使用双阈值去除假阳性(false positive)
- 5 - 最后分析所有边缘及其之间的连接,以确保保留真正的边缘,同时消除不明显的边缘
1.1 Canny算子实现过程详细讲解
1.1.1 平滑处理
所有的边缘都极易受到噪声的干扰,为防止检测结果的偏差较大,有必要使用平滑滤波的方法滤除噪声。高斯滤波方法是常用的滤波方法,二维图像应用二维高斯函数,它的定义为
式中 σ 表示 高斯函数的标准差。只要把输入图像与二维高斯函数进行卷积,即可得到平滑后的图像。
注:
考虑到数字图像为离散化的形式,我们往往把高斯函数转化为离散化的高斯内核模板形式,如标准差为1.4 的模板尺寸为 5 * 5 的归一化高斯内涵模板为:
1.1.2 寻找图像的强度梯度 Finding Intensity Gradient of the Image
寻找图像的强度梯度 / 计算梯度 / 梯度检测
梯度是图像灰度值变化剧烈的地方,它可以通过 Roberts 算子、Prewitt 算子、Sobel 算子(最常用)等最简单的模板检测方法得到。
Sobel 算子是由两个模板组成:
,
这Sobel算子内核(的两个模板)分别在水平和垂直方向上对平滑后的图像进行滤波,以获得水平方向的梯度 Gx 和 垂直方向的梯度 Gy (注:该处的梯度也可称为一阶导数),最终图像每个像素的边缘梯度 Edge_Gradient 和方向,通常采用欧几里计算方法得边缘梯度幅值(L2范数):
但平时为了简化,梯度值也可由曼哈顿距离(L1范数)求得:
梯度幅角 θ 为:
注:由该公式得到得梯度幅角是任意值,但我们需要将其四舍五入到表示垂直、水平和两个对角线方向的四个角度中的一个,共计 4 个方向 !即 0°、45°、90°、135°;如梯度幅角为(-22.5,22.5)区间值时,均会四舍五入为 0° 。
1.1.3 非最大抑制 Non-maximum Suppression
非最大值抑制也成为非极大值抑制
该步骤的目的是使边缘细化。
梯度检测后获得的图像边缘较为模糊,不合符 “ 好的边缘检测 ” 中的第三项:
- 3、每个边缘应该由唯一的响应,即得到单像素宽度的边缘。
也即,在获得梯度幅度和方向之后,需要完成图像的全扫描以去除可能不构成边缘的任何不需要的像素。为此,在每个像素处,检查像素是否是其在梯度方向上的邻域中的局部最大值。保留具有局部最大值的像素点即为灰度值变化最剧烈的地方,如下图所示
上图中 A 点位于边缘(垂直方向),其渐变方向与边缘垂直;B 点和 C 点处于梯度方向。按照非最大值抑制思路,用点 B 和 C 检查点 A ,看 A 点是否形成局部最大值,若是最大值,it is considered for next stage,若不是局部最大值,A点将会被抑制,即归零 put to zero。最终目的是得到 “ 细边 ” 单像素的二进制图像。
注:这里局部最大值是由在 3*3 的邻域内的梯度方向上比较梯度值得到的。
1.1.4 滞后阈值 Hysteresis Thresholding
该步骤是决定那些边缘是边缘,那些边缘不是边缘。
上步骤得到的边缘仍存在有 ” 假边缘 “,这是由于噪声或颜色变化的影响而产生的非真正边缘。
这种现象的表现形式是尽管这些边缘的梯度幅值是局部最大值,但与其他边缘比,它们的梯度幅值很小,也就是绝对梯度幅值很小。
为此,我们采用滞后阈值处理法。
设置 minVal 和 maxVal 两个阈值,
- 强度梯度大于 maxVal 的任何边缘肯定是边缘(强边缘),将被保留
- 强度梯度小于 minVal 的任何边缘肯定是非边缘(非边缘),因此被丢弃。
- 强度梯度介于 maxVal 和 minVal 之间的边缘为弱边缘,通过进一步计算决定弱边缘的去留。
具体去留方式算法如下:
边缘 A 高于 maxVal,因此被视为 ” 确定边缘(sure-edge) “ ;虽然边(缘)C 低于 maxVal,但是它连接到边(缘) A,因此被视为有效边(缘),我们可获得完成的曲线。对于边缘 B 而言,其虽然高于 minVal,但它没有连接到任何 ”确定边缘(sure-edge)“,同时又与边缘 C 区域相同,因此将被丢弃。该方法也就是所谓的 ” 边缘跟踪 “ 法来判断弱边缘是否为真正的边缘。
具体计算为:在弱边缘的 3*3 区域内,若有强边缘,则说明该弱边缘是属于这个强边缘的,将被保留,否则将被丢弃。
所以我们最终得到的是图像中的强边缘(strong edges in the image.)。
2 码源分析
Canny 函数的原型为:
Python: edges = cv.Canny( image,#input 单通道8-bit灰度图, threshold1,#滞后阈值法中低阈值minVal threshold2,#滞后阈值法中低阈值maxVal [edges],#output边缘图,单通道8位图,与image大小相同 [apertureSize],#孔径尺寸,即Sobel算子的尺寸大小,默认值为3 [L2gradient]#计算梯度幅值L1、L2范数选择,默认False(L2范式 ) )
OpenCV中的Canny算法的码源:略
注意:
1、由于 OpenCV 中 没有执行经典 Canny 方法中的第一步,即省去了滤波平滑;所有我们需要事前进行平滑处理。
2、OpenCV 中的 Canny 算法仅遍历了一遍图像,就完成了步骤2(梯度计算)和步骤3(非最大值抑制);具体过程是计算当前遍历行的梯度幅值,同时计算前一行的梯度幅角,并完成 3*3 邻域内的非最大值抑制。
3、步骤3(非最大值抑制)和步骤4(滞后阈值处理)是交错在一起计算的。
4、步骤4 中的边缘追踪法中,程序是寻找强边缘的 3*3 邻域内的弱边缘的方法,而不是寻找弱边缘的 3*3 邻域内的强边缘。
3 简单示例
import numpy as np import cv2 as cv from matplotlib import pyplot as plt img = cv.imread('img.jpg',0) edges = cv.Canny(img,100,200) plt.subplot(121),plt.imshow(img,cmap = 'gray') plt.title('Original Image'), plt.xticks([]), plt.yticks([]) plt.subplot(122),plt.imshow(edges,cmap = 'gray') plt.title('Edge Image'), plt.xticks([]), plt.yticks([]) plt.show()
来源:Canny Edge Detection(4.0.1) 版本 https://docs.opencv.org/master/da/d22/tutorial_py_canny.html
运行效果:
4 车道线检测(实际项目)
略