Automatic fabric defect detection using a deep convolutional neural network

Intro

本文提出用于纺织品的瑕疵检测方法，将原始图片看成由若干patch组成的图片，利用对patch间距离的定义，求取二阶微分的最大值，进而得到最佳patch size。然后，由于正负样本极度不均衡，作者对负样本的patch进行增广，使得正负样本满足3：2的比例，最后，将patch作为输入丢进神经网络训练。判别时，网络逐patch预测类别，因此时间开销比较大(一张图片运行patch的数量次神经网络)。

Automatically calculating the patch size

首先定义patch之间的距离，称之为DMF(Distance Matching Function).
对于一维信号，周期为\(\delta\)的DMF定义为：
\[ \lambda(\delta) = \sum_{i=1}^{N-\delta} [f(i) - f(i+\delta)]^2 \]
上式N是信号长度，很好理解，就是每隔\(\delta\)求欧式距离然后求和。

对于二维信号，也就是图像信号，只需要定义水平和竖直方向的DMF即可：
\[ \lambda_r(\delta) = \sum_{i=1}^{N-\delta}[f(r,i) - f(r,i+\delta)]^2 \\ \lambda_c(\delta) = \sum_{i=1}^{M-\delta}[f(i,c) - f(i+\delta,c)]^2 \]
定义DMF的一阶差分:
\[ \Delta \lambda_r(\delta) = \lambda_r(\delta +1) - \lambda_r(\delta) \\ \Delta \lambda_r(\delta-1) = \lambda_r(\delta ) - \lambda_r(\delta-1) \]
定义DMF二阶差分：
\[ \Delta^2 \lambda_r(\delta) = \Delta \lambda_r(\delta) - \Delta \lambda_r(\delta-1) \]
作者认为，使得DMF的二阶差分最大的\(\delta\)信号长度为最佳的patch size。由二阶差分的定义我们知道，二阶差分的最大值对应的就是一阶差分变化率最大的地方，在最佳patch时，DMF理应时较下的，而DMF的前向差分理应很大，后向差分理应很小(负值)，二阶差分最大的地方一阶差分变化的最为剧烈。

上图为DMF计算可视化结果。

Manual labeling category

原始图片被分为不同patch之后，显然defective-free 的样本要远超过defetective的样本，样本远远不平衡，为了平衡样本，对defective的样本做了旋转等增广，使得两者比例为3：2，训练集和测试机的样本量比例为7：3.

再之后就是一个简单的多分类神经网络，训练。

Coding

import cv2 as cv
import numpy as np


class DMF(object):
    def __init__(self):
        pass
    def __call__(self,img):
        H,W = img.shape
        ds_r = np.zeros((H-1,1))
        ds_c = np.zeros((1,W-1))
        
        for delta_r in range(1,H):
            for delta_c in range(1,W):
                d_r,d_c = self.distance(img,delta_r,delta_c)
                ds_r[delta_r-1,0] = d_r
                ds_c[0,delta_c-1] = d_c
        dif_r = np.diff(ds_r,axis = 0)
        dif_c = np.diff(ds_c,axis = 1)
        dif_2_r = np.diff(dif_r,axis = 0)
        dif_2_c = np.diff(dif_c,axis = 1)
        return np.argmax(dif_2_r,axis = 0),np.argmax(dif_2_c,axis = 1)
        

        
    @staticmethod
    def distance(img,delta_r = 1,delta_c = 1):
        H,W = img.shape
        d_c,d_r = 0,0
        for r in range(H): # number of row
            for c in range(W): # number of col
                # row_distance
                for i in range(H - delta_r):
                    d_r += (img[i,c] - img[i+delta_r,c])**2

                # col distance
                for i in range(W - delta_c):
                    d_c += (img[r,i] + img[r,i + delta_c])**2
        return d_r,d_c
if __name__ == "__main__":
    img = np.random.rand(28,28)
    dmf = DMF()
    r,c = dmf(img)
    print(r,c)

网络比较简单不实现。