图像分割预处理简单实用技巧

前言

前段时间参加了一个图像的分割比赛,因为是刚接触图像分割这一块,所以很多东西都不太懂得。搞完比赛后,就来写一个项目记录一下,方便像我这样的小白更好的理解一下图像分割预处理的一下小知识。

一些小小知识点

目标检测的labels对应的目标的类别与bbox的坐标参数

图像分类的labels对应就是文件名字的类别

而图像分割的labels对应的就是该物体的轮廓

相信很多小伙伴刚接触图像分割会遇到这样的情况,看了原图之后,再看原图对应的labels,发现是一张纯黑的图片(黑人问号脸?)。连图像的labels都看不到,那还怎么进行后面的研究呢。实际上这是因为图片的labels只用了0,1的取值所以看起来纯黑的图片,通常解决的办法是我们会把labels的取值1变成255;即把0,1二值变成0,255二值。 处理之后,就可以看到labels变成一张黑白的图片。

接下来就是介绍如何把一张labels“纯黑”的图片变成“黑白”图片

图像分割中我习惯labels称作为mask,因此后面的labels就当做是mask方便理解

一、mask之“显形”

PS:数据来源于胸部x光肺部分割数据,并进行了一定的处理后再展示使用。【部分展示】

我们来看原图

图像分割预处理简单实用技巧

再看mask(0,1取值)

图像分割预处理简单实用技巧

一片漆黑,啥也看不到,都不知道它分割的是哪部分。为了把mask“显形”就可以通过下面的程序进行处理,处理后就会变成这样的结果。经处理后我们就可以清晰看到原图的mask的到底是哪一部分

图像分割预处理简单实用技巧

#导入必要的包
import PIL.Image as Image
from tqdm import tqdm
import numpy as np
import os
import time

data_path='HB_data/mask'#原图对应的mask图——0,1二值的黑色图片
data_path1='HB_data/c_mask'#保存mask图——0,255二值的黑白图片
for _, _, files in os.walk(data_path):    #批量化处理
        for f in tqdm(files):
            img = Image.open(os.path.join(data_path, f))
            img = np.asarray(img).copy()
            # print(img)
            img[img ==1 ] = 255
            # print(img)
            img = Image.fromarray(img)
            img.save(os.path.join(data_path1, f))
100%|██████████| 1/1 [00:00<00:00, 82.49it/s]
0it [00:00, ?it/s]

其实原理还是比较简单的,就是用了numpy函数把图片数据弄成矩阵的数值,把矩阵里面为1的数值转化为255,然后再变成图片的数据便可显示。

另外如果想把0,255二值“黑白”照片变成0,1二值“纯黑”照片,可以把上面的1,255互换位置即可

mask显示出来了,但是要原图还有mask来回切换会显得有点不方便,看的有点眼花缭乱,要是图片里面种类多而且目标小,很难可以对的上。因此我们需要把原图和mask合并在一张图上,就是把mask的形状在原图“勾勒”出来。接下来就介绍如何“勾勒形状”。

二、mask之“勾勒形状”

这里我们使用的数据是眼底血管语义分割数据集,并进行了一定的处理。【部分展示】

Tips:这里我们使用的mask是0,255二值。原数据集是0,1二值,可以执行完第一步后再进行进行这一步。这里需要注意一个问题是,原图与mask都是要相同的数据格式才可以展示出来,如果格式不匹配就显示不出来效果

原图:

图像分割预处理简单实用技巧

对应的mask:

图像分割预处理简单实用技巧

“勾勒出形状”–mask映射回原图:

图像分割预处理简单实用技巧

函数cv2.findContours(image, mode, method[, offset])

概述:寻找一个二值图像的轮廓。注意黑色表示背景,白色表示物体,即在黑色背景里寻找白色物体的轮廓

参数:

image:8位单通道图像。非零像素值视为1,所以图像视作二值图像
mode:轮廓检索的方式
cv2.RETR_EXTERNAL:只检索外部轮廓
cv2.RETR_LIST: 检测所有轮廓且不建立层次结构
cv2.RETR_CCOMP: 检测所有轮廓,建立两级层次结构
cv2.RETR_TREE: 检测所有轮廓,建立完整的层次结构

method:轮廓近似的方法
cv2.CHAIN_APPROX_NONE:存储所有的轮廓点
cv2.CHAIN_APPROX_SIMPLE:压缩水平,垂直和对角线段,只留下端点。 例如矩形轮廓可以用4个点编码。
cv2.CHAIN_APPROX_TC89_L1,cv2.CHAIN_APPROX_TC89_KCOS:使用Teh-Chini chain近似算法
offset:(可选参数)轮廓点的偏移量,格式为tuple,如(-10,10)表示轮廓点沿X负方向偏移10个像素点,沿Y正方向偏移10个像素点

函数cv2.drawContours(image, contours, contourIdx, color[, thickness[, lineType[, hierarchy[, maxLevel[, offset]]]])

概述绘制轮廓线或者填充轮廓

参数

image:需要绘制轮廓的目标图像,注意会改变原图
contours:轮廓点,上述函数cv2.findContours()的第一个返回值
contourIdx**:轮廓的索引,表示绘制第几个轮廓,-1表示绘制所有的轮廓
color:绘制轮廓的颜色
thickness:(可选参数)轮廓线的宽度,-1表示填充
lineType:(可选参数)轮廓线型,包括cv2.LINE_4,cv2.LINE_8(默认),cv2.LINE_AA,分别表示4邻域线,8领域线,抗锯齿线(可以更好地显示曲线)
hierarchy:(可选参数)层级结构,上述函数cv2.findContours()的第二个返回值,配合maxLevel参数使用
maxLevel:(可选参数)等于0表示只绘制指定的轮廓,等于1表示绘制指定轮廓及其下一级子轮廓,等于2表示绘制指定轮廓及其所有子轮廓
offset:(可选参数)轮廓点的偏移量
#导入必要的包
import cv2
import os
from PIL import Image
import matplotlib.image as mpimg
import numpy as np
import matplotlib.pyplot as plt 
from tqdm import tqdm

img_datapath='GL_data/images'#原图
mask_datapath='GL_data/mask'#对应的mask-0,255二值

for _, _, files in os.walk(img_datapath):  #批量化处理
    for f in tqdm(files):
        img = cv2.imread(os.path.join(img_datapath, f), 1)
        mask = cv2.imread(os.path.join(mask_datapath, f), 0)

        contours, _ = cv2.findContours(mask, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)#寻找轮廓
        cv2.drawContours(img, contours, -1, (0, 0, 255), 2)#绘制轮廓

        img = img[:, :, ::-1]
        img[..., 2] = np.where(mask == 1, 255, img[..., 2])

        # plt.imshow(img)
        # plt.show()

        img = Image.fromarray(img)
        img.save('GL_data/c_img'+'/'+f)#保存“勾勒形状”图片
100%|██████████| 1/1 [00:00<00:00,  6.59it/s]
0it [00:00, ?it/s]

三、mask之“图像融合”

当然我们还可以使用Opencv:cv2.addWeighted() 图像融合对image和mask进行融合而不进行“勾勒“。融合的方式有两种:一种是OpenCV方式;一种是PIL方式。

下面是融合的效果:

OpenCV方式

图像分割预处理简单实用技巧

PIL方式

图像分割预处理简单实用技巧

可以看到其实融合的效果是一样的

# OpenCV方式:
import cv2
import os
from tqdm import tqdm

img_datapath='RH_data/images'#原图
mask_datapath='RH_data/mask'#对应的mask-0,255二值

#addWeighted()函数是将两张相同大小,相同类型的图片(叠加)线性融合的函数,可以实现图片的特效。

for _, _, files in os.walk(img_datapath):  #批量化处理
    for f in tqdm(files):
        image = cv2.imread(os.path.join(img_datapath, f))
        mask = cv2.imread(os.path.join(mask_datapath, f))
        mask_img = cv2.addWeighted(image, 0.7, mask, 0.3, 10) #image的权重为0.7,mask的权重为0.3
        #相当于对图片做一个亮度调整,gamma为0的话代表不调整,gamma为10,图片每个像素加上10,相当于提高亮度,这个值也可以是负的,即降低亮度。
        cv2.imwrite('RH_data/r_img'+'/'+f, mask_img)

100%|██████████| 1/1 [00:00<00:00, 32.60it/s]
0it [00:00, ?it/s]
# PIL方式:

import cv2
import os
from tqdm import tqdm
import numpy as np
from PIL import Image

img_datapath='RH_data/images'#原图
mask_datapath='RH_data/mask'#对应的mask-0,255二值

for _, _, files in os.walk(img_datapath):  #批量化处理
    for f in tqdm(files):
        image = Image.open(os.path.join(img_datapath, f))
        mask = Image.open(os.path.join(mask_datapath, f))
        mask_img = Image.blend(image.convert('RGBA'),
                            mask.convert('RGBA'), 0.3) #数值可以自行调整,数值越大,mask占比越大
        mask_img.save('RH_data/r_img1'+'/'+f)
100%|██████████| 1/1 [00:00<00:00,  4.75it/s]
0it [00:00, ?it/s]

四、mask之“简单上色”

我们此前用的分割后的图片都是单通道图像,因此没有色彩。如果要给分割后的图像显示出颜色,那就必须把原来图像的单通道变成三通道,也就是我们常说的rgb通道。首先我们要把单通道改为rgb通道,然后再对我们的rgb通道进行赋值(上色),也就是对我们矩阵里面的数字进行修改即可。

PS:数据来源于胸部x光肺部分割数据,并进行了一定的处理后再展示使用。【部分展示】

原来的mask,(0,255)二值:

图像分割预处理简单实用技巧

可以根据个人喜好对原来的mask进行上色(如红色,绿色等)

图像分割预处理简单实用技巧

图像分割预处理简单实用技巧

当然我们也可以改变背景的颜色,例如背景是绿色,目标是红色:

图像分割预处理简单实用技巧

import numpy as np
from PIL import Image


def generate_rgb(gray_array):
    print('gray_array.shape', gray_array.shape) #打印出灰度图的shape
    x, y = gray_array.shape 
    rgb = np.zeros([x, y, 3], int) #扩充为rgb通道
    # gray_array = np.array(gray_array) #化为矩阵形式
    for i in range(x):
        for j in range(y):
            if gray_array[i, j] == 255:  #目标体(原来是白色)
                rgb[i, j, 0] = 255       #rgb通道的,r(红色)通道
                rgb[i, j, 1] = 0         #rgb通道的,g(绿色)通道
                rgb[i, j, 2] = 0         #rgb通道的,b(蓝色)通道

#大家可以根据自己喜欢颜色进行对三通道进行赋值(即调色)

            if gray_array[i, j] == 0 :   #背景(原来是黑色)
                rgb[i, j, 0] = 0         #rgb通道的,r(红色)通道
                rgb[i, j, 1] = 255       #rgb通道的,g(绿色)通道
                rgb[i, j, 2] = 0         #rgb通道的,b(蓝色)通道
    
    return rgb

mask_datapath='color_data/mask'#对应的mask-0,255二值

for _, _, files in os.walk(mask_datapath):  #批量化处理
    for f in tqdm(files):
        source_img = Image.open(os.path.join(mask_datapath, f)) #读取照片
        source_img = np.array(source_img)    #化为矩阵
        img = generate_rgb(source_img)   #调用generate_rgb函数
        img = Image.fromarray(np.uint8(img))
        img.save('color_data/color_mask'+'/'+f)
  0%|          | 0/1 [00:00<?, ?it/s]

gray_array.shape (512, 512)


100%|██████████| 1/1 [00:00<00:00,  1.08it/s]
0it [00:00, ?it/s]

拓展

我们可以把三通道分开来更好了解图像的特征

from PIL import Image
import matplotlib.pyplot as plt

img=Image.open('color_data/color_mask/2.png') #打开图像
gray=img.convert('L')   #转换成灰度
r,g,b=img.split()   #分离三通道
pic=Image.merge('RGB',(r,g,b)) #合并三通道

#原图
plt.figure("beauty")
plt.subplot(2,3,1), plt.title('origin')
plt.imshow(img)
#plt.axis('off') 坐标轴
#python中subplot的用法    subplot是python中子图的绘制 ,subplot(2,3,2)其中是两行三列,2表示绘制第二个

#灰度图
plt.subplot(2,3,2), plt.title('gray')
plt.imshow(gray,cmap='gray'),plt.axis('off')

#三通道合并图
plt.subplot(2,3,3), plt.title('merge')
plt.imshow(pic)
plt.axis('off')

#只有r通道图,因为上个程序rgb[i, j, 0] 设置了 255的时候为255,0的时候为0 所以就会显示为常用的0,255二值”黑白“图
plt.subplot(2,3,4), plt.title('r')
plt.imshow(r,cmap='gray')
plt.axis('off')

#只有g通道图,因为上个程序rgb[i, j, 1] 设置了 255的时候为0,0的时候为255 所以就会和上面r通道的图颜色相反
plt.subplot(2,3,5), plt.title('g')
plt.imshow(g,cmap='gray')
plt.axis('off')

#只有b通道图,因为上个程序rgb[i, j, 2] 设置了 255的时候为0,0的时候为0 ,因为取值都为0,所以是一张纯黑的图
plt.subplot(2,3,6), plt.title('b')
plt.imshow(b,cmap='gray')
plt.axis('off')
plt.show()

图像分割预处理简单实用技巧

五、mask之“还原色彩”

把彩色的mask还原成0,255二值“黑白照”

效果如下:

原图:

图像分割预处理简单实用技巧

转换后:

图像分割预处理简单实用技巧

import matplotlib.pyplot as plt
import cv2
import numpy as np
color_img = cv2.imread("HY_colordata/1.jpg")#彩色照片
gray_image = cv2.cvtColor(color_img, cv2.COLOR_BGR2GRAY)#彩色照片转灰度照片
gray_image = np.asarray(gray_image).copy()
gray_image[gray_image > 100 ] = 255
plt.imshow(gray_image,cmap='Greys')
olor_img, cv2.COLOR_BGR2GRAY)#彩色照片转灰度照片
gray_image = np.asarray(gray_image).copy()
gray_image[gray_image > 100 ] = 255
plt.imshow(gray_image,cmap='Greys')
plt.show()

图像分割预处理简单实用技巧

总结

非常感谢JavaRoom大佬对第四步骤的指导以及帮助,才使得项目更加的完善

以上就是最近刚学到的图像分割预处理一些实用技巧,希望能帮到刚入门的你们。感兴趣方向是不是可以新增一个图像分割了,嘿嘿…

关于作者

  • 感兴趣的方向为:目标检测,图像分类,图像分割等。
  • 不定期更新感兴趣的CV比赛baseline等
  • 个人荣誉:飞桨开发者技术专家(PPDE)
  • 欢迎大家有问题留言交流学习,共同进步成长。
上一篇:利用dlib库实现人脸识别


下一篇:Springboot第一次访问慢,自身缺陷问题?