搭建多场景人脸口罩检测

搭建多场景人脸口罩检测系统-基于阿里云视觉智能平台

这次的试验目的是将用户上传的图片(例如在公共场合的监控照片)进行识别,返回当前图片中的人数、(人)活体的可信度、佩戴口罩的人数以及其占比、未佩戴口罩的人物坐标。可以设置适当的阀值,当达到一定阀值(占比)时进行警告或者通知等处理。
搭建多场景人脸口罩检测
搭建多场景人脸口罩检测
搭建多场景人脸口罩检测
阿里云控制台获取accesskey

image.png

不管你调用任何的能力,基本都需要获取accesskey。
,去阿里云视觉开放平台查看接口文档

这次试验一共使用了阿里云视觉开放平台的两个能力,分别是:
人脸检测定位:返回图片中人脸数量,人脸坐标;

使用OpenCV切割人脸(无阿里云相关接口,所以通过本地实现):通过人脸坐标进行裁剪图片,以便下一步检测口罩;
人脸口罩识别:识别输入图片中的人脸是否有戴口罩。

预计效果:
输出图片中的人脸数以及可信度,输出未戴口罩的人数以及可信度,未戴口罩的人数达到一定占比对用户进行通知。

第三步,编写代码(高级CV工程师又上线了)

1.导入需要使用的模块,以及阿里云视觉相关的模块

import os
import json
import time
from urllib import request
import numpy as np
import cv2

from viapi.fileutils import FileUtils
from aliyunsdkcore.client import AcsClient
from aliyunsdkcore.acs_exception.exceptions import ClientException
from aliyunsdkcore.acs_exception.exceptions import ServerException
from aliyunsdkfacebody.request.v20191230.DetectFaceRequest import DetectFaceRequest
from aliyunsdkfacebody.request.v20191230.DetectMaskRequest import DetectMaskRequest

2.出于安全以及模块化的考虑,将阿里云的AccessKey和AccessSecret写入配置文件,需要的时候通过函数调用,代码如下。

获取accesskeyId和AccessSecret

def get_access():

with open(r'accesskey.conf', 'r') as f:
    KeyId, Secret = f.read().split()  #split切割
    return KeyId, Secret

3.由于将图片交由阿里云视觉平台处理需要使用阿里云OSS,在阿里云OSS的文档中有关于各大编程语言的上传下载等操作的sdk,但是出于懒惰的考虑,我决定使用阿里云视觉平台提供的临时OSS,默认region就是上海的,而上传图片只需要几行代码就搞定了,简直完美;由于在调用的时候需要区分是上传的是本地文件还是图片URL,所以我多加了一个参数‘bool’,用于方便上传本地或者网络的图片,具体代码如下。

上传图片到临时OSS

def uploadImage_2_oss(accessKeyId, accessSecret, uploadUrl, bool):

file_utils = FileUtils(accessKeyId, accessSecret)
oss_url = file_utils.get_oss_url(uploadUrl,"jpg",bool)
return (oss_url)
# oss_url = file_utils.get_oss_url("/home/xxx.mp4","mp4",True)
# print(oss_url)

4.准备就绪,编写代码调用阿里云视觉平台的人脸检测定位能力,对通过上传到临时OSS的图片进行处理,并格式化返回的结果,因为我们不需要一些无用的返回结果,只需要返回FaceProbabilityList以及Credibility和FaceCoordinate,对于人脸坐标,其实后面还有的用处,返回json数据以及Face_Number,具体代码如下。

人脸检测并返回人脸数量、可信度、人脸坐标

def Face_Number_Check(accessKeyId, accessSecret, oss_url):

client = AcsClient(accessKeyId, accessSecret, 'cn-shanghai')
request_Face_Number = DetectFaceRequest()
request_Face_Number.set_accept_format('json')
request_Face_Number.set_ImageURL(oss_url)
response_Face_Number = client.do_action_with_exception(request_Face_Number)
response_Face_Number = str(response_Face_Number, encoding='utf-8')
res_Face_Data_List = json.loads(response_Face_Number)
Face_Number = len(res_Face_Data_List['Data']['FaceProbabilityList'])
Face_Credibility = res_Face_Data_List['Data']['FaceProbabilityList']
#返回人脸矩形框,分别是[left, top, width, height]
face_Coordinate = list_split(res_Face_Data_List['Data']['FaceRectangles'],4) 
C_C_json = {'Coordinate':[], 'Credibility':[]}
# class1_value.append ('检测到图像中的人脸数共有 %d 个' %Face_Number)
for i in range(Face_Number):
    C_C_json['Coordinate'].append (face_Coordinate[i])
    C_C_json['Credibility'].append ('%.2f%%' %(Face_Credibility[i]*100))
    # print (face_Coordinate[i])
return C_C_json, Face_Number

5.由于上方拿到了图片中所有的FaceCoordinate,我们在格式化之前对列表进行分割,以便后续定位切割方便使用,代码如下。

定义一个数组分割函数,对应一张人脸四个坐标

def list_split(items, n):

return [items[i:i+n] for i in range(0, len(items), n)]

6.接下来就要通过本地的处理将图片中的人脸切割出来,我使用的是cv2进行处理的,所以上方格式化的Coordinate就有了用处,切割出来之后临时存入本地即刻上传临时OSS,并在完成后删除切割的图片,将上传好的人脸图片链接写入list,最后返回一个OSS_IMG_List,方便需要的时候使用。代码如下。
搭建多场景人脸口罩检测
搭建多场景人脸口罩检测

图像人脸分割

def Face_Mask_Recognition(oss_url,ccjson):

oss_url_list = []
for i in range(len(ccjson['Coordinate'])):
    x0 = ccjson['Coordinate'][i][0]
    y0 = ccjson['Coordinate'][i][1]
    x1 = ccjson['Coordinate'][i][2] + x0
    y1 = ccjson['Coordinate'][i][3] + y0

    resp = request.urlopen(oss_url)
    image = np.asarray(bytearray(resp.read()), dtype="uint8")
    image = cv2.imdecode(image, cv2.IMREAD_COLOR)
    cropped = image[y0:y1, x0:x1]
    path = "./images/" + str(i) + ".jpg"
    print ('一共%d张人脸图片,正在分割第%d张图片...' %(len(ccjson['Coordinate']), i+1))
    cv2.imwrite(path, cropped)

    #上传至region为上海的临时OSS并返回链接
    uploadPath = path
    oss_url_list.append (uploadImage_2_oss(accessKeyId, accessSecret, uploadPath, True))
    #上传完毕删除文件
    os.remove(path)
print ('分割完毕,准备进行口罩佩戴识别...')
print ('-'*80+'\n')
return oss_url_list

7.有了图片中的人脸图片的OSS链接之后,通过调用阿里云视觉平台的人脸口罩识别能力,对切割好的人脸进行处理识别,对处理的结果进行简单的处理之后,便可以格式化输出了。代码如下。

人脸口罩识别

def Mask_Detection(accessKeyId, accessSecret, oss_url_list):

client = AcsClient(accessKeyId, accessSecret, 'cn-shanghai')
request_Mask = DetectMaskRequest()
request_Mask.set_accept_format('json')

res_Mask_List = []
for i in range(len(oss_url_list)):
    print ('正在识别图像中第%d个人脸口罩佩戴情况...' %(i+1))
    request_Mask.set_ImageURL(oss_url_list[i])
    response_Mask = client.do_action_with_exception(request_Mask)
    response_Mask = str(response_Mask, encoding='utf-8')
    res_Mask = json.loads(response_Mask)['Data']['Mask']
    res_Mask_List.append (res_Mask)
    time.sleep(0.5)
print ('识别完毕,准备格式化输出结果...')
print ('-'*80+'\n')
return res_Mask_List

8.由于对于口罩识别的API返回的数据并不是我们想要的,没有戴口罩返回1,戴了返回2,通过简单的转换之后,就可以显示成百分百了,不过只有100%和0%,不过我不尴尬,尴尬的是阿里云,谁叫它只返回1或者2,即戴了或者没戴,代码如下。

转换口罩识别结果

def numlist2str(islist):

for x in range(len(islist)):
    if islist[x] == 1:
        islist[x] = '0%'
    else:
        islist[x] = '100%'
return islist

9.口说无凭,你说图片有几个人脸就几个人脸吗?你说戴了口罩就戴了口罩?为了更直观的表达,还是把原图读取出来,并对人脸进行圈圈,就是画个框框,(本来想要做成戴了口罩的用绿框框,没戴的用红框框,但是由于我比较懒,加上没有时间,以及代码写的太乱了,就不搞了,有兴趣的小伙伴可以搞一下,不难的)

读取检测的图片,并通过cv2对人脸进行标记,最后显示出来

def showimg():

#显示检测的图片
resp = request.urlopen(oss_url)
image = np.asarray(bytearray(resp.read()), dtype="uint8")
image = cv2.imdecode(image, cv2.IMREAD_COLOR)

# 输入参数分别为图像、左上角坐标、右下角坐标、颜色数组、粗细
for x in range(len(ccjson['Coordinate'])):
    x0 = ccjson['Coordinate'][x][0]
    y0 = ccjson['Coordinate'][x][1]
    x1 = ccjson['Coordinate'][x][2] + x0
    y1 = ccjson['Coordinate'][x][3] + y0
    cv2.rectangle(image, (x0,y0), (x1,y1), (0,0,255), 2)

cv2.namedWindow("image" , cv2.WINDOW_NORMAL)
cv2.imshow('image', image)
cv2.waitKey(0)

10.好了,到最后一步了,写个入口,调用下把子函数,输出下需要的数据就好了。代码如下。

if '__main__' == __name__:

uploadUrl = input('输入需要检测人脸的图片链接(路径)后回车:\n')
accessKeyId, accessSecret = get_access()
oss_url = uploadImage_2_oss(accessKeyId, accessSecret, uploadUrl, False)

#分割符
print ('-'*80+'\n')

#人脸数量及坐标的结果
ccjson, Face_Number = Face_Number_Check(accessKeyId, accessSecret, oss_url)
# print (len(ccjson['Coordinate']))

#分割图片中的人脸并返回分割好的图片链接
oss_url_list = Face_Mask_Recognition(oss_url,ccjson)
#识别人脸是否佩戴口罩结果
result_Mask = Mask_Detection(accessKeyId, accessSecret, oss_url_list)
result_Mask = numlist2str(result_Mask)

for x in range(len(ccjson['Coordinate'])):
    print ('检测到第%d张人脸坐标为%s\t人脸概率为%s\t佩戴口罩概率为%s' %(x+1, ccjson['Coordinate'][x], ccjson['Credibility'][x], result_Mask[x]))
#标记图片中人脸
showimg()
上一篇:视觉智能开放平台通过函数计算赋能实现多人脸口罩识别!


下一篇:微软Silverlight Client for Facebook发布