搭建多场景人脸口罩检测系统-基于阿里云视觉智能平台

这次的试验目的是将用户上传的图片（例如在公共场合的监控照片）进行识别，返回当前图片中的人数、（人）活体的可信度、佩戴口罩的人数以及其占比、未佩戴口罩的人物坐标。可以设置适当的阀值，当达到一定阀值（占比）时进行警告或者通知等处理。



阿里云控制台获取accesskey

image.png

不管你调用任何的能力，基本都需要获取accesskey。
，去阿里云视觉开放平台查看接口文档

这次试验一共使用了阿里云视觉开放平台的两个能力，分别是：
人脸检测定位：返回图片中人脸数量，人脸坐标；

使用OpenCV切割人脸（无阿里云相关接口，所以通过本地实现）：通过人脸坐标进行裁剪图片，以便下一步检测口罩；
人脸口罩识别：识别输入图片中的人脸是否有戴口罩。

预计效果：
输出图片中的人脸数以及可信度，输出未戴口罩的人数以及可信度，未戴口罩的人数达到一定占比对用户进行通知。

第三步，编写代码（高级CV工程师又上线了）

1.导入需要使用的模块，以及阿里云视觉相关的模块

import os
import json
import time
from urllib import request
import numpy as np
import cv2

from viapi.fileutils import FileUtils
from aliyunsdkcore.client import AcsClient
from aliyunsdkcore.acs_exception.exceptions import ClientException
from aliyunsdkcore.acs_exception.exceptions import ServerException
from aliyunsdkfacebody.request.v20191230.DetectFaceRequest import DetectFaceRequest
from aliyunsdkfacebody.request.v20191230.DetectMaskRequest import DetectMaskRequest

2.出于安全以及模块化的考虑，将阿里云的AccessKey和AccessSecret写入配置文件，需要的时候通过函数调用，代码如下。

获取accesskeyId和AccessSecret

def get_access():

with open(r'accesskey.conf', 'r') as f:
    KeyId, Secret = f.read().split()  #split切割
    return KeyId, Secret

3.由于将图片交由阿里云视觉平台处理需要使用阿里云OSS，在阿里云OSS的文档中有关于各大编程语言的上传下载等操作的sdk，但是出于懒惰的考虑，我决定使用阿里云视觉平台提供的临时OSS，默认region就是上海的，而上传图片只需要几行代码就搞定了，简直完美；由于在调用的时候需要区分是上传的是本地文件还是图片URL，所以我多加了一个参数‘bool’，用于方便上传本地或者网络的图片，具体代码如下。

上传图片到临时OSS

def uploadImage_2_oss(accessKeyId, accessSecret, uploadUrl, bool):

file_utils = FileUtils(accessKeyId, accessSecret)
oss_url = file_utils.get_oss_url(uploadUrl,"jpg",bool)
return (oss_url)
# oss_url = file_utils.get_oss_url("/home/xxx.mp4","mp4",True)
# print(oss_url)

4.准备就绪，编写代码调用阿里云视觉平台的人脸检测定位能力，对通过上传到临时OSS的图片进行处理，并格式化返回的结果，因为我们不需要一些无用的返回结果，只需要返回FaceProbabilityList以及Credibility和FaceCoordinate，对于人脸坐标，其实后面还有的用处，返回json数据以及Face_Number，具体代码如下。

人脸检测并返回人脸数量、可信度、人脸坐标

def Face_Number_Check(accessKeyId, accessSecret, oss_url):

client = AcsClient(accessKeyId, accessSecret, 'cn-shanghai')
request_Face_Number = DetectFaceRequest()
request_Face_Number.set_accept_format('json')
request_Face_Number.set_ImageURL(oss_url)
response_Face_Number = client.do_action_with_exception(request_Face_Number)
response_Face_Number = str(response_Face_Number, encoding='utf-8')
res_Face_Data_List = json.loads(response_Face_Number)
Face_Number = len(res_Face_Data_List['Data']['FaceProbabilityList'])
Face_Credibility = res_Face_Data_List['Data']['FaceProbabilityList']
#返回人脸矩形框，分别是[left, top, width, height]
face_Coordinate = list_split(res_Face_Data_List['Data']['FaceRectangles'],4) 
C_C_json = {'Coordinate':[], 'Credibility':[]}
# class1_value.append ('检测到图像中的人脸数共有 %d 个' %Face_Number)
for i in range(Face_Number):
    C_C_json['Coordinate'].append (face_Coordinate[i])
    C_C_json['Credibility'].append ('%.2f%%' %(Face_Credibility[i]*100))
    # print (face_Coordinate[i])
return C_C_json, Face_Number

5.由于上方拿到了图片中所有的FaceCoordinate，我们在格式化之前对列表进行分割，以便后续定位切割方便使用，代码如下。

定义一个数组分割函数，对应一张人脸四个坐标

def list_split(items, n):

return [items[i:i+n] for i in range(0, len(items), n)]

6.接下来就要通过本地的处理将图片中的人脸切割出来，我使用的是cv2进行处理的，所以上方格式化的Coordinate就有了用处，切割出来之后临时存入本地即刻上传临时OSS，并在完成后删除切割的图片，将上传好的人脸图片链接写入list，最后返回一个OSS_IMG_List，方便需要的时候使用。代码如下。

图像人脸分割

def Face_Mask_Recognition(oss_url,ccjson):

oss_url_list = []
for i in range(len(ccjson['Coordinate'])):
    x0 = ccjson['Coordinate'][i][0]
    y0 = ccjson['Coordinate'][i][1]
    x1 = ccjson['Coordinate'][i][2] + x0
    y1 = ccjson['Coordinate'][i][3] + y0

    resp = request.urlopen(oss_url)
    image = np.asarray(bytearray(resp.read()), dtype="uint8")
    image = cv2.imdecode(image, cv2.IMREAD_COLOR)
    cropped = image[y0:y1, x0:x1]
    path = "./images/" + str(i) + ".jpg"
    print ('一共%d张人脸图片，正在分割第%d张图片...' %(len(ccjson['Coordinate']), i+1))
    cv2.imwrite(path, cropped)

    #上传至region为上海的临时OSS并返回链接
    uploadPath = path
    oss_url_list.append (uploadImage_2_oss(accessKeyId, accessSecret, uploadPath, True))
    #上传完毕删除文件
    os.remove(path)
print ('分割完毕，准备进行口罩佩戴识别...')
print ('-'*80+'\n')
return oss_url_list

7.有了图片中的人脸图片的OSS链接之后，通过调用阿里云视觉平台的人脸口罩识别能力，对切割好的人脸进行处理识别，对处理的结果进行简单的处理之后，便可以格式化输出了。代码如下。

人脸口罩识别

def Mask_Detection(accessKeyId, accessSecret, oss_url_list):

client = AcsClient(accessKeyId, accessSecret, 'cn-shanghai')
request_Mask = DetectMaskRequest()
request_Mask.set_accept_format('json')

res_Mask_List = []
for i in range(len(oss_url_list)):
    print ('正在识别图像中第%d个人脸口罩佩戴情况...' %(i+1))
    request_Mask.set_ImageURL(oss_url_list[i])
    response_Mask = client.do_action_with_exception(request_Mask)
    response_Mask = str(response_Mask, encoding='utf-8')
    res_Mask = json.loads(response_Mask)['Data']['Mask']
    res_Mask_List.append (res_Mask)
    time.sleep(0.5)
print ('识别完毕，准备格式化输出结果...')
print ('-'*80+'\n')
return res_Mask_List

8.由于对于口罩识别的API返回的数据并不是我们想要的，没有戴口罩返回1，戴了返回2，通过简单的转换之后，就可以显示成百分百了，不过只有100%和0%，不过我不尴尬，尴尬的是阿里云，谁叫它只返回1或者2，即戴了或者没戴，代码如下。

转换口罩识别结果

def numlist2str(islist):

for x in range(len(islist)):
    if islist[x] == 1:
        islist[x] = '0%'
    else:
        islist[x] = '100%'
return islist

9.口说无凭，你说图片有几个人脸就几个人脸吗？你说戴了口罩就戴了口罩？为了更直观的表达，还是把原图读取出来，并对人脸进行圈圈，就是画个框框，（本来想要做成戴了口罩的用绿框框，没戴的用红框框，但是由于我比较懒，加上没有时间，以及代码写的太乱了，就不搞了，有兴趣的小伙伴可以搞一下，不难的）

读取检测的图片，并通过cv2对人脸进行标记，最后显示出来

def showimg():

#显示检测的图片
resp = request.urlopen(oss_url)
image = np.asarray(bytearray(resp.read()), dtype="uint8")
image = cv2.imdecode(image, cv2.IMREAD_COLOR)

# 输入参数分别为图像、左上角坐标、右下角坐标、颜色数组、粗细
for x in range(len(ccjson['Coordinate'])):
    x0 = ccjson['Coordinate'][x][0]
    y0 = ccjson['Coordinate'][x][1]
    x1 = ccjson['Coordinate'][x][2] + x0
    y1 = ccjson['Coordinate'][x][3] + y0
    cv2.rectangle(image, (x0,y0), (x1,y1), (0,0,255), 2)

cv2.namedWindow("image" , cv2.WINDOW_NORMAL)
cv2.imshow('image', image)
cv2.waitKey(0)

10.好了，到最后一步了，写个入口，调用下把子函数，输出下需要的数据就好了。代码如下。

if '__main__' == __name__:

uploadUrl = input('输入需要检测人脸的图片链接（路径）后回车：\n')
accessKeyId, accessSecret = get_access()
oss_url = uploadImage_2_oss(accessKeyId, accessSecret, uploadUrl, False)

#分割符
print ('-'*80+'\n')

#人脸数量及坐标的结果
ccjson, Face_Number = Face_Number_Check(accessKeyId, accessSecret, oss_url)
# print (len(ccjson['Coordinate']))

#分割图片中的人脸并返回分割好的图片链接
oss_url_list = Face_Mask_Recognition(oss_url,ccjson)

#识别人脸是否佩戴口罩结果
result_Mask = Mask_Detection(accessKeyId, accessSecret, oss_url_list)
result_Mask = numlist2str(result_Mask)

for x in range(len(ccjson['Coordinate'])):
    print ('检测到第%d张人脸坐标为%s\t人脸概率为%s\t佩戴口罩概率为%s' %(x+1, ccjson['Coordinate'][x], ccjson['Credibility'][x], result_Mask[x]))

#标记图片中人脸
showimg()