目的

• 试验OpenCV的实时图像捕获
• 实时窗口内对每一帧的图片进行处理
• 识别视频窗口内的人脸，并用一个矩形画出来

人脸检测方法有许多，比如opencv自带的人脸Haar特征分类器和dlib人脸检测方法等。

对于opencv的人脸检测方法，有点是简单，快速；存在的问题是人脸检测效果不好。如图3-1所示，正面/垂直/光线较好的人脸，该方法可以检测出来，而侧面/歪斜/光线不好的人脸，无法检测。因此，该方法不适合现场应用。对于dlib人脸检测方法 ，效果好于opencv的方法，但是检测力度也难以达到现场应用标准。

本文中，我们采用了基于深度学习方法的mtcnn人脸检测系统mtcnn人脸检测方法对自然环境中光线，角度和人脸表情变化更具有鲁棒性，人脸检测效果更好；同时，内存消耗不大，可以实现实时人脸检测。本文中采用mtcnn是基于python和tensorflow的实现（代码来自于davidsandberg，caffe实现代码参见：kpzhang93）。mtcnn检测出人脸后，对人脸进行剪切并resize为（96,96，3）作为facenet输入，如图3-3所示。

设计思路：

通过OpenCV打开本机上的摄像头

cameraCapture = cv2.VideoCapture(0)

开始第一帧图像的捕获，这个方法用来测试当前的摄像头是否可用

success, frame = cameraCapture.read()

把我在“OpenCV初步”中讲述的从静态图片中识别人脸的代码提取出来成为一个show_face函数:

def show_faces (img) :
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)  # 图像灰化
    faces = face_cascade.detectMultiScale(gray, 1.3, 5)  # 识别人脸
    for (x, y, w, h) in faces:
        img = cv2.rectangle(img, (x, y), (x + w, y + h), (255, 0, 0), 2)  # 在人脸区域画一个正方形出来
    cv2.imshow("Camera", img)

如果第一帧图像捕获成功则可以认为本机的摄像头可以，并建立一个无限循环（退出条件为敲击键盘)，继续对下一帧图像进行捕获,然后显示到观察窗口上。

while success and cv2.waitKey(1) == -1:
    success, frame = cameraCapture.read()
    show_faces(frame)

以下为本例的全部代码：

# coding=utf-8

import cv2
img_size = 128
face_cascade = cv2.CascadeClassifier(r'./data/haarcascades/haarcascade_frontalface_default.xml')

# 打开摄像头并开始读取画面
cameraCapture = cv2.VideoCapture(0)
success, frame = cameraCapture.read()

def show_faces (img) :
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)  # 图像灰化
    faces = face_cascade.detectMultiScale(gray, 1.3, 5)  # 识别人脸
    for (x, y, w, h) in faces:
        img = cv2.rectangle(img, (x, y), (x + w, y + h), (255, 0, 0), 2)  # 在人脸区域画一个正方形出来
    cv2.imshow("Camera", img)

while success and cv2.waitKey(1) == -1:
    success, frame = cameraCapture.read()
    show_faces(frame)

cameraCapture.release() # 关闭摄像头
cv2.destroyAllWindows() # 释放所有被打开的窗口资源