Python项目开发实例之眨眼检测实验报告_spyder眨眼检测

一、实验要求：

检测眨眼次数。要求做成一个pyqt5 GUI 界面，点击按键“开始”时，就开始显示视频帧，并检测图像中是否有人的眨眼动作，有眨眼时将眨眼次数加1，并显示在图像的左上角位置。点击按键“停止”时，就停止显示视频帧。

二、设计思路描述

为了构建我们的眨眼检测器，我们将计算一个称为 眼睛纵横比（EAR） 的指标。当确定视频流中是否发生眨眼时，我们需要计算眼睛的长宽比。如果眼睛长宽比低于一定的阈值，然后超过阈值，那么我们将记录一个“眨眼” - EYE_AR_THRESH 是这个阈值，我们默认它的值为 0.3，您也可以为自己的应用程序调整它。另外，我们有一个重要的常量，EYE_AR_CONSEC_FRAME ，这个值被设置为 3，表明眼睛长宽比小于3时，接着三个连续的帧一定发生眨眼动作。同样，取决于视频的帧处理吞吐率，数字大小可以自己调控。

1. 利用opencv首先对每一帧进行人脸检测
2. 检测眼睛的区域的六个特征点，计算EAR，这些点在眼睛开和闭时有所不同，可用来检测
3. 设置阈值，比较EAR和阈值的大小，当EAR大小小于阈值时，判定接连若干帧一定发生眨眼动作，使计数器数量加一

三、关键代码

class Wink_Window(QtWidgets.QWidget):
    def __init__(self, parent=None):
        super(Wink_Window, self).__init__(parent)
        self.timer_camera = QtCore.QTimer()
        self.cap = cv2.VideoCapture()
        self.cam_num = 0
        self.set_ui()
        self.slot_init()
        self.__flag_work = 0
        self.x = 0
        self.count = 0
        # 调用人脸特征点检测模型
        self.shape_detector_path = '../shape_predictor_68_face_landmarks.dat'
        # 人脸检测器
        self.detector = dlib.get_frontal_face_detector()
        # 人脸特征点检测器
        self.predictor = dlib.shape_predictor(self.shape_detector_path)
        self.EYE_AR_THRESH = 0.35  # 设置阈值
        # 当EAR大小小于阈值时，接连多少帧一定发生眨眼动作
self.EYE_AR_CONSEC_FRAMES = 8  
        # 对应特征点的序号
        self.RIGHT_EYE_START = 37 - 1
        self.RIGHT_EYE_END = 42 - 1
        self.LEFT_EYE_START = 43 - 1
        self.LEFT_EYE_END = 48 - 1
        self.face =True

    def set_ui(self):
        self.__layout_main = QtWidgets.QHBoxLayout()
        self.__layout_fun_button = QtWidgets.QVBoxLayout()
        self.__layout_data_show = QtWidgets.QVBoxLayout()
        self.button_open_camera = QtWidgets.QPushButton(u'开始检测')
        self.button_close = QtWidgets.QPushButton(u'停止检测')
        # Button 的颜色修改
        button_color = [self.button_open_camera, self.button_close]
        for i in range(2):
            button_color[i].setStyleSheet("QPushButton{color:black}"
                                          "QPushButton:hover{color:red}"
                                          "QPushButton{background-color:rgb(78,255,255)}"
                                          "QPushButton{border:2px}"
                                          "QPushButton{border-radius:10px}"
                                          "QPushButton{padding:2px 5px}")
        # move()方法移动窗口在屏幕上的位置到x = 500，y = 300坐标。
        self.move(500, 300)
        # 信息显示
        self.button_open_camera.setMinimumHeight(50)
        self.button_close.setMinimumHeight(50)
        self.label_show_camera = QtWidgets.QLabel()
        self.label_move = QtWidgets.QLabel()
        self.label_move.setFixedSize(100, 50)
        self.label_show_camera.setFixedSize(641, 481)
        self.label_show_camera.setAutoFillBackground(False)
        self.__layout_fun_button.addWidget(self.button_open_camera)
        self.__layout_fun_button.addWidget(self.button_close)
        self.__layout_fun_button.addWidget(self.label_move)
        self.__layout_main.addLayout(self.__layout_fun_button)
        self.__layout_main.addWidget(self.label_show_camera)
        self.setLayout(self.__layout_main)
        self.label_move.raise_()
        self.setWindowTitle(u'眨眼检测')

    def slot_init(self):
        self.button_open_camera.clicked.connect(self.button_open_camera_click)
        self.timer_camera.timeout.connect(self.show_camera)
        self.button_close.clicked.connect(self.close)

    def button_open_camera_click(self):
        if self.timer_camera.isActive() == False:
            self.frame_counter = 0  # 连续帧计数
            self.blink_counter = 0  # 眨眼计数
            flag = self.cap.open(self.cam_num)
            if flag == False:  # 错误警告
                msg = QtWidgets.QMessageBox.warning(self, u"⚠警告", u"请检测相机是否连接正确",
                                                    buttons=QtWidgets.QMessageBox.Ok,
                                                    defaultButton=QtWidgets.QMessageBox.Ok)
            else:
                self.timer_camera.start(30)
                self.button_open_camera.setText(u'关闭摄像头')
        else:
            self.timer_camera.stop()
            self.cap.release()
            self.label_show_camera.clear()
            self.button_open_camera.setText(u'打开摄像头')

    def show_camera(self):
        flag, self.image = self.cap.read()
        if self.face:
             self.detect_eyes()
        self.show = cv2.resize(self.image, (640, 480))
        self.show = cv2.cvtColor(self.show, cv2.COLOR_BGR2RGB)
        showImage = QtGui.QImage(self.show.data, self.show.shape[1],
                                 self.show.shape[0],
QtGui.QImage.Format_RGB888)
        self.label_show_camera.setPixmap(QtGui.QPixmap.fromImage(showImage))

    def detect_eyes(self):  #寻找并绘出两眼轮廓
        gray = cv2.cvtColor(self.image, cv2.COLOR_BGR2GRAY)
        rects = self.detector(gray, 0)  # 人脸检测
        for rect in rects:  # 遍历每一个人脸
            shape = self.predictor(gray, rect)  # 检测特征点
            points = face_utils.shape_to_np(shape)
            leftEye = points[self.LEFT_EYE_START:self.LEFT_EYE_END + 1]  # 取出左眼对应的特征点
            rightEye = points[self.RIGHT_EYE_START:self.RIGHT_EYE_END + 1]  # 取出右眼对应的特征点
            leftEAR = self.eye_aspect_ratio(leftEye)  # 计算左眼EAR
            rightEAR = self.eye_aspect_ratio(rightEye)  # 计算右眼EAR
            ear = (leftEAR + rightEAR) / 2.0  # 求左右眼EAR的均值
            leftEyeHull = cv2.convexHull(leftEye)  # 寻找左眼轮廓
            rightEyeHull = cv2.convexHull(rightEye)  # 寻找右眼轮廓
            cv2.drawContours(self.image, [leftEyeHull], -1, (0, 255, 0), 1)  # 绘制左眼轮廓
            cv2.drawContours(self.image, [rightEyeHull], -1, (0, 255, 0), 1)  # 绘制右眼轮廓
            # 只有连续帧计数超过EYE_AR_CONSEC_FRAMES时才会计做一次眨眼
            if ear < self.EYE_AR_THRESH:
                self.frame_counter += 1
            else:
                if self.frame_counter >= self.EYE_AR_CONSEC_FRAMES:
                    self.blink_counter += 1
                self.frame_counter = 0
            # 在图像上显示出眨眼次数blink_counter
            cv2.putText(self.image, "blink_counts:{0}".format(self.blink_counter), (250, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
    def eye_aspect_ratio(self,eye):
        A = distance.euclidean(eye[1], eye[5])
        B = distance.euclidean(eye[2], eye[4])
        C = distance.euclidean(eye[0], eye[3])
        ear = (A + B) / (2.0 * C)
        return ear

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126

四、实验结果

开始运行：

五、经验和教训

当确定视频流中是否发生眨眼时，我们需要计算眼睛的长宽比。所以当检测眨眼的时候会受到很多外界因素的影响，例如光线、眨眼速度、摄像头帧率、清晰度等。

而在实验过程中遇到的第一个问题就是下载安装dlib：

报错：is not a supported wheel on this platform.

原因：安装的不是对应python版本的库

解决办法：在cmd后中输入
①python
②import pip
③print(pip.pep425tags.get_supported())
即可以获取到pip支持的文件名还有版本。在pip 安装中必须要确认自己的版本信息，对应好再安装。

注：检测时眨眼放慢点，那样效果会好一点。眼镜反光也可能会导致检测眼睛轮廓时出错，计算出的结果也会是错的。