向AI转型的程序员都关注了这个号👇👇👇

1 课题背景

关于对疲劳驾驶的研究不在少数，不少学者从人物面部入手展开。人类的面部包含着许多不同的特征信息，例如其中一些比较明显的特征如打哈欠、闭眼、揉眼等表情特征可用来作为判断驾驶员是否处于疲劳状态的依据。随着计算机技术的不断发展，尤其是在人工智能相关技术勃发的今天，借助计算机可以快速有效的识别出图片中人脸特征，对处于当前时刻驾驶员的精神状态做出判断，并将疲劳预警信息传达给司机，以保证交通的安全运行，减少伤亡事故的发生。

2 实现目标

经查阅相关文献，疲劳在人体面部表情中表现出大致三个类型：打哈欠（嘴巴张大且相对较长时间保持这一状态）、眨眼（或眼睛微闭，此时眨眼次数增多，且眨眼速度变慢）、点头（瞌睡点头）。本实验从人脸朝向、位置、瞳孔朝向、眼睛开合度、眨眼频率、瞳孔收缩率等数据入手，并通过这些数据，实时地计算出驾驶员的注意力集中程度，分析驾驶员是否疲劳驾驶和及时作出安全提示。

3 当前市面上疲劳驾驶检测的方法

学长通过对疲劳驾驶在不同方法下研究进展的分析，可以更清晰的认识的到当下对该问题较为有效的判定方法。根据研究对象的不同对检测方法进行分类，具体分类方法如图

基于驾驶员面部特征的检测方法是根据人在疲劳时面部变化来分析此时的精神状态。人在瞌睡、疲劳时面部表情与清醒时有着明显的区别。通过装置在车辆中的摄像头对驾驶员人脸图片的采集，利用计算机图像处理和模式识别，可以有效检测驾驶员的疲

劳特征信息，比较直观的特征有：打哈欠，眨眼，低头等。

4 相关数据集

学长收集的疲劳检测数据集

驾驶疲劳人脸数据库图片来源分为 3 部分，每部分均包含疲劳、轻度疲劳和非疲劳三种精神状态类别。样本数据库共 4800 张图像，其中疲劳状态有 1622 张数据样本，轻度疲劳有 1506 张数据样本，非疲劳状态有 1618 张数据样本。各部分数据结构如下：网络采集部分疲劳包含 435 张样本图片，轻度疲劳状态包含 430 张样本图片，非疲劳状态包含 432 张样本图片，共 1297 张样本数据图像；视频数据库采集部分疲劳状态包含 1037张样本图像，轻度疲劳状态包含 1030 张样本图片，非疲劳状态包含 1036 张样本图片，共 3103 张样本数据图像；

5 基于头部姿态的驾驶疲劳检测

5.1 如何确定疲劳状态

思路一：可利用姿态估计结果（如Pitch的读数）来判断是否点头及点头幅度
思路二：或用鼻尖处30号点的前后移动值（或是方差，方差表示一个单位时间数据的偏离程度，程度越大，则表示发生点头动作的概率越大、点头幅度越大）

5.2 算法步骤

第一步：2D人脸关键点检测；
第二步：3D人脸模型匹配；
第三步：求解3D点和对应2D点的转换关系；
第四步：根据旋转矩阵求解欧拉角。

5.3 打瞌睡判断

头部姿态判断打瞌睡得到实时头部姿态的旋转角度过后,为头部旋转角度的3个参数Yaw,Pitch和Roll的示意图,驾驶员在打瞌睡时，显然头部会做类似于点头和倾斜的动作.而根据一般人的打瞌睡时表现出来的头部姿态，显然很少会在Yaw上有动作，而主要集中在Pitch和Roll的行为.设定参数阈值为0.3,在一个时间段内10 s内，当I PitchI≥20°或者|Rolll≥20°的时间比例超过0.3时,就认为驾驶员处于打瞌睡的状态,发出预警。