详情

原文传递融合面部表情和驾驶行为的驾驶人情绪变化识别研究

论文题名：	融合面部表情和驾驶行为的驾驶人情绪变化识别研究
关键词：	交通安全;驾驶人;情绪变化识别;面部表情;驾驶行为;信息融合
摘要：	随着我国社会经济的发展和人民生活方式的改变，汽车保有量和居民消费水平迅速上升，但同时交通环境压力、生活压力也逐渐增加，由驾驶人危险情绪变化引发的交通恶性事故常见报端。目前国内外相关学者已对驾驶人情绪变化识别开展了大量研究工作，但大多仅局限于单模态的情绪变化识别，且鲜有文献从面部表情和驾驶行为多模态融合的角度设计驾驶人情绪变化识别模型。因此，如何对驾驶人情绪变化进行准确有效的识别，是目前应对危险驾驶亟需解决的问题。依托国家自然科学基金“基于Multi-agent和驾驶行为的汽车追尾预警模型研究（51108209）”和国家重点研发计划子课题“车路协同网联交通态势演化规律及可靠性（2018YFB1600500）”，本文采集驾驶人面部表情信息和驾驶行为信息，以面部图像处理和肌电信号处理相融合的方式，探究驾驶人情绪变化的微观心理机理，构建有效的情绪变化识别模型并开展系统、具体的仿真实验。研究成果将致力于减少甚至避免驾驶人危险情绪变化所带来的安全隐患，对于实现驾驶风险合理管控、提高交通系统安全性具有重要现实意义。研究的主要内容如下：　　（1）搭建了基于驾驶模拟器的驾驶人情绪变化识别实验平台，提出了基于Prescan的驾驶人情绪变化识别典型场景和实验数据采集方案。通过设置不同的情绪变化诱导次任务，考察视频诱导和模拟器环境诱导对驾驶人情绪的不同激发效果，探究了驾驶人情绪变化的产生机理（宏观研究），以模拟驾驶实验采集的驾驶人面部表情和驾驶行为数据作为本研究数据集，并通过预处理操作消除其他因素的干扰，为后续的特征提取和驾驶人情绪变化识别模型的构建奠定了基础。　　（2）借鉴心理学关于人类基本情绪的表达方式，以主动外观模型为基础，设计了考虑驾驶人眉毛、眼睛、鼻子和嘴巴等面部几何特征的判据模型，搭建基于时序注意递归网络和卷积神经网络（简称TARN-CNN）的模型，识别驾驶人情绪变化状况。实验结果表明：在四种典型场景下，TARN-CNN模型的准确率（86.66%）、召回率（86.70%）和特异度（85.33%）均高于CNN模型和RNN模型，证明了所提模型的有效性。　　（3）提出了基于驾驶行为的融合卷积神经网络和长短时记忆架构（简称C-L S T M）的模型。借助驾驶模拟器构建仿真驾驶场景，通过Ag-AgCl贴片电极采集驾驶人操作车辆的手臂以及脚踝相应的肌肉组织的肌电信号刻画驾驶行为，选用绝对值均值、均方根值、积分绝对值及方差值提取肌电信号时域特征，从驾驶行为的角度识别驾驶人情绪变化。实验结果表明：在四种典型场景下，C-LSTM模型的准确率（87.28%）、召回率（88.01%）和特异度（87.39%）均高于CNN模型和LSTM模型，在识别驾驶人情绪变化方面表现优异，能够在一定程度上预防甚至避免驾驶人危险情绪变化带来的安全隐患。　　（4）以基于Fisher判别准则的融合算法和支持向量机思想作为理论基础，综合考虑驾驶人面部图像和肌电信号特性，将情绪变化识别的目标需求刻画为驱动力，通过支持向量机算法的集成，创新设计了一种融合面部表情和驾驶行为的驾驶人情绪变化识别模型（简称SVM-FEamp;DB）。实验结果表明：在四种典型场景下，SVM-FEamp;DB模型的识别准确率（91.74%）、召回率（92.76%）、特异度（91.84%）和ROC曲线下面积（0.9801）均高于仅依靠面部表情、驾驶行为的单模态识别。研究的成果揭示了驾驶人情绪变化的内在微观机理，为危险驾驶检测、预警与干预系统的研发提供了重要的理论支撑。　　综上，针对现有研究实验数据结构单一、驾驶人情绪变化识别模型准确率不高的问题，本研究从“实验平台搭建—多源数据采集与处理—识别模型构建与验证”三个角度、两个层面突破和提升驾驶人情绪变化综合识别性能。研究成果对减少人因交通事故、提升道路交通安全以及构建“以人为本”的交通系统具有重要意义。
作者：	马志怡
专业：	交通运输工程
导师：	梁军
授予学位：	硕士
授予学位单位：	江苏大学
学位年度：	2022