原文传递
基于多模态融合的驾驶人愤怒情绪识别方法研究
| 论文题名： | 基于多模态融合的驾驶人愤怒情绪识别方法研究 |
| 关键词： | 情绪识别;心电信号;驾驶行为;多模态融合 |
| 摘要： | 驾驶人产生情绪愤怒时，其感知、判断、决策和执行能力会受到负面影响，导致驾驶能力下降，容易发生交通事故造成人员伤亡和财产损失。因此，研究驾驶人愤怒情绪识别方法对提高交通安全至关重要。尽管国内外研究人员已经对该领域展开了大量的研究工作，但大多仅关注单一模态的情绪识别。由于单模态不能完整的表达情感信息，基于单模态识别情绪的准确率和鲁棒性较低。因此，本文建立基于心电信号、驾驶行为信号的驾驶人愤怒情绪多模态融合识别方法，构建驾驶人愤怒情绪数据集并使用支持向量机对愤怒情绪与平静情绪进行分类识别。 首先，情绪诱导材料筛选。基于互联网平台筛选情绪诱导视频材料，通过情绪材料标定试验以及离散情绪模型的DES量表结果进行分析，在7组35个情绪诱导视频材料中选取情绪诱导成功率最高以及诱导情绪平均得分最高的视频材料作为用于激发被试愤怒情绪与平静情绪的情绪诱导视频材料。 其次，驾驶愤怒情绪模拟试验设计及试验数据采集。利用情绪诱导试验激发被试的愤怒情绪与平静情绪并进行驾驶模拟试验，通过UC-win/Road驾驶模拟器和BIOPAC多导生理记录仪，结合DES量表主观评价记录被试在愤怒情绪与平静情绪下的心电信号以及驾驶行为信号。 再次，心电信号与驾驶行为信号对驾驶愤怒的特性关系分析及特征提取。对采集到的心电信号与驾驶行为信号进行切片处理，采用线性与非线性方法进行深入特征挖掘，并对提取的候选特征进行单因素方差分析，选取出17个用于驾驶愤怒情绪识别的有效特征指标，以此构建驾驶人愤怒情绪的样本数据集。 最后，基于SVM算法的针对驾驶人愤怒情绪识别二分类模型建立。基于单模态心电特征、单模态驾驶行为特征、多模态特征层融合以及多模态决策层融合建立驾驶人愤怒情绪识别模型，并利用模型的准确率等指标对模型的性能进行评价和对比分析。结果表明：在情绪识别中，多模态融合相对于单模态有显著优势，通过多模态决策层融合的SVM-DS模型性能最佳，其准确率为84.75%，相比于上述其他三种模型的准确率分别提升了9.10%、4.15%和0.8%。 本文提出的基于心电信号与驾驶行为信号融合的驾驶人愤怒情绪识别模型具有良好的驾驶人愤怒情绪识别效果，研究成果在驾驶人情绪方面具有现实意义和一定的指导意义。 |
| 作者： | 王凤儒 |
| 专业： | 载运工具运用工程 |
| 导师： | 孙文财 |
| 授予学位： | 硕士 |
| 授予学位单位： | 吉林大学 |
| 学位年度： | 2023 |
检索历史
应用推荐
