详情

原文传递基于听觉与嗅觉的多模态驾驶员愤怒情绪调节方法

专利名称：	基于听觉与嗅觉的多模态驾驶员愤怒情绪调节方法
摘要：	本发明公开了一种基于听觉与嗅觉的多模态驾驶员愤怒情绪调节方法，包括：对驾驶员语音信号进行全局声学特征提取，得到全局特征信息；对驾驶员语音信号进行局部频谱特征提取，得到局部特征信息；将全局特征信息与局部特征信息进行融合，并对融合后的特征信息进行情绪分类，得到情绪分类结果；制作音频以及制备气味；通过播放音频以及释放气味，调节情绪分类结果中的愤怒情绪。本发明情绪识别准确度高、适用范围广，情绪调节效果好。
专利类型：	发明专利
国家地区组织代码：	重庆;50
申请人：	重庆大学
发明人：	郭钢;李文博;武磊;李承谋;夏进军;陈昊
专利状态：	有效
申请日期：	2023-07-31T00:00:00+0800
发布日期：	2023-11-03T00:00:00+0800
申请号：	CN202310967749.2
公开号：	CN116985741A
代理机构：	北京海虹嘉诚知识产权代理有限公司
代理人：	吕小琴
分类号：	B60R16/037;G10L25/63;G10L25/03;G10L25/18;G10L25/24;G10L25/30;B60H3/00;B60Q9/00;B60W40/08;B;G;B60;G10;B60R;G10L;B60H;B60Q;B60W;B60R16;G10L25;B60H3;B60Q9;B60W40;B60R16/037;G10L25/63;G10L25/03;G10L25/18;G10L25/24;G10L25/30;B60H3/00;B60Q9/00;B60W40/08
申请人地址：	400044 重庆市沙坪坝区沙正街174号
主权项：	1.一种基于听觉与嗅觉的多模态驾驶员愤怒情绪调节方法，其特征在于：包括：对驾驶员语音信号进行全局声学特征提取，得到全局特征信息；对驾驶员语音信号进行局部频谱特征提取，得到局部特征信息；将全局特征信息与局部特征信息进行融合，并对融合后的特征信息进行情绪分类，得到情绪分类结果；制作音频以及制备气味；通过播放音频以及释放气味，调节情绪分类结果中的愤怒情绪。 2.根据权利要求1所述的基于听觉与嗅觉的多模态驾驶员愤怒情绪调节方法，其特征在于：对驾驶员语音信号进行全局声学特征提取，具体包括：对语音信号进行分帧处理，得到各语音帧的时域特征参数；所述时域特征参数包括基频以及均方根能量值；对语音信号进行频谱分析，得到语音信号的频域特征参数；所述频域特征参数包括梅尔频率倒谱系数；计算梅尔频率倒谱系数的均值计算均与均值具有相同维数的基频均值/>以及均方根能量值均值/>对均值均值/>以及均值/>进行标准化处理，得到标准化后的特征/>特征/>以及特征将标准化后的特征特征/>以及特征/>进行拼接，然后通过一层包含K个神经元的全连接层，将高维的特征向量映射到低维的特征空间，最后输出全局特征表示向量fg。 3.根据权利要求1所述的基于听觉与嗅觉的多模态驾驶员愤怒情绪调节方法，其特征在于：对驾驶员语音信号进行局部频谱特征提取，具体包括：对语音信号进行音频频谱处理，得到Mel频谱图；对Mel频谱图取对数，得到对数Mel频谱图；使用卷积神经网络从对数Mel频谱图中提取时频特征信息；沿着时间轴对时频特征信息进行全局自适应平均池化，得到表征时刻的特征向量y；基于多头注意力机制，对特征向量y进行处理，得到局部特征表示向量fl。 4.根据权利要求1所述的基于听觉与嗅觉的多模态驾驶员愤怒情绪调节方法，其特征在于：将全局特征信息与局部特征信息进行融合，并对融合后的特征信息进行情绪分类，具体包括：将全局特征与局部特征进行拼接，得到拼接后的特征信息；使用两层全连接层对拼接后的特征信息进行数据降维，通过归一化指数函数以概率的形式预测情绪类别。 5.根据权利要求1所述的基于听觉与嗅觉的多模态驾驶员愤怒情绪调节方法，其特征在于：制作音频，具体包括：由驾驶员的朋友或家人录制语音内容，语音语调采用柔和方式，语音内容采用提醒、表扬以及赞美词语。 6.根据权利要求1所述的基于听觉与嗅觉的多模态驾驶员愤怒情绪调节方法，其特征在于：制备气味，具体包括：基于情绪效价以及唤醒度，选取若干不同气味作为嗅觉调节材料；从若干不同气味中筛选出正效价以及低唤醒的气味作为目标气味；将目标气味与无色无味的稀释液按照a1:a2配置u％浓度的香薰。 7.根据权利要求1所述的基于听觉与嗅觉的多模态驾驶员愤怒情绪调节方法，其特征在于：还包括：使用情绪调节成功量表，来衡量愤怒情绪调节效果。 8.根据权利要求1所述的基于听觉与嗅觉的多模态驾驶员愤怒情绪调节方法，其特征在于：还包括：采用横纵向风险值来表征驾驶员的综合驾驶绩效，分析愤怒情绪调节效果，具体包括：计算横向风险值Rlateral：其中，k为车辆碰撞物的材料刚度，M表示车辆的等效质量，vs,b表示车辆的横向速度，rs,b为车辆重心与横向障碍物之间的最短距离，D为潜在风险场的梯度下降系数，rL表示道路边界到车道中心线的最短距离；计算纵向风险值Rlongitudinal：其中，Eij表示物体i向周边道路环境辐射的风险场；G、k1以及k2均表示风险系数；Ri与Rj均为道路影响因子；Dri与Drj分别表示车辆i与车辆j的驾驶人风险因子；Mi与Mj分别代表物体i与物体j的质量；rij表示物体i与物体j之间的矢量距离；vi与vj分别表示物体i与物体j的纵向速度；对横向风险值以及纵向风险值进行归一化处理，确定综合风险系数Rtotal：若情绪调节后，综合风险系数Rtotal变小，则情绪调节效果好；否则，情绪调节效果差。 9.根据权利要求1所述的基于听觉与嗅觉的多模态驾驶员愤怒情绪调节方法，其特征在于：还包括：基于生理数据，评价愤怒情绪调节效果，具体包括：采集脑电数据，计算各个频率的左右脑不对称值L： L＝ln(Pb)-ln(Pa) 其中，Pa与Pb分别表示大脑左右脑区域对应的两个电极通道的功率平均值；若情绪调节后左右脑不对称值L变大，则情绪调节效果较好；否则，情绪调节效果较差；采集心电数据，计算平均心率HR： HR＝mean[HR1+HR2+…+HRi+…+HRn]；其中，HRi表示时间段i的心率；mean[]为均值函数；若情绪调节后的平均心率变小，则情绪调节效果较好；否则，情绪调节效果较差。 10.根据权利要求1所述的基于听觉与嗅觉的多模态驾驶员愤怒情绪调节方法，其特征在于：还包括：对主客观测评数据进行相关性分析，评价愤怒情绪调节效果，具体包括：采集若干组主-客观评价统计数据；所述主-客观评价统计数据包括主观评价数据以及客观状态数据；其中，所述客观状态数据包括驾驶员生理数据以及车辆行驶状态数据；对主-客观评价统计数据进行差异性分析，得到检验水平值；将检验水平值大于设定阈值的主-客观评价统计数据作为目标统计数据；对目标统计数据中的主观评价数据与客观状态数据进行相关性分析，得到主客观数据的相关性水平\|r\|，若相关性水平\|r\|∈[r0,1)，则使用主观评价数据来评价愤怒情绪的调节效果。
所属类别：	发明专利