详情

原文传递驾驶员状态的监测方法、装置及终端设备

专利名称：	驾驶员状态的监测方法、装置及终端设备
摘要：	本发明适用于计算机技术领域，提供了一种驾驶员状态的监测方法、装置和终端设备，所述方法包括：获取图像采集装置采集的驾驶员的人脸视频，并获取麦克风采集的驾驶员的语音信息；根据人脸视频及语音信息，确定驾驶员的生理指标和心理指标；根据所述驾驶员的生理指标及心理指标，对所述驾驶员的健康指标进行检测；根据所述驾驶员的生理指标、心理指标及健康指标，生成相应的防预措施。本发明通过视频和音频双重因素确定驾驶员的生理指标和心理指标，能够使生理指标和心理指标的检查结果更加精确，从而根据精确的检测结果对驾驶行为进行干预，避免驾驶员因疲劳、心理紧张(如路怒)或突发疾病等危险驾驶造成交通事故，保证驾驶员的行车安全。
专利类型：	发明专利
国家地区组织代码：	广东;44
申请人：	深圳市科思创动科技有限公司
发明人：	曾光;王新猛;张祺;曹玥;石元庆;刘奇玮
专利状态：	有效
申请日期：	2019-03-26T00:00:00+0800
发布日期：	2019-07-12T00:00:00+0800
申请号：	CN201910233210.8
公开号：	CN110001652A
代理机构：	深圳中一联合知识产权代理有限公司
代理人：	曹柳
分类号：	B60W40/08(2012.01);B;B60;B60W;B60W40
申请人地址：	518000 广东省深圳市龙岗区坂田街道贝尔路高新技术工业园微谷众创空间130
主权项：	1.一种驾驶员状态的监测方法，其特征在于，包括：获取图像采集装置采集的驾驶员的人脸视频，并获取麦克风采集的驾驶员的语音信息；根据所述人脸视频及所述语音信息，确定所述驾驶员的生理指标和心理指标；根据所述驾驶员的生理指标及心理指标，对所述驾驶员的健康指标进行检测；根据所述驾驶员的生理指标、心理指标及健康指标，生成相应的防预措施。 2.如权利要求1所述的驾驶员状态的监测方法，其特征在于，所述人脸视频包括第一人脸视频和第二人脸视频，所述图像采集装置包括至少一个红外摄像头和至少一个普通彩色摄像头，所述获取图像采集装置采集的驾驶员的人脸视频，包括：获取至少一个红外摄像头发送的所述驾驶员的第一人脸视频；或获取至少一个普通彩色摄像头发送的所述驾驶员的第二人脸信息。 3.如权利要求1所述的驾驶员状态的监测方法，其特征在于，所述根据所述人脸视频及语音信息，确定所述驾驶员的生理指标和心理指标，包括：根据所述人脸视频，提取所述驾驶员的生理特征、表情信息及生理指标，所述生理特征包括性别、年龄和种族，所述生理指标包括心率、呼吸数据、心率变异性、血氧、和血压变化值中的一种或多种，所述表情包括喜欢、愤怒、悲哀、惊惧、厌恶、焦急和平淡中的一种或多种；提取所述语音信息中的语音特征，并将所述语音信息转化为文本信息；根据所述生理特征、所述表情信息、所述生理指标、所述语音特征及所述文本信息，得到所述驾驶员的心理指标。 4.如权利要求3所述的驾驶员状态的监测方法，其特征在于，所述根据所述人脸视频，提取所述驾驶员的生理特征、表情信息及生理指标，包括：将所述人脸视频输入第一深度学习模型，得到所述驾驶员的生理特征；将所述人脸视频输入第二深度学习模型，得到所述驾驶员的表情信息；根据所述人脸视频，检测所述驾驶员毛细血管的变化规律，得到所述驾驶员的心率、血氧及心率变异性；以及检测所述驾驶员呼吸时肌肉的变化规律，得到所述驾驶员的呼吸数据。 5.如权利要求3所述的驾驶员状态的监测方法，其特征在于，所述根据所述生理特征、所述表情信息、所述生理指标、所述语音特征及所述文本信息，得到所述驾驶员的心理指标，包括：将所述生理特征、所述表情信息、所述生理指标、所述语音特征及所述文本信息输入第三深度学习模型，得到所述驾驶员的心理指标。 6.如权利要求1至2任一项所述的驾驶员状态的监测方法，其特征在于，所述心理指标包括紧张和疲惫，所述健康指标包括异常指标，所述异常指标包括心率过高、呼吸过快、血氧过低、血压变化过速、房颤和糖尿病中的一种或多种，所述根据所述驾驶员的生理指标及心理指标，生成相应的防范措施，包括：若所述驾驶员的至少一个生理指标超出预设生理指标阈值或至少一个健康指标为异常指标，则生成语音提醒信息及限速指令，并播报所述语音提醒信息，以及发送所述限速指令至车辆控制端，所述限速指令用于指示所述车辆控制端根据所述限速指令减小车辆的最大运行速度；若所述驾驶员的心理指标为紧张或疲惫，则生成音乐播放指令，并将所述音乐播放指令发送至车载音乐播放器，所述音乐播放指令用于指示所述车载音乐播放器播放舒缓音乐。 7.一种驾驶员状态的监测装置，其特征在于，包括：驾驶员信息获取模块，用于获取图像采集装置采集的驾驶员的人脸视频，并获取麦克风采集的驾驶员的语音信息；指标生成模块，用于根据所述人脸视频及所述语音信息，确定所述驾驶员的生理指标和心理指标；健康指标检测模块，用于根据所述驾驶员的生理指标及心理指标，对所述驾驶员的健康指标进行检测；防范措施获取模块，用于根据所述驾驶员的生理指标、心理指标及健康指标，生成相应的防范措施。 8.如权利要求7所述的驾驶员状态的监测装置，其特征在于，所述人脸视频包括第一人脸视频和第二人脸视频，所述图像采集装置包括至少一个红外摄像头和至少一个普通彩色摄像头，所述驾驶员信息获取模块，包括：获取至少一个红外摄像头发送的所述驾驶员的第一人脸视频；或获取至少一个普通彩色摄像头发送的所述驾驶员的第二人脸视频。 9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。 10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
所属类别：	发明专利