详情

原文传递车载终端设备、车载交互系统和交互方法

专利名称：	车载终端设备、车载交互系统和交互方法
摘要：	本发明实施例公开了一种车载终端设备、车载交互系统和交互方法，所述车载终端设备包括：语音输入单元、图像输入单元、声音输出单元、显示单元、处理单元和通信单元，各单元交互协作完成基于机器视觉的智能语音识别和图像识别，以及多模态的信息交互处理，从而实现输入信息的准确识别、精确的语义理解以及个性化的输出，提升用户的人机交互体验。
专利类型：	发明专利
国家地区组织代码：	江苏;32
申请人：	初速度(苏州)科技有限公司
发明人：	李林军;耿文童;贾百龙;周建
专利状态：	有效
申请日期：	2019-02-21T00:00:00+0800
发布日期：	2019-06-28T00:00:00+0800
申请号：	CN201910130763.0
公开号：	CN109941231A
代理机构：	北京挺立专利事务所(普通合伙)
代理人：	赵振
分类号：	B60R25/25(2013.01);B;B60;B60R;B60R25
申请人地址：	215131 江苏省苏州市相城区高铁新城南天成路88号天成信息大厦601-A32室
主权项：	1.一种车载终端设备，其特征在于，包括：语音输入单元，用于采集语音输入信号；图像输入单元，用于采集图像输入信号；所述图像输入信号包括人脸图像信号、表情图像信号、唇部图像信号以及瞳孔图像信号中的一种或多种；声音输出单元，用于产生声音输出信号；显示单元，用于显示交互信息；处理单元，用于控制所述语音输入单元、所述图像输入单元、所述声音输出单元和所述显示单元，并用于处理所述语音输入信号和所述图像输入信号；其中处理单元包括机器学习模型建立单元；该机器学习模型建立单元可对人脸图像信号、表情图像信号、唇部图像信号以及瞳孔图像信号中的一种或多种建立一个机器学习模型；通信单元，用于与云端服务设备连接。 2.如权利要求1所述的车载终端设备，其特征在于，所述语音输入单元还用于去除或降低噪声。 3.如权利要求1-2中任一项所述的车载终端设备，其特征在于，所述车载终端还包括发声单元，所述发声单元用于发送所述声音输出信号。 4.一种车载交互系统，其特征在于，包括：云端服务设备，以及如权利要求1-3中任一项所述的车载终端设备。 5.一种身份识别方法，基于如权利要求1-4中任一项所述的车载终端设备，其特征在于，所述方法包括：所述语音输入单元和所述图像输入单元分别采集所述语音输入信号和所述图像输入信号；所述处理单元提取所述图像输入信号中的面部特征；所述处理单元根据所述面部特征进行面部识别和匹配，确定用户身份和与所述用户身份相关联的身份特征信息，其中，所述身份特征信息包含声纹信息；所述处理单元提取所述语音输入信号中的声纹特征；所述处理单元将所述声纹特征与所述声纹信息进行对比，并通过所述对比验证所述用户身份。 6.一种车内定位方法，基于如权利要求1-4中任一项所述的车载终端设备，其特征在于，所述方法包括：所述图像输入单元采集所述图像输入信号；所述处理单元提取所述图像输入信号中的用户的嘴唇动作；所述处理单元根据所述嘴唇动作和车内位置区域与所述图像输入单元的视角范围映射关系，确定所述用户在车内的位置区域。 7.如权利要求6所述的方法，其特征在于，所述方法还包括：所述语音输入单元采集所述语音输入信号；所述处理单元根据所述语音输入信号进行声源定位，确定所述用户在所述车内的位置。 8.一种语音识别方法，基于如权利要求1-4所述的车载终端设备，其特征在于，所述方法包括：所述语音输入单元和所述图像输入单元分别采集所述语音输入信号和所述图像输入信号；所述处理单元根据所述图像输入信号进行唇语识别和表情识别；所述处理单元根据所述语音输入信号进行语音识别；所述处理单元对所述唇语识别、所述表情识别和所述语音识别的结果进行加权合成，生成输出文本。 9.一种反馈生成方法，基于如权利要求1-4所述的车载终端设备，其特征在于，所述方法包括：所述语音输入单元和所述图像输入单元分别采集所述语音输入信号和所述图像输入信号；所述处理单元根据所述语音输入信号和所述图像输入信号确定用户身份和与所述用户身份相关联的身份特征信息；所述处理单元根据所述图像输入信号进行表情识别；所述处理单元根据所述语音输入信号和所述图像输入信号进行语音识别；所述处理单元根据所述身份特征信息、所述表情识别结果和所述语音识别结果进行语义理解；所述处理单元根据所述语义理解的结果、所述身份特征信息和所述用户在车内的位置生成反馈结果。
所属类别：	发明专利