详情

原文传递人因智能驾驶行为预测方法、系统、终端设备及存储介质

专利名称：	人因智能驾驶行为预测方法、系统、终端设备及存储介质
摘要：	本申请涉及智能座舱技术领域，尤其涉及人因智能驾驶行为预测方法、系统、终端设备及存储介质。其方法包括，获取驾驶人的生理信号，并对生理信号做快速傅里叶变换求解幅频特性，然后对生理信号进行多周期分解，其次将上述分解的数据进行升维，随即结合车辆道路场景视频帧预测数据导入多模态同步数据融合层，得到相应的多尺度三维特征，多尺度三维特征再次经过三维骨干网络层对上述多尺度三维特征进行分析处理并输出相应的目标特征，最后经驾驶行为解释层和驾驶行为推理层对上述目标特征进行文本生成，得到人因智能驾驶行为预测的解释和推理信息，本申请提供的人因智能驾驶行为预测方法、系统、终端设备及存储介质可提升驾驶行为的预测效果。
专利类型：	发明专利
国家地区组织代码：	北京;11
申请人：	北京津发科技股份有限公司
发明人：	请求不公布姓名
专利状态：	有效
申请日期：	2023-08-07T00:00:00+0800
发布日期：	2023-11-10T00:00:00+0800
申请号：	CN202310987155.8
公开号：	CN117022305A
代理机构：	北京维正专利代理有限公司
代理人：	徐俊
分类号：	B60W50/00;G06F18/24;G06F18/213;G06F18/25;G06N3/0464;G06N3/0455;G06N3/0499;G06N3/08;B60W40/09;B60W40/02;B;G;B60;G06;B60W;G06F;G06N;B60W50;G06F18;G06N3;B60W40;B60W50/00;G06F18/24;G06F18/213;G06F18/25;G06N3/0464;G06N3/0455;G06N3/0499;G06N3/08;B60W40/09;B60W40/02
申请人地址：	100089 北京市海淀区清河安宁庄东路18号23号楼北辅房202号
主权项：	1.一种人因智能驾驶行为预测方法，其特征在于，包括以下步骤：获取驾驶人的生理信号；对所述生理信号进行快速傅里叶变换，生成对应的幅频特性，并获取所述幅频特性中符合预设振幅频率选取标准的采集频率；根据所述采集频率的周期对所述生理信号进行多周期分解，生成对应的数据分解结果样本；根据多元时序数据编码层分别对所述数据分解结果样本进行二维空间扩展，生成对应的二维空间数据；根据车辆道路场景视频帧预测层对车辆道路场景视频对应的目标连续帧进行预测，生成对应的迭代预测未来帧；根据多模态同步数据融合层对所述二维空间数据、所述目标连续帧以及所述迭代预测未来帧进行合并操作，生成对应的多尺度三维特征；根据三维骨干网络层对所述多尺度三维特征进行特征分析处理，生成对应的目标输出特征；根据人因智能驾驶行为解释层和人因智能驾驶行为推理层分别对所述目标输出特征进行分析处理，生成对应的人因智能驾驶行为描述信息和人因智能驾驶行为推理信息。 2.根据权利要求1所述的一种人因智能驾驶行为预测方法，其特征在于，所述根据三维骨干网络层对所述多尺度三维特征进行特征分析处理，生成对应的目标输出特征包括以下步骤：获取所述三维骨干网络层中对应的三维特征分割规则；根据所述三维特征分割规则，将所述多尺度三维特征划分为H/4×W/4×（（2+N+5×3）/6）个子特征。 3.根据权利要求2所述的一种人因智能驾驶行为预测方法，其特征在于，在所述根据所述三维特征分割规则，将所述多尺度三维特征划分为H/4×W/4×（（2+N+5×3）/6）个子特征之后还包括以下步骤：获取所述三维骨干网络层中对应的线性编码规则；根据所述线性编码规则，将每个所述子特征线性映射到向量C，所述向量C为任意维数。 4.根据权利要求1所述的一种人因智能驾驶行为预测方法，其特征在于，所述三维骨干网络层包括自注意力编码规则，所述根据三维骨干网络层对所述多尺度三维特征进行特征分析处理，生成对应的目标输出特征包括以下步骤： S1、对所述多尺度三维特征执行一次空间采样，输出对应的第一目标特征； S2、对所述多尺度三维特征执行一次Video Swin Transformer blocks操作，输出对应的第二目标特征，所述Video Swin Transformer blocks操作对应模型中的MPL层为1×1卷积层，卷积核个数与所述模型输入的所述子特征维度相等； S3、重复执行S1和S2； S4、重复执行S3，重复执行的次数为K次，K为预设的正整数。 5.根据权利要求1所述的一种人因智能驾驶行为预测方法，其特征在于，所述多尺度三维特征对应的尺寸为H×W×（2+N+5×3），通道数为（2+N+5×3），其中H为所述多尺度三维特征中对应特征图的高度，W为所述多尺度三维特征对应特征图的宽度。 6.根据权利要求5所述的一种人因智能驾驶行为预测方法，其特征在于，根据预设选取规则，在选择所述通道数中N时，选取所述通道数为6的整数倍。 7.根据权利要求5所述的一种人因智能驾驶行为预测方法，其特征在于，将所述多尺度三维特征分解为H×W×3×(（2+N+5×3）/3)，其中前三维重新定义了所述多尺度三维特征中的每一个帧，每个帧包含H×W×3个像素。 8.一种人因智能驾驶行为预测系统，其特征在于，包括：生理信号获取模块(1)，用于获取驾驶人的生理信号；变换模块(2)，用于对所述生理信号进行快速傅里叶变换，生成对应的幅频特性，并获取所述幅频特性中符合预设振幅频率选取标准的采集频率；多周期分解模块(3)，用于根据所述采集频率的周期对所述生理信号进行多周期分解，生成对应的数据分解结果样本；空间拓展模块(4)，用于根据多元时序数据编码层分别对所述数据分解结果样本进行二维空间扩展，生成对应的二维空间数据；预测模块(5)，用于根据车辆道路场景视频帧预测层对车辆道路场景视频对应的目标连续帧进行预测，生成对应的迭代预测未来帧；数据融合模块(6)，用于根据多模态同步数据融合层对所述二维空间数据、所述目标连续帧以及所述迭代预测未来帧进行合并操作，生成对应的多尺度三维特征；特征分析模块(7)，用于根据三维骨干网络层对所述多尺度三维特征进行特征分析处理，生成对应的目标输出特征；行为解释推理模块(8)，用于根据人因智能驾驶行为解释层和人因智能驾驶行为推理层分别对所述目标输出特征进行分析处理，生成对应的人因智能驾驶行为描述信息和人因智能驾驶行为推理信息。 9.一种终端设备，包括存储器和处理器，其特征在于，所述存储器中存储有能够在所述处理器上运行的计算机指令，所述处理器加载并执行所述计算机指令时，采用了如权利要求1至7中任一项所述的一种人因智能驾驶行为预测方法。 10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令，其特征在于，所述计算机指令被处理器加载并执行时，采用了如权利要求1至7中任一项所述的一种人因智能驾驶行为预测方法。
所属类别：	发明专利