详情

原文传递路面要素重建方法、装置、电子设备及存储介质

专利名称：	路面要素重建方法、装置、电子设备及存储介质
摘要：	公开了一种路面要素重建方法、装置、电子设备及存储介质。其中，该方法包括：获取环境图像集，环境图像集包括：设置于可移动设备不同方位的多个图像采集装置在当前时刻，针对可移动设备周围的环境采集的不同视角的多帧图像，环境图像集中的每帧图像均包含有至少一个路面目标；基于环境图像集，经由神经网络生成鸟瞰空间下包含有语义分割信息的第一特征图；基于语义分割信息，确定第一特征图中各个路面目标各自的像素区域；将第一特征图中各个路面目标各自的像素区域映射至可移动设备对应的预设坐标系下，得到第二特征图；对第二特征图进行多目标跟踪，得到跟踪结果；基于跟踪结果，生成路面要素重建结果。本公开可保证路面要素重建结果的完整性。
专利类型：	发明专利
国家地区组织代码：	北京;11
申请人：	北京晓智若余智能科技有限公司
发明人：	请求不公布姓名
专利状态：	有效
申请日期：	2022-09-07T00:00:00+0800
发布日期：	2023-01-17T00:00:00+0800
申请号：	CN202211090620.X
公开号：	CN115620250A
代理机构：	北京思源智汇知识产权代理有限公司
代理人：	李林莎
分类号：	G06V20/56;G06V10/26;G06V10/40;G06V10/82;G06T7/246;G06T17/05;G06N3/04;G06N3/08;G;G06;G06V;G06T;G06N;G06V20;G06V10;G06T7;G06T17;G06N3;G06V20/56;G06V10/26;G06V10/40;G06V10/82;G06T7/246;G06T17/05;G06N3/04;G06N3/08
申请人地址：	100083 北京市海淀区中关村东路18号1号楼11层C-1209
主权项：	1.一种路面要素重建方法，包括：获取环境图像集，所述环境图像集包括：设置于可移动设备不同方位的多个图像采集装置在当前时刻，针对所述可移动设备周围的环境采集的不同视角的多帧图像，所述环境图像集中的每帧图像均包含有至少一个路面目标；基于所述环境图像集，经由神经网络生成鸟瞰空间下包含有语义分割信息的第一特征图；基于所述语义分割信息，确定所述第一特征图中各个所述路面目标各自的像素区域；将所述第一特征图中各个所述路面目标各自的像素区域映射至所述可移动设备对应的预设坐标系下，得到第二特征图；对所述第二特征图进行多目标跟踪，得到跟踪结果；基于所述跟踪结果，生成路面要素重建结果。 2.根据权利要求1所述的方法，其中，在所述基于所述跟踪结果，生成路面要素重建结果之前，所述方法还包括：获取多个历史的环境图像集对应的第一目标特征图序列，所述多个历史的环境图像集表示设置于所述可移动设备不同方位的多个图像采集装置在多个历史时刻采集的多个环境图像集，所述第一目标特征图序列包括：所述多个历史的环境图像集对应的多帧历史的所述第二特征图；所述基于所述跟踪结果，生成路面要素重建结果，包括：基于所述第一目标特征图序列对应的跟踪结果，确定已跟踪的第一路面目标；将所述第一路面目标对应于所述第一目标特征图序列中的最后一帧历史的所述第二特征图的第一状态变量作为参考状态变量，将所述第一状态变量对应的第一不确定度作为参考不确定度；基于所述参考状态变量、所述参考不确定度、所述第一路面目标在当前的所述第二特征图中的第一观测信息和观测噪声，确定所述第一路面目标对应于当前的所述第二特征图的第二状态变量，以及所述第二状态变量的第二不确定度；响应于所述第二不确定度满足预设收敛条件，基于所述第二状态变量，生成路面要素重建结果；响应于所述第二不确定度不满足预设收敛条件，将所述参考状态变量更新为所述第二状态变量，并将所述参考不确定度更新为所述第二不确定度。 3.根据权利要求2所述的方法，其中，所述基于所述参考状态变量、所述参考不确定度、所述第一路面目标在当前的所述第二特征图中的第一观测信息和观测噪声，确定所述第一路面目标对应于当前的所述第二特征图的第二状态变量，以及所述第二状态变量的第二不确定度，包括：将所述第一观测信息转换至世界坐标系，得到第二观测信息；确定所述第二观测信息相对于状态变量的目标雅可比矩阵；基于所述参考不确定度、所述目标雅可比矩阵和所述观测噪声，确定卡尔曼增益；基于所述参考状态变量、所述卡尔曼增益、所述第二观测信息和所述目标雅可比矩阵，确定所述第二状态变量；基于单位矩阵、所述卡尔曼增益、所述目标雅可比矩阵和所述参考不确定度，确定所述第二不确定度。 4.根据权利要求3所述的方法，其中，所述确定所述第二观测信息相对于状态变量的目标雅可比矩阵，包括：基于所述第二观测信息，确定所述第一路面目标的检测框的左上顶点、右上顶点、左下顶点、右下顶点四者各自的观测三维坐标，以得到四个观测三维坐标；基于四个所述观测三维坐标，确定所述第一路面目标的检测框的长度、宽度和偏航角；基于所述长度、宽度、所述偏航角，以及所述预设坐标系与所述世界坐标系之间的旋转矩阵，确定所述左上顶点对应的第一雅可比矩阵、所述右上顶点对应的第二雅可比矩阵，所述左下顶点对应的第三雅可比矩阵，以及所述右下顶点对应的第四雅可比矩阵；基于所述第一雅可比矩阵、所述第二雅可比矩阵、所述第三雅可比矩阵、以及所述第四雅可比矩阵，确定所述目标雅可比矩阵。 5.根据权利要求3所述的方法，其中，任一不确定度均利用协方差矩阵进行表征，确定所述卡尔曼增益利用的公式为： K＝Pk-1HT(HPk-1HT+Rk)-1 其中，K表示所述卡尔曼增益，Pk-1表示所述参考不确定度，H表示所述目标雅可比矩阵，Rk表示所述观测噪声。 6.根据权利要求3所述的方法，其中，确定所述第二状态变量利用的公式为： xk＝xk-1+K(yk-Hxk-1) 其中，xk表示所述第二状态变量，xk-1表示所述参考状态变量，K表示所述卡尔曼增益，yk表示所述第二观测信息，H表示所述目标雅可比矩阵。 7.根据权利要求3所述的方法，其中，任一不确定度均利用协方差矩阵进行表征，确定所述第二不确定度利用的公式为： Pk＝(I－KH)Pk-1 其中，Pk表示所述第二不确定度，I表示所述单位矩阵，K表示所述卡尔曼增益，H表示所述目标雅可比矩阵，Pk-1表示所述参考不确定度。 8.根据权利要求1所述的方法，其中，在所述对所述第二特征图进行多目标跟踪，得到跟踪结果之前，所述方法还包括：获取多个历史的环境图像集对应的第二目标特征图序列，所述多个历史的环境图像集表示设置于所述可移动设备不同方位的多个图像采集装置在多个历史时刻采集的多个环境图像集，所述第二目标特征图序列包括：所述多个历史的环境图像集对应的多帧历史的所述第二特征图；所述对所述第二特征图进行多目标跟踪，得到跟踪结果，包括：基于所述第二目标特征图序列对应的跟踪结果，确定已跟踪的第二路面目标；对当前的所述第二特征图进行目标检测，确定当前的所述第二特征图中的第三路面目标；响应于所述第三路面目标与所述第二路面目标的类别相同，采用与所述第三路面目标的类别对应的计算方式，计算所述第三路面目标与所述第二路面目标之间的代价值；基于所述第二目标特征图序列对应的跟踪结果，以及所述代价值，确定第三目标特征图序列对应的跟踪结果，所述第三目标特征图序列包括：所述第二目标特征图序列中的多帧历史的所述第二特征图，以及当前的所述第二特征图。 9.根据权利要求8所述的方法，其中，所述采用与所述第三路面目标的类别对应的计算方式，计算所述第三路面目标与所述第二路面目标之间的代价值，包括：响应于所述第三路面目标的类别为路面箭头类别，基于所述第二目标特征图序列对应的跟踪结果，确定当前的所述第二特征图中所述第二路面目标的第一预测检测框；计算所述第一预测检测框，以及当前的所述第二特征图中所述第三路面目标的第一实际检测框的检测框交并比和第一检测框欧式距离；计算所述检测框交并比与预设交并比的第一比值；计算所述第一检测框欧式距离与预设欧式距离的第二比值；基于所述第一比值与所述第二比值的加权结果，确定所述第三路面目标与所述第二路面目标之间的代价值。 10.根据权利要求8所述的方法，其中，所述采用与所述第三路面目标的类别对应的计算方式，计算所述第三路面目标与所述第二路面目标之间的代价值，包括：响应于所述第三路面目标的类别为斑马线类别或者停止线类别，基于所述第二目标特征图序列对应的跟踪结果，确定当前的所述第二特征图中所述第二路面目标的第二预测检测框；将当前的所述第二特征图中所述第三路面目标的第二实际检测框投影至所述第二预测检测框的长边，得到投影线段；计算所述投影线段与所述长边的线段交并比；计算所述第二预测检测框与所述第二实际检测框的第二检测框欧式距离；计算所述线段交并比与预设交并比的第三比值；计算所述第二检测框欧式距离与预设欧式距离的第四比值；基于所述第三比值和所述第四比值的加权结果，确定所述第三路面目标与所述第二路面目标之间的代价值。 11.根据权利要求1-10任一所述的方法，还包括：对所述路面要素重建结果进行压缩，得到压缩结果；其中，所述路面要素重建结果包括：各个所述路面目标的检测框的四个顶点各自的优化三维坐标；将所述压缩结果传输给上位机，所述压缩结果用于供所述上位机更新环境模型。 12.一种路面要素重建装置，包括：第一获取模块，用于获取环境图像集，所述环境图像集包括：设置于可移动设备不同方位的多个图像采集装置在当前时刻，针对所述可移动设备周围的环境采集的不同视角的多帧图像，所述环境图像集中的每帧图像均包含有至少一个路面目标；第一生成模块，用于基于所述第一获取模块获取的所述环境图像集，经由神经网络生成鸟瞰空间下包含有语义分割信息的第一特征图；确定模块，用于基于所述第一生成模块生成的所述第一特征图包含的所述语义分割信息，确定所述第一特征图中各个所述路面目标各自的像素区域；第二获取模块，用于将所述确定模块确定的所述第一特征图中各个所述路面目标各自的像素区域映射至所述可移动设备对应的预设坐标系下，得到第二特征图；多目标跟踪模块，用于对所述第二获取模块得到的所述第二特征图进行多目标跟踪，得到跟踪结果；第二生成模块，用于基于所述多目标跟踪模块得到的所述跟踪结果，生成路面要素重建结果。 13.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-11任一所述的路面要素重建方法。 14.一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-11任一所述的路面要素重建方法。