详情

原文传递标注模型训练方法、道路标注方法、可读介质和电子设备

专利名称：	标注模型训练方法、道路标注方法、可读介质和电子设备
摘要：	本申请涉及图像处理技术领域，提供了一种标注模型训练方法、道路标注方法、可读介质、程序产品和电子设备。标注模型包括标注模块、第一监督模块和第二监督模块，标注模型训练方法包括将样本数据输入标注模块。获取标注模块的输出结果，输出结果包括根据样本数据计算得到与有效网格点对应的空间位置信息和语义类别信息。第一监督模块根据空间位置信息输出的第一调整指令，第二监督模块根据语义类别信息输出第二调整指令，第一调整指令和第二调整指令用于调整标注模块。上述标注模型训练方法，通过两个维度实现多模态下的语义监督模式，降低了标注模型的收敛难度，加速了标注模型的收敛速度，提升了语义类别信息的精度，扩大了适用范围。
专利类型：	发明专利
国家地区组织代码：	广东;44
申请人：	华为技术有限公司
发明人：	付锦斌;袁鹏;冯柏岚
专利状态：	有效
申请日期：	2023-07-25T00:00:00+0800
发布日期：	2023-11-28T00:00:00+0800
申请号：	CN202310923602.3
公开号：	CN117132980A
代理机构：	上海音科专利商标代理有限公司
代理人：	夏峰
分类号：	G06V20/70;G06V10/774;G06V10/82;G06N3/0499;G06N3/09;G;G06;G06V;G06N;G06V20;G06V10;G06N3;G06V20/70;G06V10/774;G06V10/82;G06N3/0499;G06N3/09
申请人地址：	518129 广东省深圳市龙岗区坂田华为总部办公楼
主权项：	1.一种标注模型训练方法，其特征在于，所述标注模型包括标注模块、第一监督模块和第二监督模块，所述方法包括：将样本数据输入所述标注模块，所述样本数据包括与有效网格点对应的平面位置信息；获取所述标注模块的输出结果，所述输出结果包括根据所述样本数据计算得到与所述有效网格点对应的空间位置信息和语义类别信息；将所述空间位置信息输入所述第一监督模块，根据所述第一监督模块输出的第一调整指令调整所述标注模块，以及将所述语义类别信息输入所述第二监督模块，根据所述第二监督模块输出的第二调整指令调整所述标注模块。 2.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述第一监督模块在判断所述空间位置信息不满足第一条件的情况下，根据所述空间位置信息生成所述第一调整指令；所述第二监督模块在判断所述语义类别信息不满足第二条件的情况下，根据所述语义类别信息生成所述第二调整指令。 3.根据权利要求2所述的方法，其特征在于，所述第一监督模块根据所述空间位置信息判断是否满足所述第一条件的判定方式，包括：获取与所述有效网格点对应的参考位置信息；在判断所述空间位置信息和所述参考位置信息之间的偏差值位于预设距离阈值范围内的情况下，所述第一监督模块判断所述空间位置信息满足所述第一条件；在判断所述空间位置信息和所述参考位置信息之间的偏差值位于所述预设距离阈值范围外的情况下，所述第一监督模块判断所述空间位置信息不满足所述第一条件。 4.根据权利要求3所述的方法，其特征在于，所述空间位置信息是否满足所述第一条件的判定方式，包括：根据所述平面位置信息和所述空间位置信息确定出所述有效网格点在第一平面内的投影点；根据所述参考位置信息确定出所述有效网格点在所述第一平面内的参考点；在判断所述投影点和所述参考点之间的距离位于预设距离阈值范围内的情况下，判定所述空间位置信息满足所述第一条件；在判断所述投影点和所述参考点之间的距离位于所述预设距离阈值范围外的情况下，判定所述空间位置信息不满足所述第一条件。 5.根据权利要求4所述的方法，其特征在于，所述第一平面为BEV视角下的平面或者PV视角下的平面。 6.根据权利要求3至5中任一项所述的方法，其特征在于，所述空间位置信息包括高度信息。 7.根据权利要求6所述的方法，其特征在于，所述参考位置信息的获取方式包括：获取与所述有效网格点对应的激光雷达点云；根据所述激光雷达点云对所述有效网格点进行激光三维重建，确定出与所述有效网格点对应的激光高度，将所述激光高度作为所述参考位置信息。 8.根据权利要求3至5中任一项所述的方法，其特征在于，所述空间位置信息包括深度信息。 9.根据权利要求2-8中任一项所述的方法，其特征在于，所述第二监督模块根据所述语义类别信息判断是否满足所述第二条件的判定方式，包括：获取与所述有效网格点对应的参考类别信息；在判断所述语义类别信息和所述参考类别信息之间的相似度位于预设相似度阈值范围内的情况下，判定所述语义类别信息满足所述第二条件；在判断所述语义类别信息和所述参考类别信息之间的相似度位于所述预设相似度阈值范围外的情况下，判定所述语义类别信息不满足所述第二条件。 10.根据权利要求9所述的方法，其特征在于，所述第二监督模块根据所述语义类别信息判断是否满足所述第二条件的判定方式，包括：根据所述平面位置信息和所述语义类别信息确定出所述有效网格点在第二平面内的预测标签；根据所述平面位置信息和所述参考位置信息确定出所述有效网格点在所述第二平面内的参考标签；在判断所述预测标签和所述参考标签之间的相似度位于预设相似度阈值范围内的情况下，所述第二监督模块判断所述语义类别信息满足所述第二条件；在判断所述预测标签和所述参考标签之间的相似度位于所述预设相似度阈值范围外的情况下，所述第二监督模块判断所述语义类别信息不满足所述第二条件。 11.根据权利要求10所述的方法，其特征在于，所述第二平面为PV视角下的平面。 12.根据权利要求10或11所述的方法，其特征在于，所述参考类别信息的获取方式包括：获取与所述有效网格点对应的视频流，其中，所述视频流包括至少一帧参考图像；对所述至少一帧参考图像中的每帧参考图像进行图像语义分割，确定每帧参考图像中每个像素点对应的语义类别；在每帧参考图像中，将与所述有效网格点对应的像素点对应的语义类别信息作为与所述有效网格点对应的所述参考类别信息。 13.根据权利要求10-12中任一项所述的方法，其特征在于，所述有效网格点的获取方式包括：获取自车位姿，并根据所述自车位姿确定自车运动轨迹；根据所述自车运动轨迹确定出与第二平面对应的重建区域；对所述重建区域进行网格划分，得到多个网格点，从所述多个网格点中筛选出与所述自车运动轨迹相关的所述网格点作为所述有效网格点。 14.根据权利要求1-13中任一项所述的方法，其特征在于，所述标注模块包括MLP网络模型。 15.根据权利要求2-14中任一项所述的方法，其特征在于，所述方法还包括：判断所述空间位置信息是否满足所述第一条件；在判断所述空间位置信息满足所述第一条件的情况下，判断所述语义类别信息是否满足所述第二条件。 16.根据权利要求2-14中任一项所述的方法，其特征在于，所述方法还包括：判断所述空间位置信息是否满足所述第一条件；在判断所述空间位置信息满足所述第一条件的情况下，判断所述语义类别信息是否满足所述第二条件，以及判断所述空间位置信息是否满足第三条件。 17.根据权利要求2-14中任一项所述的方法，其特征在于，所述方法还包括：判断所述空间位置信息是否满足所述第一条件，同时判断所述语义类别信息是否满足所述第二条件。 18.根据权利要求1-17中任一项所述的方法，其特征在于，所述方法还包括：对所述平面位置信息进行高频化处理，得到高频位置信息；将所述高频位置信息输入所述标注模块，并接收所述标注模块输出的与所述有效网格点对应的空间位置信息和语义类别信息。 19.根据权利要求18所述的方法，其特征在于，所述方法还包括：通过位置编码对所述平面位置信息进行高频化处理，得到所述高频位置信息。 20.一种标注模型，其特征在于，所述标注模型包括：标注模块，所述标注模块用于接收样本数据，并根据所述样本数据输出输出结果，所述输出结果包括根据所述样本数据计算得到与所述有效网格点对应的空间位置信息和语义类别信息；第一监督模块，所述第一监督模块用于基于所述空间位置信息生成用于调整所述标注模块的第一调整指令；第二监督模块，所述第二监督模块用于基于所述语义类别信息生成用于调整所述标注模块的第二调整指令。 21.根据权利要求20所述的装置，其特征在于，所述标注模块包括MLP网络模型。 22.一种电子设备，其特征在于，包括：存储器，用于存储指令，以及一个或多个处理器，当所述指令被所述一个或多个处理器执行时，所述处理器执行如权利要求1至19中任一项所述的标注模型训练方法。 23.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，所述指令在电子设备上执行时使电子设备执行如权利要求1至19中任一项所述的标注模型训练方法。 24.一种计算机程序产品，其特征在于，所述计算机程序产品包括指令，所述指令当被一个或多个处理器执行时用于实现如权利要求1至19中任一项所述的标注模型训练方法。 25.一种道路标注方法，其特征在于，所述方法包括：获取待标注数据，所述待标注数据包括与有效网格点对应的平面位置信息；将所述待标注数据输入所述标注模型，得到待标注结果，其中所述待标注结果包括基于所述平面位置信息得到的与所述有效网格点对应的空间位置信息和语义类别信息；基于所述待标注结果得到三维重建结果。 26.一种电子设备，其特征在于，包括：存储器，用于存储指令，以及一个或多个处理器，当所述指令被所述一个或多个处理器执行时，所述处理器执行如权利要求25所述的道路标注方法。 27.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，所述指令在电子设备上执行时使电子设备执行如权利要求25所述的道路标注方法。 28.一种计算机程序产品，其特征在于，所述计算机程序产品包括指令，所述指令当被一个或多个处理器执行时用于实现如权利要求25所述的道路标注方法。
所属类别：	发明专利