详情

原文传递一种基于双目视觉的道路可行驶区域识别方法及装置

专利名称：	一种基于双目视觉的道路可行驶区域识别方法及装置
摘要：	本申请提出了一种基于双目视觉的道路可行驶区域识别方法，该方法可以包括：通过双目相机采集道路的左右图像；基于空间注意力机制对所述左右图像进行特征提取与匹配，得到注意力矩阵和图像特征，并根据所述注意力矩阵和所述图像特征生成视差图；将所述视差图中各个像素点进行第一次坐标转换，得到相应的深度图，以及将所述深度图中各个像素点进行第二次坐标转换，得到相应的高度图；根据所述高度图识别出所述道路的可行驶区域。本申请的技术方案不仅适用于铺装路面的路面信息感知，同时适用于非铺装路面的路面信息感知，且感知结果是道路前方的可行驶区域，可以便于自动驾驶决策模块直接基于可行驶区域做出决策。
专利类型：	发明专利
申请人：	雷达新能源汽车(浙江)有限公司;浙江吉利控股集团有限公司
发明人：	冉盛辉
专利状态：	有效
申请日期：	2022-09-01T00:00:00+0800
发布日期：	2022-12-20T00:00:00+0800
申请号：	CN202211072227.8
公开号：	CN115497061A
代理机构：	北京博思佳知识产权代理有限公司
代理人：	李威
分类号：	G06V20/56;G06V10/40;G06V10/75;G06V10/82;G06V10/26;G06V20/70;G06N3/04;G06N3/08;B60W60/00;G;B;G06;B60;G06V;G06N;B60W;G06V20;G06V10;G06N3;B60W60;G06V20/56;G06V10/40;G06V10/75;G06V10/82;G06V10/26;G06V20/70;G06N3/04;G06N3/08;B60W60/00
申请人地址：	310000 浙江省杭州市钱塘新区临江工业园区纬五路3366号;
主权项：	1.一种基于双目视觉的道路可行驶区域识别方法，其特征在于，所述方法包括：通过双目相机采集道路的左右图像；基于空间注意力机制对所述左右图像进行特征提取与匹配，得到注意力矩阵和图像特征，并根据所述注意力矩阵和所述图像特征生成视差图；将所述视差图中各个像素点进行第一次坐标转换，得到相应的深度图，以及将所述深度图中各个像素点进行第二次坐标转换，得到相应的高度图；根据所述高度图识别出所述道路的可行驶区域。 2.根据权利要求1所述的方法，其特征在于，所述方法还包括：利用预标定的相机信息对所述左右图像进行图像校正，获得行对齐的校正后左右图像；所述预标定的相机信息包括所述双目相机的内外参数、两个相机的相对位置关系；所述基于空间注意力机制对所述左右图像进行特征提取与匹配，包括：基于空间注意力机制对所述行对齐的校正后左右图像进行特征提取与匹配。 3.根据权利要求1所述的方法，其特征在于，所述基于空间注意力机制对所述左右图像进行特征提取与匹配，得到注意力矩阵和图像特征，包括：对所述左右图像分别进行特征提取，得到所述左右图像的底层特征；将所述左右图像的底层特征分别输入空间注意力层和特征计算层；所述特征计算层用于对所述底层特征进行卷积计算，得到图像高层特征；所述空间注意力层包括池化层、卷积层、计算层，其中：所述池化层用于对所述底层特征进行池化处理，得到双通道特征图；所述卷积层用于对所述双通道特征图进行卷积，得到单通道特征图；所述计算层用于计算所述单通道特征图中各个像素点对应的注意力权重，输出所述注意力矩阵；将所述图像高层特征与所述底层特征进行拼接，得到所述图像特征。 4.根据权利要求3所述的方法，其特征在于，所述根据所述注意力矩阵和所述图像特征生成视差图，包括：将所述注意力矩阵与所述图像特征进行点乘，得到所述左右图像对应的特征匹配图；将所述特征匹配图输入预先训练的视差图生成网络，生成所述左右图像对应的视差图。 5.根据权利要求1所述的方法，其特征在于，所述根据所述高度图识别出所述道路的可行驶区域，包括：将所述高度图输入预先训练的语义分割网络，所述语义分割网络包含编码器和解码器；基于所述编码器和解码器，对所述高度图中的可行驶区域与不可行驶区域进行识别和分割，并输出可行驶区域。 6.一种基于双目视觉的道路可行驶区域识别模型的训练方法，其特征在于，所述方法包括：获取样本道路的样本左右图像、目标样本视差图和目标可行驶区域；基于空间注意力机制对所述样本左右图像进行特征提取与匹配，得到注意力矩阵和样本图像特征，并根据所述注意力矩阵和所述样本图像特征生成样本视差图；将所述样本视差图中各个像素点进行第一次坐标转换，得到相应的样本深度图，以及将所述样本深度图中各个像素点进行第二次坐标转换，得到相应的样本高度图；根据所述样本高度图识别出所述样本道路的可行驶区域；根据所述样本道路的可行驶区域与所述目标可行驶区域，以及所述样本视差图与所述目标样本视差图对所述道路可行驶区域识别模型进行迭代训练。 7.一种基于双目视觉的道路可行驶区域识别装置，其特征在于，所述装置包括：采集单元，用于通过双目相机采集道路的左右图像；匹配单元，用于基于空间注意力机制对所述左右图像进行特征提取与匹配，得到注意力矩阵和图像特征，并根据所述注意力矩阵和所述图像特征生成视差图；坐标转换单元，用于将所述视差图中各个像素点进行第一次坐标转换，得到相应的深度图，以及将所述深度图中各个像素点进行第二次坐标转换，得到相应的高度图；识别单元，用于根据所述高度图识别出所述道路的可行驶区域。 8.一种电子设备，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现如权利要求1-6中任一项所述的方法。 9.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-6中任一项所述方法的步骤。 10.一种车辆，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一项所述方法的步骤。