详情

原文传递一种基于双目视觉的公路场景三维重建与缺陷检测方法

专利名称：	一种基于双目视觉的公路场景三维重建与缺陷检测方法
摘要：	本发明为解决现有技术中针对道路质量检测存在的图像处理较为粗略、缺陷的显示方式不够直观问题，提供一种基于双目视觉的公路场景三维重建与缺陷检测方法。该方法包括以下步骤：采用张正友标定法标定双目相机；路面缺陷识别；立体校正；立体匹配，并得到视差图；选取视差图上的特征点，计算深度值，得到三维点云数据；对三维点云数据进行Delaunay三角剖分、纹理映射，重建得到公路场景三维模型，并在公路场景三维模型上显示出路面缺陷。该方法多种算法结合，大大提高图像处理的精度和准确性较高，图像处理的效率也大大提升，且在公路场景三维模型能够着重、直观显示路面缺陷的大小和深度，利于后续维修人员操作。
专利类型：	发明专利
国家地区组织代码：	四川;51
申请人：	四川轻化工大学
发明人：	陈明举;段正旭;熊兴中;崔安乐;陈雨豪
专利状态：	有效
申请日期：	2023-06-08T00:00:00+0800
发布日期：	2023-11-10T00:00:00+0800
申请号：	CN202310676408.X
公开号：	CN117036641A
代理机构：	成都欣圣知识产权代理有限公司
代理人：	胡小亮
分类号：	G06T17/20;G06T7/80;G06T7/00;G06T5/50;G06T7/136;G06T5/00;G06T7/13;G;G06;G06T;G06T17;G06T7;G06T5;G06T17/20;G06T7/80;G06T7/00;G06T5/50;G06T7/136;G06T5/00;G06T7/13
申请人地址：	643002 四川省自贡市汇东学苑街180号
主权项：	1.一种基于双目视觉的公路场景三维重建与缺陷检测方法，其特征在于，所述方法包括以下步骤：步骤S1，采用张正友标定法，使用黑白棋盘作为标定板，获取双目相机的相关参数；步骤S2，利用搭载了双目相机的设备对路面进行巡航拍摄，获得二维的多组双目图片，并将双目图片分别送入YOLOv5路面缺陷识别模型，识别、判定是否存在路面缺陷；若判定结果为存在路面缺陷，则输出路面缺陷类型；步骤S3，采用Bouguet算法对双目图片进行立体校正，使每组双目图片实现共面和行对准；步骤S4，联合图像融合的自适应图像匹配算法对成双目图片进行立体匹配，并得到视差图；步骤S5，选取视差图上的特征点，并计算每个特征点的深度值，得到三维点云数据；同时，通过深度值计算得到路面缺陷在公路场景中离双目相机拍摄地的距离与世界坐标系；步骤S6，对三维点云数据进行Delaunay三角剖分、纹理映射，重建得到公路场景三维模型，并在公路场景三维模型上显示出路面缺陷。 2.根据权利要求1所述的基于双目视觉的公路场景三维重建与缺陷检测方法，其特征在于，所述步骤S2中的YOLOv5路面缺陷识别模型中，在模型的空间金字塔池化模块SPP中引入自适应空间融合模块ASF，得到新的SPP_ASF模块；该SPP_ASF模块可对不同比例尺的特征图生成自适应权重，增加YOLOv5路面缺陷识别模型的适应性。 3.根据权利要求1或2所述的基于双目视觉的公路场景三维重建与缺陷检测方法，其特征在于，所述步骤S2中的YOLOv5路面缺陷识别模型中，在模型的Neck网络中引入自适应池化注意力模块AAM替换积注意力模块CBMA；该自适应池化注意力模块AAM主要利用通道维度和空间维度的注意力权重来映射融合特征，从而增强YOLOv5路面缺陷识别模型对重要特征的注意，提高YOLOv5路面缺陷识别模型对目标的检测能力。 4.根据权利要求1所述的基于双目视觉的公路场景三维重建与缺陷检测方法，其特征在于，所述步骤S2中YOLOv5路面缺陷识别模型时，将VOC2012数据集作为源域，墙体缺陷开源数据集crack-detection-master作为辅助域，公路路面缺陷图像作为目标域；由此，在VOC2012数据集基础上训练得出的源域模型，再通过墙体缺陷开源数据集crack-detection-master训练得到辅助域模型，最后将路面缺陷图像识别导入辅助域模型进行训练，实现参数迁移，得到YOLOv5路面缺陷识别模型。 5.根据权利要求1、2或4所述的基于双目视觉的公路场景三维重建与缺陷检测方法，其特征在于，所述步骤S4中联合图像融合的自适应图像匹配算法对成双目图片进行立体匹配的具体过程包括：步骤S41，采用基于深度学习的图像融合算法对双目图片进行图像清晰度增强，然后对增强后的双目图片进行边缘特征检测，并转换为边缘特征图；步骤S42，建立图像金字塔，采用改进的ORB算法提取边缘特征图上的特征点，使特征点在特征描述后具有尺度不变性；步骤S43，采用SURF描述子进行特征点描述；步骤S44，采用自适应FLANN算法结合RANSAC算法进行图像立体匹配，具体为：确定预设阈值在0~1区间内阈值与匹配正确率及点数的关系，确定在0~0.3区间内，特征点对为优秀特征点对，0.3~0.8之间内特征点对为待匹配特征点对，再通过引入RANSAC算法将FLANN算法筛选出来的待匹配点对进行错误匹配点对的剔除；最后将完成剔除后的匹配点对与经自适应FLANN算法保留的优秀匹配点对融合，完成匹配；同时，特征点在匹配过程中引入交叉匹配。 6.根据权利要求1所述的基于双目视觉的公路场景三维重建与缺陷检测方法，其特征在于，所述步骤S5中选取视差图上的特征点的具体过程包括：步骤S51，设定总特征提取点数为N，深度变化大的特征点数I，相邻特征点间最短欧氏距离为Ed，立体匹配得出的视差图Q；步骤S52，对视差图Q进行梯度值计算，然后找到梯度值最大的点C1，首先选取该点为特征点；步骤S53，在视差图Q中，以点C1为圆心，Ed为半径的周围区域进行梯度置零操作；步骤S54，重复步骤S52和步骤S53，直至选取的特征点数量不小于I；步骤S55，对视差图Q剩余的深度变化较低的零散区域进行特征点提取；规定视差图Q中一像素点坐标为（Ed，Ed），使其从视差图Q左上方开始进行遍历梯度值不为零的区域；若遍历到某点处时该像素点的上下左右4个方向距离为Ed的像素点的梯度值都不为零，则选取该像素点为特征点，记为C2；步骤S56，将C2点为圆心， Ed为半径的周围区域梯度置零；步骤S57，重复步骤S55和步骤S56，直到已选取的总特征点数为N。 7.根据权利要求1、2、4或6所述的基于双目视觉的公路场景三维重建与缺陷检测方法，其特征在于，所述步骤S6中对三维点云数据进行Delaunay三角剖分的过程采用基于方向搜索的插入点快速定位方法，该方法可以快速定位到包含插入点的三角形，具体过程为：步骤S61，设G为三角形的质心，P表示要插入的点，并将新生成的三角形作为初始三角形；步骤S62，从初始三角形开始，搜索方向由G和P的相对位置决定；当G和P位于某条边的不同侧面时，下一个要搜索的三角形就是与该边相邻的三角形；步骤S63，当G和P在三角形三条边的同一侧时，停止搜索，即该三角形包含了有要插入的点。 8.根据权利要求1、2、4或6所述的基于双目视觉的公路场景三维重建与缺陷检测方法，其特征在于，所述步骤S6中在公路场景三维模型上显示出路面缺陷时，先在阈值分割与路面缺陷边缘检测的基础上对公路场景三维模型进行整体的缺陷检测，然后调用OpenCV函数库里的CV.circle函数来进行范围圈内的缺陷着重显示的操作。 9.根据权利要求8所述的基于双目视觉的公路场景三维重建与缺陷检测方法，其特征在于，所述步骤S6中阈值分割时，将公路场景三维模型图像上的像素点的灰度值设置为0或255，以呈现出明显的黑白效果，具体包括以下步骤：步骤S64，选取某一像素点，计算该像素点领域的均值、中值、高斯加权平均值，以及计算该像素点附近区域的图像亮暗拉伸对比度；步骤S65，比较计算出的该像素点领域的均值、中值、高斯加权平均值，以及比较该像素点附近区域的图像亮暗拉伸对比度与高斯加权平均值；若图像亮暗拉伸对比度小于高斯加权平均值，则将该像素点的像素置为255，否则置0。 10.根据权利要求9所述的基于双目视觉的公路场景三维重建与缺陷检测方法，其特征在于，所述步骤S6中边缘检测时，采用Canny算子进行边缘检测，达到路面缺陷在三维模型中整体被分割出并着重显示的目的，具体包括以下步骤：步骤S66，对完成阈值分割后的公路场景三维模型图像进行预处理，然后计算图像梯度，得到梯度图以及梯度的方向和大小；步骤S67，在获得了梯度的方向和大小之后，扫描整幅梯度图，去除非边界上的点；同时，对每一个像素点进行检查，看该像素点的梯度是否为周围具有相同梯度方向的像素点中最大的；若是，则保留；步骤S68，设置阈值minVal和阈值maxVal；当保留的像素点的梯度高于阈值maxVal时被认为是真的边界点，低于阈值minVal则被抛弃；如果当保留的像素点的梯度介于阈值minVal和阈值maxVal之间，观察该像素点是否与某个被确定为真正的边界点相连；如果是，则认为该像素点也是边界点，否则抛弃。
所属类别：	发明专利