详情

原文传递一种全景影像中路面表观病害自动检测方法

专利名称：	一种全景影像中路面表观病害自动检测方法
摘要：	本发明涉及一种全景影像中路面表观病害自动检测方法，属于道路病害检测领域，包括：从道路真实场景获得路面图像；挑选出含有病害的数据，使用标注软件LabelImg进行标注，形成道路病害数据集；将数据集进行数据增强，并划分道路病害数据集，将数据集划分为训练集、验证集、测试集，将划分好的数据集导入改进的YOLOv5网络模型进行训练；训练结束后保留最好模型，用于预测路面数据，输出道路病害数据并统计病害信息。本发明通过新的标注准则和基于anchor‑free的方法，实现了路面表观病害的准确检测，该方法具有应对路面病害尺寸不规则性和形状随机性的优势，可以应用于城市道路、高速公路以及国省道的路面表观病害检测。
专利类型：	发明专利
国家地区组织代码：	山东;37
申请人：	青岛数字世界信息科技有限公司
发明人：	苏辕;刘如飞;张轶;谢永强;来瑞鑫;苏占文;邢恺强;徐超
专利状态：	有效
申请日期：	2023-06-27T00:00:00+0800
发布日期：	2023-11-14T00:00:00+0800
申请号：	CN202310766314.1
公开号：	CN117058069A
代理机构：	济南金迪知识产权代理有限公司
代理人：	孙倩文
分类号：	G06T7/00;G06T7/11;G06T7/62;G06T7/40;G06T7/70;G06V10/774;G06V10/764;G06V10/82;G06V20/70;G;G06;G06T;G06V;G06T7;G06V10;G06V20;G06T7/00;G06T7/11;G06T7/62;G06T7/40;G06T7/70;G06V10/774;G06V10/764;G06V10/82;G06V20/70
申请人地址：	266041 山东省青岛市李沧区中海国际广场1709A
主权项：	1.一种全景影像中路面表观病害自动检测方法，其特征在于，包括如下步骤： S1：从道路真实场景获得路面图像； S2：筛选步骤S1获得的影像，挑选出含有病害的数据，使用专业标注软件LabelImg进行标注，形成道路病害数据集； S3：将数据集进行数据增强，并划分道路病害数据集，将数据集划分为训练集、验证集、测试集，划分比例为8:1:1，将划分好的数据集导入改进的YOLOv5网络模型进行训练； S4：训练结束后保留最好模型，用于预测路面数据，输出道路病害数据并统计病害信息。 2.根据权利要求1所述的全景影像中路面表观病害自动检测方法，其特征在于，步骤S1的具体步骤如下：使用移动测量设备采集不同天气、不同时间、不同交通状况下的道路全景影像，并对获取的全景图像进行裁剪，只保留路面部分。 3.根据权利要求1所述的全景影像中路面表观病害自动检测方法，其特征在于，步骤S2的具体步骤如下： S21：挑选步骤S11得到的图像构建含有道路病害的数据集； S22：将所得道路真实图像使用专业标注工具LabelImg进行逐张标注，标注完每张图像对应一个xml文件，使用LabelImg分别在道路病害在对应病害位置进行标注，标注4种病害分别为：裂缝、坑槽、龟裂、剥落； S23：使用正交骨架线法统计裂缝、龟裂平均像素宽度作为数据集所用的裂缝平均宽度，将一条裂缝分成多个对象实例进行标注，要求每个标注框的中心点与裂缝的距离不超过5个裂缝平均宽度，对标注框的大小和长宽比进行限制，要求长宽比不大于4且最长边不大于四分之一图像大小。 4.根据权利要求3所述的全景影像中路面表观病害自动检测方法，其特征在于，步骤S23中，统计裂缝、龟裂平均像素宽度的具体步骤为：首先，随机挑选含有道路病害的数据集的1/10，使用labelme标注软件对裂缝、龟裂进行像素级别的标注，标注为json格式，并将图像二值化处理，转为黑白二值图像，用0像素值代表背景，用255像素值代表裂缝，将裂缝、龟裂区域和背景区域分开；然后，对每个二值化的图像应用正交骨架线法，得到裂缝、龟裂区域的拓扑骨架；对每条骨架线，计算其与其两侧边缘的最短距离，作为该骨架线上每个像素点的宽度；接着，对每张图像，计算所有骨架线上所有像素点的宽度之和，并除以像素点的个数，得到该图像的平均像素宽度；最后，对所有图像，计算所有图像的平均像素宽度之和，并除以图像的个数，得到数据集所用的裂缝平均宽度。 5.根据权利要求4所述的全景影像中路面表观病害自动检测方法，其特征在于，步骤S23中，判断每个标注框的中心点与裂缝的距离是否超过5个裂缝平均宽度的过程为：首先，计算标注框的中心点，即标注框的左上角和右下角的坐标的平均值；然后，以标注框中心点为圆心，5个裂缝平均宽度为半径，画一个圆，检查圆内是否有裂缝区域，如果有，则说明标注框的中心点与裂缝的距离不超过5个裂缝平均宽度，否则，说明标注框的中心点与裂缝的距离超过了5个裂缝平均宽度。 6.根据权利要求5所述的全景影像中路面表观病害自动检测方法，其特征在于，步骤S3的具体步骤如下： S31：对标注后的图像进行数据增强，包括对图像进行亮度变换、色彩空间调整、Mosaic增强、自适应锚框计算、图像缩放； S32：通过随机调整亮度至原亮度的0.35-1.2倍，随机平移、随机旋转、水平镜像翻转并矫正标注框坐标的方式对得到的已标注后的所有样本图像进行增广； S33：添加图像总数的四分之一到五分之一的复杂场景下的无病害图像作为负样本，负样本要求是在识别过程中易错识别的影像和背景影像； S34：改进的YOLOv5网络模型由四部分组成：输入端、主干网络Backbone、颈部网络Neck和头部结构Head，将改进的YOLOv5网络模型的回归阶段修改为anchor-free结构，新的头部结构Head共有三个输出分支：类别输出分支Classification、回归输出分支Regression、中心点输出分支Center-ness，其中类别输出分支Classification在对输入图像进行卷积、采样计算处理后的输出图，即特征图上的每个位置都会进行一次类别预测，即判断该位置是否存在裂缝；回归输出分支Regression在特征图上的每个位置都会进行四个距离参数的预测，即预测该位置与标注框中心点远近程度，四个距离参数是指l、t、r、b，l、t、r、b分别指映射坐标到与其相关联真实框的左边、上边、右边、下边四条边的距离，映射坐标是指特征图上的每个位置对应到原始图像上的坐标；中心点输出分支Center-ness在特征图上的每个位置进行一个归一化参数预测，反映了该位置距离目标中心的远近程度，预测值域在[0,1]之间，距离中心越近Center-ness越接近1；Center-ness定义如式(1)：设特征图Ni上的某一空间位置为A(x，y)，其中，x和y是映射坐标，按照当前层级的下采样数si可得其在输入图像上对应感受野区域的中心坐标A`＝si/2+xsi，si/2+ysi；如果A`落在了真实标注框G内，则将A看做训练阶段的正样本，反之，则全部视为负样本点； S35：根据电脑配置设置超参数； S36：模型通过不断迭代计算预测边框与真实框之间的损失，并按照损失值反向传播梯度来更新模型，直至参数减少并收敛至一个取值区间，对应回归阶段的三个损失函数；回归阶段的三个损失函数由分类损失Lcls、定位损失Lreg、center-ness损失Lcen构成，定义如式(2)：其中，Px,y表示在特征图(x,y)点处预测的每个类别的score；tx,y表示在特征图(x,y)点处预测的目标边界框信息；sx,y表示在特征图(x,y)点处预测的center-ness；Npos表示正样本的数量，即特征图上所有被匹配为正样本的位置的个数；Lcls表示分类损失，即预测类别与真实类别之间的差异；表示在特征图(x,y)点对应的真实类别标签；/>表示当特征图(x,y)点被匹配为正样本时为1，否则为0；Lreg表示定位损失，即预测边框与真实框之间的差异；/>表示在特征图(x,y)点对应的真实目标边界框信息；Lcen表示center-ness损失，即预测center-ness与真实center-ness之间的差异；/>表示在特征图(x,y)点对应的真实center-ness； S37：采用梯度下降法进行训练，计算网络更新后的参数，即权重值和偏重值，当损失函数中的Loss值不在变化或达到最大迭代次数，停止训练，保存模型参数。 7.根据权利要求6所述的全景影像中路面表观病害自动检测方法，其特征在于，步骤S4的具体步骤如下： S41：将所得道路真实图像进行预处理，统一大小为2048*1024； S42：将步骤S41得到的图像输入改进的YOLOv5网络模型进行预测，输出得到道路病害且附带标签，通过图像的位置信息可准确得到道路位置； S43：统计各类病害数量。
所属类别：	发明专利