详情

原文传递基于Cascade RCNN的路面裂缝病害识别方法

专利名称：	基于Cascade RCNN的路面裂缝病害识别方法
摘要：	本发明公开了一种基于Cascade RCNN的路面裂缝病害识别方法，通过多层神经网络与双分支混合结构的检测头进行病害问题的定位和识别，泛化能力强，识别精度高，双分支混合结构的检测头将定位任务与分类任务进行解耦，并通过自学习系数加权融合的方式处理全连接层支路和卷积层支路独立提取的高维语义特征，有效提升了网络识别能力和定位精度，能够实现歧义难分路面裂缝病害的准确分类，从而综合提高检测识别的精确度，在工业缺陷检测、小目标检测等领域具有广阔的应用背景。
专利类型：	发明专利
国家地区组织代码：	江苏;32
申请人：	南京中设航空科技发展有限公司
发明人：	夏颖;周敏;陈宇飞;张松;张韵晨
专利状态：	有效
申请日期：	2021-12-07T00:00:00+0800
发布日期：	2022-03-11T00:00:00+0800
申请号：	CN202111484833.6
公开号：	CN114170511A
代理机构：	南京钟山专利代理有限公司
代理人：	王磊
分类号：	G06V20/10;G06N3/04;G06N3/08;G;G06;G06V;G06N;G06V20;G06N3;G06V20/10;G06N3/04;G06N3/08
申请人地址：	210014 江苏省南京市秦淮区永丰大道8号南京白下高新技术产业园区三号楼软件信息中心A栋102室
主权项：	1.基于Cascade RCNN的路面裂缝病害识别方法，其特征在于，包括以下步骤：步骤1：基于Cascade RCNN构建路面裂缝病害识别网络，包括特征提取骨干网络、区域提名网络和融合检测头网络；特征提取骨干网络用于提取道路表面特征图，区域提名网络用于根据提取的道路表面特征图生成若干候选目标区域，候选目标区域的特征图作为融合检测头网络的输入；融合检测头网络包括全连接支路和卷积层支路，全连接支路用于提取路面高维语义特征以实现裂缝病害分类，卷积层支路用于捕获空间位置信息和高维语义信息以实现裂缝病害定位；步骤2：为路面裂缝病害识别网络构建联合损失函数；步骤3：采集若干包含不同类型裂缝病害的路面图像，并分别标注裂缝病害类别及对应病害在图像中的位置，构建路面裂缝病害样本集；步骤4：利用路面裂缝病害样本集和联合损失函数训练路面裂缝病害识别网络；步骤5：将待识别路面图像输入到训练完成的路面裂缝病害识别网络中，得到一系列病害分类得分和对应的病害位置信息，并根据病害位置信息获取病害在待识别路面图像中的包围框；步骤6：对获取的包围框进行筛选，将筛选后的包围框及其对应的类别作为最终结果。 2.如权利要求1所述的基于Cascade RCNN的路面裂缝病害识别方法，其特征在于，步骤1中，所述特征提取骨干网络包括若干卷积层和全连接层，对于特征提取骨干网络提取的道路表面特征图的不同层特征，利用特征金字塔结构将其进行融合，以生成多尺度的高清道路表面特征图；区域提名网络在道路表面特征图上每一点对应的原图位置处生成多种不同长宽尺寸的Anchor，作为候选目标区域，接着采用ROI Pooling层将候选目标区域的特征进行池化得到候选目标区域的特征图。 3.如权利要求1所述的基于Cascade RCNN的路面裂缝病害识别方法，其特征在于，步骤1中所述全连接支路包括两个全连接层，通过第一个全连接层对候选目标区域的特征图进行压缩，再通过第二个全连接层进一步抽象与分类相关的语义信息并进行分类。 4.如权利要求1所述的基于Cascade RCNN的路面裂缝病害识别方法，其特征在于，步骤1中所述卷积层支路首先通过依次连接的三个分组卷积层、一个压缩-扩张层和两个平均池化层对候选目标区域的特征图进行压缩，然后通过一个全连接层得到候选目标区域的位置调整参数；所述压缩-扩张层依次包括一个动态平均池化层、一个11的卷积层、ReLU激活函数、一个全连接层和Sigmoid激活函数。 5.如权利要求4所述的基于Cascade RCNN的路面裂缝病害识别方法，其特征在于，融合检测头网络对目标区域的定位包括三个阶段，第一阶段通过融合检测头网络得到候选目标区域的位置调整参数，第二阶段将候选目标区域的特征图和第一阶段得到的位置调整参数联合输入融合检测头网络中获取第二阶段的位置调整参数，第三阶段将候选目标区域的特征图和第二阶段的位置调整参数联合输入融合检测头网络中获取最终的位置调整参数。 6.如权利要求4所述的基于Cascade RCNN的路面裂缝病害识别方法，其特征在于，所述分组卷积层为：随机将候选目标区域的特征图通道分为四组，第一组保留原始特征，第二组经过一个33的卷积层提取卷积特征，第三组与第二组提取的卷积特征融合后再经过一个33的卷积层提取卷积特征，第四组与第三组提取的卷积特征融合后再经过一个33的卷积层提取卷积特征，将各组的特征进行通道混洗操作后再经过一个11的卷积层作为输出。 7.如权利要求1所述的基于Cascade RCNN的路面裂缝病害识别方法，其特征在于，步骤1中，在卷积层支路添加一组分类输出，并将卷积层支路的分类得分conv_cls与全连接支路的分类得分fc_cls进行加权融合， Cls_score＝σfc_cls+(1-σ)conv_cls，其中，Cls_score为最终的分类得分，融合系数σ由网络自动学习生成并以滑动平均的方式进行更新，σt＝βσt-1+(1-β)θt，σt代表t时刻的融合系数，σt-1代表t-1时刻的融合系数，β为加权权重值，θt代表t时刻网络生成的融合系数，在起始时刻θt为0.5。 8.如权利要求7所述的基于Cascade RCNN的路面裂缝病害识别方法，其特征在于，步骤2中，所述联合损失函数Loss为： Loss＝αl_fc_cls+(1–γ)l_conv_cls+γl_conv_bbox+(1–α)*l_fc_bbox其中，α、β分别为全连接支路和卷积层支路的损失函数权重，l_fc_cls和l_conv_cls分别表示全连接支路和卷积层支路的分类损失函数且均为交叉熵损失函数，l_conv_cls和l_fc_bbox均为Smooth L1损失函数。 9.如权利要求1所述的基于Cascade RCNN的路面裂缝病害识别方法，其特征在于，步骤6中，使用软化非极大值抑制算法对获取的包围框进行筛选，通过一个非线性函数分别将每个包围框与分类得分最高的包围框间的交并比映射为包围框得分，设定得分阈值，将包围框得分大于得分阈值的包围框及其对应的类别作为最终结果；所述非线性函数为：其中，Bi为第i个包围框BBox_i的包围框得分，iou(BBox_i,M)表示BBox_i与分类得分最高的包围框M间的交并比，Si为第i个包围框对应的分类得分，ρ为修正系数。
所属类别：	发明专利