原文传递
一种基于深浅层注意特征融合的多尺度路面裂纹检测方法
| 专利名称： | 一种基于深浅层注意特征融合的多尺度路面裂纹检测方法 |
| 摘要： | 本发明提供了一种基于深浅层注意特征融合的多尺度路面裂纹检测方法，采集路面裂纹图像并对图像进行预处理；将图像输入主干网络提取层次特征P2，P3，P4，P5；将P5输入尺度自适应SA模块中获取多尺度信息；将P2，P3，P4输入到Neck中细化特征；所述Neck包括深浅层注意特征融合DSAFF模块和特征细化FR模块；DSAFF模块利用通道注意力获取通道信息，采用分块解耦注意力BDAM模块获取深浅层融合的空间信息，FR用来细化边缘信息；分别输入检测头中获取最终的检测结果；引入SimOTA优化训练时的标签分配方案。本发明能够在增加少量计算的情况捕捉更充分地多尺度特征信息；本发明能够强化网络对损伤区域的特征提取，从而缓解背景区域的干扰。 |
| 专利类型： | 发明专利 |
| 国家地区组织代码： | 江西;36 |
| 申请人： | 南昌大学 |
| 发明人： | 闵卫东;郭文建 |
| 专利状态： | 有效 |
| 申请日期： | 2023-08-19T00:00:00+0800 |
| 发布日期： | 2023-11-28T00:00:00+0800 |
| 申请号： | CN202311046653.9 |
| 公开号： | CN117132889A |
| 代理机构： | 北京众合诚成知识产权代理有限公司 |
| 代理人： | 王焕巧 |
| 分类号： | G06V20/10;G06V10/80;G06V10/52;G06V10/44;G06V10/82;G06V10/764;G06V10/766;G06V10/25;G06N3/0464;G06N3/045;G06N3/048;G06N3/084;G;G06;G06V;G06N;G06V20;G06V10;G06N3;G06V20/10;G06V10/80;G06V10/52;G06V10/44;G06V10/82;G06V10/764;G06V10/766;G06V10/25;G06N3/0464;G06N3/045 |
| 申请人地址： | 330000 江西省南昌市红谷滩新区学府大道999号 |
| 主权项： | 1.一种基于深浅层注意特征融合的多尺度路面裂纹检测方法，其特征在于：包括以下步骤： S1，采集路面裂纹图像并对图像进行预处理； S2，将图像输入主干网络提取层次特征P2，P3，P4，P5； S3，将P5输入尺度自适应SA模块中获取多尺度信息； S4，将P2，P3，P4输入到Neck中细化特征；所述Neck包括深浅层注意特征融合DSAFF模块和特征细化FR模块；DSAFF模块利用通道注意力获取通道信息，采用分块解耦注意力BDAM模块获取深浅层融合的空间信息，FR用来细化边缘信息； S5，分别输入检测头中获取最终的检测结果； S6，引入SimOTA优化训练时的标签分配方案。 2.根据权利要求1所述的一种基于深浅层注意特征融合的多尺度路面裂纹检测方法，其特征在于：步骤S3包括： 所述SA模块区别于SPP中使用的并联最大池化操作，选择使用串联的空洞可变形卷积来获取更大的感受野信息，使用的膨胀系数组合为(3,6,12)；同时，采用跳跃连接操作； 首先添加一个1×1的卷积来减小输入特征图维度至Cout/2，得到特征图f1，然后输入到膨胀系数为3的3×3空洞可变形卷积中，得到的结果与f1相加得到特征图f2；将3×3空洞可变形卷积的膨胀系数分别改为6和12，得到特征图f3和f4；最后，将fi,i∈(1,2,3,4)进行拼接操作后输入到一个1×1的卷积中，以此得到输出特征图f5；其中的计算如下公式所示； xout＝f1×1(C(x0,x1,x2,x3)) 其中xin、xout分别表示输入、输出特征图，C()和f1×1()分别表示拼接和卷积操作，表示卷积核大小为3×3的空洞可变形卷积，其中d表示膨胀系数。 3.根据权利要求1所述的一种基于深浅层注意特征融合的多尺度路面裂纹检测方法，其特征在于：步骤S4中，所述深浅层注意特征融合DSAFF模块包括： DSAFF模块包括两个分支，一个是注意力分支，一个是浅层空间信息获取分支；注意力分支使用通道注意力CA模块和BDAM模块获取通道和空间信息； DSAFF模块先是使用高级特征和低级特征做简单拼接，然后利用通道注意力CA获取通道信息； 浅层空间信息获取分支和CA模块输出后的特征经过处理后进行融合，输入到BDAM模块中来获取深浅层融合的空间信息；浅层空间信息获取分支为一个步长为2的3×3的最大池化进行下采样，然后使用全局最大池化使通道数变为1获取浅层空间信息；CA模块是通过将特征图通过全局平均池化压缩到C×1×1的维度后，使用1×1卷积对其进行缩放后，利用Sigmoid激活来获取通道的重要程度的； BDAM模块首先进行深浅层空间信息融合，过程如下式所示； 为融合特征，/>为拼接特征的第c个通道，C为通道数量，Fq为浅层特征； Fr进行MN处理，公式如下所示； FR＝y*Fr/(max(abs(Fr))) 其中max()表示取Fr中的最大值，abs()表示Fr中所有数据取绝对值，y是一个自定义的数值； 将FR划分成若干个区域，再对每个区域进行横纵池化操作，流程如下面公式所示； 其中F′R,P、F″R,P、FR,P分别表示第P个patch的横纵向池化后的输出特征和FR，c、i、j分别表示第几个维度、行和列，其中 将特征高频区域和低频区域解耦合，如下式所示； flow,H(i,j)＝min(fpatch(i,j),F′R,P(i,j)) flow,V(i,j)＝min(fpatch(i,j),F″R,P(i,j)) fhigh,H(i,j)＝max(fpatch(i,j),F′R,P(i,j)) fhigh,V(i,j)＝max(fpatch(i,j),F″R,P(i,j)) 其中fhigh,H、fhigh,V、flow,H、flow,V分别表示解耦的高低频横纵池化特征图，fpatch表示区域特征图，min表示对应位置取小值，max为取大值； 对特征进行Sigmoid激活，如下式所示； 其中fi,jp表示第p个patch第i行第j列的值，表示fhigh,H在Sigmoid之后第i行第j列的值，/>同理，上式为fi,jp大于/>且大于/>的情况，/>表示F′R,P第1行第j列的值；若前者小于，则将相应的/>变为/>后者同理。 4.根据权利要求1所述的一种基于深浅层注意特征融合的多尺度路面裂纹检测方法，其特征在于：步骤S4中，所述特征细化FR模块，包括： 首先经过两个1×1的卷积来调整维度，使得通道数调整为Cout/2，并形成两个分支；通过级联的3×1和1×3卷积来代替常见的3×3卷积，第一个3×1卷积的输出维度为Cout，后面的1×3卷积输出维度为Cout/2；其中一个分支经过两个级联的3×1和1×3卷积，将此过程中得到的特征与另一个分支初始输入的特征进行拼接，再通过一个1×1卷积将特征进行融合，形成最终的细化特征。 5.根据权利要求1所述的一种基于深浅层注意特征融合的多尺度路面裂纹检测方法，其特征在于：步骤S6中，所述SimOTA的步骤流程如下： 首先确定正样本候选区域，将处于真实框中心点5*5范围内的样本点定为正样本候选区域；其次，对每个真实框分别计算每个锚框与它的classloss、iouloss以及非候选区域损失～IsInBoxCenter的和作为代价，具体代价公式如下式： Cost＝ClsLossCE+α*RegLossIOU+β*(～IsInBoxCenter) 其中α、β是权重系数；然后每个真实框都选出对于它代价最小的10个锚框，并计算和这10个锚框的IOU的和得到每个真实框的动态k值；最后为每个真实框取代价排名最小的前k个锚框作为正样本，其余为负样本，计算损失进行训练，训练时损失函数如下式所示；分别由ClsLossCE、RegLossIOU和ObjLossBCE三个损失组成，λ、α、β是权重系数； Cost＝λ*ClsLossCE+α*RegLossIOU+β*ObjLossBCE。 |
| 所属类别： | 发明专利 |
检索历史
应用推荐
