详情

原文传递基于多头注意力的多尺度融合沥青路面裂缝识别方法

专利名称：	基于多头注意力的多尺度融合沥青路面裂缝识别方法
摘要：	本发明涉及一种基于多头注意力的多尺度融合沥青路面裂缝识别方法，通过对输入图像进行预处理和数据增强并对输入图像进行分块；在图像块上进行多尺度的卷积运算，融合不同图像块的特征到相邻的图像块；结合图像块的位置编码，基于多头注意力机制学习全局空间上重要的图像块特征，实现图像的多分类概率计算；通过选取概率最大的几个类别标记图像的标签类型。本发明能够利用细粒度的多尺度图像块特征学习鲁棒性更好的图像整体分类模型，在解决沥青路面裂缝图像的多分类识别问题方面可以有重要的价值。
专利类型：	发明专利
国家地区组织代码：	山西;14
申请人：	山西省交通建设工程质量检测中心(有限公司)
发明人：	郝晨先;贾皓杰;牛彦峰;侯宇;王国忠;武文婕;张敏;李承峰;沙晓鹏;降慧
专利状态：	有效
申请日期：	2022-11-02T00:00:00+0800
发布日期：	2022-12-23T00:00:00+0800
申请号：	CN202211363902.2
公开号：	CN115512230A
代理机构：	北京太兆天元知识产权代理有限责任公司
代理人：	易卫
分类号：	G06V20/10;G06V10/80;G06V10/764;G06V10/82;G06V10/42;G06V10/44;G06V10/52;G;G06;G06V;G06V20;G06V10;G06V20/10;G06V10/80;G06V10/764;G06V10/82;G06V10/42;G06V10/44;G06V10/52
申请人地址：	030032 山西省太原市太原经济技术开发区武洛街27号
主权项：	1.基于多头注意力的多尺度融合沥青路面裂缝识别方法，其特征在于，包括以下步骤： S1，采用手机和检测车采集沥青路面的包含多类型裂缝的图像，分别包括“有裂缝”和“无裂缝”两种类别，并人工标注横向裂缝、纵向裂缝和网状裂缝标签； S2，基于锐化、双边滤波和灰度变换中的至少一种进行裂缝图像的数据预处理和数据增强； S3，将数据增强后的沥青路面裂缝图像数据集分为训练集、验证集和测试集； S4，将训练集的输入图像分成多个图像块，设计多尺度融合的卷积网络在每个图像块上进行特征抽取； S5，针对每个图像块，将多尺度融合后的图像块特征与位置编码向量进行拼接，输入transformer编码器，图像块采用多头注意力机制进行图像特征提取，利用多层感知器进行类别概率计算； S6，在采集的沥青路面裂缝图像集上，为每个图像进行分类，计算交叉熵损失函数，并采用梯度反传优化方法，降低损失函数值，最终得到分类模型； S7，对于新的图像，重复步骤S2-S5利用分类模型学习的参数进行裂缝识别。 2.根据权利要求1所述的基于多头注意力的多尺度融合沥青路面裂缝识别方法，其特征在于，所述步骤S2中，基于锐化、双边滤波和灰度变换中的至少一种进行裂缝图像的数据预处理和数据增强的方法如下： S2.1，对沥青路面的图像进行亮度变化，高斯噪声模糊和椒盐噪声叠加中的至少一种图像操作； S2.2，对图像进行翻转、平移和旋转中的至少一种实现数据增强变换。 3.根据权利要求2所述的基于多头注意力的多尺度融合沥青路面裂缝识别方法，其特征在于，所述步骤S4中，将训练集的输入图像分成多个图像块，设计多尺度融合的卷积网络在每个图像块上进行特征抽取的方法如下： S4.1，将输入图像分割成s个图像块，在第一块上进行卷积，获取第一块的特征f1； S4.2，将第i块的输入与第i-1块的特征fi-1进行卷积融合，融合的函数表示为： 4.根据权利要求3所述的基于多头注意力的多尺度融合沥青路面裂缝识别方法，其特征在于，所述步骤S5中，针对每个图像块，将多尺度融合后的图像块特征与位置编码向量进行拼接，输入transformer编码器，图像块采用多头注意力机制进行图像特征提取，利用多层感知器进行类别概率计算的方法如下： S5.1，将多尺度融合后的图像块特征fi与位置编码向量进行拼接； S5.2，对每一块的拼接图像特征进行Transformer编码，获取每一块的特征向量为headi＝Attention(QWiQ,KWiK,VWiV)； S5.3，采用多头注意力机制进行图像特征提取表示为MultiHead(Q,K,V)＝Concat(headi,...,headH)WO S5.4，通过多层感知器在多个类别上进行映射，输出特征向量 5.根据权利要求4所述的基于多头注意力的多尺度融合沥青路面裂缝识别方法，其特征在于，所述步骤S6中，在采集的沥青路面裂缝图像集上，为每个图像进行分类，计算交叉熵损失函数，并采用梯度反传优化方法，降低损失函数值，最终得到分类模型的方法如下： S6.1，计算输出特征向量与真实类别向量yj的交叉熵损失函数为： S6.2，设置批次大小batchsize和训练轮数，计算batchsize个样本的损失，并采用梯度反传优化方法，更新参数，在验证集上连续5个epoch准确率不再提高时，停止训练，得到分类模型。