详情

原文传递基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法

专利名称：	基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法
摘要：	本发明公开了一种基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法，包括以下步骤：1）按照设定航线对建筑立面饰面层进行视频录制，获得建筑立面完整的红外热成像视频；2）形成饰面层脱粘缺陷语义分割数据集；3）基于Deeplab网络构建建筑外墙饰面脱粘缺陷识别语义分割网络，利用步骤2)中数据集训练得到饰面层脱粘缺陷红外图像语义分割模型，4）利用步骤3）中得到的语义分割模型对饰面层检测视频进行分析，分割提取脱粘缺陷形状；5）计算得到饰面层脱粘实际面积；6）对脱粘缺陷进行标记，形成建筑立面饰面层检测结果图。本发明操作简单，自动化程度高，实现对建筑饰面层脱粘缺陷的快速、高效、全覆盖检测；可保障公众安全。
专利类型：	发明专利
国家地区组织代码：	湖南;43
申请人：	湖南科技大学
发明人：	钟新谷;彭雄;赵超
专利状态：	有效
申请日期：	2019-04-25T00:00:00+0800
发布日期：	2019-07-23T00:00:00+0800
申请号：	CN201910336330.0
公开号：	CN110044964A
代理机构：	湘潭市汇智专利事务所(普通合伙)
代理人：	颜昌伟
分类号：	G01N25/72(2006.01);G;G01;G01N;G01N25
申请人地址：	411201 湖南省湘潭市雨湖区桃源路
主权项：	1.一种基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法，其实施装置包括激光测距仪、红外热成像相机、带航迹规划系统的多旋翼无人飞行器及云台；所述云台安装在多旋翼无人飞行器的飞机平台上，云台与多旋翼无人飞行器之间设有减震装置，云台上设有红外热成像相机，所述红外热成像相机上设有激光测距仪；红外热成像相机和激光测距仪能够将数据通过无线传输系统传回地面电脑；包括以下步骤： 1)根据被检测建筑立面的尺寸信息对无人飞机设定检测飞行航线，按照设定航线对建筑立面饰面层进行视频录制，同时将激光测距仪的测距频率设置与红外热成像相机的帧率同步，获得一个建筑立面完整的红外热成像视频； 2)对录制的建筑饰面层红外成像视频按帧进行解压，对其中的脱粘缺陷图像利用Labelme工具制作人工标签，形成饰面层脱粘缺陷语义分割数据集； 3)基于Deeplab网络构建建筑外墙饰面脱粘缺陷识别语义分割网络，将饰面脱粘缺陷数据集在网络上进行训练，得到饰面层脱粘缺陷红外图像语义分割模型，作为饰面层脱粘缺陷检测的基准； 4)利用步骤3)中得到的语义分割模型对饰面层检测视频进行分析，分割提取脱粘缺陷形状，并计算脱粘缺陷像素面积； 5)结合同步帧率激光测距仪，根据光学成像换算，计算得到饰面层脱粘实际面积； 6)根据缺陷图像帧对应的航迹位置对脱粘缺陷进行标记，形成建筑立面饰面层检测结果图。 2.根据权利要求1所述的基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法，步骤2)的具体操作如下：采用Labelme作为图像标记工具，对饰面层脱粘缺陷红外热成像图片进行人工标记，将脱粘缺陷标记为(R，G，B)＝(128，0，0)的红色区域，将背景标记为(R，G，B)＝(0，0，0)的黑色区域，制作饰面层脱粘缺陷红外热成像数据集；按照训练集：验证集＝4∶1的比例，将图像样本数据集分成训练集和验证集，训练集图像数量为800张，验证集图像数量为200张。 3.根据权利要求1所述的基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法，步骤3)的具体操作如下： a)红外图像特征提取饰面层脱粘缺陷红外图像的特征提取是通过卷积过程将数据集图像中的低层次特征转化为高阶特征的过程，其中卷积公式为：式中：为第l层的输出特征；Mij为输入图像,为第l-1层特征；为卷积运算；为第l层的卷积核；为偏置项；f()为非线性激活函数；i,j为计数参数； b)空洞卷积扩大红外特征提取的感受野，其输出y[i]表示为：其中：x[]表示输入特征；ω[k]是一个长度为k的卷积核；r是采样比，表示在一个卷积核的卷积操作中，被采样点之间的间隔，当r＝1时，空洞卷积和普通卷积操作相同，i,k为计算参数； c)并联空洞卷积模块获得红外图像多尺度特征在特征提取部分采用并联空洞卷积模块，并联空洞卷积模块利用扩张率分别为6、12、18的3×3空洞卷积和一个1×1的卷积对饰面层红外特征图并行采样，获得图像的多尺度特征，通过全局平均池化实现图像级别的特征提取； d)解码将得到的全局特征经过一次1×1的卷积，输出特征图，经过双线性插值恢复到到原图像的大小，采用Concat算法与步骤c)中得到的多尺度特征图进行级联拼接，形成最后预测结果； e)采用多级交叉熵损失来计算脱粘缺陷输出预测图与脱粘缺陷标签之间的差异，交叉熵损失的计算公式为：其中，表示分割网络输出结果中准确的将标签a分配给像素x的概率，表示监督学习的训练集的分类准确性的概率；M为一批尺寸，N表示掩膜的像素数，C表示数据集的类别号，a表示样本标签，x表示语义分割网络对原图像的分割结果，b为计数参数；然后，在该框架下对数据集进行训练,得到图像掩模其中是图像掩模，θ是分割模型的参数，a表示样本标签，M为批尺寸，使用反向传播学习和随机梯度下降来最小化损失，使用正向传播交叉熵来计算交叉熵损失ls；在每次迭代中，从训练集中抽取一小批图像，通过公式(5)更新参数θ，直到达到设定条件停止计算，得到饰面层脱粘缺陷识别语义分割模型；式中：τ为参数更新系数，为θ的偏导。 4.根据权利要求3所述的基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法中，步骤3)中，模型建立后对模型进行评估，采用交互比进行模型评估，交互比计算方法如下：式中：TP是被模型预测为正的正样本，FP是被模型预测为正的负样本，FN是被模型预测为负的正样本；若IoU参数达标则完成了语义分割模型的训练，若达不到标准则调整训练参数，重新训练模型，直到IoU指标达到要求。 5.根据权利要求1、2或3所述的基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法中，步骤5)中，饰面层脱粘缺陷实际面积计算方法如下： a)对饰面层红外检测视频的分割结果进行形态学提取，计算其像素面积S”； b)根据语义分割模型自动判别的缺陷图像帧序号，得到其对应的激光测距仪的物距信息，其计算公式为： J＝Lλ (7) 其中：J为像素解析度,即像素尺寸所代表的实际尺寸,L为物距，即激光测距仪与被测目标之间的距离；f为红外热成像相机镜头焦距,λ为空间分辨率； c)饰面层脱粘缺陷实际面积计算 S＝J·S” (8) 将式(7)及脱粘缺陷像素面积S”代入式(8)，便可求得饰面层脱粘缺陷的实际面积。
所属类别：	发明专利