详情

原文传递一种基于深度卷积生成对抗网络的道路缺陷智能识别方法

专利名称：	一种基于深度卷积生成对抗网络的道路缺陷智能识别方法
摘要：	本发明涉及一种基于深度卷积生成对抗网络的道路缺陷智能识别方法，包括如下步骤：1)，基于爬虫技术和对抗生成网络训练技术获得大量表面带有缺陷的道路图片；2)，基于DarkNet‑53卷积神经网络训练的道路类型分类和记录；3)，利用车载摄像头对路面进行拍摄，对道路特征进行智能提取，自动判别道路缺陷并记录缺陷所在位置，判断缺陷是否需要修复并进行相应动作；4)，云端共享，扩充样本数据集。本发明的道路缺陷智能识别方法在小样本数据集的前提下，通过卷积神经网络模型进行缺陷检测及分类，并利用图片生成网络生成大量数据集进行神经网络的训练，从而能够使判别器能够自动识别道路缺陷。
专利类型：	发明专利
国家地区组织代码：	浙江;33
申请人：	浙江理工大学
发明人：	向忠;王法慧;王骏骋
专利状态：	有效
申请日期：	2022-08-17T00:00:00+0800
发布日期：	2022-12-23T00:00:00+0800
申请号：	CN202210983993.3
公开号：	CN115511784A
代理机构：	绍兴市知衡专利代理事务所(普通合伙)
代理人：	施春宜
分类号：	G06T7/00;G06V10/82;G06V10/774;G06V10/764;G06V10/147;G;G06;G06T;G06V;G06T7;G06V10;G06T7/00;G06V10/82;G06V10/774;G06V10/764;G06V10/147
申请人地址：	310018 浙江省杭州市杭州经济技术开发区白杨街道2号大街928号
主权项：	1.一种基于深度卷积生成对抗网络的道路缺陷智能识别方法，其特征在于：包括如下步骤： 1)，基于爬虫技术和对抗生成网络训练技术获得大量表面带有缺陷的道路图片； 2)，基于DarkNet-53卷积神经网络训练的道路类型分类和记录； 3)，利用车载摄像头对路面进行拍摄，对道路特征进行智能提取，自动判别道路缺陷并记录缺陷所在位置，判断缺陷是否需要修复并进行相应动作； 4)，云端共享，扩充样本数据集；即将车载摄像头记录的缺陷道路图片上传到云端，继续补充小样本数据集。 2.如权利要求1所述的基于深度卷积生成对抗网络的道路缺陷智能识别方法，其特征在于：所述步骤1)具体为： 1-1)，基于爬虫技术进行原始道路背景图片与缺陷道路图片识别并提取；使用爬虫技术从互联网爬取带有缺陷的道路图片内容，并将内容保存下来建立小样本数据库；将建好的数据库保存到文件夹“数据库”中； 1-2)，将得到的小样本图片进行预处理并进行道路缺陷的分类，以此扩充数据集； 1-3)，判断数据集数量和质量是否能达到训练的标准；判断数据集数量和质量是否能达到训练的标准，若能够达标，则进行训练，若不能达标，则重新提取缺陷并生成数据集。 3.如权利要求1所述的基于深度卷积生成对抗网络的道路缺陷智能识别方法，其特征在于：所述步骤1-2)中：将小样本中的图像进行预处理，获得图片的单通道灰度图；再将图片进行缺陷位置的标注，对数据集中每一张图片的缺陷位置进行框定，并输入道路对应的缺陷类型作为图片的标志，得到预处理数据集；将预处理后的数据集分为训练集和验证集两个部分，分别进行训练和验证；创建Pix2Pix对抗生成网络，所述Pix2Pix对抗生成网络包括生成器G和判别器D；生成器是Unet网络，判别器是条件判别器PatchGAN网络；使用缺陷标注后的预处理数据集训练Pix2Pix对抗生成网络，得到训练后的Pix2Pix对抗生成网络，作为图片生成网络；将建立好的数据集输送到生成器G中进行训练，然后将未经任何处理的道路图片传输到生成器中，输出带有道路缺陷的道路图片；将带有道路缺陷的道路图片输入给判别器，最终，判别器将输入的图片进行判别，并且分类为一个标签，即道路缺陷类型；在生成足够的数据集后，根据路面的损伤程度，将路面缺陷主要分为裂缝，沉陷，推移，坑槽，泛油，冻胀六种类别；从预处理后的数据集中随机获取一张道路图片、一个缺陷区域和标志类型标签输入所述图片生成网络，通过处理之后能够生成一张新的道路缺陷图片，用这种方式不断循环操作，将道路缺陷图片数据集扩充到目标数量，形成扩充后的数据集，使其能够支持可变形卷积神经网络进行训练。 4.如权利要求3所述的基于深度卷积生成对抗网络的道路缺陷智能识别方法，其特征在于：所述Pix2Pix对抗生成网络的损失函数有三个部分构成：第一个是生成器G的损失函数，第二个是判别器D的损失函数，第三个是L1损失函数；将三个损失函数一同加以利用并设为目标，即可以对上述网络进行优化；所述的Pix2Pix对抗生成网络的损失函数是：其中，LCGAN(G,D)的损失函数是： LL1(G)公式是： LL1(G)＝Ex,y,z[\|\|y-G(x,z)\|\|1]；其中，x为输入图像，z为随机噪声向量，y为真实图像，G(z\|y)表示在真实图片y的条件下有噪声z生成的图片，D(x\|y)表示在真实图片y的条件下对输入图像的判别分数，D(x,G(z\|y))表示将对生成器生成的图像和真实图像是否匹配进行判别；λ参数选取100； L1函数表达式为： y(i)表示经过预处理的缺陷道路图像，表示生成器生成的缺陷道路图像，求取两者的绝对差值和的最小化。 5.如权利要求1所述的基于深度卷积生成对抗网络的道路缺陷智能识别方法，其特征在于：所述步骤2)中，采用可变形卷积神经网络的方法进行自主学习并构建学习模型；在可变形卷积中，对网格R额外增加一个偏移值Δpn，那么相同位置p0的输出值y(p0)计算公式变为公式：由于偏移值Δpn可以是小数，故需要利用双线性插值法计算x(p0+pn+Δpn)的值，计算公式是： X(p)＝∑qG(q,p)*x(q) 其中p＝p0+pn+Δpn，G是双线性插值函数，q是x中选择的值。 6.如权利要求1所述的基于深度卷积生成对抗网络的道路缺陷智能识别方法，其特征在于：所述步骤3)具体为： 3-1)，获得视频每一帧的单通道灰度图，判断道路缺陷类型；并利用步骤2)中的可变形神经网络进行判断道路具体类型，并给出一个标签； 3-2)，建立SLAM系统，实现即时定位与构建地图的功能；将数据集进行分类后，利用车载摄像头对路面进行拍摄，对道路特征进行智能提取，自动判别道路缺陷并记录缺陷所在位置，再判断缺陷是否需要修复并进行相应的检测和养护； 3-3)，将缺陷类型、道路坐标、缺陷道路图片共同上传到云端；建立地图后，车载摄像头检测到道路缺陷，快速使用可变形卷积进行分类判断出道路缺陷类型，将建立好的地图坐标点进行存储，并将坐标点、道路类型与有缺陷的道路图片共同上传到云端。