详情

原文传递基于深度学习的路面灌缝检测方法、系统、终端及介质

专利名称：	基于深度学习的路面灌缝检测方法、系统、终端及介质
摘要：	本发明公开了基于深度学习的路面灌缝检测方法、系统、终端及介质，涉及图像识别技术领域，其技术方案要点是：实时采集目标路面的路面图像数据，路面图像数据包括全局视角下的第一图像数据和局部视角下的第二图像数据；将第一图像数据与第二图像数据中针对同一路面段的图像进行关联；筛选出第一图像数据中的异常图像；从第二图像数据中匹配得到与异常图像关联的目标图像；将目标图像输入预构建的深度学习网络模型，输出得到对目标图像进行路面灌缝检测的检测结果。本发明可降低参与精准识别的图像数量，提高识别效率；将全局视角下和局部视角下的图像关联后进行识别，既可以适应高速行驶状态，又可以在有车辆遮挡的情况下进行全面覆盖识别。
专利类型：	发明专利
申请人：	四川蜀道新能源科技发展有限公司;成都量子泉溪科技有限公司
发明人：	张傲南;李宸;柯宇;林志豪;严莹子;马智鑫
专利状态：	有效
申请日期：	2023-09-28T00:00:00+0800
发布日期：	2023-11-10T00:00:00+0800
申请号：	CN202311264558.6
公开号：	CN117037105A
代理机构：	成都行之专利代理有限公司
代理人：	喻英
分类号：	G06V20/56;G06V10/75;G06V10/764;G06V10/82;G06N3/0464;G06N3/08;G;G06;G06V;G06N;G06V20;G06V10;G06N3;G06V20/56;G06V10/75;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
申请人地址：	610000 四川省成都市高新区创业路1号1栋13楼1301号;
主权项：	1.基于深度学习的路面灌缝检测方法，其特征是，包括以下步骤：实时采集目标路面的路面图像数据，路面图像数据包括全局视角下的第一图像数据和局部视角下的第二图像数据；将第一图像数据与第二图像数据中针对同一路面段的图像进行关联；筛选出第一图像数据中的异常图像；从第二图像数据中匹配得到与异常图像关联的目标图像；将目标图像输入预构建的深度学习网络模型，输出得到对目标图像进行路面灌缝检测的检测结果。 2.根据权利要求1所述的基于深度学习的路面灌缝检测方法，其特征是，所述全局视角下所对应的单一摄像头的采集区域覆盖目标路面的宽度范围；所述局部视角下所对应的多个摄像头的采集区域交集处理后覆盖目标路面的宽度范围；以及，同一路面段中第一图像数据的采集时间先于第二图像数据的采集时间。 3.根据权利要求1所述的基于深度学习的路面灌缝检测方法，其特征是，所述第一图像数据和第二图像数据以相同的采集间隔时间进行同步采集；第一图像数据中的第m个图像与第二图像数据中的第m+n个图像关联，n为正整数；其中，n由采集间隔时间、采集车的移动速度以及摄像头的安装参数决定，摄像头的安装参数包括摄像方向的俯仰角以及摄像头距离目标路面的垂直高度。 4.根据权利要求3所述的基于深度学习的路面灌缝检测方法，其特征是，所述第一图像数据与第二图像数据的关联表达式具体为：；其中，表示第一图像数据与第二图像数据关联的图像序号差值；/>表示摄像头距离目标路面的垂直高度；/>表示全局视角下所对应摄像方向的俯仰角；/>表示局部视角下所对应摄像方向的俯仰角；/>表示采集车的移动速度；/>表示图像采集的采集间隔时间；/>表示第一图像数据中第/>个图像；/>表示第二图像数据中第/>个图像；/>表示两侧图像所采集的路面段相同。 5.根据权利要求1所述的基于深度学习的路面灌缝检测方法，其特征是，所述异常图像的筛选过程具体为：提取第一图像数据中单个图像的路面标线，并将路面标线去除后得到非标图像；计算非标图像中沿路面标线的延伸方向的像素均值；沿路面标线的延伸方向计算两个相邻的像素均值的差值，若存在差值大于设定阈值的情况，则判定相应的图像为异常图像。 6.根据权利要求1所述的基于深度学习的路面灌缝检测方法，其特征是，所述深度学习网络模型以图像分类网络deeplabv3+为基础，并使用轻量级网络MobileNetv2替换DeepLabv3+的主干网络Xception。 7.根据权利要求6所述的基于深度学习的路面灌缝检测方法，其特征是，所述深度学习网络模型通过编码器和解码器进行特征提取，具体过程为：利用Mobilenetv2对路面图像进行初步提取，得到8×16大小的深层特征图以及32×64大小的浅层特征图；将深层特征图传入ASPP模块进行特征提取，然后进行合并，再执行上采样4倍操作，得到32×64大小的第一特征图，第一特征图为原输入尺寸大小的1/8；将32×64大小的浅层特征图通过卷积核大小为1×1、步长为1的卷积层以及标准化和非线性激活函数RELU，得到原输入尺寸1/8大小的第二特征图；将第一特征图、第二特征图进行特征的拼接融合，得到最后高语义特征和多尺度特征信息的融合结果，然后将融合结果传入ECA Attention结构，接着通过3×3×1的卷积层得到的单通道特征图，最后执行上采样8倍操作实现最后的语义分割结果。 8.基于深度学习的路面灌缝检测系统，其特征是，包括：图像采集模块，用于实时采集目标路面的路面图像数据，路面图像数据包括全局视角下的第一图像数据和局部视角下的第二图像数据；图像关联模块，用于将第一图像数据与第二图像数据中针对同一路面段的图像进行关联；异常筛选模块，用于筛选出第一图像数据中的异常图像；图像匹配模块，用于从第二图像数据中匹配得到与异常图像关联的目标图像；灌缝检测模块，用于将目标图像输入预构建的深度学习网络模型，输出得到对目标图像进行路面灌缝检测的检测结果。 9.一种计算机终端，包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如权利要求1-7中任意一项所述的基于深度学习的路面灌缝检测方法。 10.一种计算机可读介质，其上存储有计算机程序，其特征是，所述计算机程序被处理器执行可实现如权利要求1-7中任意一项所述的基于深度学习的路面灌缝检测方法。
所属类别：	发明专利