详情

原文传递一种基于红外图像的道路目标检测方法

专利名称：	一种基于红外图像的道路目标检测方法
摘要：	本发明属于目标检测和图像处理技术领域，公开了一种基于红外图像的道路目标检测方法。该方法利用轻量级通用上采样模块CARAFE进行红外图像道路目标上采样，获取红外图像道路目标的细节信息，将车辆与行人不同大小目标的特征进行重组，使用SIoU损失函数，解决宽高比相同，真实值不同情况下CIoU的不足，对SPPCSPC模块进行改进，将最大池化层进行串行，既能保证感受野，又进一步减少了参数量与计算量。本发明对YOLOv7目标检测网络进行改进，减少网络参数量，便于模型部署，提高了道路目标检测的准确率与召回率，加快网络收敛速度，减少网络训练时长。
专利类型：	发明专利
国家地区组织代码：	天津;12
申请人：	天津津航技术物理研究所
发明人：	张乾
专利状态：	有效
申请日期：	2023-08-09T00:00:00+0800
发布日期：	2023-11-10T00:00:00+0800
申请号：	CN202311000998.0
公开号：	CN117037114A
代理机构：	天津市鼎拓知识产权代理有限公司
代理人：	周晓峰
分类号：	G06V20/58;G06V40/10;G06V10/58;G06V10/44;G06V10/774;G06V10/82;G06N3/0464;G06N3/08;G;G06;G06V;G06N;G06V20;G06V40;G06V10;G06N3;G06V20/58;G06V40/10;G06V10/58;G06V10/44;G06V10/774;G06V10/82;G06N3/0464;G06N3/08
申请人地址：	300300 天津市东丽区空港经济区中环西路58号
主权项：	1.一种基于红外图像的道路目标检测方法，其特征在于，该方法包括以下步骤： S1，针对红外图像道路目标对YOLOv7目标检测网络进行改进，使用轻量级通用上采样模块CARAFE进行红外图像道路目标上采样，获取红外图像道路目标的细节信息，将车辆与行人不同大小目标的特征进行重组，得到最终的上采样结果； S2，使用SIoU损失函数增加方向框角度对回归的影响，对宽高比相同，宽高实际值不同的情况进行判定； S3，对SPPCSPC模块进行改进，将最大池化层进行串行，提高红外图像道路目标检测速度。 2.根据权利要求1所述的基于红外图像的道路目标检测方法，其特征在于，在步骤S1中，轻量级通用上采样模块CARAFE包括：内核预测模块与内容感知重组模块；所述内核预测模块用于对输入的特征图通道进行压缩，通过内容编码器得到自适应内核，获得上下文中的道路目标的细节信息；以及对自适应内核进行归一化处理，得到最终的重组内核；所述内容感知重组模块对局部特征进行重组，将车辆与行人不同大小目标的特征进行重组，输出特征图中有一个点p′，则该点存在对应的输入特征图中的对应点p(a,b)，p的邻域表示为R(xl,l)，R(xl,l)是以xl为中心点以l为边长的正方形区域；重组公式如下：式中，x′p′为点p′对应区域的重组结果，xl为输入特征图x上的一个点l，(i,j)为点p′的位置，wp′(i,j)为重组内核，x(a+i,b+j)为输入特征图x上的点(a+i,b+j)，r为以点p′为中心的正方形邻域的边长的一半。 3.根据权利要求1所述的基于红外图像的道路目标检测方法，其特征在于，在步骤S2中，SIoU损失函数由角度损失、距离损失、形状损失以及IoU损失组成，SIoU损失函数的定义为：式中，LossSIoU为SIoU损失函数，IoU为预测框与真实框交集和预测框与真实框并集的比值，Δ为距离损失值，Ω为形状损失值。 4.根据权利要求3所述的基于红外图像的道路目标检测方法，其特征在于，SIoU损失函数针对预测框不与真实框相交情况，利用角度损失对训练初期收敛，角度损失的定义如下：式中，∧表示角度损失值，ch表示真实框与预测框中心点在y轴上的差，σ表示两框中心点之间的直线距离；距离损失用于描述真实框与预测框的中心点之间的距离，以及两框最小外接矩形的对角线长度，定义如下：其中， γ＝2-∧ 式中，Δ为距离损失值，t为求和函数里的变量，x,y为变量t所指代的内容，e为自然常数，γ,ρt,ρx,ρy均为中间变量，为真实框中心坐标横轴值，/>为预测框中心点坐标横轴值，/>为真实框中心坐标纵轴值，/>为预测框中心点坐标纵轴值，/>为真实框的中心点坐标，cw为真实框与预测框的最小外接矩形的宽，ch为真实框与预测框的最小外接矩形的高；形状损失用于描述真实框与预测框的长宽比，定义如下：其中，式中，Ω为形状损失值，t为求和函数里的变量，w,h为变量t所指代的内容，e为自然常数，ωt,ωw,ωh均为中间变量，θ为形状损失在网络中所占的比重，w为预测框的宽，h为预测框的高，为真实框的宽，/>为真实框的高。 5.根据权利要求4所述的基于红外图像的道路目标检测方法，其特征在于，SIoU损失用于描述预测框与真实框的交集与并集的比，定义如下：式中，IoU为预测框与真实框交集和预测框与真实框并集的比值。 6.根据权利要求1所述的基于红外图像的道路目标检测方法，其特征在于，在步骤S3中，SPPCSPC模块包括：空间金字塔池化层SPP和跨阶段部分通道拼接层CSPC；所述空间金字塔池化层SPP为多个，串行后连接跨阶段部分通道拼接层CSPC。 7.根据权利要求6所述的基于红外图像的道路目标检测方法，其特征在于，所述空间金字塔池化层SPP包括：卷积层、最大池化层，最大池化层串行后连接跨阶段部分通道拼接层CSPC。 8.根据权利要求1所述的基于红外图像的道路目标检测方法，其特征在于，在步骤S3后，还需进行：对采集的红外图像道路目标的图像进行翻转、平移、镜像，形成红外图像道路目标数据集；利用改进的YOLOv7目标检测网络训练所述红外图像道路目标数据集。 9.根据权利要求8所述的基于红外图像的道路目标检测方法，其特征在于，在形成红外图像道路目标数据集中，采集行车红外图像，随机选取多张图像作为训练集、验证集或测试集，并进行数据增强，形成红外图像道路目标数据集。 10.根据权利要求8所述的基于红外图像的道路目标检测方法，其特征在于，利用改进的YOLOv7目标检测网络训练所述红外图像道路目标数据集，包括对轻量级通用上采样模块CARAFE进行调参，设置batch size参数，image size参数，epoch参数，learning rate参数以及momentum参数，并将制作的数据集送入改进的YOLOv7目标检测网络中进行模型训练；通过训练过程中训练集与验证集的损失变化曲线，确定epoch参数，重新进行训练，得到收敛的改进的YOLOv7目标检测网络的模型。
所属类别：	发明专利