详情

原文传递一种基于视觉与雷达融合的船舶目标检测方法

专利名称：	一种基于视觉与雷达融合的船舶目标检测方法
摘要：	本发明公开了一种基于视觉与雷达融合的船舶目标检测方法，包括：获取待处理的视觉图像和对应的雷达数据，将船舶的经纬度坐标转换到图像的像素点坐标上，使用选择性雷达掩码生成雷达掩码图；构建双流特征提取网络，对视觉图像提取出三种不同尺寸的特征图，对雷达掩码图得到三种与特征图相应尺寸的掩码图；构建双模态特征融合模块以融合相同尺寸的特征图和掩码图，构建颈部网络以增强特征信息；构建预测网络实现目标检测分类和位置回归。本发明根据船舶的特征和船舶尺寸生成不同类型的雷达掩码图像，可以提高对大中型船舶的检测精度，通过交叉融合的方式可以有效利用雷达信息使得检测精度得到显著提高。
专利类型：	发明专利
国家地区组织代码：	江苏;32
申请人：	南京航空航天大学
发明人：	徐帆;商智高;詹杰;蔡日钊;易宸宇
专利状态：	有效
申请日期：	2023-07-28T00:00:00+0800
发布日期：	2023-11-03T00:00:00+0800
申请号：	CN202310937180.5
公开号：	CN116994135A
代理机构：	南京钟山专利代理有限公司
代理人：	徐燕
分类号：	G06V20/10;G01S7/41;G06V10/40;G06V10/764;G06V10/80;G06V10/82;G06V10/766;G06V10/25;G06V10/24;G06N3/045;G06N3/048;G06N3/08;G;G06;G01;G06V;G01S;G06N;G06V20;G01S7;G06V10;G06N3;G06V20/10;G01S7/41;G06V10/40;G06V10/764;G06V10/80;G06V10/82;G06V10/766;G06V10/25;G06V10/24;G06N3/045
申请人地址：	211106 江苏省南京市江宁区将军大道29号
主权项：	1.一种基于视觉与雷达融合的船舶目标检测方法，其特征在于，包括： S1、获取待处理的视觉图像和对应的雷达数据，其中雷达数据包括船舶的经纬度坐标和尺寸信息； S2、将船舶的经纬度坐标转换到图像的像素点坐标上，然后根据船舶的尺寸信息，使用选择性雷达掩码生成雷达掩码图； S3、构建包括第一分支网络和第二分支网络的双流特征提取网络，视觉图像通过第一分支网络提取出三种不同尺寸的特征图，雷达掩码图通过第二分支网络降采样，得到三种与特征图相应尺寸的掩码图； S4、构建双模态特征融合模块，对相同尺寸的特征图和掩码图进行融合，构建颈部网络对融合后数据的特征信息进行增强； S5、构建预测网络并输入颈部网络的输出数据，实现目标检测分类和位置回归。 2.根据权利要求1所述的一种基于视觉与雷达融合的船舶目标检测方法，其特征在于，所述S2中将船舶经纬度坐标转换到图像的像素点坐标的公式为：其中(x0,y0)为船舶的经纬度坐标，(x1,y1)为目标点经纬度坐标，(xw,yw,zw)为目标点地球三维坐标，h0为相机高度，h1为目标点高度，R为地球半径；其中(Xc,Yc,Zc)为以相机为坐标原点的地球三维坐标，T为平移矩阵，Rx,Ry和Rz分别三维旋转矩阵：其中θ,ρ和β分别为相机绕X轴，Y轴和Z轴的旋转角度；其中(x,y)是图像坐标系下的坐标，即图像的像素点坐标，f是相机焦距，dx,dy为相机感光元件上像元大小，u0和v0代表相对于像素坐标原点的中心像素坐标。 3.根据权利要求1所述的一种基于视觉与雷达融合的船舶目标检测方法，其特征在于，所述S2使用选择性雷达掩码生成雷达掩码图的过程为：采用K-means(K＝3)进行船舶框聚类，公式如下：其中shipbox表示由船舶尺寸大小合成的船舶框，cluster表示每个迭代过程中产生的聚类中心框；经过聚类后将船舶框划分为L、M、S三种类型，并对每种类型船舶框设计相应的掩码图过程具体包括：首先构建背景像素为δ(0＜δ＜255)，大小为W×H的空图像；然后根据不同类型在空图像的对应船舶框内处理，其中对于L型船舶，按1:2:1的比例划分为三部分，像素值为α：β：α(0＜β＜α≤255,α≠δ,β≠δ)；对于M型船舶，按1：1：1的比例划分为三部分，像素值为α：β：α；对于S型船舶，将其视为一个整体，像素值全为α；最后将分类处理后的图像与视觉图像进行融合得到雷达掩码图。 4.根据权利要求3所述的一种基于视觉与雷达融合的船舶目标检测方法，其特征在于，所述将分类处理后的图像与视觉图像进行融合得到雷达掩码图的具体公式为：其中α和β是在0和255之间的像素值，且α大于β； Rect为矩形函数，用于对船舶框部分绘制掩码图； x和y表示船舶框的左上角坐标值，w和h表示船舶框的宽度和长度。 5.根据权利要求1所述的一种基于视觉与雷达融合的船舶目标检测方法，其特征在于，所述S3构建的双流特征提取网络，将单输入的特征提取网络改为视觉图像和雷达掩码图的双输入网络，包括第一分支网络和第二分支网络；第一分支网络为视觉图像特征提取网络，使用CSPDarknet53，图像经过网络进行特征提取时被32倍下采样，并输出最后三层的特征图进行后续操作；第二分支网络为雷达掩码图的提取网络，使用五个池化层对掩码图降采样，使得输出的掩码图尺寸与视觉图像支路输出的特征图一致。 6.根据权利要求5所述的一种基于视觉与雷达融合的船舶目标检测方法，其特征在于，所述第一分支网络在输入图像分辨率为W×H×3的情况下，输出三种不同大小的图像特征，输出的特征图尺度为所述第二分支网络输出的掩码图尺寸分别为 7.根据权利要求1所述的一种基于视觉与雷达融合的船舶目标检测方法，其特征在于，所述S4中构建三个双模态特征融合模块，分别融合S3得到的三种不同尺寸中相同尺寸大小的视觉特征图和掩码图；双模态特征融合模块的融合过程为： (1)先将视觉特征图提取空间信息与雷达掩码图融合来增强真实目标数据并削弱杂波数据，其融合操作如下所示：其中，视觉图像特征图雷达掩码图/>f7×7代表卷积核为7的卷积操作，σ代表sigmoid激活函数，AvgPool代表平均池化，MaxPool代表最大值池化； (2)将雷达掩码图处理为空间注意力的形式作为位置信息引导视觉图像特征图，具体如下所示： Mr(FRGB,FRadar)＝σ(BN[f1×1(Ms(FRGB,FRadar))]) 其中，f1×1代表卷积核大小为1的卷积操作，BN代表批标准化。 8.根据权利要求1所述的一种基于视觉与雷达融合的船舶目标检测方法，其特征在于，所述S4构建的颈部网络采用FPN+PANet的联合结构，FPN自顶而下传递高层语义特征信息，PANet自下而上传递低层定位特征信息。 9.根据权利要求1所述的一种基于视觉与雷达融合的船舶目标检测方法，其特征在于，所述S5构建的预测网络采用YOLO系列的头部结构，同时预测待检测目标的类别和位置；输出通道数为3(K+5)，3表示每个预测位置有3个不同大小尺寸的预测框，K为预测类别数，5表示预测框的4个坐标和1个置信度。
所属类别：	发明专利