详情

原文传递基于改进FCOS的道路场景多类别检测方法及系统

专利名称：	基于改进FCOS的道路场景多类别检测方法及系统
摘要：	一种基于改进FCOS的道路场景多类别检测方法，包括：首先对KITTI数据集预处理，将原本九个类别合并为三类；其次，提出跨尺度改进策略，新增P2层，放大最低层特征，并融合P3层语义信息；然后融合特征退化策略和重检测策略，以加深目标特征理解；提出IOU‑better策略，在用于边框回归的特征图上使用IOU预测网络替代Center‑ness网络；最后提出参数共享策略，通过共享head网络部分卷积层的特征提升算法实时性。
专利类型：	发明专利
国家地区组织代码：	湖北;42
申请人：	武汉理工大学
发明人：	石英;王昊;谢长君;华捷
专利状态：	有效
申请日期：	2021-11-30T00:00:00+0800
发布日期：	2022-03-04T00:00:00+0800
申请号：	CN202111447950.5
公开号：	CN114140757A
代理机构：	武汉智嘉联合知识产权代理事务所(普通合伙)
代理人：	李平丽
分类号：	G06V20/56;G06V20/58;G06V10/46;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G;G06;G06V;G06K;G06N;G06V20;G06V10;G06K9;G06N3;G06V20/56;G06V20/58;G06V10/46;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
申请人地址：	430070 湖北省武汉市洪山区珞狮路122号
主权项：	1.一种基于改进FCOS的道路场景多类别检测方法，其特征在于，包括如下步骤： S1、数据集预处理：根据道路场景下待检测目标的不同，将KITTI数据集中类别进行合并； S2、特征提取与融合：使用ResNet-50网络进行特征提取，并对原FCOS算法采用的特征金字塔网络FPN算法的多尺度策略进行改进，新增P2层，放大最低层特征，并融合P3层语义信息，增加网络的多尺度表达能力； S3、针对道路场景各类别之间特征模糊的问题以及检测时出现偶然性误差的情况，使用特征退化策略与重检测策略，完成对多任务输出子网络Head的检测，同时从边框回归分支获得目标预测边界框Bbox(Bounding box)输出； S4、使用直接表示预测框定位精度的交并比IOU(Intersection over Union)预测值代替中心度Center-ness预测值对分类分数进行约束，并将IOU预测分支添加在边框回归分支上，构成IOU预测子网络，预测框与真值框的IOU值越大则认为其定位质量越高； S5、通过共享卷积层的参数，并通过非极大值抑制NMS完成后处理操作得到最终结果。 2.如权利要求1所述的基于改进FCOS的道路场景多类别检测方法，其特征在于，所述步骤S1包括： S11、类别合并：对KITTI数据集中类别进行合并，合并策略为小型客运汽车Car、厢式货车Van、皮卡车Truck、有轨电车Tram合为一类，记为Car；行人Pedestrian、坐轮椅的行人Person_sitting合为一类，记为行人类别Person；骑自行车的行人Cyclist自成一类；忽略杂项Misc和表示该区域没有被标注的DontCare； S12、图像大小调整：对KITTI数据集中的所有图像进行调整，使所有图像最短边小于第一预设值，最长边小于第二预设值。 3.如权利要求1所述的基于改进FCOS的道路场景多类别检测方法，其特征在于，所述步骤S2包括： S21、对于ResNet-50网络：采用ResNet-50网络进行特征提取，ResNet-50采用残差结构，其内部的残差块使用跳跃连接；对输入的图像，进行多次卷积和下采样操作逐级减小特征图分辨率；步骤S22、跨尺度改进策略进行特征融合：提出AM-FPN跨尺度改进策略，将骨干网络输出层数由3层上升为4层，得到了包含更多极小目标特征的高分辨率的C2层，并融合P3层的语义信息得到更利于检测极小目标的P2层；将道路场景下待检测目标划分成6类，大小为{(0，32]，[32，64]，[64，128]，[128，256]，[256，512]，[512，+∞)}的目标分别在{P2，P3，P4，P5，P6，P7}层上进行检测。 4.如权利要求3所述的基于改进FCOS的道路场景多类别检测方法，其特征在于，所述步骤S3包括： S31、特征退化策略：所述特征退化策略为每个类别单独设计分类特征提取分支，通过H×W×256的卷积层提取各类别差异特征，其中H指通道高度、W指通道宽度、256指通道数；在每个分类特征上仅进行其对应的类别分类任务得到H×W×L的特征层，之后将各类别分类结果融合得到最终的道路场景目标分类任务，得到H×W×3的特征层； S32、重检测策略：所述重检测策略为在原有H×W×256卷积层的基础上并联H×W×256卷积层，对各类别分类特征进行多次分类，并结合多次分类的结果减小偶然性误差，进行两次检测的计算公式为：式中x1，x2为两次检测计算中两个分类网络的输出，f(x1，x2)为类别预测结果； S33、边框回归分支获得Bbox输出：所述边框回归分支为提取AM-FPN每一层特征进行密集预测，从边框回归分支获得目标预测Bbox输出；边框回归通过包围框的中心点坐标，及中心点到包围框的上下左右四条边的距离表示包围框。 5.如权利要求3所述的基于改进FCOS的道路场景多类别检测方法，其特征在于，所述步骤S4中预测框与真值框的IOU值越大则认为其定位质量越高的计算公式如下：式中，A表示预测框，B表示真值框。 6.如权利要求4所述的基于改进FCOS的道路场景多类别检测方法，其特征在于，所述步骤S5包括： S51、共享head网络部分卷积层的特征：所述特征共享策略将4个特征提取分支的前i层卷积层进行参数共享，i＝1，2，3，仅使用(4-i)层卷积层用于提取差异性特征，弥补改进策略带来的实时性代价； S52、通过NMS后处理操作滤除掉重复的预测框，保留效果最好的预测框，使得对每一个目标只得到一个预测框，得到最终结果。 7.一种基于改进FCOS的道路场景多类别检测系统，其特征在于，其通过如权利要求1-6任一项所述的基于改进FCOS的道路场景多类别检测实现。
所属类别：	发明专利