详情

原文传递基于目标行为分析的复杂场景三维目标检测与跟踪

论文题名：	基于目标行为分析的复杂场景三维目标检测与跟踪
关键词：	汽车自动驾驶系统;三维目标检测;行为分析;运动特征
摘要：	三维目标检测与跟踪是自动驾驶的重要基础组成部分，相较于二维目标检测与跟踪，三维目标检测与跟踪为自动驾驶提供了更加丰富的环境感知细节，有助于理解自动驾驶车辆与周围环境的交互关系，辅助自动驾驶系统规划行驶路径，缓解交通拥堵，在行业中展现出了巨大的应用潜力。近年来，许多学术机构、公司都相继推出了包含三维目标检测与跟踪挑战的自动驾驶数据集，提供了跨越不同地点、不同天气条件、不同遮挡程度等复杂条件下的感知数据及标注，以支持复杂道路交通场景下的三维目标检测与跟踪研究与应用。随着我国道路交通环境日益复杂，目标往往会受到车辆、行人等可运动对象或路标、树木等静止对象的遮挡，遮挡期内不仅目标表观特征分布规律发生了较大变化，而且目标运动特征容易受到近邻运动对象干扰发生复杂个性化变异，极大制约了三维目标精准检测与稳定跟踪。面向复杂道路交通场景，如何精准检测与稳定跟踪遮挡期内及摆脱遮挡后的目标三维边界框，辅助自动驾驶系统在目标遮挡期内采取合适的行驶策略，保障行车安全，是三维目标检测与跟踪领域里亟待解决的关键问题。　　面对上述问题，本文将复杂道路交通场景中的目标行为分为三类，分别是目标对象的停滞、简单运动与复杂运动，研究停滞目标对象全局特征空间与关键点局部特征空间的关联性、目标简单运动过程中的相对旋转、平移变换潜在几何一致性、目标复杂运动过程中的运动行为知识。本文的主要创新点在于: 　　(1)基于全局-局部空间关联的特征表示方法　　复杂道路交通场景中通常存在大量停滞的目标对象，如在路边停靠的共享单车、在十字路口等待交通信号灯的机动车辆。在目标停滞场景下，目标对象不具备运动特征，通过目标全局特征或通过局部关键点PnP推理极容易因目标对象内部因素，如轴对称、关键点高相似，导致目标姿态估计准确度下降与中位误差增加。针对这个问题，本文面向目标轴对称、关键点高相似的结构特点，探索目标在不同姿态下的关键点分布规律，研究目标全局特征空间与关键点局部特征空间的关联性，从提取目标全局特征或关键点局部特征拓展到全局-局部空间关联的几何特征，构建基于全局-局部空间关联的目标特征表示方法。实验结果表明，本方法相较于现有RenderForCNN方法，在PASCAL3D+公开数据集上，姿态中位误差下降0.7，姿态准确度提升0.3。　　(2)基于相对旋转、平移变换的潜在几何一致性特征表示方法　　在目标简单运动场景下，目标的姿态与尺度常常发生变化，在运动过程中往往会受到外部因素的干扰，如受遮挡或截断，导致目标表观特征分布规律发生较大变异，目标关联搜索空间扩大，通过目标表观特征提取与匹配难以准确检测、跟踪目标。针对这个问题，本文引入视频帧间刚体对象旋转、平移变换连续性假设，探索帧间刚体对象潜在几何一致性产生机理，建立相对旋转、平移变换的潜在几何一致性特征表示模型，共享目标结构知识和上下文信息，提升目标特征判别力，为缩小目标关联搜索空间提供重要支撑。实验结果表明，本方法相较于现有DenseFusion方法，在YCB-Video公开数据集上，轴对称刚体对象平均最近点距离精度提升4.0，AU C提升1.3。　　(3)基于行为分析的运动特征表示方法　　在目标复杂运动场景下，目标个性化运动与近邻干扰对象行为交织相关，其运动行为规律在遮挡期内容易发生复杂个性化变异，通过目标中心点帧间2D偏移距离监督深度神经网络难以稳定跟踪遮挡期内的目标。针对这个问题，本文通过目标对象既往运动数据，从目标中心点偏移特征、深度偏移特征、相对旋转变换特征和相对平移变换特征中挖掘目标运动行为知识，并据此约束其遮挡期内的运动轨迹，构建基于行为分析的运动特征表示方法。实验结果表明，本方法相较于现有CenterTrack方法，在nuScenes公开数据集上，关键指标AM OT A从0.046提升到了0.072。　　综上所述，面向复杂道路交通场景下目标对象轴对称与关键点高相似、遮挡期内表观特征分布规律发生较大变化、运动特征容易受到近邻运动对象干扰发生复杂个性化变异的重大挑战，本文从目标对象的结构表达与推理入手，引入视频帧间刚体对象旋转、平移变换连续性假设，探索帧间刚体对象潜在几何一致性产生机理，从目标中心点偏移特征、深度偏移特征、相对旋转变换特征和相对平移变换特征中挖掘目标运动行为知识，完成了基于全局-局部空间关联的特征表示方法、基于相对旋转、平移变换的潜在几何一致性特征表示方法、基于行为分析的运动特征表示方法等技术与理论的研究，在基础理论和关键技术方面的研究成果可以为复杂场景三维目标检测与跟踪提供新的研究思路。
作者：	李庆楠
专业：	计算机应用技术
导师：	王中元;胡瑞敏
授予学位：	博士
授予学位单位：	武汉大学
学位年度：	2020