详情

原文传递基于多元信息融合的场景多层级识别方法研究

论文题名：	基于多元信息融合的场景多层级识别方法研究
关键词：	智能汽车;环境感知系统;场景识别;多元信息融合
摘要：	近年来，随着人工智能技术的兴起，智能汽车技术受到社会各阶层的广泛关注，已成为汽车产业发展的主要战略方向。环境感知作为智能汽车技术中一个至关重要的分支，是规划、决策和控制等子系统的基础。在环境感知系统中，场景多层级识别能力是系统感知的基础。从环境中的目标感知，到小范围内的场景感知，再到大范围的场景时空域感知，这种多层级感知系统对于智能车的安全性、鲁棒性和稳定性是十分必要的，能够实现对环境的充分理解以精确定位车辆，进而辅助车辆做出正确的规划决策。一方面，感知系统通过对场景中特定目标的识别与定位，能够保证车辆做出正确的决策，安全行驶;同时，通过对场景中一般目标的识别，能够对场景进行实例化描述与建模，提高场景的特征表达能力。另一方面，感知系统通过对场景的识别，能够提高车辆重定位精度，为车辆导航提供保障。识别的本质是基于观测信息对环境内涵进行最大化理解的过程，然而，由于交通场景的复杂性、动态性等，该任务面临着一系列挑战和难题亟待解决，包括:(1)单一信息对环境的表征不够充分。部分单一信息对场景语义表征能力弱，特征表达能力不足。(2)多元信息融合不够充分。由于数据模态以及时空的差异，造成多元信息间的融合不够充分，忽略了多源信息、时空信息以及高层语义和底层空问拓扑信息间的关联与互补特性。(3)信息推理能力弱，存在推理不一致、感知混淆问题。面对这些挑战，本文探索和研究有效的多元信息融合框架，构建准确、有效的多元信息表达、关联和推理模型，通过提高多层级识别能力以提高系统多层级感知能力。　　为了提高对场景中目标的识别能力，结合多源信息间的关联与互补特性以及目标的一致性，本文提出了融合视觉信息和空间结构信息的两阶段检测框架以提升3D目标检测性能。为了提高对场景的识别能力，结合场景中物体间的空间拓扑关系，本文提出了融合高层语义和底层空间拓扑信息的场景特征学习模型，在此基础上，提出了相似性组合度量学习模型以提高场景识别性能。进一步，针对识别过程中相似场景的感知混淆问题，结合时序信息间的关联性，本文提出了融合时空信息的场景特征表达模型，并通过时序信息间的状态转移特性进行相似场景搜索，以在减小搜索规模的同时，提高识别准确率，进而提高车辆重定位精度。本文的主要工作和创新点如下: 　　1)针对3D目标检测过程中多源信息融合不够完善以及目标推理不一致问题，考虑到目标的空间信息和表观信息间的互补性，提出了2D引导3D的目标推荐模型，并设计了IoU预测分支，建立了基于多任务学习的3D目标推理模型。在3D目标推荐阶段，基于目标的一致性，利用2D边框对点云自下而上的3D推荐进行加权非极大值抑制，提高了目标3D推荐的召回率。在对目标推荐的细化阶段，利用Cylinder PointNct++模型进行目标特征学习，减少了背景点的干扰。在3D目标推理过程中，针对预测框和其真值的loU与分类得分不一致问题，设计了IoU预测分支，并进行多任务学习，增加了预测框的置信度。最后，针对结果冗余问题，利用2D边框对3D预测框进行约束，保留了高置信度的3D边框，实现了融合多源信息的3D目标检测，提高了检测精度。　　2)针对激光场景识别中场景表达不够稳定以及由于点云中点的数目较大导致的特征计算效率低的问题，考虑到场景中物体间的拓扑关系，提出了一种融合高层语义和底层空间拓扑信息的特征表达模型，有效地融合了语义和空间局部特征。在此基础上，提出了一种组合度量模型，有效地提升了场景相似性度量的准确率。具体地，首先对激光点云进行实例化分割，获取场景中的物体实例，进而构建场景的语义拓扑图表示。在此基础上，利用一种新的基于多信息融合的图网络模型进行语义和空间信息融合以及特征学习，有效地学习了场景中物体的拓扑关系，并在减小特征学习规模的同时提高了场景的特征表达能力和计算效率。进一步地，基于向量的余弦相似度，设计了一种新的余弦张量网络，并将其与神经张量网络组合，建立了一种相似性组合度量学习模型，提高了特征相似性度量的准确率，从而提高了场景识别性能。　　3)针对识别过程中，相似场景引起的感知混淆问题，本文提出了一种融合时空上下文信息的环境表征模型。为减小离线闭环搜索过程中的错误匹配，提出了基于图的闭环搜索策略。首先，在场景特征表达过程中，设计了一种基于循环神经网络的时空特征聚合模型——GRU-EdgeConv++，该模型基于GRU模型对时序信息的空间特征进行选择记忆与遗忘，有效地聚合了时空上下文特征。在离线搜索过程中，建立代价图模型，在此模型上根据状态转移特性，利用Dijkstra算法搜索代价最小序列作为闭环序列，并利用时间一致性对检测结果进行矫正，在减小搜索空间的同时提高了闭环检测准确率。最后，在校园场景下进行了测试，利用提出的闭环检测算法提高了重定位精度。
作者：	戴德云
专业：	控制科学与工程
导师：	陈宗海
授予学位：	博士
授予学位单位：	中国科学技术大学
学位年度：	2021