详情

原文传递面向智能车的行人过街意图识别

论文题名：	面向智能车的行人过街意图识别
关键词：	自动驾驶车辆;行人过街意图识别;深度学习;图卷积;特征提取;大数据分析
摘要：	在城市交通场景中，理解行人的行为和意图仍然是自动驾驶车辆的主要挑战之一。为解决城市交通中自动驾驶车辆对行人的过街意图识别问题，本文对行人过街意图识别展开研究，并基于Apollo线控底盘进行感知意图的决策控制模拟实验。　　首先，提出了骨架图表示方法和图卷积特征提取方法。本文利用行人的骨架数据识别行人的过街意图，行人的骨架数据可以表示为向量序列和二维网格，这样的数据不能完全表示骨架数据的结构。本文提出将行人的骨架数据表示为时空骨架图，可以更深层次表示骨架信息的特征，骨架图为非欧式结构，传统卷积神经网络不能提取非欧式结构图特征，故提出采用图卷积神经网络提取行人的骨架图特征。　　然后，进行了行人过街意图识别的数据集的制作。深度学习能学习到数据的特征，进而对数据进行识别分类，依赖于带有标签的数据集。本文在JAAD公开数据集中提取了训练行人过街意图网络需要的过街状态（过街或者不过街）数据集标签，然后利用Openpose提取行人的骨架关节点坐标数据，最后将行人骨架关节点数据和过街状态标签制作成TXT文件格式的行人过街意图识别数据集。　　其次，提出了双流自适应图卷积神经网络的行人过街意图识别方法，并利用数据集对其训练与实验分析。针对时空图卷积网络存在注意力机制灵活性不足，不能捕捉非相邻关节点的依赖关系，设计了自适应图卷积网络结构，在自适应图卷积层中将掩码矩阵改进为原始邻接矩阵、可训练邻接矩阵和数据相关图的相加。为了更加充分利用骨架信息，设计关节点数据和骨骼数据作为双流数据，分别输入到自适应图卷积网络中，采用Softmax融合两个网络分数识别行人的过街意图。利用制作的数据集训练与测试模型，结果表明自适应图卷积能捕捉到非相邻关节点之间存在依赖关系，模型识别准确率为89.36%，优化后的网络使得模型准确率提升3.36%。　　最后，完成了基于行人过街意图的决策控制模拟实验。本文神经网络的构建与训练都在PC端进行，根据Apollo工控机硬件条件和模型环境，在Apollo工控机部署感知模型。感知、决策、控制以及车辆执行四个模块之间有数据的传输，设计智能车的决策控制模块，并利用ROS通讯和CAN通讯实现数据传输。部署后的感知模型能准确识别行人的过街意图，单帧推理时间为25??到30??，基本达到实时性的要求，并验证智能车可以根据行人的过街意图信息，发送CAN报文给线控底盘，自主控制车辆避让行人。
作者：	蒋涛
专业：	工程(车辆工程)
导师：	胡远志;Bo Gao
授予学位：	硕士
授予学位单位：	重庆理工大学
学位年度：	2022