详情

原文传递面向智能交通场景基于人体姿态的行人行为识别研究

论文题名：	面向智能交通场景基于人体姿态的行人行为识别研究
关键词：	人体姿态;行人行为识别;卷积神经网络;智能交通场景
摘要：	随着计算机科学技术和人工智能的发展，智能交通技术也取得了长足的进步。环境感知系统是智能交通系统中的重要组成部分。其中环境感知系统可以通过融合各种传感器（如相机，激光雷达，雷达和V2X等）来检测和识别各类目标、理解交通场景信息。目前，人车混行、交通拥堵造成了车辆和行人遮挡等问题，增加了交通道路场景的复杂性，这也给智能交通环境感知系统带来了巨大的挑战。行人作为道路场景中无任何保护措施的交通目标存在于复杂的场景中，在实际道路场景中更容易受到伤害，因此提升智能交通系统感知行人的能力至关重要。　　在复杂的道路环境中，影响智能交通系统感知行人能力的因素主要有两个，其一是行人遮挡的多样性，即行人可能受到行人、车辆或其他障碍物遮挡；其二是行人行为的多样性，行人目标尺度较小，不易识别，加上身体灵活，因此行人产生的行为动作更为丰富。如何在遮挡场景尤其是行人活动最为频繁的过街场景中，准确检测行人目标并识别行为，判断行人行驶意图是智能交通中亟待解决的问题。同时，作为以网络通信为媒介的智能交通系统，对算法实时性都具有更高的要求，如何开发“准”而“快”的算法更是智能交通各个领域的研究热点。　　为解决上述问题，本文基于人体姿态骨架序列进行行人目标检测和行为识别技术的研究，分别对基于单一视角的2D人体姿态估计、基于多视角的3D人体姿态估计和基于人体姿态骨架序列的行为识别等方法展开了深入的研究，具体研究内容如下：　　1.轻量化2D人体姿态估计算法研究。本文在为保证算法精度的同时降低计算量和参数量，选择高分辨率输出网络模型作为研究2D人体姿态估计方法的基线，保持高分辨率输出表示和多尺度融合，提出一种轻量级主干网络IDPNet。本文提出一种恒等残差块和密集层并行模块IDP模块作为网络基本模块，该模块可有效降低参数量和计算量。同时，引入了一个同级特征融合模块表示头来融合高分辨率分支中每一级的输出特征，并在未使用预训练的情况下，既保证了检测精度，又大大降低了参数量和计算量，能够满足智能驾驶场景中对算法准确性和实时性的要求。同时为提升模型应用范围，还提出了对精度和速度有不同需求的多个版本模型。　　2.基于多视角的3D人体姿态估计算法研究。为解决单一视角无法处理行人关节遮挡的姿态估计问题，本文采取基于多视角的3D人体姿态估计策略展开研究，提出了多视角3D人体姿态估计CTP模型。CTP模型直接在3D体素空间中运行，检测头将所有视角中的2D关节特征投影到3D空间中体素化，回归行人的中心点和3D边界框；姿态回归模块将3D边界框视为新的体素空间，回归人体各个部位关节中心点，获得完整的3D姿态。该方法无需进行不同关节点关联同一行人匹配，也未采用非极大抑制，模型更简洁高效，可有效解决遮挡场景中的行人姿态估计问题，同时适用于多人场景，并且在检测精度方面也取得了具有竞争力的结果，在某些方面优于以前的方法。　　3.基于人体骨架序列的多流自适应注意子图卷积行为识别算法研究。利用图卷积神经网络，本文开展了基于人体骨架序列的行为识别算法研究。为更好的关注行人身体各个部位在不同行为中的关联性，提出一种基于深度优先树遍历顺序方法的子图来学习不同身体部位之间的相关性，以通过提升对人体各个部位的关联性关注度而提升行为识别算法的性能。利用自适应图卷积，为图模型计算过程中的每个部分自适应学习权重，与训练过程中的其他参数一起参数化和优化。同时还引入ECA通道注意力模块，将其嵌入到每个图卷积网络层中，避免特征图降维对模型性能的影响。此外，采用多流框架来融合人体物理结构信息及各部位的运动信息，进一步提升算法行为识别精度。本文提出的多流自适应注意子图卷积方法在公开的大型基准数据集中取得了具有竞争力的结果，并且在某些方面优于以前的方法，提高了行为识别的精度。　　4.面向智能交通场景行人行为识别数据集构建。本文利用车载相机对多个道路场景中的行人行为进行采集，并对现有公开的交通场景行人行为数据集进行分析，提取出与行人行为相关的部分，最后融合所有RGB视频样本，进行分类、标注，构建了基于车载相机单一视角的行人行为识别数据集。然后，基于某一十字路口场景布置多视角视觉传感器，采集路口中参与交通的行人行为，构建了基于多视角的行人行为识别数据集，用来解决行人遮挡问题，并对3D人体姿态骨架序列对应的行为类型进行分类、标注，用于训练行为识别算法，识别和预测交通场景中行人的行为类型。
作者：	刘欢
专业：	车辆工程
导师：	吴坚
授予学位：	博士
授予学位单位：	吉林大学
学位年度：	2023