详情

原文传递基于头眼特征融合的驾驶员视线区域估计及驾驶场景关联方法研究

论文题名：	基于头眼特征融合的驾驶员视线区域估计及驾驶场景关联方法研究
关键词：	驾驶员;注意力监测系统;视线区域估计;头部姿态估计
摘要：	高级驾驶辅助系统(AdvancedDriverAssistanceSystems，ADAS)中的驾驶员注意力监测采用视线估计技术为提升驾驶安全性能方面提供了重要支持。根据使用视线估计技术实现驾驶员注意力监测的实际问题，结合当前驾驶员视线估计方法的研究现状，本文研究的关键理论和科学问题是实现驾驶员注视区域估计以及驾驶员注视信息与交通场景目标的关联。为此，本文重点研究视线估计理论技术和交通场景下视线与目标关联学习方法，提出了基于头眼特征融合的视线区域估计方法和两种基于映射视线信息转换的视线与目标关联方法。　　当前驾驶员的视线估计任务主要研究驾驶员的视线映射区域，存在头部姿势差异大、相机采集方向多变、眼镜遮挡等困难以及实时应用的需求，先前的大多数方法使用简单的拼接来组合面部模态特征和头部姿态特征，这可能会导致特征尺寸不平衡而过拟合。本文针对以上挑战，对驾驶员面部信息的编码、关键点位置信息的利用、头部姿态特征的融合进行研究，提出了对应的方法和模型，通过驾驶员视线区域估计数据集上的大量实验和ADAS上的集成应用，验证了本文所提方法的先进性和有效性。本文主要研究内容和创新点如下: 　　(1)本文提出了一种基于头眼特征融合的视线区域估计网络(HeadPoseFusionAssistedSupervision&EyeRegionWeightedEncoding，HP-ERW)，通过空间注意力和克洛克内积机制来融合头部姿势特征和面部特征。首先，引入了处理头部姿势特征和面部信息的预处理模块，目的是提取输入向量并提高网络的融合速度。其次，设计了一种基于空间注意力的眼部区域加权编码网络(EyeRegionWeightedEncodingNetwork，ERW-Net)以增强网络的感知能力来编码特征。最后，提出了一种基于克洛克内积机制的双通道头姿特征融合网络(HeadPoseFusionAssistedSupervisionNetwork，HP-Net)，旨在融合头部姿态信息并提高区域估计精度。通过大量实验表明，本文提出的HI''.ERW模型在几个公共数据集上的表现性能优于现有方法。　　(2)本文提出了基于视线区域转换的粗关联方法(RoughAssociationMethodBasedonGazeZonesConversion，RA-VFCGZ)和基于交通场景点云信息的细关联方法(FineAssociationMethodBasedonPointCloudofTrafficScene，FA-PCITS)，实现将驾驶员的待评估视线信息映射在交通场景的大致区域或者目标物体上。RA-VFCGZ模型依据实验标定结果网格化设计车外驾驶场景，实现从驾驶员视线区域到四个相机视角下的车外驾驶场景的关联。FA-PCITS模型提出一种不同视角坐标系下的相机相对位置标定方法，结合点云数据和图像信息，将驾驶员的视线信息投影至雷达坐标系下，实现从视线向量到车外注视目标的转换，完成驾驶员视线目标估计任务。　　(3)本文构建了基于RGB-D数据的驾驶员多视线区域数据集。当前针对驾驶员视线区域估计研究的公开数据集较少，本文考虑到天气、光照等影响，在车辆驾驶室内拍摄并构建了基于RGB-D图像的驾驶员视线区域估计数据集Rs-DGZ。Rs-DGZ数据集将驾驶员的注意力划分成19个关注区域，注视区域划分详尽，为进一步与驾驶场景下的目标关联任务提供了解决方案。数据集还原度较高，为驾驶员视线区域估计任务的研究提供了真实应用场景的拍摄数据。　　(4)本文搭建了ADAS驾驶员注意力监测系统，实现了驾驶员人脸检测、关键点位置检测、头部姿态估计、视线估计、注视区域估计等。其次，ADAS采用HP-ERW模型生成的视线区域动态转移概率和RA-VFCGZ关联模型生成的安全驾驶系数来监测驾驶员状态，及时给予驾驶员注意力偏移的提醒，增强驾驶员的环境感知能力，实现驾驶员的注意力监测和感知目标的智能关联。实验表明，使用本文所提出方法设计的ADAS达到了23.5fps的处理速度，满足实时性要求，且内存仅需4,884KB。
作者：	杨易蓉
专业：	控制科学与工程
导师：	常发亮
授予学位：	硕士
授予学位单位：	山东大学
学位年度：	2022