详情

原文传递无人驾驶电动汽车边角场景安全算法研究

论文题名：	无人驾驶电动汽车边角场景安全算法研究
关键词：	无人驾驶电动汽车;边角场景;环境感知;行为决策;规划控制
摘要：	边角场景（cornercase）是指在工程系统中安全威胁强、测试难度大、实时要求高、非典型操作范围的相对低概率问题或极端情况，经常出现在工程师对于复杂工程系统的配置调试和性能测试中[1],[2]。虽然发生概率相对较小，但对于多个维度的边角场景研究是验证工程产品的安全性、可靠性、鲁棒性和功能完整性必不可少的一环。在当前自动驾驶汽车的技术发展中，边角场景表现为场景样本数据采集离散、道路参与元素速度大、环境更新快且预测难、场景配置成本高且安全威胁大。若沿用当前典型驾驶场景的解决方案对边角场景处理仍然存在时滞，相应的认知极易出现偏差。因此，针对自动驾驶汽车系统三个要素车-路-人的边角场景问题亟待研究和解决。　　电动汽车在当今交通系统中已经成为重要的道路参与者，并朝着智能化、网联化的趋势发展，而自动驾驶是未来智能交通系统和智慧城市至关重要的组成部分。同时四轮独立直驱的底盘具有驱动冗余度大、执行响应迅速、控制可达域广等特点，也将成为未来智能汽车底盘的主流配置。结合这三种元素，针对集成四轮独立直驱的自动驾驶电动汽车的研究对未来智能交通发展具有前瞻意义。目前美国汽车工程师协会根据人类驾驶员对车辆的干涉程度将自动驾驶等级分为L0到L5共六个级别。其中，在特定场景下的无人类驾驶员干涉的L4级别自动驾驶已经吸引了广泛的研究兴趣。有别于传统汽车，保障自动驾驶电动汽车的系统场景安全是其上路行驶的最高优先级。但复杂性高和实时性强成为无法进一步处理这些以安全为导向的边角场景的主要原因。从系统化角度出发，自动驾驶边角场景的研究涵盖了感知、决策、规划和控制的四个主要系统，因此针对小概率高危险的边角场景安全的算法研究是L4级别自动驾驶推向商业化落地的必由之路。然而，目前鲜有文献在针对这些边角场景的安全问题上提出系统性的研究成果，因此从L4级别自动驾驶大规模技术落地的愿景出发，必须对自动驾驶边角场景安全进行深入研究，建立非典型驾驶场景安全系统，使自动驾驶场景库更加完备。　　由于在L4自动驾驶级别中，人类驾驶员的决策判断、环境感知和驾驶行为分别需要被处理器、传感器和执行器取代，如何理解和分类驾驶场景变得极具挑战性。基于环境感知、行为决策、路径规划和运动控制四个系统，如果场景安全可以与系统强关联，它将变得更加直观，据此实现分析和描述场景安全则成为可能。另外，在单一边角场景下的安全问题也能够被较好地解决，并可被推广至其他类似的具有高安全威胁的小概率驾驶场景，举一反三。譬如，基于上述四个系统，以下与安全相关的自动驾驶边角场景可以被分析为：　　1.对于环境感知系统而言，自动驾驶的传感器冗余需求使多源传感器融合问题变得更加复杂，尤其当传感器失效或者传感器性能衰退的情况。　　2.对于行为决策系统而言，实现端到端人类驾驶员的决策学习能够有效避免人机信任的问题，但如何合理描述类人随机驾驶行为以及如何实现类人决策判断仍然需要深入研究。　　3.对于路径规划系统而言，如何在极端驾驶条件下短时间规划生成可达的候选路径集以及如何提高安全道路容量等问题亦亟待解决。　　4.对于运动控制系统而言，通过先进合理的算法针对极端驾驶场景(如首次碰撞后车辆失稳下避免二次碰撞的场景)进行具有可行解的运动控制，并保障人车安全。　　基于以上提出对四大系统，本研究主要分析讨论了五个涉及高安全威胁的边角驾驶场景，分别为:(1)感知系统层的多路激光雷达融合场景；(2)感知系统层的激光雷达失效下毫米波雷达与相机容错融合场景；(3)决策系统层的人类驾驶员驾驶行为学习场景；(4)规划系统层的低成本速度估计和极端驾驶情况下避障路径重规划的综合场景；(5)控制系统层的以安全优先原则的首次碰撞后失稳运动控制场景。这五个以安全为导向的边角场景层级鲜明、功能互补但又不失逻辑相关性。首先，当前商用的多路激光雷达融合方案能进一步提高感知系统的自适应性和鲁棒性，与毫米波雷达-相机融合的容错方案一道，旨在为L4级别自动驾驶的决策层、规划层和控制层提供一个环境适应性好、环境辨识准确度高、应对场景变化能力强的多源感知系统。其次，基于多源的强感知系统，学习人类驾驶员对边角驾驶场景的理解能力和处理行为，更加有利于车载类人决策的实现和车-路-人智能交通系统完备安全机制的构建。此外，对于横向速度或质心侧偏角等车辆状态的高成本测量现状，研究低成本的状态估计算法有利于实现软件替代硬件的产品落地方式，也使含有高成本测量状态的规划和控制问题得以实现和进一步优化。极端驾驶场景的可达路径重规划能为碰撞后失稳的运动控制场景提供行车风险评估预测以及安全行驶指引，便于执行高可靠性的智能交通管理。其中极端驾驶场景(含首次碰撞后车辆失稳控制场景)具有向下兼容的特性，即极端的边角驾驶场景安全能够实现和保障，则日常驾驶的典型场景安全也能相应得到保障。虽然这五个场景或因零部件成本高昂，或因突发事件的随机性，出现的频率较低，但在自动驾驶的研究中又必须考虑这些边角场景问题的实时安全应对方案。　　因此，围绕着这五个自动驾驶边角场景涉及的安全问题和难点可归结如下：　　(1)感知—多路激光雷达融合：多路激光雷达融合是指自动驾驶平台配备不同数目激光线束的多个激光雷达进行点云数据的融合。多路激光雷达数据处理的系统级解决方案是未来自动驾驶的基石之一，包含标定、分割、滤波、聚类和辨识。由于当前激光雷达的成本高昂，因此大多数商用化方案使用单路激光雷达进行检测。但传统单路激光雷达单一范围探测，功能受限。缺少点云数据的冗余覆盖，可能出现数据偏差而不易被察觉，这对自动驾驶目标识别可能造成致命的错误。并且在目标检测中往往需要收集大量训练数据并采用结构复杂的深度神经网络进行模型训练，这对驾驶平台的实时算力也提出较高要求。由于成本问题，在当前被视为小概率商用配置方案的多路激光雷达却能够有效避免相应问题，但在实际应用过程中依然存在以下四项危及场景识别安全的研究难点：i)保证融合后的方案能够比单路激光雷达方案提供更高的准确率和更强的鲁棒性。ii)需要利用先进的算法对多路激光雷达点云数据的噪声点和离群点进行过滤，否则可能出现的噪声点或离群点会引发误报。iii)基于激光反射原理提高非均质数据聚类的性能，同时兼具满足自适应变化的感知场景需求的功能，否则会造成近处过聚类、远处欠聚类的感知错误。iv)采用异路数据的同一点云数据格式对目标进行精准提取和辨识。所以如何合理利用多路激光雷达数据提出对目标进行准确分割、滤波、聚类和提取的系统级解决方案成为实现感知安全的第一步。　　(2)感知—激光雷达失效下的毫米波雷达与相机容错融合：当多路激光雷达发生断电故障或者功能失效的小概率场景时，毫米波雷达和相机应继续执行对环境准确感知的任务。但是侧向毫米波雷达的数据点在探测区域内具有非均质密集、噪声多等特性，需要进行自动聚类和数据关联处理。另外由于光感零部件的特性，相机对光照条件异常敏感。这意味着相机在较低光照条件下的性能表现低下，例如夜晚执行自动驾驶。这类小概率发生但有高安全威胁的驾驶场景可以推广到更通用的场景，譬如光照频繁突变的穿越隧道场景，街道路灯频闪场景等。因此，如何充分利用毫米波雷达信息，如何处理相机性能有效域的数据，以及如何实现容错融合策略都是该场景下的难点所在。研究该场景的雷达视觉融合方案成为进一步推广如自动驾驶出租车等L4产品应用的关键。　　(3)决策—人类驾驶员驾驶行为学习：本研究预设以下的一种驾驶场景用于阐述学习人类驾驶员安全的随机驾驶动作以应对潜在威胁：自动驾驶电动汽车在非结构化道路上遭遇对向开远光灯的来车。在传统汽车上人类驾驶员和乘客都会下意识采取躲避强光的眼部行为，甚至驾驶员会进行车辆操纵行为。而在这种场景中，自动驾驶汽车的相机因遇强光成像过度曝光而无法正常使用，需要多路激光雷达和毫米波雷达协同进行潜在安全威胁场景的感知，以及类人安全驾驶行为的决策模仿。通过迁移学习该场景下驾驶员对车辆的控制动作能够有效避免乘客对车机控制不信任的心理学问题，有利于平稳过渡人类对自动驾驶的伦理信任阶段。因此为了模仿学习驾驶员的踏板行为和转向行为，端到端的类人决策模型需要收集大量的动作执行数据进行训练。这种学习驾驶员执行安全决策的解决方案也能够迁移到其他涉及人类安全驾驶动作的边角场景。　　(4)规划—低成本速度估计和避障路径重规划：横向速度往往通过价格高昂的差分GPS设备进行测量，这对自动驾驶规划层和控制层的多变量优化问题处理落地并不友好。低成本化的速度估计方法在避障路径规划和车辆运动控制时能够替代硬件测量设备，具有很大的实际应用价值。但如何充分利用模型实现准确估计，同时需要兼具较强的自适应性和鲁棒性，成为横向速度估计算法的一大瓶颈。此外，由于传统的单质点车辆模型忽略了车辆尺寸，因此在智能交通系统中的路径规划和提升安全道路容量上具有一定的局限性。于是在极限驾驶这一高速高危工况下进行路径重规划不仅需要生成可达的避障路径候选集合，而且需要考虑提升安全道路容量。如何进行快速规划以及如何实现短时预测，也成为紧急避障下路径重规划的难点。高速瞬时路径重规划的场景对未来智能交通系统的管控有着现实意义。　　(5)控制—基于安全优先原则的碰撞后失稳运动控制：尽管发生二次碰撞的场景概率较小，但根据交通事故相关数据，车辆失稳后二次碰撞造成的事故致死率远高于第一次碰撞。大量的研究致力于在避免首次碰撞前提高车辆动力学稳定性。然而，B.J.Kim和T.J.Gordon等研究人员分别用仿真结果和实验结果证明了避免二次碰撞的解决方案需要基于安全优先的运动控制，而非优先提高车辆稳定性的传统控制。但如何对第一次碰撞能量进行耗散或者转化，如何充分利用后备广义轮胎力，以及如何解决多约束条件下无优化解，这三个问题是研究四轮独立直驱自动驾驶电动汽车在首次碰撞后失稳的补偿预测算法的核心难点。　　为了解决以上具有挑战性的问题及相应难点，本课题内容围绕这些L4自动驾驶的边角场景进行研究，并作关联场景安全的推广，同样可分为以下相应五个部分：　　(1)多路激光雷达系统级融合方案：相比于单路激光雷达系统，因当前高成本而较少使用的多路激光雷达配置方案能够进一步提升环境感知能力。但是现有文献中少有提及完整的系统级多路激光雷达点云数据处理解决方案。一套系统级的点云数据处理方案需包含标定、分割、滤波、聚类以及辨识等环节。由于噪声点滤波和目标聚类是主要确定障碍物检测准确性的环节，本研究在多路激光雷达融合框架下提出了一种全新的滤波算法和一种改进的聚类算法。具体而言，该滤波算法是基于采样点在其搜索空间的空间占比率，而空间占比率的计算则是基于在每一个搜索空间中稀疏的“特征种子点”。本研究提出的聚类算法，则是对传统聚类算法DBSCAN在空间搜索方式上加入了自适应于距离的搜索算法，针对搜索空间球半径和搜索空间元素数阈值进行参数自适应修正，提高其聚类准确率。通过联合基于空间占比率的滤波策略和基于自适应搜索的DBSCAN聚类算法能够有效提升检测目标障碍物的准确率和鲁棒性。在自动驾驶汽车平台上分别进行了室内的静态感知测试和室外的动态道路测试，都验证了该系统级点云数据处理方案在多路激光雷达融合使用中可靠的性能表现。　　(2)激光雷达失效和不同的光照条件下的毫米波雷达与相机容错融合方案：自动驾驶车辆由于需要冗余互补的环境感知能力通常配备了激光雷达、毫米波雷达以及相机等大量传感器。尽管如此，在激光雷达失效以及光线不足情况下跟踪前车轨迹依然成为一项严峻的挑战。本研究提出了一种基于学习的集成式解决方案来处理这一具有高安全威胁的小概率场景问题。此方案包括了一种针对稠密雷达数据的基于增强学习的高斯混合模型聚类方法，一种分段权重的雷达数据关联方法，以及一种适应激光雷达失效和在不同光照条件下的可切换式双层长短时记忆递归神经网络。具体而言，增强学习的高斯混合模型用以处理传统高斯混合模型中聚类数目预设的问题，分段权重法用以关联异源毫米波雷达数据。而可切换式双层递归神经网络则是用以自适应在三种光照模式下融合毫米波数据流和相机数据流。本研究中三种光照模式为日间模式，傍晚模式以及夜间模式，智能驾驶相机的有效检测范围也相应缩减。所有训练数据和测试数据均收集于一辆自动驾驶车辆平台。实验结果验证了该雷达视觉融合方案能够在激光雷达失效和不同光照情况下实现前车轨迹的容错跟踪。　　(3)会车时应对远光灯学习类人驾驶的安全决策方案：打开远光灯的对向来车在会车时在一定程度上损害自动驾驶车辆的相机检测性能。在这一边角场景中，对人类驾驶员的随机驾驶行为建模成为提升自动驾驶车辆行驶安全性的关键。通过对人类驾驶员在该场景下的驾驶行为数据进行学习，本研究设计了一套集成式驾驶动作生成的解决方案用以针对处理会车时遭遇来车远光灯的场景安全决策：通过分解人类驾驶员在踏板和转向的响应行为，设计一种平行式自递归输入输出隐马尔可夫模型(p-AIOHMM)用于捕捉分解后驾驶动作的时序多值依赖数据。因为传统的输入输出隐马尔可夫模型无法捕捉长时序依赖数据，所以需要在观测序列上加入自递归关系。该平行式模型包含了两个反馈的自递归输入输出隐马尔可夫模型(AIOHMM)，分别模拟人类驾驶员的踏板动作和转向动作。同时，本研究也采用了平行式梯度惩罚的Wasserstein对抗生成网络，进一步将隐马尔可夫模型输出的行为概率映射为踏板和转向的实值信号。该平行式对抗生成网络含有两个基于编码器-解码器结构的生成器和两个基于解码器的鉴别器。由生成器根据上述AIOHMM输出的动作概率序列随机采样生成驾驶行为实值序列，鉴别器根据实际驾驶员行为数据和生成的行为序列进行鉴别真伪，若鉴别器判定正确，则反馈给生成器继续生成序列直至鉴别器无法判定真伪。此时生成器生成的驾驶行为序列与人类驾驶员的驾驶行为序列几乎一致。所有的网络参数由自动驾驶平台感知系统和线控系统收集的数据训练获得。实验结果表明本研究提出的应对远光灯类人驾驶的安全决策学习方案能够有效生成类人驾驶动作。不失一般性地，该方案同样能够应用于潜在安全危害场景下的迁移个性化类人驾驶行为策略的建模。　　(4)低成本速度估计和提高安全道路容量的避障路径重规划方案：根据自适应互补滤波原则，本研究设计了一种级联速度估计方法用于估计四轮独立直驱电动汽车的纵向速度和横向速度。纵向速度估计器优先启动激活，而后将估计得到的纵向速度传给横向速度估计器。这两个自适应互补滤波器分别由带有自适应滤波参数的高通低通共轭滤波器组合而成，其中高通低通分别对应基于运动学速度求解和基于运动学速度求解。快速响应的电机力矩可导出轮胎逆模型的相关车辆状态变量。由于引入了运动学方法，自适应互补滤波器对建模误差有着较好的鲁棒性。通过Lyapunov方法可证明估计性能误差全局渐进收敛于零。一辆四轮独立直驱电动汽车平台在两种工况下对本研究提出的估计方法进行实验验证，实验结果表明无论纵向速度还是横向速度都能准确与差分GPS测量数据匹配，而本方法的低成本性在实际应用场景中具备广阔的前景。此外，本研究还提出一种基于分层式模型预测控制方法(MPC)对四轮独立直驱电动汽车进行紧急避障。该方法包括一个基于人工势场的非线性MPC路径重规划器以及一个基于反馈补偿控制的时不变MPC路径跟踪器。其中考虑重规划时车辆轮廓进行多圆分解和考虑车道边界与障碍物的合理人工势场，在极端的短时预测驾驶场景下的避障可达空间能够进一步提高。而在传统方法下在同一紧急驾驶场景进行规划的路径无可行解或无法实现跟踪控制。凭借本研究提出的方法，在紧急驾驶工况下增大了处理避障的时间，并且提高了安全道路的空间容量，这对未来智能交通系统管理有着积极意义。　　(5)基于安全优先的碰撞后失稳补偿预测控制方案：为了降低二次碰撞的损伤概率，本研究提出了一种对于四轮独立直驱电动汽车在首次碰撞失稳后的极端场景下进行运动补偿控制的方法。该方法旨在减缓车辆状态首次碰撞后的进一步恶化，并取得在极限工况下的控制目标。本研究中的碰撞后失稳补偿预测控制有三项内容：i)涵盖了基于实际物理意义的前馈-反馈补偿控制(FCC)。通过引入动能和动量的补偿项，优化后的反向转向和差动力矩能够消耗由首次碰撞产生的横摆力矩，为后续的预测控制提供更多的控制潜能和执行灵活性。ii)有了补偿的控制输入后，状态在相平面中依然会大大超出了传统稳定性的包络四边形。因此需要通过对约束条件进行转化减少约束数目，进而在MPC中获得可行的最优解。而传统方式中对约束条件进行的软化处理，只能在稳定性包络四边形边界附近求解，对于远离包络线的状态系统目标函数无可行解。iii)本研究中提出的FCC-MPC集成方法充分利用四轮独立直驱的后备广义轮胎力，并实现在车辆碰撞失稳后横向运动和横摆运动两个自由度上路径跟踪误差的快速收敛。　　基于上述课题内容，本研究论文的主要创新点总结如下：　　(1)针对多路激光雷达融合场景的安全需求，本研究提出了一套从激光雷达标定、噪声点滤波、到目标聚类和辨识的系统级点云障碍车检测的解决方案。其中，给出了基于空间占有率的滤波算法有效减少了噪声点，该空间占有率能进一步用于障碍辨识。并且提出了基于传统DBSCAN的自适应距离搜索的聚类改进算法AS-DBSCAN，实现了比传统DBSCAN聚类法平均提高了约15%的聚类准确率。通过室内静态测试和室外道路动态测试均验证了该多路激光雷达融合方案在物体检测的可行性和有效性。　　(2)针对激光雷达失效和多种光照条件下的雷达-相机融合场景的安全需求，本研究提出了基于增强学习的高斯混合模型，应用于短距毫米波雷达稠密数据的自聚类，解决了传统高斯混合模型中预设聚类数目的问题。同时引入基于速度信息的单元动能实现了聚类中心的重配置。此外，本研究提出一种基于六相有限状态机的切换式双层递归神经网络，实现根据光照模式进行神经网络模型切换，通过与两种最新的雷达视觉融合算法对比，实验验证了该融合算法在激光雷达失效和相机在低光照条件下性能衰退时容错的可行性和先进性。　　(3)针对会车时遭遇来车远光灯的类人驾驶决策场景的安全需求，本研究提出了平行式自递归输入输出隐马尔可夫模型用于对踏板动作和转向动作的时序概率建模，实现了对人类驾驶员随机驾驶行为的长时序依赖特点进行保留，并通过设计的带有梯度惩罚因子的平行式Wasserstein生成对抗网络对上述时序概率进行实值映射，生成可输入于自动驾驶车辆执行器的实值信号。同时整个集成框架也实现了对多名驾驶员个性化驾驶决策的学习和甄别，从自动驾驶平台收集的实验数据验证了所提出的算法框架的有效性。　　(4)针对低成本速度估计和避障重规划场景的安全需求，本研究提出了利用级联自适应互补滤波方式对纵向速度和横向速度进行估计，其中每个估计器均含有高通低通共轭滤波，分别基于动力学模型和运动学模型进行成分滤波，保证了速度估计的鲁棒性，同时也消除了传统互补滤波中出现的延时现象。四轮独立直驱实验平台验证了所提出的速度估计算法能够有效匹配高昂成本的差分GPS测量结果，能够实现低成本算法替代高成本硬件的产品落地思路。另外，本研究也提出了基于车辆轮廓圆分解的多点质心的人工势场避障路径重规划方法，解决了传统单质点方法中短时预测的不可行避障路径规划问题，在紧急驾驶场景下扩大执行时间裕度和道路空间裕度，提高安全道路容量。　　(5)针对碰撞后车辆失稳的补偿预测控制场景的安全需求，本研究提出了利用提前校正车辆输入信号来消耗首次碰撞后的动能和动量，给出了降低约束维度和转化约束条件的方法保障求解模型预测控制优化的可行性，同时充分利用四轮独立直驱的广义轮胎力来抑制碰撞后失稳车辆的旋转和侧偏效应，提高车辆运动的安全。　　本课题中对L4自动驾驶的五个具有系统特点的边角场景安全算法进行了研究。实验或仿真结果验证了这些算法的优越性和可靠性，揭示了基于环境感知、行为决策、路径规划和运动控制的边角场景分类的有效性和可行性。其中部分算法可以进行进一步探究。因此未来的研究前景可从以下两个角度出发：　　(1)本研究提出的在激光雷达失效下的雷达视觉学习框架可进一步探究多车跟踪场景。这可能需要研究一种实时的鲁棒聚类算法用以解决多车跟踪中图像延迟和数据丢包的问题。另外，由于智能驾驶相机光感硬件的配置约束，本研究中讨论的有限状态机仅有六相，含三种稳态和三种切换瞬态。若能配备能将光照条件进行N种模式细分的智能驾驶相机，则当前三种光照模式的有限状态机(日间模式、傍晚模式以及夜间模式)可以被推广成N(N?1)2种状态的有限状态机，同时可切换式的双层递归神经网络也可以相应地被推广适用于N种光照模式。　　(2)本研究提出低成本化的速度级联估计方法和基于速度估计器的碰撞后补偿预测控制策略需要准确的初始状态获取，因此初始状态的实时估计器可在未来进行进一步的研究。从使用安全和实际应用角度出发，未来将在四轮独立直驱电动小车平台上进行考虑车轮操纵能力最大化的碰撞后失稳补偿预测控制的实验验证。
作者：	曹铭聪
专业：	机械工程;车辆工程
导师：	陈南
授予学位：	博士
授予学位单位：	东南大学
学位年度：	2021