详情

原文传递一种基于智能汽车线控转向系统的路况识别与提醒系统

专利名称：	一种基于智能汽车线控转向系统的路况识别与提醒系统
摘要：	本发明公开了一种基于智能汽车线控转向系统的路况识别与提醒系统，包括路况信息采集模块、路况识别模块、驾驶员提醒控制模块、驾驶员提醒执行模块，在不同光强和工况条件下通过双目摄像头、激光雷达、一系列车辆传感器的组合分别识别路况，并对识别结果进行融合处理，得到车辆前方路况信息；并通过动画显示、方向盘振动、语音提醒、信号灯闪烁多种方式提前为驾驶员提供前方路况信息，以便驾驶员做出正确的驾驶决策，避免交通事故，保全驾驶员的生命财产安全。
专利类型：	发明专利
国家地区组织代码：	吉林;22
申请人：	吉林大学
发明人：	郑宏宇;陈超宁;靳立强;肖峰;刘哲
专利状态：	有效
申请日期：	2022-09-27T00:00:00+0800
发布日期：	2022-12-23T00:00:00+0800
申请号：	CN202211182285.6
公开号：	CN115503747A
代理机构：	长春市恒誉专利代理事务所(普通合伙)
代理人：	李荣武
分类号：	B60W50/14;B60W50/16;B60W40/06;B60W40/04;G06V20/58;B;G;B60;G06;B60W;G06V;B60W50;B60W40;G06V20;B60W50/14;B60W50/16;B60W40/06;B60W40/04;G06V20/58
申请人地址：	130012 吉林省长春市前进大街2699号
主权项：	1.一种基于智能汽车线控转向系统的路况识别与提醒系统，其特征在于，包括路况信息采集模块、路况识别模块、驾驶员提醒控制模块、驾驶员提醒执行模块；所述路况识别模块分别与路况信息采集模块、驾驶员提醒控制模块相连；所述驾驶员提醒控制模块还与驾驶员提醒执行模块相连；所述路况信息采集模块包括两个双目摄像头、一个长距激光雷达、17个车辆传感器、一个光传感器，所述17个车辆传感器包括：四个分别位于车辆左前、左后、右前、右后的悬架位移传感器、前桥高度传感器、后桥高度传感器、惯性测量单元、横摆角传感器、三轴加速度传感器、四个车身加速度传感器和四个轮胎的胎压检测传感器；双目摄像头、长距激光雷达分别用于采集前方路面的图像和三维点云；所述悬架位移传感器分别用于采集悬架的垂直位移信号；所述前桥、后桥高度传感器分别用于采集前桥的离地高度信号和后桥的离地高度信号；所述惯性测量单元用于采集车身俯仰角位移和车身侧倾角位移；所述横摆角传感器用于采集车辆的横摆角速度信号；所述三轴加速度传感器用于采集车辆横向加速度、纵向加速度和垂向加速度信号；所述四个车身加速度传感器分别安装在左前、右前、左后、右后车身上距离减振器顶部5厘米的地方，分别用于采集左前、右前、左后、右后车身的垂直振动加速度信号；所述四个胎压检测传感器分别用于采集左前、右前、左后、右后轮胎的胎压信号；所述光传感器用于采集本车周围环境的光照强度信号，用于与光照强度阈值比较；所述光照强度阈值按照以下表达式计算：式中，Luth表示光照强度阈值，kpr表示双目摄像头效能影响系数，其取值范围为0到1；kex表示雷达效能影响系数，其取值范围为0到1；Luth0表示光照强度初值，可在0.001勒克斯到0.25勒克斯范围内取值；所述两个双目摄像头在安装前已标定好，分别安装在挡风玻璃左上角和右上角，安装位置的离地高度为hc，两个双目摄像头之间的水平距离是Lc，hc和Lc与车辆前挡风玻璃尺寸参数有关，由车辆厂商确定；所述两个双目摄像头可视距离为250米，左右视角范围为120度；所述双目摄像头能够上下转动，通过上下转动能够拍摄到不同角度范围的图像，双目摄像头朝下拍摄角度记为负角度，朝上拍摄角度记为正角度，所述两个双目摄像头倾斜角度记为Ac，双目摄像头转动角度范围为负30度到正60度，即向下最大能够转动30度，向上最大能够转动60度，两个双目摄像头每间隔1毫秒拍摄一帧图像，第一帧拍摄负30度至0度角度范围内的图像，第二帧拍摄负10度至正20度角度范围内的图像，第三帧拍摄正10度至正40度角度范围内的图像，第四帧拍摄正30度至正60度角度范围内的图像，第五帧拍摄正10度至正40度角度范围内的图像，第六帧拍摄负10度至正20度角度范围内的图像；按顺序拍摄以上六帧图像为一个拍摄循环，摄像头上下往复转动按照以上拍摄循环的顺序来拍摄图像；所述长距激光雷达安装在前保险杠的正中间位置，安装位置的离地高度为hr，hr与车辆前保险杠的尺寸参数有关，由车辆厂商确定；可以上下转动以扫射获取不同角度范围环境的点云数据，长距激光雷达朝下扫射角度记为负角度，朝上扫射角度记为正角度，所述长距激光雷达倾斜角度记为Ar，所述长距激光雷达上下转动角度范围为负20度到正10度，即向下最大能够转动20度，向上最大能够转动10度，探测距离为300米；所述长距激光雷达扫射环境的顺序为：先在倾斜角度为负20度时扫射一遍，再到在0度时扫射一遍，再到在10度时扫射一遍，再回到0度时扫射一遍，最后转动回到负20度角度位置，按如此顺序往复上下转动扫射；所述长距激光雷达每次扫射都生成在本车前方区域的三维点云数据，每个点云数据都带有位置、距离标签：x、y、z、d；x、y、z、d分别表示横轴坐标、纵轴坐标、竖轴坐标、与本车距离；所述路况信息采集模块将采集所得的全部信息输入路况识别模块；所述路况识别模块根据输入信息识别前方路面的路面特征、识别前方路面是否存在行人、自行车、摩托车、路面异常凹陷、路面异常凸起、减速带、车道线、路肩，并将识别结果输入驾驶员提醒控制模块；所述路况识别模块具有三个识别子模块，分别是图像识别子模块、三维点云识别子模块和车辆传感器信号识别子模块，各个识别子模块的具体识别过程分别如下所述：图像识别子模块根据双目相机所获取的图像进行路面特征及目标识别，图像识别子模块具体识别过程如下：步骤S1：分别对左右摄像头拍摄的每一帧图像进行预处理，首先分别去除所获取的左、右摄像头的图像的横向畸变和纵向畸变，得到矫正后的图像，之后对左、右摄像头的图像进行校正处理，使左右摄像头图像平面平行；步骤S2：通过半全局块匹配算法对步骤S2得到的左右摄像头图像进行特征匹配，寻找左右图像中相应的点并求解视差，最终得到图像每个像素点的深度信息，并形成深度图；步骤S3：在对左右图像进行特征匹配的基础上，采用小波变换方法对左右图像的像素进行融合，从而将左右图像融合成一幅图，得到融合后的图像；步骤S4：将步骤S3得到的融合图像输入预先训练好的单点多盒探测器深度学习模型进行目标物体类别的检测，目标物体类别包括行人、自行车、摩托车、路面异常凹陷、路面异常凸起、减速带、车道线与路肩；单点多盒探测器深度学习模型的输出为所输入图像中包含的目标物体类别名称、位置，并在该图像中标注出目标物体的回归框、名称；步骤S5：根据步骤S4得到的目标物体位置在深度图中查找相应的深度值，可得到每一个目标物体与本车的距离数值；步骤S6：将融合图像的每一个像素点记为目标点，基于左右摄像头的内参数、焦距和目标点在左右摄像机中的图像坐标，通过坐标变换可得目标点的三维空间坐标，即获得融合图像中每一个像素点的三维坐标；步骤S7：通过计算目标物体的回归框四个顶点对应像素点三维空间坐标之间的距离可得回归框的两条边长尺寸；若目标物体类别为路面异常凹陷，则回归框的横边边长、竖边边长分别为路面异常凹陷的长边与宽边，找出路面异常凹陷处的像素点中在纵向上的纵向坐标差最大的两点，该两点之间的纵向坐标差值作为路面异常凹陷的凹陷深度hac；若目标物体类别为路面异常凸起，则回归框的竖边边长为路面异常凸起的高度htc；若目标物体类别为减速带、路肩其中之一，则回归框的竖边边长为这些目标物体的高度，分别用hjc、hsc表示；步骤S8：若识别到前方路面存在路面异常凹陷，则按照路面异常凹陷的回归框边缘裁剪图像，对裁剪所得的包含回归框的图像采取高斯拉普拉斯边缘检测算子进行路面异常凹陷的轮廓提取，提取路面异常凹陷的轮廓像素点，根据步骤S6中获得的各个像素点的三维空间坐标可得路面异常凹陷的轮廓像素点的三维空间坐标，将以轮廓上横向相邻两个像素点及该两点对应的两个纵向像素点作为顶点的矩形的面积累加，可得路面异常凹陷的准确面积Dac；三维点云识别子模块根据所获取的激光雷达三维点云数据进行路面特征及目标识别，三维点云识别子模块具体识别过程如下：步骤1：按照三维点云的z坐标值对点云进行划分、过滤，z坐标值相差小于0.5米的点云视为地面范围并保留，删除最大z坐标值大于2.5米的点云，其余定义为目标物体点云并保留；步骤2：将步骤1保留的点云数据输入预先训练好的PointNet++深度学习分类模型，此模型能够识别的目标物体包括行人、自行车、摩托车、路面异常凹陷、路面异常凸起、减速带、车道线和路肩，该模型的输出为所输入点云中包含的目标物体类别及位置；步骤3：采取基于主成分分析法和投影法对步骤2得到的目标物体点云进行几何尺寸提取，分别获得各个目标物体的几何尺寸；对于路面异常凹陷，得到其凹陷面积Dar和凹陷深度har；对于路面异常凸起，得到其凸起高度htr；对于减速带、路肩，得到其高度值，分别用hjr和hsr表示；车辆传感器信号识别子模块的具体识别过程如下：将车辆传感器所获取的信号输入小波神经网络模型模型识别路面异常凹陷深度或路面异常凸起高度，该小波神经网络模型已预先使用已知的路面高度数据以及对应的车辆传感器信号进行训练，建立好车辆传感器信号与路面高度之间的映射关系，此处用到的传感器信号包括以下16个信号：左前悬架的垂直位移、右前悬架的垂直位移、左后悬架的垂直位移、右后悬架的垂直位移、前桥的离地高度、后桥的离地高度、车身俯仰角位移、车身侧倾角位移、横摆角速度信号、横向加速度、纵向加速度和垂向加速度、左前车身的垂直振动加速度、右前车身的垂直振动加速度、左前车轮胎压、右前车轮胎压；所述小波神经网络模型的网络结构共有3层，包括输入层、隐藏层和输出层；所述输入层有16个神经元节点，分别对应上述16个传感器信号，输入序列xi,i＝1,2,3,...,16；所述隐藏层共有48个神经元节点，隐藏层每个节点都由小波函数构成，所述小波函数表达式如下：输入序列在隐藏层经过小波函数处理后，得到隐藏层的输出值，隐藏层的第j个神经元节点的输出值uj为下式：式中，a和b分别是小波函数的伸缩因子和平移因子，n为输入层节点数，数值为16，m为隐藏层节点数，数值为48；所述输出层只有一个神经元节点，该节点的输出为下式：式中，wj是第j个隐藏层输出的权重系数；输出层的输出代表路面的高度值hx，单位为米，小数点后保留2位有效数字，具有正负之分，若为正数说明为路面凸起，但并不能直接判定该处凸起是否为路面异常凸起，不能排除其为减速带或路肩；若为负数说明则认为该处凹陷为路面异常凹陷，路面凸起高度hts和路面异常凹陷深度has通过以下公式换算得到：所述小波神经网络模型的输入信号有两种选择，依据识别模式决定使用哪一种输入，第一种输入是将左后悬架的垂直位移、右后悬架的垂直位移、后桥的离地高度设置为0，而左前悬架的垂直位移、右前悬架的垂直位移、前桥的离地高度、车身俯仰角位移、车身侧倾角位移、横摆角速度信号、横向加速度、纵向加速度和垂向加速度、左前车身的垂直振动加速度、右前车身的垂直振动加速度、左前车轮胎压、右前车轮胎压正常输入；第二种输入是将左前悬架的垂直位移、右前悬架的垂直位移、前桥的离地高度设置为0，而左后悬架的垂直位移、右后悬架的垂直位移、后桥的离地高度、车身俯仰角位移、车身侧倾角位移、横摆角速度信号、横向加速度、纵向加速度和垂向加速度、左后车身的垂直振动加速度、右后车身的垂直振动加速度、左后车轮胎压、右后车轮胎压正常输入；所述路况识别模块还包括一个数据存储器，数据存储器存储着历史异常地图；所述历史异常地图包含路况识别模块在历史上识别到的道路上的路面异常凹陷的凹陷深度、凹陷面积、位置和路面异常凸起的凸起高度及位置信息，用于校对当前的识别结果；所述路况识别模块具有3种识别模式：第一种识别模式、第二种识别模式和第三种识别模式；所述驾驶员提醒控制模块基于路况识别模块输入的识别结果生成需要给驾驶员提供的提醒信息，提醒信息包括示意动画、方向盘振动信息、语音提醒信息和信号灯闪烁信息，并将相应提醒信息的控制信号发送给驾驶员提醒控制模块；所述驾驶员提醒执行模块包括车辆中控显示屏幕、喇叭、信号灯、线控转向系统的转向盘、路感模拟电机组件，喇叭安装在驾驶员座位头枕内，信号灯安装在方向盘几何中心位置，其根据驾驶员提醒控制模块给出的相关控制信号对驾驶员进行相应提醒，包括通过车辆中控显示屏幕播放演示动画，通过喇叭播放提示语音，信号灯闪烁、显示颜色，通过路感模拟电机高频振动实现方向盘振动提醒。 2.根据权利要求1所述的一种基于智能汽车线控转向系统的路况识别与提醒系统，其特征在于，所述路况识别模块的三种识别模式及模式选择条件具体如下： (1)第一种识别模式：当车辆向前行驶时，且光照强度大于光照强度阈值时，选择第一种识别模式；在第一种识别模式下，调用图像识别子模块、三维点云识别子模块和车辆传感器信号识别子模块进行工作，其中车辆传感器信号识别子模块里小波神经网络模型的输入选择第一种输入信号，计算得到路面凸起高度hts1和路面异常凹陷深度has1，并将hts1和has1输出到驾驶员提醒控制模块；通过图像识别子模块和三维点云识别子模块分别得到的识别结果包括：路面异常凸起高度值、路面异常凹陷深度值、路面异常凹陷面积值、减速带高度值、路肩高度值，以及行人、自行车、摩托车、路面异常凹陷、路面异常凸起、减速带、车道线、路肩在前方路面上的位置及与本车的距离；对图像识别子模块的识别结果乘以权重系数Wc，三维点云识别子模块的识别结果乘以权重系数Wr，相加得到融合后的最终结果，并将融合结果输出到驾驶员提醒控制模块，其中融合后得到的路面异常凸起高度值、路面异常凹陷深度值、路面异常凹陷面积值、减速带高度值、路肩高度值分别用ht1、ha1、Da1、hj1和hs1表示； Wc和Wr分别是图像识别子模块和三维点云识别子模块的权重系数，由下式计算：式中，kv是车速影响因子，具体取值由应用者自行确定，单位是h/km；Vx是纵向车速，单位是km/h，可由车速传感器获取；ks是方向盘角速度影响因子，具体取值由应用者自行确定，单位是s/deg；是方向盘转动角速度，可由方向盘转角传感器获取，单位是deg/s； (2)第二种识别模式：当车辆向前行驶时，且光照强度小于光照强度阈值时，选择第二种识别模式；在第二种识别模式下，调用三维点云识别子模块和车辆传感器信号识别子模块进行工作，其中通过三维点云识别子模块得到的识别结果包括：路面异常凸起高度值、路面异常凹陷深度值、路面异常凹陷面积值、减速带高度值、路肩高度值，以及行人、自行车、摩托车、路面异常凹陷、路面异常凸起、减速带、车道线和路肩在前方路面上的位置及路肩与本车的距离，并将这些识别结果输出到驾驶员提醒控制模块；车辆传感器信号识别子模块里的小波神经网络模型的输入选择第一种输入信号，计算得到路面凸起高度hts1和路面异常凹陷深度has1，并将hts1和has1输出到驾驶员提醒控制模块； (3)第三种识别模式：当车辆倒车行驶时选择第三种识别模式；在第三种识别模式下，路况识别模块仅调用车辆传感器信号识别子模块进行工作，车辆传感器信号识别子模块中小波神经网络模型的输入选择第二种输入信号，计算得到路面凸起高度hts2和路面异常凹陷深度has2，并将hts2和has2输出到驾驶员提醒控制单元模块；由于通过第三种识别模式无法得知路面异常凹陷面积，故在第三种识别模式下将路面异常凹陷面积定义为0.05的固定值，并输出到驾驶员提醒控制模块便于进行相关计算。 3.根据权利要求1所述的一种基于智能汽车线控转向系统的路况识别与提醒系统，其特征在于，所述驾驶员提醒控制模块生成四种提醒方式的控制信号，包括车辆中控显示屏幕的示意动画、方向盘振动提醒的频率、语音提醒的内容和信号灯闪烁提醒的频率、颜色；当识别出前方路面存在凸起或凹陷、出现行人或自行车或摩托车时，所述驾驶员提醒控制模块将生成示意动画信号发送给驾驶员提醒执行模块，以提示驾驶员前方路面存在的凹陷或凸起，提醒驾驶员注意前方出现的行人、非机动车；示意动画包含以下信息：路面异常凸起的凸起高度、位置、与本车距离或路面异常凹陷的凹陷深度、凹陷形状、位置、与本车距离信息，以及前方行人或自行车或摩托车与本车距离；所述驾驶员提醒控制子模块控制方向盘振动提醒的逻辑如下：当前方路面上出现凸起高度大于凸起高度阈值的路面异常凸起时，控制方向盘开始振动提醒，振动频率为Ft赫兹；振动持续t1秒，t1的预设值为3，可由驾驶员自主修改；按照如下公式确定方向盘振动提醒的频率Ft： Ft＝Kd(C1Vx+Krtht)F0 式中，Kd为驾驶员喜好因子，无量纲，初始值设置为1，可由驾驶员在0.2至1.0范围内修改；C1是车速修正系数，单位为h/km，具体取值由应用者自行确定；Krt是凸起路面修正系数，具体取值由应用者自行确定；ht代表路面异常凸起的凸起高度；F0是初始参考频率，其值可在500赫兹至3000赫兹范围内选取；当前方路面上出现凹陷深度大于凹陷深度阈值且凹陷面积大于凹陷面积阈值的路面异常凹陷时，控制方向盘开始振动提醒，振动频率为Fa赫兹；振动持续t2秒，t2的预设值为3，可由驾驶员自主修改；按照如下公式确定方向盘振动提醒的频率Fa： Fa＝Kd(C1Vx+KrahaDa)F0 式中，Kra是凹陷路面修正系数，具体取值由应用者自行确定；ha代表路面异常凹陷的凹陷深度，Da是路面异常凹陷的凹陷面积；所述驾驶员提醒控制模块控制播放的语音提醒内容的逻辑如下：当前方路面上出现凸起高度大于凸起高度阈值的路面异常凸起时，语音提醒内容为：“请注意，前方d1米路面上有一处高度为h1米的路面异常凸起，请及时规避”，该内容播放一次，语音提醒音量为Sv1分贝，d1和h1分别是路面异常凸起与本车的距离及高度；当前方路面上出现凹陷深度大于凹陷深度阈值且凹陷面积大于凹陷面积阈值的路面异常凹陷时，语音提醒内容为：“请注意，前方d2米路面上有一处高度为h2米、凹陷面积为D2平方米的路面异常凹陷，请及时规避”，该内容播放一次，语音提醒音量为Sv1分贝，d2、h2和D2分别是路面异常凹陷与本车的距离、路面异常凹陷的凹陷深度和凹陷面积；Sv1预设值为25分贝，允许驾驶员在20分贝至70分贝范围内设置一个整数数值替代该预设值；凸起高度阈值、凹陷面积阈值和凹陷深度阈值均由驾驶员按照需求设定；所述驾驶员提醒控制模块控制信号灯的逻辑如下：当前方路面上出现凸起高度大于凸起高度阈值的路面异常凸起时，信号灯亮红灯，并以F1赫兹的频率开始闪烁，在车辆通过路面异常凸起后，信号灯熄灭；当前方路面上出现凹陷深度大于凹陷深度阈值且凹陷面积大于凹陷面积阈值的路面异常凹陷时,信号灯亮红灯，并以F2赫兹的频率开始闪烁，在车辆通过路面异常凹陷后，信号灯熄灭；F1和F2的预设值分别为1赫兹和2赫兹，也可以由驾驶员自主修改数值。 4.根据权利要求1所述的一种基于智能汽车线控转向系统的路况识别与提醒系统，其特征在于，所述路况识别模块使用历史异常地图校对当前的识别结果的具体过程如下：下载历史异常地图中路面异常凹陷和路面异常凸起的信息；分别将对比历史上道路的每一处路面异常凹陷或路面异常凸起的位置与三个识别子模块识别的路面异常凹陷或路面异常凸起所在的位置；若在历史上同一位置也存在着路面异常凹陷或路面异常凸起，则认为当前该识别子模块在该位置的识别准确率为100％，识别结果无须改动；若在历史上同一位置并没有发现路面异常凹陷或路面异常凸起，出于安全考虑，同样认为当前该识别子模块在该位置的识别准确率为100％，识别结果无须改动；若在历史上某一位置记录了路面异常凹陷或路面异常凸起，而识别子模块当前未识别到在该位置存在路面异常凹陷或路面异常凸起，则该识别子模块重新运行进行检测，若第二次的识别结果仍为不存在，则认为该位置确实没有路面异常凹陷或路面异常凸起；若第二次的识别结果为存在，则认为第一次检测为误检，以第二次的检测结果为准，并认为当前该识别子模块在该位置的识别准确率为100％，识别结果无须改动，同时分别统计双目摄像头和激光雷达在一周内出现误检的系数n1c和n1r和检测的总次数n2c和n2r，计算双目摄像头的误检率Pwc＝n1c/n2c、激光雷达的误检率Pwr＝n1r/n2r，从而调整双目摄像头效能影响系数kpr和雷达效能影响系数kex，所述双目摄像头效能影响系数的表达式如下：式中，Kpr0为双目摄像头初始效能因子，可在0.3至0.95范围内取值，具体取值由应用者自行确定；所述雷达效能影响系数的表达式如下：式中，Kex0为雷达初始效能因子，可在0.2至0.98范围内取值，具体取值由应用者自行确定。