详情

原文传递车载超声波雷达与车载环视系统融合方法

专利名称：	车载超声波雷达与车载环视系统融合方法
摘要：	本发明涉及一种车载超声波雷达与车载环视系统融合方法，解决了现有技术的不足，技术方案为：包括以下步骤：步骤一，通过系统离线联合标定的方式完成系统标定,步骤二，通过辅助场景显示层级融合的方式完成可视化输出,步骤三，通过可行驶区域层级融合的方式完成可行域输出，步骤四，通过目标探测层级融合的方式完成目标输出。
专利类型：	发明专利
国家地区组织代码：	浙江;33
申请人：	浙江零跑科技有限公司
发明人：	缪其恒;苏巍;刘振发;严静;王江明;许炜
专利状态：	有效
申请日期：	2019-06-14T00:00:00+0800
发布日期：	2019-10-25T00:00:00+0800
申请号：	CN201910516670.1
公开号：	CN110371108A
代理机构：	杭州杭诚专利事务所有限公司
代理人：	尉伟敏;韩斐
分类号：	B60W30/06(2006.01);B;B60;B60W;B60W30
申请人地址：	310051 浙江省杭州市滨江区物联网街451号1楼、6楼
主权项：	1.一种车载超声波雷达与车载环视系统融合方法，其特征在于：包括以下步骤：步骤一，通过系统离线联合标定的方式完成系统标定, 步骤二，通过辅助场景显示层级融合的方式完成可视化输出, 步骤三，通过可行驶区域层级融合的方式完成可行域输出，步骤四，通过目标探测层级融合的方式完成目标输出。 2.根据权利要求1所述的车载超声波雷达与车载环视系统融合方法，其特征在于：所述步骤一，包括环视系统标定、超声波雷达系统标定以及系统对齐三个子步骤；环视系统标定子步骤：包括各鱼眼环视相机内外参数标定，采用已知参数的棋盘格作为辅助工具来完成；超声波雷达系统标定子步骤：包括超声波雷达信号强度以及安装角度标定，其中超声波信号强度通过信号反射强度的增益调节完成；安装角度则通过车载传感器限位支架实现；系统对齐子步骤：将环视系统与超声波雷达传感器的测量坐标系对齐，以车辆几何中心为坐标原点，车头方向为x轴正向，车身左侧为y轴方向正向，将原坐标系在鸟瞰平面内平移完成相应坐标系变换；对于超声波雷达系统，将各传感器所探测的信号强度按其安装位置与角度进行旋转平移变换，得到车辆坐标系下周围障碍物的探测情况。 3.根据权利要求1所述的车载超声波雷达与车载环视系统融合方法，其特征在于：所述步骤二包括动态环视场景模型更新子步骤以及系统输出图层融合子步骤，动态环视场景模型更新子步骤：环视系统包括场景模型建立以及辅助视觉渲染两部分；系统输出图层融合子步骤：环视系统最终输出需与超声波雷达输出图层进行融合。 4.根据权利要求3所述的车载超声波雷达与车载环视系统融合方法，其特征在于：所述步骤二中的动态环视场景模型更新子步骤为，利用超声波雷达系统的距离探测能力动态更新环视系统所使用的碗状环境场景模型，具体实现方法如下： a.利用低通滤波预处理各超声波雷达传感器的原始距离观测值，根据上述滤波后的测量值计算车辆坐标系下最近目标距离： Dmin＝minDi，i＝1，2，...，n 其中，Di为滤波后各超声波雷达传感器的距离测量值，n为超声波雷达传感器总数； b.将最近目标距离Dmin作为动态碗状碗状模型参考半径r，更新环境模型： r＝min(max(rmin，Dmin)，rmax) Ri＝kir，i＝1，2，3 其中，rmin和rmax为碗状模型参考半径最小以及最大限制，默认值为1和5；Ri为碗状模型各半径参数，ki为Ri与r的比例系数，默认值为1,1.8以及1.5； c.根据上述动态更新的环境模型相应更新各相机图像坐标系映射关系，后续接缝融合所选取的ROI也按上述Ri的变化做相应调整。 5.根据权利要求3所述的车载超声波雷达与车载环视系统融合方法，其特征在于：系统输出图层融合子步骤具体为，环视系统最终输出与超声波雷达输出图层进行融合： a.超声波雷达系统输出图层：将各超声波雷达传感器的探测距离输出按预设距离阈值划分为远(2-5m)、中(0.5-2m)、近(0-0.5m)，并根据各自在车身的安装位置与自身探测范围，可视化其扇形探测区域，以对应的颜色与声音频率表征各区域的目标探测距离； b.图层融合：将上述超声波雷达系统输出图层与建立的动态环境模型的路面部分按预设透明通道参数叠加，按相应预设视觉渲染生成融合后的场景辅助显示输出。 6.根据权利要求3所述的车载超声波雷达与车载环视系统融合方法，其特征在于：在所述步骤三中，包括基于超声波雷达的可行驶区域检测、基于视觉的可行驶区域检测以及可行驶区域融合三部分；基于超声波雷达的可行驶区域检测：根据超声波雷达系统标定结果，将各超声波雷达传感器的距离探测结果，转化成鸟瞰视角车辆坐标系下坐标： [x，y]＝f(i，d) 其中，f(i,d)为离线标定所得超声波雷达系统与车辆坐标系映射关系函数，输入为传感器序号i以及相应探测距离d，输出为1中定义车辆坐标系下所探测的目标位置；用多段线顺序连接上述各目标障碍物坐标，生成超声波雷达可行驶区域输出二进制mask，区域内部至车辆边界为1，区域外部为0；基于视觉的可行驶区域检测：采用深度神经网络模型，对环视系统周围场景进行可行驶区域检测，具体步骤如下：图像预处理：根据环视系统的标定结果，生成与超声波雷达探测区域大小对应的鸟瞰视角，预先设置去除鸟瞰图中心车辆自身部分区域的可行驶区域检测mask，将此区域经缩放后输入深度卷积神经网络模型；神经网络模型设计与训练：神经网络模型包含图像输入层、由级联conv+relu+BN组合组成的共享特征层以及两个解码输出层，可行域及区域标识由反卷积以及softmax层构成；由类似相机参数所采集的视觉场景数据，经人工标注生成样本标签，采用随机梯度下降的方式针对像素级softmaxLoss离线训练所得；神经网络前端应用部署：根据前端平台运算特性，将训练所得网络转化成平台所支持的最优格式，主要包括数据类型转化以及模型稀疏程度设置，在预先设定好的测试集上对转化后模型的精度损失进行估算，视精度损失情况进行模型重训练；可行驶区域融合：利用低速车辆运动学模型，根据轮速以及方向盘转角信号输入，实时更新车辆坐标系信息，由于超声波雷达系统与视觉系统采集频率不同，在世界坐标系下将生成的鸟瞰可行驶区域视图取交集进行融合。 7.根据权利要求1所述的车载超声波雷达与车载环视系统融合方法，其特征在于：在所述步骤四中，目标探测层级融合包括基于超声波雷达系统的目标建议、基于视觉的目标验证以及目标跟踪；基于超声波雷达系统的目标建议：包括车位目标建议以及行人目标建议两部分，对于车身侧面的超声波雷达传感器，根据可行驶区域几何尺寸限制进行车位目标建议；对于车身前后面的超声波雷达传感器，根据距离探测结果进行目标建议；基于视觉的目标验证：包括车位验证以及行人验证两部分，车位目标验证可在鸟瞰视角下进行，行人目标验证则需要透视变换至鱼眼坐标系下进行；目标跟踪：根据匀速运动模型，利用kalman滤波对上述目标进行跟踪。 8.根据权利要求7所述的车载超声波雷达与车载环视系统融合方法，其特征在于：基于超声波雷达系统的目标建议包括：车位建议条件：∑(x，y)∈ROIMask(x，y）＞Pmin，i＝4，5，6，7，8，9 目标建议条件：Di＜Dmax，i＝1，2，3，10，11，12 其中，Mask(x,y)为二进制超声波雷达可行驶区域输出，Pmin为泊车位几何尺寸阈值；Dmax为超声波雷达目标探测最大距离。 9.根据权利要求7所述的车载超声波雷达与车载环视系统融合方法，其特征在于：车位验证以及行人验证两部分算法均基于相应的特征描述以及模板匹配的方法完成，实现方式如下：目标建议预处理：对于车位目标，将鸟瞰视角的区域建议roi裁剪并缩放至预设大小送入车位验证模块；对于行人目标，标定环视系统参数，按如下方式选取原视图中行人建议roi： [x，y]＝f(i，d) [j，u，v]＝g(x，y) 其中,其中，f(i,d)为离线标定所得超声波雷达系统与车辆坐标系映射关系函数,i为超声波传感器id，d为相应探测距离，输出为1中定义车辆坐标系下所探测的目标位置[x,y]，g(x,y)为离线标定所得车辆坐标系与各图像坐标系映射关系，j为环视相机序号，[u,v]为目标位置相应图像坐标系下坐标，[w,h]为行人目标图像坐标系下宽高，[fx,fy]为焦距，W，H为默认行人模板宽高；车位验证：利用可行驶区域分割网络卷积特征部分，在输出层添加车位标识通道，对车位建议roi区域进行场景分割，并利用车位模板对所提取车位标识进行模板匹配，符合车位模板限制的即为可泊车车位；行人验证：利用深度卷积神经网络进行行人验证，网络结构包含分类以及位置回归两个分支，深度卷积神经网络中分类分支采用softmax Loss，深度卷积神经网络中回归分支采用smoothL1 Loss。
所属类别：	发明专利