详情

原文传递一种多源信息融合的夜间行车场景视觉增强系统及方法

专利名称：	一种多源信息融合的夜间行车场景视觉增强系统及方法
摘要：	本发明提出了一种多源信息融合的夜间行车场景视觉增强系统及方法。本发明系统包括相机模块、红外摄像头、激光扫描模块、毫米波雷达传感器、GPS模块、视觉增强处理模块、显卡模块、智能挡风玻璃显示屏。本发明识别驾驶员相对于驾驶室的眼部位置和视线；所述视觉增强模块使用基于神经网络的图像识别算法识别前方车辆类型，获得前方车辆参数以及前方车辆模型；视觉增强处理模块通过信息融合得到融合后前车信息，进行移动旋转校正得到视觉增强后图像；显卡模块将视觉增强后图像进行视觉增强、纹理映射以及渲染得到行车图像；所述智能挡风玻璃显示屏显示行车图像。本发明为适用于夜间行车，为夜间视力不好者的驾驶员提供安全驾驶平台。
专利类型：	发明专利
国家地区组织代码：	湖北;42
申请人：	武汉理工大学
发明人：	贺宜;杨硕;严新平;吴超仲;乔磊;陆一辉;宋钰
专利状态：	有效
申请日期：	2019-03-06T00:00:00+0800
发布日期：	2019-06-07T00:00:00+0800
申请号：	CN201910167716.3
公开号：	CN109849790A
代理机构：	武汉科皓知识产权代理事务所(特殊普通合伙)
代理人：	薛玲
分类号：	B60R1/00(2006.01);B;B60;B60R;B60R1
申请人地址：	430070 湖北省武汉市洪山区珞狮路122号
主权项：	1.一种多源信息融合的夜间行车场景视觉增强系统，其特征在于，包括：相机模块、红外摄像头、激光扫描模块、毫米波雷达传感器、GPS模块、视觉增强处理模块、显卡模块、智能挡风玻璃显示屏；所述视觉增强处理模块分别与所述的相机模块、红外摄像头、激光扫描模块、毫米波雷达传感器、GPS模块通过导线依次连接；所述的视觉增强处理模块、显卡模块、智能挡风玻璃显示屏通过导线依次串联连接。 2.根据权利要求1所述的多源信息融合的夜间行车场景视觉增强系统，其特征在于，所述相机模块安装于驾驶室后视镜位置，用于实时获取驾驶室内图像；所述红外摄像头安装于车辆头部，用于实时拍摄前车图像；所述激光扫描模块安装在车辆头部，用于采集前车速度和前车距离；所述毫米波雷达传感器安装在车辆头部，用于采集前车速度、前车距离以及前车方位角；所述GPS模块用于在大地坐标系中采集自车位置信息；所述视觉增强处理模块将所述激光扫扫描模块采集的前车速度和前车距离与所述毫米波雷达传感器采集的前车速度、前车距离以及前车方位角通过一种具有容错性和鲁棒性的离散时变多传感器线性随机控制系统的最优信息融合分散滤波器，从而得到融合后前车速度、融合后前车距离以及融合后前车方位角；所述显卡模块用于将所述视觉增强处理模块视觉增强后图像通过内置显卡进行视觉增强、纹理映射以及渲染输出，使前方车辆图像更加真实，夜间行车场景更加清晰；所述智能挡风玻璃显示屏采用整块挡风玻璃做显示屏，显示所述显卡模块处理完毕后输出的行车图像，提供驾驶员可见的更加清晰的夜间行车场景。 3.一种利用权利要求1所述的多源信息融合的夜间行车场景视觉增强系统进行权利要求1所述的多源信息融合的夜间行车场景视觉增强方法，其特征在于，步骤1：识别驾驶员相对于驾驶室的眼部位置和视线；步骤2：所述视觉增强模块使用基于神经网络的图像识别算法识别前方车辆类型，根据前方车辆类型获得前方车辆参数，建立前方车辆模型；步骤3：所述视觉增强处理模块通过信息融合得到融合后前车速度、融合后前车距离以及融合后前车方位角，进一步计算前方车辆位置，结合驾驶员眼部相对于车辆的垂向高度以及驾驶员眼部相对于前车纵轴的横向偏移进行移动旋转校正得到视觉增强后图像；步骤4：显卡模块用于将所述视觉增强处理模块视觉增强后图像通过内置显卡进行视觉增强、纹理映射以及渲染得到行车图像；步骤5：所述智能挡风玻璃显示屏采用整块挡风玻璃做显示屏，显示所述显卡模块处理后行车图像，提供驾驶员可见的更加清晰的夜间行车场景。 4.根据权利要求3所述的多源信息融合的夜间行车场景视觉增强方法，其特征在于，步骤1中所述识别驾驶员相对于驾驶室的眼部位置和视线为：所述相机模块实时获取驾驶室内图像，并将驾驶室内图像传输至所述视觉增强模块；所述视觉增强模块以相机模块位置坐标为零点建立坐标系，通过基于主成分分析的人脸识别算法，在图像中的目标区域内识别驾驶人面部区域得到以两眼中间点的眼部位置，眼部位置坐标为(Xe，Ye，Ze)，驾驶员面部横摆角为θfy，面部俯仰角为θfp。 5.根据权利要求3所述的多源信息融合的夜间行车场景视觉增强方法，其特征在于，步骤2中所述使用基于神经网络的图像识别算法识别前方车辆类型为：所述红外摄像头实时拍摄前方图像并传输至所述视觉增强模块，所述视觉增强模块将前方图像通过基于神经网络的图像识别出前方车辆类型为ID；所述视觉增强模块根据ID获得前方车辆参数为：前方车辆ID的横摆角θey,ID；所述视觉增强模块根据ID建立前方车辆模型为前方车辆3D模型： (UID,k，VID,k，WID,k)k∈[1,L] 其中，UID,k为前方车辆ID的3D模型第k个坐标点中横坐标，VID,k为前方车辆ID的3D模型第k个坐标点中纵坐标，WID,k为前方车辆ID的3D模型第k个坐标点中高度坐标，L为前方车辆3D模型中坐标点的数量。 6.根据权利要求3所述的多源信息融合的夜间行车场景视觉增强方法，其特征在于，步骤3中所述通过信息融合得到融合后前车速度、融合后前车距离以及融合后前车方位角，进一步计算前方车辆位置为：所述视觉增强处理模块通过所述GPS模块在大地坐标系中确定自车位置即自车的当前时刻T的坐标为(Xhost(T),Yhost(T))；所述视觉增强处理模块通过所述相机模块捕捉到的人眼位置坐标为(Xe，Ye，Ze)与汽车的坐标(Xhost(T),Yhost(T))，这两者通过相机安装于汽车的相对位置进行相对坐标系变换，得出驾驶人眼的相关位置角度信息；所述激光扫描模块采集的前车速度和前车距离与所述毫米波雷达传感器采集的前车速度、前车距离以及前车方位角通过一种具有容错性和鲁棒性的离散时变多传感器线性随机控制系统的最优信息融合分散滤波器，从而得到融合后前车速度、融合后前车距离以及融合后前车方位角，根据融合后前车距离以及融合后前车方位角利用平面三角函数计算：已知dhe为当前时刻前车与后车的距离，前车相对于本车方位角为θ，根据三角函数可得前车坐标为(Xhost(T)+dhe×cosθ,Yhost(T)+dhe×sinθ)，即前方车辆位置坐标(Xelse(T),Yelse(T))；所述相机模块固定位置的高度为hc，所述相机模块相机与所述GPS模块的差分GPS天线沿自车纵轴方向的水平间距为dcg，距所述挡风玻璃显示屏的水平距离为dcs，假设实际前车成像和视觉增强图像最终重合汇聚于人眼位置，忽略挡风玻璃倾斜角度认为其竖直；根据当前时刻实际的前车和自车驾驶员眼部的相对位置和姿态，前方车辆3D模型进行位置和姿态调整：确定视觉增强图像的缩放倍数n，前方车辆尾部距自车所述挡风玻璃显示屏的纵向距离dps如下： dps＝dhe-bp-(dcs+dcg) 其中， dhe为当前时刻前车与后车的距离； bp为前车的质心位置距车尾的水平距离； dcs为相机距挡风玻璃的水平距离； dcg为相机与差分GPS天线沿自车纵轴方向的水平间距为dcg 已知眼部坐标为(Xe，Ye，Ze)，智能挡风玻璃显示屏位置距驾驶员眼部的纵向距离dse如下： dse＝Ye+dcs dcs为相机距挡风玻璃的水平距离；则可得视觉增强图像的缩放倍数n如下：则将前方车辆3D模型尺寸根据缩放倍数n缩小，进一步调整前方车辆3D模型的观察点的垂向和横向位置，在大地坐标系内，驾驶员眼部相对于车辆的垂向高度he如下： he＝hc+Ze hc安装于驾驶证后视镜位置的相机固定位置的高度；步骤3中所述结合驾驶员眼部相对于车辆的垂向高度以及驾驶员眼部相对于前车纵轴的横向偏移进行移动旋转校正得到视觉增强后图像：求得驾驶员眼部相对于前车纵轴的横向偏移el如下： e1＝Xhost-Xelse-Xe 将前方车辆3D模型的坐标点(UID,k，VID,k，WID,k)k∈[1,L]根据驾驶员眼部相对于车辆的垂向高度he和驾驶员眼部相对于前车纵轴的横向偏移el进行移动调整：根据前方车辆的横摆角θey和驾驶员面部横摆角θfy绕水平中轴垂向旋转3D车辆模型，旋转角度为α＝θey-θfy；根据驾驶员面部俯仰角θfp将3D车辆模型绕垂直中轴横向旋转角度-θfp，此时旋转后前方车辆3D模型的坐标点位置所得的前方车辆3D模型(UID,k，VID,k，W*ID,k)k∈[1,L]就是要显示在所述挡风玻璃显示屏上的视觉增强后图像。
所属类别：	发明专利