详情

原文传递基于3D视线估计的汽车A柱遮挡区域显示方法

专利名称：	基于3D视线估计的汽车A柱遮挡区域显示方法
摘要：	本发明公开了一种基于3D视线估计的汽车A柱遮挡区域显示方法，通过对相机的标定确定三个相机的相对位姿，利用双目计算驾驶员与A柱遮挡位置的关系，通过视线估计确定驾驶员正常驾驶情况下的A柱遮挡视野，通过单目获取遮挡区域视野，将双目相机系统计算的位置关系确定的遮挡区域与单目相机拍摄区域相对应，实时显示A柱遮挡区域，该方法在不影响现有车身结构安全的情况下显示A柱遮挡区域，拓展了驾驶视野。
专利类型：	发明专利
申请人：	天津理工大学
发明人：	李天军;杨敏玲;宋红伟;陈胜勇
专利状态：	有效
申请日期：	1900-01-20T17:00:00+0805
发布日期：	1900-01-20T17:00:00+0805
申请号：	CN201911297523.6
公开号：	CN111016786A
代理机构：	北京慕达星云知识产权代理事务所(特殊普通合伙)
代理人：	曹鹏飞
分类号：	B60R1/00;B;B60;B60R;B60R1;B60R1/00
申请人地址：	300000 天津市西青区宾水西道391号
主权项：	1.一种基于3D视线估计的汽车A柱遮挡区域显示方法，其特征在于，包括：步骤1：在汽车左右两个A柱位置各安装三个相机C1、C2和C3，所述相机C1和相机C2均安装于车身内侧，所述相机C3安装于车身外侧，分别确定三个相机C1、C2和C3的内外参量和相对位姿；步骤2：通过相机C1和相机C2分别拍摄驾驶者的脸部区域，通过相机C3拍摄对应A柱遮挡区域附近的图像；步骤3：分别对拍摄的脸部区域图像进行处理，得到驾驶者注视对应相机的视线向量；步骤4：根据得到的视线向量确定遮挡区域，并在相机C3拍摄的图像中标记出遮挡区域；步骤5：将标记有遮挡区域的图像输出并进行显示。 2.根据权利要求1所述的一种基于3D视线估计的汽车A柱遮挡区域显示方法，其特征在于，所述步骤3具体包括：图像预处理：将被遮挡的第一帧图像进行通道分离和灰度转换处理；确定人脸区域：从预处理后的图像中标注人脸关键特征点，确定人脸区域；确定人眼区域：从人脸区域中选取眼部区域，并确定瞳孔中心位置；计算三维坐标：分别提取人脸关键特征点和瞳孔中心点，根据相机C1、C2和C3的内外参量和相对位姿，计算人脸关键特征点和瞳孔中心点的三维坐标；确定视线向量：通过驾驶者注视相机C1的光心确定视线向量V1，通过驾驶者注视相机C2的光心确定视线向量V2。 3.根据权利要求2所述的一种基于3D视线估计的汽车A柱遮挡区域显示方法，其特征在于，所述步骤4具体包括：设视线向量V1＝(x1,y1,z1)，V1'＝(x2,y2,z2)，关系如下：其中，R\|t为相机C1和相机C3的旋转\|平移矩阵，如下：由视线向量V1和相机C1与相机C3的旋转\|平移矩阵R\|t计算得到向量V1'；同理，由视线向量V1和相机C2与相机C3的旋转\|平移矩阵能够计算得到向量V2'；将向量V1'和向量V2'分别转换为相机C3像素坐标系下的向量，得到遮挡区域。 4.根据权利要求3所述的一种基于3D视线估计的汽车A柱遮挡区域显示方法，其特征在于，将向量V1'转换为相机C3像素坐标系下的向量，转换公式为：将公式变换后为：式中，dX、dY分别为像素在X、Y轴方向的物理尺寸，(u0,v0)为图像原点坐标，f为相机焦距，s为比例因子(s≠0)，(x2,y2,z2,0)T是向量V1'在相机坐标系Oxyz中的齐次坐标，(X,Y,0)T是向量V1'在图像坐标系OXY中的齐次坐标。
所属类别：	发明专利