详情

原文传递一种基于眼动跟踪的行车环境感知装置

专利名称：	一种基于眼动跟踪的行车环境感知装置
摘要：	本发明属于交通安全技术领域，具体涉及一种基于眼动跟踪的行车环境感知装置；本发明提出了一种基于眼动跟踪的行车环境感知装置，该装置由行车环境感知单元、眼动跟踪单元、主控单元、显示单元组成；驾驶员在驾驶过程中注视车辆行进方向的道路交通状况，通过眼动调取车辆左侧、右侧、后侧全景道路交通环境信息，通过前挡玻璃中的高透明显示屏的不同位置实时显示眼动调取的行车环境信息，实现360°全方位无盲点感知车辆周边的道路环境，避免通过转动头部获取行车环境信息的视觉时空片断性，以提高驾驶员行车安全性。
专利类型：	发明专利
国家地区组织代码：	吉林;22
申请人：	吉林大学;林赐云
发明人：	林赐云;赵玉;龚勃文;周翔宇;王康;喻永力
专利状态：	有效
发布日期：	2019-01-01T00:00:00+0800
申请号：	CN201810451462.3
公开号：	CN108437898A
分类号：	B60R1/00(2006.01)I;H04N7/18(2006.01)I;H04N5/247(2006.01)I;B;H;B60;H04;B60R;H04N;B60R1;H04N7;H04N5;B60R1/00;H04N7/18;H04N5/247
申请人地址：	130012 吉林省长春市前进大街2699号
主权项：	1.一种基于眼动跟踪的行车环境感知装置，其特征在于：1)行车环境感知单元行车环境感知单元由三组视频采集模块和视频传输接口模块组成，视频采集模块由鱼眼镜头、CCD/CMOS传感器、前端SoC微处理器组成，分别安装在左侧后视镜、右侧后视镜、汽车尾部，用于采集车辆左侧区域、右侧区域、后侧区域的道路交通信息；视频传输接口模块由无线通信接口和网络接口组成，行车环境感知单元可通过网线，也可通过无线通信的方式与主控单元进行数据通信和传输，具体工作步骤如下：Step1：车辆外部的道路交通信息通过鱼眼镜头投射到CCD/CMOS传感器；Step2：通过鱼眼镜头投射过来的图像是非线性径向畸变，不符合驾驶员观察外部环境的视觉习惯，前端SoC微处理器需要对CCD/CMOS传感器传送过来的图像进行实时的校正；Step2.1：前端SoC微处理器根据鱼眼镜头的特征参数，构建形成一个与鱼眼镜头相似的抛物曲面fC(XC,YC,ZC)；Step2.2：前端SoC微处理器将外界环境通过鱼眼镜头投射到CCD/CMOS传感器的图像信息fW(XW,YW,ZW)以像素为单位一一映射到SoC(System‑on‑Chip)微处理器构建的抛物曲面fC(XC,YC,ZC)上，fC(XC,YC,ZC)＝H·fW(XW,YW,ZW)，H为CCD/CMOS传感器到SoC微处理器的映射矩阵；Step2.3：前端SoC微处理器构建一个满足驾驶员视觉的二维平面fV(XV,YV)，二维平面fV(XV,YV)是抛物曲面fC(XC,YC,ZC)的拉伸平面，fV(XV,YV)＝M1·M2·M3·fC(XC,YC,ZC)·M4，M1为像素映射矩阵，M2为坐标变换矩阵，M3为左边偏移矩阵，M4为像素修正矩阵；Step2.4：前端SoC微处理器实时重复Step2.1‑Step2.3，将鱼眼镜头传送过来的车辆外部信息转换、修正成符合驾驶员视觉习惯的视频图像信息；Step3：左侧后视镜、右侧后视镜、汽车尾部中的视频采集模块分别将车辆左侧区域、右侧区域、后侧区域的视频图像信息通过视频传输接口模块实时传送给主控单元；2)眼动跟踪单元眼动跟踪单元由眼动采集模块和视频传输接口模块组成，眼动采集模块由红外光学摄像头、CCD/CMOS传感器、前端SoC微处理器组成，安装在驾驶员驾驶座位正前方，用于采集驾驶员的眼动状态；视频传输接口模块由无线通信接口和网络接口组成，眼动跟踪单元可通过网线，也可通过无线通信的方式与主控单元进行数据通信和传输，具体工作步骤如下：Step1：红外光学摄像头对准驾驶员的眼部区域，通过红外光学反射将驾驶员眼部区域的图像投射到CCD/CMOS传感器；Step2：CCD/CMOS传感器将红外光学摄像头投射过来的图像信息转换成图像数字信号，传送给前端SoC微处理器；Step3：前端SoC微处理器为CCD/CMOS传感器传送过来的图像数字信号构建形成一个M×N的二维数字图像矩阵P(Ω)，其中：Ω表示红外光学摄像头视角下覆盖的驾驶员人眼区域；M表示在二维数字图像矩阵中以像素为单位将Ω划分形成的总行数；N表示在二维数字图像矩阵中以像素为单位将Ω划分形成的总列数；Pij表示Ω中第i行第j列像素点的初始灰度值；Step4：前端SoC(System‑on‑Chip)微处理器对二维数字图像进行降噪和信号增强，以提高二维数字图像的质量和特征提取的敏感性；Step4.1：采用小波变换对二维数字图像P(Ω)进行降噪处理，基本降噪模型为：P′ij(t)＝Pij(t)‑σij(t)e(t)其中：e(t)为t时刻的噪声；σij(t)为t时刻第i行第j列像素点的噪声强度；Pij(t)为t时刻第i行第j列像素点SoC(System‑on‑Chip)微处理器获取的灰度值；P′ij(t)为t时刻第i行第j列像素点降噪后的灰度值；Step4.2：采用ddencmp()函数生成信号的默认阈值，然后利用函数wdencmp()函数进行去噪处理，从而生成新的二维数字图像矩阵P’(Ω)；Step4.3：采用拉普拉斯算子对二维数字图像矩阵P’(Ω)进行数字图像增强，以增强人眼区域特征部位的图像对比度，增强形成后的二维数字图像矩阵为P‘’(Ω)，P‘’ij表示数字图像增强后Ω中第i行第j列像素点的灰度值；Step5：前端SoC(System‑on‑Chip)微处理器将降噪和增强后的二维数字图像矩阵P‘’(Ω)通过视频传输接口模块传送给主控单元；3)主控单元主控单元由母板总线、多核微处理模块、接口模块组成，嵌入在驾驶舱的仪表盘内，用于对行车环境感知单元、眼动跟踪单元传送过来的视频图像信息进行处理和分析，并将分析结果发送给显示单元，具体工作步骤如下：Step1：主控单元中的多核微处理模块通过接口模块接收眼动跟踪单元传送过来的二维数字图像矩阵P‘’(Ω)；Step2：多核微处理模块创建一个M×N的二维数字图像矩阵I(Ω)，令I(Ω)＝P‘’(Ω)，Iij＝P‘’ij，Iij表示Ω中第i行第j列像素点的灰度值；Step3：定义A为一个由m×n个像素点组成的方形区域，A∈Ω，其中：S＝M/m；K＝N/n；Aij为Ω第i行第j列方形区域A的灰度值矩阵；Step4：计算Ω中各方形区域A的灰度测度值：其中：为Ω第i行第j列方形区域A的灰度平均值；为二维数字图像的灰度平均值；μ_ij为Ω中第i行第j列方形区域A的灰度测度值；Step5：计算Ω中各方形区域A的局部奇异性指数λij：其中：λ_ij为方形区域A_ij的局部奇异性指数；为Ω中各方形区域A的平均灰度测度值；μ_max为Ω中方形区域A的最大灰度测度值；μ_min为Ω中方形区域A的最小灰度测度值；Step6：定义EYE_L、EYE_R分别为左眼区域和右眼区域，EYE_L∈Ω，EYE_R∈Ω；若λ_ij≤η_eye，且与A_ij相邻的方形区域A_(i‑1)j、A_(i+1)j、A_i(j‑1)、A_i(j+1)中至少有一个方形区域的局部奇异性指数小于等于η_eye，且则A_ij∈EYE_L；若λ_ij≤η_eye，且与A_ij相邻的方形区域A_(i‑1)j、A_(i+1)j、A_i(j‑1)、A_i(j+1)中至少有一个方形区域的局部奇异性指数小于等于η_eye，且则A_ij∈EYE_R；Step7：分别为EYEL、EYER创建由Z×D个像素点组成的二维数字图像矩阵I(EYEL)和I(EYER)，同时分别定义EL、ER为由z×d个像素点组成的方形区域，EL∈EYEL、ER∈EYER，其中：U＝Z/z；V＝D/d；Z、D分别为左眼区域和右眼区域EYE_L、EYE_R内像素点的行总数和列总数；U、V为EL、ER内像素点的行总数和列总数；分别为左眼区域EYE_L和右眼区域EYE_R内第i行第j列像素点的灰度值；Step8：令分别为左眼区域EYE_L和右眼区域EYE_R的灰度平均值；分别为左眼区域EYE_L和右眼区域EYE_R中第i行第j列像素点所在方形区域EL、ER的灰度平均值；分别为左眼区域EYE_L和右眼区域EYE_R中第i行第j列像素点的灰度值，分别计算分别在左眼区域EYE_L和右眼区域EYE_R中的全局奇异性指数：其中：分别为左眼区域EYE_L和右眼区域EYE_R中第i行第j列像素点的全局奇异性指数；Step9：计算左眼区域EYE_L和右眼区域EYE_R中所有点的全局奇异性指数后，分别左眼区域EYE_L和右眼区域EYE_R中的最大全局奇异性指数和最小全局奇异性指数并分别将根据分布频次划分成四个区域，即：其中：和分别为左眼区域EYE_L和右眼区域EYE_R中像素点全局奇异性指数频次分布临界阈值点；Step10：计算左眼区域EYE_L和右眼区域EYE_R中四个分布频次区域的中心点：其中：和分布为左眼区域EYE_L和右眼区域EYE_R像素点全局奇异性指数四个分布频次区域的中心点；Step11：分别通过和计算四个分布频次中心点对应的灰度值和Step12：根据的区间分布，将其对应像素点的灰度值替换成相应区间中心点对应的灰度值，即：若则若则若则若则若则若则若则若则Step12：更新左眼区域EYEL和右眼区域EYER二维数字图像矩阵I(EYEL)和I(EYER)后，左眼区域EYEL和右眼区域EYER分别形成了四种不同灰度值覆盖区域，根据各覆盖区域在左眼区域EYEL和右眼区域EYER的相对位置，分别确定为左眼区域EYEL的巩膜区域SCLERAL、虹膜区域LRISL、瞳孔区域PUPILL、眼皮区域LIDL和右眼区域EYER的巩膜区域SCLERAR、虹膜区域LRISR、瞳孔区域PUPILR、眼皮区域LIDR；Step13：分别标定左眼区域EYEL和右眼区域EYER中瞳孔区域的中心点CP_PUPILL、CP_PUPILR和巩膜区域的中心线CL_SCLERAL、CL_SCLERAR，以及眼皮区域的上眼睑UP_LIDL、UP_LIDR和上眼睑DW_LIDL、DW_LIDR；Step14：分别计算左眼区域EYEL和右眼区域EYER中眼瞳孔区域中心点与巩膜区域的中心线左右端点的距离和眼瞳孔区域中心点与上下眼睑的距离，令DIS_LL(CP_PUPILL，CL_SCLERAL)、DIS_LR(CP_PUPILL，CL_SCLERAL)分别为左眼瞳孔区域中心点与左眼巩膜区域的中心线左端点和右端点的距离；DIS_LU(CP_PUPILL，UP_LIDL)、DIS_LD(CP_PUPILL，DW_LIDL)分别为左眼瞳孔区域中心点与左眼上眼睑和下眼睑的距离；DIS_RL(CP_PUPILR，CL_SCLERAR)、DIS_RR(CP_PUPILR，CL_SCLERAR)分别右眼瞳孔区域中心点与右眼巩膜区域的中心线左端点和右端点的距离；DIS_RU(CP_PUPILR，UP_LIDR)、DIS_RD(CP_PUPILR，DW_LIDR)分别为右眼瞳孔区域中心点与右眼上眼睑和下眼睑的距离；Step15：判断驾驶员的眼动状态，Step15.1：若同时满足：DIS_LL(CP_PUPILL，CL_SCLERAL)≤ζDIS_RL(CP_PUPILR，CL_SCLERAR)≤ζDIS_LR(CP_PUPILL，CL_SCLERAL)≥ξDIS_RR(CP_PUPILR，CL_SCLERAR)≥ξ则判定驾驶员眼睛看向左侧，将驾驶员眼动信息记录为FACE_LEFT；其中：ζ、ξ分别为驾驶员眼球左右转动的最小临界阈值和最大临界阈值；σ分别为驾驶员眼球上下转动的最小临界阈值和最大临界阈值；Step15.2：若同时满足：DIS_LL(CP_PUPILL，CL_SCLERAL)≥ξDIS_RL(CP_PUPILR，CL_SCLERAR)≥ξDIS_LR(CP_PUPILL，CL_SCLERAL)≤ζDIS_RR(CP_PUPILR，CL_SCLERAR)≤ζ则判定驾驶员眼睛看向右侧，将驾驶员眼动信息记录为FACE_RIGHT；Step15.3：若同时满足：ζDIS_LD(CP_PUPILL，DW_LIDL)≥σDIS_RD(CP_PUPILR，DW_LIDR)≥σ则判定驾驶员眼睛看向上部，将驾驶员眼动信息记录为FACE_UP；Step15.4：若同时满足：ζ则判定驾驶员眼睛看向下部，将驾驶员眼动信息记录为FACE_DOWN；Step15.5：若同时满足ζ则判定驾驶员眼睛看向正前方，将驾驶员眼动信息记录为FACE_FACE；Step16：主控单元中的中的多核微处理模块根据驾驶员眼动状态的判断结果，通过接口模块提取环境感知单元的视频图像信息，并通过母板总线将视频图像信息传送给显示单元：Step16.1：若驾驶员眼动记录信息为FACE_LEFT，则提取环境感知单元中左侧后视镜位置感知的车辆左侧的道路交通环境信息；Step16.2：若驾驶员眼动记录信息为FACE_RIGHT，则提取环境感知单元中右侧后视镜位置感知的车辆右侧的道路交通环境信息；Step16.3：若驾驶员眼动记录信息为FACE_UP，则提取环境感知单元中车辆尾部位置感知的车辆后侧的道路交通环境信息；Step16.4：若驾驶员眼动记录信息为FACE_DOWN，如果连续FACE_DOWN的时间超过3秒，则发送一个预警信息WARNING信息，如果连续FACE_DOWN的时间超过5秒，则发送一个警告信息ALARM信息。
所属类别：	发明专利