详情

原文传递一种车载全景视频显示系统、方法及车载控制器

专利名称：	一种车载全景视频显示系统、方法及车载控制器
摘要：	本发明实施例提供了一种车载全景视频显示系统、方法及车载控制器，其中，系统包括车载视频采集器、车载控制器及车载显示器；车载视频采集器中包括多个摄像头，各摄像头分别采集覆盖区域内的原始视频，车载视频采集器中所有摄像头的总覆盖区域大于或等于360度；发送各摄像头采集的原始视频至车载控制器；车载控制器，用于通过查找预先建立的全景合成映射表，针对各原始视频，分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系；根据拼接关系，将各待拼接视频进行拼接，生成全景视频；将全景视频发送至车载显示器；车载显示器，用于经过预设显示策略，显示全景视频。通过本方案，可以提高车辆行驶的安全性及拍摄视频的显示效果。
专利类型：	发明专利
国家地区组织代码：	浙江;33
申请人：	杭州海康威视数字技术股份有限公司
发明人：	王泽文
专利状态：	有效
申请日期：	2018-04-02T00:00:00+0800
发布日期：	2019-10-18T00:00:00+0800
申请号：	CN201810284336.3
公开号：	CN110341597A
代理机构：	北京柏杉松知识产权代理事务所(普通合伙)
代理人：	李欣;马敬
分类号：	B60R1/00(2006.01);B;B60;B60R;B60R1
申请人地址：	310051 浙江省杭州市滨江区阡陌路555号
主权项：	1.一种车载全景视频显示系统，其特征在于，所述系统包括车载视频采集器、车载控制器及车载显示器；所述车载视频采集器中包括多个摄像头，各摄像头分别采集覆盖区域内的原始视频，所述车载视频采集器中所有摄像头的总覆盖区域大于或等于360度；发送各摄像头采集的原始视频至所述车载控制器；所述车载控制器，用于接收所述车载视频采集器发送的各摄像头采集的原始视频；通过查找预先建立的全景合成映射表，针对各原始视频，分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系，所述全景合成映射表中包括待拼接视频的像素坐标与原始视频的像素坐标的对应关系；根据所述拼接关系，将各待拼接视频进行拼接，生成全景视频；将所述全景视频发送至所述车载显示器；所述车载显示器，用于接收所述车载控制器发送的所述全景视频；经过预设显示策略，显示所述全景视频。 2.根据权利要求1所述的系统，其特征在于，所述车载视频采集器为双鱼眼设备。 3.根据权利要求1所述的系统，其特征在于，所述车载视频采集器与所述车载控制器之间，通过信息交互模块传输各摄像头采集的原始视频；所述车载控制器与所述车载显示器之间，通过信息交互模块传输所述全景视频。 4.根据权利要求1所述的系统，其特征在于，所述系统还包括：车身传感器；所述车身传感器，用于采集方向盘转动信息；将所述方向盘转动信息发送至所述车载控制器；所述车载控制器，还用于接收所述车身传感器发送的所述方向盘转动信息；根据所述方向盘转动信息，通过转动角度换算，得到所述全景视频的视角转动信息；按照所述视角转动信息，对所述全景视频进行转动变换，得到变换后的全景视频；将所述变换后的全景视频发送至所述车载显示器；所述车载显示器，还用于接收所述车载控制器发送的所述变换后的全景视频；经过预设显示策略，显示所述变换后的全景视频。 5.根据权利要求1所述的系统，其特征在于，所述车载视频采集器，还用于识别驾驶员姿态变化信息；发送所述驾驶员姿态变化信息至所述车载控制器；所述车载控制器，还用于接收所述车载视频采集器发送的所述驾驶员姿态变化信息；根据所述驾驶员姿态变化信息，通过视点变换关系，确定所述全景视频的视点变换参数；根据所述视点变换参数，对所述全景视频进行视点更新，得到视点更新后的全景视频；将所述视点更新后的全景视频发送至所述车载显示器；所述车载显示器，还用于接收所述车载控制器发送的所述视点更新后的全景视频；经过预设显示策略，显示所述视点更新后的全景视频。 6.根据权利要求1所述的系统，其特征在于，所述车载视频采集器，还用于识别车外障碍物目标信息；发送所述车外障碍物目标信息至所述车载控制器；所述车载控制器，还用于接收所述车载视频采集器发送的所述车外障碍物目标信息；根据所述车外障碍物目标信息，确定车外障碍物的类别信息，以及所述车外障碍物在所述全景视频中的位置信息；将所述类别信息以及所述位置信息叠加至所述全景视频上，得到叠加信息后的全景视频；将所述叠加信息后的全景视频发送至所述车载显示器；所述车载显示器，还用于接收所述车载控制器发送的所述叠加信息后的全景视频；经过预设显示策略，显示所述叠加信息后的全景视频。 7.一种车载全景视频显示方法，其特征在于，应用于车载控制器，所述方法包括：获取车载视频采集器中各摄像头采集的原始视频；通过查找预先建立的全景合成映射表，针对各原始视频分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系，所述全景合成映射表中包括待拼接视频的像素坐标与原始视频的像素坐标的对应关系；根据所述拼接关系，将各待拼接视频进行拼接，生成全景视频；将所述全景视频发送至车载显示器。 8.根据权利要求7所述的方法，其特征在于，所述全景合成映射表的建立方式，包括：获取所述车载视频采集器中各摄像头采集的样本图像，以及所述车载视频采集器标定的各摄像头内参及各摄像头外参；根据各摄像头内参，对各样本图像分别进行球面投影，生成该样本图像对应的球面投影图像；根据各摄像头外参，获得各球面投影图像之间的相对位置关系；根据所述相对位置关系，对各球面投影图像进行变换、裁剪，得到全景合成映射表。 9.根据权利要求7所述的方法，其特征在于，所述全景合成映射表的建立方式，包括：获取所述车载视频采集器中各摄像头采集的样本图像，以及所述车载视频采集器标定的各摄像头内参及各摄像头外参；建立第一全景映射表，所述第一全景映射表的内容为空；根据各摄像头外参，得到所述第一全景映射表中各预设区域之间的位置关系；根据所述位置关系，对各预设区域进行逆变换，得到该预设区域的逆变换区域；根据各摄像头内参，对各样本图像分别进行球面投影，生成该样本图像对应的球面投影图像；根据各球面投影图像与各逆变换区域之间的对应关系，确定全景合成映射表。 10.根据权利要求7所述的方法，其特征在于，所述全景合成映射表的建立方式，包括：获取所述车载视频采集器中各摄像头采集的外参标定图像，及各外参标定图像中标定的摄像头外参；检测各外参标定图像的有效区域外边缘；通过曲线拟合，拟合各外参标定图像的有效区域外边缘，得到各外参标定图像的有效区域的外轮廓；针对各外参标定图像，基于该外参标定图像的有效区域的外轮廓，确定采集该外参标定图像的摄像头内参；根据各摄像头内参，对各外参标定图像分别进行球面投影，生成该外参标定图像对应的球面投影图像；根据各摄像头外参，获得各球面投影图像之间的相对位置关系；根据所述相对位置关系，对各球面投影图像进行变换、裁剪，得到全景合成映射表。 11.根据权利要求7所述的方法，其特征在于，所述全景合成映射表的建立方式，包括：获取所述车载视频采集器中各摄像头采集的外参标定图像，及各外参标定图像中标定的摄像头外参；检测各外参标定图像的有效区域外边缘；通过曲线拟合，拟合各外参标定图像的有效区域外边缘，得到各外参标定图像的有效区域的外轮廓；针对各外参标定图像，基于该外参标定图像的有效区域的外轮廓，确定采集该外参标定图像的摄像头内参；建立第一全景映射表，所述第一全景映射表的内容为空；根据各摄像头外参，得到所述第一全景映射表中各预设区域之间的位置关系；根据所述位置关系，对各预设区域进行逆变换，得到该预设区域的逆变换区域；根据各摄像头内参，对各外参标定图像分别进行球面投影，生成该外参标定图像对应的球面投影图像；根据各球面投影图像与各逆变换区域之间的对应关系，确定全景合成映射表。 12.根据权利要求8至11任一所述的方法，其特征在于，所述全景合成映射表包括所述车载视频采集器中各摄像头各自的映射表，各映射表两两之间存在重叠区域。 13.根据权利要求8至11任一所述的方法，其特征在于，所述通过查找预先建立的全景合成映射表，针对各原始视频分别生成该原始视频对应的待拼接视频及各待拼接视频间的拼接关系，包括：通过查找预先建立的全景合成映射表，针对各原始视频中的各视频帧，生成该视频帧对应的待拼接视频帧及各待拼接视频帧之间的拼接关系；针对同一原始视频生成的各待拼接视频帧，通过预设视频生成技术，生成待拼接视频；所述根据所述拼接关系，将各待拼接视频进行拼接，生成全景视频，包括：根据所述各待拼接视频帧之间的拼接关系，分别将各待拼接视频中对应的待拼接视频帧进行拼接，得到多个全景图像；基于各全景图像，通过预设视频生成技术，生成全景视频。 14.根据权利要求7所述的方法，其特征在于，所述根据所述拼接关系，将各待拼接视频进行拼接，生成全景视频，包括：根据所述拼接关系，将各待拼接视频进行拼接，生成二维视频；根据预设三维投影方式，将所述二维视频进行三维投影，得到全景视频。 15.根据权利要求7所述的方法，其特征在于，在所述根据所述拼接关系，将各待拼接视频进行拼接，生成全景视频之后，所述方法还包括：获取车辆状态信息；根据所述车辆状态信息，确定所述全景视频的待处理信息；根据所述待处理信息，对所述全景视频进行处理，得到处理后的全景视频；所述将所述全景视频发送至车载显示器，包括：将所述处理后的全景视频发送至车载显示器。 16.根据权利要求15所述的方法，其特征在于，所述车辆状态信息包括方向盘转动信息；所述获取车辆状态信息，包括：获取车身传感器采集的方向盘转动信息；所述根据所述车辆状态信息，确定所述全景视频的待处理信息，包括：根据所述方向盘转动信息，通过转动角度换算，得到所述全景视频的视角转动信息；所述根据所述待处理信息，对所述全景视频进行处理，得到处理后的全景视频，包括：按照所述视角转动信息，对所述全景视频进行转动变换，得到变换后的全景视频；所述将所述处理后的全景视频发送至车载显示器，包括：将所述变换后的全景视频发送至车载显示器。 17.根据权利要求15所述的方法，其特征在于，所述车辆状态信息包括驾驶员姿态变化信息；所述获取车辆状态信息，包括：获取所述车载视频采集器识别的驾驶员姿态变化信息；所述根据所述车辆状态信息，确定所述全景视频的待处理信息，包括：根据所述驾驶员姿态变化信息，通过视点变换关系，确定所述全景视频的视点变换参数；所述根据所述待处理信息，对所述全景视频进行处理，得到处理后的全景视频，包括：根据所述视点变换参数，对所述全景视频进行视点更新，得到视点更新后的全景视频；所述将所述处理后的全景视频发送至车载显示器，包括：将所述视点更新后的全景视频发送至车载显示器。 18.根据权利要求15所述的方法，其特征在于，所述车辆状态信息包括：车外障碍物目标信息；所述获取车辆状态信息，包括：获取所述车载视频采集器识别的车外障碍物目标信息；所述根据所述车辆状态信息，确定所述全景视频的待处理信息，包括：根据所述车外障碍物目标信息，确定车外障碍物的类别信息，以及所述车外障碍物在所述全景视频中的位置信息；所述根据所述待处理信息，对所述全景视频进行处理，得到处理后的全景视频，包括：将所述类别信息以及所述位置信息叠加至所述全景视频上，得到叠加信息后的全景视频；所述将所述处理后的全景视频发送至车载显示器，包括：将所述叠加信息后的全景视频发送至车载显示器。 19.根据权利要求7所述的方法，其特征在于，所述车载视频采集器为双鱼眼设备；所述获取车载视频采集器中各摄像头采集的原始视频，包括：获取双鱼眼设备中两个鱼眼摄像头分别采集的原始视频。 20.一种车载控制器，其特征在于，所述车载控制器中包括处理器和存储器，其中，所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求7-19任一所述的方法步骤。 21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求7-19任一所述的方法步骤。
所属类别：	发明专利