详情

原文传递深度学习的高速公路车道结构化方法、存储介质及设备

专利名称：	深度学习的高速公路车道结构化方法、存储介质及设备
摘要：	本发明的一种基于深度学习的高速公路车道结构化方法、存储介质及设备，其中方法通过计算机设备执行以下步骤，使用训练好的模型对高速公路图片数据进行车道线检测，将高速公路的实线、虚线、护栏进行分类，并将检测结果保存下来；模型训练包括以下步骤：获取高速公路视频设备所采集的视频数据并抽帧；对抽帧出来的图片数据进行筛选；对筛选好的数据进行车道线数据标注；使用深度学习网络进行模型训练；使用深度学习模型检测车道线，并对车道线进行分类。本发明通过对高速公路车道线进行检测后，对检测后的图像数据进行结构化解析，得到车道数量，车道线类型，可以有效辅助高速公路监控系统无法及时判断车道是否有违法行为。
专利类型：	发明专利
国家地区组织代码：	安徽;34
申请人：	安徽百诚慧通科技有限公司
发明人：	徐宏浩;朱文佳;陶诗德
专利状态：	有效
申请日期：	2021-11-30T00:00:00+0800
发布日期：	2022-03-01T00:00:00+0800
申请号：	CN202111450048.9
公开号：	CN114120284A
代理机构：	合肥天明专利事务所(普通合伙)
代理人：	苗娟
分类号：	G06V20/58;G06V10/25;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G;G06;G06V;G06K;G06N;G06V20;G06V10;G06K9;G06N3;G06V20/58;G06V10/25;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
申请人地址：	230088 安徽省合肥市高新区望江西路800号创新产业园B3楼7层北跨(707-710室)
主权项：	1.一种基于深度学习的高速公路车道结构化方法，其特征在于，通过计算机设备执行以下步骤，使用训练好的模型对高速公路图片数据进行车道线检测，将高速公路的实线、虚线、护栏进行分类，并将检测结果保存下来；其中，模型训练包括以下步骤：获取高速公路视频设备所采集的视频数据并抽帧；对抽帧出来的图片数据进行筛选；对筛选好的数据进行车道线数据标注；使用深度学习网络进行模型训练；使用深度学习模型检测车道线，并对车道线进行分类。 2.根据权利要求1所述的基于深度学习的高速公路车道结构化方法，其特征在于：所述使用深度学习模型检测车道线，并对车道线进行分类，具体包括：对检测得到的图像数据进行结构化解析，选取图像下部分70％为感兴趣区域，连接车道线末端，得出图像数据共有几条车道，车道和车道之间是实线还是虚线，以便于判断车辆是否有违法行为。 3.根据权利要求1所述的基于深度学习的高速公路车道结构化方法，其特征在于：所述获取高速公路视频设备所采集的视频数据并抽帧，具体包括：获取高速公路的视频监控视频，对视频帧进行抽帧操作，采取跳帧抽帧的方式进行抽帧，具体采取每300帧抽一帧的方法收集图片数据。 4.根据权利要求1所述的基于深度学习的高速公路车道结构化方法，其特征在于：对筛选好的数据进行车道线数据标注，具体包括：使用Labelme标注工具进行标注，将高速公路的实线、虚线、护栏进行分类标注。 5.根据权利要求1所述的基于深度学习的高速公路车道结构化方法，其特征在于：深度学习网络进行模型训练步骤如下：使用DDRNet算法，其中DDRNet主干网络结构如下： 6.根据权利要求5所述的基于深度学习的高速公路车道结构化方法，其特征在于：深度学习网络进行模型训练步骤还包括用两个连续的3×3卷积层替换了一个7×7卷积层；利用剩余的基本块来构建主干和随后的两个分支；为了扩展输出维度，在每个分支的末尾添加了一个瓶颈块；双边融合包括将高分辨率分支融合到低分辨率分支和将低分辨率融合到高分辨率分支；对于高到低融合，高分辨率特征图在逐点求和之前通过3×3卷积序列下采样，步长为2；对于从低到高分辨率，低分辨率特征图首先通过1×1卷积压缩，然后通过双线性插值进行上采样；其中，双边融合实现步骤如下：第i个高分辨率特征图XHi和低分辨率特征图XLi写为：其中FH和FL分别对应高分辨率和低分辨率的残差基本块序列，TL-H和TH-L指的是低到高和高到低的transformer，R表示ReLU函数。 7.根据权利要求6所述的基于深度学习的高速公路车道结构化方法，其特征在于：深度学习网络进行模型训练步骤还包括：进一步从低分辨率特征图中提取上下文信息；以1/64图像分辨率的特征图作为输入，执行具有指数步幅的大型池化内核以生成1/128、1/256、1/512图像分辨率的特征图；还利用了全局平均池化生成的输入特征图和图像级信息；还包括首先对特征图进行上采样，然后使用更多的3×3卷积以分层残差的方式融合不同尺度的上下文信息；考虑一个输入x，每个尺度yi写成：其中C1×1为1×1卷积，C3×3为3×3卷积，U表示上采样操作，Pj,k表示核大小为j，步幅为k的池化层，Pglobal表示全局平均池化；最后，所有特征图都使用1×1卷积进行连接和压缩。 8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。 9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。
所属类别：	发明专利