详情

原文传递基于自适应图像增强的夜间道路场景语义分割方法

专利名称：	基于自适应图像增强的夜间道路场景语义分割方法
摘要：	本发明公开了一种基于自适应图像增强的夜间道路场景语义分割方法，主要解决夜间道路场景下图像缺乏带标注夜间道路场景数据集以及图像亮度低、特征提取困难等问题。所述方法包括如下步骤：构建结合侧窗盒式滤波和生成对抗网络优点的日夜转换模型；合成夜间道路场景语义分割数据集；构建夜间道路场景语义分割方法的训练数据集；构建自适应图像增强网络；对训练数据集进行自适应图像增强并分割；通过交叉熵损失函数计算语义分割损失；获取夜间道路场景测试图像，将其输入至训练好的夜间道路场景语义分割模型，输出对应的语义分割结果。本发明缓解了夜间道路场景图像照明弱、细节不清楚等问题，同时提高了夜间道路场景的分割预测。
专利类型：	发明专利
国家地区组织代码：	河南;41
申请人：	郑州轻工业大学
发明人：	李灿林;张文娇;毕丽华;王永彪;张卫正;刘岩
专利状态：	有效
申请日期：	2023-07-27T00:00:00+0800
发布日期：	2023-11-14T00:00:00+0800
申请号：	CN202310929226.9
公开号：	CN117058167A
分类号：	G06T7/11;G06T5/00;G06T7/13;G06N3/0464;G06N3/048;G06N3/08;G;G06;G06T;G06N;G06T7;G06T5;G06N3;G06T7/11;G06T5/00;G06T7/13;G06N3/0464;G06N3/048;G06N3/08
申请人地址：	450001 河南省郑州市高新区科学大道136号
主权项：	1.基于自适应图像增强的夜间道路场景语义分割方法，其特征在于，结合侧窗盒式滤波和生成对抗网络的优点，将带标注的白天道路场景语义分割数据集转换为低光条件下的道路场景数据集；将待训练数据集输入自适应图像增强网络，得到滤波器的参数，通过循环遍历滤波器列表：曝光处理、伽玛校正、对比度处理和锐化处理，输出增强后的图像，再进行分割，得到夜间道路场景语义分割预测图，其步骤如下：步骤一、构建结合侧窗盒式滤波和生成对抗网络优点的日夜转换模型；步骤二、合成夜间道路场景语义分割数据集，包括以下步骤： S21：将白天道路场景数据集进行归一化处理，归一化处理的均值和标准差均为[0.5，0.5，0.5]； S22：将所述归一化处理后的图像输入到步骤一中训练得到的最优生成对抗网络模型，输出对应的夜间道路场景图像；步骤三、构建夜间道路场景语义分割方法的训练数据集，包括以下步骤： S31：收集夜间道路场景数据集；定义源域Ts、目标域Tn和目标域Tc，其中Ts、Tn和Tc分别代表cityscapes(白天)、nightcity(夜间)、步骤二合成的夜间道路场景图像； S32：将收集的数据集进行数据预处理；步骤四、构建自适应图像增强网络；步骤五、对训练数据集进行自适应图像增强并分割；步骤六、通过交叉熵损失函数计算语义分割损失，包括以下步骤： S61：使用重新加权策略来提高网络对小物体的关注，公式如下：w′v＝-log(av)，其中，av表示在标注的数据集中被注释为v的像素的比例，av的值越低，分配的权重越大，有助于网络对小尺寸类别的划分； S62：对所述得到的权重进行归一化处理，公式如下：其中，/>和σ(w)分别是w′v的平均值和标准差，·为矩阵的点积，std为0.1，avg为1.0； S63：使用交叉熵损失函数对网络进行优化，分割损失公式如下：其中，P(v)为分割结果的第v个通道，U1为相应的分割标注图像中的有效像素数，\|R1\|为数据集中标注类别的数量，GT(v)为第v类真实标签的一个热编码，为矩阵的点积； S64：循环迭代步骤S61、S62、S63，得到最优的夜间道路场景语义分割网络模型；步骤七、获取夜间道路场景测试图像，将其输入至训练好的夜间道路场景语义分割模型，输出对应的语义分割结果。 2.根据权利要求1所述的基于自适应图像增强的夜间道路场景语义分割方法，其特征在于，所述步骤一中构建结合侧窗盒式滤波和生成对抗网络优点的日夜转换模型的具体步骤为： S11：收集白天道路场景图像和夜间道路场景图像； S12：将待训练的数据集按照数据风格和需求划分为源域训练集、目标域训练集和测试集，其中源域训练集定义为Sdata(x)，目标域训练集定义为Sdata(y)； S13：对目标域训练集进行侧窗盒式滤波处理和边缘提取操作，生成新的目标域训练集定义为Sdata(z)； S14：将待训练的数据集，包括源域数据集Sdata(x)和目标域数据集Sdata(z)，进行数据预处理，包括数据增强和标准化处理； S15：构建生成器，由下采样、8个残差块以及上采样组成，其中下采样由5个卷积层组成，每层的输出通道数分别为{64，128，128，256，256}，第一个卷积核为7×7，步长为1，后四个卷积核为3×3，步长分别为{2，1，2，1}；上采样由2个转置卷积和3个普通卷积组成，转置卷积的输出通道数分别为{128，64}，卷积核为3×3，步长为1/2，普通卷积的输出通道数分别为{128，64，3}，前两个卷积核为3×3，最后一个卷积核为7×7，步长均为1； S16：构建判别器，由一个3×3的卷积核、LReLU层以及三个卷积块组成；其中，前两个卷积块分别由两个3×3的卷积核、LReLU层、标准化组成，每层的输出通道数分别为{64，128，128，256}，步长分别为{2，1，2，1}；最后一个卷积块由一个步长为1的3×3的卷积核、标准化以及LReLU层组成，输出通道数为256； S17：将源域和目标域训练数据集中的图像作为所述生成器的输入，通过所述生成器网络分别得到其对应的夜间图像； S18：将所述得到的夜间图像作为所述判别器的输入，采用自适应学习率调整各层特征的对抗性学习方法，通过反向传播的方式，对判别器网络和生成器网络中的参数进行不断地更新优化。 3.根据权利要求2所述的基于自适应图像增强的夜间道路场景语义分割方法，其特征在于，所述S13中侧窗盒式滤波处理的具体方法为：读入目标域图像，输入参数m和n，其中m为待处理像素，n为邻接像素；定义侧窗编组S＝{L，R，Up，Dn，NW，NE，SW，SE}；计算m经过不同侧窗i加权滤波处理后的结果Ii，公式如下：其中，ω′t为侧窗i，wmn是以像素(m，n)为中心的滤波窗口中各像素的权重，qn为输入图像q在位置n处的强度，Ni为单个侧窗的权重之和，公式如下：/>计算代价函数Em，公式如下：/>其中，qm为输入图像q在位置m处的强度；得出最佳侧窗编号Ij，公式如下：通过得到的最佳侧窗编号，对目标域的图像进行侧窗盒式滤波处理。 4.根据权利要求2所述的基于自适应图像增强的夜间道路场景语义分割方法，其特征在于，所述S13中边缘提取操作的具体方法为：将读取的RGB彩色图像转换为灰度图像；使用标准Canny边缘检测器检测边缘像素；使用膨胀函数膨胀边缘区域；对所得到的边缘区域进行高斯平滑操作。 5.根据权利要求1所述的基于自适应图像增强的夜间道路场景语义分割方法，其特征在于，所述S32中数据预处理的具体步骤为： S321：对源域Ts中的图像进行随机裁剪，裁剪区域大小为512×512；然后将剪裁后的所有图像进行水平翻转，翻转比例为0.5，实现数据增强； S322：对目标域Tn中的图像进行随机裁剪，裁剪区域大小为512×512；然后将剪裁后的所有图像进行水平翻转，翻转比例为0.5，实现数据增强； S323：对目标域Tc中的图像进行随机裁剪，裁剪区域大小为512×512；然后将剪裁后的所有图像进行水平翻转，翻转比例为0.5，实现数据增强。 6.根据权利要求1所述的基于自适应图像增强的夜间道路场景语义分割方法，其特征在于，所述步骤四构建自适应图像增强网络的具体步骤为： S41：使用双线性插值，将输入图像调整到256×256大小； S42：自适应图像增强网络的模型由以下组件组成：一个步长为2的3×3的深度可分离卷积层、一个LReLU层、一个实例归一化层、四个卷积下采样块以及一个普通的8×8的卷积层；其中，每个下采样块由一个3×3的深度可分离卷积、一个LReLU层以及一个实例归一化层构成，其中输出通道数分别为{32，64，128，128}； S43：将输入图像输入到S42构造的模型中，得到图像滤波器的参数Fparameter； S44：将输入图像定义为初始的图像批处理image_batch； S45：将滤波器参数Fparameter应用于image_batch，得到更新后的图像批处理image_batch以及滤波器参数Fparameter： S46：将滤波器参数Fparameter和更新后的图像批处理image_batch添加到列表； S47：循环遍历滤波器列表：曝光处理、伽玛校正、对比度处理和锐化处理，更新步骤S45、S46，输出增强后的图像。 7.根据权利要求1所述的基于自适应图像增强的夜间道路场景语义分割方法，其特征在于，所述步骤五中对训练数据集进行自适应图像增强并分割的具体步骤为： S51：源域Ts数据增强后的图像经过自适应图像增强网络后，生成增强后的图像enhance(Ts)； S52：enhance(Ts)进行标准化处理，标准化的均值为[0.485，0.456，0.406]，方差为[0.229，0.224，0.225]； S53：标准化处理后的图像再输入到分割网络中生成分割图； S54：目标域Tn数据增强后的图像经过自适应图像增强网络后，生成增强后的图像enhance(Tn)； S55：enhance(Tn)进行标准化处理，标准化的均值为[0.485，0.456，0.406]，方差为[0.229，0.224，0.225]； S56：标准化处理后的图像再输入到分割网络中生成分割图； S57：目标域Tc数据增强后的图像经过自适应图像增强网络后，生成增强后的图像enhance(Tc)； S58：enhance(Tc)进行标准化处理，标准化的均值为[0.485，0.456，0.406]，方差为[0.229，0.224，0.225]； S59：标准化处理后的图像再输入到分割网络中生成分割图。
所属类别：	发明专利