详情

原文传递一种基于双目视觉的道路垃圾识别定位方法

专利名称：	一种基于双目视觉的道路垃圾识别定位方法
摘要：	本发明公开了一种基于双目视觉的道路垃圾识别定位方法，属于机器视觉领域，可应用在智能清扫车或者环卫机器人行业中。本识别定位方法具体为：双目摄像头对目标区域进行拍摄；对左右图像通过神经网络方法进行特征提取；以左图像为基准建立视差图和语义分割图；建立点云并按需求回归目标类别和位置。该种方法使用双目摄像头，融合立体匹配与语义分割神经网络算法，完成垃圾目标的分类和定位，可以为自动化环卫工作提供一种感知方案。
专利类型：	发明专利
国家地区组织代码：	山东;37
申请人：	吉林大学青岛汽车研究院
发明人：	王玉海;吕睿;张秀才;何磊;周渊乐
专利状态：	有效
申请日期：	2023-09-21T00:00:00+0800
发布日期：	2023-11-17T00:00:00+0800
申请号：	CN202311221046.1
公开号：	CN117079229A
代理机构：	长春市恒誉专利代理事务所(普通合伙)
代理人：	李荣武
分类号：	G06V20/54;G06V10/22;G06V10/26;G06V10/40;G06V10/764;G06V10/82;G06N3/04;G;G06;G06V;G06N;G06V20;G06V10;G06N3;G06V20/54;G06V10/22;G06V10/26;G06V10/40;G06V10/764;G06V10/82;G06N3/04
申请人地址：	266000 山东省青岛市李沧区楼山路1号
主权项：	1.一种基于双目视觉的道路垃圾识别定位方法，其特征在于，主要包括以下步骤：步骤1：双目摄像头对目标区域进行拍摄；步骤2：对左右图像通过神经网络方法进行特征提取；步骤3：以左图像为基准建立视差图和语义分割图；步骤4：建立点云并按需求回归目标类别和位置。 2.根据权利要求1所述的双目视觉的道路垃圾识别定位方法，其特征在于：步骤1中，应保证当其在工作状态时，左右摄像头光心连线保持水平，双目摄像头的视线向下，与水平面夹角推荐在15°～30°，保证地面占拍摄图像的一半以上的区域，可拍摄视频和图片文件，设计有效工作范围>＝10m。 3.根据权利要求1所述的双目视觉的道路垃圾识别定位方法，其特征在于：步骤2将左右图像传入一组共享权重的特征提取神经网络；在左图像的特征提取网络中选取不同下采样倍数的特征层分别用于立体匹配和语义分割任务，在右图像的特征提取网络中选取与用于立体匹配的左特征层同层的右特征层，将其用于立体匹配任务。 4.根据权利要求1所述的双目视觉的道路垃圾识别定位方法，其特征在于：步骤3中，将步骤2传入的用于语义分割的左图像的特征层传入语义分割神经网络，获取像素级分类结果的语义分割图像，将步骤2传入的用于立体匹配的左右图像的特征层传入立体匹配神经网络，获取以左图像为基准的视差图；在两个任务之间，设有两个注意力机制模块，分别为融合分类信息用于优化立体匹配的注意力机制模块和融合立体信息用于优化语义分割的注意力机制模块；两个任务相互优化以获取更优的结果。 5.根据权利要求1所述的双目视觉的道路垃圾识别定位方法，其特征在于：步骤4通过视差回归计算，将视差图转化为深度图，并融合语义分割的分类信息，获取像素级的分类及位置信息，最终得到具有分类信息的点云数据。
所属类别：	发明专利