详情

原文传递基于无人机单目相机的道路车辆轨迹提取方法

专利名称：	基于无人机单目相机的道路车辆轨迹提取方法
摘要：	本发明公开了基于无人机单目相机的道路车辆轨迹提取方法，包括：基于无人机拍的含标志物的视频流对无人机单目相机标定，获取相机内参；基于无人机悬停拍摄的含标志物的视频流，获取无人机位姿并调整无人机姿态，使无人机与道路平面平行度符合要求后计算无人机位姿，得到无人机相对道路平面的高度；基于无人机拍摄的道路车辆视频流，获取车辆中心点像素坐标与道路两侧边缘像素坐标；以无人机悬停位置为基点建立世界坐标系，基于相机内参、无人机相对道路平面的高度及相机坐标系与像素坐标系的转换关系，将车辆中心点像素坐标、道路两侧边缘像素坐标转化为世界坐标；按先后顺序排列世界坐标，获得车辆轨迹图。本发明能够获取高清晰度的车辆轨迹。
专利类型：	发明专利
国家地区组织代码：	天津;12
申请人：	天津大学
发明人：	陈韬;李跃;秦唐
专利状态：	有效
申请日期：	2023-07-28T00:00:00+0800
发布日期：	2023-11-17T00:00:00+0800
申请号：	CN202310940455.0
公开号：	CN117078717A
代理机构：	天津市三利专利商标代理有限公司
代理人：	韩新城
分类号：	G06T7/246;G06T7/13;G06T7/80;G06V20/17;G06V10/764;G06V10/82;G06N3/08;G;G06;G06T;G06V;G06N;G06T7;G06V20;G06V10;G06N3;G06T7/246;G06T7/13;G06T7/80;G06V20/17;G06V10/764;G06V10/82;G06N3/08
申请人地址：	300072 天津市南开区卫津路92路
主权项：	1.基于无人机单目相机的道路车辆轨迹提取方法，其特征在于，包括步骤： S1.基于无人机拍的含标志物的视频流对无人机单目相机标定，获取相机内参； S2.基于无人机悬停拍摄的含标志物的视频流，获取无人机位姿并调整无人机姿态，使无人机与道路平面平行度符合要求后计算无人机位姿，得到无人机相对道路平面的高度； S3.基于无人机拍摄的道路车辆视频流，获取车辆中心点像素坐标与道路两侧边缘像素坐标； S4.以无人机悬停位置为基点建立第一世界坐标系，基于相机内参、无人机相对道路平面的高度及相机坐标系与像素坐标系的转换关系，将车辆中心点像素坐标、道路两侧边缘像素坐标转化为世界坐标； S5.按先后顺序排列所述世界坐标，获得车辆轨迹图。 2.根据权利要求1所述基于无人机单目相机的道路车辆轨迹提取方法，其特征在于，步骤S1中，所述基于无人机拍的含标志物的视频流对无人机单目相机标定，获取相机内参，包括步骤：对所述无人机在交通场景中拍摄的包含所述标志物的标定视频流进行抽帧，获取多张包含所述标志物的图片；对所述图片中所述标志物的角点进行检测，获取所述标志物的角点的像素坐标值；根据标志物的尺寸和以标志物中心点为原点建立的第二世界坐标系，获取标志物的角点的物理坐标值；基于单目相机的像素坐标值和物理坐标值的对应关系，求得无人机的单目相机的相机内参矩阵；多次重复前述相机内参矩阵的获取步骤，获取多个相机内参矩阵的标定结果，选取一个相机内参矩阵的标定结果作为所述相机内参。 3.根据权利要求1所述基于无人机单目相机的道路车辆轨迹提取方法，其特征在于，步骤S2中，所述的基于无人机悬停拍摄的含标志物的视频流，获取无人机位姿，基于位姿估计算法实现，包括步骤：检测视频流中标志物的预设信息，判断标志物是否为预设标志物；若是，获取标志视频流中单帧图像上预设标志物的角点在图像坐标系下的坐标值；基于标志物的中心点为原点建立的第三世界坐标系，根据标志物尺寸获取所述标志物的角点在第三世界坐标系中的物理坐标值；获取所述标志物的角点在图像坐标系下的坐标值与在第三世界坐标系中的物理坐标值之间映射关系对应的单应矩阵；根据所述相机内参，结合所述单应矩阵以及相机外参中旋转向量单位正交关系，计算所述单目相机的相机外参，获得无人机相对目标道路平面的位姿信息。 4.根据权利要求1所述基于无人机单目相机的道路车辆轨迹提取方法，其特征在于，步骤S3中，所述基于无人机拍摄的道路车辆视频流，获取车辆中心点像素坐标，基于目标检测算法实现，包括步骤：提取所述道路车辆视频流的视频每一帧图片进行裁剪与缩放，对图片中目标车辆进行标注，制作车辆目标检测网络模型的数据集；通过旋转、缩放、裁剪的方法增强数据集；利用所述数据集的训练集对车辆目标检测网络模型训练，利用所述数据集的验证集进行验证，获取最优权重参数；将所述最优权重参数导入车辆目标检测网络模型，检测所述无人机的所述单目相机拍摄的道路车辆视频流，记录目标检测框四角的像素坐标，对所述目标检测框四角的像素坐标求均值，初步获得所述目标检测框中心像素坐标，从初步获得的所述目标检测框中心像素坐标中剔除误识别中心像素坐标，获得最终的目标检测框中心像素坐标，作为目标车辆中心点像素坐标。 5.根据权利要求4所述基于无人机单目相机的道路车辆轨迹提取方法，其特征在于，所述的从初步获得的所述目标检测框中心像素坐标中剔除误识别中心像素坐标，获得最终的目标检测框中心像素坐标，包括：对初步获得所述目标检测框中心像素坐标进行类的划分，得到多个类别/区域；利用密度/距离的聚类方法，对多个所述类别/区域相对应的初步获得的所述目标检测框中心像素坐标进行分类；从分类的结果中提取目标车辆的车辆中心像素坐标所属的类别/区域，剔除误识别的像素坐标，获得最终的目标检测框中心像素坐标。 6.根据权利要求所述基于无人机单目相机的道路车辆轨迹提取方法，其特征在于，所述车辆目标检测神经网络模型采用YOLOv5算法作为目标检测算法。 7.根据权利要求6所述基于无人机单目相机的道路车辆轨迹提取方法，其特征在于，步骤S3中，所述基于无人机拍摄的道路车辆视频流，获取道路两侧边缘像素坐标，基于边缘检测算法实现，包括：提取所述道路车辆视频流的视频每一帧图片，对提取的图片进行裁剪和缩放，对目标道路所在区域进行标注，制作道路检测神经网络模型的训练数据集；基于训练数据集对道路检测神经网络模型进行训练，获取最优道路检测神经网络模型；利用所述最优道路检测神经网络模型检测所述的无人机的所述单目相机拍摄的道路车辆视频流，获取道路提取结果的灰度图像序列；基于边缘检测算法检测获取所述灰度图像序列中道路边缘在所述单目相机的像素坐标系下的像素坐标作为道路两侧边缘像素坐标。 8.根据权利要求7所述基于无人机单目相机的道路车辆轨迹提取方法，其特征在于，所述道路检测神经网络模型选用U-Net作为道路检测神经网络。 9.根据权利要求1所述基于无人机单目相机的道路车辆轨迹提取方法，其特征在于，步骤S4中，所述的以无人机悬停位置为基点建立第一世界坐标系，基于相机内参、无人机相对道路平面的高度及相机坐标系与像素坐标系的转换关系，将车辆中心点像素坐标、道路两侧边缘像素坐标转化为世界坐标，采用以下表达式进行：其中，A为所述无人机的所述单目相机的相机内参，Tz为所述无人机相对于目标道路平面的高度，(u,v)为中心点像素坐标或是道路两侧边缘像素坐标，(U,V,Tz)为中心点像素坐标或是道路两侧边缘像素坐标对应的第一世界坐标系下的世界坐标，dX,dY分别表示X，Y方向上的一个像素在单目相机感光板上的物理长度，f为像距，u0,v0分别表示单目相机感光板中心在像素坐标系下的坐标，α表示单目相机感光板的横边和纵边之间的角度。 10.根据权利要求1所述基于无人机单目相机的道路车辆轨迹提取方法，其特征在于，所述标志物包括棋盘格和/或嵌套式二维码图片；所述嵌套式二维码图片由两个大小不同的二维码标识组成，在面积较大的二维码标识的内部空白区预定位置放置面积较小的二维码标识形成所述嵌套式二维码图片，作为标志物铺设于道路两侧。
所属类别：	发明专利