详情

原文传递基于机器视觉的轨道交通站台门与列车间异物监测装置

专利名称：	基于机器视觉的轨道交通站台门与列车间异物监测装置
摘要：	本发明为基于机器视觉的轨道交通站台门与列车间异物监测装置，该装置采集轨道交通站台门与列车之间可见光图像、红外光图像及深度图像，整合成立体空间三维图像，可覆盖拍摄视角内所有目标，通过对立体空间图像数据分析后，可识别图像中事件，包括轨行区是否有异物，列车是否在站，列车编制数，站台门与列车门的开关状态，站台滑动门门缝、列车门门缝，列车与站台门间是否有异物入侵，异物大小、种类和异物是否影响行车安全等主要事件，驱动异物报警安全继电器，并实时传输监测结果和现场实时图像。可实现区域内无死角、全区域检测，不受车型、间隙空间大小、震动和环境照度影响，适用于地下、地面和地上站台环境，适用于无人驾驶环境。
专利类型：	发明专利
国家地区组织代码：	广东;44
申请人：	广州地铁集团有限公司
发明人：	靳守杰;刘伟铭;李海玉;王玮;刘兰;李文轩;范贵慈;赖胜波;郑仲星
专利状态：	有效
申请日期：	2019-03-26T00:00:00+0800
发布日期：	2019-06-14T00:00:00+0800
申请号：	CN201910230699.3
公开号：	CN109878552A
代理机构：	广州市华学知识产权代理有限公司
代理人：	林梅繁
分类号：	B61L23/04(2006.01);B;B61;B61L;B61L23
申请人地址：	510335 广东省广州市海珠区新港东路1238号万胜广场A座
主权项：	1.基于机器视觉的轨道交通站台门与列车间异物监测装置，其特征在于，包括：视觉传感器(1)：视觉传感器包括主动成像的红外深度图像传感器，红外深度图像传感器获得深度图像D(x，y)和红外视频图像IR(x，y)；图像处理单元(2)：具有多核处理器和存储单元，用于对视觉传感器(1)获取的图像进行存储、处理与识别，得出判断结果；控制与输入输出单元(3)：分别与视觉传感器(1)、图像处理单元(2)连接，协调它们之间的工作，并与上位机进行双向通信；所述视觉传感器(1)安装在站台每个滑动门与列车门之间的上方，用于在列车站停靠期间采集对应站台滑动门区域图像、列车门区域图像和站台滑动门与列车门之间的间隙图像，以及列车不在站时采集与站台相接轨行区的图像；所述视觉传感器(1)还安装在站台固定门或应急门与列车之间的上方，用于在列车站停靠期间采集站台固定门或应急门与列车之间的间隙图像，以及列车不在站时采集与站台相接轨行区部分的图像信息；所述视觉传感器(1)采集的D(x，y)和IR(x，y)图像经图像处理单元(2)预处理与校正整合成三维图像IRD(x，y)，在此基础上进行图像中的关键构造物区域的图像分割，采用多源图像融合的方法得出以下判断结果：比较列车不在站时与列车在站时关键构造物区域图像的差异，判断列车是否进站、在站、出站、列车编组数和停靠站台位置；比较列车进站停稳且列车门、站台滑动门未开过时与列车在站时关键构造物区域图像的差异，判断列车的车门和站台滑动门的开关状态及其门扇间的位置；比较列车进站停稳且列车门、站台滑动门未过开时与列车门、站台滑动门开门后关键构造物区域图像的差异，判断站台滑动门和列车门之间有无人与新增物，还判断站台固定门、应急门与列车之间有无人与异物；比较列车进站停稳且列车门、站台滑动门未开过时与列车门、站台滑动门开门又关门后关键构造物区域的图像差异，判断站台滑动门和列车门之间有无异物和人，还判断站台固定门、应急门与列车之间有无人与异物；比较列车不在站时轨行区关键构造物区域无异物背景模型与列车不在站时轨行区关键构造物区域图像的差异，判断轨行区是否有新增异物与人。 2.根据权利要求1所述基于机器视觉的轨道交通站台门与列车间异物监测装置，其特征在于，所述视觉传感器(1)还包括被动成像的视频图像传感器，视频图像传感器采集经周围环境光反射或外加光源反射成像的视频图像RGB(x，y)；所述视觉传感器(1)采集到的D(x，y)、IR(x，y)和RGB(x，y)图像，经图像处理单元(2)预处理与配准校正整合成三维图像RGBIRD(x，y)，在此基础上进行图像中的关键构造物区域的图像分割，采用多源图像融合的方法得出以下判断结果：比较列车不在站时与列车在站时关键构造物区域图像的差异，判断列车是否进站、在站、出站、列车编组数和停靠站台位置；比较列车进站停稳且列车门、站台滑动门未开过时与列车在站时关键构造物区域图像的差异，判断列车的车门和站台滑动门的开关状态及其门扇间的位置；比较列车进站停稳且列车门、站台滑动门未开过时与列车门、站台滑动门开门后关键构造物区域图像的差异，判断站台滑动门和列车门之间有无人与新增物，还判断站台固定门、应急门与列车之间有无人与异物；比较列车进站停稳且列车门、站台滑动门未开过时与列车门、站台滑动门开门又关门后关键构造物区域的图像差异，判断站台滑动门和列车门之间有无异物和人，还判断站台固定门、应急门与列车之间有无人与异物；比较列车不在站时轨行区关键构造物区域无异物背景模型与列车不在站时轨行区关键构造物区域图像的差异，判断轨行区是否有新增异物与人。 3.根据权利要求1或2所述基于机器视觉的轨道交通站台门与列车间异物监测装置，其特征在于，所述红外深度图像传感器为基于结构光的深度图像传感器、基于飞行时间的深度图像传感器或多层激光扫描传感器，视角H方向大于50°、V方向视角大于30°，采样频率大于10帧/s；基于飞行时间的深度图像传感器用在地面站台或高架站台时，抗环境光干扰大于10klx；多层激光扫描传感器的扫描线与线之间的夹角为0.18°、0.36°、0.5°或1°，最大扫描角度为96°、180°、270°或360°；扫描层数为4层、8层、16层、32层、64层或128层，扫描层与层之间角度为0.5°、1°、2°、3°或3.5°，扫描频率大于10帧/s。 4.根据权利要求2所述基于机器视觉的轨道交通站台门与列车间异物监测装置，其特征在于，采用同一场景的二维图像RGB(x，y)、深度图像D(x，y)和红外图像IR(x，y)，选取图像不变性关联特征和构造物几何特性，对特征点进行相似度量，找到匹配的特征点对；以D(x，y)或RGB(x，y)图像为基准图像，通过匹配的特征点对图像的坐标变换参数，并进行因所述视觉传感器(1)安装位置造成的图像几何失真进行校正，获得x方向平行站台门平面、y方向为垂直站台平面的一个坐标体系的三维图像RGBIRD(x，y)；基于RGBIRD(x，y)图像，采用多源图像融合的方式进行区域分割，获取站台滑动门区关键构造物图像RGBIRDPSD(x，y)、列车门区关键构造物图像RGBIRDRLA(x，y)、站台滑动门与列车门之间间隙关键构造物图像RGBIRDGAP(x，y)、站台固定门或应急门与列车之间间隙关键构造物图像RGBIRDFIXGAP(x，y)；列车不在站时检测出轨行区无异物，由此时站台门与轨行区之间的边缘图像RGBIRDRLA1O(x，y)和轨道图像RGBIRDRLA2O(x，y)组成下趟列车不在站时的轨行区关键构造物区无异物背景模型RGBIRDRLAO(x，y)；列车进站停稳且站台滑动门与列车门未开过时，由站台滑动门扇边框图像RGBIRDPSD1If(x，y)和站台滑动门前端边梃内侧边与相邻门扇前端边梃的内侧边间的图像RGBIRDPSD2If(x，y)组成的站台滑动门区关键构造物图像RGBIRDPSDIf(x，y)，由列车车门门扇边框图像RGBIRDRLA1f(x，y)、门扇前端的护指胶条内侧边缘及相邻护指胶条内侧边缘间图像RGBIRDRLA2If(x，y)构成的列车门区关键构造物图像RGBIRDRLAIf(x，y)，站台滑动门与列车门之间的踏板图像RGBIRDGAP1If(x，y)、防踏空胶条图像RGBIRDGAP2If(x，y)和防踏空胶条与列车之间的空隙图像RGBIRDGAP3If(x，y)组成的间隙区关键构造物图像RGBIRDGAPIf(x，y)，为列车在站站台滑动门区域图像RGBIRDPSDIf(x，y)、列车门区域图像RGBIRDRLAIf(x，y)和站台滑动门与列车门间隙区域图像RGBIRDGAPIf(x，y)为无异物背景模型；当在站台固定门或应急门与列车之间安装了视觉传感器，列车进站停稳且站台滑动门与列车门未开过时，站台固定门或应急门与列车之间的踏板图像RGBIRDFIXGAP1If(x，y)和踏板与列车之间的空隙图像RGBIRDFIXGAP2If(x，y)组成的站台固定门或应急门与列车间的间隙区域图像RGBIRDFIXGAPIf(x，y)为无异物物背景模型。 5.根据权利要求1所述基于机器视觉的轨道交通站台门与列车间异物监测装置，其特征在于，对深度图像D(x，y)和红外图像IR(x，y)进行因视觉传感器(1)安装位置造成的图像几何失真进行校正，获得到x方向平行站台门平面、y方向为垂直站台平面的一个三维图像IRD(x，y)；基于IRD(x，y)图像采用多源图像融合的方式进行区域分割，获取站台滑动门区关键构造物图像IRDPSD(x，y)、列车门区关键构造物图像IRDRLA(x，y)和站台门与列车之间间隙区关键构造物图像IRDGAP(x，y)；列车不在站检测出轨行区无异物，由此时站台滑动门与轨行区之间的边缘图像IRDRLA1O(x，y)和轨道图像IRDRLA2O(x，y)组成下趟列车不在站时的轨行区关键构造物区无异物背景模型IRDRLAO(x，y)；列车在站停稳且站台滑动门与列车门未开过时，由站台滑动门扇边框图像IRDPSD1If(x，y)和站台滑动门前端边梃内侧边与相邻门扇前端边梃内侧边间的图像IRDPSD2If(x，y)组成的站台滑动门区关键构造物图像IRDPSDIf(x，y)，由列车车门门扇边框图像IRDRLA1If(x，y)、门扇前端的护指胶条内侧边缘及相邻护指胶条内侧边缘间图像IRDRLA2If(x，y)构成的列车门区关键构造物图像IRDRLAIf(x，y)，站台滑动门与列车之间的踏板图像IRDGAP1If(x，y)、防踏空胶条图像IRDGAP2If(x，y)和防踏空胶条与列车之间的空隙图像IRDGAP3If(x，y)组成的间隙关键构造物图像IRDGAPIf(x，y)，为列车在站站台滑动门区域图像IRDPSDIf(x，y)、列车门区域图像IRDRLAIf(x，y)和间隙区域图像IRDGAPIf(x，y)为无异物背景模型；当在站台固定门或应急门与列车之间还设置了视觉传感器，列车进站停稳且站台滑动门与列车门未开过时，站台固定门或应急门与列车之间的踏板图像IRDFIXGAP1If(x，y)和踏板与列车之间的空隙图像IRDFIXGAP2If(x，y)组成的站台固定门或应急门与列车间的间隙区域图像IRDFIXGAPIf(x，y)为无异物物背景模型。 6.根据权利要求4所述基于机器视觉的轨道交通站台门与列车间异物监测装置，其特征在于，以列车不在站时轨行区无异物背景模型RGBIRDRLAO(x，y)为背景模型，采用多源图像比较多帧轨行区图像RGBIRDRLA(x，y)与背景模型的差异，判断列车进站、在站、出站、在站停驶位置和列车编组数，以及轨行区是否有异物与人；当列车进站时，轨行区的多帧图像RGBIRDRLA(x，y)的帧间差或多帧间差的绝对值的平均值小于某个设定门限，表示列车已停稳；列车在站且停稳后，图像RGBIRDPSD2(x，y)中的站台滑动门前端边梃内侧边与相邻门扇前端边梃内侧边间的宽度，和/或两扇门扇前端边梃间中心线位置图像RGBIRDPSD2(x，y)与水平相邻两边的前端边梃图像RGBIRDPSD2(l，y)差的绝对值沿y方向有多处大于设定门限，表示站台滑动门已打开，中心线位置为站台两扇滑动门关闭时门缝位置；当站台滑动门前端边梃内侧边与相邻门扇前端边梃内侧边间的宽带沿y方向有连续多处值，和/或两扇门扇前端边梃间中心线位置图像RGBIRDPSD2(x，y)和水平相邻两边前端边梃图像RGBIRDPSD2(l，y)差的绝对值沿y方向有连续多处小于设定门限，表示站台滑动门己关闭；列车在站停稳后，图像RGBIRDRLA2(x，y)中的列车门扇前端护指胶条内边缘到相邻门扇前端护指胶条内边缘的宽带大于设定门限，和/或两条护指胶条间的中心线位置图像RGBIRDRLA2(x，y)与水平相邻的两边护指胶条图像RGBIRDRLA2(l，y)差的绝对值沿y方向有多处大于设定门限，表示列车门已打开，两条护指胶条间的中心线位置为列车门关门门缝位置；当列车门扇前端护指胶条内侧边缘到相邻门扇前端护指胶条内侧边缘的宽带沿y方向有连续多处值，和/或两条护指胶条间的中心线位置图像RGBIRDRLA2(x，y)和水平相邻两边护指胶条图像RGBIRDRLA2(l，y)差的绝对值沿y方向有连续多处小于设定门限时，表明列车门已关闭。 7.根据权利要求5所述基于机器视觉的轨道交通站台门与列车间异物监测装置，其特征在于，以列车不在站时轨行区无异物背景模型IRDRLAO(x，y)为背景模型，实时比较多帧轨行区图像IRDRLA(x，y)与背景模型的差异，判断列车进站、在站、出站、在站停驶位置和列车编组数，以及轨行区是否有异物与人；当列车进站时，轨行区的多帧图像IRDRLA(x，y)的帧间差或多帧间差绝对值的平均值小于某个设定门限，表示列车已停稳；列车在站且停稳后，图像IRDPSD2(x，y)中的站台滑动门前端边梃内侧边与相邻门扇前端边梃内侧边间的宽度，和/或两扇门扇前端边梃间中心线位置图像IRDPSD2(x，y)与水平相邻两边前端边梃图像IRDPSD2(l，y)差的绝对值沿y方向有多处大于设定门限，表示站台滑动门已打开，中心线位置为两扇滑动门关闭时门缝位置；当站台滑动门前端边梃内侧边与相邻门扇前端边梃内侧边间的宽带沿y方向有连续多处值，和/或两扇门扇前端边梃间中心线位置图像IRDPSD2(x，y)和水平相邻两边前端边梃图像IRDPSD2(l，y)差的绝对值沿y方向有连续多处小于设定门限，表示站台滑动门已关闭；列车在站停稳后，图像IRDRLA2(x，y)中的列车门扇前端护指胶条内边缘到相邻门扇前端护指胶条内边缘的宽带大于设定门限，和/或两条护指胶条间的中心线位置图像IRDRLA2(x，y)与水平相邻两边护指胶条图像IRDRLA2(l，y)差的绝对值沿y方向有多处大于设定门限，表示列车门已打开，两条护指胶条间的中心线位置为列车门关门门缝位置；当列车门扇前端护指胶条内侧边缘到另一门扇前端护指胶条内侧边缘的宽带沿y方向有连续多处值，和/或两条护指胶条间的中心线位置图像IRDRLA2(x，y)和水平相邻两边护指胶条图像IRDRLA2(l，y)差的绝对值沿y方向有连续多处小于设定门限时，表示列车门已关好。 8.根据权利要求1所述基于机器视觉的轨道交通站台门与列车间异物监测装置，其特征在于，有无异物的判断方法：分别抽取各关键构造物区域图像特征向量，设置评价函数，比较采集图像与无异物背景模型特征向量差异进行各关键构造物区域判断，只要一个检测区有异物就判断有异物；或/和采用无异物背景模型图像减除方法获取各关键构造物区域前景图像判断各区域有无异物，再根据前景图像边缘和高度信息，计算列车在站时的滑动门区域、列车门区和间隙区各新增物体的最小外接立方体，根据设定值大小判断是否列车可以离站和给出有异物提示；计算列车不在站时轨行区新增异物的最小立方体，根据设定值大小判断是否列车可以进站和给出有异物提示；所述关键构造物区域图像特征向量由像素点特征、区域特征与几何特征一部分或全部组成。 9.根据权利要求2所述基于机器视觉的轨道交通站台门与列车间异物监测装置，其特征在于，异物种类的判断方法为：分别抽取各关键构造物区域图像特征向量，设置评价函数，比较采集图像与无异物背景模型特征向量差异进行各关键构造物区域判断，只要一个检测区有异物就判断有异物；或/和采用背景图像减除方法获取各关键构造物区域前景图像判断各区域有无异物，再根据前景图像边缘和高度信息，计算列车在站时的滑动门区域、列车门区和间隙区各新增物体的最小外接立方体，根据设定值大小判断是否列车可以离站和给出有异物提示；计算列车不在站时轨行区新增异物的最小立方体，根据设定值大小判断是否列车可以进站和给出有异物提示；还根据异物发生的位置、外形尺寸、立体形状、颜色、亮度和纹理构成的不同，与异物种类特征库比较，判断异物种类，根据异物种类和外形大小进一步优化判定列车是否离站和进站条件；所述关键构造物区域图像的特征向量由像素点特征、区域特征与几何特征一部分或全部组成。 10.根据权利要求1或2所述基于机器视觉的轨道交通站台门与列车间异物监测装置，其特征在于，判断列车门与站台滑动门开启时，列车门与滑动门之间有人与物的判断方法为：抽取关键构造物区域图像IRDGAPIf(x，y)或RGBIRDGAP(x，y)特征向量，设置评价函数，比较采集图像IRDGAP(x，y)或RGBIRDGAP(x，y)与背景模型IRDGAPIf(x，y)或RGBIRDGAPIf(x，y)特征向量差异进行判断；或/和采用背景图像减除方法获取关键构造物区域前景图像判断各区域有无异物，再根据前景图像边缘和高度信息，计算新增物体的最小外接立方体，判断是否有人与物进出站台滑动门与列车门，给出控制列车与站台滑动门的关闭时刻和关门的力度信息；关键构造物区域图像的特征向量由像素点特征、区域特征与几何特征一部分或全部组成。
所属类别：	发明专利