详情

原文传递一种基于3D测量技术的电梯乘客危险行为检测方法及系统

专利名称：	一种基于3D测量技术的电梯乘客危险行为检测方法及系统
摘要：	本发明公开了一种基于3D测量技术的电梯乘客危险行为检测方法及系统，其中方法实施例包括以下步骤：通过3D传感器获取电梯门区域的深度图，或3D点云数据；根据3D传感器获取的数据通过包括用户界面的方式手动设置检测区域；或根据3D传感器采集的数据进行统计分析自动设置检测区域；根据3D传感器获取的数据对检测区域的上边界数据进行分析，判断空间位置是否连续，若连续则判定电梯处于门关状态；当确定电梯门处于关闭状态时，再在检测区域内，根据电梯门的平面特征进行乘客靠门行为检测，若采集的数据不符合平面特征，则判定有乘客靠门行为发生。
专利类型：	发明专利
国家地区组织代码：	浙江;33
申请人：	浙江新再灵科技股份有限公司
发明人：	丁蕾;施行;程潇;王超;吴磊磊;蔡巍伟
专利状态：	有效
申请日期：	2019-03-15T00:00:00+0800
发布日期：	2019-06-18T00:00:00+0800
申请号：	CN201910201375.7
公开号：	CN109896387A
代理机构：	杭州天昊专利代理事务所(特殊普通合伙)
代理人：	董世博
分类号：	B66B5/00(2006.01);B;B66;B66B;B66B5
申请人地址：	310000 浙江省杭州市滨江区(临)东流路1805号2幢五层
主权项：	1.一种基于3D测量技术的电梯乘客危险行为检测方法，其特征在于，包括以下步骤：通过3D传感器获取电梯门区域的深度图，或3D点云数据；根据3D传感器获取的数据通过包括用户界面的方式手动设置检测区域；或根据3D传感器采集的数据进行统计分析自动设置检测区域；根据3D传感器获取的数据对检测区域的偏上区域数据进行分析，判断空间位置是否连续，若连续则判定电梯处于门关状态；当确定电梯门处于关闭状态时，再在检测区域内，根据电梯门的平面特征进行乘客靠门行为检测，若采集的数据不符合平面特征，则判定有乘客靠门行为发生；或根据电梯门区域的3D信息进行乘客靠门行为检测，若采集的3D数据和电梯门区域的3D数据信息不匹配，则判定有乘客靠门行为发生；或根据3D传感器获取的数据对检测区域的偏上区域数据进行分析，计算门缝大小；根据3D传感器获取的数据对检测区域的偏下区域数据进行分析，检测是否有乘客；根据门缝大小以及门附近是否有乘客的历史信息进行乘客扒门检测：在一段时间内一直有乘客被检测出，而且门缝大小在一定区间内变化，则判定有乘客扒门行为发生。 2.如权利要求1所述的基于3D测量技术的电梯乘客危险行为检测方法，其特征在于，使用包括双目、TOF、面结构光3D传感器获取电梯门区域的深度图或3D点云数据。 3.如权利要求1所述的基于3D测量技术的电梯乘客危险行为检测方法，其特征在于，通过用户界面的方式在3D数据上的门区域手动设置一个矩形区域作为检测区域，检测区域的最高位置高于乘客的最高高度。 4.如权利要求1所述的基于3D测量技术的电梯乘客危险行为检测方法，其特征在于，所述根据3D传感器采集的数据进行统计分析自动设置检测区域具体为：先在设定时间内，统计每个像素点的最大值，构成最大值深度图；再在设定时间内，先构建一张门区域概率图，将当前帧的深度图与最大值深度图逐像素点进行比较，若深度值差异大于设定的阈值，则在门区域概率图上对应像素值加1；计算门区域概率图最大值，再计算门区域概率图中的每个像素点与门区域概率图最大值的比率，比率大于设定阈值的像素点作为嫌疑门区域目标点，进而生成第一门区域嫌疑点MASK图，再对第一门区域嫌疑点MASK图进行形态学腐蚀处理，生成第二门区域嫌疑点MASK图，再对第二门区域嫌疑点MASK图进行连通区域标记分析，保留最大的连通区域，其他连通区域中的目标点全部删除，生成过滤后的第三门区域嫌疑点MASK图；再在设定的时间内采集深度图，将第三门区域嫌疑点MASK图内的有效点深度值转换成空间3D坐标，并进行空间平面拟合，记录满足平面约束，点数最多的平面方程line_record以及对应的深度图depth_record，其中满足平面约束是指点的距离到平面的距离小于设定阈值；对第三门区域嫌疑点MASK图中的目标点使用平面方程line_record和深度图depth_record进行过滤，删除不满足平面约束的门区域嫌疑点，最后再次使用连通区域标记分析，获取最大的连通区域，取最大连通区域的外接矩形框作为电梯门区域。 5.如权利要求4所述的基于3D测量技术的电梯乘客危险行为检测方法，其特征在于，所述根据电梯门的深度信息进行乘客靠门行为检测，若采集的数据中和电梯门的深度信息不匹配，则判定有乘客靠门行为发生具体为：选取检测区域内最上面的N行目标点集，计算目标点集内所有目标点到平面方程的距离，统计距离大于第一设定阈值的目标点数，若第一设定阈值的目标点数小于设定阈值，则判定电梯处于门关状态；当门处于关闭状态时，计算整个检测区域内所有目标点到平面方程的距离，统计距离位于设定距离区间的目标点数，若位于设定距离区间的目标点数大于第二设定阈值，则判定有乘客靠门行为发生。 6.一种基于3D测量技术的电梯乘客危险行为检测系统，其特征在于，包括3D传感器和电梯乘客危险行为检测单元，所述3D传感器用于获取电梯门区域的深度图，或3D点云数据；所述电梯乘客危险行为检测单元用于根据3D传感器获取的数据通过包括用户界面的方式手动设置检测区域；或根据3D传感器采集的数据进行统计分析自动设置检测区域；根据3D传感器获取的数据对检测区域的上边界数据进行分析，判断空间位置是否连续，若连续则判定电梯处于门关状态；当确定电梯门处于关闭状态时，再在检测区域内，根据电梯门的平面特征进行乘客靠门行为检测，若采集的数据不符合平面特征，则判定有乘客靠门行为发生；或根据电梯门区域的3D信息进行乘客靠门行为检测，若采集的3D数据和电梯门区域的3D数据信息不匹配，则判定有乘客靠门行为发生；或根据3D传感器获取的数据对检测区域的偏上区域数据进行分析，计算门缝大小；根据3D传感器获取的数据对检测区域的偏下区域数据进行分析，检测是否有乘客；根据门缝大小以及是门附近否有乘客的历史信息进行乘客扒门检测：在一段时间内一直有乘客被检测出，而且门缝大小在一定区间内变化，则判定有乘客扒门行为发生。 7.如权利要求6所述的基于3D测量技术的电梯乘客危险行为检测系统，其特征在于，所示3D传感器包括面结构光、TOF、双目相机3D传感器。 8.如权利要求6所述的基于3D测量技术的电梯乘客危险行为检测系统，其特征在于，通过用户界面的方式在深度上的门区域手动设置一个矩形区域作为检测区域，检测区域的最高位置高于乘客的最高高度。 9.如权利要求6所述的基于3D测量技术的电梯乘客危险行为检测系统，其特征在于，所述根据3D传感器采集的数据进行统计分析自动设置检测区域具体为：先在设定时间内，统计每个像素点的最大值，构成最大值深度图；再在设定时间内，先构建一张门区域概率图，将当前帧的深度图与最大值深度图逐像素点进行比较，若深度值差异大于设定的阈值，则在门区域概率图上对应像素值加1；计算门区域概率图最大值，再计算门区域概率图中的每个像素点与门区域概率图最大值的比率，比率大于设定阈值的像素点作为嫌疑门区域目标点，进而生成第一门区域嫌疑点MASK图，再对第一门区域嫌疑点MASK图进行形态学腐蚀处理，生成第二门区域嫌疑点MASK图，再对第二门区域嫌疑点MASK图进行连通区域标记分析，保留最大的连通区域，其他连通区域中的目标点全部删除，生成过滤后的第三门区域嫌疑点MASK图；再在设定的时间内采集深度图，将第三门区域嫌疑点MASK图内的有效点深度值转换成空间3D坐标，并进行空间平面拟合，记录满足平面约束，点数最多的平面方程line_record以及对应的深度图depth_record，其中满足平面约束是指点的距离到平面的距离小于设定阈值；对第三门区域嫌疑点MASK图中的目标点使用平面方程line_record和深度图depth_record进行过滤，删除不满足平面约束的门区域嫌疑点，最后再次使用连通区域标记分析，获取最大的连通区域，取最大连通区域的外接矩形框作为电梯门区域。 10.如权利要求9所述的基于3D测量技术的电梯乘客危险行为检测系统，其特征在于，所述根据电梯门的深度信息进行乘客靠门行为检测，若采集的数据中和电梯门的深度信息不匹配，则判定有乘客靠门行为发生具体为：选取检测区域内最上面的N行目标点集，计算目标点集内所有目标点到平面方程的距离，统计距离大于第一设定阈值的目标点数，若第一设定阈值的目标点数小于设定阈值，则判定电梯处于门关状态；当门处于关闭状态时，计算整个检测区域内所有目标点到平面方程的距离，统计距离位于设定距离区间的目标点数，若位于设定距离区间的目标点数大于第二设定阈值，则判定有乘客靠门行为发生。
所属类别：	发明专利