详情

原文传递一种基于深度学习的电梯开关门检测系统与方法

专利名称：	一种基于深度学习的电梯开关门检测系统与方法
摘要：	本发明公开了一种基于深度学习的电梯开关门的检测系统，包括视频/图像采集单元，开关门图像分析单元，图像后处理单元和用户应用单元；视频/图像采集单元采集视频与图像，并将采集到的图像数据发送至开关门图像分析单元，开关门图像分析单元检测电梯门所处的开、关状态，并将电梯门开、关的状态发送给图像后处理单元，图像后处理单元综合判断电梯是否困人，如果得到电梯困人信息，则发出困人告警，图像后处理单元还判断是否对电梯乘员属性进行识别、对电梯乘员进行跟踪；用户应用单元主要在图像后处理单元分析的基础上与用户进行交互。本发明还公开了一种基于深度学习的电梯开关门的检测方法。本发明可实现对电梯开关门状态的实时准确检测。
专利类型：	发明专利
国家地区组织代码：	浙江;33
申请人：	浙江新再灵科技股份有限公司
发明人：	王伟;王超;陈国特;施行
专利状态：	有效
申请日期：	2018-08-09T00:00:00+0800
发布日期：	2019-07-12T00:00:00+0800
申请号：	CN201810899736.5
公开号：	CN110002302A
代理机构：	杭州天昊专利代理事务所(特殊普通合伙)
代理人：	董世博
分类号：	B66B5/00(2006.01);B;B66;B66B;B66B5
申请人地址：	310000 浙江省杭州市滨江区(临)东流路1805号2幢五层
主权项：	1.一种基于深度学习的电梯开关门的检测系统，其特征在于，包括视频/图像采集单元，开关门图像分析单元，图像后处理单元和用户应用单元；视频/图像采集单元采集视频与图像，并将采集到的图像数据发送至开关门图像分析单元，开关门图像分析单元检测电梯门处于开或者关的状态，并将电梯门开或者关的状态发送给图像后处理单元，图像后处理单元综合判断电梯是否困人，如果得到电梯困人信息，则发出困人告警，如果得到电梯没有困人信息，则消除困人告警，图像后处理单元还判断是否对电梯乘员属性进行识别、对电梯乘员进行跟踪；用户应用单元主要在图像后处理单元分析的基础上与用户进行交互。 2.根据权利要求1所述的一种基于深度学习的电梯开关门的检测系统，其特征在于，视频/图像采集单元包括监控摄像机、工业摄像机中的一种或多种。 3.根据权利要求1所述的一种基于深度学习的电梯开关门的检测系统，其特征在于，开关门图像分析单元包括开关门二分类模块与开关门目标检测模块；开关门二分类模块对图像数据进行二分类分析；开关门目标检测模块对图像数据中电梯门上标志物进行目标检测。 4.根据权利要求3所述的一种基于深度学习的电梯开关门的检测系统，其特征在于，开关门二分类模块与开关门目标检测模块相结合，判断当前状态为开门的具体流程为：（1）获取当前帧图像，并在GPU服务器上分别初始化深度学习开关门二分类模型与开关门目标检测模型；（2）将当前帧图像送至开关门二分类模块中，根据给定的阈值对帧图进行分类，“开门”或“关门”，如果分类结果为“开门”，则电梯当前状态为“开门状态”；同时将当前帧图像送至开关门目标检测模块中，通过对特定标志物进行目标检测分析当前电梯门开关状态，如果检测结果为“开门”，则电梯当前状态为“开门状态”；（3）如果开关门二分类模块与开关门目标检测模块都判断当前电梯状态为关门，则电梯当前状态为“关门状态”。 5.根据权利要求1所述的一种基于深度学习的电梯开关门的检测系统，其特征在于，图像后处理单元包括告警逻辑单元、属性识别单元和乘员识别与跟踪单元；告警逻辑单元在获取门开关状态的基础上，结合有无人判断模块和速度判断模块，获取困人告警信息；属性识别单元根据电梯开门状态、电梯是否有乘员、上一个广告是否已停止这些信号，配合摄像头实时获取的乘员“正面照”，再对乘员进行属性识别，实时推送电梯内的广告；乘员识别与跟踪单元：检测到电梯门已经关闭，同时电梯中有乘员存在时，对乘员进行识别与跟踪，配合安装在小区入口处或者商场入口处的摄像头采集到的视频图像，最终实现对乘员的实时跟踪。 6.根据权利要求5所述的一种基于深度学习的电梯开关门的检测系统，其特征在于，告警逻辑单元获取是否有关人告警信息，具体为：对每秒的帧图都进行检测，如果检测到门关状态，电梯有人，并且电梯静止，三个条件均满足，则计数器加1，若连续60s内计数器大于等于60，则发出困人告警；对每秒的帧图都进行检测，如果检测到门关状态，电梯有人，并且通过安置在电梯顶部的速度传感器检测到电梯处于静止状态，三个条件均满足，则计数器加1，若连续60s内计数器小于60，则消除关人告警；如果检测到门关状态，电梯有人，并且电梯静止，三个条件不能同时满足，则计数器清零，消除关人告警。 7.根据权利要求5所述的一种基于深度学习的电梯开关门的检测系统，其特征在于，门处于正在关闭状态，电梯内有乘员，上一个广告已经停止，三个条件均满足，则乘员属性识别单元对电梯内乘员属性进行识别，根据不同的乘员信息，对广告屏上的广告，进行选取，然后进行广告更新；门处于正在关闭状态，检测到电梯内有乘员，上一个广告已经停止，三个条件不能同时满足，则不进行广告更新。 8.根据权利要求1所述的一种基于深度学习的电梯开关门的检测系统，其特征在于，用户应用单元包括电梯困人检测单元、电梯广告定点推送单元、电梯乘员多目标跟踪单元；用户应用单元根据图像后处理单元得到的门开关状态信息、困人告警信息、乘员属性信息，通过多媒体显示器实现与用户的交互，对困人告警进行处理与安抚或者进行广告显示。 9.一种基于深度学习的电梯开关门的检测方法，其特征在于，该方法采用权利要求1-8任一项所述的系统，并包括以下步骤：（1）视频/图像采集单元采集电梯门处的图像信息并发送至开关门图像分析单元；（2）开关门图像分析单元检测电梯门处于开或者关的状态，并将电梯门开或者关的信息发送给图像后处理单元；（3）图像后处理单元综合判断电梯是否困人，如果得到电梯困人信息，则发出困人告警，如果得到电梯没有困人信息，则消除困人告警，图像后处理单元还判断是否对电梯乘员进行属性识别、对电梯乘员进行跟踪；（4）用户应用单元在图像后处理单元分析的基础上与用户进行交互。
所属类别：	发明专利