详情

原文传递使用推断的注意力模型经由收集和存储的元数据提供信息的方法和设备

专利名称：	使用推断的注意力模型经由收集和存储的元数据提供信息的方法和设备
摘要：	一种能够由推断的注意力(“IA”)模型通过元数据提取提高交通工具安全性的方法和/或系统，该注意力模型由良性循环训练，该良性循环包含传感器、机器学习中心(“MLC”)和基于云的网络(“CBN”)。在一个方面，系统包括一组面向外的摄像头、面向内的摄像头和安装在交通工具上的计算机(“VOC”)。面向外的摄像头收集表示交通工具运行的周围环境的外部图像。面向内的摄像头收集内部图像，包括至少表示操作者注意力的操作者面部表情。VOC被配置为响应于收集的内部图像和收集的外部图像来识别操作者的注意力。
专利类型：	发明专利
国家地区组织代码：	美国;US
申请人：	兹沃公司
发明人：	J·P·科德尔;R·V·韦兰;S·J·麦可卡尔维;J·H·路德维希
专利状态：	有效
申请日期：	2017-08-09T00:00:00+0800
发布日期：	2019-06-18T00:00:00+0800
申请号：	CN201780062496.7
公开号：	CN109906165A
代理机构：	北京天驰君泰律师事务所
代理人：	沈超
分类号：	B60K28/02(2006.01);B;B60;B60K;B60K28
申请人地址：	美国华盛顿州
主权项：	1.一种用于通过由推断的注意力模型管理的元数据提取增强安全性的系统，包括：安装在交通工具上的多个面向外的摄像头，所述多个面向外的摄像头收集表示所述交通工具运行的周围环境的外部图像；安装在所述交通工具中的多个面向内的摄像头，所述多个面向内的摄像头收集包括至少表示操作者的注意力的操作者面部表情的内部图像；以及安装在交通工具上的计算机，其耦合至所述多个面向外的摄像头和所述多个面向内的摄像头，并且配置为响应于收集的内部图像和收集的外部图像识别操作者的注意力。 2.根据权利要求1所述的系统，还包括多个音频传感器，所述多个音频传感器耦合至所述安装在交通工具上的计算机并且配置为提供与音频数据相关的元数据。 3.根据权利要求2所述的系统，其中，所述多个音频传感器包括收集所述交通工具外部的外部声音的外部音频传感器和收集所述交通工具内部的内部声音的内部音频传感器。 4.根据权利要求1所述的系统，其中，收集外部图像包括获得与道路、建筑物、交通信号灯、行人和零售商中的至少一者相关的实时图像。 5.根据权利要求1所述的系统，其中，收集内部图像包括一组内部传感器获得的与操作者的眼睛、面部表情、驾驶员和通道中至少一者相关的数据。 6.根据权利要求5所述的系统，其中，获得的与操作者的眼睛、面部表情、驾驶员和通道中至少一者相关的数据包括至少一个摄像头能够检测操作者正在看的方向。 7.根据权利要求1所述的系统，其中，所述安装在交通工具上的计算机无线地连接到能够与云数据通信的互联网。 8.根据权利要求1所述的系统，其中，所述安装在交通工具上的计算机配置为与良性循环通信以修改所述推断的注意力模型。 9.根据权利要求1所述的系统，其中，配置为识别操作者的注意力的所述安装在交通工具上的计算机包括流水线处理器，所述流水线处理器具有基于由内部摄像头收集的操作者正在看的方向以及由外部摄像头捕获的外部对象识别出操作者正在看什么的能力。 10.根据权利要求9所述的系统，其中，所述安装在交通工具上的计算机提供警告部件，所述警告部件具有基于外部摄像头获得的外部数据和内部摄像头收集的内部数据发出警告声的能力。 11.一种通过由推断的注意力模型处理的元数据提取来辅助交通工具运行的方法，包括：激活安装在交通工具上的一组面向外的摄像头，所述一组面向外的摄像头用于记录表示所述交通工具运行的地理环境的外部周围图像；选择性地激活安装在所述交通工具中的一组面向内的摄像头中的至少一个，所述一组面向内的摄像头用于收集所述交通工具的内部图像；根据所述内部图像和所述推断的注意力模型管理的存储数据识别操作者眼睛聚焦的目标方向；响应于所述外部周围图像和所述目标方向确定外部目标；以及基于所述外部目标和由所述推断的注意力模型提供的信息识别操作者眼睛正在看的对象。 12.根据权利要求11所述的方法，还包括根据所述外部周围图像和由良性循环训练的所述推断的注意力模型提供的信息跟踪周围环境事件。 13.根据权利要求12所述的方法，还包括响应于所述周围环境事件识别潜在的交通工具碰撞。 14.根据权利要求13所述的方法，还包括在确定了潜在的交通工具碰撞的情况下向操作者提供空间相关音频警告。 15.根据权利要求14所述的方法，还包括在激活了空间相关音频警告的情况下提供内部娱乐音量的自动调节。 16.根据权利要求13所述的方法，还包括在确定了潜在的交通工具碰撞的情况下向操作者提供空间相关视觉警告。 17.根据权利要求13所述的方法，还包括根据由良性循环通过云计算训练的所述推断的注意力模型促进的一组预定的碰撞避免策略调节所述交通工具的移动方向以避免潜在的碰撞。 18.一种通过由嵌入式传感器生成的元数据来促进对即将发生的机器故障的预测的方法，包括：激活附接到交通工具中的机械部件的至少一个嵌入式传感器，所述至少一个嵌入式传感器用于从所述机械部件收集元数据；由本地流水线处理单元处理所述元数据以将元数据格式转换为可传输的元数据格式；经由无线通信网络将转换的元数据上载到云以用于训练故障预测模型，包括根据与所述机械部件相关的多个故障样本分析转换后的元数据；以及将故障预测推送到所述交通工具以指示即将发生的机器故障。 19.根据权利要求18所述的方法，还包括：激活多个面向外的视频摄像头以聚合与所述交通工具运行的外部地理环境相关的预定图像集；以及通过无线通信网络将聚合的图像上载到云以检测所需的维护。 20.一种促进注意力状态的识别的方法，包括：呈现第一软件应用层，所述第一软件应用层被配置为构建表示交通工具外部的第一情境状态的第一实时对象模型；呈现第二软件应用层，所述第二软件应用层被配置为构建表示所述交通工具内部的第二情境状态的第二实时对象模型；生成第三软件应用以构建表示所述交通工具的占用者的注意力状态的第三实时对象模型；以及根据所述第一情境状态和所述第二情境状态与占用者的注意力状态之间的关系来确定注意力状态。
所属类别：	发明专利