详情

原文传递交通出行需求预测的深度学习算法研究

论文题名：	交通出行需求预测的深度学习算法研究
关键词：	交通出行需求预测;深度学习;多时空融合网络;Transformer模型;自注意力机制
摘要：	随着社会经济的快速发展，机动车数量迅速增加，空气污染和交通拥堵问题日益严重。解决这一问题最有效的方法是使用智能交通系统，它的核心要素之一是交通出行需求预测，准确的交通出行需求预测模型在缓解交通拥堵、改善空气质量、支持政府决策等方面发挥着重要作用。本文研究的交通出行需求预测问题具体是指起始地-目的地之间的车辆流动数量预测。交通出行需求预测受到复杂的空间和时间依赖性的影响，深度学习技术因其强大的提取时空特征的能力被越来越多的研究人员利用来预测城市区域的交通出行需求。　　首先，现有的采用分支残差卷积神经网络的研究中，每个分支网络分别在近期、周期和趋势这三个时间片段中提取一种时空依赖性。然而，这些方法忽略了时间片段之间的相关性，只在最后对输出结果进行加权融合。为了在特征处理过程中捕捉到时间片段之间的相关性，本文提出了一个名为 MSTF-Net的多时空融合网络，它由多层时空网络组成：共享 3D 卷积网络 (3D-CNN)层、3D卷积长短期记忆网络(E3D-LSTM)层、2D卷积网络(2D-CNN)层和完全连接(FC)层。具体来说，共享的3D-CNN层着重提取每个片段中的底层和短期时空特征。E3D-LSTM层提取时间片段之间的长期时空特征和相关性，其中内置的 3D 卷积算子可以保留和进一步提取更复杂的短期时空特征，而LSTM机制则可以发现时间片段中的长期时空特征和相关性。2D-CNN层用于将高阶特征维度映射为交通出行需求的起始地-目的地维度。FC 层提取外部因素的非线性相关性，例如天气、温度和工作日等。实验结果表明，MSTF-Net 表现优于包括分支残差卷积神经网络模型在内的七个单一网络结构的基线模型。　　其次，本文在上一部分MSTF-Net模型框架的基础上引入了Transformer的查询-键-值自注意力机制更好地捕获长期时空依赖关系，进一步提升了模型的预测效果。本文从算法(内部)和网络架构(外部)的角度提出了两种方法：SAE3D-LSTM和RSA-E3D-LSTM。从算法（内部）角度，使用查询-键-值自注意模块(SA)替换了E3D-LSTM单元内的召回门。SA模块比原来的召回门更早开始训练和起作用，并且可以在一天内动态地为来自不同渠道的信息分配注意力权重。从网络架构（外部）的角度，本文在E3D-LSTM网络之外提出了一个独立的残差查询-键-值自注意层(RSA)与原召回门相协同。RSA层可以在一天内随时间动态地为过去时间步的输出分配注意力权重。实验结果表明， SAE3D-LSTM和RSA-E3D-LSTM在三个交通数据集上都优于上一部分提出的 MSTF-Net 和其他七个基线模型。这也验证了 Transformer 查询-键-值自注意力机制对于捕捉长期时空依赖关系是有效的。综合来看，SAE3D-LSTM的表现更优于RSA-E3D-LSTM，这表明Transformer查询-键-值自注意力机制本身就可以捕获长期时空依赖关系，而无需与门控自注意力机制协同使用。　　最后，本文尝试在交通需求预测问题中使用纯 Transformer 自注意力的方法，然而，由于输入序列包含大量区域的长期历史记录，自注意力机制很难将注意力集中在与预测最相关的对象上。为了解决这个问题，本文设计了一种名为ProSTformer的渐进式时空自注意力机制，可以将自注意力的计算次数从数千减少到数十。设计基于交通出行需求预测问题中的两个先验知识：（i）时空依赖性可以分解为空间依赖性和时间依赖性；(ii) 对交通出行需求预测来说，邻近区域比远距离区域的影响更大，时间片段内部的时间特征 (即近期、周期和趋势) 比时间片段之间的关系更重要。ProSTformer 有两个特点，首先，ProSTformer中的每个模块都只关注一种时空依赖性，ProSTformer逐渐关注从局部到全局区域的空间依赖性，从时间片段内部到外部的时间依赖性(即近期、周期和趋势的时间特征)，以及外部因素依赖性，如天气条件、温度和工作日等。其次，ProSTformer 首先使用 Tensor Rearranging 技术强制模型只计算邻近区域和时间片段内的历史记录的自注意力，然后使用 Patch Merging 技术大大减少了远距离区域和时间片段外历史记录的自注意力计算次数。实验结果表明，预测效果又得到了进一步的提升，ProSTformer在两个交通数据集上的表现优于之前研究提出的MSTF-Net和SAE3D-LSTM以及其他十一个先进的基线模型，但是通过时空复杂度分析发现其训练时间大幅增加，且需要更大的数据量进行预训练，才能在小规模数据集上有较好的表现，在实际应用中需要根据设备条件和使用条件权衡训练时间、模型大小和预测效果选择合适的模型。
作者：	闫啸
专业：	大数据管理
导师：	甘湘华
授予学位：	博士
授予学位单位：	西南财经大学
学位年度：	2023