原文传递
基于深度强化学习的船舶避碰方法研究
| 论文题名： | 基于深度强化学习的船舶避碰方法研究 |
| 关键词： | 船舶避碰;深度强化学习;环境感知;虚拟雷达;危险度评估 |
| 摘要： | 贸易的增长带动了航运产业的发展，现如今，水域中的船舶数量增多，航道愈加显得拥挤繁忙，这增加了船舶发生碰撞的风险。船舶一旦发生碰撞，后果将十分严重，保障船舶的航行安全就显得尤为重要。由于人为操作容易出现各种失误，随着人工智能技术的发展，社会对船舶智能化的需求更为迫切。本文利用深度强化学习技术进行船舶自主避碰的研究，主要的研究工作如下： （1）基于瓦片地图的地理信息和长江航道信息，以马鞍山部分长江水域为研究对象，针对内河水域较为狭窄的航道场景，建立了高度真实的船舶避碰仿真环境，将内河航标作为静态障碍纳入考虑范围。将复杂的船舶避碰问题拆分为“单船避碰场景”和“多船避碰场景”进行研究，针对两种船舶避碰场景，利用深度强化学习构建船舶智能体，使船舶拥有自主决策能力，并结合内河水域特点构建了船舶安全领域模型进行船舶碰撞危险度的评估。 （2）针对单船避碰场景，提出了一种基于深度Q学习（DeepQ-Network，DQN）的单船避碰方法，设计了DQN算法的状态空间、动作空间以及奖励函数。针对船舶难以完全感知周围环境的问题，利用虚拟雷达范围扫描的方法使状态空间更加详尽，设计了一种加入惩罚系数的奖励函数模型，使船舶的避碰更加高效。在基于马鞍山部分航道水域建立的仿真环境中进行实验，证明了在该方法指导下，船舶能顺利避开环境中的静态障碍。通过对比实验证明提出的单船避碰方法效率更高，船舶航行路径更加经济，与环境中的静态障碍保持了更安全的距离，能够满足船舶航行安全的需求，该方法具有一定的有效性。 （3）针对船舶的多船避碰问题，在国际海上避碰规则的指导下，提出了一种规则约束下基于QMIX算法的多船避碰方法，利用集中式训练，分布式执行的方法解决多船环境下船舶之间相互影响的问题。针对避碰规则难以量化的问题，利用相对方位、航向差等因素对会遇情形进行了明确划分。同时考虑船舶对静态障碍和动态船舶的避碰，重新设计了合适的状态空间与奖励函数，将船舶会遇场景与真实环境结合，进行多船避碰算法模型的训练。在实验中对多种船舶会遇情形进行了测试，得到了船舶进行避碰后的航行路径，根据路径结果判断该方法能使船舶做出符合避碰规则的行为，航行路径比较经济，并且船舶和障碍物保持了足够的安全距离，证明了该方法的有效性。 |
| 作者： | 刘瑾 |
| 专业： | 信息与通信工程 |
| 导师： | 肖攸安 |
| 授予学位： | 硕士 |
| 授予学位单位： | 武汉理工大学 |
| 学位年度： | 2022 |
检索历史
应用推荐
