原文传递
基于深度强化学习的船舶智能避碰方法研究
| 论文题名： | 基于深度强化学习的船舶智能避碰方法研究 |
| 关键词： | 船舶避碰;智能决策;深度强化学习;Rainbow算法 |
| 摘要： | 随着世界经济的日益发达，近年来船舶货运的需求越来越大，海上船舶通航密度日趋提高，传统的船舶避碰技术往往不能及时正确的处理船舶避碰问题，这使得船舶碰撞事故更加频发。为减少船舶碰撞事故的发生，增加通航的安全性，船舶智能避碰成为了现代海上交通的重要研究领域。船舶智能避碰决策作为实现智能船舶的核心技术所在，一直以来受到国内外航海研究学者的重点关注。针对上述问题，本文提出了基于深度强化学习的船舶智能避碰方法，主要包括以下几方面： （1）对于船舶智能避碰过程中涉及的关键技术进行深入的研究。基于MMG分离结构实现船舶三自由度模型，对船舶运动进行仿真建模；依据《国际海上避碰规则》对会遇态势进行详尽的划分，确定不同会遇态势下不同船舶的避碰责任；采用模糊数学的方式计算碰撞危险度，并基于碰撞危险度以及TCPA等船间运动参数划分船舶避碰过程中的三个阶段，为实现船舶智能避碰提供充足的理论依据。 （2）基于深度强化学习算法实现船舶智能避碰。根据船舶运动数学模型、船间运动参数以及划分的三个避碰阶段设计船舶动作集、船舶状态集以及强化学习奖励函数，实现船舶避碰智能体。传统的深度强化学习单智能体算法往往存在样本利用率差、学习速度慢以及学习效果不稳定等问题，针对这些问题，通过Rainbow算法对其进行优化，加快算法训练速度，提高算法的决策性能。在单智能体实现方法的基础上，基于QMIX算法实现避碰多智能体，以解决多船会遇局面下船舶协调避碰问题。 （3）结合实际航行环境信息，通过OpenAIGym搭建仿真环境进行避碰验证。根据不同会遇态势设置不同的环境进行训练。对不同会遇态势进行仿真验证，单智能体和多智能体避让方法皆可以准确的完成避碰操作；针对单智能体避让中同一会遇态势从时效性、安全性、经济性三个方面将Rainbow算法与传统深度强化学习算法进行对比，突出Rainbow算法的优越性。 本文通过合理分析船舶避碰过程的约束条件，结合深度强化学习算法实现了单智能体与多智能体船舶智能避碰方法，对船舶智能避碰技术研究具有较好的参考意义和应用价值。 |
| 作者： | 孙中泽 |
| 专业： | 导航与信息工程 |
| 导师： | 肖长诗 |
| 授予学位： | 硕士 |
| 授予学位单位： | 武汉理工大学 |
| 学位年度： | 2022 |
检索历史
应用推荐
