基于强化学习的城轨信息发布策略研究

交通运输系统工程与信息 ›› 2020, Vol. 20 ›› Issue (5): 72-78.

• 智能交通系统与信息技术 • 上一篇下一篇

基于强化学习的城轨信息发布策略研究

贾飞凡^1a,1b，蒋熙^1a，李海鹰^*1a，于雪峤²

1.北京交通大学 a. 轨道交通控制与安全国家重点实验室，b. 交通运输学院，北京100044； 2.中国铁道科学研究院集团有限公司运输与经济研究所，北京100081

收稿日期:2020-05-22 修回日期:2020-08-02 出版日期:2020-10-25 发布日期:2020-10-26
作者简介:贾飞凡(1993-)，男，安徽宣城人，博士生.
基金资助:
中央高校基本科研业务费专项基金/ Fundamental Research Funds for the Central Universities of Ministry of Education of China(2018YJS194).

Information Release Strategy of Urban Rail Transit Based on Reinforcement Learning

JIA Fei-fan^{1a, 1b}, JIANG Xi^1a, LI Hai-ying^1a, YU Xue-qiao²

1a. State Key Lab of Rail Traffic Control & Safety, 1b. School of Traffic and Transportation, Beijing Jiaotong University, Beijing 100044, China; 2. Institute of Transportation and Economy, China Academy of Railway Sciences Corporation Limited, Beijing 100081, China

Received:2020-05-22 Revised:2020-08-02 Online:2020-10-25 Published:2020-10-26

摘要/Abstract

摘要：

通过信息发布影响乘客选择行为进而改变路网客流分布，是从需求侧缓解拥堵问题的重要手段之一.本文提出基于强化学习的城市轨道交通信息发布策略生成方法，根据路网各区间客流满载率提取系统状态，再根据系统状态在学习器生成由各OD推荐路径组成的信息发布动作，对乘客进行信息发布；通过发布信息后路网系统状态变化，评估获得实施信息发布动作的奖励值.依托城市轨道交通客流分布动态仿真系统，使用 Q- learning 算法进行训练，获得最优信息发布策略.以实际路网为例进行算例验证，通过对比有无信息发布情景得到，在有信息发布情景下路网客流拥堵情况得到了较大缓解.

关键词: 智能交通, 信息发布, 强化学习, 客流诱导, Q- learning

Abstract:

Guidance information can change the choice behavior of passengers and thus network passenger flow distribution. Information release is one of the key measures to alleviate the congestion problem from demand ideas. A method is proposed to generate an information release strategy based on reinforcement learning. The system state is extracted based on the load rate of passenger flow in each section in the network. The information release action is composed of the recommended paths of each OD. The reward value of implementing an information release action is evaluated according to system state change. By an urban rail transit dynamic passenger flow simulation system, the Q- learning algorithm is employed to obtain optimal information release strategy. A practical network is taken as an example to verify the proposed method. It was found that network congestion can be alleviated by using the proposed information release strategy.

Key words: intelligent transportation, information release, reinforcement learning, passenger flow guidance, Q- learning

中图分类号:

U231

贾飞凡，蒋熙，李海鹰，于雪峤. 基于强化学习的城轨信息发布策略研究[J]. 交通运输系统工程与信息, 2020, 20(5): 72-78.

JIA Fei-fan, JIANG Xi, LI Hai-ying, YU Xue-qiao. Information Release Strategy of Urban Rail Transit Based on Reinforcement Learning[J]. Journal of Transportation Systems Engineering and Information Technology, 2020, 20(5): 72-78.

导出引用管理器 EndNote|Ris|BibTeX

链接本文: http://www.tseit.org.cn/CN/abstract/abstract20117.shtml

http://www.tseit.org.cn/CN/Y2020/V20/I5/72

参考文献

[1] 陈芳, 张卫华, 丁恒, 等. 基于出行者路径选择行为的 VMS 诱导策略研究[J]. 系统工程理论与实践, 2018, 38(5): 1263-1276. [CHEN F, ZHANG W H, DING H, et al. Research on VMS inducing strategy based on the route selection behavior of travels[J]. System Engineering- Theory & Practice, 2018, 38(5): 1263- 1276.]

[2] 孙智源, 陆化普, 张晓利, 等. 城市交通控制与诱导协同的双层规划模型[J]. 东南大学学报(自然科学版), 2016, 46(2): 450-456. [SUN Z Y, LU H P, ZHANG X L, et al. Bi- level programming model for cooperation of urban traffic control and traffic flow guidance[J]. Journal of Southeast University (Natural Science Edition), 2016, 46(2): 450-456.]

[3] 曹守华, 袁振洲, 李艳红, 等. 交通流诱导条件下的路网随机平衡双层规划模型[J]. 交通运输系统工程与信息, 2007, 7(4): 36-42. [CAO S H, YUAN Z Z, LI Y H, et al. A model for road network stochastic user equilibrium based on bilevel programming under the action of traffic flow guidance sytem[J]. Journal of Transportation System Engineering and Information Technology, 2007, 7(4): 36-42.]

[4] 杨泳, 户佐安. 城市路网交通管制下的最优路径诱导仿真研究[J]. 计算机仿真, 2013(7): 155-158. [YANG Y, HU Z A. Optimal path routing simulation research on urban traffic network with traffic management and control strategies[J]. Computer Simulation, 2013(7): 155-158.

[5] YIN H, WU J, LIU Z, et al. Optimizing the release of passenger flow guidance information in urban rail transit network via agent- based simulation[J]. Applied Mathematical Modelling, 2019, 72: 337-355.

[6] WATKINS, CHRISTOPHER J C H, DAYANPETER. Qlearning[J]. Machine Learning, 1992, 8(3/4): 279-292.

[7] VAN ESSEN M, THOMAS T, VAN BERKUM E, et al. Travelers' compliance with social routing advice: Evidence from SP and RP experiments[J]. Transportation, 2020, 47(3): 1047-1070.

[8] 蒋熙, 冯佳平, 贾飞凡, 等. 大规模城轨路网客流分布推演的建模与仿真方法[J]. 铁道学报, 2018, 40(11): 13-22. [JIANG X, FENG J P, JIA F F, et al. Modeling and simulation of passenger flow distribution in largescale urban rail transit network[J]. Journal of the China Railway Society, 2018, 40(11): 13-22.]

[1]	郭烈, 胥林立, 秦增科, 王旭. 自动驾驶接管影响因素分析与研究进展[J]. 交通运输系统工程与信息, 2022, 22(2): 72-90.
[2]	徐猛, 刘涛, 钟绍鹏, 姜宇. 城市智慧公交研究综述与展望[J]. 交通运输系统工程与信息, 2022, 22(2): 91-108.
[3]	程君, 张立炎, 陈启宏. 一种基于地图辅助的自动驾驶视-惯融合定位方法[J]. 交通运输系统工程与信息, 2022, 22(2): 117-126.
[4]	王国栋, 刘立, 孟宇, 马智萍, 郑淏清, 顾青, 白国星. 一体式车辆避撞轨迹规划与跟踪控制[J]. 交通运输系统工程与信息, 2022, 22(2): 127-136.
[5]	马东方, 陈曦, 吴晓东, 金盛. 基于强化学习的干线信号混合协同优化方法[J]. 交通运输系统工程与信息, 2022, 22(2): 145-153.
[6]	许波桅, 王玲玲, 李军军. 自动化码头多级作业超网络延误传导特性研究[J]. 交通运输系统工程与信息, 2022, 22(2): 280-289.
[7]	田会娟, 刘嘉伟, 翟佳豪, 邓琳琳. 基于多入侵线的视频车速检测方法[J]. 交通运输系统工程与信息, 2022, 22(1): 49-56.
[8]	贾彦峰, 曲大义, 赵梓旭, 王韬, 宋慧. 基于安全势场的网联自主车辆跟驰行为决策及模型[J]. 交通运输系统工程与信息, 2022, 22(1): 85-97.
[9]	刘文, 汪文博. 基于秩最小化矩阵去噪的船舶轨迹重构方法[J]. 交通运输系统工程与信息, 2022, 22(1): 106-114.
[10]	赵建东, 陈溱, 焦彦利, 张凯丽, 韩明敏. 重点营运车辆的异常驾驶行为识别研究[J]. 交通运输系统工程与信息, 2022, 22(1): 282-291.
[11]	徐东伟, 彭航, 商学天, 魏臣臣, 杨艳芳. 基于图自编码-生成对抗网络的路网数据修复[J]. 交通运输系统工程与信息, 2021, 21(6): 33-41.
[12]	游峰, 梁健中, 曹水金, 肖智豪, 吴镇江, 王海玮. 面向多目标跟踪的密集行人群轨迹提取和运动语义感知[J]. 交通运输系统工程与信息, 2021, 21(6): 42-54.
[13]	王福建, 俞佳浩, 赵锦焕, 梅振宇. 基于站点实时关联度的短时公交客流预测方法[J]. 交通运输系统工程与信息, 2021, 21(6): 131-144.
[14]	张毅, 姚丹亚, 李力, 裴华鑫, 晏松, 葛经纬. 智能车路协同系统关键技术与应用[J]. 交通运输系统工程与信息, 2021, 21(5): 40-51.
[15]	龙建成, 郭嘉琪. 动态交通分配问题研究回顾与展望[J]. 交通运输系统工程与信息, 2021, 21(5): 125-138.

基于强化学习的城轨信息发布策略研究

Information Release Strategy of Urban Rail Transit Based on Reinforcement Learning

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics