基于强化学习的汇流瓶颈区可变限速策略研究

交通运输系统工程与信息 ›› 2015, Vol. 15 ›› Issue (1): 55-61.

• 智能交通系统与信息技术 • 上一篇下一篇

基于强化学习的汇流瓶颈区可变限速策略研究

段荟¹，刘攀^*2，李志斌²，汤斗南³

1. 嘉兴学院，浙江，嘉兴314211；2. 东南大学，南京210096；3. 加州大学，伯克利94720-1714

收稿日期:2014-08-11 修回日期:2014-12-08 出版日期:2015-02-25 发布日期:2016-02-25
作者简介:段荟（1988-），女，辽宁丹东人，助教.
基金资助:
国家自然科学基金资助项目（51322810）.

Variable Speed Limit Control at Freeway Merge Bottlenecks Based on Reinforcement Learning 0

DUAN Hui¹, LIU Pan², LI Zhi-bin², TANG Dou-nan³

1. Jiaxing University, Jiaxing 314211, Zhejiang, China; 2. Southeast University, Nanjing 210096, China; 3. University of California, Berkeley 94720-1714 , USA

Received:2014-08-11 Revised:2014-12-08 Online:2015-02-25 Published:2016-02-25

摘要/Abstract

摘要：

为提高高速公路汇流瓶颈区的通行效率，本文结合强化学习无需建立模型，具有智能学习的特点，对瓶颈区的可变限速策略进行了优化，首次提出了基于Q学习算法的可变限速控制策略.策略以最大化系统总流出车辆数为目标，通过遍历交通流状态集合，尝试不同限速值序列进行自适应学习.以真实路段交通流数据搭建了元胞传输模型仿真平台，通过将其与无控制和基于反馈控制的可变限速策略进行对比，对Q学习策略的控制效果进行评价.通行时间的降低和交通参数的变化表明，强化学习控制策略在提高汇流瓶颈区通行效率和改善交通流运行状况方面具有优越性.

关键词: 智能交通, 可变限速, 强化学习, 高速公路汇流瓶颈区, Q学习算法

Abstract:

To improve the efficiency of freeway merge bottleneck, this paper optimizes the bottleneck variable speed limit strategy. Considering the characteristics of reinforcement learning that it is modelingfree and intelligent learning, a QL-VSL control strategy that integrates the Q-learning (QL) algorithm in the VSL control is proposed for the first time. The goal of the strategy is to maximize the outflow vehicle, it is adaptive learning through traversing traffic flow states and taking different speed limits. The cell transmission model (CTM) calibrated with the real traffic data is used for the simulation. The effectiveness of the proposed QL-VSL control strategy is evaluated with no VSL control and the feedback VSL control in the simulation. The travel time reduction and traffic parameter changes show that the proposed QL-VSL control strategy outperforms in improving the traffic efficiency and traffic operations at freeway merge bottlenecks.

Key words: intelligent transportation, variable speed limit, reinforcement learning, freeway merge bottleneck, Q-learning

中图分类号:

U491

段荟，刘攀，李志斌，汤斗南. 基于强化学习的汇流瓶颈区可变限速策略研究[J]. 交通运输系统工程与信息, 2015, 15(1): 55-61.

DUAN Hui, LIU Pan, LI Zhi-bin, TANG Dou-nan. Variable Speed Limit Control at Freeway Merge Bottlenecks Based on Reinforcement Learning 0[J]. Journal of Transportation Systems Engineering and Information Technology, 2015, 15(1): 55-61.

导出引用管理器 EndNote|Ris|BibTeX

链接本文: http://www.tseit.org.cn/CN/abstract/abstract18923.shtml

http://www.tseit.org.cn/CN/Y2015/V15/I1/55

参考文献

[1] Cassidy M J, Rudjanakanoknad J. Increasing the capacity of an isolated merge by metering its onramp[ J]. Transportation Research Part B: Methodological, 2005, 39(10): 896-913.

[2] Kang K P, Chang G L, Zou N. Optimal dynamic speedlimit control for highway work zone operations[J]. Transp. Res. Rec., 2004, 1877:77-84.

[3] Hegyi A, Bart S D, Hellendoorn J P. Optimal coordination of variable speed limits to suppress shock waves[J]. IEEE Trans. Intel. Transp. Syst., 2005, 6(1): 102-112.

[4] Zhang J, Chang H, Ioannou P A. A simple roadway control system for freeway traffic[C]. Minneapolis: Proc. American Control Conference ,2006: 4900–4905.

[5] Carlson R C, Papamichail I, Papageorgiou M. Local feedback-based mainstream traffic flow control on motorways using variable speed limits[C]. Madeira Island, Portugal: 13th International IEEE Annual Conference on Intelligent Transportation Systems, 2010.

[6] Sutton R S, Barto A G. Reinforcement learning-an Introduction. [M]. Cambridge, Massachusetts :MIT Press, 1998.

[7] 黄炳强. 强化学习方法及其应用研究[D]. 上海交通大学, 2007. [HUANG B Q. Research on the reinforcement learning method and application[D]. Shanghai Jiaotong University, 2007.]

[8] 虞靖靓. 基于Q 学习的Agent 智能决策的研究与实现[D].合肥工业大学, 2005. [YU J L. The research and implementation of agent intelligent decision based on Q learning[D]. HeFei University of Technology, 2005.]

[9] Rezaee K, Abdulhai B, Abdelgawad H. Self-learning adaptive ramp metering: analysis of design parameters on a test case in Toronto[C]. Washington, D.C:92th Annual Meeting of TRB, 2013.

[10] Veljanovska K, Bombol K M, Maher T. Reinforcement learning technique in multiple motorway access control strategy design[C]. Intelligent Transport Systems (ITS) Preliminary Communication .Mar. 19, 2010.

[11] Abdulhai B, Pringle R, Karakoulas G J. Reinforcement learning for true adaptive traffic signal control[J]. ASCE Journal of Transportation Engineering. 2003,129 (3): 278-285.

[12] Watkins C, Dayan P. Q-learning. machine learning[J]. 1992,8(3-4): 279-292.

[13] Daganzo C F. The cell transmission model-A dynamic representation of highway traffic consistent with the hydrodynamic theory[J]. Transp. Res. B: Meth., 1994,28 (4):269-287.

[1]	郭烈, 胥林立, 秦增科, 王旭. 自动驾驶接管影响因素分析与研究进展[J]. 交通运输系统工程与信息, 2022, 22(2): 72-90.
[2]	徐猛, 刘涛, 钟绍鹏, 姜宇. 城市智慧公交研究综述与展望[J]. 交通运输系统工程与信息, 2022, 22(2): 91-108.
[3]	程君, 张立炎, 陈启宏. 一种基于地图辅助的自动驾驶视-惯融合定位方法[J]. 交通运输系统工程与信息, 2022, 22(2): 117-126.
[4]	王国栋, 刘立, 孟宇, 马智萍, 郑淏清, 顾青, 白国星. 一体式车辆避撞轨迹规划与跟踪控制[J]. 交通运输系统工程与信息, 2022, 22(2): 127-136.
[5]	马东方, 陈曦, 吴晓东, 金盛. 基于强化学习的干线信号混合协同优化方法[J]. 交通运输系统工程与信息, 2022, 22(2): 145-153.
[6]	许波桅, 王玲玲, 李军军. 自动化码头多级作业超网络延误传导特性研究[J]. 交通运输系统工程与信息, 2022, 22(2): 280-289.
[7]	田会娟, 刘嘉伟, 翟佳豪, 邓琳琳. 基于多入侵线的视频车速检测方法[J]. 交通运输系统工程与信息, 2022, 22(1): 49-56.
[8]	贾彦峰, 曲大义, 赵梓旭, 王韬, 宋慧. 基于安全势场的网联自主车辆跟驰行为决策及模型[J]. 交通运输系统工程与信息, 2022, 22(1): 85-97.
[9]	刘文, 汪文博. 基于秩最小化矩阵去噪的船舶轨迹重构方法[J]. 交通运输系统工程与信息, 2022, 22(1): 106-114.
[10]	赵建东, 陈溱, 焦彦利, 张凯丽, 韩明敏. 重点营运车辆的异常驾驶行为识别研究[J]. 交通运输系统工程与信息, 2022, 22(1): 282-291.
[11]	徐东伟, 彭航, 商学天, 魏臣臣, 杨艳芳. 基于图自编码-生成对抗网络的路网数据修复[J]. 交通运输系统工程与信息, 2021, 21(6): 33-41.
[12]	游峰, 梁健中, 曹水金, 肖智豪, 吴镇江, 王海玮. 面向多目标跟踪的密集行人群轨迹提取和运动语义感知[J]. 交通运输系统工程与信息, 2021, 21(6): 42-54.
[13]	王福建, 俞佳浩, 赵锦焕, 梅振宇. 基于站点实时关联度的短时公交客流预测方法[J]. 交通运输系统工程与信息, 2021, 21(6): 131-144.
[14]	张毅, 姚丹亚, 李力, 裴华鑫, 晏松, 葛经纬. 智能车路协同系统关键技术与应用[J]. 交通运输系统工程与信息, 2021, 21(5): 40-51.
[15]	龙建成, 郭嘉琪. 动态交通分配问题研究回顾与展望[J]. 交通运输系统工程与信息, 2021, 21(5): 125-138.

基于强化学习的汇流瓶颈区可变限速策略研究

Variable Speed Limit Control at Freeway Merge Bottlenecks Based on Reinforcement Learning 0

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics