摘要
交通灯在控制路口车辆通行上起着至关重要的作用。现阶段城市路口的交通灯多采用固定配时、固定相位变换的控制策略,难以满足不同的车流情况。设计出能够根据路口车流情况实时调整交通灯变换的控制方案成为智能交通领域的研究热点之一。而城市路口车流具有动态变化性,难以直接对其展开研究。为了设计一种合适的交通灯动态控制方案,本文引入深度强学习技术。将十字路口交通灯控制问题抽象成强化学习模型,采用D3QN算法对该模型进行求解。在此基础上综合考虑处于不同状态的车辆,改进状态输入和奖励函数。最终在交通模拟器SUMO上进行不同车流下的仿真实验。实验结果表明,模型训练趋于稳定后,改进奖励函数和状态输入的D3QN算法的平均队列长度在3种车流量下对比传统的固定控制策略和自适应控制策略均有明显提升,对比DQN和DDQN算法也有一定的优化,控制效果更佳。
ed into a rein⁃forcement learning model,which is solved by D3QN algorithm.On this basis,considering the vehicles in different states,the state input and reward function are improved.Finally,the simulation experiments under different traffic flows are carried out on the traffic simulator SUMO.The experimental results show that after the model training becomes stable,the average queue length of the D3QN algorithm with improved reward function and state input is significantly improved compared with the traditional fixed control strategy and adaptive control strategy under three traffic flows,and the control effect is better then DQN algorithms and DDQN algorithms.
作者
张国有
宋世峰
ZHANG Guo-you;SONG Shi-feng(School of Computer Science and Technology,Taiyuan University of Science and Technology,Taiyuan 030024,China)
出处
《计算机与现代化》
2023年第7期30-35,47,共7页
Computer and Modernization
基金
国家自然科学基金面上项目(62072325)。
关键词
交通灯控制
深度强化学习
D3QN算法
状态输入
奖励函数
车流情况
traffic light control
deep reinforcement learning
D3QN algorithm
status input
reward function
traffic flow
