-
题名铁路自动闭塞站间联系应急传输设计与应用
- 1
-
-
作者
孙正伦
郭力源
胡珊珊
-
机构
中国铁路北京局集团有限公司邯郸车务段
中国铁路北京局集团有限公司北京车务段
中国铁路北京局集团有限公司石家庄南站
-
出处
《今日自动化》
2024年第2期144-146,共3页
-
文摘
文章针对铁路自动闭塞系统中站间联系通道的故障问题,设计了一种应急传输方案。通过引入无线通信技术和备用传输通道,实现了在站间联系通道故障时的紧急数据传输,提高了闭塞系统的可靠性和稳定性。实际应用结果表明,该方案在故障恢复时间和数据传输性能方面取得了良好的效果,对于提升铁路运行安全性具有重要意义。
-
关键词
铁路
自动闭塞
站间联系
应急传输
-
Keywords
railway
automatic blocking
inter station communication
emergency transmission
-
分类号
U284.43
[交通运输工程—交通信息工程及控制]
-
-
题名面向执行-学习者的在线强化学习并行训练方法
被引量：3
- 2
-
-
作者
孙正伦
乔鹏
窦勇
李青青
李荣春
-
机构
国防科技大学并行与分布处理国家重点实验室
-
出处
《计算机学报》
EI
CAS
CSCD
北大核心
2023年第2期229-243,共15页
-
基金
国家自然科学基金(61732018、61902415、61972409)
重点实验室开放基金(WDZC20205500104)资助。
-
文摘
近年来,深度强化学习(Deep Reinforcement Learning,DRL)已经成为了人工智能领域中的研究热点.为了加速DRL训练,人们提出了分布式强化学习方法用于提升训练速度.目前分布式强化学习可以分为同策略方法、异策略方法以及最新的近同策略方法.近同策略方法改善了同策略方法和异策略方法的问题,但是由于其共享内存并行模型的限制,近同策略模型难以扩展到以网络互连的计算集群上,低可扩展性限制了近同策略方法能够利用的资源数量,增加了计算节点的负载,最终导致训练耗时增加.为了提升近同策略方法的可扩展性,提升收敛速度,本文提出了一种以消息传递为基础,使用Gossip算法与模型融合方法的并行执行者-学习者训练框架(Parallel Actor-Learner Architecture,PALA),这一方法通过增强训练的并行性和可扩展性来提升收敛速度.首先,该框架以Gossip算法作为通信基础,借助全局数据代理并使用消息传递模型创建了一套可扩展的多个并行单智能体训练方法.其次,为了保证探索-利用的同策略性,维持训练稳定,本文创建了一套可以用于多机之间进行隐式同步的进程锁.其次,本文面向含有CUDA张量的模型数据,提出了一种序列化方法,以保证模型数据能够通过节点间网络传递、聚合.最后,本文使用模型聚合方法对训练进行加速.基于上述优化和改进,PALA训练方法能够将负载均衡地映射到整个计算集群上,减少由于高负载而造成的长等待时间,提升收敛速度.实验表明,相较于之前使用共享内存模式的方法,PALA训练的智能体在达到相同水平时,训练时间缩减了20%以上,同时,PALA还有着较好的可扩展性,PALA可以扩展的硬件资源数量是原有方法的6倍以上.与其他方法相对比,PALA训练的智能体最终策略在几乎所有测试环境中达到了最优水平.
-
关键词
Gossip算法
强化学习
同策略学习
分布式强化学习
并行训练方法
-
Keywords
Gossip algorithm
reinforcement learning
on-policy
distributed reinforcement learning
parallel training
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
