稀疏奖励场景下基于状态空间探索的多智能体强化学习算法

1

作者 方宝富 余婷婷 +1 位作者 王浩 王在俊 《模式识别与人工智能》 EI CSCD 北大核心 2024年第5期435-446,共12页

多智能体的任务场景往往伴随着庞大、多样的状态空间,而且在某些情况下,外部环境提供的奖励信息可能非常有限,呈现出稀疏奖励的特征.现有的大部分多智能体强化学习算法在此类稀疏奖励场景下效果有限,因为算法仅依赖于偶然发现的奖励序列... 多智能体的任务场景往往伴随着庞大、多样的状态空间,而且在某些情况下,外部环境提供的奖励信息可能非常有限,呈现出稀疏奖励的特征.现有的大部分多智能体强化学习算法在此类稀疏奖励场景下效果有限,因为算法仅依赖于偶然发现的奖励序列,会导致学习过程缓慢和低效.为了解决这一问题,文中提出基于状态空间探索的多智能体强化学习算法,构建状态子集空间,从中映射出一个状态,并将其作为内在目标,使智能体更充分利用状态空间并减少不必要的探索.将智能体状态分解成自身状态与环境状态,结合这两类状态与内在目标,生成基于互信息的内在奖励.构建状态子集空间和基于互信息的内在奖励,对接近目标状态的状态与理解环境的状态给予适当的奖励,以激励智能体更积极地朝着目标前进,同时增强对环境的理解,从而引导其灵活适应稀疏奖励场景.在稀疏程度不同的多智能体协作场景中的实验验证文中算法性能较优. 展开更多

关键词 强化学习 稀疏奖励 互信息 内在奖励

下载PDF 职称材料

基于无人机航拍视频的运动目标检测与跟踪

2

作者 钱奕舟 王在俊 +1 位作者 高耀文 王雪 《电光与控制》 CSCD 北大核心 2024年第11期47-54,共8页

针对无人机视角下拍摄物体尺寸小、外观模糊,以及无人机平台自身存在运动等问题,基于无人机航拍视频的运动目标检测与跟踪仍具有很大的挑战性。提出了基于改进LK光流法的运动目标检测与跟踪算法,利用卡尔曼滤波算法进行目标跟踪;针对传... 针对无人机视角下拍摄物体尺寸小、外观模糊,以及无人机平台自身存在运动等问题,基于无人机航拍视频的运动目标检测与跟踪仍具有很大的挑战性。提出了基于改进LK光流法的运动目标检测与跟踪算法,利用卡尔曼滤波算法进行目标跟踪;针对传统LK光流法在动态环境下效果不佳的问题,引入语义分割线程筛选动态点和静态点,通过筛选后的静态点求解单应矩阵完成无人机的运动补偿、计算动态点的光流值获得光流点以降低误匹配率,最后通过聚类算法和形态学运算得到完整的运动目标;将所提的重识别模块引入卡尔曼滤波算法实现目标跟踪。实验结果验证了所设计的运动目标检测与跟踪算法在无人机视角下能够实时、准确地提取出运动目标,并持续稳定地跟踪目标。 展开更多

关键词 无人机 LK光流法 运动补偿 运动目标检测 目标跟踪

下载PDF 职称材料

基于改进蝙蝠算法的无人机路径规划研究

3

作者 高耀文 王在俊 +1 位作者 王雪 钱奕舟 《舰船电子工程》 2024年第4期46-50,共5页

针对蝙蝠算法在处理无人机路线规划问题时出现的前期迭代缓慢、容易进入局部最优等情况。论文将遗传因子算法与蝙蝠算法相结合,提出一种融合遗传因子的蝙蝠算法(Genetic-Bat Algorithm,GBA)。算法首先引入遗传算法的交叉和变异操作进行... 针对蝙蝠算法在处理无人机路线规划问题时出现的前期迭代缓慢、容易进入局部最优等情况。论文将遗传因子算法与蝙蝠算法相结合,提出一种融合遗传因子的蝙蝠算法(Genetic-Bat Algorithm,GBA)。算法首先引入遗传算法的交叉和变异操作进行选择融合,提高前期迭代收敛速度;然后在蝙蝠算法中使用分阶段局部搜索,增加对最优解局部域的检索;最后加入删除操作,以减少路径冗余度。通过建立地图模型的仿真,结果表明该算法在路径规划和迭代速度上和其他算法相比能够实现快速收敛和快速迭代,不易陷入局部最优解,选择的路径更优。 展开更多

关键词 蝙蝠算法 遗传因子算法 选择融合 路径规划

下载PDF 职称材料

基于多目标优化禁忌搜索算法的停机位分配方法研究 被引量：1

4

作者 王在俊 王吉豪 +1 位作者 王乾垒 陈若涵 《自动化技术与应用》 2023年第3期4-7,共4页

针对机位资源分配不均给机场运行多方带来的公平性问题,提出多目标优化的停机位分配方法。建立以旅客通行距离、飞机滑行距离和远机位使用次数最小为多目标优化分配模型。分析航班属性设置分配优先级表。设计一种基于pareto最优的多目... 针对机位资源分配不均给机场运行多方带来的公平性问题,提出多目标优化的停机位分配方法。建立以旅客通行距离、飞机滑行距离和远机位使用次数最小为多目标优化分配模型。分析航班属性设置分配优先级表。设计一种基于pareto最优的多目标优化禁忌搜索算法,使用pareto最优策略对解集进行筛选。在机场实际分配方案的基础上进行仿真实验,旅客通行距离和飞机滑行距离分别缩短18%和5%,机位资源的使用数量减少20%,航班靠桥率提高到93%,多目标优化禁忌搜索算法比遗传算法更优。 展开更多

关键词 停机位分配 多目标优化禁忌搜索算法

下载PDF 职称材料

基于改进结构的航空器Event模型碰撞风险分析

5

作者 陈若涵 王在俊 +1 位作者 邱江 刘人杰 《舰船电子工程》 2023年第8期89-93,109,共6页

为了提高航路容量,科学缩小航空器间隔标准,通过将经典Event模型碰撞盒改进为圆柱体与三棱锥拼接模型,提出了针对航空器在航路飞行阶段对于碰撞风险计算更为精确的改进Event模型。分别从垂向、纵向两个方面入手改进航路碰撞风险公式,并... 为了提高航路容量,科学缩小航空器间隔标准,通过将经典Event模型碰撞盒改进为圆柱体与三棱锥拼接模型,提出了针对航空器在航路飞行阶段对于碰撞风险计算更为精确的改进Event模型。分别从垂向、纵向两个方面入手改进航路碰撞风险公式,并以航路飞行阶段的塞斯纳172,B737-800为算例进行分析。结果表明:改进的Event模型对于小型固定翼飞机的碰撞风险计算结果约为经典Event模型的8.47%,约为椭球体Event模型的33.92%,约为两圆锥体拼接Event模型的50.5%。对于中型客机的碰撞风险计算结果约为经典Event模型的9.36%,约为椭球体Event模型的47.75%,约为两圆锥体拼接Event模型的70.93%。结果表明,论文所提出的改进Event模型有效降低了风险计算冗余,并且相较于以往球体、椭球体、拼接圆锥、拼接棱锥等改进Event模型,精度更高。 展开更多

关键词 Event模型 碰撞盒 圆柱体与三棱锥结构 塞斯纳-172 B737-800

下载PDF 职称材料

Cessna 172R飞机燃油放油活门结构缺陷分析及改进 被引量：3

6

作者 王在俊 刘显超 《润滑与密封》 CAS CSCD 北大核心 2007年第5期180-181,共2页

Cessna 172R飞机原装燃油放油活门因为其在材料选择、结构设计等方面存在缺陷,导致活门在使用后不久就失效,出现漏油现象。针对原装活门存在的问题,通过选择耐航空燃油的材料和改进燃油放油活门的结构等措施,延长了Cessna 172R飞机燃油... Cessna 172R飞机原装燃油放油活门因为其在材料选择、结构设计等方面存在缺陷,导致活门在使用后不久就失效,出现漏油现象。针对原装活门存在的问题,通过选择耐航空燃油的材料和改进燃油放油活门的结构等措施,延长了Cessna 172R飞机燃油放油活门的使用寿命。 展开更多

关键词 燃油放油活门 密封圈 泄漏

下载PDF 职称材料

某活塞式发动机排气管断裂分析 被引量：2

7

作者 王在俊 杜仲 《腐蚀与防护》 CAS 北大核心 2008年第10期635-636,共2页

针对某活塞式发动机排气管断裂现象,从断裂处焊接结构缺陷、焊缝组织缺陷和零件工作环境等方面进行分析。分析认为该排气管结构设计不合理,存在应力集中;恶劣的工作环境导致材料耐腐蚀性能下降,尾气对排气管形成腐蚀。该排气管断裂是焊... 针对某活塞式发动机排气管断裂现象,从断裂处焊接结构缺陷、焊缝组织缺陷和零件工作环境等方面进行分析。分析认为该排气管结构设计不合理,存在应力集中;恶劣的工作环境导致材料耐腐蚀性能下降,尾气对排气管形成腐蚀。该排气管断裂是焊接后的应力集中和腐蚀共同作用造成的。 展开更多

关键词 活塞式发动机 排气管 断裂 失效 分析

下载PDF 职称材料

以实验室为平台加强学生综合素质培养 被引量：9

8

作者 王在俊 王吉豪 宁伟 《实验技术与管理》 CAS 北大核心 2020年第3期25-27,共3页

高校实验室是开展科学研究的主要场所,也是学生培养的重要场地。以高校科研实验室、教学实验室和创新实验室为平台,通过政策引导和保障,建构"研究-应用-教学"的人才培养体系,坚持以学生为主体,加强教师对学生培养并分层次指... 高校实验室是开展科学研究的主要场所,也是学生培养的重要场地。以高校科研实验室、教学实验室和创新实验室为平台,通过政策引导和保障,建构"研究-应用-教学"的人才培养体系,坚持以学生为主体,加强教师对学生培养并分层次指导学生,培养学生综合素质。 展开更多

关键词 实验室平台 人才培养体系 综合素质

下载PDF 职称材料

民用飞机蒙皮腐蚀研究 被引量：7

9

作者 王在俊 《中国民航飞行学院学报》 2011年第1期31-34,共4页

统计民用飞机蒙皮油漆涂层和基体材料腐蚀的种类,分析其腐蚀机理。提出飞机蒙皮腐蚀过程为:表面油漆涂层的老化破坏,环境中的腐蚀介质渗透铝合金表面的氧化膜层到达基体材料,然后基体材料出现点腐蚀坑,再进一步发展为其它腐蚀。

关键词 飞机 蒙皮 腐蚀

下载PDF 职称材料

运五飞机灭火瓶管嘴断裂的失效分析

10

作者 王在俊 刘显超 《腐蚀科学与防护技术》 CAS CSCD 北大核心 2007年第5期377-379,共3页

通过扫描电镜、能谱仪等手段对失效的运五飞机灭火瓶管嘴断裂进行断口形貌、化学成分和金相组织分析.结果表明,该灭火瓶管嘴断裂是由于应力腐蚀开裂引起的;根据分析结果,提出了预防措施.

关键词 灭火瓶管嘴 断裂 失效分析 应力腐蚀

下载PDF 职称材料

小尺寸高精度零件平面磨削的研究与实现

11

作者 王在俊 《机械设计与制造》 北大核心 2009年第7期178-179,共2页

小尺寸高精度零件平面磨削一直采用研磨的方式磨削,但该方法对操作人员的技能要求高、报废率高、效率低下。设计基于涂附模具的小尺寸高精度零件平面磨削方法,并制作模具1套。实例证明,该方法具有精度高、操作方便、效率高等特点。

关键词 小尺寸高精度零件 平面磨削 模具

下载PDF 职称材料

自制件的质量控制

12

作者 王在俊 《中国质量》 2008年第3期80-81,共2页

自制件，是指不是依据航空器或航空器部件的制造厂家公开发布的持续适航性文件中给定的设计数据、材料或加工方法制造的航空器部件。

关键词 质量控制 制造厂家 航空器 加工方法 适航性 部件

下载PDF 职称材料

稀疏奖励下基于情感的异构多智能体强化学习 被引量：5

13

作者 方宝富 马云婷 +1 位作者 王在俊 王浩 《模式识别与人工智能》 EI CSCD 北大核心 2021年第3期223-231,共9页

在强化学习中,当处于奖励分布稀疏的环境时,由于无法获得有效经验,智能体收敛速度和效率都会大幅下降.针对此类稀疏奖励,文中提出基于情感的异构多智能体强化学习方法.首先,建立基于个性的智能体情感模型,为异构多智能体提供激励机制,... 在强化学习中,当处于奖励分布稀疏的环境时,由于无法获得有效经验,智能体收敛速度和效率都会大幅下降.针对此类稀疏奖励,文中提出基于情感的异构多智能体强化学习方法.首先,建立基于个性的智能体情感模型,为异构多智能体提供激励机制,作为外部奖励的有效补充.然后,基于上述激励机制,融合深度确定性策略,提出稀疏奖励下基于内在情感激励机制的深度确定性策略梯度强化学习算法,加快智能体的收敛速度.最后,在多机器人追捕仿真实验平台上,构建不同难度等级的稀疏奖励情景,验证文中方法在追捕成功率和收敛速度上的有效性和优越性. 展开更多

关键词 强化学习 稀疏奖励 奖励机制 情感模型

下载PDF 职称材料

Lycoming发动机配重挡片失效分析

14

作者 刘显超 王在俊 《热加工工艺》 CSCD 北大核心 2010年第22期194-195,198,共3页

通过扫描电镜对失效的lycoming发动机配重挡片进行断口形貌和金相组织分析。结果表明,该发动机配重挡片失效是疲劳断裂。结合其使用特点分析认为:挡片材料热处理不当、结构设计不合理、滚柱轴向顶撞力及滚柱轴向顶撞力偏斜等综合作用导... 通过扫描电镜对失效的lycoming发动机配重挡片进行断口形貌和金相组织分析。结果表明,该发动机配重挡片失效是疲劳断裂。结合其使用特点分析认为:挡片材料热处理不当、结构设计不合理、滚柱轴向顶撞力及滚柱轴向顶撞力偏斜等综合作用导致配重挡片失效。 展开更多

关键词 挡片 疲劳腐蚀 失效分析

原文传递

温度对2A12铝合金应力腐蚀开裂的影响 被引量：4

15

作者 张娟 魏成富 +2 位作者 王在俊 魏晓伟 杨梨容 《热加工工艺》 CSCD 北大核心 2008年第10期29-32,共4页

用自制的电位监测应力腐蚀装置研究了温度对硬铝合金2A12cz(LY12cz)在3.5%NaCl水溶液中腐蚀裂纹扩展的影响。结果表明,温度越高,KISCC越小,2A12cz铝合金的腐蚀裂纹扩展越快。2A12cz铝合金在NaCl水溶液中的应力腐蚀断口形貌主要表现为沿... 用自制的电位监测应力腐蚀装置研究了温度对硬铝合金2A12cz(LY12cz)在3.5%NaCl水溶液中腐蚀裂纹扩展的影响。结果表明,温度越高,KISCC越小,2A12cz铝合金的腐蚀裂纹扩展越快。2A12cz铝合金在NaCl水溶液中的应力腐蚀断口形貌主要表现为沿晶断裂,并具有岩石状沿晶断裂特征。 展开更多

关键词 应力腐蚀 2A12cz铝合金 温度 电测法

下载PDF 职称材料

电测法研究温度对2A12铝合金应力腐蚀开裂的影响 被引量：2

16

作者 张娟 魏成富 +2 位作者 魏晓伟 王在俊 杨梨容 《西华大学学报（自然科学版）》 CAS 2008年第4期63-66,共4页

用自制的电位监测应力腐蚀装置研究了温度对硬铝合金2A12(LY12)在3.5%NaC l水溶液中腐蚀裂纹扩展的影响。结果表明:温度越高,KISCC越小,2A12铝合金的腐蚀裂纹扩展越快;2A12铝合金在NaC l水溶液中的应力腐蚀断口形貌主要表现为沿晶断裂,... 用自制的电位监测应力腐蚀装置研究了温度对硬铝合金2A12(LY12)在3.5%NaC l水溶液中腐蚀裂纹扩展的影响。结果表明:温度越高,KISCC越小,2A12铝合金的腐蚀裂纹扩展越快;2A12铝合金在NaC l水溶液中的应力腐蚀断口形貌主要表现为沿晶断裂,并具有岩石状沿晶断裂特征。 展开更多

关键词 应力腐蚀 2A12铝合金 温度 电测法

下载PDF 职称材料

边缘计算在飞行训练中的应用 被引量：1

17

作者 钱基德 熊仁和 +3 位作者 王乾垒 杜冬 王在俊 钱基业 《计算机科学》 CSCD 北大核心 2021年第S01期603-607,612,共6页

眼是人心理活动和思想在外观上的重要表现形式,文中通过使用高速图像采集系统跟踪飞行员的眼动轨迹来分析其心理行为,以研究飞行员在训练过程中的注意力情况。随着低功耗嵌入式设备、高速5G网络的逐渐成熟,已逐步进入"万物互联&qu... 眼是人心理活动和思想在外观上的重要表现形式,文中通过使用高速图像采集系统跟踪飞行员的眼动轨迹来分析其心理行为,以研究飞行员在训练过程中的注意力情况。随着低功耗嵌入式设备、高速5G网络的逐渐成熟,已逐步进入"万物互联"新时代,基于此,提出采用边缘计算设备评估飞行训练效果的解决方案。该方案介绍了一种基于边缘计算架构的实时眼动跟踪系统,采用高速CMOS图像传感器采集眼部图像,提出了一种基于MobileNet的轻量级网络结构快速定位瞳孔位置,然后利用NVIDIA Jetson Nano板卡实现在连续视频图像中定位瞳孔并计算出注视点的功能,以获得眼动视觉焦点轨迹。实验结果表明,该边缘计算系统构成简单,且能满足实时眼动跟踪的要求,为实现实时心理行为分析提供了一种新的有效方法,给改进飞行训练效果提供了重要参考依据。 展开更多

关键词 边缘计算 飞行训练 注意力分配 眼动跟踪 深度学习

下载PDF 职称材料

某型飞机机腹蒙皮腐蚀原因分析 被引量：1

18

作者 孙海东 王在俊 《腐蚀与防护》 CAS 北大核心 2011年第2期125-127,共3页

通过金相显微镜对腐蚀的飞机机腹蒙皮材料进行金相检验,结合服役环境进行分析。结果表明,该飞机机腹蒙皮材料存在热处理不当,因此造成零件耐蚀能力降低,加上飞机结构特点和尾气高温促进了蒙皮腐蚀。

关键词 飞机 机腹蒙皮 腐蚀 热处理 服役环境

下载PDF 职称材料

基于注意力机制的飞行学员疲劳分类网络研究 被引量：1

19

作者 王乾垒 熊仁和 +1 位作者 王在俊 周超 《计算机仿真》 北大核心 2022年第10期71-76,510,共7页

近年的通用航空事故中,出现在飞行训练期间由人因引起的事故约1/3。疲劳是人因中重要的一种,准确地识别飞行学员的疲劳状态对飞行安全有积极意义。提出了一种融合注意力机制的飞行学员精神疲劳分类网络,使用深度可分离卷积对网络参数进... 近年的通用航空事故中,出现在飞行训练期间由人因引起的事故约1/3。疲劳是人因中重要的一种,准确地识别飞行学员的疲劳状态对飞行安全有积极意义。提出了一种融合注意力机制的飞行学员精神疲劳分类网络,使用深度可分离卷积对网络参数进行精简,引入注意力机制充分利用通道与空间特征对脑电无用信息进行抑制的同时增大了关键信息权重。使用公开疲劳数据集SEED-VIG对网络进行预训练,然后通过迁移学习将其应用于飞行学员精神疲劳分类,网络在对4种精神疲劳状态分类时达到了84.12%的准确率,并在NVIDIA Jetson Nano上达到了27samples/s的运行速度。该网络可有效识别飞行学员的疲劳类型,并及时向飞行教员反馈学员精神状态情况,为判断飞行学员是否适合训练提供生理依据,同时该网络满足移动设备和嵌入式设备的计算要求。 展开更多

关键词 注意力机制 卷积神经网络 脑电信号 飞行学员 疲劳分类

下载PDF 职称材料

人工智能在空管中应用的研究进展 被引量：1

20

作者 王吉豪 王在俊 王乾垒 《自动化技术与应用》 2021年第1期1-4,19,共5页

在民航飞速发展的同时,空中交通也变得更加复杂、快速、多变,与之相关的种种问题也逐渐显现。同时,作为近几年取得重大突破的计算机辅助技术,人工智能技术已经广泛地应用于多个领域。人工智能技术与传统的空管相结合,更有利于构建一个... 在民航飞速发展的同时,空中交通也变得更加复杂、快速、多变,与之相关的种种问题也逐渐显现。同时,作为近几年取得重大突破的计算机辅助技术,人工智能技术已经广泛地应用于多个领域。人工智能技术与传统的空管相结合,更有利于构建一个更加安全、有序、高效的智能化空中交通管理系统。本文主要从国内外空管发展现状、空管系统对人工智能技术的需求以及人工智能在空管系统的应用几个方面进行综述和分析,最后对人工智能技术在空中交通管理中应用所面临的挑战进行了分析和展望。 展开更多

关键词 人工智能技术 空管系统 计算机辅助技术

下载PDF 职称材料