-
题名异构微差同步并行训练算法
- 1
-
-
作者
黄山
吴煜凡
吕鹤轩
段晓东
-
机构
大连民族大学计算机科学与工程学院
大数据应用技术国家民委重点实验室(大连民族大学)
大连市民族文化数字技术重点实验室(大连民族大学)
-
出处
《计算机工程与科学》
CSCD
北大核心
2024年第11期1949-1959,共11页
-
基金
国家重点研发计划云计算和大数据重点专项(2018YFB1004402)。
-
文摘
前馈神经网络BPNN因具有非线性能力强、自学习能力强、自适应能力强以及容错能力强等优点,被广泛应用于行为识别和预测等领域。随着模型的升级优化和数据量的快速增长,基于大数据分布式计算框架的并行训练架构成为主流。ApacheFlink作为新一代大数据计算框架,因其具有高吞吐量、低时延等特点而被广泛应用。硬件设备更新换代速度的加快以及购买批次不同导致现实生活中Flink集群大多数为异构集群,意味着集群中的计算资源不均衡。现有的BPNN并行训练模型无法解决因计算资源不均衡带来的训练过程中高性能节点空转的问题。此外,异构环境下BPNN的并行训练还存在节点数量增加,节点间的通信开销也随之增加的问题。传统的小批量梯度下降方法拥有较好的寻优效果,但随机的初始化模型和小批量的梯度下降特点导致了BPNN并行化训练出现收敛速度缓慢的问题。针对以上问题,为加快异构环境下BPNN并行化训练速度,提高BPNN并行训练效率,提出了异构微差同步并行训练算法。该算法能够针对异构环境下节点性能不同的情况,对节点性能进行评分,并实时地通过数据分区模块动态地按比例分配数据,使节点性能和节点分配数据量成正比,从而减少高性能节点空转时长。
-
关键词
Flink
BPNN
并行训练
异构环境
-
Keywords
Flink
back propagation neural network(BPNN)
parallel training
heterogeneous environment
-
分类号
TP302
[自动化与计算机技术—计算机系统结构]
-
-
题名Flink水位线动态调整策略
- 2
-
-
作者
吕鹤轩
黄山
艾力卡木·再比布拉
吴思衡
段晓东
-
机构
大连民族大学计算机科学与工程学院
大数据应用技术国家民委重点实验室
大连市民族文化数字技术重点实验室
-
出处
《计算机工程与科学》
CSCD
北大核心
2023年第2期237-245,共9页
-
基金
国家重点研发计划(2018YFB1004402)。
-
文摘
衡量大数据的数据挖掘性能有2个最重要的任务指标:一是实时性,二是准确性。流数据从数据产生到消息队列再通过数据源流入Flink进行计算,这个过程中因为网络传输速度不同,不同节点的计算性能不同等原因,流数据进入计算框架的先后顺序和数据产生的事件时间顺序会有局部乱序的现象。面对窗口作业的传统水位线机制在不确定乱序程度的流数据情况下无法同时兼顾作业结果的实时性和准确性。针对这个问题,建立了流数据微簇模型。通过局部乱序度算法,根据流数据微簇的流数据事件时间局部乱序程度计算出可以代表当前时刻流数据的乱序度。设计了水位线动态调整策略,使水位线根据流数据的乱序程度动态调整大小。最后,在Apache Flink框架中对基于事件时间窗口的水位线动态调整策略进行了实现。实验结果表明,弹性或不确定乱序流数据条件下,基于事件时间窗口的水位线动态调整策略可以有效地同时兼顾窗口作业的准确性和实时性。
-
关键词
Apache
Flink
水位线
乱序流数据
事件时间
-
Keywords
Apache Flink
watermark
heterogeneous environment
event time
-
分类号
TP316.4
[自动化与计算机技术—计算机软件与理论]
-
-
题名个性化推荐技术在微课系统中的应用
被引量：1
- 3
-
-
作者
赵旭
吕鹤轩
-
机构
大连东软信息学院
-
出处
《软件工程》
2019年第12期21-23,共3页
-
文摘
随着我国教育信息化、数字化概念的提出,教育信息化资源以极快的速度大量涌现,导致信息呈现爆炸式增长,用户在面临海量信息时,需要花费大量的时间和精力去筛选所需的资源。本文针对此现状提出基于个性化推荐技术实现微课程视频的筛选方案。通过本系统可以为用户提供有针对性的、符合用户兴趣的相关资源,从而使用户获取信息的方式发生翻转,从以往的主动获取变为被动的接收,并保证用户接收的资源对其而言价值最高。
-
关键词
推荐系统
协同过滤算法
用户兴趣模型
资源评价机制
-
Keywords
recommendation system
cooperative filtering algorithm
user interest model
resource evaluation mechanism
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
