基于Fork/Join的事务日志伴随模式挖掘方法

1

作者 孔明 魏东 +1 位作者 冉义兵 毕国鹏 《小型微型计算机系统》 CSCD 北大核心 2023年第2期239-247,共9页

信息系统产生的大量事务日志数据蕴含着潜在的伴随模式,伴随模式是指在时空上频繁共现的一组对象.由于传统的滑动窗口算法和FP-Growth算法只能调用单一线程进行计算,随着数据规模的扩张,会导致挖掘伴随模式的时间急剧增加.为此本文提出... 信息系统产生的大量事务日志数据蕴含着潜在的伴随模式,伴随模式是指在时空上频繁共现的一组对象.由于传统的滑动窗口算法和FP-Growth算法只能调用单一线程进行计算,随着数据规模的扩张,会导致挖掘伴随模式的时间急剧增加.为此本文提出了一种基于Fork/Join并行技术的伴随模式挖掘框架,其能够实现从单线程到多线程的迁移,充分利用多核配置的加速性能.该框架由划定伴随数据集、频繁项集挖掘和关联规则挖掘三部分组成.首先,提出了基于Fork/Join的多核并行滑动窗口算法,以缩短从事务日志中划定伴随数据集的时间;然后,提出基于Fork/Join的多核并行FP-Growth算法,以并行地挖掘伴随数据集中的频繁项集;最后,引入支持度、置信度和提升度3个参数,对伴随模式中各对象间的关联规则进行挖掘.基于门禁刷卡数据的实验结果表明,相比传统算法,本文所提出的框架能够挖掘出更多的伴随模式,同时挖掘效率较高. 展开更多

关键词 事务日志 伴随模式 fork/join框架 滑动窗口 FP-GROWTH算法

下载PDF 职称材料

调度Fork-Join任务图的贪心算法 被引量：6

2

作者 杨斌 张建军 杨峰 《计算机工程与设计》 CSCD 北大核心 2008年第15期3864-3866,3894,共4页

任务调度算法的目标是把组成并行程序的一组任务分配到多个处理器以使得程序的完成时间最短,这是一个NP完全问题。虽然许多算法在任务满足某些条件时能产生最优调度,但大多都忽略了节省处理器个数和最小化程序总的完成时间等问题。Fork-... 任务调度算法的目标是把组成并行程序的一组任务分配到多个处理器以使得程序的完成时间最短,这是一个NP完全问题。虽然许多算法在任务满足某些条件时能产生最优调度,但大多都忽略了节省处理器个数和最小化程序总的完成时间等问题。Fork-Join结构是一种并行处理的基本结构。因此,专门针对Fork-Join任务图,提出了一个能产生最优调度的新的贪心调度算法,该算法具有高的加速比和总体效率,时间复杂度为2,其中,表示任务集中任务的个数。实验结果表明,相比其它算法,该算法具有较短的调度长度、较短的完成时间,使用的处理器数较少。 展开更多

关键词 最优调度算法 任务复制 fork—join任务图 关键任务 加速比

下载PDF 职称材料

面向Fork/Join框架的软件重构及性能分析 被引量：2

3

作者 张冬雯 柳晨光 张杨 《计算机应用》 CSCD 北大核心 2015年第11期3172-3177,共6页

针对目前对于Fork/Join框架应用和性能分析的相关工作还不多的现状,以JGF基准测试程序套件为基础,对其中的series、crypt、sparsematmult和sor等程序使用Fork/Join框架进行重构,并以series程序为例,详细地说明了重构的过程。在实验中,首... 针对目前对于Fork/Join框架应用和性能分析的相关工作还不多的现状,以JGF基准测试程序套件为基础,对其中的series、crypt、sparsematmult和sor等程序使用Fork/Join框架进行重构,并以series程序为例,详细地说明了重构的过程。在实验中,首先,测试了每个程序在不同阈值下使用Fork/Join框架分别递归1、2、3次执行程序的时间,进而选择相对较好的阈值;然后,对每个程序使用Fork/Join框架和使用Thread的执行时间进行了对比;此外,测试了重构后的程序在执行过程中任务窃取的情况。实验结果表明,Fork/Join框架执行时间与多线程执行时间相比,平均降低了14.2%;对于series程序,当数据大小为size C且线程个数为2时,Fork/Join框架执行时间比多线程执行时间降低高达40%,可见,在多核处理器平台上应用Fork/Join框架比使用多线程将获得更好的性能。 展开更多

关键词 fork/join框架 软件重构 工作窃取 性能分析

下载PDF 职称材料

一个调度Fork-Join任务图的最优算法(英文) 被引量：8

4

作者 李庆华 阮幼林 +2 位作者 刘干 蒋盛益 杨世达 《软件学报》 EI CSCD 北大核心 2005年第5期684-690,共7页

Fork-Join任务图是一种并行处理的基本结构.虽然许多算法在任务满足某些条件时能产生最优调度,但往往没有考虑节省处理器个数和减少任务集的总完成时间,从而降低算法的加速比和效率.因此,提出一种基于任务复制的平衡调度算法,其时间复... Fork-Join任务图是一种并行处理的基本结构.虽然许多算法在任务满足某些条件时能产生最优调度,但往往没有考虑节省处理器个数和减少任务集的总完成时间,从而降低算法的加速比和效率.因此,提出一种基于任务复制的平衡调度算法,其时间复杂度为O(vq+vlogv),v和q分别表示任务集中任务的个数和使用的处理器个数.通过分析已用处理器的负载和空闲时间段,把任务尽量分配到已用的处理器上以均衡负载,从而提高其利用率.实验结果表明,该算法的加速比和总体效率优于其他算法.因此,该算法对于高性能应用程序的调度是一个较好的选择. 展开更多

关键词 任务调度 任务复制 fork-join任务图 加速比

下载PDF 职称材料

广义Fork-Join任务图的调度问题研究 被引量：2

5

作者 杨峰 张建军 《兵工自动化》 2009年第12期37-40,共4页

Fork-Join结构是一种并行处理的基本结构。为处理传统方法难以解决的复杂和非线性问题,缩短整个程序的总完成时间,针对广义Fork-Join任务图提出了基于遗传算法的调度算法,该算法将遗传算法和任务复制相结合,有效地缩短了得到最优结果的... Fork-Join结构是一种并行处理的基本结构。为处理传统方法难以解决的复杂和非线性问题,缩短整个程序的总完成时间,针对广义Fork-Join任务图提出了基于遗传算法的调度算法,该算法将遗传算法和任务复制相结合,有效地缩短了得到最优结果的时间。实验结果表明,与其他算法相比,该算法具有较短的调度长度。 展开更多

关键词 任务调度 任务复制 遗传算法 广义fork—join任务图

下载PDF 职称材料

异构环境中Fork-Join任务图的调度算法 被引量：2

6

作者 张建军 宋业新 黄登斌 《计算机工程与设计》 CSCD 北大核心 2010年第3期486-490,共5页

目前已有的Fork-Join任务图的调度算法大多假定处理机为同构的,而没有考虑实际应用中处理机的异构性以及节省处理机的问题,导致算法在具体应用中效率较低。因此,对Fork-Join任务图的调度问题进行研究,提出了一个基于异构环境的贪心调度... 目前已有的Fork-Join任务图的调度算法大多假定处理机为同构的,而没有考虑实际应用中处理机的异构性以及节省处理机的问题,导致算法在具体应用中效率较低。因此,对Fork-Join任务图的调度问题进行研究,提出了一个基于异构环境的贪心调度算法,该算法具有高的加速比和总体效率,其时间复杂度为2,其中,表示任务集中任务的个数。实验结果表明,相比其它算法,该算法具有较短的调度长度、较短的完成时间,使用的处理机数较少,具有更强的实用性。 展开更多

关键词 fork-join任务图 异构性 任务复制 贪心算法 调度长度 关键任务 加速比

下载PDF 职称材料

Fork-Join排队网络建模与分析的研究进展 被引量：4

7

作者 徐学雷 郑大钟 《控制理论与应用》 EI CAS CSCD 北大核心 1992年第5期449-458,共10页

本文综述了近年来对一类特殊的离散事件动态系统——Fork-Join排队网络的研究进展。全文主要包括三部分:首先给出Fork-Join网络产生的实际背景及其精确的数学描述;其次,介绍已取得的主要结果及其所采用的方法;最后提出一些值得研究的问题。

关键词 排队网络 建模 分析 DEDS

下载PDF 职称材料

Fork──Join排队网络的建模与稳定性 被引量：3

8

作者 刘瑞华 涂菶生 《控制与决策》 EI CSCD 北大核心 1994年第3期161-166,共6页

本文利用极大代数方法，建立了一类Ｆｏｒｋ—Ｊｏｉｎ排队网络的线性状态方程，分析了系统的稳定性。

关键词 DFES fork-join 排队网络 稳定性

下载PDF 职称材料

一类Fork－Join排队系统的分析 被引量：1

9

作者 徐学雷 郑大钟 《控制理论与应用》 EI CAS CSCD 北大核心 1994年第3期361-365,共5页

本文研究了一类具有有限排队空间且其到达率和服务率均依赖于状态的Ｆｏｒｋ－Ｊｏｉｎ排队系统，给出了稳态概率和任务等待时间各阶矩的计算方法，并用仿真检验算法的正确性．

关键词 fork-join 排队系统 建模

下载PDF 职称材料

基于上下文定界的Fork/Join并行性的并发程序可达性分析

10

作者 钱俊彦 贾书贵 +1 位作者 蔡国永 赵岭忠 《计算机工程与科学》 CSCD 北大核心 2013年第2期1-6,共6页

随着多核技术日益发展,并发程序通过引入Fork/Join并行性,将任务分解为更细粒度的子任务并行执行,从而充分利用多核处理器提供的计算性能。并发执行线程之间的交错可能产生隐匿的程序设计错误,因此有必要对此类并发程序的正确性进行分... 随着多核技术日益发展,并发程序通过引入Fork/Join并行性,将任务分解为更细粒度的子任务并行执行,从而充分利用多核处理器提供的计算性能。并发执行线程之间的交错可能产生隐匿的程序设计错误,因此有必要对此类并发程序的正确性进行分析。上下文定界分析方法是一种检测并发程序中隐匿错误的高效方法,计算线程有限次上下文切换内的可达状态,确定错误状态是否可达。针对Fork/Join并行性的并发程序的可达性分析思想如下:首先,动态并发程序被建模为可模拟线程Fork/Join操作的动态并发下推系统P;然后从P中提取模拟其k-定界执行的并发下推系统Pk。现有的上下文定界可达算法可解决提取后的并发下推系统的k-定界可达性问题。 展开更多

关键词 上下文定界 并发 可达性分析 fork join并行性 动态线程创建

下载PDF 职称材料

基于通信竞争的Fork-Join任务图的调度算法

11

作者 张建军 杨峰 瞿勇 《计算机工程与设计》 CSCD 北大核心 2009年第23期5301-5304,5351,共5页

Fork-Join任务图是一种并行处理的基本结构,目前已有的Fork-Join任务图的调度算法大多没有考虑实际应用中通信链路的竞争及延迟以及节省处理机的问题,导致算法在具体应用中效率较低。因此,针对Fork-Join任务图,提出一个基于通信竞争的... Fork-Join任务图是一种并行处理的基本结构,目前已有的Fork-Join任务图的调度算法大多没有考虑实际应用中通信链路的竞争及延迟以及节省处理机的问题,导致算法在具体应用中效率较低。因此,针对Fork-Join任务图,提出一个基于通信竞争的贪心调度算法,该算法具有高的加速比和总体效率,时间复杂度为O(vlogv),其中v表示任务集中任务的个数。实验结果表明,该算法相比其它算法具有较短的调度长度、较短的完成时间,使用的处理机数较少,具有更强的实用性。 展开更多

关键词 任务调度 任务复制 fork-join任务图 通信竞争 关键任务 调度长度

下载PDF 职称材料

N台并联Fork-Join排队网络的弱收敛与强逼近 被引量：1

12

作者 侯为波 汪荣鑫 《淮北煤师院学报（自然科学版）》 1995年第4期9-15,共7页

本文借助于概率测度弱收敛与概率论强逼近理论,较为详细地研究了N台并联Fork-Join排队网络,得到了响应时间、队长、离去过程的弱收敛与强逼近定理。这些结果具有一定的实际意义,并为一般型Fork-Join网络的研究提供了必要的理论基础。

关键词 fork-join排队 弱收敛 强逼近 fork-join网络

下载PDF 职称材料

基于Fork/Join多核并行框架的梯级水库群优化调度 被引量：4

13

作者 王森 马志鹏 +2 位作者 李善综 王凌河 熊静 《水利水电科技进展》 CSCD 北大核心 2017年第2期48-54,共7页

为了满足大规模梯级水库群优化调度精细化管理需求,解决决策计算耗时长及求解效率低等困难,提出了基于Fork/Join多核并行框架的梯级水库群优化调度并行求解方法,并以离散微分动态规划方法并行化为例,给出了梯级水库群优化调度方法在Fork... 为了满足大规模梯级水库群优化调度精细化管理需求,解决决策计算耗时长及求解效率低等困难,提出了基于Fork/Join多核并行框架的梯级水库群优化调度并行求解方法,并以离散微分动态规划方法并行化为例,给出了梯级水库群优化调度方法在Fork/Join框架下的并行化实现方式。红水河大规模梯级水库群长期发电优化调度测试结果表明,并行计算能够充分发挥多核处理器的加速性能,有效缩短计算耗时,提高求解效率;选择合理的Fork/Join框架规模控制阈值是充分发挥并行优势的关键因素。 展开更多

关键词 梯级水库群 优化调度 fork/join并行框架 多核处理器 并行计算

下载PDF 职称材料

CCTD:一种通信限制下的Fork-Join任务调度算法 被引量：2

14

作者 梁珊珊 吴佳骏 张军超 《计算机科学》 CSCD 北大核心 2009年第6期282-285,共4页

现代并行系统的复杂调度问题可以转化为Fork-join图的任务调度问题。然而在实际计算环境中,两个处理节点之间的通信大多以独占方式进行,现有的大多数任务调度算法往往忽略了对通信信道独占性的考虑。提出了一种带通信限制的Fork-join图... 现代并行系统的复杂调度问题可以转化为Fork-join图的任务调度问题。然而在实际计算环境中,两个处理节点之间的通信大多以独占方式进行,现有的大多数任务调度算法往往忽略了对通信信道独占性的考虑。提出了一种带通信限制的Fork-join图调度算法CCTD。该算法引入了实际环境中的通信独占性限制,同时保证了Fork-join图的基于复制的优化调度,而且尽可能地减少了对处理器占用。实验结果表明,CCTD算法是一种适应性强的、高效的Fork-join图调度算法。 展开更多

关键词 任务调度 任务复制 fork-join 通信限制

下载PDF 职称材料

基于Fork/Join框架的等值面快速生成并行算法 被引量：1

15

作者 鲍婷婷 焦圣明 +2 位作者 殷笑茹 陈景丽 牛霭琛 《计算机技术与发展》 2020年第3期187-193,共7页

针对传统串行等值面提取算法在处理离散点数量多、网格点密度大的数据时生成效率差的问题,提出一种新的基于Fork/Join框架下的等值面快速生成并行算法。通过对传统串行算法中的关键步骤进行并行计算可行性分析,提出可以实施并行计算的... 针对传统串行等值面提取算法在处理离散点数量多、网格点密度大的数据时生成效率差的问题,提出一种新的基于Fork/Join框架下的等值面快速生成并行算法。通过对传统串行算法中的关键步骤进行并行计算可行性分析,提出可以实施并行计算的四个单独步骤:离散点数据网格化处理、等值点计算、等值线追踪与光滑、等值面标记识别。通过将并行计算作用于等值面生成的这四个步骤中,减少了等值面计算的执行时间,加快了等值面的生成速度。实验结果表明,在数据计算量较大时,与传统串行算法相比,并行算法能在2秒内快速生成等值面,最大加速比高于5.0,提高了等值面的生成效率并取得了良好的绘制效果,满足了高实时性的业务需求。 展开更多

关键词 并行计算 fork/join框架 等值面 提取算法 图形绘制

下载PDF 职称材料

一个调度Fork-Join任务图的新算法

16

作者 张艳 李延红 《计算机工程与科学》 CSCD 2007年第4期64-67,共4页

对基于总线的机群系统,本文提出了一种基于任务复制的调度Fork-Join任务图的新算法。该算法通过任务集划分计算调度长度,并在不增加调度长度的同时将任务尽可能调度在已用处理器上,节省处理器数。新算法的时间复杂度高于现有算法,但其... 对基于总线的机群系统,本文提出了一种基于任务复制的调度Fork-Join任务图的新算法。该算法通过任务集划分计算调度长度,并在不增加调度长度的同时将任务尽可能调度在已用处理器上,节省处理器数。新算法的时间复杂度高于现有算法,但其调度性能最优。 展开更多

关键词 任务调度 调度长度 fork-join DAG

下载PDF 职称材料

浅析JDK1.7中的Fork/Join框架 被引量：1

17

作者 陈永青 《中国新通信》 2016年第19期94-95,共2页

随着多核以及众核处理器的快速发展与不断普及,越来越多的人开始关注面向多核的并行编程。Fork/Join框架是Java从JDK1.7版本开始引入的一种并行编程框架,该框架可以满足多核时代并行编程的要求。本文针对Fork/Join框架的基本思想、工作... 随着多核以及众核处理器的快速发展与不断普及,越来越多的人开始关注面向多核的并行编程。Fork/Join框架是Java从JDK1.7版本开始引入的一种并行编程框架,该框架可以满足多核时代并行编程的要求。本文针对Fork/Join框架的基本思想、工作窃取机制以及如何在具体编程环境中使用Fork/Join框架进行了详细的介绍。 展开更多

关键词 fork/join框 并行编程 分而治之 阈值

下载PDF 职称材料

面向众核CPU的稠密线性求解器性能评测与优化

18

作者 付晓 苏醒 +1 位作者 董德尊 钱程东 《计算机工程与科学》 CSCD 北大核心 2024年第6期984-992,共9页

稠密线性求解器在高性能计算和机器学习等领域扮演着重要的角色。其典型的并行算法实现通常构建在著名的fork-join或task-based编程模型之上。尽管采用fork-join模型的主流稠密线性代数库能将大部分的计算转移到高度优化、高性能的BLAS ... 稠密线性求解器在高性能计算和机器学习等领域扮演着重要的角色。其典型的并行算法实现通常构建在著名的fork-join或task-based编程模型之上。尽管采用fork-join模型的主流稠密线性代数库能将大部分的计算转移到高度优化、高性能的BLAS 3例程上,由于fork-join不灵活的执行流,它们仍然未能高效地利用众核CPU的计算资源。采用task-based编程模型的开源库能实现更加灵活、负载更均衡的算法,因此能获得明显的性能提升。然而,在众核CPU平台上,尤其是对于中等矩阵规模的问题而言,它们仍然有较大的优化空间。对稠密线性求解器的性能进行了全面的测评,以定位性能瓶颈,并提出了2种优化策略,以提高程序性能。具体地,通过重叠LU分解和下三角求解的计算过程,减少同步开销线程的空等,从而提高算法的并行性;进一步通过减少冗余的矩阵打包操作,降低算法的访存开销。分别在2个主流的众核CPU平台(Intel®Xeon Gold®6252N(48核)和HiSilicon Kunpeng 920(64核))上进行了性能评估。实验结果表明,该优化的稠密线性求解器在上述两个CPU平台上,相比最佳开源实现分别取得了10.05%(Xeon)和13.63%(Kunpeng 920)的性能提升。 展开更多

关键词 稠密线性求解器 LU分解 fork-join模型 task-based模型 众核CPU

下载PDF 职称材料

基于FP-tree和MapReduce的集合相似度自连接算法 被引量：1

19

作者 冯禹洪 吴坤汉 +4 位作者 黄志鸿 冯洋洲 陈欢欢 白鉴聪 明仲 《计算机研究与发展》 EI CSCD 北大核心 2023年第12期2890-2906,共17页

利用集合相似度自连接算法找出一个集合集中所有相似度大于给定阈值的集合对有着广泛的应用.基于过滤-验证框架和并行分布式计算框架MapReduce的集合相似度连接是近年来的研究热点.但现有算法在阈值低时产生较大规模的候选集,导致性能... 利用集合相似度自连接算法找出一个集合集中所有相似度大于给定阈值的集合对有着广泛的应用.基于过滤-验证框架和并行分布式计算框架MapReduce的集合相似度连接是近年来的研究热点.但现有算法在阈值低时产生较大规模的候选集,导致性能不理想.针对这一问题,提出采用频繁模式树FP-tree及其派生结构FP-tree*将数据压缩在内存中计算集合相似度自连接以减小候选集规模.首先设计并讨论基于现有FP-tree*的集合相似度连接计算及其优缺点,提出遍历效率更高的线性频繁模式树结构模型TELP-tree及基于它的算法TELP-SJ(TELP-tree self join),其包括分别面向构建树和遍历树的2阶段过滤算法,这些算法可以减小树规模和减少树遍历.然后,设计基于MapReduce的并行分布式算法FastTELP-SJ.最后,基于4组真实应用数据集进行3组性能比较实验.实验结果表明FastTELP-SJ算法面向高维大规模集合相似度自连接计算时,包括执行时间、内存占用率、磁盘使用量和可扩展性的运行效率最好. 展开更多

关键词 相似度连接 FP树 MAPREDUCE框架 Jaccard函数 集合

下载PDF 职称材料

大规模电力系统潮流转移比多核并行批处理方法 被引量：9

20

作者 罗彬 李刚 +3 位作者 苗树敏 程春田 吴琛 王森 《中国电机工程学报》 EI CSCD 北大核心 2015年第21期5446-5454,共9页

实现各类预想故障下潮流转移比快速仿真分析是电网安全稳定运行的重要保证。针对现有实际运行方式中潮流转移分析困难问题,提出大规模电力系统潮流转移比多核并行批处理方法。该方法基于广泛使用的商业大系统分析工具,在参数解析分类、... 实现各类预想故障下潮流转移比快速仿真分析是电网安全稳定运行的重要保证。针对现有实际运行方式中潮流转移分析困难问题,提出大规模电力系统潮流转移比多核并行批处理方法。该方法基于广泛使用的商业大系统分析工具,在参数解析分类、故障自动设置及结果解析的基础上,引入深度优先搜索(depth first search,DFS)算法进行孤立节点和孤岛区域检测以保证网络完整性,结合潮流计算合理性的自动判别以实现潮流转移比的批处理分析;同时在多核环境下,构建基于Fork/Join的并行框架,采用"分治模式"递归分解计算任务,从而实现分析方法的多核并行。算例仿真和在云南电网的实际应用验证了所提方法的有效性和快速性。 展开更多

关键词 潮流转移 深度优先搜索 多核并行 fork/join框架 PSD-BPA

原文传递