云制造环境下并行频繁模式增长算法优化 被引量：5

1

作者 王洁 戴清灏 +1 位作者 曾宇 杨东日 《计算机集成制造系统》 EI CSCD 北大核心 2012年第9期2124-2129,共6页

针对云制造环境下的海量数据挖掘,分析了现有并行频繁模式增长算法的实现和不足。研究了利用键值存储系统对其中的计数和分组部分进行优化。利用键值型数据库存储简单、自动增长且有序的方式,将计数和分组的信息存储在了键值型数据库上... 针对云制造环境下的海量数据挖掘,分析了现有并行频繁模式增长算法的实现和不足。研究了利用键值存储系统对其中的计数和分组部分进行优化。利用键值型数据库存储简单、自动增长且有序的方式,将计数和分组的信息存储在了键值型数据库上。通过减少对分布式文件系统的读写,并将计数过程和排序过程并行化执行,优化后的算法减小了存储节点的网络及内存开销。在真实数据集上,通过实验对比了优化前后算法的性能以及对于文件系统I/O的开销。 展开更多

关键词 云制造 并行频繁模式增长算法 键值存储系统 数据挖掘 算法优化

下载PDF 职称材料

基于频繁模式增长算法的2型糖尿病患病风险预测的分析研究 被引量：5

2

作者 韦哲 叶广健 王能才 《中国医学装备》 2016年第5期45-48,共4页

目的：分析基于频繁模式增长（FP-growth）算法的2型糖尿病患病风险预测，避免经典Apriori算法在2型糖尿病相关危险因素分析中执行效率低的缺陷。方法：选取兰州某医院医学信息科2009年1月至2014年3月的2型糖尿病患者的首次病程记录资... 目的：分析基于频繁模式增长（FP-growth）算法的2型糖尿病患病风险预测，避免经典Apriori算法在2型糖尿病相关危险因素分析中执行效率低的缺陷。方法：选取兰州某医院医学信息科2009年1月至2014年3月的2型糖尿病患者的首次病程记录资料及其健康数据档案，根据2型糖尿病相关危险因素分析中的需要，引入更适用于2型糖尿病相关危险因素分析的FP-growth算法。采用C#语言对经典Apriori算法和FP-growth算法进行编程，对比分析两种算法的执行效率。结果：通过对比分析得到两种算法在运行时间与记录数据以及运行时间与支持度两个方面的对比值。结论：FP-growth算法在预测2型糖尿病相关风险因素的分析中执行效率更高，能够找到更多的糖尿病风险因素。 展开更多

关键词 数据挖掘 APRIORI算法 关联规则 频繁模式增长算法 风险分析 糖尿病

下载PDF 职称材料

基于分布式协调系统的并行频繁模式增长算法的优化 被引量：1

3

作者 王洁 戴清灏 李环 《计算机科学》 CSCD 北大核心 2012年第3期170-173,共4页

频繁模式挖掘可以发现数据中频繁出现的模式,是关联规则挖掘的重要步骤。并行频繁模式算法将其应用到并行环境中,以对海量数据进行挖掘。在Apache软件基金会的Mahout项目实现的基础上,对计数和排序阶段以及算法的执行顺序提出了新的优... 频繁模式挖掘可以发现数据中频繁出现的模式,是关联规则挖掘的重要步骤。并行频繁模式算法将其应用到并行环境中,以对海量数据进行挖掘。在Apache软件基金会的Mahout项目实现的基础上,对计数和排序阶段以及算法的执行顺序提出了新的优化策略。优化后的设计将计数信息存储在分布式协调系统上,充分地利用了分布式协调系统的高可用性、适宜存储元数据信息的特点。该设计减小了小文件在分布式文件系统(HDFS)上的开销,同时保留了其优点,还能使计数过程和排序过程并行执行,减小了计算节点的内存开销。对比了文件系统I/O的开销,并分析了实现设计中的难点,为未来的工作打下了基础。 展开更多

关键词 频繁模式增长算法 并行数据挖掘 分布式协调系统 性能优化

下载PDF 职称材料

动车组故障诊断知识挖掘中改进的并行频繁模式增长算法 被引量：4

4

作者 周斌 徐文胜 《计算机集成制造系统》 EI CSCD 北大核心 2016年第10期2450-2457,共8页

针对动车组历史运维数据的知识挖掘问题,从有效利用动车组历史运维数据来指导动车组故障诊断的角度出发,分析了现有并行频繁模式增长算法的实现形式和不足。结合动车组故障诊断的要求,提出利用局部频繁模式树代替全局频繁模式树的数据... 针对动车组历史运维数据的知识挖掘问题,从有效利用动车组历史运维数据来指导动车组故障诊断的角度出发,分析了现有并行频繁模式增长算法的实现形式和不足。结合动车组故障诊断的要求,提出利用局部频繁模式树代替全局频繁模式树的数据挖掘算法。该算法在各主要步骤上均实现了并行处理,优化了局部频繁模式树生成规则,对频繁模式的搜索策略进行了改进。改进后的算法大大提高了关联规则挖掘的效率,挖掘结果很好地保留了故障信息与状态信息之间的关联关系,并合理去除了无效规则。通过对该算法的具体分析与实际测试,表明该算法在动车组故障诊断知识获取过程中具有快速、高效、准确的特点。 展开更多

关键词 故障诊断 动车组 关联规则 并行频繁模式增长算法 局部频繁模式树 MAPREDUCE

下载PDF 职称材料

频繁模式树增长算法在急诊设备压力性损伤评估与管理应对中的价值研究 被引量：6

5

作者 刘红 许艳 +1 位作者 梁妮妮 刘瑞凤 《中国医学装备》 2022年第7期137-141,共5页

目的:基于频繁模式树增长(FP-Growth)算法构建风险评估模型,探讨其在急诊医疗器械相关压力性损伤(MDRPI)评估和管理应对中的应用价值。方法:选取医院接治的489例急诊患者,根据MDRPI评估与管理模式不同将其分为对照组(237例)和观察组(252... 目的:基于频繁模式树增长(FP-Growth)算法构建风险评估模型,探讨其在急诊医疗器械相关压力性损伤(MDRPI)评估和管理应对中的应用价值。方法:选取医院接治的489例急诊患者,根据MDRPI评估与管理模式不同将其分为对照组(237例)和观察组(252例),在患者救治使用的急救设备中对照组采用传统预防模式管理,观察组采用风险评估模式管理,基于FP-Growth算法挖掘临床MDRPI高频诱发因素,从风险评估、设备选用、皮肤监测和健康宣教4个方面进行风险预防和护理管理,对比两组MDRPI发生率、MDRPI临床分期和急诊设备质量的差异性。结果:观察组外伤、心脑血管病、急腹症、妇产、中毒及其他类型急诊患者MDRPI发生率低于对照组,差异有统计学意义(x^(2)=4.200,x^(2)=5.117,x^(2)=6.935,x^(2)=4.636,x^(2)=5.979,x^(2)=5.107;P<0.05);观察组MDRPI患者中1期、2期、3期和4期压力性损伤发生率好于对照组,差异有统计学意义(x^(2)=35.388,x^(2)=4.219,x^(2)=4.450,x^(2)=4.149;P<0.05);观察组相关的急诊科医生、护士和医学工程处工程师及患者对急诊设备临床服务满意度高于对照组,差异有统计学意义(F=7.549,F=24.484,F=8.624,F=6.799;P<0.05)。结论:基于FP-Growth算法的风险评估模型,能够有效检测急诊科MDRPI的高频诱发因素,控制MDRPI发生率和临床分期,提高急诊设备临床服务质量。 展开更多

关键词 急诊设备 压力性损伤 频繁模式树增长(FP-Growth)算法 风险评估 医疗器械相关压力性损伤(MDRPI)

下载PDF 职称材料

基于频繁模式树的一种关联规则挖掘算法及其在铁路隧道安全管理中的应用 被引量：9

6

作者 徐维祥 苏晓军 《中国安全科学学报》 CAS CSCD 2007年第3期25-32,共8页

关联规则的FP-growth算法是数据挖掘中性能较好的一种算法,笔者在分析该算法的基础上进行改造探讨,并提出了一种基于FP-tree的高性能关联规则挖掘算法FP-growthN,该新算法特别适合对那些数据量很大但数据项很稀疏的数据进行挖掘。将新... 关联规则的FP-growth算法是数据挖掘中性能较好的一种算法,笔者在分析该算法的基础上进行改造探讨,并提出了一种基于FP-tree的高性能关联规则挖掘算法FP-growthN,该新算法特别适合对那些数据量很大但数据项很稀疏的数据进行挖掘。将新算法用于挖掘铁路隧道各病害的关联中,通过对成都铁路局管辖的2005年的2787条隧道病害数据的343条重点隧道有效病害数据的关联分析,得出了各隧道病害之间隐藏着的关系。新法的提出及其应用结果对铁路部门制定检测标准和防治隧道病害有一定的指导作用。 展开更多

关键词 数据挖掘 关联规则 频繁项集 频繁模式树 频繁模式增长 隧道病害

下载PDF 职称材料

一种单遍扫描频繁模式树结构 被引量：4

7

作者 谭军 卜英勇 杨勃 《计算机工程》 CAS CSCD 北大核心 2010年第14期32-33,共2页

针对频繁模式增长算法无法适应数据流的无限性和流动性的特点,提出一种新颖的FP-tree的变形结构-SP-tree,只需单遍扫描便能容纳全部数据库信息。为使SP-tree具有与FP-tree一样良好的压缩性能,给出一种有效的动态重构树的方法,称为宽度... 针对频繁模式增长算法无法适应数据流的无限性和流动性的特点,提出一种新颖的FP-tree的变形结构-SP-tree,只需单遍扫描便能容纳全部数据库信息。为使SP-tree具有与FP-tree一样良好的压缩性能,给出一种有效的动态重构树的方法,称为宽度排序方法,该方法能够在挖掘过程中动态地逐条分支地重构树,最终产生一棵频繁递减的前缀树。实验结果表明,SP-tree的压缩性能优于其他单遍扫描的前缀树结构。 展开更多

关键词 数据流 频繁模式增长算法 单遍扫描模式树 宽度排序方法

下载PDF 职称材料

一种高效的闭频繁模式挖掘算法 被引量：4

8

作者 谭军 卜英勇 杨勃 《计算机工程与应用》 CSCD 北大核心 2010年第6期130-132,共3页

为了构造条件FP树,必须两次遍历FP树。提出一种FP阵列技术,直接从FP阵列得到频繁项的计数,从而省略了第一次遍历。为了检查闭频繁项集,采用FP树的一种变形结构,并将它与FP阵列结合起来,提出了一种高效的闭频繁模式挖掘算法。实验表明,... 为了构造条件FP树,必须两次遍历FP树。提出一种FP阵列技术,直接从FP阵列得到频繁项的计数,从而省略了第一次遍历。为了检查闭频繁项集,采用FP树的一种变形结构,并将它与FP阵列结合起来,提出了一种高效的闭频繁模式挖掘算法。实验表明,该算法具有很好的性能。 展开更多

关键词 闭频繁模式增长算法 闭频繁模式树 FP阵列

下载PDF 职称材料

一种基于FP阵列技术的频繁模式挖掘算法 被引量：2

9

作者 谭军 卜英勇 杨勃 《计算机科学》 CSCD 北大核心 2009年第7期208-210,共3页

在FP-growth算法中,为了产生条件FP树,必须扫描FP树两次。提出一种新颖的FP阵列技术,将FP-tree数据结构与FP阵列有效地结合起来,直接从FP阵列得到频繁项的计数,从而省略了第一次扫描,节省了时间。尤其对于稀疏数据库,该算法在执行时间... 在FP-growth算法中,为了产生条件FP树,必须扫描FP树两次。提出一种新颖的FP阵列技术,将FP-tree数据结构与FP阵列有效地结合起来,直接从FP阵列得到频繁项的计数,从而省略了第一次扫描,节省了时间。尤其对于稀疏数据库,该算法在执行时间上比原FP-growth算法具有更优的性能。 展开更多

关键词 频繁模式增长算法 频繁模式树 稀疏数据库 FP阵列

下载PDF 职称材料

更优的快速频繁模式树生成算法 被引量：3

10

作者 喻斌 武友新 《计算机工程与设计》 CSCD 北大核心 2007年第20期4853-4855,共3页

频繁模式增长算法是一种不产生候选频繁项集的关联规则挖掘算法。利用哈希表来存储数据库中事务信息,可以减少对数据库的扫描次数,从而得到一种更优的快速频繁模式树生成算法,即OFP-tree算法。举例说明了该算法的执行过程并对该算法进... 频繁模式增长算法是一种不产生候选频繁项集的关联规则挖掘算法。利用哈希表来存储数据库中事务信息,可以减少对数据库的扫描次数,从而得到一种更优的快速频繁模式树生成算法,即OFP-tree算法。举例说明了该算法的执行过程并对该算法进行了分析和改进,最后阐述了该算法相对于传统频繁模式树生成算法的优越性。 展开更多

关键词 关联规则 关联挖掘 频繁模式增长 频繁模式树 哈希表

下载PDF 职称材料

数据流上一种单遍扫描频繁模式树结构 被引量：1

11

作者 谭军 卜英勇 陈爱斌 《计算机工程与应用》 CSCD 2013年第2期152-154,共3页

针对频繁模式增长算法无法适应数据流的无限性和流动性的特点,提出一种新颖的FP-tree的变形结构——FPS-tree,只需单遍扫描便能获取当前窗口的全部数据库信息。为了在滑动窗口时有效地删除过期窗格和插入新窗格,提出一个新颖的概念——&... 针对频繁模式增长算法无法适应数据流的无限性和流动性的特点,提出一种新颖的FP-tree的变形结构——FPS-tree,只需单遍扫描便能获取当前窗口的全部数据库信息。为了在滑动窗口时有效地删除过期窗格和插入新窗格,提出一个新颖的概念——"尾结点",FPS-tree中每条路径上的窗格信息只保持在尾结点里。实验结果表明FPS-tree的压缩性能要优于其他单遍扫描的前缀树结构。 展开更多

关键词 数据流 频繁模式增长算法 单遍扫描模式树 尾结点

下载PDF 职称材料

基于Spark的并行频繁项集挖掘算法 被引量：2

12

作者 毛伊敏 吴斌 +1 位作者 许春冬 张茂省 《计算机集成制造系统》 EI CSCD 北大核心 2023年第4期1267-1283,共17页

针对大数据环境下基于Spark的频繁模式增长(FP-Growth)算法存在创建条件频繁模式树(FP-tree)时空效率低,节点间通信开销大,以及冗余搜索等问题,提出了基于Spark的并行频繁项集挖掘算法(PAFMFI-Spark)。首先,该算法提出非负矩阵分解策略(... 针对大数据环境下基于Spark的频繁模式增长(FP-Growth)算法存在创建条件频繁模式树(FP-tree)时空效率低,节点间通信开销大,以及冗余搜索等问题,提出了基于Spark的并行频繁项集挖掘算法(PAFMFI-Spark)。首先,该算法提出非负矩阵分解策略(SNMF),通过提供支持度计数查询和分解储存支持度计数的矩阵,解决了创建条件FP-tree的时空效率低的问题;其次,提出基于遗传算法的分组策略(GS-GA),均衡分配频繁1项集至各节点,解决了节点间的通信开销大的问题;最后,提出高效缩减树结构策略(ERTSS),缩减FP-tree树结构,解决了冗余搜索的问题。实验结果验证了PAFMFI-Spark算法的可行性以及相较于其他挖掘算法的性能优势,所提算法能有效适应各种数据的频繁项集挖掘。 展开更多

关键词 大数据 Spark框架 并行频繁项集挖掘 频繁模式增长算法 非负矩阵分解

下载PDF 职称材料

采用映射哈希表的频繁模式挖掘方法

13

作者 陈茵 闪四清 《计算机工程与应用》 CSCD 北大核心 2008年第36期164-167,共4页

大多数对频繁模式挖掘算法的研究都着眼于逻辑层面算法过程的改进,而对数据在计算机内存中的物理存储方式的探索相对较少。以FP-Tree存储结构和FP-Growth算法为基础,提出了FP-Tree头表的顺序存储方式,并在此基础上,利用基于频繁项ID映... 大多数对频繁模式挖掘算法的研究都着眼于逻辑层面算法过程的改进,而对数据在计算机内存中的物理存储方式的探索相对较少。以FP-Tree存储结构和FP-Growth算法为基础,提出了FP-Tree头表的顺序存储方式,并在此基础上,利用基于频繁项ID映射的哈希表对FP-Tree的存储方式进行了改进,提出了与之相对应的频繁模式挖掘算法。实验结果表明该算法是快速和有效的。 展开更多

关键词 关联规则 频繁模式 频繁模式树 频繁模式增长 哈希表 映射

下载PDF 职称材料

基于频繁模式树的频繁连通闭图集挖掘算法

14

作者 刘振 杨路明 彭佳扬 《计算机技术与发展》 2009年第5期37-40,44,共5页

随着频繁模式挖掘的深入研究,图模型被广泛地应用于为各种事务建模,因此图挖掘的研究显得越来越重要。文中针对唯一标识的有向连通图模型,基于频繁模式树结构,改进了频繁模式增长算法挖掘频繁连通闭合子图。使用生物代谢路径数据集的实... 随着频繁模式挖掘的深入研究,图模型被广泛地应用于为各种事务建模,因此图挖掘的研究显得越来越重要。文中针对唯一标识的有向连通图模型,基于频繁模式树结构,改进了频繁模式增长算法挖掘频繁连通闭合子图。使用生物代谢路径数据集的实验证明,这种算法能有效地挖掘出唯一标识的有向连通图集中的频繁闭图集,一次运算可以挖掘出多个阈值的最大频繁子图集。这种算法适用于以唯一标识的有向连通图建模的网络或图集,可以应用到基于图简化模型的生物网络的子图挖掘任务中。 展开更多

关键词 子图挖掘 频繁模式树 频繁模式增长 频繁闭图集 生物网络

下载PDF 职称材料

基于SQL的频繁模式挖掘的研究与实现

15

作者 李桂杰 张集祥 姜庆月 《计算机应用与软件》 CSCD 北大核心 2006年第7期46-48,62,共4页

频繁模式挖掘是多种数据挖掘应用中的关键问题。以一种高效的频繁模式挖掘算法FP-growth算法为例,利用关系数据库中的表来存储频繁模式树FP-tree,通过标准SQL语言及O rac le数据库PL/SQL编程技术实现了这种基于SQL的频繁模式挖掘方法,... 频繁模式挖掘是多种数据挖掘应用中的关键问题。以一种高效的频繁模式挖掘算法FP-growth算法为例,利用关系数据库中的表来存储频繁模式树FP-tree,通过标准SQL语言及O rac le数据库PL/SQL编程技术实现了这种基于SQL的频繁模式挖掘方法,并给出了该方法较为详细的实现步骤。 展开更多

关键词 频繁模式挖掘 结构化查询语言 频繁模式树 频繁模式增长

下载PDF 职称材料

序列模式挖掘在电力系统警报信息处理中的应用 被引量：9

16

作者 范习辉 张焰 《电力系统自动化》 EI CSCD 北大核心 2005年第13期49-52,共4页

提出了基于时间窗的序列模式挖掘算法,并将其应用于电力系统警报信息的智能处理,由此产生的规则可以补充故障诊断专家系统的知识库,为其提供警报间的时序规则知识,从而更加有效地指导电力系统的故障定位与诊断。通过一个算例说明了所提... 提出了基于时间窗的序列模式挖掘算法,并将其应用于电力系统警报信息的智能处理,由此产生的规则可以补充故障诊断专家系统的知识库,为其提供警报间的时序规则知识,从而更加有效地指导电力系统的故障定位与诊断。通过一个算例说明了所提出的算法的可行性和有效性。 展开更多

关键词 警报处理 序列模式 频繁模式增长 时间窗

下载PDF 职称材料

基于优化的FP-Tree的频繁闭合项集挖掘算法

17

作者 颜伟 苏兆锋 周钦亮 《曲阜师范大学学报（自然科学版）》 CAS 2009年第2期57-61,共5页

在经典的频繁闭合项集挖掘算法中,如Closet与Closet+,当条件模式数据库很庞大时,频繁项集的数目将会急剧增长,算法的效率会逐步恶化,并且算法挖掘结果的有效性也随着大量冗余模式的产生而下降.本文首先针对传统的FP-tree的算法,给出了... 在经典的频繁闭合项集挖掘算法中,如Closet与Closet+,当条件模式数据库很庞大时,频繁项集的数目将会急剧增长,算法的效率会逐步恶化,并且算法挖掘结果的有效性也随着大量冗余模式的产生而下降.本文首先针对传统的FP-tree的算法,给出了一种改进的FP-tree算法,然后在新算法的基础上,提出新的频繁闭合项集挖掘算法,该算法只需把FP-Tree中所有由叶子结点到根结点的路径遍历一遍,就可以得到各项的所有子条件模式基,避免了传统FP-tree算法在同一条路径上向前回溯比较的繁琐.实验表明优化后的算法避免了资源的耗费,减少了频繁闭合项集挖掘的运算开销,大大提高了数据挖掘的效率. 展开更多

关键词 数据挖掘 闭合项集 频繁模式增长

下载PDF 职称材料

一种新的高效生成FP-Tree条件模式基的算法 被引量：7

18

作者 周钦亮 李玉忱 公爱国 《计算机应用》 CSCD 北大核心 2006年第6期1418-1421,共4页

FP-Tree模式的提出,提高了挖掘效率,是关联规则挖掘史上的一个历程碑。频繁模式增长算法在求取条件模式基时,重复遍历FP-Tree的路径,造成了性能上的浪费。针对此问题,提出一种解决方法,即在遍历FP-Tree每条由叶子到根路径过程中,依次将... FP-Tree模式的提出,提高了挖掘效率,是关联规则挖掘史上的一个历程碑。频繁模式增长算法在求取条件模式基时,重复遍历FP-Tree的路径,造成了性能上的浪费。针对此问题,提出一种解决方法,即在遍历FP-Tree每条由叶子到根路径过程中,依次将路径上的所有结点对应项的条件模式基信息求出并保存,避免了同一路径的重复遍历。理论分析和实验结果表明,修改后的算法的性能明显优于原算法。 展开更多

关键词 数据挖掘 关联规则 频繁模式增长 条件模式基

下载PDF 职称材料

基于数组和辅助项头表的快速频繁项集挖掘算法 被引量：2

19

作者 杜媛 张世伟 《中国计量大学学报》 2019年第1期78-84,共7页

目的:针对FP-growth算法项结点查询耗时,频繁项集挖掘需要不断产生条件FP-tree等问题,提出了一种基于数组和辅助项头表的快速频繁项集挖掘算法。方法:首先算法使用Array-structure代替FP-tree;然后使用具有两层可hash结构的辅助项头表... 目的:针对FP-growth算法项结点查询耗时,频繁项集挖掘需要不断产生条件FP-tree等问题,提出了一种基于数组和辅助项头表的快速频繁项集挖掘算法。方法:首先算法使用Array-structure代替FP-tree;然后使用具有两层可hash结构的辅助项头表取代频繁项集头表,并存储项结点在Array-structure上的位置信息,结合数组可被索引和hash结构特性快速定位项结点;最后利用辅助项头表上存储的项结点信息直接挖掘频繁项集,无需生成条件FP-tree。结果:与FP-growth等算法相比,该算法在不同类型的数据集上极大地缩短了算法的执行时间。结论:基于数组和辅助项头表的快速频繁项集挖掘算法在密集型和稀疏型数据集上都具有更好的挖掘性能和更高的执行效率。 展开更多

关键词 计量学 关联规则 频繁项集 最小支持度 频繁模式增长

下载PDF 职称材料

关联规则技术在电力市场营销分析中的应用 被引量：23

20

作者 侯雪波 田斌 +1 位作者 葛少云 路志英 《电力系统及其自动化学报》 CSCD 北大核心 2005年第2期67-72,共6页

关联规则是一种重要的数据挖掘技术。结合电力行业的特殊性,将关联规则应用于对电力市场营销分析中。采取K-Means聚类技术实现对历史数据的离散化处理,以便进行知识归纳,运用关联规则的FP-Growth算法搜索所有的强关联规则,这些强关联规... 关联规则是一种重要的数据挖掘技术。结合电力行业的特殊性,将关联规则应用于对电力市场营销分析中。采取K-Means聚类技术实现对历史数据的离散化处理,以便进行知识归纳,运用关联规则的FP-Growth算法搜索所有的强关联规则,这些强关联规则中蕴含着电量销售与电价、气温、降水等影响因素之间的关联关系。以某市的实际电力营销数据为例,说明了关联规则的分析方法对电力市场营销具有一定的辅助决策意义。 展开更多

关键词 电力市场营销 数据挖掘 关联规则 频繁模式增长算法

下载PDF 职称材料