一种基于多叉树的并行Apriori算法 被引量：12

1

作者 郭方方 梁晓 +2 位作者 王慧强 钱真 陈江涛 《小型微型计算机系统》 CSCD 北大核心 2015年第6期1176-1180,共5页

在云计算环境下,如何在大数据中进行关联规则挖掘是目前研究的重点和热点.目前已有的并行Apriori算法访问数据库频繁,时间复杂度高,且存储开销大.据此提出一种基于多叉树的并行Apriori算法.首先,依据垂直分割的思想,将原事务数据库转换... 在云计算环境下,如何在大数据中进行关联规则挖掘是目前研究的重点和热点.目前已有的并行Apriori算法访问数据库频繁,时间复杂度高,且存储开销大.据此提出一种基于多叉树的并行Apriori算法.首先,依据垂直分割的思想,将原事务数据库转换为布尔型项目数据库并用二进制形式存储.其次,将记录集分割成n个子集,由多个节点并行计算,并使用多叉树结构存储频繁项.方法用于某网络安全态势感知系统后的结果表明,该算法与现有方法相比减小了对数据存储空间的要求,降低了数据库的访问次数,缩短了算法的运行时间. 展开更多

关键词 数据挖掘 关联规则 并行apriori算法 多叉树 二进制存储

下载PDF 职称材料

基于MapReduce的Apriori算法并行化 被引量：13

2

作者 林长方 吴扬扬 +1 位作者 黄仲开 曾少俊 《江南大学学报（自然科学版）》 CAS 2014年第4期411-415,共5页

Apriori是挖掘关联规则最经典的算法之一,针对该算法存在的瓶颈问题研究了基于MapReduce编程框架的简单Apriori并行算法;并在简单Apriori并行算法的基础上提出一种采用固定多阶段结合挖掘策略的改进算法——多阶段并行算法。实验结果表... Apriori是挖掘关联规则最经典的算法之一,针对该算法存在的瓶颈问题研究了基于MapReduce编程框架的简单Apriori并行算法;并在简单Apriori并行算法的基础上提出一种采用固定多阶段结合挖掘策略的改进算法——多阶段并行算法。实验结果表明,改进算法能缩短挖掘时间,提高执行的效率。 展开更多

关键词 云计算 多阶段并行算法 apriori算法

下载PDF 职称材料

Hadoop平台上Apriori算法并行化研究与实现 被引量：26

3

作者 郝晓飞 谭跃生 王静宇 《计算机与现代化》 2013年第3期1-4,8,共5页

分析传统串行关联规则Apriori算法的计算过程以及存在的一些缺点,针对串行算法执行效率低,时间复杂度高以及传统并行计算模式不能处理节点失效,难以处理负载均衡等问题,提出基于Hadoop平台实现并行关联规则算法的设计方法,对传统关联规... 分析传统串行关联规则Apriori算法的计算过程以及存在的一些缺点,针对串行算法执行效率低,时间复杂度高以及传统并行计算模式不能处理节点失效,难以处理负载均衡等问题,提出基于Hadoop平台实现并行关联规则算法的设计方法,对传统关联规则Apriori算法进行了改进,并给出改进算法在Hadoop平台的MapReduce编程模型上的执行流程;在Hadoop平台上对改进后的算法进行单机测试和集群测试,实验结果证明,改进后的算法具有较高的执行效率,良好的加速比和可移植性。 展开更多

关键词 HADOOP 关联规则算法 并行计算 apriori

下载PDF 职称材料

基于Spark的Apriori并行算法优化实现 被引量：12

4

作者 王青 谭良 杨显华 《郑州大学学报（理学版）》 CAS 北大核心 2016年第4期60-64,共5页

针对传统Apriori算法处理速度和计算资源的瓶颈,以及Hadoop平台上Map-Reduce计算框架不能处理节点失效、不能友好支持迭代计算以及不能基于内存计算等问题,提出了Spark下并行关联规则优化算法.该算法只需两次扫描事务数据库,并充分利用S... 针对传统Apriori算法处理速度和计算资源的瓶颈,以及Hadoop平台上Map-Reduce计算框架不能处理节点失效、不能友好支持迭代计算以及不能基于内存计算等问题,提出了Spark下并行关联规则优化算法.该算法只需两次扫描事务数据库,并充分利用Spark内存计算的RDD存储项集.与传统Apriori算法相比,该算法扫描事务数据库的次数大大降低;与Hadoop下Apriori算法相比,该算法不仅简化计算,支持迭代,而且通过在内存中缓存中间结果减少I/O花销.实验结果表明,该算法可以提高关联规则算法在大数据规模下的挖掘效率. 展开更多

关键词 并行化 数据挖掘 关联规则

下载PDF 职称材料

云计算环境下Apriori算法的MapReduce并行化 被引量：3

5

作者 李晓飞 《长春工业大学学报》 CAS 2013年第6期736-740,共5页

借助分割数据技术优化了经典的Apriori算法,实现了对候选项集的分组统计。给出了优化Apriori算法的MapReduce编程实现模型,达到了Apriori算法并行化的目的。实验结果表明,该算法能够大量减少键/值对的产生,提高了算法的效率,并且随着挖... 借助分割数据技术优化了经典的Apriori算法,实现了对候选项集的分组统计。给出了优化Apriori算法的MapReduce编程实现模型,达到了Apriori算法并行化的目的。实验结果表明,该算法能够大量减少键/值对的产生,提高了算法的效率,并且随着挖掘频繁项目集节点数的增加,算法的加速比成线性提高。 展开更多

关键词 云计算 apriori算法 MAPREDUCE模型 并行化 数据分割

下载PDF 职称材料

基于Mapreduce的Apriori改进算法

6

作者 李志亮 罗芳 《河南教育学院学报（自然科学版）》 2013年第4期34-36,共3页

由于传统的Apriori算法是串行的并且效率较低,分析了Apriori算法的计算过程,针对其原理设计了一种基于Mapreduce的并行Apriori改进算法.实验结果证明,改进的算法能较好地提高关联规则挖掘的效率,具有接近线性的加速比和良好的应用价值.

关键词 apriori MAPREDUCE 关联规则 数据挖掘 并行计算

下载PDF 职称材料

一种基于Apriori的微博推荐并行算法 被引量：2

7

作者 丛颖 刘其成 张伟 《计算机应用与软件》 CSCD 2015年第8期229-233,共5页

微博作为最大的社会化媒体产品,拥有海量的用户和信息资源。微博推荐是微博个性化服务的重要方面,是解决信息过载问题的有效工具。考虑到微博数据海量性的特点,针对传统串行推荐算法对大数据处理效率低的问题,采用MapReduce模型,提出和... 微博作为最大的社会化媒体产品,拥有海量的用户和信息资源。微博推荐是微博个性化服务的重要方面,是解决信息过载问题的有效工具。考虑到微博数据海量性的特点,针对传统串行推荐算法对大数据处理效率低的问题,采用MapReduce模型,提出和设计一种基于关联规则挖掘算法Apriori的微博推荐并行算法,并在Hadoop平台实现。实验表明,提出的微博推荐并行算法具有较好的加速比和较高的运行效率,证明了该微博推荐并行算法在大数据处理中的高效性。 展开更多

关键词 微博 推荐系统 关联规则 apriori 并行算法 MAPREDUCE

下载PDF 职称材料

基于MapReduce的Apriori前后项约束关联规则改进算法 被引量：3

8

作者 王伟 储泽楠 +2 位作者 韩毅 吴朝霞 焦清局 《信阳师范学院学报（自然科学版）》 CAS 北大核心 2020年第3期448-453,共6页

针对经典的Apriori算法依赖内存,只适用于小规模数据集,在面对海量数据集时显得无能为力以及该算法没有考虑用户的需求情况等问题,提出了基于MapReduce的Apriori前后项约束关联规则改进算法.该方法首先对经典Apriori算法挖掘过程进行了... 针对经典的Apriori算法依赖内存,只适用于小规模数据集,在面对海量数据集时显得无能为力以及该算法没有考虑用户的需求情况等问题,提出了基于MapReduce的Apriori前后项约束关联规则改进算法.该方法首先对经典Apriori算法挖掘过程进行了改进,加入了用户的前后项约束规则,使得在挖掘过程中剪枝的程度更大并且获取到更加精准的规则.然后利用云计算的MapReduce编程技术,对改进的Apriori算法的各个步骤并行化.实验结果表明,改进的算法在处理不同的数据集时有一定的优势,然后经过MapReduce模型并行化后,提高了对海量数据的处理能力和效率,并且具有良好的扩展性. 展开更多

关键词 关联规则 apriori算法 项约束 MAPREDUCE 并行算法 HADOOP

下载PDF 职称材料

基于Hadoop的并行Apriori算法 被引量：1

9

作者 谢建峰 孙剑伟 《信息技术》 2018年第4期129-133,140,共6页

针对经典Apriori算法及其改进算法不能有效处理大规模数据集,提出基于Hadoop-MapReduce编程模型的两种改进算法:HAprioriK,HApriori2。其中HAprioriK需要k个MapReduce Jobs,而HApriori2仅需要2个就能在整个数据集上找到频繁k项集,两种... 针对经典Apriori算法及其改进算法不能有效处理大规模数据集,提出基于Hadoop-MapReduce编程模型的两种改进算法:HAprioriK,HApriori2。其中HAprioriK需要k个MapReduce Jobs,而HApriori2仅需要2个就能在整个数据集上找到频繁k项集,两种改进算法均充分利用了Hadoop平台的计算优势,可以轻松地处理大量数据。采用IBM的数据集进行改进算法有效性的研究,实验结果表明,HApriori2算法在不同规模的数据集和支持度下,能够有效地挖掘频繁项集,具有比HAprioriK更好的性能。 展开更多

关键词 MAPREDUCE 并行apriori算法 数据挖掘

下载PDF 职称材料

Apriori算法改进研究及实现 被引量：1

10

作者 俞益 陈以 张忠林 《微型机与应用》 2014年第10期10-12,共3页

通过对Apriori算法基本原理和性能的研究分析,针对算法存在的不足,提出了一种更高效的基于对频繁项集分组并行的挖掘算法。该算法把频繁k-1项集按照一定规律分组,每组频繁k-1子项集直接产生频繁后子项集;再把每组产生的频繁k子项集合起... 通过对Apriori算法基本原理和性能的研究分析,针对算法存在的不足,提出了一种更高效的基于对频繁项集分组并行的挖掘算法。该算法把频繁k-1项集按照一定规律分组,每组频繁k-1子项集直接产生频繁后子项集;再把每组产生的频繁k子项集合起来,这样每组不仅在自连接时减少了很多判断连接尝试,而且可以并行处理连接、剪枝行为,减少了等待时间,提高了查找频繁项集的速度。经过实验证实,改进后的算法在性能上有很大的提升。 展开更多

关键词 数据挖掘 关联规则 apriori 算法 分组 并行

下载PDF 职称材料

基于线程并行计算的Apriori算法 被引量：6

11

作者 阴爱英 《西安科技大学学报》 CAS 2014年第1期71-74,共4页

针对数据挖掘中经典的Apriori算法在计算频繁项目集时需消耗大量的时间缺点,文中利用多线程并行计算的特点,提出了基于线程并行计算的Apriori算法,该算法是将统计候选项目个数的任务交给多线程来执行,从而达到减少Apriori算法的运行时... 针对数据挖掘中经典的Apriori算法在计算频繁项目集时需消耗大量的时间缺点,文中利用多线程并行计算的特点,提出了基于线程并行计算的Apriori算法,该算法是将统计候选项目个数的任务交给多线程来执行,从而达到减少Apriori算法的运行时间。通过实验数据分析,该算法对减少Apriori算法的运行时间有很大的提高。 展开更多

关键词 线程 并行计算 apriori算法

下载PDF 职称材料

Flink的并行Apriori算法设计与实现 被引量：4

12

作者 倪政君 夏哲雷 《中国计量大学学报》 2018年第2期175-180,共6页

基于Flink平台对并行Apriori算法进行设计和实现.采用MapReduce计算框架对并行Apirori算法的迭代过程进行设计,并将Flink的流处理和内存缓存应用于算法的实现,从而了Apriori算法在并行计算下的挖掘速度.实验结果表明,基于Flink平台实现... 基于Flink平台对并行Apriori算法进行设计和实现.采用MapReduce计算框架对并行Apirori算法的迭代过程进行设计,并将Flink的流处理和内存缓存应用于算法的实现,从而了Apriori算法在并行计算下的挖掘速度.实验结果表明,基于Flink平台实现的并行Apriori算法对大数据处理有着良好的适应能力,并且在算法迭代次数和迭代产生的频繁项集较多的情况下,拥有较快的挖掘速度. 展开更多

关键词 数据挖掘 并行计算 Flink平台 apriori算法

下载PDF 职称材料

基于云计算的家庭智能用电策略 被引量：26

13

作者 郭晓利 于阳 《电力系统自动化》 EI CSCD 北大核心 2015年第17期114-119 133,共7页

对智能小区的居民用电行为展开研究,基于云计算平台和并行关联规则Apriori算法,挖掘出了用户用电行为间的关联规则,根据挖掘出的关联规则使用遗传算法对家庭用电时间分布进行合理规划,达到经济用电的目标,给出了行之有效的智能用电策略... 对智能小区的居民用电行为展开研究,基于云计算平台和并行关联规则Apriori算法,挖掘出了用户用电行为间的关联规则,根据挖掘出的关联规则使用遗传算法对家庭用电时间分布进行合理规划,达到经济用电的目标,给出了行之有效的智能用电策略。由供电局将用户的智能用电策略以短信等交互方式传递给智能用电家庭。经实例验证,文中基于云计算平台和并行Apriori算法的居民用电行为分析结果是有效的,可使居民高效智能用电,节约家庭能耗。 展开更多

关键词 云计算 并行apriori算法 用电行为 智能用电

下载PDF 职称材料

基于Hadoop平台的日志分析模型 被引量：14

14

作者 于兆良 张文涛 +2 位作者 葛慧 艾伟 孙运乾 《计算机工程与设计》 北大核心 2016年第2期338-344,428,共8页

为提高企业网络内海量日志数据的分析效率,构建基于Hadoop平台的日志分析模型。对模型框架进行总体设计,提出一种MapReduce编程模式的Apriori并行化算法,基于该算法对历史日志进行数据挖掘分析,计算用户行为的频繁模式,建立用户正常行... 为提高企业网络内海量日志数据的分析效率,构建基于Hadoop平台的日志分析模型。对模型框架进行总体设计,提出一种MapReduce编程模式的Apriori并行化算法,基于该算法对历史日志进行数据挖掘分析,计算用户行为的频繁模式,建立用户正常行为规则库,将实时日志与规则库中的规则进行模式匹配,实现对用户异常行为的检测。实验结果表明,该模型算法明显提高了日志分析效率。 展开更多

关键词 HADOOP平台 日志分析 MapReduce编程模式 apriori算法 数据挖掘 并行化

下载PDF 职称材料

基于布尔区分矩阵与关联规则挖掘的属性约简算法 被引量：4

15

作者 吕跃进 翁世洲 何朝丽 《计算机应用与软件》 CSCD 北大核心 2012年第10期40-43,116,共5页

通过不同决策类之间的比较首先寻找核属性,进而以核属性为基础构造不含核属性的布尔区分矩阵,并利用吸收律和去重操作简化区分矩阵;然后以区分矩阵为基础,采用类似关联规则挖掘的Apriori算法思想逐级寻找系统的所有约简。理论分析和实... 通过不同决策类之间的比较首先寻找核属性,进而以核属性为基础构造不含核属性的布尔区分矩阵,并利用吸收律和去重操作简化区分矩阵;然后以区分矩阵为基础,采用类似关联规则挖掘的Apriori算法思想逐级寻找系统的所有约简。理论分析和实验表明算法是正确且有效率的。 展开更多

关键词 布尔区分矩阵 属性约简 关联规则挖掘 apriori算法 并行计算

下载PDF 职称材料

流程挖掘在银行服务管理中的应用 被引量：1

16

作者 卢盛祺 李远刚 +1 位作者 管连 周赟 《微型机与应用》 2016年第18期88-92,共5页

随着银行服务信息化的不断发展,银行面临如何从大量的服务数据中提取有价值的信息用以提升服务效率的问题。在银行服务管理系统的实际应用中,由于其业务具有并发性事件多、日志数量大等特点,选择并行Apriori算法进行分析。与传统的Apri... 随着银行服务信息化的不断发展,银行面临如何从大量的服务数据中提取有价值的信息用以提升服务效率的问题。在银行服务管理系统的实际应用中,由于其业务具有并发性事件多、日志数量大等特点,选择并行Apriori算法进行分析。与传统的Apriori算法相比,针对银行业务中并发性业务较多的特点,设计使用了并行Apriori算法,解决了单服务器运行效率随日志数量明显下降的弊端。银行服务管理系统每日会产生大量流程的日志数据,记录每一位参与员工的工作状态,通过调用并行Aporiori算法,挖掘服务流程日志中的关联规则,找出能够高效协作的员工组合。实验结果表明,将并行Apriori算法应用于服务流程日志的关联规则挖掘,使系统可以根据规则将协作关系紧密的员工分配在一起共同处理服务请求,提高了服务效率,取得了合理的应用效果,提高了银行服务管理系统中服务分配的智能。 展开更多

关键词 流程挖掘 关联规则 员工组合 组织优化 并行apriori算法

下载PDF 职称材料

算法隐含并行性的物理模型 被引量：5

17

作者 王鹏 常征 《电子科技大学学报》 EI CAS CSCD 北大核心 2009年第4期588-591,共4页

利用物理学原理对算法的隐含并行性进行了分析,提出算法的不确定性和高熵态是隐含并行性出现的根源,但算法的隐含并行性会导致算法结果的不确定性。智能算法中先验知识确定程序的搜索方向,隐含并行性提供了对解空间的高速并行搜索,为研... 利用物理学原理对算法的隐含并行性进行了分析,提出算法的不确定性和高熵态是隐含并行性出现的根源,但算法的隐含并行性会导致算法结果的不确定性。智能算法中先验知识确定程序的搜索方向,隐含并行性提供了对解空间的高速并行搜索,为研究和设计智能算法提供了理论基础。提高算法的先验信息量和隐含并行能力可以得到具备较高智能水平的算法。 展开更多

关键词 先验知识 熵 高熵态 隐含并行性 不确定性

下载PDF 职称材料

基于Hadoop的多维关联规则挖掘算法研究及应用 被引量：18

18

作者 杨青 张亚文 +1 位作者 张琴 袁佩玲 《计算机工程与科学》 CSCD 北大核心 2019年第12期2127-2133,共7页

传统的Apriori算法要多次扫描数据集,随着数据量的快速增长,传统的Apriori算法已经不能很好地适用于大数据分析,针对该情况设计了IPApriori算法。首先通过剪枝策略设计了一种适用于多维数据的IApriori算法,再将IApriori算法与Hadoop分... 传统的Apriori算法要多次扫描数据集,随着数据量的快速增长,传统的Apriori算法已经不能很好地适用于大数据分析,针对该情况设计了IPApriori算法。首先通过剪枝策略设计了一种适用于多维数据的IApriori算法,再将IApriori算法与Hadoop分布式框架相结合,实现了多维关联规则挖掘算法的并行化。将IPApriori算法运用到手机用户行为预测关联分析中,分析影响手机用户行为的一些主要因素,挖掘出手机用户行为与年龄维度、性别维度、时间维度、地点维度和手机品牌维度属性之间可能存在的某种关联。最后通过实验证明,算法的并行化和建立结构的方法可以降低系统的I/O负荷,提高算法的执行效率。 展开更多

关键词 apriori算法 HADOOP 多维关联规则 并行化

下载PDF 职称材料

基于数据挖掘技术的智能信息处理系统 被引量：1

19

作者 李敬有 邓文新 张昕 《齐齐哈尔大学学报（自然科学版）》 2007年第3期29-32,共4页

着重阐述在数据挖掘阶段提出并改进基于关联规则的Apriori并行算法、基于分类的判定树归纳算法和基于聚类的K簇算法,并将几种算法综合应用到智能信息处理过程中。

关键词 数据挖掘 K簇算法 apriori并行算法 判定树归纳算法

下载PDF 职称材料

联机增量关联规则算法研究 被引量：1

20

作者 徐雄 王锁萍 曹磊 《计算机工程与应用》 CSCD 北大核心 2004年第33期201-202,206,共3页

在数据挖掘应用越来越普及的今天,传统数据挖掘系统的高代价和低效已经成为其更深应用的瓶颈,联机数据挖掘系统由于其自身的集成性正引领着数据挖掘研究新的方向。但联机增量数据挖掘系统中算法也需要作相应的改进才能够适应新的需求。... 在数据挖掘应用越来越普及的今天,传统数据挖掘系统的高代价和低效已经成为其更深应用的瓶颈,联机数据挖掘系统由于其自身的集成性正引领着数据挖掘研究新的方向。但联机增量数据挖掘系统中算法也需要作相应的改进才能够适应新的需求。文章是一篇关于在联机数据挖掘系统中进行关联规则分析的文献,实现了对联机数据挖掘系统中的并行和增量关联规则分析,并根据分析过程给出了实验结论。 展开更多

关键词 数据挖掘 聚类分析 并行 增量apriori

下载PDF 职称材料