期刊文献+
共找到420篇文章
< 1 2 21 >
每页显示 20 50 100
采用Map-Reduce模型的海量电能质量数据交换格式文件快速解析方案 被引量:16
1
作者 曲广龙 杨洪耕 张逸 《电网技术》 EI CSCD 北大核心 2014年第6期1705-1711,共7页
针对现有方案对电能质量监测系统中海量PQDIF文件解析效率低、解析时间长等问题,研究实现了一种基于集群计算架构的海量PQDIF文件快速解析方案。通过Map-Reduce模型来实现海量PQDIF文件的快速并行解析。Map-Reduce模型将数据集的大规模... 针对现有方案对电能质量监测系统中海量PQDIF文件解析效率低、解析时间长等问题,研究实现了一种基于集群计算架构的海量PQDIF文件快速解析方案。通过Map-Reduce模型来实现海量PQDIF文件的快速并行解析。Map-Reduce模型将数据集的大规模操作任务拆分成若干子任务分配给网络上的每一个计算节点(如PC机),实现多计算节点共同协调处理任务,达到提高运行效率的目的。方案采用Java和C++编写,在异构平台间具有较强的可移植性,并且可以通过增加计算节点来提高解析效率,具有较强的可扩展性。通过对海量PQDIF文件进行解析测试,结果表明该方案可以显著提高文件解析效率。 展开更多
关键词 电能质量 PQDIF文件 map-reduce模型 海量数据解析 HADOOP
原文传递
MapReduce模型下数据隐私保护机制研究 被引量:7
2
作者 杨绍禹 王世卿 《计算机科学》 CSCD 北大核心 2012年第12期153-157,共5页
在对海量数据进行分析和处理的过程中,敏感信息的隐私保护显得尤为重要。针对统计类型数据分析服务的效率和安全问题,在Map-Reduce计算模型的基础上引入差别隐私保护机制。在该模型上提出一种带有隐私保护的决策树生成算法,并证明其满足... 在对海量数据进行分析和处理的过程中,敏感信息的隐私保护显得尤为重要。针对统计类型数据分析服务的效率和安全问题,在Map-Reduce计算模型的基础上引入差别隐私保护机制。在该模型上提出一种带有隐私保护的决策树生成算法,并证明其满足ε-差别隐私。实验表明,该算法具有良好的分类精度和满意的计算效率。 展开更多
关键词 map-reduce 差别隐私 统计数据 并行计算 决策树生成算法
下载PDF
动态在线Map/Reduce流数据处理模型及作业拓扑管理协议
3
作者 魏晓辉 李翔 +2 位作者 李洪亮 李聪 庄园 《吉林大学学报(理学版)》 CAS CSCD 北大核心 2015年第5期950-955,共6页
针对海量流数据的在线处理需求,提出一种不同于传统Map/Reduce流数据处理的系统模型Flexible workflow.该模型对workflow处理单元进行在线Map/Reduce并行化,实现了SPATE系统;同时为该系统定义一组关于作业的建立、管理和维护的通信规程... 针对海量流数据的在线处理需求,提出一种不同于传统Map/Reduce流数据处理的系统模型Flexible workflow.该模型对workflow处理单元进行在线Map/Reduce并行化,实现了SPATE系统;同时为该系统定义一组关于作业的建立、管理和维护的通信规程,即拓扑管理协议.SPATE系统解决了在线Map/Reduce流数据处理过程中要求实时性及可扩展性的问题.实验验证了拓扑管理协议的有效性,拓扑管理协议能有效管理Flexible workflow流数据处理模型. 展开更多
关键词 数据处理 FLEXIBLE workflow模型 map/reduce 拓扑管理
下载PDF
基于Map/Reduce的索引数据云存储模型研究 被引量:8
4
作者 陆小丽 何加铭 《宁波大学学报(理工版)》 CAS 2011年第3期29-33,共5页
针对目前搜索引擎引擎系统存在的数据量庞大、访问用户高并发性和搜索延迟性的特点,提出了基于云存储的文档索引分类存储模型,并在索引数据分类存储算法实现过程中,采用基于Map/Reduce编程模型的二次索引词权重计算,以降低分类过程中的... 针对目前搜索引擎引擎系统存在的数据量庞大、访问用户高并发性和搜索延迟性的特点,提出了基于云存储的文档索引分类存储模型,并在索引数据分类存储算法实现过程中,采用基于Map/Reduce编程模型的二次索引词权重计算,以降低分类过程中的模糊粒度.通过实验验证基于该存储模型的算法不仅可以提高海量数据索引库的数据处理效率,而且在一定程度上降低了检索系统查询延迟,提高了搜索效率. 展开更多
关键词 搜索引擎 权重 map/reduce 索引
下载PDF
基于Map/Reduce并行编程模型的XBRL维度数据解析算法 被引量:1
5
作者 朱健鹏 王颖 杨诚 《中国科学院大学学报(中英文)》 CAS CSCD 北大核心 2014年第1期124-129,共6页
从XBRL维度数据处理的角度,研究大规模半结构化数据处理技术,提出一种基于Map/Reduce并行编程模型的XBRL维度数据解析算法.该算法在Map/Reduce编程模型和StAX流式解析技术的基础上,针对XBRL财务报告中各XML文件之间较复杂的数据引用关系... 从XBRL维度数据处理的角度,研究大规模半结构化数据处理技术,提出一种基于Map/Reduce并行编程模型的XBRL维度数据解析算法.该算法在Map/Reduce编程模型和StAX流式解析技术的基础上,针对XBRL财务报告中各XML文件之间较复杂的数据引用关系,以整份XBRL财务报告为处理的最小单位,结合并行技术提取维度事项所包含的数据,再处理业务语义数据,从而实现复杂XBRL维度数据的解析.性能比较分析表明,该算法在大规模XBRL数据处理方面具有显著优势. 展开更多
关键词 XBRL 半结构化数据处理 数据处理 map reduce XBRL维度
下载PDF
基于Map/Reduce的改进选择算法在云计算的Web数据挖掘中的研究 被引量:13
6
作者 方少卿 周剑 张明新 《计算机应用研究》 CSCD 北大核心 2013年第2期377-379,395,共4页
针对目前在搜索方面的数据量大、搜索延迟的特点,提出了基于云计算的Web挖掘的搜索模型。采用提出的基于Map/Reduce模型的改进型算法,通过仿真实验验证了该算法的可行性,在一定程度上减少了搜索的代价,提高了搜索效率。
关键词 云计算 WEB数据挖掘 map reduce
下载PDF
基于MapReduce与相关子空间的局部离群数据挖掘算法 被引量:41
7
作者 张继福 李永红 +1 位作者 秦啸 荀亚玲 《软件学报》 EI CSCD 北大核心 2015年第5期1079-1095,共17页
针对高维海量数据,在Map Reduce编程模型下,提出了一种基于相关子空间的局部离群数据挖掘算法.该算法首先利用属性维上的局部稀疏程度,重新定义了相关子空间,从而能够有效地刻画各种局部数据集上的分布特征;其次,利用局部数据集的概率密... 针对高维海量数据,在Map Reduce编程模型下,提出了一种基于相关子空间的局部离群数据挖掘算法.该算法首先利用属性维上的局部稀疏程度,重新定义了相关子空间,从而能够有效地刻画各种局部数据集上的分布特征;其次,利用局部数据集的概率密度,给出了相关子空间中的局部离群因子计算公式,有效地体现了相关子空间中数据对象不服从局部数据集分布特征的程度,并选取离群程度最大的N个数据对象定义为局部离群数据;在此基础上,采用LSH分布式策略,提出了一种Map Reduce编程模型下的局部离群数据挖掘算法;最后,采用人工数据集和恒星光谱数据集,实验验证了该算法的有效性、可扩展性和可伸缩性. 展开更多
关键词 局部离群数据 相关子空间 map reduce 局部稀疏度 概率密度
下载PDF
基于Map/Reduce的朴素贝叶斯数据分类算法研究 被引量:12
8
作者 崔良中 郭福亮 宋建新 《海军工程大学学报》 CAS 北大核心 2019年第4期7-10,共4页
针对目前机器学习研究领域中的数据分类问题,选择朴素贝叶斯算法作为研究对象。首先,通过对样本数据特征属性的权重进行加权调整,提高算法处理的准确率;然后,改进朴素贝叶斯算法分类器模型,使其能够利用Map/Reduce并行编程模型,采用多... 针对目前机器学习研究领域中的数据分类问题,选择朴素贝叶斯算法作为研究对象。首先,通过对样本数据特征属性的权重进行加权调整,提高算法处理的准确率;然后,改进朴素贝叶斯算法分类器模型,使其能够利用Map/Reduce并行编程模型,采用多计算资源节点并行处理,进一步提高处理速度。最后,对UCI dataset数据库进行实验验证,结果表明:改进后的算法在海量数据分类处理中具有更好的性能表现。 展开更多
关键词 map/reduce并行编程模型 数据分类算法 贝叶斯算法 海量数据处理
下载PDF
基于Map-Reduce的海量数据高效Skyline查询处理 被引量:44
9
作者 丁琳琳 信俊昌 +1 位作者 王国仁 黄山 《计算机学报》 EI CSCD 北大核心 2011年第10期1785-1796,共12页
Skyline查询已成为现今数据库和信息检索领域的研究热点之一,伴随着人类可以采集和利用的数据信息的急剧增长,使得如何处理海量数据的Skyline查询成为急需解决的问题.近年来兴起的Map-Reduce编程框架能够有效地处理基于海量数据的应用,... Skyline查询已成为现今数据库和信息检索领域的研究热点之一,伴随着人类可以采集和利用的数据信息的急剧增长,使得如何处理海量数据的Skyline查询成为急需解决的问题.近年来兴起的Map-Reduce编程框架能够有效地处理基于海量数据的应用,该文既是研究如何运用Map-Reduce编程框架解决海量数据的Skyline查询问题.在Map-Reduce框架下处理Skyline查询的直接方法是扫描整个数据集进而得到查询结果,但是在海量数据Skyline查询问题中,查询结果的数量远小于原始数据集的数据量,对此该文提出了一系列的Skyline查询算法及优化,有效地过滤掉部分不能成为Skyline查询结果的数据对象,大幅度提高了在Map-Reduce框架下处理Skyline查询的效率.大量运行在Hadoop平台上的实验验证了该文所提出的Skyline查询处理算法具有良好的有效性、准确性和可用性. 展开更多
关键词 云计算 SKYLINE查询 map-reduce 海量数据 HADOOP
下载PDF
基于Map-Reduce的大数据缺失值填充算法 被引量:18
10
作者 金连 王宏志 +1 位作者 黄沈滨 高宏 《计算机研究与发展》 EI CSCD 北大核心 2013年第S1期312-321,共10页
缺失值大量存在于现实数据库中,这不仅严重影响了信息查询质量,还会扭曲数据挖掘与数据分析结论,进而误导决策.解决这一问题的最佳方法是预先填充这些丢失的数据.给出了一种基于概率推理的填充分类属性的算法.推理过程是在一个基于属性... 缺失值大量存在于现实数据库中,这不仅严重影响了信息查询质量,还会扭曲数据挖掘与数据分析结论,进而误导决策.解决这一问题的最佳方法是预先填充这些丢失的数据.给出了一种基于概率推理的填充分类属性的算法.推理过程是在一个基于属性相关性而建立起来的贝叶斯网中完成.为实现大数据处理的并行化,在Map-Reduce框架中给出这两个算法.实验部分分别验证了贝叶斯网构建方法和概率推理对分类数据处理的有效性,以及算法在hadoop中运行的并行化程度. 展开更多
关键词 缺失值填充 概率推理 map-reduce
下载PDF
基于云计算的Web数据挖掘Map/Reduce算法的研究 被引量:3
11
作者 王勃 徐静 《计算机与数字工程》 2014年第7期1157-1159,1164,共4页
随着互联网技术的广泛应用,网络上处理海量数据成为网络发展的关键,论文主要介绍了基于云计算的Web数据挖掘Map/Reduce算法的研究,提出了Map/Reduce算法的模型,建立体系架构,通过实验,云计算与该算法相结合,提高了数据挖掘的效率,与计... 随着互联网技术的广泛应用,网络上处理海量数据成为网络发展的关键,论文主要介绍了基于云计算的Web数据挖掘Map/Reduce算法的研究,提出了Map/Reduce算法的模型,建立体系架构,通过实验,云计算与该算法相结合,提高了数据挖掘的效率,与计算仿真平台的以及在该平台下采用虚拟化技术对子云层进行整合,为Web Service提供服务的关键技术,最大限度的发挥了其可用性、协同性、扩展性等特点。 展开更多
关键词 云计算 WEB数据挖掘 map reduce算法
下载PDF
基于Map-Reduce模型的云资源调度方法研究 被引量:9
12
作者 张恒巍 韩继红 +1 位作者 卫波 王晋东 《计算机科学》 CSCD 北大核心 2015年第8期118-123,共6页
为提高Map-Reduce模型资源调度问题的求解效能,分别考虑Map和Reduce阶段的调度过程,建立带服务质量(QoS)约束的多目标资源调度模型,并提出用于模型求解的混沌多目标粒子群算法。算法采用信息熵理论来维护非支配解集,以保持解的多样性和... 为提高Map-Reduce模型资源调度问题的求解效能,分别考虑Map和Reduce阶段的调度过程,建立带服务质量(QoS)约束的多目标资源调度模型,并提出用于模型求解的混沌多目标粒子群算法。算法采用信息熵理论来维护非支配解集,以保持解的多样性和分布均匀性;在利用Sigma方法实现快速收敛的基础上,引入混沌扰动机制,以提高种群多样性和算法全局寻优能力,避免算法陷入局部最优。实验表明,算法求解所需的迭代次数少,得到的非支配解分布均匀。Map-Reduce资源调度问题的求解过程中,在收敛性和解集的多样性方面,所提算法均明显优于传统多目标粒子群算法。 展开更多
关键词 云计算 map-reduce 资源调度 粒子群算法 信息熵 混沌扰动
下载PDF
MapReduce分布编程模型 被引量:2
13
作者 陈明 《计算机教育》 2014年第1期104-107,共4页
MapReduce是分布编程模型,是Hadoop平台的核心算法。文章介绍MapReduce特点、函数式编程范式、映射函数与化简函数、MapReduce模型理论基础和应用方法等内容。
关键词 map函数 reduce函数 分布计算
下载PDF
一种基于MapReduce可公开验证数据来源的水印算法 被引量:1
14
作者 常耀辉 隋莉莉 汪传建 《电子技术与软件工程》 2015年第6期212-213,共2页
本文基于公开验证数据来源的水印算法,采用Map Reduce并行编程框架进行设计,并通过实验证明了该算法的正确性和有效性。
关键词 地理数据 公有水印 水印完整性 map reduce
下载PDF
基于Map-Reduce并行构架和AE的大数据指纹监控识别算法
15
作者 史乙力 张诚一 《计算机测量与控制》 2015年第3期864-866,共3页
传统的指纹识别监控方法在应用到以海量、在线和增量为特征的大数据环境中时,不能自动高效地进行识别;由此设计了一种基于Map-Reduce并行框架和AE的大数据智能监控指纹识别算法;首先,设计了基于AE和BP神经网络的识别模型,采用AE进行指... 传统的指纹识别监控方法在应用到以海量、在线和增量为特征的大数据环境中时,不能自动高效地进行识别;由此设计了一种基于Map-Reduce并行框架和AE的大数据智能监控指纹识别算法;首先,设计了基于AE和BP神经网络的识别模型,采用AE进行指纹图像自动特征提取,然后提出了一种基于比较差异算法对AE进行参数初始化的训练算法,采用BP神经网络进行具体识别;最后,将识别过程分解为Map函数和Reduce函数;在Map-Reduce并行框架下对FVC2004中的指纹数据库进行实验,实验结果表明了文中方法能自动、高效地进行指纹识别。 展开更多
关键词 指纹识别 自动编码器 受限玻尔兹曼机 智能监控 mapreduce
下载PDF
Map-Reduce在媒资系统数据收集中的应用 被引量:2
16
作者 彭四伟 许伟静 《计算机工程与应用》 CSCD 2014年第20期119-123,共5页
在传统媒体资源管理系统中,数据收集工作通常是基于C/S或B/S架构设计的,这对服务器的要求比较高。为了提高服务器的性能,传统的模式就是购买更高性能的服务器,然而,近几年出现的云计算也是一个很好解决办法。采用Apache公司的Hadoop Map... 在传统媒体资源管理系统中,数据收集工作通常是基于C/S或B/S架构设计的,这对服务器的要求比较高。为了提高服务器的性能,传统的模式就是购买更高性能的服务器,然而,近几年出现的云计算也是一个很好解决办法。采用Apache公司的Hadoop Map-Reduce框架来实现数据收集功能,并通过实验,将数据收集工作在传统的单线程模式(传统实现模式)、Hadoop伪分布模式和全分布模式下所需时间进行比较,并对执行结果进行了分析。研究表明:使用Map-Reduce的这种云模式,确实可以缩短执行时间,以达到提高服务器端性能的目的。 展开更多
关键词 媒资管理系统 map-reduce 数据收集 hadoop单线程模式 hadoop伪分布模式 hadoop全分布模式
下载PDF
基于Map Reduce的大数据并行关联数据挖掘算法
17
作者 陈艳 《攀枝花学院学报》 2018年第5期89-92,共4页
关联规则是数据挖掘常用的算法之一,能够根据数据之间的关联程度进行数据的分析和挖掘。关联规则,特别是Apriori算法在关系型数据的处理上得心应手,但是对大数据的处理存在着不能够自动负载均衡及容错能力差等诸多弊端。文章从Map Reduc... 关联规则是数据挖掘常用的算法之一,能够根据数据之间的关联程度进行数据的分析和挖掘。关联规则,特别是Apriori算法在关系型数据的处理上得心应手,但是对大数据的处理存在着不能够自动负载均衡及容错能力差等诸多弊端。文章从Map Reduce算法着手,介绍了大数据下关联规则的相关概念及Map Reduce分布式计算模型,在此基础上介绍了Map Reduce模式下的关联规则算法及其优点,Map Reduce模式下Apriori算法有效实现关联规则的数据挖掘,并且能够在Hadoop下实现负载均衡及容错能力。 展开更多
关键词 map reduce 数据挖掘 HADOOP 关联规则算法 频繁项集
下载PDF
Map Reduce计算模型下并行关联规则挖掘算法研究
18
作者 邵全义 郭雯雯 《电脑知识与技术》 2018年第2Z期22-23,29,共3页
随着大数据时代的来临,数据的量呈现出了爆炸式的增长,在数据挖掘技术上面,传统的算法的弊端逐渐暴露。对于数据挖掘来说,其中最为核心就是关联规则的挖掘,大数据下对数据挖掘的要求不断增加,开发分布式以及并行的关联规则挖掘算法已经... 随着大数据时代的来临,数据的量呈现出了爆炸式的增长,在数据挖掘技术上面,传统的算法的弊端逐渐暴露。对于数据挖掘来说,其中最为核心就是关联规则的挖掘,大数据下对数据挖掘的要求不断增加,开发分布式以及并行的关联规则挖掘算法已经逐渐成为当下数据挖掘的重要课题,而Map Reduce就是一种现今较为流行的分布式并行的计算模型,该文就以Map Reduce计算模型进行探讨,对相关的概念进行介绍,并对未来的数据挖掘算法的走向进行展望,希望能够促进关联规则挖掘算法的发展。 展开更多
关键词 数据挖掘 map reduce 关联规则
下载PDF
基于改进的Map/Reduce及模式空间划分的数据挖掘 被引量:4
19
作者 刘骞 陈明 《微电子学与计算机》 CSCD 北大核心 2011年第8期140-142,共3页
为通过Map/Reduce基于键/值对以处理数据集与模式集的多对多的对应关系的方式实现数据挖掘,解决在较复杂的类型的模式的挖掘中存在的由组合爆炸导致的模式集过大的问题,提出了通过模式空间划分实现将处理数据集与模式集的对应关系的问... 为通过Map/Reduce基于键/值对以处理数据集与模式集的多对多的对应关系的方式实现数据挖掘,解决在较复杂的类型的模式的挖掘中存在的由组合爆炸导致的模式集过大的问题,提出了通过模式空间划分实现将处理数据集与模式集的对应关系的问题转化为处理数据集与子模式集的集合的对应关系的问题的方法,并对Map/Reduce集群的调度机制及组织、处理键/值对的方式进行了改进,增强了Map/Reduce执行模式挖掘任务的能力.在Map/Reduce集群上采用该思路实现某些较复杂类型的模式的挖掘算法时的并行度高于Map/Reduce化的传统算法. 展开更多
关键词 改进的map/reduce 集群 多对多映射 模式空间划分 模式编码 数据挖掘
下载PDF
考虑恶化效应的MapReduce模型下的同类机调度
20
作者 黄基诞 《控制理论与应用》 EI CAS CSCD 北大核心 2020年第7期1628-1636,共9页
本文研究了MapReduce模型中考虑恶化效应的同类机调度问题.在MapReduce模型中每个工件加工必须经过两道工序.其中在第1道工序中每个工件加工任务可分割成若干个子任务且能并行加工,当某个工件中的所有子任务全部完成后,才允许启动第2道... 本文研究了MapReduce模型中考虑恶化效应的同类机调度问题.在MapReduce模型中每个工件加工必须经过两道工序.其中在第1道工序中每个工件加工任务可分割成若干个子任务且能并行加工,当某个工件中的所有子任务全部完成后,才允许启动第2道工序,且第2道工序只能在一台机器上连续加工.本文考虑了工件实际加工时间与其开工前的等待时间呈线性函数关系的恶化效应,构建了以最小化所有工件的逗留时间和为目标函数的混合整数规划模型,同时给出了问题的一个下界,最后设计了采用正余弦差分扰动机制的改进蝙蝠优化算法来求解模型.通过数值仿真对蝙蝠优化算法、遗传算法、CPLEX结果与下界进行对比,验证了模型的正确性和改进算法的有效性. 展开更多
关键词 恶化效应 同类机调度 蝙蝠优化算法 mapreduce 正余弦扰动
下载PDF
上一页 1 2 21 下一页 到第
使用帮助 返回顶部