期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息

Hadoop集群性能优化技术研究 被引量：9

Research of Hadoop Performance Tuning Technology
下载PDF
导出
摘要 Hadoop技术已经在互联网领域得到广泛的应用,同时也得到了学术界的普遍关注。该文介绍了Hadoop作为基础数据处理平台仍然存在的问题,阐明了Hadoop性能优化技术研究的必然性,并介绍了当前Hadoop优化的三个主要思路：从应用程序角度进行优化、对Hadoop系统参数进行优化和对Hadoop作业调度算法进行优化。Hadoop集群优化对于提高系统性能和执行效率具有重大的意义。 Hadoop technology had been wildly used and research around the internet and academics. The article introduce the reminded problems of Hadoop data processing platform and Illustra Configuration parameters imization the hadoop performace to increase the system performace and efficiency.
作者 辛大欣 刘飞 KIN Da-xin, LIU Fei （Xi＇an Technological University, Xi＇an 710032, China）
机构地区 西安工业大学
出处 《电脑知识与技术》 2011年第8期5484-5486,共3页 Computer Knowledge and Technology
关键词 HADOOP集群 性能优化 配置参数 作业调度 Hadoop cluster performance optimization configuration parameters job scheduler
分类号 TP14 [自动化与计算机技术—控制理论与控制工程]
  • 相关文献

参考文献4

  • 1Zaharia M,Borthakur D,Sarma J S,et,al.Job scheduling for multi-user mapreduce clusters [C].EECS Department,University of California, Berkeley,Tech.Rep,Apr 2009.
  • 2Tian C,Zhou H,He Y.A dynamic mapreduce scheduler for heterogeneous workloads [C]//Proceedings of the 2009 Eighth International Conference on Grid and Cooperative Computing,ser.GCC'09. Washington, DC, USA:IEEE Computer Society,2009:218-224.
  • 3http://developer.yahoo.com/blogs/hadoop/posts/2011/02/mapreduce-nextgen/.
  • 4Xuhui Liu,Jizhong Han.Implementing WebGIS on Hadoop:A case study of improving small file I/O performance on HDFS[Z].CLUSTER, 2009:1-8.

同被引文献67

  • 1蒋春平,黄煜骁,周晓君.基于Kudu的实时业务应用场景解决方案[J].电信科学,2020,36(S01):268-275. 被引量：3
  • 2邓华锋,刘云生,肖迎元.分布式数据流处理系统的动态负载平衡技术[J].计算机科学,2007,34(7):120-123. 被引量：13
  • 3姚宏宇,田溯宁.云计算:大数据时代的系统工程[M].北京:电子工业出版社,2013-1.
  • 4FranksB.驾驭大数据[M].黄海,车皓阳,王悦,译.北京:人民邮电出版社,2013:101-125.
  • 5Mark Lutz.Python学习手册[M].北京:机械工业出版社,2009:659-665.
  • 6Pallis.George.Cloud Computing:The New Frontier of Internet Computing[J].IEEE internet computing,2010,14(5):70-72.
  • 7Dean J,Ghemawat S.MapReduce:Simplified data processing on large clusters.In: Proc.of Association,2004:137-150.
  • 8姚宏宇,田溯宁云计算:大数据时代的系统工程[M].北京:电子工业出版社,2013.
  • 9周洪波.云计算:技术、应用、标准和商业模式[M].北京:电子工业出版社,2011.
  • 10[美]罗顿,著.朱丽,等,译.云计算:企业实施手册[M].北京:机械工业出版社,2011.

引证文献9

二级引证文献51

电脑知识与技术
2011年 第8期

相关作者

内容加载中请稍等...

相关机构

内容加载中请稍等...

相关主题

内容加载中请稍等...

浏览历史

内容加载中请稍等...
;
使用帮助 返回顶部