摘要
Hadoop作为MapReduce的开源实现被越来越多的企业使用。但是当Hadoop集群中出现较多的小作业时,使用其内置的调度算法就会降低整个系统的吞吐率[1]。该文针对这个不足,提出了基于公平调度的延时调度算法。通过设定一定的延时来保证数据的本地性,实验结果表明改进的调度算法可以提高整个系统的吞吐率。
Hadoop is increasingly using for enterprises as an open source implantation of MapReduce.But when Hadoop clusters occur more small job,using its built-in scheduling will reduce the overall system throughput.In this paper,put forward a delay scheduling algo rithm base on fair scheduling aiming at its defect.By setting a delay to ensure the local nature of the data.Experimental results show that the new scheduling algorithm can improve overall system throughput.
作者
李鑫
张鹏
LI Xin,ZHANG Peng（Xi’an University of Architecture and Technology,Xi’an 710055,China）
出处
《电脑知识与技术》
2012年第1期166-168,191,共4页
Computer Knowledge and Technology
基金
校基金资助（QN1106）测试环境由西安建筑科技大学艺术学院视觉传达实验室中省共建项目设备曙光服务器提供支持
