期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息

一种基于SSD的高性能Hadoop系统的设计与应用 被引量：1

下载PDF
导出
摘要 Hadoop已经成为大数据平台的事实标准,当用户要求它成为全栈平台时,MapReduce为批处理而设计的局限日益显现。文中将SSD引入大数据的内存缓存存储解决方案,阐述了SSD和HDD的混合存储架构;同时,结合高效的计算模型Spark等优化技术,设计了一种基于SSD的高性能Hadoop系统,分别有效地解决大数据计算系统的性能问题和存储空间问题,实验性能评测显示取得了显著效果。
作者 陆宏治 邹时容
机构地区 广州供电局
出处 《科技资讯》 2015年第29期1-2,共2页 Science & Technology Information
关键词 大数据 HADOOP SPARK SSD
分类号 TP311 [自动化与计算机技术—计算机软件与理论]
  • 相关文献

参考文献8

  • 1Fabian Suchane, Gerhard Weikum. Knowledge harvest- ing in the big data era [C]//Proc of the 40th ACM SIGMOD Int Conf on Management of Data.New York: ACM, 2013 : 933-938.
  • 2Apache Hadoop [EB/OL].[2015-02-07].http://hadoop. apache, org.
  • 3HDFS Architecture-[EB/OL]. [2015-02-07]. http :// hadoop, apache, org/docs/current/hadoop-project-dist/ hadoop-hdfs/HdfsDesign, html.
  • 4SSD White Paper [EB/OL].[2015-02-07]. http://www. samsung, com/global/business/semiconductor/minisite/ SSD/global/iftml/whiteaDer/whiteDaoer. html.
  • 5陈志广,肖侬,刘芳,杜溢墨.一种用磁盘备份SSD的高性能可靠存储系统[J].计算机研究与发展,2013,50(1):80-89. 被引量：11
  • 6杨濮源,金培权,岳丽华.一种时间敏感的SSD和HDD高效混合存储模型[J].计算机学报,2012,35(11):2294-2305. 被引量：17
  • 7Apache Hadoop [EB/OL]. [2015-02-07]. http://hadoop. apache, org/docs/r2,6,0/hadoop-project-dist/hadoop- hdfs/HdfsU serGuide, html.
  • 8Arpit Agarwal. Heterogeneous Storages in HDFS [EB/ OL]. (2013-11-20)[2015-02-07] https://issues, apache. org/jira/secure/attachment/12515751 /20131125- HeterogeneousStorage. pdl.

二级参考文献26

  • 1杜溢墨,肖侬,刘芳,陈志广,欧洋.MuLe-RAID:面向大容量高性能SSD的层次化RAID[J].计算机研究与发展,2012,49(S1):111-117. 被引量：3
  • 2Lee S W, Park D J, Chung T S, Lee D H, Park S, Song H J. A log buffer-based flash translation layer using fully asso- ciative sector translation. ACM Transactions on Embedded Computing Systems (TECS), 2007, 6(3): 18.
  • 3Park D, Debnath B, Du D. CFTL: A convertible flash translation layer adaptive to data access patterns//Proceedings of the ACM SIGMETRICS International Conference on Meas- urement and Modeling of Computer Systems. New York, USA, 2010:365-366.
  • 4Ma D, Feng J, Li G. Lazyftl: A page-level flash translation layer optimized for nand flash memory//Proceedings of the 2011 International Conference on Management of Data (SIGMODll). Athens, Greece, 2011:1-121.
  • 5Graefe G. The five-minute rule twenty years later, and how flash memory changes the rules//Proceedings of the 3rd In- ternational Workshop on Data Management on New Hard- ware(DaMoN'07). New York, USA, 2007: 6.
  • 6Kgil T, Roberts D, Mudge T. Improving NAND flash based disk caches//Proceedings of the 35tb International Symposi um on Computer Architecture (ISCA ' 08). Beijing, China, 2008:327-338.
  • 7Kgil T, Mudge T. Flashcache: A NAND flash memory file cache for low power web servers//Proceedings of the 2006 International Conference on Compilers, Architecture and Synthesis for Embedded Systems(CASES'06). New York,USA, 2006:103-112.
  • 8Koltsidas I, Viglas S D. Flashing up the storage layer. Pro- ceedings of the VLDB Endowment, 2008, 1(1): 514-525.
  • 9Jung H, Shim H, Park S, Kang S, Cha J. Lruwsr: Integra- tion of LRU and writes sequence reordering for flash memory. IEEE Transactions on Consumer Electronics, 2008, 54(3): 1215-1223.
  • 10Ou Y, HOrder T, Jin P. CFDC: A flash-aware replacement policy for database buffer management//Proceedings of the 5th International Workshop on Data Management on New Hardware(DaMoN'09). New York, USA, 2009: 15-20.

共引文献22

同被引文献8

引证文献1

二级引证文献1

科技资讯
2015年 第29期

相关作者

内容加载中请稍等...

相关机构

内容加载中请稍等...

相关主题

内容加载中请稍等...

浏览历史

内容加载中请稍等...
;
使用帮助 返回顶部