期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息

基于MapReduce的封闭数据立方 被引量：4

Closed Data Cube Based on MapReduce
下载PDF
导出
摘要 为提高海量级数据仓库分析过程中的数据查询效率,研究基于MapReduce并行处理技术的数据立方构建技术,提出了全局封闭数据立方体的生成算法以及其上的查询处理算法.实验和分析结果表明该算法充分发挥了集群系统的并行处理能力,可以高效地生成全局封闭数据立方体,并且该立方体的存储空间减少了将近40%.其上查询算法的复杂度和网络代价均非常小. 为提高海量级数据仓库分析过程中的数据查询效率,研究基于MapReduce并行处理技术的数据立方构建技术,提出了全局封闭数据立方体的生成算法以及其上的查询处理算法.实验和分析结果表明该算法充分发挥了集群系统的并行处理能力,可以高效地生成全局封闭数据立方体,并且该立方体的存储空间减少了将近40%.其上查询算法的复杂度和网络代价均非常小.
作者 冷芳玲 鲍玉斌 于戈 高伟
机构地区 东北大学信息科学与工程学院
出处 《计算机研究与发展》 EI CSCD 北大核心 2011年第S3期232-238,共7页 Journal of Computer Research and Development
基金 国家自然科学基金项目(61033007) 中央高校基本科研业务费专项资金资助项目(N100304005)
关键词 数据仓库 封闭数据立方 MAPREDUCE data warehouse closed data cube MapReduce
分类号 TP3 [自动化与计算机技术—计算机科学与技术]
  • 相关文献

参考文献20

  • 1游进国,奚建清,张平健,刘艳霞.在PC集群上的封闭立方体计算[J].计算机科学,2009,36(6):153-155. 被引量：1
  • 2李盛恩,王珊.封闭数据立方体技术研究[J].软件学报,2004,15(8):1165-1171. 被引量：25
  • 3Li Xiaolei,Han Jiawei,Gonzalez H.High-dimensional OLAP:a minimal cubing approach. Proc of the30th Intl Conf on Very Large Data Bases . 2004
  • 4Jianzhong Li,Jaideep Srivastava.Efficient Aggregation Algorithms for Compressed Data Warehouses. IEEE Transactions on Knowledge and Data Engineering . 2002
  • 5Xin D,Han J,Li X. et al.Star-Cubing: Computing Iceberg Cubes by Top-Down and Bottom-Up Integration. Proceedings of VLDB . 2003
  • 6Wang W,Lu H,Feng J,et al.Condensed Cube: An Effective Approach to Reducing Data Cube Size. Proceedings of the 18th International Conference on Data Engineering . 2002
  • 7Y Sismanis,A Deligiannakis,Y Kotidis,et al.Hierarchical dwarfs for the rollup cube. Proc of ACM6th Int’l Workshop on Data Warehousing and OLAP . 2003
  • 8Brezany P,Hofer J,Tjoa A M,et al.Towards an openservice architecture for data mining on the grid. Proceedings of the Conference on Database and ExpertSystems Applications . 2003
  • 9YiHong Zhao,Prasad Deshpande,F Naughton.An array-based algorithm for simultaneous multidimensional aggregates. Proceedings of the 1997 ACM SIGMOD Conference on Management of Data . 1997
  • 10Harinarayan V,Rajaraman A,Ullman J D.Implementing data cubes efficiently. Proceedings of the ACM SIGMOD International Conference of Management of Data . 1996

二级参考文献25

  • 1李盛恩,王珊.封闭数据立方体技术研究[J].软件学报,2004,15(8):1165-1171. 被引量：25
  • 2Gray J, Chaudhuri S, Bosworth A, et al. Data Cube: A Relational Aggregation Operator Generalizing Group-By, Cross- Tab, and Sub-Totals [J].Data Mining and Knowledge Discovery, 1997,1 (1) : 29-53
  • 3Sismanis Y, Deligiannakis A, Roussopoulos N, et al. Dwarf: Shrinking the PetaCube [C]//SIGMOD. 2002 : 464-475
  • 4Lakshrnanan L V S, Pei J,Han J W. Quotient Cubes: How to Summarize the Semantics of a Data Cube [C]// VLDB. 2002: 778-789
  • 5Lakshrnanan L V S, Pei J, Zhao Y. QCTrees: An Efficient Summary Structure for Semantic OLAP [C]//SIGMOD. 2003. 64-75
  • 6Beyer K, Ramakrishnan tL Bottom-Up Computation of Sparse and Iceberg CUBEs [C] // SIGMOD. 1999
  • 7Xin D, Shao Z, Han J W, et al. C-Cubing.- Efficient Computation of Closed Cubes by Aggregation-based Checking [C]//ICDE. 2006 : 4
  • 8Ng R T, Wagner A, Yin Y. Iceberg-cube Computation with PC Clusters [C]//SIGMOD. 2001, 30(2) . 25-36
  • 9Frank D, Todd E, Andrew R. The cgmCUBE project: Optimizing parallel data cube generation for ROLAP [J]. Distributed and Parallel Databases, 2006, 19(1): 29-62
  • 10Chen Y, Dehne F, Eavis T. Parallel ROLAP Data Cube Construction on Shared-nothing Multiprocessors [J].Distributed and Parallel Databases, 2004, 15(3):219-236

共引文献24

同被引文献19

引证文献4

二级引证文献9

计算机研究与发展
2011年 第S3期

相关作者

内容加载中请稍等...

相关机构

内容加载中请稍等...

相关主题

内容加载中请稍等...

浏览历史

内容加载中请稍等...
;
使用帮助 返回顶部