期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息

面向数值模拟数据的HDF5性能优化 被引量：10

HDF5 Performance Optimization for Numerical Simulation Data
下载PDF
导出
摘要 大规模数值模拟数据对可视化分析提出了挑战,I/O是影响可视化交互性能的重要因素.HDF5是科学计算领域广泛采用的存储格式,介绍了HDF5的抽象数据模型、数据读写流程,并使用典型数值模拟数据测试了HDF5的读性能.测试发现HDF5的数据集定位开销较大.根据数值模拟数据的数据块以整数有规律编号的特点,通过在HDF5中增加数据块视图对象来提高读性能.测试表明,该方法可显著加速数据的读取性能. 大规模数值模拟数据对可视化分析提出了挑战,I/O是影响可视化交互性能的重要因素.HDF5是科学计算领域广泛采用的存储格式,介绍了HDF5的抽象数据模型、数据读写流程,并使用典型数值模拟数据测试了HDF5的读性能.测试发现HDF5的数据集定位开销较大.根据数值模拟数据的数据块以整数有规律编号的特点,通过在HDF5中增加数据块视图对象来提高读性能.测试表明,该方法可显著加速数据的读取性能.
作者 沈卫超 曹立强 夏芳 宋磊
机构地区 北京应用物理与计算数学研究所高性能计算中心
出处 《计算机研究与发展》 EI CSCD 北大核心 2012年第S1期314-318,共5页 Journal of Computer Research and Development
基金 中国工程物理研究院科学技术发展基金项目(2010B0403057)
关键词 数值模拟 大规模数据场 HDF5 科学数据管理 numerical simulation large scale dataset HDF5 scientific data management
分类号 TP3 [自动化与计算机技术—计算机科学与技术]
  • 相关文献

参考文献7

  • 1冯金花,陈建政,张雄杰.基于HDF5文件格式的数据管理系统[J].计算机与数字工程,2011,39(2):102-103. 被引量：4
  • 2夏芳,陈虹,宋磊,沈卫超.JADLib-科学计算数据高层I/O软件库[J].计算机工程与科学,2009,31(A01):227-230. 被引量：6
  • 3The HDF Group.HDF5User’’’’s Guide. http://www.hdfgroup.org/HDF5/doc/PSandPDF/HDF5_UG_r187.pdf . 2011
  • 4Lawrence Livermore National Laboratory.Silo User’’s Guide. https://wci.llnl.gov/codes/silo/media/pdf/LLNL-SM- 453191.pdf . 2011
  • 5Rew R,Davis G,Steve Emmerson,et al.The NetCDF users guide. http://www.unidata.ucar.edu/software/netcdf/docs/netcdf.pdf . 2011
  • 6Howison M,Koziol Q,Knaak D,et al.Tuning HDF5for Lustre File Systems. http://www.mcs.anl.gov/events/workshops/iasds10/howison_hdf5_lustre_iasds2010.pdf . 2011
  • 7Gosink L,Shalf J,Stockinger K,et al.HDF5-FastQuery:Accelerating Complex Queries on HDF Datasets using Fast Bitmap Indices. http://crd.lbl.gov/-kewu/ps/LBNL-59602.pdf . 2011

二级参考文献18

  • 1梅清,李浩.CORBA在远程访问HDF5文件系统中的应用[J].湖北工业大学学报,2006,21(4):75-78. 被引量：3
  • 2Siberschatz A,Korth H F,Sudarshan S.数据库系统概念[M].杨冬青,唐世渭,等译.第3版.北京:机械工业出版社,2000.
  • 3Treinish L A. A Function-Based Data Model for Visualization [C]//Proc of the IEEE Computer Society Visualization' 99 Late Breaking Hot Topics, 1999 : 73-76.
  • 4Rew R, Davis G, Emmerson S, et al. The NetCDF Users GuideEEB/OL]. E2008-06 16]. http..//www, unidata, ucar. edu/software/netcdf/docs/netcdf, pdf.
  • 5Brown S A, Franz A1. PDBLib User's Manual[EB/OL].[2007-3-4]. https://wei, llnl. gov/eodes/paet/pdb, html.
  • 6The National Center for Supercomputing Applications University of Illinois at Urbana-Champaign[EB/OL]. [2008-6- 8]. HDF5 Home Page. http://hdL ncsa. uiuc. edu/HDFS.
  • 7Schoof L A, Yarberry V R. EXODUS II: A Finite Element Data Model [EB/OL]. [2008-07-10]. http://endo, sandia. gov/SEACAS/Documentation/exodusII, pdf.
  • 8Miller M C, Childs H, Bonnell K, et al. Silo User's Guide [EB/OL][ 2008-07-15]. https://wei. llnl. gov/silo/media/ pdf/LLNL sm 406516. pdf.
  • 9Miller M C, Reus J F, Matzke R P, etal. Enabling Interoperation of High Performance Scientific Computing Applications: Modeling Xcientific Data with the Sets&Fields (SAF) Modeling System[C]//Proc of Int'l Conf on Computational Science, 2001 : 158-167.
  • 10Dai W W, Aulwes R. Unified Data Modeh A Library for Parallel I/O and Data Management. Nuclear Weapons Highlights 2007[EB/OL]. [2008-09-20]. http://www, lank gov/orgs/adtse/ publications/nw_highlight s_2007 / ehl 2/12_4dai. pdf.

共引文献7

同被引文献87

引证文献10

二级引证文献28

计算机研究与发展
2012年 第S1期

相关作者

内容加载中请稍等...

相关机构

内容加载中请稍等...

相关主题

内容加载中请稍等...

浏览历史

内容加载中请稍等...
;
使用帮助 返回顶部