期刊文献+
共找到70篇文章
< 1 2 4 >
每页显示 20 50 100
海量数据管理技术在桥梁结构监测中的应用
1
作者 李军 《中国科技期刊数据库 工业A》 2023年第4期169-172,共4页
桥梁结构监测系统收集的数据量庞大,种类繁多,对这些数据的处理要求极高,传统的数据库技术已无法满足海量数据处理的要求。结合工程实例,分析了传统数据库在结构监测中面临的问题和挑战,并提出了一种基于 Hadoop开源框架下的海量数据管... 桥梁结构监测系统收集的数据量庞大,种类繁多,对这些数据的处理要求极高,传统的数据库技术已无法满足海量数据处理的要求。结合工程实例,分析了传统数据库在结构监测中面临的问题和挑战,并提出了一种基于 Hadoop开源框架下的海量数据管理技术,实现海量数据的分布式存储、查询和分析。通过在某高速公路桥梁结构监测系统中应用该技术,实现了数据快速查询和分析,处理结果满足了海量监测数据分析要求。结果表明:该方法能有效提高结构监测数据管理效率和质量,满足结构监测对海量数据处理需求。 展开更多
关键词 海量数据管理技术 桥梁结构 监测
下载PDF
基于网格的分布式虚拟环境仿真海量数据管理 被引量:4
2
作者 刘小虎 蒋从锋 王乘 《计算机工程与设计》 CSCD 北大核心 2008年第4期931-933,共3页
分析了分布式虚拟环境仿真的特点,提出了基于网格的分布式虚拟环境仿真的海量数据管理框架。该框架结构采用分层结构,自底向上依次为网格节点、高性能通信系统、数据存储与处理系统和计算系统。给出了一个基于上述体系结构的原型系统。... 分析了分布式虚拟环境仿真的特点,提出了基于网格的分布式虚拟环境仿真的海量数据管理框架。该框架结构采用分层结构,自底向上依次为网格节点、高性能通信系统、数据存储与处理系统和计算系统。给出了一个基于上述体系结构的原型系统。对该原型系统的仿真结果表明,该海量数据管理体系结构设计符合虚拟环境仿真实时性、稳定性和高可靠性的要求。 展开更多
关键词 网格计算 海量数据管理 虚拟环境 分布式仿真 调度
下载PDF
海量数据管理平台MDMP中并行加载与查询技术研究 被引量:1
3
作者 张丽 杨树强 +2 位作者 李爱平 贾焰 邹鹏 《计算机研究与发展》 EI CSCD 北大核心 2007年第z3期475-480,共6页
海量数据的产生对传统的数据库技术在数据存储、实时数据加载、实时数据查询等方面都提出了新的挑战.海量数据管理平台MDMP就是针对海量数据的存储及管理需求而研制的. MDMP中基于流水的多路并行加载技术提供了高性能的加载,并实现了在... 海量数据的产生对传统的数据库技术在数据存储、实时数据加载、实时数据查询等方面都提出了新的挑战.海量数据管理平台MDMP就是针对海量数据的存储及管理需求而研制的. MDMP中基于流水的多路并行加载技术提供了高性能的加载,并实现了在加载的同时进行实时查询;基于语义缓存的并行查询技术对于MDMP中频繁的聚集查询进行了优化,提高了查询速度.主要研究了这两个关键技术. 展开更多
关键词 海量数据管理平台 并行加载 并行查询
下载PDF
大型遥感影像数据库中的海量数据管理技术 被引量:7
4
作者 简剑锋 尹忠海 +1 位作者 周利华 王任享 《测绘科学与工程》 2006年第4期5-8,共4页
本文对现有遥感影像数据管理方法进行了讨论,针对其存在的不足,提出基于存储区域网(SAN)技术,采用在线、近线、离线的三级存储模式以及分级管理方法解决数据的物理存储问题;采用大对象(LOB)行数据组织,结合数据分块、索引、调... 本文对现有遥感影像数据管理方法进行了讨论,针对其存在的不足,提出基于存储区域网(SAN)技术,采用在线、近线、离线的三级存储模式以及分级管理方法解决数据的物理存储问题;采用大对象(LOB)行数据组织,结合数据分块、索引、调度技术,解决了数据的快速加载问题。工程应用实际表明,该方法能够满足海量遥感影像数据的管理需求。 展开更多
关键词 遥感影像数据 海量数据管理 三级存储模式 LOB
下载PDF
分布式多媒体海量数据管理系统的设计与应用 被引量:2
5
作者 林观銮 曹元大 +1 位作者 梁万强 战莹 《山东科技大学学报(自然科学版)》 CAS 2002年第4期76-78,83,共4页
针对海量多媒体数据管理的特点 ,设计实现了基于分布式通信网络的海量多媒体数据管理系统。在对多媒体数据管理的关键技术进行分析的基础上 ,阐述了该管理系统的设计模型 ,各模块的功能以及系统所具有的分布性、实时性、同步性和良好服... 针对海量多媒体数据管理的特点 ,设计实现了基于分布式通信网络的海量多媒体数据管理系统。在对多媒体数据管理的关键技术进行分析的基础上 ,阐述了该管理系统的设计模型 ,各模块的功能以及系统所具有的分布性、实时性、同步性和良好服务质量的特点。并通过具体的应用实例 。 展开更多
关键词 海量多媒体数据管理系统 分布式通信网络 系统设计 多媒体数据 系统结构
下载PDF
海量数据管理技术在桥梁结构监测中的应用 被引量:1
6
作者 周兵 周锋 《盐城工学院学报(自然科学版)》 CAS 2015年第1期1-4,27,共5页
介绍了桥梁结构监测中海量数据管理的现状,提出大型数据存储技术在桥梁结构监测中的应用,着重论述了海量数据存储与管理系统的总体方案,提出了数据管理平台的总体架构,构建了一套架构先进、性能高效的海量数据存储与管理平台。基于数据... 介绍了桥梁结构监测中海量数据管理的现状,提出大型数据存储技术在桥梁结构监测中的应用,着重论述了海量数据存储与管理系统的总体方案,提出了数据管理平台的总体架构,构建了一套架构先进、性能高效的海量数据存储与管理平台。基于数据库集群技术,通过ORACLE数据库平台,有效地实现了大数据的管理使用,为大型桥梁的状态评估和日后的状态预测、溯源提供数据依据。 展开更多
关键词 桥梁结构健康监测 海量数据管理 ORACLE 数据库集群
下载PDF
海量数据管理平台统一接入访问工具的设计与实现 被引量:1
7
作者 费冬虎 陆生兵 +1 位作者 李也白 丁学峰 《上海电力学院学报》 CAS 2017年第5期466-470,共5页
简要介绍了实时数据库的特点及数据在实时库中的存储结构,利用关系数据库和实时数据库的核心技术,实现了海量数据管理平台对准实时数据的统一接入、存储、共享及访问;着重介绍了3种海量数据接入方式的设计与实现,并分析了各种数据接入... 简要介绍了实时数据库的特点及数据在实时库中的存储结构,利用关系数据库和实时数据库的核心技术,实现了海量数据管理平台对准实时数据的统一接入、存储、共享及访问;着重介绍了3种海量数据接入方式的设计与实现,并分析了各种数据接入方式的适用范围. 展开更多
关键词 实时数据 海量数据管理平台 访问工具
下载PDF
分布式数据库实现海量数据管理
8
作者 杜宇 《中文科技期刊数据库(全文版)工程技术》 2016年第12期96-97,共2页
分布式数据库系统是物理上分散而逻辑上集中的数据库系统,通常使用计算机网络将物理位置分散而管理控制又需要不同程度集中的多个逻辑单位(集中式数据库系统)连接起来,共同组成一个统一的数据库系统。分布式数据库的特点是多数的处理在... 分布式数据库系统是物理上分散而逻辑上集中的数据库系统,通常使用计算机网络将物理位置分散而管理控制又需要不同程度集中的多个逻辑单位(集中式数据库系统)连接起来,共同组成一个统一的数据库系统。分布式数据库的特点是多数的处理在节点完成,各个节点有网络相联系,克服了中心数据库的弱点,提高了系统可靠性个别节点出现问题。分布式数据库的目的在于快速的处理海量数据。将数据分布到多个数据节点中。这样就可以使查询的压力分散到每一个节点上面,面对海量数据时的处理时间大大缩短,降低了对数据库性能的要求,减少了各种业务处理的时候系统资源争夺消耗,相互影响。 展开更多
关键词 分布式数据 海量数据管理 单点故障 集群
下载PDF
借力深度学习 破解海量数据管理
9
作者 张鹏飞 《中国农村金融》 2023年第4期91-93,共3页
信息积累和数据挖掘是农村数字金融发展的关键要素,面对数据滞后性强、数字风险与数据治理能力薄弱等问题,深度学习或将成为农村中小银行数据治理与应用的“超车赛道”.得益于信息技术的迅猛发展,新一轮数字化转型周期不断缩短,技术迭... 信息积累和数据挖掘是农村数字金融发展的关键要素,面对数据滞后性强、数字风险与数据治理能力薄弱等问题,深度学习或将成为农村中小银行数据治理与应用的“超车赛道”.得益于信息技术的迅猛发展,新一轮数字化转型周期不断缩短,技术迭代也在不断加快,数字化转型范围也由金融内部扩展到与银行保险机构相关的各参与主体,这对农村银行保险机构的战略规划调整、风险控制体系和人才队伍建设提出更高要求。 展开更多
关键词 风险控制体系 数字化转型 深度学习 数据治理 战略规划 数据挖掘 海量数据管理 信息技术
原文传递
面向物联网海量传感器采样数据管理的数据库集群系统框架 被引量:96
10
作者 丁治明 高需 《计算机学报》 EI CSCD 北大核心 2012年第6期1175-1191,共17页
物联网是目前国际和国内新兴的一项热门技术,正在给人们的生产和生活方式带来深刻的变革.物联网在带来诸多好处的同时,也给软件乃至整个信息技术领域带来了前所未有的挑战.该文针对物联网传感器采样数据管理中所面临的数据海量性、异构... 物联网是目前国际和国内新兴的一项热门技术,正在给人们的生产和生活方式带来深刻的变革.物联网在带来诸多好处的同时,也给软件乃至整个信息技术领域带来了前所未有的挑战.该文针对物联网传感器采样数据管理中所面临的数据海量性、异构性、时空敏感性、动态流式特性等问题,提出一种面向物联网海量传感器采样数据管理的数据库集群系统框架IoT-ClusterDB.实验结果表明,IoT-ClusterDB具有良好的传感器数据接入与查询处理性能,为物联网海量异构传感器采样数据的存储与查询处理提供了一种可行的解决方案. 展开更多
关键词 物联网 传感器 时空数据 海量数据管理 数据库集群系统
下载PDF
基于Hadoop的海量情报数据管理系统设计与实现 被引量:1
11
作者 石子言 赵国林 胡乔林 《软件导刊》 2015年第5期100-102,共3页
随着计算机技术的快速发展,目前诸多行业信息化程度越来越高,需要处理的数据量也不断增大。对基于Hadoop的海量情报数据的存储和处理方法进行研究,提出一种基于Hadoop技术的海量情报数据管理系统,优化了情报数据存储和处理效率,对提高... 随着计算机技术的快速发展,目前诸多行业信息化程度越来越高,需要处理的数据量也不断增大。对基于Hadoop的海量情报数据的存储和处理方法进行研究,提出一种基于Hadoop技术的海量情报数据管理系统,优化了情报数据存储和处理效率,对提高战场上海量情报的分析处理能力有着非常重要的作用。 展开更多
关键词 Haoop 海量数据管理 情报 数据处理 系统设计
下载PDF
基于分离存储技术的海量图像数据库管理系统的构建及实现
12
作者 黄斌 杨世洪 吴钦章 《计算机应用研究》 CSCD 北大核心 2005年第6期152-153,156,共3页
如何构建海量图像数据库管理系统才能实现图像的快速存储与显示是航测图像应用中的关键问题之一。主要从实现原理、算法流程、快速存储与显示技术三方面讨论了此问题,给出以缩略图替代原始图预览、内存流和特大图像动态显示为主要技术... 如何构建海量图像数据库管理系统才能实现图像的快速存储与显示是航测图像应用中的关键问题之一。主要从实现原理、算法流程、快速存储与显示技术三方面讨论了此问题,给出以缩略图替代原始图预览、内存流和特大图像动态显示为主要技术的整体解决方案,并介绍了一个基于上述技术的实例系统IMAGESee。 展开更多
关键词 海量图像数据管理系统 缩略图 分离存储 动态显示
下载PDF
经济、安全的海量数据生命周期管理方案 被引量:7
13
作者 刘难贵 周俭 贾宏 《计算机工程与设计》 CSCD 北大核心 2009年第19期4544-4548,共5页
介绍了一种海量数据生命周期管理的解决方案。该方案采用三级存储架构,以数据库与文件相结合的方式存储数据。该方案自主管理数据备份、数据恢复、数据迁移、介质检查、介质修复等任务,并将生命周期管理的压力从服务器分解到工作站,使... 介绍了一种海量数据生命周期管理的解决方案。该方案采用三级存储架构,以数据库与文件相结合的方式存储数据。该方案自主管理数据备份、数据恢复、数据迁移、介质检查、介质修复等任务,并将生命周期管理的压力从服务器分解到工作站,使硬件配置更灵活。该方案节省了开发成本,提高了数据的安全性。该方案正应用于某军工项目,性能稳定运行良好。详细介绍了自主管理过程的设计与实现。 展开更多
关键词 生命周期管理 海量数据 海量数据生命周期管理 三级存储 数据库与文件结合
下载PDF
海量历史/准实时数据管理平台深化应用建设的研究 被引量:1
14
作者 常永娟 高丽芳 +3 位作者 辛锐 孔明 杨楠 栾中宇 《电工技术》 2016年第2期74-76,共3页
海量历史/准实时数据管理平台是对电力生产运行过程中各业务应用生成的历史/准实时数据进行按需存储、整合、共享和分析的场所。基于平台前期建设成果,提出深化应用建设完成平台设备模型、多通道数据访问等研究内容,为智能电网建设在历... 海量历史/准实时数据管理平台是对电力生产运行过程中各业务应用生成的历史/准实时数据进行按需存储、整合、共享和分析的场所。基于平台前期建设成果,提出深化应用建设完成平台设备模型、多通道数据访问等研究内容,为智能电网建设在历史/准实时数据存储、加工、交换等方面提供有力支撑。 展开更多
关键词 海量历史/准实时数据管理平台 实时数据 深化应用 一发两收
下载PDF
海量多波束水深数据快速处理及质量检查方法 被引量:8
15
作者 眭海刚 张光华 +2 位作者 卢之杰 肖志峰 肖静环 《人民长江》 北大核心 2008年第6期18-20,28,共4页
针对目前多波束水深数据的管理与应用存在的问题,提出了一种基于水深数据块管理的多时相水深数据组织与管理方法,利用水深数据快速压缩方法来构建水深金字塔模型,采用了实时投影、动态压缩和实时等深线生成技术来提高海量水深数据快速... 针对目前多波束水深数据的管理与应用存在的问题,提出了一种基于水深数据块管理的多时相水深数据组织与管理方法,利用水深数据快速压缩方法来构建水深金字塔模型,采用了实时投影、动态压缩和实时等深线生成技术来提高海量水深数据快速可视化效果。同时还对水深浅点的查找方法进行了探讨,并介绍了基于单源和多源数据的水深数据质量检查方法。最后设计并开发了"水深信息管理系统",该系统在渤海航路扫测中得到了实际应用,取得了良好效果。 展开更多
关键词 多波束水深 海量数据管理 动态压缩 实时投影 实时等深线生成 质量检查
下载PDF
面向海量数据的在线流数据服务框架 被引量:3
16
作者 杨臻 杨志宏 肖汉 《计算机应用与软件》 CSCD 2016年第3期56-61,79,共7页
针对多应用共享海量流数据的问题,提出一个在线流数据服务框架。通过对多应用共享流数据场景进行分析和抽象,设计具有数据层、管理层和接口层的在线流数据服务框架。框架将流数据管理划分为索引建立、注册器、匹配器和内存清理四个组成... 针对多应用共享海量流数据的问题,提出一个在线流数据服务框架。通过对多应用共享流数据场景进行分析和抽象,设计具有数据层、管理层和接口层的在线流数据服务框架。框架将流数据管理划分为索引建立、注册器、匹配器和内存清理四个组成部分,并且通过一个专用的数据管理引擎对流数据进行管理。框架的提出为多应用流数据共享场景提供了一种统一管理流数据的方案。实验结果表明,相对与传统数据库,在线流数据服务框架在流数据写入速度能提高近5倍,在流数据的读取速度上提高4倍左右。 展开更多
关键词 数据 在线服务 海量数据管理 数据服务框架 数据管理引擎
下载PDF
地理信息空间数据管理的对象存储研究 被引量:7
17
作者 刘素茹 陈鑫祥 吴锦超 《地理空间信息》 2022年第3期59-62,共4页
介绍了地理信息空间数据存、管、用的解决方案。从分析海量地理信息数据存储、管理和使用需求出发,围绕数据长期存放、备份能力、数据一致性、数据索引等提出了基于对象存储的分布式架构解决方案。该架构的容量和性能线性扩展,升级替换... 介绍了地理信息空间数据存、管、用的解决方案。从分析海量地理信息数据存储、管理和使用需求出发,围绕数据长期存放、备份能力、数据一致性、数据索引等提出了基于对象存储的分布式架构解决方案。该架构的容量和性能线性扩展,升级替换机制先进,上线后避免了业务中断隐患,经过实际运行,取得了良好效果。分布式对象存储可实现地理信息数据的统一存放和管理,可提升数据的可用性,是广东省自然资源信息化应用的数据基础,将为自然资源大数据分析搭建数据沟通的桥梁。 展开更多
关键词 地理信息数据 海量数据管理 对象存储 数据一致性 数据索引
下载PDF
卫星遥感接收数据的管理与软件开发 被引量:1
18
作者 李军 宋海英 +1 位作者 李海滨 郭思海 《海洋测绘》 2009年第4期70-73,共4页
卫星遥感接收数据是遥感影像应用的重要数据来源,因此对特殊格式的海量接收数据的存储和管理成为卫星遥感应用的重要环节。采用多层存储模式对数据分类、分级存储,建立空间数据库管理空间数据和属性数据。基于ArcEngine开发技术建立卫... 卫星遥感接收数据是遥感影像应用的重要数据来源,因此对特殊格式的海量接收数据的存储和管理成为卫星遥感应用的重要环节。采用多层存储模式对数据分类、分级存储,建立空间数据库管理空间数据和属性数据。基于ArcEngine开发技术建立卫星接收数据管理平台,实现空间数据的快速查询和属性数据的自动入库等高效管理功能。 展开更多
关键词 卫星遥感 海量数据管理 多层存储 ArcEngine开发 数据查询
下载PDF
上一页 1 2 4 下一页 到第
使用帮助 返回顶部