基于HDFS分布式云存储系统的重复数据检测与删除研究

1

作者 王储 《电脑编程技巧与维护》 2024年第1期92-95,共4页

传统最远点采样(FPS)算法、数据类型分析(WFC)算法的去重冗余度高,在同一数据集分块、去重检测中的数据重复率达到70~90%。基于这一实际情况,提出基于Hadoop分布式软件框架、分布式文件系统(HDFS)等云服务技术,建构用于复杂数据结构分... 传统最远点采样(FPS)算法、数据类型分析(WFC)算法的去重冗余度高,在同一数据集分块、去重检测中的数据重复率达到70~90%。基于这一实际情况,提出基于Hadoop分布式软件框架、分布式文件系统(HDFS)等云服务技术,建构用于复杂数据结构分析、数据分块去重的HDFS-SDBS云存储管理系统,使用基于文件相似度的抽样删除索引(SDBS)算法进行文件数据分块、哈希值(Hash)计算、随机抽样的相似度判定,利用元数据索引查重方式完成输入文件数据、内存数据的比对,删除相似度过高的重复数据,以提升云环境下的数据存储效率与准确率。 展开更多

关键词 HDFS-SDBS 分布式云存储系统 重复数据检测 删除

下载PDF 职称材料

喷泉码的分布式云存储教学系统设计

2

作者 袁磊 付饶 +1 位作者 沈钰 任秀杰 《实验室研究与探索》 CAS 北大核心 2023年第11期196-200,228,共6页

为满足新工科建设和物联网课程教学的需求,结合存储和纠删码领域的前沿知识,提出了一套基于喷泉码的分布式云存储教学系统,将物联网中传输层协议与喷泉码特性灵活结合。以“物联网技术及应用”课程为例,介绍了基于喷泉码的分布式云存储... 为满足新工科建设和物联网课程教学的需求,结合存储和纠删码领域的前沿知识,提出了一套基于喷泉码的分布式云存储教学系统,将物联网中传输层协议与喷泉码特性灵活结合。以“物联网技术及应用”课程为例,介绍了基于喷泉码的分布式云存储教学系统开展分层次实验教学的具体案例——传统三副本+TCP模式分布式云存储系统的实现与喷泉码+UDP模式分布式云存储系统的实现。实践表明,通过该系统的使用,学生可以有效将理论学习与实际应用相结合,锻炼自身编程能力和工程实践能力。 展开更多

关键词 实验教学 喷泉码 分布式云存储

下载PDF 职称材料

基于门限属性加密的安全分布式云存储模型 被引量：4

3

作者 吴胜艳 许力 林昌露 《计算机应用》 CSCD 北大核心 2013年第7期1880-1884,1902,共6页

针对云存储存在越来越多的安全问题,设计了一种新的基于门限属性加密的安全分布式云存储模型。该模型由加密、存储、解密三个阶段组成且均具有分布式特点。利用基于属性加密体制不仅提高数据存储的安全性,而且多属性服务器的模式也使得... 针对云存储存在越来越多的安全问题,设计了一种新的基于门限属性加密的安全分布式云存储模型。该模型由加密、存储、解密三个阶段组成且均具有分布式特点。利用基于属性加密体制不仅提高数据存储的安全性,而且多属性服务器的模式也使得该模型能支持门限解密功能及任意个属性服务器的加入与撤出问题;在存储阶段使用的分布式删除码可充分保障模型的健壮性,且该模型能抵抗共谋攻击。在一些特有云环境中,该模型可向用户提供较好的安全云存储服务。 展开更多

关键词 分布式云存储 云计算 门限属性加密 纠删码

下载PDF 职称材料

基于区块链的可公开验证分布式云存储系统 被引量：10

4

作者 黑一鸣 刘建伟 +1 位作者 张宗洋 喻辉 《信息网络安全》 CSCD 北大核心 2019年第3期52-60,共9页

大数据时代,用户将有价值的数据上传云端以实现资源共享,这对云存储服务的安全性和可靠性提出了更高要求。目前云存储服务通过分布式存储来保证数据安全性,但云端数据仍集中于存储服务商,且完整性验证基于第三方。此外,传统云存储模式... 大数据时代,用户将有价值的数据上传云端以实现资源共享,这对云存储服务的安全性和可靠性提出了更高要求。目前云存储服务通过分布式存储来保证数据安全性,但云端数据仍集中于存储服务商,且完整性验证基于第三方。此外,传统云存储模式依赖于服务商的设备,没有充分利用用户闲置存储。文章基于区块链共识机制及其去中心化等特点提出一种分布式存储系统。该系统设置奖励机制促使全网节点参与数据存储服务,提高全网存储空间利用率,并引入智能合约保证数据服务交易公平。相比于现有基于区块链的分布式存储系统,文章系统的存储证明简洁高效,可实现链上链下相结合的数据查询和数据完整性公开验证,并保证了链下微支付的公平性。安全性分析和合约测试实验表明,文章系统能实现公平的数据存储、查询和完整性公开验证。 展开更多

关键词 分布式云存储 区块链 智能合约 公平支付 公开验证

下载PDF 职称材料

基于对象和分布式云存储服务的医联影像云资源管理系统的研究 被引量：2

5

作者 施冬生 李泽宇 +1 位作者 杨佳晨 何萍 《中国医疗设备》 2021年第8期98-101,127,共5页

针对医联影像数据急剧式增长,传统的磁盘阵列式块存储已经无法满足日益增长的存储需求的问题,从阐述国内外医疗机构医学影像数据存储的现状入手,在分析对象云存储和分布式云存储技术的基础上,提出一种基于对象和分布式云存储的影像云资... 针对医联影像数据急剧式增长,传统的磁盘阵列式块存储已经无法满足日益增长的存储需求的问题,从阐述国内外医疗机构医学影像数据存储的现状入手,在分析对象云存储和分布式云存储技术的基础上,提出一种基于对象和分布式云存储的影像云资源管理系统。分别对系统架构、组网设计和系统实现加以论述,重点介绍了对象和分布式云存储技术。采用基于对象和分布式云存储技术的影像云资源管理系统,有效地提高了数据存储的安全性和影像调阅效率,降低了运维成本,也为各级医院的影像数据存储和管理工作提供了一种新的借鉴方式。 展开更多

关键词 对象云存储 分布式云存储 云资源管理 多业务传送节点

下载PDF 职称材料

船联网中的分布式云存储关键技术研究

6

作者 王伟强 《舰船科学技术》 北大核心 2016年第5X期160-162,共3页

首先设计船联网中的分布式云存储系统架构,指出用户应用层、元数据服务层和数据块服务层各个层的功能;然后对其中的云数据服务层中的数据复制和一致性问题进行探讨,根据云存储的分布式特点,在传统的Paxos算法基础上增加了监控机制,以此... 首先设计船联网中的分布式云存储系统架构,指出用户应用层、元数据服务层和数据块服务层各个层的功能;然后对其中的云数据服务层中的数据复制和一致性问题进行探讨,根据云存储的分布式特点,在传统的Paxos算法基础上增加了监控机制,以此降低通信的耗时,节省通信带宽;最后通过与传统的Paxos算法和直接提交协议算法进行比较,说明本文改进的算法能够有效地保持数据一致性。 展开更多

关键词 分布式云存储 改进paxos 元数据复制

下载PDF 职称材料

分布式云存储系统的数据迁移优化策略浅析 被引量：1

7

作者 吴文蔚 《山西电子技术》 2017年第5期74-76,共3页

为了进一步提高分布式云存储系统的数据服务性能,就分布式云存储系统下的数据迁移策略进行了深入研究和分析,并提出了粒子群算法与分布式内容分发机制相结合的优化策略,在动态负载均衡和降低迁移的时间成本方面具有一定的改善效果。

关键词 分布式云存储 数据迁移策略 数据迁移算法

下载PDF 职称材料

多级分布式云存储技术在公安领域的应用研究

8

作者 钱发华 陈昕 《电子制作》 2017年第22期67-68,共2页

某省级公安部门在建设完善全省警综平台时,面临着接处警、执法办案、电子卷宗等业务系统采集音频、视频、图像等非结构化文件存储应用的挑战。为此,文章重点探讨了多级分布式云存储技术在公安领域的应用研究,为进一步推进警综平台建设... 某省级公安部门在建设完善全省警综平台时,面临着接处警、执法办案、电子卷宗等业务系统采集音频、视频、图像等非结构化文件存储应用的挑战。为此,文章重点探讨了多级分布式云存储技术在公安领域的应用研究,为进一步推进警综平台建设完善工作,支撑警综平台执法记录仪、电子卷宗等业务系统深化建设提供了参考借鉴。 展开更多

关键词 多级分布式云存储 警综平台 多级联网应用

下载PDF 职称材料

云环境下支持可更新加密的分布式数据编码存储方案 被引量：24

9

作者 严新成 陈越 +2 位作者 巴阳 贾洪勇 朱彧 《计算机研究与发展》 EI CSCD 北大核心 2019年第10期2170-2182,共13页

由于云存储密文的静态性特征,密钥泄露成为影响存储数据安全性的重要因素.数据重加密是应对密钥泄露的有效手段,但相应的计算开销以及上传下载的通信开销增加了用户和存储系统的负担.此外,对基于分布式编码的数据存储而言,密文更新需要... 由于云存储密文的静态性特征,密钥泄露成为影响存储数据安全性的重要因素.数据重加密是应对密钥泄露的有效手段,但相应的计算开销以及上传下载的通信开销增加了用户和存储系统的负担.此外,对基于分布式编码的数据存储而言,密文更新需要在解密密文的基础上进行,密文合并过程同样增加了系统的通信及计算开销.针对上述问题,提出一种云环境下支持可更新加密的分布式数据编码存储方案(distributed data encoding storage scheme supporting updatable encryption,DDES-UE).通过利用密钥同态伪随机函数构造可更新加密方案,可避免密文更新的计算与通信开销过大问题;基于密文分割与改进FMSR编码实现数据分布式存储,保证存储数据的高可用性和各存储节点的直接数据更新.安全性证明及性能分析表明:提出的方案在保证数据存储安全性的同时,能够支持部分存储节点损坏时安全高效的数据可恢复性以及解密数据的完整性验证.与传统的数据重加密相比,DDES-UE能够避免数据重加密及数据上传、下载、解码、合并带来的计算和通信开销,对于构建支持直接数据更新的安全高效云存储系统有重要意义.此外,周期性密钥更新可有效增加攻击者通过获取密钥破解密文的时间成本,从而增强了系统的主动安全防御能力. 展开更多

关键词 分布式云存储 密钥泄露 可更新加密 FMSR编码 周期性密钥更新

下载PDF 职称材料

分布式并行云存储系统Parastor及在石油勘探领域的应用 被引量：3

10

作者 杨智峰 常德双 +5 位作者 帅威 彭延国 曹征 张玉龙 黄晓波 韩菲 《石油工业计算机应用》 2017年第2期7-12,2,共6页

针对石油勘探领域的发展现状与日益增长的海量地震数据存储的需求,探索将云技术应用到石油勘探业务系统中。选用新型高效的Parastor并行分布式云存储文件系统,构建石油勘探云存储一体化架构。该系统包括存储子系统、计算子系统、网络子... 针对石油勘探领域的发展现状与日益增长的海量地震数据存储的需求,探索将云技术应用到石油勘探业务系统中。选用新型高效的Parastor并行分布式云存储文件系统,构建石油勘探云存储一体化架构。该系统包括存储子系统、计算子系统、网络子系统、地震资料处理与计算子系统,从而解决了石油勘探行业大规模数据存储,高I/O带宽与高浮点计算性能需求。其中存储子系统Parastor由硬件节点层、数据处理层与应用协议层三层架构组成,具有强大的小文件聚合与高效数据容错重构功能。与传统的分布式文件系统架构相比,该架构在系统扩展性、可靠性和服务性等多方面均更加具有优势。能够适应日益增长的石油勘探系统海量数据存储需求,解决石油勘探系统中大容量数据存储的瓶颈,从而为用户提供高质量的云存储服务。 展开更多

关键词 海量数据 分布式云存储 Parastor 石油勘探一体化

下载PDF 职称材料

云计算环境下的分布式存储 被引量：1

11

作者 王剑柯 《中国新通信》 2015年第20期33-33,共1页

伴随着科学技术的不断发展和进步,云计算作为一种新的计算模式,已经越来越成熟,并且逐渐运用到科学计算、商业计算等领域。其中云计算环境下的分布式存储主要是控制和管理数据中心,分布式存储是云计算环境下的关键设施,然而数据失效现... 伴随着科学技术的不断发展和进步,云计算作为一种新的计算模式,已经越来越成熟,并且逐渐运用到科学计算、商业计算等领域。其中云计算环境下的分布式存储主要是控制和管理数据中心,分布式存储是云计算环境下的关键设施,然而数据失效现象使得云计算的推广和应用受到限制,本篇文章对当前分布式存储技术进行了简要地阐述,并且指出该技术的优缺之处,对云计算环境下的分布式存储发展前景进行了设想,希望能够对云计算环境下的分布式存储发展提供一定的建议和启发。 展开更多

关键词 云计算环境分布式存储 数据中心

下载PDF 职称材料

麦田集团董事长赵世勇:分布式存储未来已来

12

作者 刘回春 《产品可靠性报告》 2021年第9期36-40,共5页

2020年8月13曰,国内首家以碎片化、分布式云存储为核心、以高性能计算为引擎的高科技企业,麦田云网(杭州)信息技术有限公司在杭州德信AI产业园区创立。在正式成立之前,董事长赵世勇和他的团队为研发自主技术已经为之奋斗了五年。麦田云... 2020年8月13曰,国内首家以碎片化、分布式云存储为核心、以高性能计算为引擎的高科技企业,麦田云网(杭州)信息技术有限公司在杭州德信AI产业园区创立。在正式成立之前,董事长赵世勇和他的团队为研发自主技术已经为之奋斗了五年。麦田云自有技术体系,获得了多项国家版权局颁发的计算机软件著作权登记证书,从根本上解决了数据存储行业的诸多痛点,具备更高可靠性、安全性,低延时、低成本、访问速度快等优势,成为世界分布式存储领域的重要科技成果之一。 展开更多

关键词 分布式存储 高性能计算 分布式云存储 信息技术 访问速度 数据存储 国家版权局 重要科技成果

下载PDF 职称材料

区块链分布式雾节点在电力系统的应用 被引量：1

13

作者 刘昆 贾俊强 +1 位作者 孙若寒 郭新营 《华东科技（综合）》 2020年第4期0306-0306,共1页

比特币的出现促进了区块链技术的普及,区块链技术当中,去中心化的分布式系统也成为其主要特征。为顺应智能化发展中电力系统的应用要求,应将该理论应用于日常工作中,促进系统平稳运行,降低运营成本。因此,研究基于区块链技术的分布式云... 比特币的出现促进了区块链技术的普及,区块链技术当中,去中心化的分布式系统也成为其主要特征。为顺应智能化发展中电力系统的应用要求,应将该理论应用于日常工作中,促进系统平稳运行,降低运营成本。因此,研究基于区块链技术的分布式云存储在电力系统具有积极的现实意义。 展开更多

关键词 区块链技术 分布式云存储 电力系统

下载PDF 职称材料

云存储系统在高速公路视频监控中的应用探讨

14

作者 魏然 叶蕾 《中国新通信》 2014年第17期13-14,共2页

随着监控视频质量不断提升,监控范围不断扩大,在满足监控市场实时视频显示的需求同时,传统集中式的视频存储,主要是文件式存储系统,将面临着诸多的技术挑战。而网络分布式云存储系统,在网络资源共享、分级分层存储方面具有突出特点,在... 随着监控视频质量不断提升,监控范围不断扩大,在满足监控市场实时视频显示的需求同时,传统集中式的视频存储,主要是文件式存储系统,将面临着诸多的技术挑战。而网络分布式云存储系统,在网络资源共享、分级分层存储方面具有突出特点,在高速公路视频监控等相关行业有着很好的应用前景。 展开更多

关键词 视频存储 文件式存储系统 分布式云存储系统

下载PDF 职称材料

基于云计算的下一代信令监测系统架构研究

15

作者 吴英华 《中国新通信》 2013年第20期35-35,共1页

本文论述了信令监测系统的发展趋势,分析了现有信令监测平台的不足之处,研究了基于云计算的下一代信令监测系统架构,引入了云计算技术,充分利用硬件资源以及原始信令数据,进行精确的信令数据挖掘,提高网络维护的效率。

关键词 信令网 信令监测 云计算 分布式云存储

下载PDF 职称材料

能耗监测中的区块链终端信任管理 被引量：6

16

作者 曾隽芳 刘禹 《电力自动化设备》 EI CSCD 北大核心 2020年第8期31-37,共7页

区块链与物联网、云计算、人工智能、大数据技术相融合,为能源互联网带来了创新应用模式。重点研究了能源消费环节的能耗监测问题,将区块链技术应用于重点用能单位能耗在线监测系统的建设,分析了区块链技术与业务需求的契合,设计了区块... 区块链与物联网、云计算、人工智能、大数据技术相融合,为能源互联网带来了创新应用模式。重点研究了能源消费环节的能耗监测问题,将区块链技术应用于重点用能单位能耗在线监测系统的建设,分析了区块链技术与业务需求的契合,设计了区块链平台架构,并对能耗监测区块链终端设备认证与可信数据采集、数据上链分布式云存储、数据共享多主体信息协同这3个关键问题进行了探讨。区块链方案是对现有方案的升级和补充,二者可结合应用。 展开更多

关键词 区块链 能耗监测 可信数据采集 分布式云存储 信任管理

下载PDF 职称材料

云存储系统中基于MSR码的局部性修复编码 被引量：1

17

作者 王静 梁伟 +1 位作者 刘向阳 杨洋 《北京邮电大学学报》 EI CAS CSCD 北大核心 2016年第4期60-66,共7页

为了提高分布式云存储系统的存储可靠性和故障节点修复效率,提出一种基于最小存储再生码的局部性修复编码方案.具体地,构造适用于云存储的系统最小存储再生码,以此码为局部码构造局部性修复编码,确保最大距离可分性质和简单修复特性.性... 为了提高分布式云存储系统的存储可靠性和故障节点修复效率,提出一种基于最小存储再生码的局部性修复编码方案.具体地,构造适用于云存储的系统最小存储再生码,以此码为局部码构造局部性修复编码,确保最大距离可分性质和简单修复特性.性能分析和仿真结果表明,该局部性修复编码方案可实现云存储系统中多个故障节点的快速修复,具有较低的修复局部性,相对于三副本复制方式和简单再生码,该局部性修复编码方案在存储开销和修复带宽开销方面的性能更优. 展开更多

关键词 分布式云存储 最小存储再生码 局部性修复编码

原文传递

石油勘探系统的Oil-ESB关键技术研究

18

作者 马有志 邓传伟 刘艳杰 《电脑知识与技术》 2016年第5X期250-251,260,共3页

石油勘探的数据采集、处理、解释一体化系统是具有众多黑科技的巨系统,以Oil-ESB全新技术无需关心底层系统的技术,几乎不用再写代码就可配置实现系统、业务、数据的流转整合。Oil-ESB除具有基本的ESB功能外,全新研发了穿越技术、多元数... 石油勘探的数据采集、处理、解释一体化系统是具有众多黑科技的巨系统,以Oil-ESB全新技术无需关心底层系统的技术,几乎不用再写代码就可配置实现系统、业务、数据的流转整合。Oil-ESB除具有基本的ESB功能外,全新研发了穿越技术、多元数据管理技术、ODS操作数据库技术、分布式数据块云存储技术的11项黑科技。可轻松实现地震处理解释成果可视化系统,大块数据分布式大块数据云存储系统、国密增强加密技术的实时数据处理与拟合系统、高性能均衡服务系统。基于此研发一套先进、合理、完善、高效,且结构化、系统化,易操作、易利用、全面有组织的数字化石油勘探系统。 展开更多

关键词 Oil-ESB 穿越技术 ODS操作数据库 黑科技 多元数据 无协议文件摆渡控制技术 分布式云存储技术

下载PDF 职称材料

索贝参与4K超高清电视制播系统研制项目研究

19

《现代电视技术》 2020年第5期159-159,共1页

五一前夕,由中央广播电视总台牵头,华为公司、上海交通大学、广播电视规划院、中国传媒大学、成都索贝等多家单位共同承担的重点项目"4K超高清电视制播系统研制"获得科技部批准正式立项。该项目包括四项研究课题:4K超高清演播... 五一前夕,由中央广播电视总台牵头,华为公司、上海交通大学、广播电视规划院、中国传媒大学、成都索贝等多家单位共同承担的重点项目"4K超高清电视制播系统研制"获得科技部批准正式立项。该项目包括四项研究课题:4K超高清演播室IP制作系统研制、4K超高清总控IP调度和分发系统研制、面向4K超高清制作的分布式云存储系统研制、4K超高清媒体制作与分发关键技术研究。 展开更多

关键词 制播系统 分布式云存储系统 索贝 上海交通大学 中国传媒大学 总控 演播室 媒体制作

下载PDF 职称材料

大数据量内容文件管理系统的研究与应用 被引量：1

20

作者 任群 唐淑萍 《山东农业工程学院学报》 2016年第2期145-146,148,共3页

随着数据技术水平的不断提升,信息在企业运营和发展中起到的核心作用越来越显著,也越来越受到企业的重视。各种格式的内容承载了该企业和机构历年来积累的知识和过程资本。一般情况下,我们认为信息就是企业内容,其中包括产品技术指标、... 随着数据技术水平的不断提升,信息在企业运营和发展中起到的核心作用越来越显著,也越来越受到企业的重视。各种格式的内容承载了该企业和机构历年来积累的知识和过程资本。一般情况下,我们认为信息就是企业内容,其中包括产品技术指标、营销文档、客户信息、影像资料等。它代表了企业的经营行为的总结和沉淀,如果没有一套全面的系统对内容开展安全和高效管理,就无法实现信息投资的回报。 展开更多

关键词 内容管理系统 云存储分布式文件管理

下载PDF 职称材料