在基于三副本策略的分布式存储系统中,当存储节点上的硬盘出现故障时,常见的处理方式是等待系统预设的时间.如果该故障硬盘超时未恢复,才开始恢复故障硬盘上的副本.这种处理方式存在的问题是,当三副本组中存在故障副本时,如果该副本组...在基于三副本策略的分布式存储系统中,当存储节点上的硬盘出现故障时,常见的处理方式是等待系统预设的时间.如果该故障硬盘超时未恢复,才开始恢复故障硬盘上的副本.这种处理方式存在的问题是,当三副本组中存在故障副本时,如果该副本组再有一个副本所在的硬盘发生故障,将导致系统无法继续提供服务,且不能自动恢复.本文提出一种基于日志副本的改进的Raft共识算法,即LR-Raft (log replica based Raft),日志副本没有完整状态机,可以快速加入集群,并参与投票与共识,提升了存在故障硬盘时系统的可用性;可以解决短时间内三副本中两个副本故障导致集群不可用和丢失数据的问题.实验结果表明,在副本组中引入日志副本后,与原Raft相比,LR-Raft在不同的工作负载下读写时延均明显降低,吞吐量显著提升.展开更多
在当今数字化时代,海量数据的生成和积累呈现出爆炸式增长的趋势,因此对存储容量的需求急速上升.传统磁记录磁盘CMR因其高容量和低成本而被视为解决海量数据存储的首选.然而,由于超顺磁效应的制约,CMR(Conventional Magnetic Recording...在当今数字化时代,海量数据的生成和积累呈现出爆炸式增长的趋势,因此对存储容量的需求急速上升.传统磁记录磁盘CMR因其高容量和低成本而被视为解决海量数据存储的首选.然而,由于超顺磁效应的制约,CMR(Conventional Magnetic Recording)磁盘面密度的提升已触及极限.为了突破这一限制,叠瓦式磁记录技术SMR(Shingled Magnetic Recording)应运而生.基于传统硬盘架构,该技术以重叠磁道的方式,显著提升了磁盘面密度.但SMR磁盘在处理随机写时,会产生不可预测的写放大效应,从而严重影响I/O性能.为解决这一问题,业界随即提出了交错式磁记录技术IMR(Interlaced Magnetic Recording),利用优化的磁道布局和热辅助磁记录技术,有效实现了存储容量与性能的平衡.本文首先详细介绍了SMR和IMR的技术原理和磁盘类型,并量化分析了影响设备I/O性能的关键问题.然后,重点介绍了设备级优化方案,分析并总结了不同策略的优缺点与优化目标.接着,概述了面向设备的系统级和应用级设计方案,如文件系统、独立磁盘阵列技术和数据库等.最后讨论了在未来优化SMR磁盘和IMR磁盘性能可能的研究方向.展开更多
文摘在基于三副本策略的分布式存储系统中,当存储节点上的硬盘出现故障时,常见的处理方式是等待系统预设的时间.如果该故障硬盘超时未恢复,才开始恢复故障硬盘上的副本.这种处理方式存在的问题是,当三副本组中存在故障副本时,如果该副本组再有一个副本所在的硬盘发生故障,将导致系统无法继续提供服务,且不能自动恢复.本文提出一种基于日志副本的改进的Raft共识算法,即LR-Raft (log replica based Raft),日志副本没有完整状态机,可以快速加入集群,并参与投票与共识,提升了存在故障硬盘时系统的可用性;可以解决短时间内三副本中两个副本故障导致集群不可用和丢失数据的问题.实验结果表明,在副本组中引入日志副本后,与原Raft相比,LR-Raft在不同的工作负载下读写时延均明显降低,吞吐量显著提升.
文摘在当今数字化时代,海量数据的生成和积累呈现出爆炸式增长的趋势,因此对存储容量的需求急速上升.传统磁记录磁盘CMR因其高容量和低成本而被视为解决海量数据存储的首选.然而,由于超顺磁效应的制约,CMR(Conventional Magnetic Recording)磁盘面密度的提升已触及极限.为了突破这一限制,叠瓦式磁记录技术SMR(Shingled Magnetic Recording)应运而生.基于传统硬盘架构,该技术以重叠磁道的方式,显著提升了磁盘面密度.但SMR磁盘在处理随机写时,会产生不可预测的写放大效应,从而严重影响I/O性能.为解决这一问题,业界随即提出了交错式磁记录技术IMR(Interlaced Magnetic Recording),利用优化的磁道布局和热辅助磁记录技术,有效实现了存储容量与性能的平衡.本文首先详细介绍了SMR和IMR的技术原理和磁盘类型,并量化分析了影响设备I/O性能的关键问题.然后,重点介绍了设备级优化方案,分析并总结了不同策略的优缺点与优化目标.接着,概述了面向设备的系统级和应用级设计方案,如文件系统、独立磁盘阵列技术和数据库等.最后讨论了在未来优化SMR磁盘和IMR磁盘性能可能的研究方向.
