NoSQL系统因其高性能、高可扩展性的优势在大数据管理中得到广泛应用,而key-value(KV)模型则是NoSQL系统中使用最广泛的一种存储模型.KV型本地存储系统对于以机械磁盘为持久化存储的情形,存在许多性能优化技术,但这些优化技术面对当前...NoSQL系统因其高性能、高可扩展性的优势在大数据管理中得到广泛应用,而key-value(KV)模型则是NoSQL系统中使用最广泛的一种存储模型.KV型本地存储系统对于以机械磁盘为持久化存储的情形,存在许多性能优化技术,但这些优化技术面对当前的硬件发展新趋势,如多核处理器、大内存和低延迟闪存、非易失性内存NVM(Non-Volatile Memory)等,难以充分发挥新硬件的优势,如数据索引、并发控制、事务日志管理等技术在多核架构下存在多核扩展性问题,又如数据存储策略不适应闪存SSD(Solid State Drive)的新存储特性而产生了IO利用率低效的问题.针对多核处理器、大内存和闪存、NVM等硬件发展新趋势,文中面向当前的大数据应用背景,综述了KV型本地存储系统在索引技术、并发控制、事务日志管理和数据放置等核心模块上的最新优化技术和系统研究成果.从处理器、内存和持久化存储的角度概括了KV型本地存储系统当前存在的最优技术,总结了当前研究尚未解决的技术挑战,并对KV型本地存储系统在CPU缓存高效性、事务日志扩展性和高可用性等方面的研究进行了展望.展开更多
Wang和陈等利用各自提出的二值指数双向联想记忆模型 (e BAM)及其改进型 e BAM(Ie BAM) ,分别构造了由多个 e BAM和 Ie BAM组成的多重 e BAM(Multi- e BAM)和多重 Ie BAM(Multi- Ie BAM)的信念组合模型 ,使之可模拟多个专家的表决 .该...Wang和陈等利用各自提出的二值指数双向联想记忆模型 (e BAM)及其改进型 e BAM(Ie BAM) ,分别构造了由多个 e BAM和 Ie BAM组成的多重 e BAM(Multi- e BAM)和多重 Ie BAM(Multi- Ie BAM)的信念组合模型 ,使之可模拟多个专家的表决 .该文在此基础上 ,借助陈提出的多值 e BAM(MVe BAM) ,提出了多重多值 e BAM(Mul-ti- MVe BAM) ,对 Multi- e BAM和 Multi- Ie BAM进行了两方面的推广 :一是将二值表示推广到多值表示 ,以此可以处理现实中的多值数据 ;二是将原有模型中具有同等权威度的各专家推广到各具不同的权威度的专家 ,以此模拟更实际的表决情形 .文中借助能量函数证明了所提模型的渐近稳定性 ,以保证其实际可用 .计算机模拟证实了模型的可行性 .展开更多
文摘NoSQL系统因其高性能、高可扩展性的优势在大数据管理中得到广泛应用,而key-value(KV)模型则是NoSQL系统中使用最广泛的一种存储模型.KV型本地存储系统对于以机械磁盘为持久化存储的情形,存在许多性能优化技术,但这些优化技术面对当前的硬件发展新趋势,如多核处理器、大内存和低延迟闪存、非易失性内存NVM(Non-Volatile Memory)等,难以充分发挥新硬件的优势,如数据索引、并发控制、事务日志管理等技术在多核架构下存在多核扩展性问题,又如数据存储策略不适应闪存SSD(Solid State Drive)的新存储特性而产生了IO利用率低效的问题.针对多核处理器、大内存和闪存、NVM等硬件发展新趋势,文中面向当前的大数据应用背景,综述了KV型本地存储系统在索引技术、并发控制、事务日志管理和数据放置等核心模块上的最新优化技术和系统研究成果.从处理器、内存和持久化存储的角度概括了KV型本地存储系统当前存在的最优技术,总结了当前研究尚未解决的技术挑战,并对KV型本地存储系统在CPU缓存高效性、事务日志扩展性和高可用性等方面的研究进行了展望.
