期刊文献+
共找到8篇文章
< 1 >
每页显示 20 50 100
顾及结果完整性的遥感影像分布式边缘提取方法 被引量:3
1
作者 程付超 苗放 陈垦 《计算机工程与设计》 CSCD 北大核心 2014年第2期546-551,566,共7页
针对现有分布式影像边缘提取方法中因数据集划分不合理引起的影像特征丢失问题,提出一种弹性影像金字塔(resilient image pyramid,RIP)模型,采用多层冗余的数据剖分保证原始影像特征的完整性,通过关键元数据对金字塔进行存储,减少计算... 针对现有分布式影像边缘提取方法中因数据集划分不合理引起的影像特征丢失问题,提出一种弹性影像金字塔(resilient image pyramid,RIP)模型,采用多层冗余的数据剖分保证原始影像特征的完整性,通过关键元数据对金字塔进行存储,减少计算过程中的数据迁移量。在此基础上,设计并实现了一种适用于海量遥感影像的MapReduce计算方法,通过Hadoop进行分布式边缘提取。实验结果表明,采用此方法进行边缘提取的影像特征提取率得到了一定提升,是一种较为有效的保障提取结果完整性的计算方法。 展开更多
关键词 边缘提取 分布式计算 完整性 影像金字塔 映射化简模型
下载PDF
用MapReduce实现天文星表交叉认证
2
作者 宋烜 韩冀中 +1 位作者 王凯 高建 《计算机应用研究》 CSCD 北大核心 2010年第10期3740-3743,共4页
天文星表的交叉认证是天文研究中非常重要的基础工作。新巡天项目和更强大望远镜的投入使用,使天文数据爆炸增长,数据量的增加使得两个星表之间的交叉认证变得非常耗时。描述了如何利用MapReduce实现并行天文星表交叉认证,综合考虑了算... 天文星表的交叉认证是天文研究中非常重要的基础工作。新巡天项目和更强大望远镜的投入使用,使天文数据爆炸增长,数据量的增加使得两个星表之间的交叉认证变得非常耗时。描述了如何利用MapReduce实现并行天文星表交叉认证,综合考虑了算法与体系结构的匹配问题,并给出了在大数据天文星表交叉认证工作的性能评估,通过与广泛使用的PostgreSQL数据库的比较,证明了基于MapReduce交叉认证方法的有效性。 展开更多
关键词 映射化简 交叉认证 并行 大规模
下载PDF
适用于海量遥感影像的分布式计算框架设计与实现 被引量:2
3
作者 程付超 苗放 +1 位作者 杨文晖 陈垦 《物探化探计算技术》 CAS CSCD 2014年第3期358-361,共4页
针对海量遥感影像的处理与计算问题,在MapReduce计算模型的基础上,设计并实现了一种适用于海量遥感影像的分布式计算框架SPC(Split Process Cluster)。SPC框架能够对遥感影像数据进行分割,再通过Hadoop进行分布式处理,最后采用聚类算法... 针对海量遥感影像的处理与计算问题,在MapReduce计算模型的基础上,设计并实现了一种适用于海量遥感影像的分布式计算框架SPC(Split Process Cluster)。SPC框架能够对遥感影像数据进行分割,再通过Hadoop进行分布式处理,最后采用聚类算法对结果进行归并,从而实现海量遥感影像的分布式处理。测试结果表明,相比单节点的处理方式,SPC框架能够充分发挥分布式处理的性能优势,其影像处理效果也较好。 展开更多
关键词 海量 遥感影像 分布式计算 影像处理 映射-化简模型
下载PDF
大数据云环境下TDS和BUG混合k-匿名化方法
4
作者 范晓峰 闫凤 刘洋 《电信科学》 北大核心 2016年第7期90-96,共7页
针对一般子树匿名化方法处理大数据效率低和伸缩性较差的问题,提出了一种可伸缩的自下向上的泛化(BUG)方法,并在此基础上,结合已有的自上向下的特化(TDS),形成一种混合方法。在提出的方法中,k-匿名作为隐私模型,TDS和BUG都是基于映射化... 针对一般子树匿名化方法处理大数据效率低和伸缩性较差的问题,提出了一种可伸缩的自下向上的泛化(BUG)方法,并在此基础上,结合已有的自上向下的特化(TDS),形成一种混合方法。在提出的方法中,k-匿名作为隐私模型,TDS和BUG都是基于映射化简开发组成,并通过云的强大计算能力来获得较高的伸缩性。提出的映射化简BUG只需在几次泛化循环之后就可插入一个新的泛化候选,不会影响另一个泛化的信息损失。考虑到工作负载平衡点K与匿名参数k的复杂关系,将映射化简的BUG和TDS结合形成混合方法。实验结果验证了本文方法的有效性,与TDS和BUG相比,混合方法的效率和可伸缩性大为提高。 展开更多
关键词 云计算 子树匿名化 大数据 泛化 特化 映射化简
下载PDF
用MapReduce框架构建虚拟天文台数据节点
5
作者 宋烜 周薇 +1 位作者 韩冀中 崔辰州 《天文研究与技术》 CSCD 2012年第2期150-156,共7页
MapReduce是一种大规模分布式并行处理框架,最初被用于互联网服务中的海量数据处理,并逐渐扩展到各个行业领域。目前,虚拟天文台面临着越来越多的地面及空间望远镜观测到的海量天文数据。为了提高中国虚拟天文台数据节点处理海量天文数... MapReduce是一种大规模分布式并行处理框架,最初被用于互联网服务中的海量数据处理,并逐渐扩展到各个行业领域。目前,虚拟天文台面临着越来越多的地面及空间望远镜观测到的海量天文数据。为了提高中国虚拟天文台数据节点处理海量天文数据的能力,首次提出基于MapReduce框架构建中国虚拟天文台数据节点的方法,并以批量星表交叉认证为例描述了具体实现过程,性能评估结果证明基于MapReduce框架构建虚拟天文台数据节点,可以在性能、扩展性与成本等多方面获得收益。 展开更多
关键词 映射化简 中国虚拟天文台 交叉认证
下载PDF
基于Google的云计算实例分析 被引量:14
6
作者 蔡键 王树梅 《电脑知识与技术》 2009年第9期7093-7095,7107,共4页
先介绍了云计算产生的背景、概念、基本原理和体系结构,然后以Google系统为例详细阐述了云计算的实现机制。云计算是并行计算、分布式计算和网格计算等计算机科学概念的商业实现。Google拥有自己云计算平台,提供了云计算的实现机制和... 先介绍了云计算产生的背景、概念、基本原理和体系结构,然后以Google系统为例详细阐述了云计算的实现机制。云计算是并行计算、分布式计算和网格计算等计算机科学概念的商业实现。Google拥有自己云计算平台,提供了云计算的实现机制和基础构架模式。该文阐述了Google云计算平台:GFS分布式文件、分布式数据库BigTable及Map/Reduce编程模式。最后分析了云计算发展所面临的挑战。 展开更多
关键词 云计算 集群 谷歌文件系统 大表 映射/化简
下载PDF
基于petri网的文件审批系统工作流建模 被引量:8
7
作者 刘继承 张爱茹 +2 位作者 李征鸿 张严 任梓健 《微型机与应用》 2013年第2期77-80,共4页
以工作流技术为基础,将基于petri网的建模方法应用到文件审批系统的分析过程中,构建系统的petri网模型,并利用petri网化简规则,对该模型进行了结构上的正确性验证;同时,通过模型的可覆盖树对模型的可达性、活性、有界性等petri网的性质... 以工作流技术为基础,将基于petri网的建模方法应用到文件审批系统的分析过程中,构建系统的petri网模型,并利用petri网化简规则,对该模型进行了结构上的正确性验证;同时,通过模型的可覆盖树对模型的可达性、活性、有界性等petri网的性质进行了验证。结果证明,该技术能够在文件审批系统中进行建模和可行性验证。 展开更多
关键词 文件审批系统 PETRI网 工作流 模型映射化简
下载PDF
在线社交网络的逻辑模型和并行查询 被引量:2
8
作者 李伟钢 郑建亚 《复杂系统与复杂性科学》 EI CSCD 北大核心 2013年第2期77-87,共11页
归纳出对在线社交网络研究具有挑战性的一些课题,介绍描述用户关系的逻辑模型(粉丝模型),提出逻辑关系寓意邻接矩阵(粉丝矩阵)。用此模型展示对微博平台Top-X信息查询的聚合-排序-删除算法。进一步应用映射和化简概念将上述Top-X信息查... 归纳出对在线社交网络研究具有挑战性的一些课题,介绍描述用户关系的逻辑模型(粉丝模型),提出逻辑关系寓意邻接矩阵(粉丝矩阵)。用此模型展示对微博平台Top-X信息查询的聚合-排序-删除算法。进一步应用映射和化简概念将上述Top-X信息查询算法扩展于并行计算环境,给出映射关注和化简粉丝在Ha-doop系统联机实现的算法。粉丝模型和相应的算法实现了对新浪微博74.7GB和Twitter的101GB实际数据的多种约束下信息查询和微博转发预测,特别是在Hadoop系统联机环境下,新方法的信息化简和计算性能明显提高。 展开更多
关键词 复杂网络 平行算法 微博 信息查询 映射化简 在线社交网络
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部