期刊文献+
共找到64篇文章
< 1 2 4 >
每页显示 20 50 100
基于事件驱动架构的分布式流处理弹性资源分配策略研究 被引量:3
1
作者 汤小春 张克 +1 位作者 赵全 李战怀 《计算机学报》 EI CAS CSCD 北大核心 2023年第2期244-259,共16页
针对具有多个数据源以及多个输出的流处理应用,使用单个分布式数据流引擎开发时,不论在架构还是可扩展性方面都存在着不足,而基于事件驱动架构的分布式流处理技术是解决该问题的主要方式.但是,事件驱动架构应用于流处理时,往往面临着数... 针对具有多个数据源以及多个输出的流处理应用,使用单个分布式数据流引擎开发时,不论在架构还是可扩展性方面都存在着不足,而基于事件驱动架构的分布式流处理技术是解决该问题的主要方式.但是,事件驱动架构应用于流处理时,往往面临着数据注入速率与数据处理速率不一致的矛盾,当流数据源的数量发生变化、数据值的分布发生波动时,会导致处理延迟加大或资源利用不充分.针对数据注入与数据处理不一致的问题,现有的弹性资源分配策略难以有效处理生产者和消费者之间的依赖关系,且资源分配效果欠佳.论文提出了一种基于强化学习的弹性资源分配方法,解决了具有依赖关系的流处理应用程序之间的数据波动带来的延迟或者资源利用不充分的问题.通过建立状态矩阵和命令矩阵,使得资源管理器能够感知上下游应用的状态变化,从而及时调整流处理应用的资源需求,保证了流处理应用执行过程的延迟要求,提高了系统的资源利用率.经过测试,基于强化学习的弹性资源分配与Spark动态资源分配方法相比,延迟能减少15%,资源利用率能提高20%以上,其吞吐量能够提高10%左右. 展开更多
关键词 事件驱动 分布式流处理 弹性资源 强化学习 数据注入
下载PDF
分布式流处理技术综述 被引量:50
2
作者 崔星灿 禹晓辉 +1 位作者 刘洋 吕朝阳 《计算机研究与发展》 EI CSCD 北大核心 2015年第2期318-332,共15页
随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,在越来越多的领域出现了对海量、高速数据进行实时处理的需求.由于此类需求往往超出传统数据处理技术的能力,分布式流处理模式应运而生.首先回顾分布式流处理技术产生的背景... 随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,在越来越多的领域出现了对海量、高速数据进行实时处理的需求.由于此类需求往往超出传统数据处理技术的能力,分布式流处理模式应运而生.首先回顾分布式流处理技术产生的背景以及技术演进过程,然后将其与其他相关大数据处理技术进行对比,以界定分布式流数据处理的外延.进而对分布式流处理所需要考虑的数据模型、系统模型、存储管理、语义保障、负载控制、系统容错等主要问题进行深入分析,指出现有解决方案的优势和不足.随后,介绍S4,Storm,Spark Streaming等几种具有代表性的分布式流处理系统,并对它们进行系统地对比.最后,给出分布式流处理在社交媒体处理等领域的几种典型应用,并探讨分布式流处理领域进一步的研究方向. 展开更多
关键词 大数据 数据 分布式流处理 实时处理 分布式系统
下载PDF
面向分布式流体系结构的多副本积极容错技术 被引量:1
3
作者 李鑫 林宇斐 郭晓威 《计算机工程与科学》 CSCD 北大核心 2015年第12期2233-2241,共9页
随着互联网环境下计算系统规模的不断扩大,分布式流体系结构的可靠性问题面临着严峻的挑战。以多模冗余容错技术为基础,针对软错误提出了一种面向分布式流体系结构的多副本积极容错技术TREFT,利用三个程序副本进行高效的检错与纠错。在... 随着互联网环境下计算系统规模的不断扩大,分布式流体系结构的可靠性问题面临着严峻的挑战。以多模冗余容错技术为基础,针对软错误提出了一种面向分布式流体系结构的多副本积极容错技术TREFT,利用三个程序副本进行高效的检错与纠错。在分布式流体系结构原型系统上的实验结果表明,该技术能有效提高系统的可靠性,具有较低的容错成本,平均增加10.77%的容错开销。 展开更多
关键词 分布式流体系结构 容错技术 三模冗余
下载PDF
数据流Eager传输:一种分布式流体系结构中的性能优化技术 被引量:1
4
作者 李鑫 郭晓威 林宇斐 《计算机工程与科学》 CSCD 北大核心 2015年第11期2035-2044,共10页
分布式流体系结构扩展了分布式环境下的流计算模型,可在互联网上为大数据计算应用提供高效低成本的运行环境。互联网中较长的通信开销制约了计算性能。提出了一种数据流Eager传输的性能优化技术,以挖掘计算与通信之间的并行性,隐藏通信... 分布式流体系结构扩展了分布式环境下的流计算模型,可在互联网上为大数据计算应用提供高效低成本的运行环境。互联网中较长的通信开销制约了计算性能。提出了一种数据流Eager传输的性能优化技术,以挖掘计算与通信之间的并行性,隐藏通信延迟。在分布式流体系结构原型系统中实现了该技术。实验结果表明,应用程序采用该优化技术之后的平均时间开销减少了19.58%,表明该优化技术能够显著提高应用的性能,具有良好的应用前景。 展开更多
关键词 分布式流体系结构 性能优化 数据Eager传输技术
下载PDF
分布式流处理系统中基于位置感知的操作共享优化算法
5
作者 魏晓辉 刘晓斐 +4 位作者 李洪亮 李兰馨 李丽娜 崔浩龙 李想 《吉林大学学报(理学版)》 CAS CSCD 北大核心 2016年第5期1047-1054,共8页
针对流数据规模大、基本数据处理操作有重叠等特点,提出一种基于位置感知的操作共享优化算法.假设操作预先分配了计算节点资源,在保证流处理实时性和动态性的基础上,利用多个流数据作业间拓扑结构和操作功能的相似性,基于DAG图匹配方法... 针对流数据规模大、基本数据处理操作有重叠等特点,提出一种基于位置感知的操作共享优化算法.假设操作预先分配了计算节点资源,在保证流处理实时性和动态性的基础上,利用多个流数据作业间拓扑结构和操作功能的相似性,基于DAG图匹配方法建立操作共享备选集;以输出带宽为约束条件,建立一个操作共享收益优化问题模型,解决了流处理过程中传统操作共享方法对集群的输出带宽影响考虑不充分的问题.仿真实验结果表明,该方法较原有算法更充分地考虑了计算节点制约因素,并提高了共享收益,从而可有效地节省系统计算资源. 展开更多
关键词 数据 分布式流处理 操作共享 共享优化
下载PDF
分布式流数据加载和查询技术优化 被引量:7
6
作者 易佳 薛晨 王树鹏 《计算机科学》 CSCD 北大核心 2017年第5期172-177,共6页
分布式流查询是一种基于数据流的实时查询计算方法,近年来得到了广泛的关注和快速发展。综述了分布式流处理框架在实时关系型查询上取得的研究成果;对涉及分布式数据加载、分布式流计算框架、分布式流查询的产品进行了分析和比较;提出... 分布式流查询是一种基于数据流的实时查询计算方法,近年来得到了广泛的关注和快速发展。综述了分布式流处理框架在实时关系型查询上取得的研究成果;对涉及分布式数据加载、分布式流计算框架、分布式流查询的产品进行了分析和比较;提出了基于Spark Streaming和Apache Kafka构建的分布式流查询模型,以并发加载多个文件源的形式,设计内存文件系统实现数据的快速加载,相较于基于Apache Flume的加载技术提速1倍以上。在Spark Streaming的基础上,实现了基于Spark SQL的分布式流查询接口,并提出了自行编码解析SQL语句的方法,实现了分布式查询。测试结果表明,在查询语句复杂的情况下,自行编码解析SQL的查询效率具有明显的优势。 展开更多
关键词 大数据 处理系统 分布式流查询 查询优化 Kafka快速加载
下载PDF
基于分布式流的复杂网络上边级联失效
7
作者 丁琳 胡义香 《南华大学学报(自然科学版)》 2013年第3期51-55,共5页
考虑现实网络中流的分布式传输方式和边的负载-容量关系,提出了一个带有可调权重参数的边级联失效模型.依据新的度量网络鲁棒性指标,探讨了两种典型复杂网络由蓄意边攻击而引发的级联失效行为.仿真结果表明,存在最优参数值使得网络达到... 考虑现实网络中流的分布式传输方式和边的负载-容量关系,提出了一个带有可调权重参数的边级联失效模型.依据新的度量网络鲁棒性指标,探讨了两种典型复杂网络由蓄意边攻击而引发的级联失效行为.仿真结果表明,存在最优参数值使得网络达到最强抵制边级联失效的鲁棒性,能够显著降低灾害动力学发生的可能性.而且,网络的拓扑结构和平均度均对网络鲁棒性产生了影响. 展开更多
关键词 级联失效 分布式流 复杂网络 鲁棒性
下载PDF
面向广域电网的分布式流协同处理技术研究 被引量:2
8
作者 相坤 杨建设 《计算机与网络》 2018年第23期68-71,共4页
以流数据为核心主线,通过研究相关系列的流处理技术,如流采集、流存储、流计算及流安全等,形成一套先进的分布式流数据处理体系。通过引用自适应编码、时分复用及效用均值等先进技术,提升系统的处理效率和预测精准度。面对未来广而大的... 以流数据为核心主线,通过研究相关系列的流处理技术,如流采集、流存储、流计算及流安全等,形成一套先进的分布式流数据处理体系。通过引用自适应编码、时分复用及效用均值等先进技术,提升系统的处理效率和预测精准度。面对未来广而大的电网应用场景,能够从容面对庞大数据流的冲击,并且在复杂的多源异构的数据业务接入时,能够协同处理和精准计算,为未来电网顺利融合发展提供数据安稳传输的可靠保障。 展开更多
关键词 多源异构 大数据 分布式流
下载PDF
基于分布式流计算的运维数据分析
9
作者 陈希 杨世登 吴志力 《电子技术与软件工程》 2018年第5期161-161,共1页
随着运维领域数据采集技术的不断更新,出现了大量实时的非结构化数据,这些实时产生的数据如同流水一样源源不断地流入到数据仓库。如何实时获取运维数据流中的关键信息,并实现快速精准分析至关重要。单靠当前传统的批处理模式很难实现... 随着运维领域数据采集技术的不断更新,出现了大量实时的非结构化数据,这些实时产生的数据如同流水一样源源不断地流入到数据仓库。如何实时获取运维数据流中的关键信息,并实现快速精准分析至关重要。单靠当前传统的批处理模式很难实现。所以,一种全新的分布式流计算处理模式应运而生,这种处理模式以其良好的扩展性、灵活性、易用性受到业界的欢迎。本文基于分布式流计算技术,采用了插件式可配置的设计理念,构建了分布式的运维分析系统。通过可配置化的资源管理,实现新的监控资源自动注册、汇总注册节点、快速分析、处理、计算,实现对运维数据的实时展现。 展开更多
关键词 运维 管理 数据分析 分布式流计算
下载PDF
针对大规模动态图流三角形计数的边哈希分布式抽样算法
10
作者 何玉林 吴波 +2 位作者 吴定明 黄哲学 菲律普弗尼尔-维格 《计算机研究与发展》 EI CSCD 北大核心 2024年第8期1882-1903,共22页
三角形计数是大图分析的一个经典问题,近年的研究工作主要集中在针对静态流式图的三角形数量估计上,相关流式图抽样算法只能处理边的插入操作,无法处理边的删除操作;而现有的动态流式图抽样算法估计准确性又偏低.针对上述问题,提出了基... 三角形计数是大图分析的一个经典问题,近年的研究工作主要集中在针对静态流式图的三角形数量估计上,相关流式图抽样算法只能处理边的插入操作,无法处理边的删除操作;而现有的动态流式图抽样算法估计准确性又偏低.针对上述问题,提出了基于边哈希分配的分布式抽样(edge hashing assignmentbased distributed sampling,EHADS)算法,它是一个用于估计动态流式图中三角形数量的分布式流算法,可以快速准确地估计动态流式图中的全局三角形数量以及每个顶点的局部三角形数量.EHADS算法只对输入的图流进行1次处理,并在多台机器上对边进行抽样.与先进的单机流算法相比,EHADS算法具有2点优势:1)在相同样本容量的情况下,EHADS算法以更短的运行时间获得了更小的估计误差,估计全局三角形数量的误差平均降低了31.79%,估计局部三角形数量的误差平均降低了23.35%;2)EHADS算法能够提供流式图中三角形数量的无偏估计,并且严格的数学证明显示该无偏估计具有更小的方差. 展开更多
关键词 三角形计数 动态图 边抽样 分布式流算法 边哈希分配
下载PDF
基于Flink的分布式在线集成学习框架研究 被引量:1
11
作者 曹张宇 钟原 周静 《计算机应用研究》 CSCD 北大核心 2023年第6期1784-1788,共5页
在大数据环境背景下,传统机器学习算法多采用单机离线训练的方式,显然已经无法适应持续增长的大规模流式数据的变化。针对该问题,提出一种基于Flink平台的分布式在线集成学习算法。该方法基于Flink分布式计算框架,首先通过数据并行的方... 在大数据环境背景下,传统机器学习算法多采用单机离线训练的方式,显然已经无法适应持续增长的大规模流式数据的变化。针对该问题,提出一种基于Flink平台的分布式在线集成学习算法。该方法基于Flink分布式计算框架,首先通过数据并行的方式对在线学习算法进行分布式在线训练;然后将训练出的多个子模型通过随机梯度下降算法进行模型的动态权重分配,实现对多个子模型的结果聚合;与此同时,对于训练效果不好的模型利用其样本进行在线更新;最后通过单机与集群环境在不同数据集上做实验对比分析。实验结果表明,在线学习算法结合Flink框架的分布式集成训练,能达到集中训练方式下的性能,同时大大提高了训练的时间效率。 展开更多
关键词 分布式流计算 在线学习 集成学习 Flink
下载PDF
分布式数据流处理系统的动态负载平衡技术 被引量:13
12
作者 邓华锋 刘云生 肖迎元 《计算机科学》 CSCD 北大核心 2007年第7期120-123,共4页
设计了一种新的大规模分布式数据流处理系统的体系结构。系统由一组异构的服务器集群组成,负载在每个服务器集群内部多台同构的服务器之间获得平衡,从而达到整个系统的负载平衡。集群设计的主要目标之一是以资源换性能,服务器集群中服... 设计了一种新的大规模分布式数据流处理系统的体系结构。系统由一组异构的服务器集群组成,负载在每个服务器集群内部多台同构的服务器之间获得平衡,从而达到整个系统的负载平衡。集群设计的主要目标之一是以资源换性能,服务器集群中服务器的最大数目足够保证系统不再发生过载现象,不再需要会降低性能的卸载技术。而且投入运行的服务器的数目根据实际的系统负载来决定,负载较轻时,一部分服务器可以进入休眠状态来减少能源的消耗。根据系统动态增减服务器的特点,设计了全新的初始化算法、动态负载平衡算法。与以前的分布式数据流处理系统相比,由于单个集群的服务器的数目大大减少,算法复杂性降低、速度加快、优化的空间增大。 展开更多
关键词 分布式数据处理系统 动态负载平衡 卸载 节能
下载PDF
交通流分布式并行模拟建模理论与方法的框架 被引量:2
13
作者 魏丽英 隽志才 《公路交通科技》 EI CAS CSCD 北大核心 2001年第1期58-61,共4页
基于分布式计算机网络上的并行处理技术和面向对象的建模理论 ,提出交通流分布式并行模拟建模的理论框架 ,并给出基于分布式系统上的两种建模方案 :面向对象和面向消息传递的网络分割式并行模拟建模方法和标准时钟分布式离散事件模拟建... 基于分布式计算机网络上的并行处理技术和面向对象的建模理论 ,提出交通流分布式并行模拟建模的理论框架 ,并给出基于分布式系统上的两种建模方案 :面向对象和面向消息传递的网络分割式并行模拟建模方法和标准时钟分布式离散事件模拟建模方法。该方法能显著提高交通模拟的运行效率 ,满足智能运输系统 (ITS)中网络模拟大规模、高效率和实时动态的要求。 展开更多
关键词 并行处理 面向对象 面向消息传递 交通分布式并行模拟
下载PDF
基于分布式流计算的运维安全分析
14
作者 吴志力 陈希 杨世登 《网络安全技术与应用》 2018年第2期75-76,共2页
随着信息化的不断深入,越来越多的企业运营发展依赖于IT系统。每个与IT相关的公司和组织,都有IT运维的身影。企业业务逐步迁移至信息系统上运作,因此IT运维人员工作日趋繁重,IT系统存在的如投资黑洞、数据孤岛、技术与业务脱节等问题日... 随着信息化的不断深入,越来越多的企业运营发展依赖于IT系统。每个与IT相关的公司和组织,都有IT运维的身影。企业业务逐步迁移至信息系统上运作,因此IT运维人员工作日趋繁重,IT系统存在的如投资黑洞、数据孤岛、技术与业务脱节等问题日益凸显。当IT运维跟不上产品的发展,能对外提供的IT服务产品必然大打折扣,甚至会因为事故妨碍到产品质量,从而带来巨大的经济和安全损失。本文将探讨基于分布式流计算来分析运维管理系统所产生的实时的、持续的非结构化的数据,从而实现运维安全,对于读者研究分布式计算技术具有一定的理论指导意义。 展开更多
关键词 运维 安全 管理 分布式流计算
原文传递
基于滑动窗口的分布式轨迹流聚类 被引量:3
15
作者 毛嘉莉 陈鹤 +2 位作者 宋秋革 金澈清 周傲英 《计算机学报》 EI CSCD 北大核心 2018年第9期2120-2133,共14页
随着移动定位技术的蓬勃发展和移动定位设备的广泛应用,衍生了海量移动对象的位置信息.该类位置信息包含地理坐标、速度、方向以及时间戳等信息,被实时采集且持续增加,形成了大规模高速的分布式轨迹数据流.及时、有效地对分布式的轨迹... 随着移动定位技术的蓬勃发展和移动定位设备的广泛应用,衍生了海量移动对象的位置信息.该类位置信息包含地理坐标、速度、方向以及时间戳等信息,被实时采集且持续增加,形成了大规模高速的分布式轨迹数据流.及时、有效地对分布式的轨迹流数据进行在线聚类分析,可以实时获取移动对象的共同移动趋势.由于轨迹数据流固有的海量、高速、偏态分布、时变进化且存在概念漂移的特性以及在线聚类的严格时空开销需求,基于静态轨迹数据的聚类方法不能直接应用于分布式轨迹流的在线聚类分析.分布式的轨迹流聚类研究面临巨大挑战,研究工作仍处于初期探索阶段.为解决上述问题,面对地理上分散采集的轨迹流数据,亟需设计高效的并行聚类分析任务及确保传输开销最小化的通信机制来满足低处理延迟的实时聚类需求.该文首先设计了分布式聚类概要数据结构以实时获取相似轨迹簇的时空特征,继而维护持续进化的分布式轨迹数据流.在此基础上,以减少通信开销提高分布式轨迹流聚类效率为目标,提出了一个在线处理分布式轨迹数据流的增量聚类算法(OCluDTS).OCluDTS方法使用基于滑动窗口模型的两层分布式框架,通过多个远程节点并行聚类局部轨迹流以及协调者节点合并局部聚类结果的方式,确保分布式轨迹流聚类获得与集中式方法相同的精度.此外,为了进一步降低OCluDTS算法的总执行开销,提出了仅限于聚类更新的远程节点传输聚类结果给协调者节点以及基于协调者节点相似性计算的剪枝策略等优化措施.最后,理论分析以及基于真实轨迹数据集的实验结果验证了OCluDTS算法处理大规模分布式轨迹流数据时的有效性和高效性. 展开更多
关键词 分布式轨迹 聚类 滑动窗口 分布式时序轨迹聚类特征 概念漂移
下载PDF
分布式物流企业网络构建研究 被引量:1
16
作者 赵静伟 王欣 姚利增 《商场现代化》 北大核心 2006年第01X期97-97,共1页
随着电子商务技术的日趋成熟,物流配送作为其中的一个重要环节,被越来越多的人所关注。有关物流网络的架设问题成为人们研究的热点之一。本文通过无线与有线计算机网络的有机组合,给出了一种较为适合分布式物流企业的网络构建模型。
关键词 无线网络设计 分布式 网络互连 配送
下载PDF
分布式与集中式直流系统在变电站的应用研究 被引量:8
17
作者 周贤培 《科技创新与应用》 2018年第14期167-169,172,共4页
随着变电站设备智能化程度的不断提升,modbus通讯、光纤通讯的广泛应用,电力电子技术的发展,使变电站功能模块化设计成为可能。分布式模块化设计是变电站智能化设计、提高系统生产运维效率、降低运维成本的一个有效方式,分布式设计变电... 随着变电站设备智能化程度的不断提升,modbus通讯、光纤通讯的广泛应用,电力电子技术的发展,使变电站功能模块化设计成为可能。分布式模块化设计是变电站智能化设计、提高系统生产运维效率、降低运维成本的一个有效方式,分布式设计变电站将是变电站发展的一大趋势。文章就变电站直流电源系统方案中的传统集中式与分布式设计从系统方案、直流系统绝缘、级差配合、运行维护角度对比分析,探讨两者优缺点,给设计人员提供更多的方案参考。 展开更多
关键词 分布式 集中式直 运行维护 级差配合
下载PDF
分布式通信流分析系统的实现
18
作者 莫皓云 陈健二 眭鸿飞 《企业技术开发》 2004年第5期3-5,共3页
文章介绍了通信流分析以及匿名通信的研究现状,并分析了现在研究通信流分析所采用的几种流分析工具,指出他们对于匿名通信的通信流分析的不足之处,最后,提出了适应于匿名通信的分布式通信流分析系统的实现方法。
关键词 分布式通信分析 匿名通信 计算机网络 网络安全 通信协议 系统结构
下载PDF
分布式与集中式直流系统在变电站的应用 被引量:2
19
作者 包锡军 《集成电路应用》 2019年第11期78-79,共2页
分析表明,Modbus 通信以及光纤的普遍使用,电力电子技术不断提升,变电站的功能逐渐进入模 块化设计。讨论变电站直流电源系统方案的传统集中式与分布式设计,并且对比了其系统方面的不同, 以及在直流系统绝缘方面的区别,级差配合和运行... 分析表明,Modbus 通信以及光纤的普遍使用,电力电子技术不断提升,变电站的功能逐渐进入模 块化设计。讨论变电站直流电源系统方案的传统集中式与分布式设计,并且对比了其系统方面的不同, 以及在直流系统绝缘方面的区别,级差配合和运行维护。 展开更多
关键词 分布式 集中式直 运行维护 级差配合
下载PDF
基于嵌入式单片机的分布式直流电源远程监控系统
20
作者 韩少卫 洪卫华 李传江 《电工技术》 2024年第20期110-112,共3页
当前分布式直流电源远程监控系统预设的功能模块多为目标式,监控效率低,导致远程监控频率大幅度下降,为此提出基于嵌入式单片机的分布式直流电源远程监控系统。根据当前的监控需求,先进行分布式直流电源嵌入式单片机远程监控系统硬件的... 当前分布式直流电源远程监控系统预设的功能模块多为目标式,监控效率低,导致远程监控频率大幅度下降,为此提出基于嵌入式单片机的分布式直流电源远程监控系统。根据当前的监控需求,先进行分布式直流电源嵌入式单片机远程监控系统硬件的设计,然后采用多阶的方式提升监控效率,设计多阶嵌入式单片机直流电源远程监控功能模块,并接入直流电源远程监控数据库,完成对系统软件的设计。测试结果表明,针对选定的6个测试区段,经过3个周期的测试,最终得出的远程监控频率均可以达到150 Hz以上,这说明该分布式直流电源远程监控系统更为高效,具有实际的应用价值。 展开更多
关键词 嵌入式 单片机 分布式 电源 监控系统 远程控制
下载PDF
上一页 1 2 4 下一页 到第
使用帮助 返回顶部