期刊文献+
共找到12篇文章
< 1 >
每页显示 20 50 100
基于NS3的分布式消息系统Kafka的仿真实现 被引量:18
1
作者 马浩然 《软件》 2015年第1期94-99,共6页
在数据已渗透到我们生活的各个领域的时代,人们对于数据的挖掘和使用愈发频繁。作为以消息为单位进行数据共享的分布式架构,分布式消息系统成为数据处理的核心技术。传统的分布式消息系统大多用于处理数据量小的关键性数据,然而在信息... 在数据已渗透到我们生活的各个领域的时代,人们对于数据的挖掘和使用愈发频繁。作为以消息为单位进行数据共享的分布式架构,分布式消息系统成为数据处理的核心技术。传统的分布式消息系统大多用于处理数据量小的关键性数据,然而在信息剧增的今天,人们对信息的关注领域在不断扩大,挖掘的信息量在不断增多,传统的消息处理架构已不能满足我们对数据的处理需求,一个高吞吐量,可实时消费的高性能分布式消息系统成为必需。Kafka即是一种处理海量数据的分布式消息系统[1]。本文总结了Kafka系统的特征和架构策略,对其进行抽象建模,通过网络仿真工具NS3[2],设计实际系统的场景部署,最后运行仿真系统,得出数据并分析,以帮助我们理解和评估Kafka分布式消息系统。 展开更多
关键词 计算机软件 分布式消息系统 卡夫卡 网络仿真模拟器
下载PDF
分布式消息系统研究综述 被引量:37
2
作者 吴璨 王小宁 +3 位作者 肖海力 曹荣强 赵一宁 迟学斌 《计算机科学》 CSCD 北大核心 2019年第B06期1-5,34,共6页
随着大数据时代的到来,各类软硬件系统的高并发访问、海量数据处理等需求越来越多,系统的高可用、易伸缩、可扩展成为系统研发的首要目标,分布式系统应运而生,提供了满足高性能需求的解决方案。然而,系统分布式地部署在不同的计算机上,... 随着大数据时代的到来,各类软硬件系统的高并发访问、海量数据处理等需求越来越多,系统的高可用、易伸缩、可扩展成为系统研发的首要目标,分布式系统应运而生,提供了满足高性能需求的解决方案。然而,系统分布式地部署在不同的计算机上,使得系统间的消息通信成为重要问题。文章综述了4种流行的开源分布式消息系统,对比分析了RabbitMQ,Kafka,ActiveMQ和RocketMQ的架构及性能,为科研人员和系统开发者选择分布式消息系统提供了参考意见。 展开更多
关键词 分布式消息系统 RabbitMQ Kafka ActiveMQ RocketMQ
下载PDF
面向云服务的分布式消息系统负载均衡策略 被引量:5
3
作者 高子妍 王勇 《计算机科学》 CSCD 北大核心 2020年第S01期318-324,共7页
针对云服务下分布式消息系统存在的节点间负载倾斜问题,提出基于副本角色的动态负载均衡策略,并将算法应用于Apache Kafka分布式流平台中。基于消息系统的主要功能为读写及存储消息,算法以CPU、磁盘、网络读写流量为节点的主要负载因素... 针对云服务下分布式消息系统存在的节点间负载倾斜问题,提出基于副本角色的动态负载均衡策略,并将算法应用于Apache Kafka分布式流平台中。基于消息系统的主要功能为读写及存储消息,算法以CPU、磁盘、网络读写流量为节点的主要负载因素,并根据不同的负载类型提出相应的首领角色迁移策略和副本迁移策略。从时间代价、空间代价、服务可用性等多个角度论证该算法的可行性,并讨论算法中涉及参数对算法执行效果的影响。经实验验证,所提算法能够实现集群中各节点的资源使用量均不大于规定阈值,并且与缺省系统相比,集群CPU占用率均方差下降72.1%,磁盘占用率均方差下降86.1%,网络流入速度均方差下降79.2%,网络流出速度均方差下降63.9%,优化效果显著。 展开更多
关键词 分布式消息系统 负载均衡 云服务 Apache Kafka 多副本机制
下载PDF
一种分布式消息队列的可靠性研究 被引量:4
4
作者 杨冬晖 《电脑知识与技术》 2015年第7X期75-76,79,共3页
现如今,互联网已经渗透到日常生活的方方面面。生活的各个领域都迎来大数据的影响,数据传输过程的可靠性,以及如何有效地使用数据尤为重要。分布式消息系统可以有效地解决大规模分布式系统中消息传递问题。因此需要一个高吞吐量,高性能... 现如今,互联网已经渗透到日常生活的方方面面。生活的各个领域都迎来大数据的影响,数据传输过程的可靠性,以及如何有效地使用数据尤为重要。分布式消息系统可以有效地解决大规模分布式系统中消息传递问题。因此需要一个高吞吐量,高性能以及具有一定可靠性的分布式消息系统。Kafka是一个处理海量数据的分布式消息系统。[1]Kafka具有高效的数据传输速率,相对于其他的消息队列系统具有较高的性能,采用发布/订阅模式。该文主要总结介绍了kafka系统的架构以及特征,重点介绍了分布式集群下kafka如何通过副本模式保证其消息的可靠传输。并通过实验验证其副本模式的可靠性,以支持后续相关研究。 展开更多
关键词 分布式消息系统 分布式系统 卡夫卡 可靠性
下载PDF
基于微服务的有毒化学品运输泄露信息系统的设计与实现
5
作者 王信 刘晓燕 +2 位作者 张开琦 王星 严馨 《陕西理工大学学报(自然科学版)》 2020年第3期60-67,共8页
为了避免有毒化学品在交通运输过程中泄露对周围环境造成的严重危害,设计了基于微服务的有毒化学品运输泄漏信息系统。系统借助Spring Cloud框架下的服务注册中心、API网关、负载均衡、熔断保护以及作为分布式消息系统的Kafka等组件,各... 为了避免有毒化学品在交通运输过程中泄露对周围环境造成的严重危害,设计了基于微服务的有毒化学品运输泄漏信息系统。系统借助Spring Cloud框架下的服务注册中心、API网关、负载均衡、熔断保护以及作为分布式消息系统的Kafka等组件,各微服务被部署在Docker容器中,提高了系统的可扩展性、资源利用效率和容错性;借助大气扩散模型构建的大气扩散微服务,可预估出有毒化学品泄漏后的威胁范围;地理可视化微服务则将预估出的威胁范围绘制到地图应用程序上。实验结果表明,系统可为管理人员提供有毒化学品的预计泄露范围,并在可视化的地图应用程序中显示出来,可为相关管理人员及时采取救援措施提供依据,进而尽可能减少周边经济和环境的损失。 展开更多
关键词 微服务 服务注册中心 网关 分布式消息系统 有毒化学品 运输
下载PDF
关于Kafka分区策略对系统性能影响的研究 被引量:1
6
作者 孟月昊 林荣霞 +1 位作者 冯文 刘全兵 《计算机时代》 2020年第11期11-15,共5页
在实际应用Kafka系统过程中,常因分区策略选择不当而导致系统负载不均衡,节点经常下线,影响业务工作。文章从消费速率变化和CPU使用率两个方面切入,研究分析了RangeAssignor、RoundRobinAssignor、StickyAssignor三种分区策略对Kafka在... 在实际应用Kafka系统过程中,常因分区策略选择不当而导致系统负载不均衡,节点经常下线,影响业务工作。文章从消费速率变化和CPU使用率两个方面切入,研究分析了RangeAssignor、RoundRobinAssignor、StickyAssignor三种分区策略对Kafka在系统开销和负载均衡方面的影响,得出了这三种分区策略对系统影响的特点,对在实际生产应用Kafka过程中分区策略的选择和使用,起到了一定的参考作用。 展开更多
关键词 分布式消息系统 Kafka 分区策略 系统开销
下载PDF
分档布鲁姆过滤器的查询算法 被引量:14
7
作者 谢鲲 闵应骅 +2 位作者 张大方 谢高岗 文吉刚 《计算机学报》 EI CSCD 北大核心 2007年第4期597-607,共11页
布鲁姆过滤器是一种能够简洁地表示集合并支持集合查询的数据结构,广泛应用于数据库、网络和分布式系统中.针对现有的布鲁姆过滤器没有考虑查询失效代价这一缺陷,文中提出一种新的代价敏感的分档布鲁姆过滤器查询算法.它将元素根据不同... 布鲁姆过滤器是一种能够简洁地表示集合并支持集合查询的数据结构,广泛应用于数据库、网络和分布式系统中.针对现有的布鲁姆过滤器没有考虑查询失效代价这一缺陷,文中提出一种新的代价敏感的分档布鲁姆过滤器查询算法.它将元素根据不同的查询代价分为不同的子集,通过考查每档子集最低查询失效率的关系,建立由每档子集合最低查询失效假阳性概率表示的集合最低查询失效总代价目标函数,使用类目标函数梯度遗传算法获得每档的最优Hash函数个数ki,完成集合到向量的映射与查找.仿真实验结果表明,使用新结构的查询算法和标准布鲁姆过滤器算法相比,所用的查询计算时间基本相同,因为区分对待集合元素,查询失效总代价仅为标准算法的27%. 展开更多
关键词 分档布鲁姆过滤器 计算机网络 分布式计算 分布式消息系统 集合元素查询
下载PDF
布鲁姆过滤器代数运算探讨 被引量:8
8
作者 谢鲲 张大方 +2 位作者 文吉刚 谢高岗 尤志强 《电子学报》 EI CAS CSCD 北大核心 2008年第5期869-874,共6页
本文探讨布鲁姆过滤器的代数运算和集合查询的关系,定义布鲁姆过滤器的"并","交","异或","补","差"代数运算,从理论和实验两方面分析布鲁姆过滤器的代数运算和集合代数运算并集,交集... 本文探讨布鲁姆过滤器的代数运算和集合查询的关系,定义布鲁姆过滤器的"并","交","异或","补","差"代数运算,从理论和实验两方面分析布鲁姆过滤器的代数运算和集合代数运算并集,交集,异或集,补集,差集的元素查询关系.理论分析和实验结果表明,布鲁姆过滤器的"并","交"运算能够支持集合并集交集的元素查询,这一结论可以简化利用布鲁姆过滤器进行的系统设计. 展开更多
关键词 计算机网络 分布式计算 分布式消息系统 集合元素查询 代数运算
下载PDF
联合多维布鲁姆过滤器查询算法 被引量:8
9
作者 谢鲲 秦拯 +2 位作者 文吉刚 张大方 谢高岗 《通信学报》 EI CSCD 北大核心 2008年第1期56-64,共9页
分析了现有多维布鲁姆过滤器查询算法(MDBF)工作原理,提出了一种改进的两步表示和查询的联合多维布鲁姆过滤器(CMDBF)查询算法。CMDBF新增一个用于表示元素整体的联合布鲁姆过滤器CBF,CMDBF中元素表示和查找分两步进行。将MDBF的各属性... 分析了现有多维布鲁姆过滤器查询算法(MDBF)工作原理,提出了一种改进的两步表示和查询的联合多维布鲁姆过滤器(CMDBF)查询算法。CMDBF新增一个用于表示元素整体的联合布鲁姆过滤器CBF,CMDBF中元素表示和查找分两步进行。将MDBF的各属性的表示和查询作为第一步,第二步联合元素所有属性域,利用CBF完成元素整体的表示和查询确认。理论分析和仿真实验结果表明,CMDBF能够支持多维集合元素的简洁表示和查询,相比MDBF查询误判率降低明显。 展开更多
关键词 计算机网络 分布式计算 分布式消息系统 集合元素查询 多维布鲁姆过滤器
下载PDF
一种优化的Kafka消费者/客户端负载均衡算法 被引量:20
10
作者 王郑合 王锋 +2 位作者 邓辉 柳翠寅 张晓丽 《计算机应用研究》 CSCD 北大核心 2017年第8期2306-2309,共4页
Kafka是一款高吞吐的分布式消息系统,在海量数据处理等多个领域被广泛使用。但现有Kafka消费者/客户端负载均衡算法存在一些不足,在处理海量数据时易产生过高开销甚至出错等问题。提出了一种优化的Kafka消费者/客户端负载均衡算法,负载... Kafka是一款高吞吐的分布式消息系统,在海量数据处理等多个领域被广泛使用。但现有Kafka消费者/客户端负载均衡算法存在一些不足,在处理海量数据时易产生过高开销甚至出错等问题。提出了一种优化的Kafka消费者/客户端负载均衡算法,负载均衡过程完全由作为管理者的消费者控制,其余消费者不必单独进行负载均衡,而且管理者不用重新分配每个消费者消费的分区。系统对所有消费者的运行状况进行监控,出现宕机的消费者后可及时进行负载再均衡。测试结果说明该算法能够减少Kafka消费者/客户端在负载均衡过程中的系统开销,并避免出现错误的负载均衡结果,可以有效地保障分布科学数据处理的正确性。 展开更多
关键词 分布式消息系统 发布订阅模式 Kafka 负载均衡 系统开销 可靠性
下载PDF
Kafka中改进型Partition过载优化算法 被引量:4
11
作者 颜晓莲 章刚 邱晓红 《计算机技术与发展》 2020年第12期88-91,共4页
Kafka作为一种发布-订阅机制的高吞吐量分布式消息系统,广受业界关注。随着应用场景垂直化、多样化,Kafka现有的技术体系面临挑战。Partition过载问题(POP)指消息分发、消息订阅等操作引起Partition过度服务,并影响到物理载体Broker的... Kafka作为一种发布-订阅机制的高吞吐量分布式消息系统,广受业界关注。随着应用场景垂直化、多样化,Kafka现有的技术体系面临挑战。Partition过载问题(POP)指消息分发、消息订阅等操作引起Partition过度服务,并影响到物理载体Broker的性能。该问题是由Kafka中Partition文件配置管理的被动、僵化及孤立等不足所导致。针对此,提出一种改进型Partition过载优化算法(IPOOA)。该算法通过即时服务耗量、Partition相似度和配置文件自动修改相结合,实现消息分发预测以及消息分发与文件配置管理协同,从而可有效缓解Partition过载问题出现。实验从Kafka集群CPU使用率、Kafka服务延时率、Kafka系统收敛延时比等几个方面验证了算法的有效性及合理性。 展开更多
关键词 分布式消息系统 Kafka Partition过载问题 协同管理 Broker性能
下载PDF
Hybrid Task and Message Scheduling in Hard Real Time Distributed Systems over FlexRay Bus
12
作者 Houda Jaouani Rim Bouhouch +2 位作者 Amel Ben Ncira Salem Hasnaoui Khaled Jlassi 《Computer Technology and Application》 2013年第9期445-454,共10页
FlexRay is a vehicular communication protocol designed to meet growing requirements in hard real time automotive systems and to support time triggered as well as event triggered paradigms. Thus, there has been a lot o... FlexRay is a vehicular communication protocol designed to meet growing requirements in hard real time automotive systems and to support time triggered as well as event triggered paradigms. Thus, there has been a lot of recent interest in timing analysis techniques in order to provide bounds for the message communication times on FlexRay. In this paper, we present an approach to compute the WCRT (worst case response time) for periodic and sporadic tasks, within a FlexRay node, responsible for sending messages on the FlexRay SS (static segment) and DS (dynamic segment). On the other hand, we propose a scheduling table for messages transmitted over the FlexRay SS. An interesting innovation would be the use of a scheduling algorithm performed on a FlexRay node to guarantee the arrival of the right data on the right time and to ensure that every task meets its deadline. As application, we will use the extended SAE (society of automotive engineers) benchmark for the FlexRay network to identify the static and dynamic tasks, and calculate the response time, based on a hybrid scheduling model to further prove that the deadline of the SAE benchmark applications is insured. 展开更多
关键词 FLEXRAY fixed scheduling periodic tasks WCRT SAE benchmark.
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部