期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到78篇文章
< 1 2 … 4 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
电力数据流处理优化策略
1
作者 赵宇琪 周国华 +2 位作者 叶俪玮 漏亦楠 詹少雄 《新潮电子》 2024年第3期31-33,共3页
本文针对电力数据流处理优化策略进行深入研究,包括采集优化、传输优化、存储优化、处理优化等方面。通过采用预采集、缓存技术、数据压缩技术、并行处理技术等优化方法,显著提高电力数据流的处理效率和质量。同时,本文还分析数据流传... 本文针对电力数据流处理优化策略进行深入研究,包括采集优化、传输优化、存储优化、处理优化等方面。通过采用预采集、缓存技术、数据压缩技术、并行处理技术等优化方法,显著提高电力数据流的处理效率和质量。同时,本文还分析数据流传输协议和传输调度的优化方法,以降低网络拥堵和数据丢失等问题,提高数据的稳定性和可靠性。这些优化策略的应用场景广泛,包括电网设备安全运行、电网业务可靠处理等,能够显著改善电力系统的性能和效率。 展开更多
关键词 电力数据流处理 优化策略 存储优化
下载PDF
支持高并发数据流处理的MapReduce中间结果缓存 被引量：21
2
作者 亓开元 韩燕波 +1 位作者 赵卓峰 房俊 《计算机研究与发展》 EI CSCD 北大核心 2013年第1期111-121,共11页
针对面向大规模历史数据的高并发数据流处理需求,为改进MapReduce的实时处理能力,提出了一种内存Hash B树、外存SSTable文件的key/value中间结果缓存,该结构具有可划分性、可扩展性和高效性.在此基础上,利用B树的平衡性特征提出了一种... 针对面向大规模历史数据的高并发数据流处理需求,为改进MapReduce的实时处理能力,提出了一种内存Hash B树、外存SSTable文件的key/value中间结果缓存,该结构具有可划分性、可扩展性和高效性.在此基础上,利用B树的平衡性特征提出了一种基于概率的B树构造算法和多路查询算法,利用读写开销估算和缓冲区信息改造了外存文件读写策略和内外存替换算法,进一步优化了中间结果的高并发读写性能.算法分析和实验证明了该缓存的有效性. 展开更多
关键词 高并发 大规模数据处理 数据流处理 MAPREDUCE 中间结果缓存
下载PDF
面向大规模感知数据的实时数据流处理方法及关键技术 被引量：9
3
作者 亓开元 韩燕波 +1 位作者 赵卓峰 马强 《计算机集成制造系统》 EI CSCD 北大核心 2013年第3期641-653,共13页
为了在大规模历史感知数据基础上实现针对高速传感数据流的实时计算,提出一种面向大规模历史数据的数据流处理方法RTMR,通过中间结果缓存、流水化和本地化改进了MapReduce的数据流处理能力。在此基础上,为了适应性地构造RTMR集群,利用... 为了在大规模历史感知数据基础上实现针对高速传感数据流的实时计算,提出一种面向大规模历史数据的数据流处理方法RTMR,通过中间结果缓存、流水化和本地化改进了MapReduce的数据流处理能力。在此基础上,为了适应性地构造RTMR集群,利用模型分析方法根据应用特征和集群环境配置节点类型和拓扑结构。为实现集群的负载均衡,通过计算负载状态转换关系分组空闲节点和过载节点,将NP难的动态负载均衡问题快速分解为规模较小的子问题,并且综合执行时间和数据移动代价作为子问题的优化目标,提高应对负载倾斜的反应速度。实验表明,上述方法和技术能够保障大规模历史数据上数据流处理的可伸缩性。 展开更多
关键词 数据流处理 大规模数据处理 MapReduce方法 适应性架构 负载均衡
下载PDF
基于数据流处理模型的多查询优化算法 被引量：5
4
作者 左利云 马英杰 《计算机工程与科学》 CSCD 北大核心 2009年第3期71-74,共4页
针对现今数据处理日益复杂、数据量剧增的情况,本文提出使用数据流处理模型。该模型主要使用于需要实时在线处理并及时反馈结果的数据处理。在此模型的基础上,本文提出一种新的多查询优化算法——INCO算法。该算法计算简单,而且不牵涉... 针对现今数据处理日益复杂、数据量剧增的情况,本文提出使用数据流处理模型。该模型主要使用于需要实时在线处理并及时反馈结果的数据处理。在此模型的基础上,本文提出一种新的多查询优化算法——INCO算法。该算法计算简单,而且不牵涉其他查询。实验证明,该算法在连接查询方面有明显优势。 展开更多
关键词 数据流处理模型 INCO算法 探测序列
下载PDF
露天矿GPS卡车调度系统数据流处理方法 被引量：4
5
作者 张维国 杨志勇 孙效玉 《地理信息世界》 2008年第5期49-52,共4页
露天矿GPS卡车调度系统是数字矿山建设中的重要组成部分,是露天矿生产管理利用GPS/GIS技术提高生产效益的有效途径之一。本文根据露天矿GPS卡车调度系统的组成、工作原理和数据流交换模式,提出了基于数据回放条件下的装卸车时序匹配计... 露天矿GPS卡车调度系统是数字矿山建设中的重要组成部分,是露天矿生产管理利用GPS/GIS技术提高生产效益的有效途径之一。本文根据露天矿GPS卡车调度系统的组成、工作原理和数据流交换模式,提出了基于数据回放条件下的装卸车时序匹配计算方法以及数据流处理的主要内容。抚顺西露天矿的实践证明,该计算方法是一种处理卡车调度系统数据流的有效且可行的办法。 展开更多
关键词 数字矿山 数据流处理 时序匹配法 GPS卡车调度系统 露天矿
下载PDF
能源互联网多能扰动识别的数据流处理模型 被引量：2
6
作者 王德文 李俊 《电力系统自动化》 EI CSCD 北大核心 2016年第23期49-55,69,共8页
电能、燃气、热能等多能源融合使能源在生产—调配—使用过程中极易发生多能扰动,传统的离线扰动识别方法很难满足能源互联网实时性的要求,采用数据流处理技术可对多能扰动信号进行在线识别。从能源互联网的能量—信息交互入手,对能源... 电能、燃气、热能等多能源融合使能源在生产—调配—使用过程中极易发生多能扰动,传统的离线扰动识别方法很难满足能源互联网实时性的要求,采用数据流处理技术可对多能扰动信号进行在线识别。从能源互联网的能量—信息交互入手,对能源互联网多能扰动问题进行分析,为不同扰动信号建立数学模型。采用小波变换对扰动信号进行分解,并基于滑动窗口构建扰动信号的数据流处理模型。该模型首先构建滑动窗口概要数据结构,其次改进小波树更新算法以实现概要结构快速更新,优化扰动信号特征提取,最后采用决策树算法对信号特征进行分类。构建的数据流处理模型被应用到电能质量扰动和燃气质量扰动的识别中,验证该数据流处理模型的有效性。 展开更多
关键词 能源互联网 数据流处理 多能扰动 小波树 决策树
下载PDF
面向高速网络的数据流处理模型研究 被引量：3
7
作者 陈磊松 林锦贤 《漳州师范学院学报（自然科学版）》 2006年第2期31-36,共6页
高速网络中实时大容量数据流处理的需求,显现出传统基于静态数据集的数据库管理系统的不足.本文从数据流的特性出发,分析了数据流处理的设计要求,给出数据流处理模型和方法.
关键词 高速网络 大容量数据流 数据流处理模型
下载PDF
基于数据流处理的雷达对抗仿真系统 被引量：1
8
作者 安红 《现代雷达》 CSCD 北大核心 2006年第5期83-86,共4页
基于数据流处理的雷达对抗仿真系统通过模拟雷达和雷达对抗装备各个关键环节和功能模块对信号/数据流的处理过程,建立完整的雷达与雷达对抗装备之间信息流动与处理的动态闭环仿真环境,为研究雷达的抗干扰能力和雷达对抗装备的干扰能力... 基于数据流处理的雷达对抗仿真系统通过模拟雷达和雷达对抗装备各个关键环节和功能模块对信号/数据流的处理过程,建立完整的雷达与雷达对抗装备之间信息流动与处理的动态闭环仿真环境,为研究雷达的抗干扰能力和雷达对抗装备的干扰能力提供了灵活的仿真试验平台。文中提出了基于数据流处理的雷达对抗仿真系统的基本设计思路,并结合实例介绍了部分仿真模型的实现方法。 展开更多
关键词 雷达对抗 仿真 数据流处理 信息流动
下载PDF
远程天气会商系统中的数据流处理
9
作者 侯太平 顾大权 +1 位作者 王柏春 朱红伟 《计算机工程》 CAS CSCD 北大核心 2003年第3期173-175,共3页
数据处理是远程天气会商系统中的一个重要方面，为了增强系统的可维护性和可扩 充性，采用了分层封装的解决方法。引入了优先级的概念来协调各功能模块之间因争夺网 络 资源而引起的冲突。主要介绍了数据流缓冲区队列的结构、数据流的... 数据处理是远程天气会商系统中的一个重要方面，为了增强系统的可维护性和可扩 充性，采用了分层封装的解决方法。引入了优先级的概念来协调各功能模块之间因争夺网 络 资源而引起的冲突。主要介绍了数据流缓冲区队列的结构、数据流的封装以及数据流的 发送 和对接收数据流的处理。 展开更多
关键词 远程天气会商系统 数据流处理 计算机网络 CSCW 气象预报
下载PDF
一种支持分布式数据流处理的双层重叠网络模型
10
作者 王金栋 张磊 +1 位作者 丁秋林 黄添强 《应用科学学报》 CAS CSCD 北大核心 2006年第4期387-390,共4页
讨论了分布式数据流处理的需求以及重叠网络的特点。在Chord模型的基础上,提出了一种支持分布式数据流处理的双层重叠网络模型,并给出了构建模型的有效算法,最后通过应用验证了该模型的有效性.
关键词 重叠网络 数据流 数据流处理
下载PDF
大数据分析下分布式数据流处理技术研究 被引量：5
11
作者 刘琴 《软件工程》 2019年第12期44-46,共3页
由于数据流的不稳定性,将数据流查询安排在固定节点上就会造成分布式数据流处理技术很难对计算资源实现较高的处理效率,基于此,提出大数据分析下分布式数据流处理技术研究。具体流程是数据收集、历史数据的存储和查询、Storm实时处理、... 由于数据流的不稳定性,将数据流查询安排在固定节点上就会造成分布式数据流处理技术很难对计算资源实现较高的处理效率,基于此,提出大数据分析下分布式数据流处理技术研究。具体流程是数据收集、历史数据的存储和查询、Storm实时处理、智能索引、数据模型的建立。根据实验结果可知,本文提出的大数据分析下分布式数据流处理技术与传统技术相比,在数据流的处理效率上占有较大优势,一般维持在75%以上,能够大大节省处理时间。 展开更多
关键词 大数据 分布式 数据流处理技术 处理效率
下载PDF
一种面向数据流处理的VLIW阵列处理机设计
12
作者 杨焱 侯朝焕 《微处理机》 2008年第3期5-7,共3页
针对高密度数据计算的要求,提出了一种VLIW处理器阵列多芯片互联的简单方法,通过独特的微码结构,建立具有可配置特征的高速数据通道的控制模型,适合构建高性能的媒体处理器阵列,模型能有效地改善系统扩展所需要的灵活性,实现高带宽的存... 针对高密度数据计算的要求,提出了一种VLIW处理器阵列多芯片互联的简单方法,通过独特的微码结构,建立具有可配置特征的高速数据通道的控制模型,适合构建高性能的媒体处理器阵列,模型能有效地改善系统扩展所需要的灵活性,实现高带宽的存储器接口和高性能的总线控制结构,提高了数据存取的连续性和灵活性,避免了运行过程中大量不必要的系统中断和功能切换开销,可显著提高数据处理带宽。 展开更多
关键词 阵列处理 VLIW 数据流处理 可重配置
下载PDF
基于数据挖掘的Web学习资源数据流处理技术
13
作者 杨柳青 王冲 《现代电子技术》 2022年第13期62-66,共5页
为了更好地利用Web学习资源,针对当前Web学习资源流处理技术存在的不足,提出基于数据挖掘的Web学习资源数据流处理技术。首先分析Web学习资源流处理的研究进展,以及引起Web学习资源流处理效果不佳的因素;然后采用广度优先算法搜索网页,... 为了更好地利用Web学习资源,针对当前Web学习资源流处理技术存在的不足,提出基于数据挖掘的Web学习资源数据流处理技术。首先分析Web学习资源流处理的研究进展,以及引起Web学习资源流处理效果不佳的因素;然后采用广度优先算法搜索网页,采集Web学习资源数据流,并采用贝叶斯网络算法挖掘数据流关联规则,寻找出网页内价值最高的信息,并利用弹性可伸缩机制实现学习资源数据流处理。实验结果表明,数据挖掘技术可以准确发现Web学习资源流的变化点,得到的Web学习资源数据流相关性较高,提高了学习资源数据流回调率,具有更高的实际应用价值。 展开更多
关键词 Web学习资源 数据流处理 数据挖掘 网络爬虫 网页搜索 信息寻找
下载PDF
分布式数据流处理系统管理中负载均衡问题建模与求解 被引量：2
14
作者 唐颖峰 陈世平 《运筹与管理》 CSSCI CSCD 北大核心 2021年第4期155-162,共8页
对分布式数据流处理系统管理中,处理节点负载均衡问题进行了研究。阐述了分布式数据流处理系统的运行机理以及节点负载不均衡的成因,并提出了对系统负载均衡调整的优化方案;对提出的优化方案建立模型,并对模型的适用条件进行理论分析;... 对分布式数据流处理系统管理中,处理节点负载均衡问题进行了研究。阐述了分布式数据流处理系统的运行机理以及节点负载不均衡的成因,并提出了对系统负载均衡调整的优化方案;对提出的优化方案建立模型,并对模型的适用条件进行理论分析;然后采用蚁群算法对模型进行求解,并针对分布式数据流处理系统实时性的需求对算法进行改进;最后用实验证明本文所建立的模型及其求解方法对于解决分布式数据流处理系统管理中节点负载均衡问题的有效性。 展开更多
关键词 系统管理 分布式数据流处理系统 负载均衡 组合优化问题 蚁群算法
下载PDF
面向数据流处理的元组跟踪方法
15
作者 杜华明 张鹏 +2 位作者 徐克付 谭建龙 李焱 《电信科学》 北大核心 2013年第10期49-57,共9页
为了保证数据流中的每个元组得到可靠处理,传统的方法需要在内存中保存每个元组,直到它们被数据流处理系统正常处理,因此会带来很大的内存开销。为此提出了一种既能够保证元组得到可靠处理,又能够节省内存开销的元组跟踪方法。该方法包... 为了保证数据流中的每个元组得到可靠处理,传统的方法需要在内存中保存每个元组,直到它们被数据流处理系统正常处理,因此会带来很大的内存开销。为此提出了一种既能够保证元组得到可靠处理,又能够节省内存开销的元组跟踪方法。该方法包括内存分配策略、元组跟踪单元选择策略和校验值更新策略,这3个策略使得元组跟踪单元只保留元组标识符的异或校验值而不是元组减少内存开销,同时通过改进一致性散列变换实现元组跟踪单元的负载均衡。内存开销和负载均衡的相关实验表明,该方法能够有效实现对元组的跟踪和可靠处理。 展开更多
关键词 数据流处理 可靠性 数据流 负载均衡
下载PDF
一种数据流处理器的异步流水结构设计
16
作者 周磊 《信息技术》 2010年第12期71-74,共4页
介绍了一种基于握手协议的异步数据流处理器。首先阐述了数据流处理器的基本结构,4相捆绑数据握手协议。并随后根据DFP自身特点提出了改进式自控式单元结构应用于握手协议的硬件实现,以及2级循环分支流水结构应用于异步流水。最后就基... 介绍了一种基于握手协议的异步数据流处理器。首先阐述了数据流处理器的基本结构,4相捆绑数据握手协议。并随后根据DFP自身特点提出了改进式自控式单元结构应用于握手协议的硬件实现,以及2级循环分支流水结构应用于异步流水。最后就基本操作运算对该结构进行了仿真验证。 展开更多
关键词 数据流处理器 自控式单元 握手协议 异步流水
下载PDF
业扩监控及数据流处理技术在电力企业的应用研究 被引量：1
17
作者 张卓 《电子测试》 2020年第19期86-87,共2页
本文利用业扩监控及数据流处理技术,构建了电力企业一张图管控模式,为电网公司改善营商环境、精益化管理方提供了坚强支撑,不断提升了电力营销业务的流程化、规范化、自动化,提高了电力企业精益化管理水平。
关键词 电力公司 业扩报装 业扩监控 数据流处理技术 一张图管控
下载PDF
大数据环境下的分布式数据流处理关键技术 被引量：1
18
作者 朱蕾蕾 《电子技术与软件工程》 2019年第6期156-156,共1页
大数据时代中数据量过于庞大,导致人们寻找有用消息变得更加艰难,因此本文对大数据环境下的分布式数据流处理关键技术进行了论述,并对该处理方式应用到的技术进行了分类研究。
关键词 大数据 分布式数据流处理 关键技术
下载PDF
支持非等值连接的分布式数据流处理系统
19
作者 陈明珠 王晓桐 +1 位作者 房俊华 张蓉 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2017年第5期11-19,共9页
实时处理的分布式数据流系统在当今大数据时代扮演着越来越重要的角色.其中,连接查询是大数据分析处理中最为重要且开销较大的操作之一.然而,由于现实应用产生的数据普遍存在倾斜分布现象,加之数据流本身的无界性与不可预知性,给在分布... 实时处理的分布式数据流系统在当今大数据时代扮演着越来越重要的角色.其中,连接查询是大数据分析处理中最为重要且开销较大的操作之一.然而,由于现实应用产生的数据普遍存在倾斜分布现象,加之数据流本身的无界性与不可预知性,给在分布式数据流系统上进行连接查询处理提出了严峻的挑战.目前工业界较为主流的数据流系统处理连接查询的通用性较低,没有提供专门针对连接操作的接口;学术界推出的数据流连接查询原型系统虽然提供了接口,但大多面向等值连接,或仅能支持部分theta连接,且存在资源开销大、负载均衡性能低等问题.本文对比分析三种典型数据流系统,将基于Join-Matrix的连接处理技术与Storm系统相结合,设计并实现了通用的、可支持任意连接查询的数据流处理系统.实验展示了本文设计的系统具有更加良好的吞吐量与资源优化表现. 展开更多
关键词 数据流处理系统 连接处理 分布式计算
下载PDF
数据流处理自动化和重新设计
20
作者 李斌 《管理观察》 1997年第5期53-53,共1页
关键词 数据流处理 工作流自动化 WINDOWS操作系统 业务过程 新设计 过程改进 过程和方法 教学进度 计算机具 适配器
下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 4 下一页 到第 页
使用帮助 返回顶部