TSS数据流管理系统的设计与实现 被引量：2

1

作者 秦元坤 彭乐 薛一波 《计算机工程与设计》 CSCD 北大核心 2008年第13期3458-3461,共4页

当前信息安全方面的很多应用表现为典型的数据流应用,对数据流查询提出较高的要求。研究针对信息安全应用的数据流管理系统,提供高效、灵活的数据流查询统计分析技术,对于提高这些应用系统的效率具有重大意义。设计并实现了TSS数据流管... 当前信息安全方面的很多应用表现为典型的数据流应用,对数据流查询提出较高的要求。研究针对信息安全应用的数据流管理系统,提供高效、灵活的数据流查询统计分析技术,对于提高这些应用系统的效率具有重大意义。设计并实现了TSS数据流管理系统,可以对高速的网络数据流进行实时的查询和统计分析,为各种应用提供高速有效的支持。此外,系统特别优化了网络应用中常用的5类聚合查询,使该系统性能可以满足千兆网络条件下的实际使用。 展开更多

关键词 数据流 数据流查询 数据流管理系统 清华数据流管理系统 聚合查询

下载PDF 职称材料

配电自动化的数据流管理系统设计 被引量：13

2

作者 王永利 徐宏炳 +2 位作者 董逸生 钱江波 刘学军 《电力系统自动化》 EI CSCD 北大核心 2004年第13期85-89,96,共6页

数据采集与监视控制(SCADA)系统采集的各种实时、连续、有序的值序列是典型的数据流,而目前SCADA系统所采用的实时数据库系统对数据流处理的实时性和自适应性要求尚需改进。文中以配电自动化管理为应用背景,提出一个支持配电自动化的数... 数据采集与监视控制(SCADA)系统采集的各种实时、连续、有序的值序列是典型的数据流,而目前SCADA系统所采用的实时数据库系统对数据流处理的实时性和自适应性要求尚需改进。文中以配电自动化管理为应用背景,提出一个支持配电自动化的数据流管理系统,在配电网远方终端加入查询处理层,降低网络传输负载,提高配电网数据处理的实时性和可靠性。文中描述了系统的基本结构、各组成部分的功能和关键技术,探讨了有关分布式连续查询处理、近似计算、归档数据处理等问题,并提出在数据流研究方面的一些新看法。 展开更多

关键词 配电自动化 数据流管理系统 连续查询 近似计算

下载PDF 职称材料

数据流管理系统综述 被引量：9

3

作者 周明中 龚俭 《计算机工程》 EI CAS CSCD 北大核心 2006年第2期10-12,25,共4页

数据流管理系统提出了一种通用结构模型,它采用窗口机制,连续查询以及相应的优化策略迅速高效地对实时数据进行在线分析处理。文章分析了数据流管理系统的框架结构和构成要素,讨论了其适用范围和优缺点,并指出当前研究中存在的问题及可... 数据流管理系统提出了一种通用结构模型,它采用窗口机制,连续查询以及相应的优化策略迅速高效地对实时数据进行在线分析处理。文章分析了数据流管理系统的框架结构和构成要素,讨论了其适用范围和优缺点,并指出当前研究中存在的问题及可能的发展趋势。 展开更多

关键词 数据流 数据流管理系统 窗几机制 连续查询 优化策略

下载PDF 职称材料

数据流管理系统研究与进展 被引量：6

4

作者 张玲东 毛宇光 +1 位作者 曹晨光 宋卫东 《计算机应用研究》 CSCD 北大核心 2005年第6期12-15,共4页

综述了数据流管理系统的研究现状及相关的技术,包括相关的基本概念的阐述、现有实验系统的回顾、流式查询中存在的问题及相关的解决方案,并就今后如何进行数据流管理系统的研究提出了一些新的看法。

关键词 数据流 数据流管理系统 连续查询

下载PDF 职称材料

多核平台下Esper数据流管理系统性能分析研究 被引量：2

5

作者 王洪亚 张华庆 刘晓强 《计算机工程》 CAS CSCD 北大核心 2016年第9期15-20,共6页

Esper事件处理系统可用于复杂事件处理与数据分析,适用于处理大量历史的或实时的消息和事件流。分析多核计算平台下基于Esper引擎所构建的数据流处理系统,介绍基于Esper引擎实验平台的设计与实现,给出完整的查询语句和测试用例,并使用... Esper事件处理系统可用于复杂事件处理与数据分析,适用于处理大量历史的或实时的消息和事件流。分析多核计算平台下基于Esper引擎所构建的数据流处理系统,介绍基于Esper引擎实验平台的设计与实现,给出完整的查询语句和测试用例,并使用该实验平台对多核平台下Esper引擎的性能进行测试,通过实时监控和离线数据分析给出系统的各项性能指标。实验结果表明,Esper数据流系统对多核平台并不能够提供良好的支持。 展开更多

关键词 事件流处理 复杂事件处理 多核平台 Esper引擎 数据流管理系统

下载PDF 职称材料

面向信息安全的高速数据流管理系统的设计与实现 被引量：1

6

作者 李冬 薛一波 《计算机应用与软件》 CSCD 北大核心 2008年第12期268-270,277,共4页

随着信息安全领域研究和应用的深入,网络行为和流量分析等应用对网络流的处理提出了更高的要求。从数据流管理系统的角度重新诠释了网络流分析,设计并实现了一个能够匹配千兆网络的高速数据流管理系统IS-DSMS(DataS tream Management Sy... 随着信息安全领域研究和应用的深入,网络行为和流量分析等应用对网络流的处理提出了更高的要求。从数据流管理系统的角度重新诠释了网络流分析,设计并实现了一个能够匹配千兆网络的高速数据流管理系统IS-DSMS(DataS tream Management Systemfor Information Security)。系统利用了采样技术、概要技术、滑动窗口等技术对常用的五类聚合查询进行了优化。实验证明,系统具备千兆网络条件下实际使用的性能,可作为网络数据流实时查询和统计分析引擎,为入侵检测、网络监控等系统提供高速有效的支持。 展开更多

关键词 数据流管理系统 聚合查询 信息安全 网络监控

下载PDF 职称材料

数据流管理系统关键技术研究 被引量：1

7

作者 刘景春 《佳木斯大学学报（自然科学版）》 CAS 2005年第4期505-510,共6页

传统数据库系统用于需要持久稳固的数据存储和复杂查询的应用,然而近几年许多的应用证明这种数据模式和查询范例是不适合的,如传感器数据位置跟踪、工厂装配线管理、金融证券管理、Internet流量监控、Web使用日志、电话呼叫记录、和事... 传统数据库系统用于需要持久稳固的数据存储和复杂查询的应用,然而近几年许多的应用证明这种数据模式和查询范例是不适合的,如传感器数据位置跟踪、工厂装配线管理、金融证券管理、Internet流量监控、Web使用日志、电话呼叫记录、和事务日志的在线分析等,在这些应用背景中信息按照数据值序列的形式自然产生,都需要及时地处理大规模的潜在快速的异步的数据流.本文回顾近来数据流管理系统领域的相关工作和流项目的研究情况;分析了连续查询处理的新需求和挑战;重点研究包括数据模式,系统结构,连续查询语言,调度方法,相关算法和查询评价等关键技术. 展开更多

关键词 数据流 数据流管理系统 连续查询 查询评价

下载PDF 职称材料

数据流管理系统查询执行的设计与实现

8

作者 徐春凤 邵桢 李伟春 《长春理工大学学报（自然科学版）》 2007年第4期125-127,共3页

数据流管理系统是用来管理和查询不断到来的大量、持续、快速和多变的数据流。系统的基础就是对这些流动的数据进行抽取、转化、组合,这是查询执行的主要内容与任务。本文主要论述查询执行模块的设计与实现,查询执行由两大部分组成——... 数据流管理系统是用来管理和查询不断到来的大量、持续、快速和多变的数据流。系统的基础就是对这些流动的数据进行抽取、转化、组合,这是查询执行的主要内容与任务。本文主要论述查询执行模块的设计与实现,查询执行由两大部分组成——查询运算和查询执行及调度。 展开更多

关键词 数据流管理系统 数据流 数据运算

下载PDF 职称材料

EMS数据流管理系统的框架设计 被引量：8

9

作者 何轶璇 罗毅 涂光瑜 《电力系统自动化》 EI CSCD 北大核心 2006年第24期33-38,共6页

针对现有关系型数据库系统在能量管理系统(EMS)实时应用中存在的缺陷,设计了一个新型EMS数据流管理系统的框架,并建立了相对应的数据流模型。该框架能够根据流速不同对采集数据进行分类处理,通过数据流查询窗口对相量测量单元(PMU)高速... 针对现有关系型数据库系统在能量管理系统(EMS)实时应用中存在的缺陷,设计了一个新型EMS数据流管理系统的框架,并建立了相对应的数据流模型。该框架能够根据流速不同对采集数据进行分类处理,通过数据流查询窗口对相量测量单元(PMU)高速数据进行分割、降速、筛选,实现了对PMU数据和原有监控与数据采集(SCADA)系统测量值的并行实时处理,并且能够在实现稳态计算功能的同时对系统进行动态监测。文中描述了系统的基本结构、各组成部分的功能和关键技术,并在数据流处理方面提出了一些提高效率的改进措施。 展开更多

关键词 EMS PMU 数据流管理系统 数据流模型 滑动窗口

下载PDF 职称材料

数据流管理系统研究现状分析

10

作者 赵以强 张龙波 《科技信息》 2010年第28期I0237-I0238,共2页

近年来,在很多应用领域中出现了一种新的数据模式,其数据不是以传统的有限数据集,而是以连续的数据流形式出现。数据流管理的理论与算法,以及系统实现和开发技术都非常重要,需要深入研究。目前,

关键词 数据流管理系统 数据模式 数据集 算法

下载PDF 职称材料

数据流管理系统分析与研究

11

作者 许颖梅 《电脑学习》 2009年第6期9-11,共3页

综述了数据流管理系统的研究现状及相关的技术,包括基本概念的阐述、流式查询中存在的问题及其解决方案,并就今后如何进行数据流管理系统的研究提出了一些新的看法。

关键词 数据流 数据流管理系统 连续查询 块操作 滑动窗口

下载PDF 职称材料

数据流管理系统中Max、Min聚集算子的示例概要算法

12

作者 田海生 《计算机应用》 CSCD 北大核心 2008年第8期1986-1990,共5页

Max和Min是数据流管理系统中重要聚集算子。应用基于滑动窗口下的示例概要法在实时数据流场景下计算Max和Min。在本方法中不需要保存所有落入滑动窗口中数据元组,这意味着可以极大地减小存储空间。由于存储元组的减少,系统的处理时间也... Max和Min是数据流管理系统中重要聚集算子。应用基于滑动窗口下的示例概要法在实时数据流场景下计算Max和Min。在本方法中不需要保存所有落入滑动窗口中数据元组,这意味着可以极大地减小存储空间。由于存储元组的减少,系统的处理时间也显著地减少。实验结果表明基于滑动窗口的示例概要法显著降低了时间和空间的开销。 展开更多

关键词 示例概要法 滑动窗口 数据流管理系统

下载PDF 职称材料

基于数据流管理平台的网络安全事件监控系统 被引量：13

13

作者 沈星星 程学旗 《小型微型计算机系统》 CSCD 北大核心 2006年第2期237-240,共4页

复杂而繁多的网络攻击要求监控系统能够在高速网络流量下实时检测发现各种安全事件.数据流管理系统是一种对高速、大流量数据的查询请求进行实时响应的流数据库模型.本文提出了一种将数据流技术应用到网络安全事件监控中的框架模型.在... 复杂而繁多的网络攻击要求监控系统能够在高速网络流量下实时检测发现各种安全事件.数据流管理系统是一种对高速、大流量数据的查询请求进行实时响应的流数据库模型.本文提出了一种将数据流技术应用到网络安全事件监控中的框架模型.在这个模型中,数据流管理平台有效地支持了对高速网络数据流的实时查询与分析,从而保证基于其上的网络安全事件监控系统能够达到较高的处理性能.利用CQL作为接口语言,精确描述安全事件规则与各种监控查询,具有很强的灵活性与完整性.另外,系统能够整合入侵检测、蠕虫发现、网络交通流量管理等多种监控功能,具有良好的可扩展性. 展开更多

关键词 数据流管理系统 网络安全 入侵检测 监控

下载PDF 职称材料

面向流数据的数据管理系统的研究 被引量：6

14

作者 桂浩 冯玉才 李又奎 《计算机应用研究》 CSCD 北大核心 2005年第1期88-90,133,共4页

传统关系数据库系统通常用来存储没有时间概念的相对静止的数据,对于一些新的应用领域,信息是以数据序列的形式产生并且需要实时地、持续地进行处理,这就超出了传统系统的解决能力。数据流数据管理系统是面向流数据而设计的数据管理系统... 传统关系数据库系统通常用来存储没有时间概念的相对静止的数据,对于一些新的应用领域,信息是以数据序列的形式产生并且需要实时地、持续地进行处理,这就超出了传统系统的解决能力。数据流数据管理系统是面向流数据而设计的数据管理系统,它能有效地处理输入流数据并提供持续检索的功能。从整体上分析数据流管理系统的体系结构,重点讨论基于流数据的数据模型和流查询。 展开更多

关键词 数据流管理系统 数据库 流查询

下载PDF 职称材料

基于结构化P2P的分布式数据流系统的查询处理模型 被引量：1

15

作者 刘云生 赵海谊 《计算机应用研究》 CSCD 北大核心 2007年第12期74-76,共3页

分析了基于结构化覆盖网的分布式查询处理模型,支持大量数据流的分布式存储,连续查询间、查询内的并行处理操作,能够在很大程度上消除资源约束问题(主要是内存),提高了查询性能、服务质量,并且该查询模型具有很好的扩展性。

关键词 分布式数据流管理系统 结构化覆盖网 分布式散列表 滑动窗口

下载PDF 职称材料

面向高速网络的数据流处理系统研究

16

作者 陈思宁 陈磊松 《情报探索》 2006年第12期52-53,69,共3页

高速网络中产生大量的数据流,以多重、持续、快速、时变形式到达。在处理这些需要实时响应的大容量数据流时,传统数据库管理系统的基本结构存在很大的局限性。文章从数据流的特性出发,分析了传统数据库管理系统的局限性和数据流处理的... 高速网络中产生大量的数据流,以多重、持续、快速、时变形式到达。在处理这些需要实时响应的大容量数据流时,传统数据库管理系统的基本结构存在很大的局限性。文章从数据流的特性出发,分析了传统数据库管理系统的局限性和数据流处理的设计要求,对数据流处理模型设计和评价提供有价值的参考。 展开更多

关键词 高速网络 数据流 数据库管理系统(DBMS) 高速网络的数据流管理系统(DSMS) 查询处理

下载PDF 职称材料

易变数据流的系统资源配置方法 被引量：3

17

作者 王春凯 庄福振 史忠植 《智能系统学报》 CSCD 北大核心 2019年第6期1278-1285,共8页

大规模数据流管理系统往往由上层的关系查询系统和下层的流处理系统组成。当用户提交查询请求时,往往需要根据数据流的流速和分布情况动态配置系统参数。然而,由于数据流的易变性,频繁改变参数配置会降低系统性能。针对该问题,提出了Ori... 大规模数据流管理系统往往由上层的关系查询系统和下层的流处理系统组成。当用户提交查询请求时,往往需要根据数据流的流速和分布情况动态配置系统参数。然而,由于数据流的易变性,频繁改变参数配置会降低系统性能。针对该问题,提出了OrientStream+框架。设定以用户自定义查询延迟阈值为间隔片段的微批量数据流传输机制;并利用多级别管道缓存,对相同配置的数据流进行批量处理;然后按照数据流的时间戳计算出精准查询结果;引入基于异常检测的增量学习模型,用于提高OrientStream+的预测精度。最后,在Storm上实现了该资源配置框架,并进行了大量的实验。实验结果表明,OrientStream+框架可进一步降低系统的处理延迟并提高系统的吞吐率。 展开更多

关键词 大规模数据流管理系统 易变数据流 增量学习 模型预测 参数配置 微批处理 系统性能 异常检测

下载PDF 职称材料

数据流系统降载研究综述

18

作者 陈军 周明天 杨晓燕 《计算机应用研究》 CSCD 北大核心 2008年第10期2898-2902,共5页

在介绍数据流及数据流系统的模型后,对降载时的系统约束、输出质量目标进行了正式阐述。提出数据流系统降载策略的分类方法,着重分析了目前一些较为重要的数据流系统降载策略,指出其特征和应用范围,最后总结了好的数据流降载策略应具有... 在介绍数据流及数据流系统的模型后,对降载时的系统约束、输出质量目标进行了正式阐述。提出数据流系统降载策略的分类方法,着重分析了目前一些较为重要的数据流系统降载策略,指出其特征和应用范围,最后总结了好的数据流降载策略应具有的特点以及未来研究的发展趋势。 展开更多

关键词 数据流系统 降载 数据流管理系统 窗口

下载PDF 职称材料

数据流管理若干关键问题的研究 被引量：1

19

作者 王建涛 蔡淮 《成都信息工程学院学报》 2008年第3期269-274,共6页

面向数据流而设计的管理系统——数据流管理系统,能有效地处理输入数据流并提供持续查询的功能。从整体上分析了数据流管理系统的体系结构和构成要素,对数据流的数据模型和流查询进行了重点讨论。

关键词 数据流 数据流管理系统 连续查询 数据流模型

下载PDF 职称材料

数据流中的频繁模式挖掘 被引量：5

20

作者 程转流 王本年 《计算机技术与发展》 2007年第12期53-55,59,共4页

近年来,数据流挖掘越来越引起研究人员的关注,已逐渐成为许多领域有用的工具。如何利用有限的存储空间高效地挖掘出频繁模式已成为数据流挖掘的基本问题,具有很强的现实意义和理论价值。在论述数据流管理系统模型的基础上,深入分析了国... 近年来,数据流挖掘越来越引起研究人员的关注,已逐渐成为许多领域有用的工具。如何利用有限的存储空间高效地挖掘出频繁模式已成为数据流挖掘的基本问题,具有很强的现实意义和理论价值。在论述数据流管理系统模型的基础上,深入分析了国内外的各种频繁模式挖掘算法,并指出这些算法的特点及其局限性。最后对未来的研究方向进行了展望。 展开更多

关键词 数据挖掘 数据流 频繁模式 数据流管理系统

下载PDF 职称材料