基于概要数据结构的网络微突发流量检测方法

1

作者 王佳宇 于俊清 +1 位作者 李冬 赵君杨 《计算机科学》 北大核心 2025年第1期374-382,共9页

网络微突发流量是数据中心网络中常见的流量类型,其在极短的时间内迅速增长,对网络性能造成严重影响,且难以检测。目前的测量方法无法兼顾细粒度检测和低资源开销传输,文中基于概要数据结构(sketch)设计了一种轻量级细粒度的网络微突发... 网络微突发流量是数据中心网络中常见的流量类型,其在极短的时间内迅速增长,对网络性能造成严重影响,且难以检测。目前的测量方法无法兼顾细粒度检测和低资源开销传输,文中基于概要数据结构(sketch)设计了一种轻量级细粒度的网络微突发流量测量方法。首先基于可编程交换机的架构特性,实时测量数据报文的排队时延,设计检测算法,监测微突发流量,实现基于数据报文的细粒度检测;然后根据检测结果采集微突发流,采用sketch存储微突发流信息,利用镜像传输方式在时间片或微突发流结束后向控制器传送,实现轻量级传输。测量方法基于可编程协议无关报文处理语言,在P4可编程交换机上进行了相应的系统实现,能够实时检测和展示网络微突发流量。实验结果表明该方法能够实时细粒度检测网络微突发流量,显著降低传输微突发信息的带宽开销。 展开更多

关键词 可编程协议无关报文处理语言 可编程交换机 微突发流量 概要数据结构

下载PDF 职称材料

基于概要数据结构可溯源的异常检测方法 被引量：10

2

作者 罗娜 李爱平 +1 位作者 吴泉源 陆华彪 《软件学报》 EI CSCD 北大核心 2009年第10期2899-2906,共8页

提出一种基于sketch概要数据结构的异常检测方法.该方法实时记录网络数据流信息到sketch数据结构,然后每隔一定周期进行异常检测.采用EWMA(exponentially weighted moving average)预测模型预测每一周期的预测值,计算观测值与预测值之... 提出一种基于sketch概要数据结构的异常检测方法.该方法实时记录网络数据流信息到sketch数据结构,然后每隔一定周期进行异常检测.采用EWMA(exponentially weighted moving average)预测模型预测每一周期的预测值,计算观测值与预测值之间的差异sketch,然后基于差异sketch采用均值均方差模型建立网络流量变化参考.该方法能够检测DDoS、扫描等攻击行为,并能追溯异常的IP地址.通过模拟实验验证,该方法占用很少的计算和存储资源,能够检测骨干网络流量中的异常IP地址. 展开更多

关键词 异常检测 概要数据结构 溯源性 EWMA 均值均方差模型

下载PDF 职称材料

面向数据流的多层Count-Min概要数据结构 被引量：1

3

作者 冯文峰 郭巧 +1 位作者 关志涛 张治斌 《计算机工程》 CAS CSCD 北大核心 2007年第14期20-23,共4页

构造了多层Count-Min概要数据结构来概括流数据中的层次结构。通过定义多层数据域U*上两两相互独立的异或哈希函数族,将数据流元组映射到L×D×W的三维计数数组,L是层次个数,D是从哈希函数族中均匀随机选取的哈希函数个数,W是... 构造了多层Count-Min概要数据结构来概括流数据中的层次结构。通过定义多层数据域U*上两两相互独立的异或哈希函数族,将数据流元组映射到L×D×W的三维计数数组,L是层次个数,D是从哈希函数族中均匀随机选取的哈希函数个数,W是哈希函数的值域。基于该结构,利用广度优先查询策略,查找多层频繁项集和估计多层频繁项值。实验表明,该结构在更新时间、存储空间和估计精度方面比直接堆叠多个Count-Min结构有较大的提高。 展开更多

关键词 数据流 概要数据结构 频繁项集 随机算法 多层结构

下载PDF 职称材料

基于概要数据结构的网络异常检测方法 被引量：1

4

作者 龙门 夏靖波 张子阳 《计算机应用与软件》 CSCD 2011年第4期186-188,共3页

提出一种基于概要数据结构(sketch)的网络异常检测方法。采用金字塔时间模型对高速网络数据流进行分析,并基于奇异熵提取sketch。统计一定周期内该数据结构的特征值变化趋势,计算出均值和梯度值,以及相应的报警区间。当告警出现时,该方... 提出一种基于概要数据结构(sketch)的网络异常检测方法。采用金字塔时间模型对高速网络数据流进行分析,并基于奇异熵提取sketch。统计一定周期内该数据结构的特征值变化趋势,计算出均值和梯度值,以及相应的报警区间。当告警出现时,该方法能分析出现异常的IP地址。实验证明,该方法能有效地对网络进行异常检测。 展开更多

关键词 概要数据结构 金字塔时间模型 奇异熵 异常检测

下载PDF 职称材料

数据流概要数据结构在大型零售商业管理信息系统中的应用

5

作者 张龙波 赵以强 朱伯玉 《商场现代化》 北大核心 2007年第08S期67-68,共2页

本文首先介绍了数据流概要数据结构构建技术及其发展现状,说明了数据流概要构建技术应用于大型零售商业管理信息系统中的必要性,分析了如何将数据流概要构建技术应用于大型零售商业管理信息系统中。

关键词 数据流 概要数据结构 零售商业 管理信息系统

下载PDF 职称材料

基于概要数据结构的高维数据流聚类算法

6

作者 王冬秀 李辉 《广西工学院学报》 CAS 2011年第4期59-64,共6页

为了在高维数据流中有效地形成聚类,针对经典算法CELL-Tree存在的问题,提出一种新的概要数据结构PL-Tree以及基于此数据结构的算法PLStream,并采取衰减窗口模式来适应数据流的变化,采用剪枝策略控制内存中聚类模型的规模.实验表明,PLStr... 为了在高维数据流中有效地形成聚类,针对经典算法CELL-Tree存在的问题,提出一种新的概要数据结构PL-Tree以及基于此数据结构的算法PLStream,并采取衰减窗口模式来适应数据流的变化,采用剪枝策略控制内存中聚类模型的规模.实验表明,PLStream算法能较好地适应高维数据流,比CELL-Tree算法具有更好的时间和空间效率. 展开更多

关键词 概要数据结构 高维数据流 聚类

下载PDF 职称材料

基于概要数据结构的全网络持续流检测方法 被引量：3

7

作者 周爱平 朱琛刚 《计算机应用》 CSCD 北大核心 2019年第8期2354-2358,共5页

持续流是隐蔽的网络攻击过程中显现的一种重要特征,它不产生大量流量且在较长周期内有规律地发生,给传统的检测方法带来极大挑战。针对网络攻击的隐蔽性、单监测点的重负荷和信息有限的问题,提出全网络持续流检测方法。首先,设计一种概... 持续流是隐蔽的网络攻击过程中显现的一种重要特征,它不产生大量流量且在较长周期内有规律地发生,给传统的检测方法带来极大挑战。针对网络攻击的隐蔽性、单监测点的重负荷和信息有限的问题,提出全网络持续流检测方法。首先,设计一种概要数据结构,并将其部署在每个监测点;其次,当网络流到达监测点时,提取流的概要信息并更新概要数据结构的一位;然后,在测量周期结束时,主监测点将来自其他监测点的概要信息进行综合;最后,提出流持续性的近似估计,通过一些简单计算为每个流构建一个位向量,利用概率统计方法估计流持续性,使用修正后的持续性估计检测持续流。通过真实的网络流量进行实验,结果表明,与长持续时间流检测算法(TLF)相比,所提方法的准确性提高了50%,误报率和漏报率分别降低了22%和20%,说明全网络持续流检测方法能够有效监测高速网络流量。 展开更多

关键词 网络测量 持续流检测 网络攻击 概要数据结构 概率统计方法

下载PDF 职称材料

基于Filter-ary-Sketch数据结构的骨干网异常检测研究 被引量：4

8

作者 郑黎明 邹鹏 +2 位作者 韩伟红 李爱平 贾焰 《通信学报》 EI CSCD 北大核心 2011年第12期151-160,共10页

针对骨干网上异常检测的特殊要求,提出了一种基于Filter-ary-Sketch数据结构的异常检测方法。该方法通过Filter-ary-Sketch实时记录网络流量信息,然后每隔一定周期进行基于多维熵值的异常检测。如果出现异常则根据Filter-ary-Sketch记... 针对骨干网上异常检测的特殊要求,提出了一种基于Filter-ary-Sketch数据结构的异常检测方法。该方法通过Filter-ary-Sketch实时记录网络流量信息,然后每隔一定周期进行基于多维熵值的异常检测。如果出现异常则根据Filter-ary-Sketch记录的流量信息进行异常点定位,最后利用Bloom Filter中记录的源IP信息进行恶意流量阻断。该方法能够检测多种类型的网络攻击,且能有效地进行恶意流量阻断。利用实际骨干网流量数据,分别从效率和精度2个方法进行对比实验,取得了较好的效果。 展开更多

关键词 网络安全 异常检测 概要数据结构 熵

下载PDF 职称材料

基于多层概要结构的数据流的频繁项集发现算法 被引量：1

9

作者 冯文峰 郭巧 吴素妍 《北京理工大学学报》 EI CAS CSCD 北大核心 2006年第6期512-516,共5页

利用一类基于异或运算的两两相互独立的哈希函数族,实现了对多层结构流数据进行“概括”的概要数据结构.应用该多层概要数据结构,实现了面向数据流的多层频繁项集的动态近似查找算法.实验结果表明,该算法以亚线性的时间和空间消耗,在统... 利用一类基于异或运算的两两相互独立的哈希函数族,实现了对多层结构流数据进行“概括”的概要数据结构.应用该多层概要数据结构,实现了面向数据流的多层频繁项集的动态近似查找算法.实验结果表明,该算法以亚线性的时间和空间消耗,在统计意义上达到了几乎100%的查找和估计精确度. 展开更多

关键词 数据流 概要数据结构 频繁项集 随机算法

下载PDF 职称材料

基于Sketch数据结构的海量网络流量实时排名系统 被引量：2

10

作者 方澄 殷明瑞 +1 位作者 张礼哲 孙佳慧 《计算机应用》 CSCD 北大核心 2019年第A01期70-74,共5页

海量互联网流量数据服从幂律分布,因此对流量中排名前k个的服务提供商(SP)进行实时监控和了解,有助于运营商实时了解网络状态,便于网络管理。针对这个事实,提出一种采用概要(Sketch)数据结构的互联网流量实时排名系统。该系统实时记录... 海量互联网流量数据服从幂律分布,因此对流量中排名前k个的服务提供商(SP)进行实时监控和了解,有助于运营商实时了解网络状态,便于网络管理。针对这个事实,提出一种采用概要(Sketch)数据结构的互联网流量实时排名系统。该系统实时记录网络数据流信息到Sketch数据结构,用Sketch图来保留整个数据流所有元素的概要信息。与数据流所有元素信息相比,Sketch图占用更少的计算和存储资源,因此可以实现实时流量统计。此外,为适应大规模流式数据的需求,系统算法进行并行化,并部署在并行流式工作框架SparkStreaming之上,从而实现对海量网络流量的实时排名。该系统应用于运营商真实网络环境下,对真实网络环境下流量进行了实时跟踪和分析。通过大量实验首次给出了某省网络运营商真实流量的实时排名变化情况,发现在一天内流量排名虽然有小幅的变化,但整体排名顺序基本保持不变,腾讯公司是流量最大的服务提供商;同时还发现为了分流网络流量,减小网络流量压力,服务提供商将网页内嵌的图片、视频等对象转移到其他域名下。通过实际应用和测试验证了该实时排名系统的有效性。 展开更多

关键词 概要数据结构 实时 大规模流式数据 SparkStreaming

下载PDF 职称材料

流数据分析与管理综述 被引量：161

11

作者 金澈清 钱卫宁 周傲英 《软件学报》 EI CSCD 北大核心 2004年第8期1172-1181,共10页

有关流数据分析与管理的研究是目前国际数据库研究领域的一个热点.在过去30多年中,尽管传统数据库技术发展迅速且得到了广泛应用,但是它不能够处理在诸如网络路由、传感器网络、股票分析等应用中所生成的一种新型数据,即流数据.流数据... 有关流数据分析与管理的研究是目前国际数据库研究领域的一个热点.在过去30多年中,尽管传统数据库技术发展迅速且得到了广泛应用,但是它不能够处理在诸如网络路由、传感器网络、股票分析等应用中所生成的一种新型数据,即流数据.流数据的特点是数据持续到达,且速度快、规模宏大;其研究核心是设计高效的单遍数据集扫描算法,在一个远小于数据规模的内存空间里不断更新一个代表数据集的结构棗概要数据结构,使得在任何时候都能够根据这个结构迅速获得近似查询结果.综述国际上关于流数据的概要数据结构生成与维护的研究成果,并通过列举解决流数据上两个重要问题的各种方案来比较各种算法的特点以及优劣. 展开更多

关键词 流数据 概要数据结构 界标模型 滑动窗1:3模型

下载PDF 职称材料

数据挖掘取样方法研究 被引量：54

12

作者 胡文瑜 孙志挥 吴英杰 《计算机研究与发展》 EI CSCD 北大核心 2011年第1期45-54,共10页

取样是一种通用有效的近似技术.在数据挖掘研究中,取样方法可显著减小所处理数据集的规模,使得众多数据挖掘算法得以应用到大规模数据集以及数据流数据上.通过对应用于数据挖掘领域的代表性取样方法的比较研究和分析总结,提出了一个取... 取样是一种通用有效的近似技术.在数据挖掘研究中,取样方法可显著减小所处理数据集的规模,使得众多数据挖掘算法得以应用到大规模数据集以及数据流数据上.通过对应用于数据挖掘领域的代表性取样方法的比较研究和分析总结,提出了一个取样算法分类框架.在指出了均匀取样局限性的基础上阐述了某些应用场景中选用偏倚取样方法的必要性,综述了取样技术在数据挖掘领域的应用研究与应用发展,最后对数据流挖掘取样方法面临的挑战和发展方向进行了展望. 展开更多

关键词 数据挖掘 均匀取样 偏倚取样 数据流 概要数据结构

下载PDF 职称材料

基于数据流方法的大规模网络异常发现 被引量：17

13

作者 郑军 胡铭曾 +1 位作者 云晓春 郑仲 《通信学报》 EI CSCD 北大核心 2006年第2期1-8,共8页

随着网络规模和速度的增加,大规模网络异常发现要求检测算法能够在无保留状态或者少保留状态下对G比特级的海量网络业务量数据进行实时在线分析。针对在高速骨干网上进行大规模网络异常发现的特点和要求,提出了一种基于数据流的大规模... 随着网络规模和速度的增加,大规模网络异常发现要求检测算法能够在无保留状态或者少保留状态下对G比特级的海量网络业务量数据进行实时在线分析。针对在高速骨干网上进行大规模网络异常发现的特点和要求,提出了一种基于数据流的大规模网络异常发现的方法,第一次将数据流模型用于大规模网络的异常发现。主要包括以下创新点:设计了一种面向异常发现的网络流量概要数据结构和突发高频事件检测算法;提出了一种基于安全监测策略定制的预查询方法来进行多数据流的关联监测并且对数据流查询进行了优化;在真实数据分析的基础上,对网络业务量进行了数据约减,使得监测部分特殊类型的数据流能最大程度地获得整体网络业务量的变化特征以提高异常发现的效率。通过真实网络环境下的实验和性能评价验证了数据流方法的有效性。 展开更多

关键词 异常发现 数据流 大规模网络 突发高频事件 概要数据结构

下载PDF 职称材料

挖掘数据流频繁模式的相关技术和算法研究综述 被引量：6

14

作者 唐懿芳 穆志纯 +1 位作者 张师超 钟达夫 《计算机工程与应用》 CSCD 北大核心 2009年第26期121-125,共5页

数据流本身的特点使得静态挖掘方法不再满足要求。国内外学者已提出许多新的挖掘数据流频繁模式的方法和技术。对这些技术和算法进行了综述。首先介绍数据流的概念和特点,分析国内外的研究现状,总结了数据流中挖掘频繁模式的特点,并列... 数据流本身的特点使得静态挖掘方法不再满足要求。国内外学者已提出许多新的挖掘数据流频繁模式的方法和技术。对这些技术和算法进行了综述。首先介绍数据流的概念和特点,分析国内外的研究现状,总结了数据流中挖掘频繁模式的特点,并列出挖掘方法的常用技术和基于这些技术的代表性算法,最后讨论了将来的研究方向。 展开更多

关键词 数据流 频繁模式 概要数据结构 衰减因子 倾斜时间窗口

下载PDF 职称材料

数据流分析与技术研究 被引量：6

15

作者 李岩 王惠文 叶明 《计算机工程与应用》 CSCD 北大核心 2008年第15期8-11,共4页

数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝和不可预测的特点,对其进行有效地分析和挖掘遇到了极大的挑战。介绍了数据流的基本概念、数据流模型、数据流处理模型和目前一些数据流管理系统,并对数据流技... 数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝和不可预测的特点,对其进行有效地分析和挖掘遇到了极大的挑战。介绍了数据流的基本概念、数据流模型、数据流处理模型和目前一些数据流管理系统,并对数据流技术及其挖掘算法进行归纳和分类论述。 展开更多

关键词 数据流 DSMS 概要数据结构 滑动窗口

下载PDF 职称材料

数据流的核心技术与应用发展研究综述 被引量：13

16

作者 杨颖 韩忠明 杨磊 《计算机应用研究》 CSCD 北大核心 2005年第11期4-7,共4页

在数据流基本概念的基础上,综述了数据流领域中主要的流模型、构造概要数据结构的算法、连续查询处理和优化技术等热点问题,以及数据流的应用发展。

关键词 数据流 概要数据结构 连续查询 近似处理

下载PDF 职称材料

带权值数据流滑动窗口随机抽样算法的改进 被引量：3

17

作者 张龙波 李战怀 +1 位作者 余敏 蒋芸 《计算机工程与应用》 CSCD 北大核心 2007年第25期18-20,共3页

通过改进加权抽样算法,结合基本窗口技术,提出了两种面向带权值数据流上连续更新滑动窗口的随机抽样算法:WRSB算法和IWRSB算法。当新的数据元组到达时,根据数据元组的权值计算出该元组的键值,根据元组键值的大小决定其是否进入样本集以... 通过改进加权抽样算法,结合基本窗口技术,提出了两种面向带权值数据流上连续更新滑动窗口的随机抽样算法:WRSB算法和IWRSB算法。当新的数据元组到达时,根据数据元组的权值计算出该元组的键值,根据元组键值的大小决定其是否进入样本集以及样本集中被替换的数据元组,同时设置一个系统缓冲区来保存最近到达的键值较大的部分数据元组,作为过期数据元组的后备,使算法能够有效地处理过期数据元组问题。理论分析和实验结果表明,两种算法都能有效地处理带权值数据流上连续更新滑动窗口的随机抽样问题,相比较而言,IWRSB算法具有更好的性能。 展开更多

关键词 数据流 滑动窗口 概要数据结构 随机抽样算法

下载PDF 职称材料

挖掘数据流界标窗口Top-K频繁项集 被引量：6

18

作者 杨蓓 黄厚宽 《计算机研究与发展》 EI CSCD 北大核心 2010年第3期463-473,共11页

数据流频繁项集挖掘是目前数据挖掘与知识发现领域的热点研究课题,在许多领域有重要应用.然而支持度阈值的设定需要一定的领域知识,设置不当会给后续的分析处理带来很多困难和不必要的负担,因此挖掘数据流top-K频繁项集有重要意义.提出... 数据流频繁项集挖掘是目前数据挖掘与知识发现领域的热点研究课题,在许多领域有重要应用.然而支持度阈值的设定需要一定的领域知识,设置不当会给后续的分析处理带来很多困难和不必要的负担,因此挖掘数据流top-K频繁项集有重要意义.提出一个挖掘数据流界标窗口top-K频繁项集的动态增量近似算法TOPSIL-Miner,为此设计了存储流数据摘要信息的概要结构TOPSIL-Tree以及动态记录挖掘相关信息的树层最大支持度表MaxSL、项目序表OIL,TOPSET和最小支持度表MinSL等,并分析了与这些概要结构相关的挖掘特性.在此基础上研究算法的3种优化措施:1)剪枝当前数据流的平凡项集;2)挖掘过程中启发式自适应提升挖掘阈值;3)动态提升剪枝阈值.对算法的误差上界进行了分析研究.最后通过实验验证了算法的可行性、精确性和时空高效性. 展开更多

关键词 数据挖掘 数据流 界标窗口 频繁项集 概要数据结构

下载PDF 职称材料

数据流管理和挖掘技术探析 被引量：4

19

作者 马瑞民 王小龙 《计算机应用研究》 CSCD 北大核心 2006年第8期85-88,共4页

数据流管理和挖掘技术是数据库领域的新研究方向之一。概述了数据库技术的发展趋势以及数据流的概念、特点、体系结构、应用领域,分析了数据流概要数据结构的构造问题和数据流的连续近似查询技术,最后介绍了数据流挖掘技术。旨在描述数... 数据流管理和挖掘技术是数据库领域的新研究方向之一。概述了数据库技术的发展趋势以及数据流的概念、特点、体系结构、应用领域,分析了数据流概要数据结构的构造问题和数据流的连续近似查询技术,最后介绍了数据流挖掘技术。旨在描述数据流管理和挖掘技术的发展概况,为进一步的研究提供有益的借鉴。 展开更多

关键词 泛数据 数据流 概要数据结构 连续近似查询 数据流挖掘

下载PDF 职称材料

基于时空划分的数据流挖掘 被引量：4

20

作者 袁正午 袁松彪 《计算机工程》 CAS CSCD 北大核心 2010年第7期61-62,65,共3页

基于时空划分的思想,设计概要数据结构的在线生成算法。概要数据结构保存流数据不同时刻的分布状态,以支持离线阶段的分类、聚类和关联规则发现等数据挖掘操作。研究时间粒度、量化向量调整和子区域索引等3项内存需求控制策略,以平衡概... 基于时空划分的思想,设计概要数据结构的在线生成算法。概要数据结构保存流数据不同时刻的分布状态,以支持离线阶段的分类、聚类和关联规则发现等数据挖掘操作。研究时间粒度、量化向量调整和子区域索引等3项内存需求控制策略,以平衡概要数据结构的内存需求和内外存之间的I/O次数。 展开更多

关键词 数据流 时空划分 概要数据结构 聚类

下载PDF 职称材料