题名 基于虚拟日志压缩的数据同步方案
被引量：7
1
作者
张春玲 吕震宇 刘遵峰
机构
河北理工大学经济管理学院 河北理工大学学生处
出处
《计算机工程》
CAS
CSCD
北大核心
2010年第18期67-69,共3页
基金
唐山市重点实验室基金资助项目(06360301A-10)
文摘
在基于虚拟日志的数据同步中,当主库端存在对同一记录的频繁修改时,庞大的虚拟日志记录会影响整个数据同步效率。针对该问题,提出一种基于虚拟日志压缩的数据同步方案。虚拟日志压缩通过计算合并日志记录,只保留与数据同步相关的日志信息,从而减少网络数据流量,提高数据同步效率。实验结果表明,该方法适合广域网异构数据库的异步数据同步。
关键词
异构数据库 数据同步 虚拟日志 日志压缩
Keywords
heterogeneous database data synchronization virtual log log compression
分类号
TP311.133.1
[自动化与计算机技术—计算机软件与理论]
题名 一种高效的DNS日志压缩算法
被引量：4
2
作者
王艳峰 王正 阎保平
机构
中国互联网络信息中心 中国科学院计算机网络信息中心 中国科学院研究生院
出处
《计算机工程》
CAS
CSCD
北大核心
2010年第15期32-35,共4页
基金
国家发改委CNGI基金资助项目(CNGI-09-03-04) 中国科学院知识创新基金资助项目(0814081105) 中国科学院计算机网络信息中心青年基金资助项目(CNIC_QN_08006)
文摘
CN顶级域名的DNS日志从分布式站点传输到数据处理中心时,对海量数据存储和传输带宽提出极大挑战。针对该问题,提出一种高效的DNS日志压缩算法,利用DNS查询类型的冗余性和DNS查询时间、IP地址和域名等的重复性进行DNS日志压缩。实验结果证明了DNS日志压缩算法在DNS实时监控和分析系统中部署的有效性和高效性。
关键词
域名系统 日志压缩 时间空间本地性
Keywords
Domain Name System（DNS） log compression time and space locality
分类号
TP301
[自动化与计算机技术—计算机系统结构]
题名 基于解析器树的日志压缩优化方法
被引量：3
3
作者
刘吉强 何嘉豪 张建成 黄学臻
机构
北京交通大学计算机与信息技术学院 山东省计算中心 山东正中信息技术股份有限公司 公安部第一研究所
出处
《信息网络安全》
CSCD
北大核心
2022年第4期30-39,共10页
基金
国家重点研发计划[2020YFB2103800] 中国国家铁路集团有限公司科技研究开发计划[N2020W005] 山东省重大科技创新工程项目[2019JZZY020128]。
文摘
信息系统日志数据对安全分析非常重要,随着日志规模与日俱增,高效地进行日志数据存储和审计成为信息系统安全的关键问题之一。日志数据压缩能够减少对日志数据存储的巨大开销,已经成为日志数据领域的研究热点之一。传统的压缩工具、算法在小规模文本的处理上效果较好,但对于信息系统产生的大规模日志数据并不适用。现有日志压缩算法通过提取日志结构的方式实现数据压缩,但对日志数据中数值变量部分的压缩率和压缩速度的提升不明显。文章提出一种基于解析器树的日志压缩优化方法(TOLC),通过解析器构造解析器树,提取相应的日志模板并进行模板压缩,进而对数值变量部分进行编码压缩。文章通过5个不同类型的大型日志数据集对TOLC进行评估,并与其他方法进行比较。实验结果表明,TOLC在所有数据集上都实现了最高的压缩率,且在大型日志数据集中也表现出了很好的压缩速度,整体上表现最优。
关键词
解析器树 日志压缩 模板提取 数值编码 压缩 率
Keywords
parser tree log compression template extraction numerical code compression ratio
分类号
TP309
[自动化与计算机技术—计算机系统结构]
题名 一种基于污点追踪的系统审计日志压缩方法
被引量：2
4
作者
贲永明 韩言妮 安伟 徐震
机构
中国科学院信息工程研究所 中国科学院大学网络空间安全学院
出处
《信息安全学报》
CSCD
2020年第5期30-42,共13页
基金
中国移动内容分发网络二期工程扩容部分采购内容管理层(No.Y8V0211105) 青年之星人才计划(No.Y7Z0091105)资助。
文摘
近十年来,高级持续性威胁(APT,advanced persistent threat)越来越引起人们的关注。为了防御和检测APT攻击,学者提出了基于系统审计日志的入侵取证方案。系统审计日志可以详细记录主机上的系统调用过程,因此非常适用于入侵取证工作。然而,系统审计日志也有着致命的弊端:日志庞大冗余。再加上APT攻击往往长期潜伏、无孔不入,企业不得不为每台联网主机长期保存日志,因此导致巨大的存储计算成本。为了解决这一问题,本文提出一种模仿二进制动态污点分析的日志压缩方案T-Tracker。T-Tracker首先检测日志内部与外部数据发生交互的系统调用,生成初始污点集合,然后追踪污点在主机内的扩散过程,这个过程中只有污点扩散路径上的系统调用能被保留下来,其余均不保留,从而达到日志压缩的目的。本研究的测试表明,该方案可以达到80%的压缩效果,即企业将能够存储相当于原来数量五倍的日志数据。同时,T-Tracker完整保留了受到外部数据影响的日志记录,因此对于入侵取证而言,可以等价地替换原始日志,而不会丢失攻击痕迹。
关键词
高级持续性威胁 入侵取证 系统级审计日志 日志压缩 污点追踪
Keywords
advanced persistent threat intrusion forensics system-level audit log log compression taint tracking
分类号
TP309.2
[自动化与计算机技术—计算机系统结构]
题名 基于日志副本的Raft共识算法优化
5
作者
雷磊 胡晓鹏 黄岩
机构
西南交通大学计算机与人工智能学院 云和恩墨(北京)信息技术有限公司
出处
《计算机系统应用》
2024年第6期242-250,共9页
基金
河北省自然科学基金(F2022105033)。
文摘
在基于三副本策略的分布式存储系统中,当存储节点上的硬盘出现故障时,常见的处理方式是等待系统预设的时间.如果该故障硬盘超时未恢复,才开始恢复故障硬盘上的副本.这种处理方式存在的问题是,当三副本组中存在故障副本时,如果该副本组再有一个副本所在的硬盘发生故障,将导致系统无法继续提供服务,且不能自动恢复.本文提出一种基于日志副本的改进的Raft共识算法,即LR-Raft (log replica based Raft),日志副本没有完整状态机,可以快速加入集群,并参与投票与共识,提升了存在故障硬盘时系统的可用性;可以解决短时间内三副本中两个副本故障导致集群不可用和丢失数据的问题.实验结果表明,在副本组中引入日志副本后,与原Raft相比,LR-Raft在不同的工作负载下读写时延均明显降低,吞吐量显著提升.
关键词
分布式存储系统 Raft共识算法 故障处理 日志 副本日志压缩 优化
Keywords
distributed storage system Raft consensus algorithm fault handling log replica log compression optimization
分类号
TP333
[自动化与计算机技术—计算机系统结构]
题名 基于日志分析的虚拟化环境故障定位系统
被引量：1
6
作者
田斐 吴恒 张文博
机构
中国科学院软件研究所软件工程技术研究开发中心 中国科学院大学
出处
《计算机系统应用》
2014年第11期60-66,共7页
基金
国家自然科学基金(61173003 61363003)
文摘
在云平台的运行维护中,虚拟化环境的故障定位对容错极其重要.针对虚拟化环境的空间拓扑时变性,提出了一种基于时变的节点间依赖关系的日志分析方法,为决策树故障定位提供支持.节点间依赖关系能够帮助压缩日志,只提供故障时间窗口内的有效信息作为挖掘来源,从而更快更准确地完成故障定位.实验表明,能够在较大系统规模的多变的虚拟化环境下实现有效和高效的故障定位.
关键词
故障定位 决策树 虚拟化 日志压缩 节点间依赖关系
Keywords
fault localization decision tree virtualization environment log compression inter-node dependency
分类号
TP391.9
[自动化与计算机技术—计算机应用技术]
题名 电力业务系统海量SQL访问日志预处理方法
被引量：1
7
作者
李伟伟 张涛 马媛媛 周诚
机构
国网智能电网研究院
出处
《电信科学》
北大核心
2015年第S1期120-124,共5页
基金
国家电网公司2015年科技项目(No.SGRIXTKJ[2015]-614)~~
文摘
随着智能电网的互动化发展,信息内外网边界数据库交互行为日益增多。为更好地应对电力业务系统数据安全审计的需求,解决数据库审计过程中SQL语句容量过大、不易存储和分析的问题,详细设计了一种基于SQL模式分析的电力业务系统SQL访问日志压缩方法。该方法在不丢失原SQL访问语句语义的前提下,实现SQL访问日志的压缩,也具有SQL日志的简单分类的功能,为数据库的安全审计提供基础。系统测试结果表明,通过该方法可以实现SQL访问日志的大幅度压缩,满足电力业务系统数据库行为审计对日志预处理的需求。
关键词
电力 安全审计 日志压缩 预处理
Keywords
power business security audit logs compression pretreatment
分类号
TM76
[电气工程—电力系统及自动化]
TP311.13
[自动化与计算机技术—计算机软件与理论]
