一个面向大规模数据库的数据挖掘系统 被引量：28

1

作者 钱卫宁 魏藜 +2 位作者 王焱 钱海蕾 周傲英 《软件学报》 EI CSCD 北大核心 2002年第8期1540-1545,共6页

数据挖掘融合了数据库技术、人工智能和统计学,是目前的研究热点.为了能够集成当前数据挖掘的主要技术并使它们协同工作,在进行数据挖掘基本算法研究的基础上研制开发了一个数据挖掘系统——Golden-Eye.系统实现了在数据挖掘研究中的一... 数据挖掘融合了数据库技术、人工智能和统计学,是目前的研究热点.为了能够集成当前数据挖掘的主要技术并使它们协同工作,在进行数据挖掘基本算法研究的基础上研制开发了一个数据挖掘系统——Golden-Eye.系统实现了在数据挖掘研究中的一些最新成果,集成了泛化、数据清洗这两个数据准备操作以及关联规则发现、例外规则发现、时序模式发现、分类器构造、聚类分析等基本数据挖掘操作,并实现了对挖掘操作的基本管理和结果的图形化显示.整个框架设计充分体现了系统的完整性、协调性和高效性:自底向上将存储控制模块、数据预处理模块、挖掘操作模块、挖掘库管理模块有机地结合在一起,在底层实现了对包括中间结果在内的数据的统一管理,在上层为用户提供了可视化的界面.实验结果表明,该系统能够在大规模数据库上成功地完成用户所指定的数据挖掘操作. 展开更多

关键词 大规模数据库 数据挖掘系统 数据预处理 存储控制 知识发现

下载PDF 职称材料

大规模数据库实时自主存取控制方法研究 被引量：3

2

作者 徐艳 董涛 《科学技术与工程》 北大核心 2017年第13期205-209,共5页

近年来数据库存取压力逐渐增大,当前存取控制方法扩展性差、效率低、并发性能低。为此,提出一种新的大规模数据库实时自主存取控制方法。通过贝尔-拉帕丢拉模型对大规模数据库关系分析,将其划分成能够完成操作的主动元素和储存信息的被... 近年来数据库存取压力逐渐增大,当前存取控制方法扩展性差、效率低、并发性能低。为此,提出一种新的大规模数据库实时自主存取控制方法。通过贝尔-拉帕丢拉模型对大规模数据库关系分析,将其划分成能够完成操作的主动元素和储存信息的被动元素。大规模数据库关系模型依据元素级的密级标识将密级划分成4个等级:绝密、机密、秘密、公开,依据密级实现对数据库模型的定义。介绍了大规模数据库关系模型中的密级区间、用户与角色及数据范围。依据实际应用中的特点,针对某类信息或某些"字段"将数据的密级划分至属性级,实现大规模数据库实时自主存取控制。给出数据库存取规则,详细分析了读规则、更新规则和插入规则。实验结果表明,所提方法查询效率、读取和更新效率及插入效率均较高,存取性能优。 展开更多

关键词 大规模数据库 实时 自主 存取控制

下载PDF 职称材料

阈值上限一定时超大规模数据库的查询方法研究 被引量：3

3

作者 黄瑜 《科学技术与工程》 北大核心 2017年第12期218-222,共5页

在确定查询阈值上限时,当前数据库查询方法只能使用查询树的一条路径,并行性能较差;在对超大规模数据进行查询时,具有查询时间长、响应不及时的弊端。为此,提出一种新的阈值上限一定时超大规模数据库的查询方法,通过RSA算法对超大规模... 在确定查询阈值上限时,当前数据库查询方法只能使用查询树的一条路径,并行性能较差;在对超大规模数据进行查询时,具有查询时间长、响应不及时的弊端。为此,提出一种新的阈值上限一定时超大规模数据库的查询方法,通过RSA算法对超大规模数据库进行加密和解密处理,依据多叉树的定义构造多叉索引树,在此基础上计算各代表数据点与查询点之间的距离;在阈值上限一定时,利用多个从节点机并行处理后,使用主节点机汇集结果,运用后续子树递归处理,直至获取查询结果。实验结果表明,所提方法不仅具有很高的查询效率,而且CPU使用率很高。 展开更多

关键词 阈值 超大规模数据库 查询

下载PDF 职称材料

面向大规模数据库的数据挖掘系统的设计 被引量：1

4

作者 张毅 《科技传播》 2010年第7期123-123,共1页

近年来,数据挖掘引起了信息产业的极大关注,数据挖掘系统是一个很重要、很活跃的研究课题,在现实生活中有着广泛的应用。包括生产管理、商场控制、市场分析、工业设计等。本文简单介绍了数据挖掘的概念和分类,对在进行数据挖掘基本算法... 近年来,数据挖掘引起了信息产业的极大关注,数据挖掘系统是一个很重要、很活跃的研究课题,在现实生活中有着广泛的应用。包括生产管理、商场控制、市场分析、工业设计等。本文简单介绍了数据挖掘的概念和分类,对在进行数据挖掘基本算法研究的基础上开发的一个大规模数据挖掘系统——Golden-Eye.进行了分析。 展开更多

关键词 数据挖掘 大规模数据库 系统设计

下载PDF 职称材料

混合的大规模数据库自动模式抽象方法 被引量：4

5

作者 王雪 周烜 王珊 《计算机学报》 EI CSCD 北大核心 2013年第8期1616-1625,共10页

随着数据库规模的扩大,其模式的复杂度也不断地增加,复杂的模式和文档的缺乏使得理解和操作数据库更加困难.现有的模式抽象方法大多通过关系表中的主外键信息查找出模式中最重要的表,然后使用这些最重要的表来构成单层次的模式总结.在... 随着数据库规模的扩大,其模式的复杂度也不断地增加,复杂的模式和文档的缺乏使得理解和操作数据库更加困难.现有的模式抽象方法大多通过关系表中的主外键信息查找出模式中最重要的表,然后使用这些最重要的表来构成单层次的模式总结.在现实应用中,这些模式总结的主题并不明确.文中陈述了现有方法的不足,然后给出了一种为大规模数据库生成多层次模式抽象的方法.在此方法中,首先使用不同类型的社区社团检测算法来将数据库模式划分为"团",然后使用元聚类方法将这些"团"集成为数据库的主题组,每一个主题组代表数据库的一个主题.最后将这些主题组进行进一步的聚类以生成主题组类,并为每一个主题组类挑选标签以生成多层次的模式抽象.在Freebase——开源的大规模数据库上验证了文中算法的有效性.实验证明文中算法不仅能够精确地识别大规模数据库的主题,同时可以依据数据库的主题生成易于理解、能够帮助用户浏览和检索数据库的多层次模式抽象. 展开更多

关键词 模式 抽象 大规模数据库 主题组 混合

下载PDF 职称材料

混合的大规模数据库自动模式抽象方法研究

6

作者 雷萌 孙海霞 《安徽电子信息职业技术学院学报》 2015年第4期1-3,共3页

对于数据信息数量过大的大规模数据库而言,这类数据库的模式、使用方式以及检索方式很难被用户理解,目前,自动模式抽象技术是解决这些问题的最佳方法,模式抽象技术的应用存在一定的局限性,不适合用于中小型规模的数据库中,是适合用于大... 对于数据信息数量过大的大规模数据库而言,这类数据库的模式、使用方式以及检索方式很难被用户理解,目前,自动模式抽象技术是解决这些问题的最佳方法,模式抽象技术的应用存在一定的局限性,不适合用于中小型规模的数据库中,是适合用于大规模的数据库上。 展开更多

关键词 大规模数据库 自动模式抽象法 研究

下载PDF 职称材料

基于大规模数据库的备份恢复模型 被引量：1

7

作者 夏斌 王乐 +1 位作者 杨树强 韩伟红 《郑州大学学报（理学版）》 CAS 2007年第4期40-44,共5页

结合事务处理的思想,提出了一个可并行的多层事务备份恢复模型,该模型具有备份速度快、容错能力强、对在线系统影响小等特点.通过在一个实际的、由多个数据库节点组成的大规模数据库系统平台上对该备份恢复模型的实现和应用,证明了该模... 结合事务处理的思想,提出了一个可并行的多层事务备份恢复模型,该模型具有备份速度快、容错能力强、对在线系统影响小等特点.通过在一个实际的、由多个数据库节点组成的大规模数据库系统平台上对该备份恢复模型的实现和应用,证明了该模型的合理性和可用性. 展开更多

关键词 大规模数据库 备份 恢复 事务 设计

下载PDF 职称材料

大规模数据库系统中的面向服务架构研究 被引量：1

8

作者 李慧 宋怀明 +3 位作者 焦丽梅 刘莹 王洋 王启荣 《计算机工程》 CAS CSCD 北大核心 2007年第2期85-87,96,共4页

为了满足复杂的大规模数据库系统所要求的简单、高效、高可靠的需求,该文定义了面向服务的架构。该架构把繁杂多变的系统模块分为多个服务模块,每个模块独立实现其功能,介绍了面向服务的架构如何处理服务间的协调、部署、通信和高可用方... 为了满足复杂的大规模数据库系统所要求的简单、高效、高可靠的需求,该文定义了面向服务的架构。该架构把繁杂多变的系统模块分为多个服务模块,每个模块独立实现其功能,介绍了面向服务的架构如何处理服务间的协调、部署、通信和高可用方案,使诸多松散耦合的服务保持统一的管理和彼此间的联系,面向服务的架构大大简化了复杂的大规模数据库系统,并使整个系统的结构清晰化。 展开更多

关键词 大规模数据库系统 面向服务的架构 互联网通信引擎

下载PDF 职称材料

应用Aprion算法实现大规模数据库关联规则挖掘的技术研究 被引量：15

9

作者 郝海涛 马元元 《现代电子技术》 北大核心 2016年第7期124-126,共3页

随着信息技术的发展,大数据时代的到来,在这种环境下必须进行数据挖掘工作。从大量的应用数据中将潜在的有价值的知识和信息挖掘出来,以便将其应用在实际工作的改进中。目前,数据挖掘的方法有很多,其中关联规则挖掘技术应用比较广泛,这... 随着信息技术的发展,大数据时代的到来,在这种环境下必须进行数据挖掘工作。从大量的应用数据中将潜在的有价值的知识和信息挖掘出来,以便将其应用在实际工作的改进中。目前,数据挖掘的方法有很多,其中关联规则挖掘技术应用比较广泛,这种数据挖掘方式利用Aprion算法,挖掘出置信度和支持度均比较高的关联信息,反映出数据库中的数据相互之间的复杂性和有趣性,进而挖掘出数据之间的有益关联,促进大规模数据库信息挖掘技术的发展,主要从Aprion算法方面分析大规模数据库关联规则挖掘的技术。 展开更多

关键词 Aprion算法 大规模数据库 关联规则挖掘 置信度 支持度

下载PDF 职称材料

大规模数据库高危攻击数据实时挖掘仿真研究 被引量：4

10

作者 李浩 汤哲君 《计算机仿真》 北大核心 2018年第10期381-384,共4页

对大规模数据库的高危攻击数据进行挖掘,能有效提高数据挖掘的精度,提高数据库防攻击的性能。当前利用关联规则的映射挖掘算法,对攻击数据进行挖掘时,由于数据较多,数据挖掘的准确度较低,降低了高危数据挖掘的精度。提出基于粒子群优化... 对大规模数据库的高危攻击数据进行挖掘,能有效提高数据挖掘的精度,提高数据库防攻击的性能。当前利用关联规则的映射挖掘算法,对攻击数据进行挖掘时,由于数据较多,数据挖掘的准确度较低,降低了高危数据挖掘的精度。提出基于粒子群优化的攻击数据检测的算法。利用粗糙集的理论对大规模数据库高危攻击的数据进行属性的约简,提高攻击数据属性的依赖度,利用粒子群优化检测算法对大规模数据库高危的攻击数据进行检测,针对粒子群算法存在局部的早熟收敛的问题,采用改进粒子的属性,对粒子群算法进行改进,增加粒子的多样性,经过种群的初始化以速度与位置进行的更新,对粒子适应度的值进行计算,对粒子全局的极值进行更新,进行粒子循环的迭代,得出最优的解,完成对大规模数据库的高危攻击的数据实时的挖掘。实验的结果表明,利用所提的算法,在减少内存的占用容量的同时,有效地提高了数据实时挖掘的精度。 展开更多

关键词 大规模数据库 高危攻击数据 数据挖掘 粒子群优化检测

下载PDF 职称材料

基于深度学习的大规模数据库重复记录删除研究 被引量：2

11

作者 职晓晓 《现代电子技术》 2021年第5期114-116,共3页

重复记录直接影响数据库管理的效率,当前重复记录删除的正确率低、误删率高,为了提高重复记录删除的正确率,满足重复记录管理的要求,提出基于深度学习的大规模数据库重复记录删除方法。首先对已有数据库重复记录删除方法进行分析,找到... 重复记录直接影响数据库管理的效率,当前重复记录删除的正确率低、误删率高,为了提高重复记录删除的正确率,满足重复记录管理的要求,提出基于深度学习的大规模数据库重复记录删除方法。首先对已有数据库重复记录删除方法进行分析,找到引起数据库重复记录删除不理想的因素;然后采用深度学习算法对数据库重复记录数据进行学习,建立数据库重复记录的分类器,根据分类结果进行数据库重复记录删除操作;最后通过仿真实验分析数据库重复记录删除效果。结果表明,深度学习算法可以对数据库重复记录进行准确分类和识别,获得较高的删除正确率,误删率明显小于其他数据库重复记录删除方法,研究结果具有一定的理论和实际价值。 展开更多

关键词 重复记录删除 大规模数据库 数据库管理 分类器建立 深度学习算法 效果分析

下载PDF 职称材料

大规模数据库移动人脸识别系统概述

12

作者 李耀敏 《计算机光盘软件与应用》 2014年第12期304-304,306,共2页

大规模数据库人脸识别平台以及由此拓展的移动人脸识别平台充分利用手持式终端带来的办公便捷性和移动性,以大规模人脸识别平台为依托,将后台数据库和移动终端完美结合,为公安机关的日常治安管理和核查办案等工作提供便捷,大大提高公安... 大规模数据库人脸识别平台以及由此拓展的移动人脸识别平台充分利用手持式终端带来的办公便捷性和移动性,以大规模人脸识别平台为依托,将后台数据库和移动终端完美结合,为公安机关的日常治安管理和核查办案等工作提供便捷,大大提高公安干警的工作效率、减少逃犯逃网几率。 展开更多

关键词 人脸识别 大规模数据库 移动人脸识别 图像检索

下载PDF 职称材料

1986年国际超大规模数据库学术讨论会的前会议(THE INTERNATIONAL PRE-VLDB186 SYMPOSIUM)于86年8月21日-22日在北京科学会堂举行

13

作者 王雅丽 《现代图书情报技术》 1986年第3期54-54,共1页

关键词 VLDB 大规模数据库 INTERNAT 学术讨论会 智能用户接口 数据库理论 知识库系统 数据库应用 知识系统 数据库设计

下载PDF 职称材料

大规模交易数据库的一种有效聚类算法(英文) 被引量：17

14

作者 陈宁 陈安 +1 位作者 周龙骧 CHEN Ning 《软件学报》 EI CSCD 北大核心 2001年第4期475-484,共10页

研究大规模交易数据库的聚类问题 ,提出了一种二次聚类算法—— CATD.该算法首先将数据库划分成若干分区 ,在每个分区内利用层次聚类算法进行局部聚类 ,把交易初步划分成若干亚聚类 ,亚聚类的个数由聚类间的距离参数控制 .然后对所有的... 研究大规模交易数据库的聚类问题 ,提出了一种二次聚类算法—— CATD.该算法首先将数据库划分成若干分区 ,在每个分区内利用层次聚类算法进行局部聚类 ,把交易初步划分成若干亚聚类 ,亚聚类的个数由聚类间的距离参数控制 .然后对所有的亚聚类进行全局聚类 ,同时识别出噪声 .由于采用了分区方法和聚类的支持向量表示法 ,该算法只需扫描一次数据库 ,聚类过程在内存中进行 ,因此能处理大规模的数据库 . 展开更多

关键词 数据挖掘 层次聚类 大规模交易数据库 聚类算法

下载PDF 职称材料

大规模文本数据库中的短文分类方法 被引量：4

15

作者 王永恒 贾焰 杨树强 《计算机工程与应用》 CSCD 北大核心 2006年第22期5-7,共3页

信息技术的飞速发展造成了大量的文本数据累积,其中很大一部分是短文本数据。文本分类技术对于从这些海量短文中自动获取知识具有重要意义。但是由于短文中的关键词出现次数少,而且带标签的训练样本又通常数量很少,现有的一般文本挖掘... 信息技术的飞速发展造成了大量的文本数据累积,其中很大一部分是短文本数据。文本分类技术对于从这些海量短文中自动获取知识具有重要意义。但是由于短文中的关键词出现次数少,而且带标签的训练样本又通常数量很少,现有的一般文本挖掘算法很难得到可接受的准确度。一些基于语义的分类方法获得了较好的准确度但又由于其低效性而无法适用于海量数据。文本提出了一个新颖的短文分类算法。该算法基于文本语义特征图,并使用类似kNN的方法进行分类。实验表明该算法在对海量短文进行分类时,其准确度和性能超过其它的算法。 展开更多

关键词 文本挖掘 分类 短文 大规模文本数据库

下载PDF 职称材料

从大规模的数据库中提取多层次的关联规则

16

作者 蒋秀英 《聊城大学学报（自然科学版）》 2003年第1期77-79,共3页

主要探讨了从大规模的数据库中提取多层次的关联规则的方法,并结合一个实例介绍了提取层次关联规则的一种算法.

关键词 数据挖掘 大规模数据库 多层关联规则 最小支持度 提取算法 信息编码

下载PDF 职称材料

我国超大规模数据库产业发展道路的探讨 被引量：1

17

作者 王书方 《中国信息导报》 2001年第1期24-25,共2页

关键词 超大规模数据库 中国 计算机产业 发展道路

原文传递

基于LADBM模块的大规模数据实时仿真实现

18

作者 付杰 陈正江 危拥军 《计算机应用》 CSCD 北大核心 2008年第S2期307-309,共3页

数字城市中的基础数据就是空间数据,由于计算机的硬件和数据量的限制,使得解决海量三维数据的实时仿真问题成为数字城市建设的重要制约因素。研究和分析了Vega大规模数据库调度和管理的原理,通过基于MFC的Vega应用程序设计,实现了对大... 数字城市中的基础数据就是空间数据,由于计算机的硬件和数据量的限制,使得解决海量三维数据的实时仿真问题成为数字城市建设的重要制约因素。研究和分析了Vega大规模数据库调度和管理的原理,通过基于MFC的Vega应用程序设计,实现了对大规模地物模型的实时仿真。 展开更多

关键词 区域 兴趣区域 大规模数据库管理技术 仿真

下载PDF 职称材料

浅谈数据库技术中的数据挖掘 被引量：1

19

作者 纪蕊 《中国新通信》 2013年第2期88-88,92,共2页

随着数字信息技术和计算机硬件技术中新存储介质和存储方式的不断发展，人类生活中的各类数据产生了爆炸式的增长，如何对这些数据进行整理和使用成为当前数据领域的研究热点，数据库技术的成熟与普及为这些庞大数据量的整理及挖掘带来... 随着数字信息技术和计算机硬件技术中新存储介质和存储方式的不断发展，人类生活中的各类数据产生了爆炸式的增长，如何对这些数据进行整理和使用成为当前数据领域的研究热点，数据库技术的成熟与普及为这些庞大数据量的整理及挖掘带来了可能。但是传统的数据库管理系统和统计分析方法已经无法应对如此海量的数据，如何进行有效的数据挖掘还有待分析和整理。一、数据挖掘概述数据挖掘是数据知识发现的不可或缺的一个部分，其通过采用不同的分类手段和分析方法对大量数据进行分析，揭示它们之间的内在联系和发展趋势。数据挖掘是一门综合性学科，是随着人工智能技术和数据库技术发展起来的。其发展基础是超大规模数据库的出现、更加快速的计算机硬件突破、对巨大数据的快速访问需求及更为精确的数据机构算法。 展开更多

关键词 数据库技术 数据挖掘 数据库管理系统 计算机硬件 数字信息技术 统计分析方法 人工智能技术 大规模数据库

下载PDF 职称材料

超大规模客户库的核心技术的研究与验证

20

作者 陈韬 史立学 +1 位作者 朱明英 洪坤 《电子技术与软件工程》 2022年第23期228-232,共5页

本文客户库业务主要负责参与人、客户、帐户、产品实例、销售品实例、权益实例等信息的管理,我们主要专注于联机交易场景下的分布式数据库的应用研究,研究的目标为建立全国统一客户中心库,存储31个省的客户与用户相关数据,并需要满足31... 本文客户库业务主要负责参与人、客户、帐户、产品实例、销售品实例、权益实例等信息的管理,我们主要专注于联机交易场景下的分布式数据库的应用研究,研究的目标为建立全国统一客户中心库,存储31个省的客户与用户相关数据,并需要满足31个省在参与人、客户、用户等信息的创建、修改等业务主流程的并发请求,满足业务平台海量的高并发的查询性能要求,并能保证超大规模数据库数据准确与稳定运行。 展开更多

关键词 超大规模数据库 分布式数据库 系统架构 核心技术

下载PDF 职称材料