Web日志数据挖掘的数据预处理方法研究 被引量：31

1

作者 张娥 郑斐峰 冯耕中 《计算机应用研究》 CSCD 北大核心 2004年第2期58-60,共3页

主要介绍了Web用户访问日志数据挖掘数据预处理过程,综述了国际上的研究现状,流行的预处理方法。在对用户访问行为的合理假定基础上,最后提出了基于综合最大前向参引模型和时间窗口模型的新方法。

关键词 Web用户访问日志数据挖掘 数据预处理方法

下载PDF 职称材料

基于色谱-质谱平台的代谢组学数据预处理方法 被引量：6

2

作者 孙琳 张秋菊 +4 位作者 王文佶 曲思杨 谢彪 高兵 刘美娜 《中国卫生统计》 CSCD 北大核心 2017年第3期518-522,共5页

代谢组学的概念自20世纪90年代被正式提出,已被广泛应用于医学研究领域,其一般研究流程包括样本采集、样本检测、数据预处理、数据分析和生物学解释等。常用的样本检测技术有核磁共振（nuclear magnetic resonance,NMR）和高分辨率色谱... 代谢组学的概念自20世纪90年代被正式提出,已被广泛应用于医学研究领域,其一般研究流程包括样本采集、样本检测、数据预处理、数据分析和生物学解释等。常用的样本检测技术有核磁共振（nuclear magnetic resonance,NMR）和高分辨率色谱-质谱联用技术，本文所述方法针对后者。 展开更多

关键词 代谢组学 数据预处理方法 色谱-质谱 样本采集 医学研究领域 研究流程 数据分析 高分辨率 噪声强度 缺失数据

下载PDF 职称材料

一种数据预处理方法及其应用 被引量：2

3

作者 张有正 徐明仙 《化学工程师》 CAS 2003年第1期19-20,共2页

本文提出一种基于技术判别法、系统聚类分析和噪音平滑技术的混合数据预处理方法,并将它应用于煤炭发热量和灰份的原始数据预处理,效果良好。

关键词 数据预处理方法 应用 发热量 灰份 煤炭

下载PDF 职称材料

城镇地籍建库数据预处理方法研究

4

作者 李佩臻 王石岩 《河南科技》 2012年第3期64-65,共2页

城镇地籍数据库建设是第二次全国土地调查工作的核心部分，其数据的质量和完善性等因素直接影响到数据库的运行效率。本文，笔者以汝南县城镇地籍数据建库为例，在城镇地籍建库过程中，对在数据处理过程遇到的问题进行了研究，提出了图... 城镇地籍数据库建设是第二次全国土地调查工作的核心部分，其数据的质量和完善性等因素直接影响到数据库的运行效率。本文，笔者以汝南县城镇地籍数据建库为例，在城镇地籍建库过程中，对在数据处理过程遇到的问题进行了研究，提出了图形和属性数据在入库前处理的方法。 展开更多

关键词 城镇地籍 数据建库 数据预处理方法 数据库建设 土地调查 运行效率 数据处理 属性数据

下载PDF 职称材料

基于聚类分析的风电功率预测数据预处理方法 被引量：11

5

作者 张里 王兰 +4 位作者 李红军 廖小君 王婷婷 张江林 刘友波 《可再生能源》 CAS 北大核心 2018年第12期1871-1876,共6页

为了提高预测模型精度以及降低模型的复杂程度,减小模型的训练时间,文章提出一种基于改进模糊C均值聚类算法的数据预处理方法,以提高风电功率时间序列的预测模型的预测性能。首先,对实测风电功率混沌时间序列进行了相空间重构;其次,对... 为了提高预测模型精度以及降低模型的复杂程度,减小模型的训练时间,文章提出一种基于改进模糊C均值聚类算法的数据预处理方法,以提高风电功率时间序列的预测模型的预测性能。首先,对实测风电功率混沌时间序列进行了相空间重构;其次,对相空间中的各维输入序列与输出功率序列进行相关性分析,使用相点与相对相关系数的加权建立聚类判据;然后,结合减聚类算法对模糊C均值聚类的收敛速度进行改进,改进的模糊C均值算法将输入序列聚为4类,对每类数据建模。结果表明,对原始数据进行聚类预处理后,预测模型的精度得到了提高。 展开更多

关键词 数据预处理方法 风电预测 模糊C均值聚类 模糊模式识别 相关性分析

下载PDF 职称材料

一种基于Rosetta的神经网络数据预处理方法

6

作者 刘宇程 赵熙 《电子世界》 2019年第7期110-113,共4页

提出一种基于Rosetta的神经网络数据预处理方法,解决试验过程中因样本参数多而导致故障分类模型收敛速度慢的问题。详细介绍如何利用Rosetta软件实现粗糙集理论,对样本参数进行预处理。首先,选择条件属性和决策属性进行属性编码,对构造... 提出一种基于Rosetta的神经网络数据预处理方法,解决试验过程中因样本参数多而导致故障分类模型收敛速度慢的问题。详细介绍如何利用Rosetta软件实现粗糙集理论,对样本参数进行预处理。首先,选择条件属性和决策属性进行属性编码,对构造的信息表连续变量离散化,通过属性约简去除冗余参数,得到最小规则集,继而在MATLAB中训练神经网络故障诊断模型,最后对比Rosetta约简前后训练结果。 展开更多

关键词 数据预处理方法 神经网络 故障诊断模型 决策属性 MATLAB 样本参数 粗糙集理论 收敛速度

下载PDF 职称材料

基于数据挖掘的电力装备企业多价值链协同数据预处理方法研究及应用

7

作者 牛东晓 斯琴卓娅 +2 位作者 王董禹 许晓敏 张焕粉 《中国管理科学》 CSSCI CSCD 北大核心 2023年第11期321-331,共11页

在电力装备制造企业的数字化转型中,需要对数据空间中多价值链协同的高维数据进行挖掘与分析,本文针对电力装备制造业进销存大数据的预处理问题展开了研究。首先,给出了变点法和局部异常因子算法(local outlier factor method,LOF)组合... 在电力装备制造企业的数字化转型中,需要对数据空间中多价值链协同的高维数据进行挖掘与分析,本文针对电力装备制造业进销存大数据的预处理问题展开了研究。首先,给出了变点法和局部异常因子算法(local outlier factor method,LOF)组合的数据异常值检验校正预处理方法;其次,提出了基于LASSO(least absolute shrinkage and selection operator,LASSO)算法的栈式稀疏自编码器(stack sparse auto-encoder,SSAE)数据降噪降维组合机器学习处理方法(SSAE-LASSO),对特征进行压缩降维提取,去除严重干扰数据回归分析的噪声信息,并过滤影响度低的冗余数据,从而实现数据的降噪降维处理。最后,将本文提出的方法应用于不同的算法进行检验,通过对两种预处理的数据对比发现,本文提出的方法有效提高了电力产品销售量智能预测的精度。 展开更多

关键词 电力装备企业 多价值链协同 数据挖掘预处理方法 机器学习

原文传递

电磁监测试验卫星高能粒子探测器数据预处理方法研究

8

作者 张振霞 《中国科技成果》 2016年第24期13-14,共2页

该项目主要研究基于GEANT4软件包编写HEPP模拟程序，通过Monte Carlo模拟高能粒子探测器HEPP-L的探测过程，构建探测器质量结构模型，根据AE8和AP8模型模拟电子和质子的通量及能谱输入，生成类似星上探测得到的原始数据，进行粒子种类... 该项目主要研究基于GEANT4软件包编写HEPP模拟程序，通过Monte Carlo模拟高能粒子探测器HEPP-L的探测过程，构建探测器质量结构模型，根据AE8和AP8模型模拟电子和质子的通量及能谱输入，生成类似星上探测得到的原始数据，进行粒子种类鉴别、粒子能量反演、粒子方向重建（投掷角）和粒子通量计算等，从而研究数据还原的逻辑和数据预处理方法。 展开更多

关键词 高能粒子探测器 数据预处理方法 试验卫星 电磁监测 GEANT4软件包 模拟程序 结构模型 通量计算

原文传递

数据预处理在IT基础设施监控系统中的应用 被引量：2

9

作者 宋应湃 汪林林 宋华 《计算机工程与设计》 CSCD 北大核心 2007年第15期3770-3772,共3页

数据质量的优劣对数据挖掘的成败有着举足轻重的影响,而作为数据挖掘过程第一步的数据预处理就是为了确保数据质量而设,其研究方兴未艾。从数据质量的概念出发,介绍了数据预处理的体系结构和常用方法,根据IT基础设置监控系统中的数据特... 数据质量的优劣对数据挖掘的成败有着举足轻重的影响,而作为数据挖掘过程第一步的数据预处理就是为了确保数据质量而设,其研究方兴未艾。从数据质量的概念出发,介绍了数据预处理的体系结构和常用方法,根据IT基础设置监控系统中的数据特点,探讨了数据预处理技术在该类数据上的典型应用。 展开更多

关键词 I:T基础设施监控 数据挖掘 数据质量 数据预处理方法 数据预处理过程

下载PDF 职称材料

Web挖掘数据预处理的研究

10

作者 郭贺彬 《甘肃科技纵横》 2005年第6期25-25,共1页

通过对Web挖掘和预处理技术的研究,提出了针对不同类型Web挖掘的数据预处理方法。

关键词 WEB挖掘 内容挖掘 结构挖掘 使用挖掘 数据预处理方法 WEB挖掘 预处理技术

下载PDF 职称材料

多类不平衡数据分类方法综述 被引量：14

11

作者 李昂 韩萌 +2 位作者 穆栋梁 高智慧 刘淑娟 《计算机应用研究》 CSCD 北大核心 2022年第12期3534-3545,共12页

现实中许多领域产生的数据通常具有多个类别并且是不平衡的。在多类不平衡分类中,类重叠、噪声和多个少数类等问题降低了分类器的能力,而有效解决多类不平衡问题已经成为机器学习与数据挖掘领域中重要的研究课题。根据近年来的多类不平... 现实中许多领域产生的数据通常具有多个类别并且是不平衡的。在多类不平衡分类中,类重叠、噪声和多个少数类等问题降低了分类器的能力,而有效解决多类不平衡问题已经成为机器学习与数据挖掘领域中重要的研究课题。根据近年来的多类不平衡分类方法的文献,从数据预处理和算法级分类方法两方面进行了分析与总结,并从优缺点和数据集等方面对所有算法进行了详细分析。在数据预处理方法中,介绍了过采样、欠采样、混合采样和特征选择方法,对使用相同数据集算法的性能进行了比较。从基分类器优化、集成学习和多类分解技术三个方面对算法级分类方法展开介绍和分析。最后对多类不平衡数据分类研究领域的未来发展方向进行总结归纳。 展开更多

关键词 分类 多类不平衡数据 数据预处理方法 算法级分类方法

下载PDF 职称材料

近红外光谱的数据分析方法研究进展 被引量：8

12

作者 陈裕凤 聂斌 +3 位作者 詹国平 周冠芮 李欢 何雁 《江西中医药大学学报》 2022年第2期120-124,共5页

数据预处理、特征选择和建立模型是近红外光谱分析技术中三个重要的过程。从降低噪声、消除基线漂移、校正散射光三方面介绍数据预处理方法;介绍基于区域的光谱特征选择方法和基于单变量的光谱特征选择方法;并根据应用不同,论述了定量... 数据预处理、特征选择和建立模型是近红外光谱分析技术中三个重要的过程。从降低噪声、消除基线漂移、校正散射光三方面介绍数据预处理方法;介绍基于区域的光谱特征选择方法和基于单变量的光谱特征选择方法;并根据应用不同,论述了定量分析和定性分析两类建模方法。现就这三个过程中常用方法的基本原理、优缺点进行综述,为相关研究者提供参考。 展开更多

关键词 近红外光谱技术 数据预处理方法 特征选择方法 化学计量学

下载PDF 职称材料

大规模数值模拟数据的无损压缩

13

作者 陈虹 宋磊 吴国清 《中国工程物理研究院科技年报》 2004年第1期323-323,共1页

针对数值模拟数据的特点，对数据进行预处理后，进一步采用小波变换和洗牌（Shuffle）算法，再使用通用无损数据压缩算法Gzip对科学数据进行无损压缩。数据预处理：为了使用第二代小波变换，数据的预处理就是使用内存拷贝的方法把浮点... 针对数值模拟数据的特点，对数据进行预处理后，进一步采用小波变换和洗牌（Shuffle）算法，再使用通用无损数据压缩算法Gzip对科学数据进行无损压缩。数据预处理：为了使用第二代小波变换，数据的预处理就是使用内存拷贝的方法把浮点数转换为整数，对数据的符号位、指数部分和尾数部分分别进行了预处理。由于科学数据数值变换平缓的原因，高频部分通常比低频数据小若干数量级，该数据预处理方法在小波变换及逆变换过程中不会出现溢出现象。 展开更多

关键词 无损压缩 数值变换 模拟数据 数据预处理方法 第二代小波变换 数据压缩算法 科学数据 高频部分

下载PDF 职称材料

深度学习算法在复杂环境下的人脸检测精度提升

14

作者 孙燕 《数字技术与应用》 2024年第11期217-219,共3页

在充满变数的复杂环境中,深度学习算法对人脸进行检测遭遇到了诸多考验,如光线的变换、物体或人群的遮挡、肤色的细微区别和表情的千变万化等。为解决这些问题,本文提出了一种创新的算法架构,该架构主要包含对数据预处理方法的改进、特... 在充满变数的复杂环境中,深度学习算法对人脸进行检测遭遇到了诸多考验,如光线的变换、物体或人群的遮挡、肤色的细微区别和表情的千变万化等。为解决这些问题,本文提出了一种创新的算法架构,该架构主要包含对数据预处理方法的改进、特征提取与整合策略,经过对比验证,该框架对提升复杂环境中人脸检测的准确度有显著效果,并显示了出色的鲁棒性。该算法在众多标准数据集以及现实情境中均经受了检验,并展现出了高准确度,其有效性与实用性得到了证明。 展开更多

关键词 深度学习算法 人脸检测 特征提取 整合策略 精度提升 现实情境 数据预处理方法 标准数据集

下载PDF 职称材料

基于不确定性的空间聚类 被引量：8

15

作者 何彬彬 方涛 郭达志 《计算机科学》 CSCD 北大核心 2004年第11期196-198,F004,共4页

空间数据挖掘是指从空间数据库(空间数据仓库)中提取用户感兴趣的空间的和非空间的模式和规则的过程,空间聚类是空间数据挖掘最基本的任务。本文首先分析了空间数据挖掘过程中的不确定性,并以空间聚类为例具体分析空间聚类过程中的数据... 空间数据挖掘是指从空间数据库(空间数据仓库)中提取用户感兴趣的空间的和非空间的模式和规则的过程,空间聚类是空间数据挖掘最基本的任务。本文首先分析了空间数据挖掘过程中的不确定性,并以空间聚类为例具体分析空间聚类过程中的数据预处理方法。在此基础上,以EM算法为基础,顾及空间聚类的随机性和模糊性以及基于Delaunay图的空间对象的空间邻近关系,构建了基于不确定性的空间聚类算法。 展开更多

关键词 空间聚类 空间数据挖掘 空间对象 数据预处理方法 不确定性 EM算法 过程 空间数据仓库 空间数据库 随机性

下载PDF 职称材料

偏最小二乘法结合傅里叶变换近红外光谱同时测定卷烟焦油、烟碱和一氧化碳的释放量 被引量：81

16

作者 王家俊 梁逸曾 汪帆 《分析化学》 SCIE EI CAS CSCD 北大核心 2005年第6期793-797,共5页

采用多元校正技术偏最小二乘法结合具有代表性的烟气总粒相物萃取液的傅里叶变换近红外透射光谱220个,分别建立了焦油、烟碱和一氧化碳的校正模型,并对光谱数据预处理方法和异常值诊断进行了讨论。所建的焦油、烟碱和一氧化碳模型相关... 采用多元校正技术偏最小二乘法结合具有代表性的烟气总粒相物萃取液的傅里叶变换近红外透射光谱220个,分别建立了焦油、烟碱和一氧化碳的校正模型,并对光谱数据预处理方法和异常值诊断进行了讨论。所建的焦油、烟碱和一氧化碳模型相关系数分别为0.9922、0.9828和0.9734;均方预测残差(RMSECV)分别为0.3392、0.0329和0.3478;预测范围分别为预测范围分别为11.0～15.0mg、1.15～1.45mg和13.0～17.5mg。通过对模型进行t检验,在显著性水平大于0.05的条件下,其测定结果与标准方法的测定结果对比,两者无显著性差异。该分析方法应用于同时测定卷烟焦油、烟碱和一氧化碳的释放量,结果令人满意。 展开更多

关键词 偏最小二乘法 傅里叶变换近红外光谱 一氧化碳 同时测定 释放量 焦油 烟碱 卷烟 近红外透射光谱 数据预处理方法 烟气总粒相物 测定结果 显著性水平 显著性差异 校正技术 校正模型 相关系数 预测残差 t-检验 标准方法 方法应用

下载PDF 职称材料

红外光谱结合偏最小二乘法快速检测油茶籽油脂肪酸组成的模型建立与评价 被引量：1

17

作者 陈品杰 吴雪辉 《中国油脂》 CAS CSCD 北大核心 2022年第12期112-118,共7页

为建立快速检测油茶籽油中脂肪酸组成的方法,利用傅里叶红外光谱仪扫描86个油茶籽油样品,红外光谱数据分别通过Savitzky-Golay平滑(SG)、多元散射校正(MSC)、标准正态变换(SNV)、一阶导数(FD)和二阶导数(SD)等5种方法进行降噪处理,然后... 为建立快速检测油茶籽油中脂肪酸组成的方法,利用傅里叶红外光谱仪扫描86个油茶籽油样品,红外光谱数据分别通过Savitzky-Golay平滑(SG)、多元散射校正(MSC)、标准正态变换(SNV)、一阶导数(FD)和二阶导数(SD)等5种方法进行降噪处理,然后以气相色谱测定的脂肪酸组成作为标准值,采用全波长偏最小二乘法(PLS)、区间偏最小二乘法(iPLS)和联合区间偏最小二乘法(siPLS)分别构建油茶籽油中主要脂肪酸(油酸、棕榈酸、亚油酸)的定量回归模型。结果表明:油酸、棕榈酸、亚油酸的红外光谱数据预处理分别以SG、SNV、SD较好;siPLS通过有效波段的选择可去掉更多的噪声,比PLS和iPLS建立的模型精确度高,油酸、棕榈酸、亚油酸的校正集和预测集的相关系数(R)分别为0.9479和0.8539、0.9008和0.9101、0.9793和0.9505。红外光谱结合siPLS更适用于油茶籽油脂肪酸组成的快速测定。 展开更多

关键词 油茶籽油 脂肪酸组成 红外光谱 数据预处理方法 偏最小二乘法

下载PDF 职称材料

GNSS星载原子钟性能分析与卫星钟差建模预报研究 被引量：11

18

作者 王宇谱 吕志平(指导教师) 《测绘学报》 EI CSCD 北大核心 2018年第7期1026-1026,共1页

GNSS星载原子钟是决定导航、定位和授时性能的导航卫星核心载荷之一,开展卫星钟相关研究对于系统的正常维持和运行具有重要的理论意义和实践价值。本文采用GNSS卫星钟差产品对钟差数据预处理、钟差产品质量评定、星载原子钟性能分析及... GNSS星载原子钟是决定导航、定位和授时性能的导航卫星核心载荷之一,开展卫星钟相关研究对于系统的正常维持和运行具有重要的理论意义和实践价值。本文采用GNSS卫星钟差产品对钟差数据预处理、钟差产品质量评定、星载原子钟性能分析及卫星钟差建模与预报进行了系统的研究。论文主要成果和创新点如下:(1)设计了一种基于中位数(MAD)方法的长时间段钟差数据预处理策略。该策略首先提取长时间段卫星钟差数据的非空历元,基于MAD方法对其进行预处理,然后用MAD方法对每天的钟差数据进行再次预处理得到最终处理后的钟差数据。预处理试验的结果验证了所提策略的有效性。(2)提出了一种基于小波分析的异常钟差数据预处理方法。该方法首先对频率数据进行小波分解,得到分解后的低频小波系数和各层的高频小波系数,然后结合小波系数图和阈值公式判断小波系数中异常点的位置并对其进行处理,最后将处理后的小波进行重构,还原得到处理后的钟差数据。从新法对粗差点的处理效果、不同尺度小波分解对处理结果的影响以及不同小波函数预处理效果的差异三个方面,验证和分析了所提方法的有效性及其相关特性。(3)给出了一种能够同时考虑星载原子钟多种性能指标的GNSS卫星钟长期性能评估体系:基于长时间段的卫星钟差数据,利用改进的中位数方法进行数据预处理分析卫星钟差数据的特点,使用卫星钟差二次多项式拟合模型分析卫星钟的相位、频率、钟漂及钟差模型噪声的长期变化特性,根据频谱分析的方法分析卫星钟差的周期特性,分别采用重叠Allan方差和重叠Hadamard方差计算并讨论星载铯钟和铷钟的频率稳定性,计算并分析频率准确度和日漂移率的长期变化规律。此外综合上述方法及其结果,较为全面地评估了BDS和GPS BLOCK IIF卫星钟的长期性能。(4)顾及星载原子钟物理特性、钟差周期性变化与随机性变化的特点,建立了附有周期项和ARIMA的二次多项式模型(组合模型)以及基于抗差最小二乘配置理论的卫星钟差模型(LSC模型)。钟差预报试验及其结果分析表明:顾及钟差周期特性与随机特性能够进一步提高钟差建模的准确性和钟差预报的效果,组合模型能一定程度克服单独使用ARIMA模型进行钟差预报时的不足,针对LSC模型所给的协方差函数确定方法及其对应的参数取值范围是有效的,两种新模型均能有效地预报钟差且效果优于常用模型。(5)对钟差一次差分预报原理进行了改进,并设计了钟差一次差分数据的预处理方法。在此基础上,分析了常用钟差预报模型在钟差一次差分数据条件下的预报特性,且从原理上推导证明了钟差一次差分数据符合一次多项式模型;同时结合对IGS RTS卫星钟差改正数的分析,提出了一种钟差改正数预报方法,其30 s的预报精度可达0.06 ns。(6)根据卫星钟差的特点,基于小波神经网络(WNN)提出了一种能够改善卫星钟差预报效果的方法。首先相邻历元钟差数据进行一次差分得到对应的钟差一次差分序列,然后对该序列进行预处理,并基于预处理后的一次差分数据对WNN进行建模;在建模的过程中,采用遗传算法优化WNN的初始网络参数。模型确定后,根据时间序列预报一次差分值,最后将预报的一次差分值还原得到对应的钟差预报值。试验结果表明:一次差分方法使得预报钟差的WNN不但模型结构简单而且预报精度高,针对钟差一次差分序列所设计的预处理方法通过降低数据粗差的影响能够进一步改善WNN的预报性能,新方法1天内的预报效果优于IGU-P钟差且其中长期预报性能优于几种常用模型。 展开更多

关键词 卫星钟差 建模预报 长期性能 GNSS 原子钟 星载 数据预处理方法 二次多项式模型

下载PDF 职称材料

IGS站点坐标时间序列噪声特性与季节性变化分析 被引量：1

19

作者 许昌 《测绘学报》 EI CSCD 北大核心 2019年第4期535-535,共1页

分析IGS站点坐标时间序列的噪声特性、季节性变化以及地表质量负载对各坐标分量的贡献,对IGS站点坐标数据的干扰改正、测站季节性运动物理机制的研究以及地固参考框架的稳定性维护具有重要的理论意义及实用价值。本文以IGS再分析中心JP... 分析IGS站点坐标时间序列的噪声特性、季节性变化以及地表质量负载对各坐标分量的贡献,对IGS站点坐标数据的干扰改正、测站季节性运动物理机制的研究以及地固参考框架的稳定性维护具有重要的理论意义及实用价值。本文以IGS再分析中心JPL产出的单日解坐标序列产品为研究对象,对站点坐标时间序列的数据预处理方法,噪声特性分析,地表质量负载形变模拟,站点时变季节性变化提取以及站点坐标质量负载形变修正等方面进行了研究,主要内容和结论如下. 展开更多

关键词 季节性变化 时间序列 IGS站 噪声特性 点坐标 数据预处理方法 质量负载 坐标数据

下载PDF 职称材料

Intelligent Support System for E-Health

20

作者 Larysa GLOBA Ivan ISHCHENKO Andrii ZAKHARCHUK 《通讯和计算机（中英文版）》 2017年第1期46-52,共7页

关键词 电子信息资源 智能支持系统 数据预处理方法 联网技术 健康监测系统 电子监控系统 模糊逻辑 数据处理

下载PDF 职称材料