期刊文献+
共找到3,637篇文章
< 1 2 182 >
每页显示 20 50 100
海量数据的分布式主成分分析算法及其在共同富裕测度中的应用
1
作者 薛伟 吴文彬 《山东工商学院学报》 2024年第5期71-79,共9页
基于两轮型方法的分布式PCA算法(TR-DPCA),每台局部机器计算出和向量,并将它们传输到中央机器计算全样本数据的均值向量,再将它们传输给每台局部机器;然后,每台局部机器计算出散度矩阵,并将它们传输到中央机器计算全样本数据的协方差矩... 基于两轮型方法的分布式PCA算法(TR-DPCA),每台局部机器计算出和向量,并将它们传输到中央机器计算全样本数据的均值向量,再将它们传输给每台局部机器;然后,每台局部机器计算出散度矩阵,并将它们传输到中央机器计算全样本数据的协方差矩阵;最后根据协方差矩阵进行特征分解获得特征向量。通过数值模拟发现,TR-DPCA算法的表现与全样本PCA一致,且优于基于单轮型方法的分布式PCA算法。此外,将TR-DPCA算法应用到中国共同富裕测度中发现,中国的共同富裕水平呈现上升趋势,且个体差距在不断缩小。 展开更多
关键词 主成分分析 海量数据 分布式 两轮型方法 共同富裕测度
下载PDF
基于关联规则的物联网海量数据分析系统研究
2
作者 何超 《电大理工》 2024年第2期30-35,共6页
物联网设备产生的数据量庞大且复杂,如何有效地管理和分析这些数据是重要问题。文章基于已有的数据挖掘方法,提出了一种关联规则的网络检索算法,设计了一个物联网海量数据分析系统,并对该系统进行了性能测试与研究。测试结果表明,随着... 物联网设备产生的数据量庞大且复杂,如何有效地管理和分析这些数据是重要问题。文章基于已有的数据挖掘方法,提出了一种关联规则的网络检索算法,设计了一个物联网海量数据分析系统,并对该系统进行了性能测试与研究。测试结果表明,随着数据规模的增大,数据处理时间也相应增加,呈近似线性关系。在海量数据分析系统中,处理更大规模的数据会导致较长的处理时间,即数据处理时间与数据规模成正比关系。通过满足用户需求、提高系统性能以及降低成本费用,该算法能够有效地利用资源。 展开更多
关键词 关联规则算法 物联网 海量数据 分析系统
下载PDF
基于果蝇算法的医院电子档案海量数据快速查询方法 被引量:1
3
作者 岳晓希 龚正涛 《办公自动化》 2024年第9期67-69,83,共4页
由于我国医院电子档案数据量每日呈爆炸式增长,导致数据查询方法难以准确且快速查询海量电子档案数据,文章提出基于果蝇算法的医院电子档案海量数据快速查询方法。对原始医院电子档案海量数据进行清洗、压缩等预处理操作,利用果蝇算法... 由于我国医院电子档案数据量每日呈爆炸式增长,导致数据查询方法难以准确且快速查询海量电子档案数据,文章提出基于果蝇算法的医院电子档案海量数据快速查询方法。对原始医院电子档案海量数据进行清洗、压缩等预处理操作,利用果蝇算法搜索预处理后的电子档案数据,获取数据查询位置的最优解,实现医院电子档案海量数据快速查询。实验结果表明,设计方法查询医院电子档案海量数据时查询代价消耗比仅2.61,具有优越的查询效率和扩展性。 展开更多
关键词 果蝇算法 医院电子档案 海量数据 快速查询
下载PDF
基于CNN算法的海量数据库相似数据融合方法
4
作者 陶婧 方向 《长沙大学学报》 2024年第5期26-30,69,共6页
海量语料数据库由于融合质量指数低,应用效果不佳。因此,提出基于CNN算法的海量数据库相似数据融合方法(CNN-MDSF)。深入分析海量数据库数据类型与检索性能,应用Word2vec算法提取在线海量数据库数据特征,结合核函数度量数据之间的相似性... 海量语料数据库由于融合质量指数低,应用效果不佳。因此,提出基于CNN算法的海量数据库相似数据融合方法(CNN-MDSF)。深入分析海量数据库数据类型与检索性能,应用Word2vec算法提取在线海量数据库数据特征,结合核函数度量数据之间的相似性,改进卷积神经网络,构建相似数据融合模型,训练相似数据融合模型,分解相似数据集合,实现海量数据库相似数据融合。实验数据表明,CNN-MDSF的最高度量精度为95.00%,最高熵值为19,融合质量指数更接近于1,充分证实了CNN-MDSF的应用效果更佳。 展开更多
关键词 卷积神经网络 海量数据 相似数据 数据融合 相似性度量
下载PDF
基于改进CS算法的移动网络海量数据低能耗传输方法
5
作者 樊永 彭艳来 +3 位作者 俞勤新 陈首盛 蓝天 王辰锡 《微型电脑应用》 2024年第3期214-216,232,共4页
移动网络数据传输过程未考虑数据间相关性,导致数据传输能耗大,对此文章提出了基于改进CS算法的移动网络海量数据低能耗传输方法。文章分析移动网络海量数据传输能耗,引入混沌扰动系数改进CS算法。在此基础上选取改进CS的双簇头,解决传... 移动网络数据传输过程未考虑数据间相关性,导致数据传输能耗大,对此文章提出了基于改进CS算法的移动网络海量数据低能耗传输方法。文章分析移动网络海量数据传输能耗,引入混沌扰动系数改进CS算法。在此基础上选取改进CS的双簇头,解决传统方法数据传输路径长的问题,设计静态、动态传输队列低能耗传输模式。由实验结果可知,该方法数据传输完整,不同工作模式下,使用基于改进CS算法最高耗能为2 J,耗能较低,该方法将指导移动网络在工业应用中的实现。 展开更多
关键词 改进CS算法 移动网络 海量数据 低能耗传输
下载PDF
能源工业互联网海量数据采集方法研究
6
作者 徐琳 贺铮 +2 位作者 李行 任文辉 张昊 《电气自动化》 2024年第5期88-90,94,共4页
为解决能源工业互联网海量多源异构数据采集并发数量低、采集速度慢的问题,提出了一种能源工业互联网海量数据采集方法。首先,计及各类能源工业设备的数据结构、采集频次和采集策略等因素,设计可扩展的多源异构数据采集架构;其次,建立... 为解决能源工业互联网海量多源异构数据采集并发数量低、采集速度慢的问题,提出了一种能源工业互联网海量数据采集方法。首先,计及各类能源工业设备的数据结构、采集频次和采集策略等因素,设计可扩展的多源异构数据采集架构;其次,建立能源工业互联网采集控制策略,采用多时间尺度控制方法,实现多源异构能源数据的高速采集;在此基础上,对能源工业互联网采集数据进行质量评估;最后,在某城市应用所提方法,其采集准确率约为99.9%。结果表明:所提方法可实现多源异构能源数据协同采集,提高能源工业互联网的采集效率与准确性。 展开更多
关键词 能源工业互联网 海量数据 采集方法 多源异构 质量评估
下载PDF
云环境下海量数据组织与资源共享的存储模型研究
7
作者 钱文君 《信息记录材料》 2024年第3期201-204,共4页
为满足海量数据在云环境中的存储与处理需求,并对其进行监控和维护,研究设计并实现一种云环境下海量数据组织与资源共享的存储模型。在研究过程中,设计云环境下海量数据组织与资源共享的存储模型,建立契合海量数据资源存储的分布式存储... 为满足海量数据在云环境中的存储与处理需求,并对其进行监控和维护,研究设计并实现一种云环境下海量数据组织与资源共享的存储模型。在研究过程中,设计云环境下海量数据组织与资源共享的存储模型,建立契合海量数据资源存储的分布式存储架构。根据模型架构需求,将模型划分为基础设施服务层、数据资源服务层、业务管理层与云应用服务层,明显解决数据写入不一致问题,具有良好的扩展性、可行性、稳定性与可靠性。 展开更多
关键词 云环境 海量数据组织 资源共享 存储模型
下载PDF
基于海量数据内外网交互联络的审计策略分析
8
作者 刘丽娟 章达英 《集成电路应用》 2024年第5期350-351,共2页
阐述基于海量数据中内外网交互联络的审计问题及原因,提出一套综合审计方法,通过分析内外网交互数据,揭示潜在的安全隐患和风险,以帮助组织建立强大的内外网交互联络审计机制。
关键词 海量数据 内外网交互 审计风险 数据保护
下载PDF
基于果蝇算法的数字化档案海量数据自动检索方法
9
作者 陈欣雨 《办公自动化》 2024年第18期16-18,共3页
常规的档案数据检索方法往往只能锁定大致位置范围,导致检索代价消耗较高。针对这一问题,本研究设计一种基于果蝇算法的数字化档案海量数据自动检索方法。首先,针对数据属性合理划分区间,将划分结果作为数据检索的提取条件。然后,利用... 常规的档案数据检索方法往往只能锁定大致位置范围,导致检索代价消耗较高。针对这一问题,本研究设计一种基于果蝇算法的数字化档案海量数据自动检索方法。首先,针对数据属性合理划分区间,将划分结果作为数据检索的提取条件。然后,利用果蝇算法建立智能搜索机制,精确确定检索范围。最后,针对检索范围,构建一个高效、自动的检索模型。该模型能迅速锁定目标数据,实现对数字化档案海量数据的自动检索。实验结果表明,应用该方法后,检索代价消耗比的平均值为2.45,检索代价消耗明显低于传统方法。这一结果说明,在面对大规模数据时,该方法能在保证检索质量的同时,实现更高的检索效率。 展开更多
关键词 果蝇算法 数字化档案 海量数据 自动检索 检索代价消耗比
下载PDF
基于区块链的海量数据精准加密算法
10
作者 潘锦锋 《常州工学院学报》 2024年第3期1-5,24,共6页
海量数据加密的过程中需要进行大量的计算操作,而算法的复杂性会增加数据处理的时间,降低数据加密的性能。为此,使用复合混沌序列对海量数据进行敏感特征提取,以提取到的敏感特征为依据,通过逐步进位加法器,基于区块链对数据进行三进制... 海量数据加密的过程中需要进行大量的计算操作,而算法的复杂性会增加数据处理的时间,降低数据加密的性能。为此,使用复合混沌序列对海量数据进行敏感特征提取,以提取到的敏感特征为依据,通过逐步进位加法器,基于区块链对数据进行三进制的简洁编码,将编码后的数据作为加密的基础数据,对数据进行分割,并建立数据加密模型,实现对海量数据的精准加密。实验结果表明,设计的算法对不同大小数据的加密时间均小于4 s,说明设计算法效率较高,具有较好的应用价值,可以对数据进行快速精准加密。 展开更多
关键词 区块链 海量数据 精准加密算法 数据加密模型 MERKLE树 位加法运算
下载PDF
基于多源海量数据可视化三维孪生技术的研究与应用
11
作者 蒋明丽 陆亭廷 《中文科技期刊数据库(全文版)工程技术》 2024年第5期0142-0145,共4页
随着数字化时代的发展,当今社会生产和存储的数据量呈爆炸式增长,这些数据涵盖了多个领域、多个来源、多个维度,如何有效地从这些数据中获取有价值的信息和知识,成为一项挑战性的任务。本文介绍了基于多源海量数据可视化和三维孪生技术... 随着数字化时代的发展,当今社会生产和存储的数据量呈爆炸式增长,这些数据涵盖了多个领域、多个来源、多个维度,如何有效地从这些数据中获取有价值的信息和知识,成为一项挑战性的任务。本文介绍了基于多源海量数据可视化和三维孪生技术的研究与应用。其中,多源数据的获取和整合、数据预处理和清洗、数据可视化技术和方法等方面得到了重点阐述。重点探讨了多源海量数据可视化与三维孪生技术的结合,并以电网、海洋、气象等领域为例,分析了三维孪生技术在多源海量数据可视化中的应用和实例。最后,对未来的发展趋势、存在的问题和挑战等进行了展望。 展开更多
关键词 海量数据 多源数据 三维孪生技术 可视化技术
下载PDF
基于可视化技术的海量数据安全特征提取算法
12
作者 陈宝靖 祝坤一 《中国高新科技》 2024年第1期43-44,52,共3页
由于传统算法在海量数据安全特征提取中应用效果不佳,不仅提取误差比较大,而且提取时间比较长,无法达到预期的特征提取效果,提出基于可视化技术的海量数据安全特征提取算法。在网络日志记录集中拾取与数据提取源相关的海量数据,利用聚... 由于传统算法在海量数据安全特征提取中应用效果不佳,不仅提取误差比较大,而且提取时间比较长,无法达到预期的特征提取效果,提出基于可视化技术的海量数据安全特征提取算法。在网络日志记录集中拾取与数据提取源相关的海量数据,利用聚类分析法对海量数据进行聚类分析,以数据的可靠性对海量数据安全特征进行识别,利用可视化技术对安全特征进行统计提取,以此完成基于可视化技术的海量数据安全特征提取。实验证明,设计方法数据安全特征提取误差小于1%,提取时间在1s以内,可以有效保证海量数据安全特征提取精度和速度。 展开更多
关键词 可视化技术 海量数据 安全特征 网络日志记录集 聚类分析法 可靠性
下载PDF
海量数据背景下数智设备的通信安全预警
13
作者 杨金刚 《自动化应用》 2024年第20期183-186,共4页
为了保障数智设备的正常运转,针对预警效率较低以及预警效果较差的问题,研究了海量数据背景下数智设备的通信安全预警。传统方法(如支持向量机)未对通信故障信号进行估计,致使通信安全预警的精确度较低。因此,提出基于小波包跳频估计的... 为了保障数智设备的正常运转,针对预警效率较低以及预警效果较差的问题,研究了海量数据背景下数智设备的通信安全预警。传统方法(如支持向量机)未对通信故障信号进行估计,致使通信安全预警的精确度较低。因此,提出基于小波包跳频估计的数智设备的通信安全预警方法。构建数智设备通信危险信号的采集模型,对通信故障信号展开分解滤波处理,并对滤波处理后的通信数据进行模态分解,最后对分解后的通信故障信号特征进行估计,完成数智设备的通信安全预警。由实验对比结果得知,应用所提方法能提升通信安全预警的精度与灵敏度,确保数智设备的安全稳定运行。 展开更多
关键词 海量数据 数智设备 通信安全预警
下载PDF
新技术为海量数据存储提供“超级光盘”
14
《电子质量》 2024年第3期22-22,共1页
据报道,近日,中国科学院上海光学精密机械研究所(以下简称“上海光机所”)阮昊研究员团队和上海理工大学顾敏院士等科研人员,利用国际首创的双光束调控聚集诱导发光超分辨光存储技术,突破了信息写入和读出的衍射极限限制。该研究为大数... 据报道,近日,中国科学院上海光学精密机械研究所(以下简称“上海光机所”)阮昊研究员团队和上海理工大学顾敏院士等科研人员,利用国际首创的双光束调控聚集诱导发光超分辨光存储技术,突破了信息写入和读出的衍射极限限制。该研究为大数据存储提供了绿色、长寿命的解决方案,相关成果于2024年2月22日发表在《自然》上。科研人员利用双光束光存储技术突破光学衍射极限的限制,首次证实可以在三维空间实现多至百层、超分辨尺寸下的信息点的写入和读出。这项新技术可以让单张盘容量高达Pb级,相当于至少10000张蓝光光盘的容量。 展开更多
关键词 光存储技术 海量数据存储 数据存储 科研人员 信息点 上海光机所 聚集诱导发光 上海理工大学
下载PDF
综采工作面海量数据挖掘分析平台设计 被引量:3
15
作者 王宏伟 杨焜 +2 位作者 付翔 李进 贾思锋 《工矿自动化》 CSCD 北大核心 2023年第5期30-36,126,共8页
当前综采工作面海量数据采集的实时性和完整性差、异常数据清洗耗时大、数据挖掘时延大,导致综采数据利用率低,无法辅助管理层实时下发决策指令。针对上述问题,设计了一种综采工作面海量数据挖掘分析平台。该平台由数据源层、数据采集... 当前综采工作面海量数据采集的实时性和完整性差、异常数据清洗耗时大、数据挖掘时延大,导致综采数据利用率低,无法辅助管理层实时下发决策指令。针对上述问题,设计了一种综采工作面海量数据挖掘分析平台。该平台由数据源层、数据采集存储层、数据挖掘层和前端应用层组成。数据源层由工作面各类硬件设备提供原始数据;数据采集存储层使用OPC UA网关实时采集井下传感器监测信息,再通过MQTT协议和RESTful接口将数据存入InfluxDB存储引擎;数据挖掘层利用Hive数据引擎和Yarn资源管理器筛选数据采集过程中受工作现场干扰形成的异常数据,解决因网络延时导致的数据局部采集顺序紊乱问题,并利用Spark分布式挖掘引擎挖掘工作面设备群海量工况数据的潜在价值,提高数据挖掘模型的运行速度;前端应用层利用可视化组件与后端数据库关联,再通过AJAX技术与后端数据实时交互,实现模型挖掘结果和各类监测数据的可视化展示。测试结果表明,该平台能够充分保证数据采集的实时性与完整性,清洗效率较单机MySQL查询引擎提升5倍,挖掘效率较单机Python挖掘引擎提升4倍。 展开更多
关键词 综采工作面 海量数据 数据挖掘 数据采集 数据存储 数据清洗 数据可视化
下载PDF
基于区块链技术的海量数据关联存储系统设计
16
作者 吴熙 钱佳琪 屠月海 《机械设计与制造工程》 2024年第11期95-99,共5页
面对海量Web数据关联存储过程中动态数据容易被干扰、篡改,导致数据存储完整性差的问题,设计了基于区块链技术的海量Web数据关联存储系统。设计发电监测子模块和设备状态监测子模块,用于监控各类设备运行状况。采取分散式基础架构设计... 面对海量Web数据关联存储过程中动态数据容易被干扰、篡改,导致数据存储完整性差的问题,设计了基于区块链技术的海量Web数据关联存储系统。设计发电监测子模块和设备状态监测子模块,用于监控各类设备运行状况。采取分散式基础架构设计电力数据查询接口,直接从缓存模块中提取所需数据。构造区块链结构,利用若干独立节点群确认和记录电力交易数据,结合拜占庭容错共识机制,审核及验证关联存储数据。对数据重加密处理,以防止噪声干扰和恶意篡改,保证数据完整性。实验结果表明,该系统捕捉的待存储数据是理想数据,且最高存储完整度能达到0.99,具有良好存储效果。 展开更多
关键词 区块链技术 海量Web数据 关联存储 拜占庭容错共识
下载PDF
基于云计算技术的分布式网络海量数据处理系统构建 被引量:2
17
作者 杨晓岚 《无线互联科技》 2023年第2期68-70,共3页
随着我国互联网用户群体的不断扩大,提升数据的挖掘、分析以及应用能力是未来互联网技术发展的重要方向之一,特别是经济社会的发展导致人们对数据处理的需求越来越高,现有的海量网络数据处理系统方案已经不能满足人们的需求。因此,探索... 随着我国互联网用户群体的不断扩大,提升数据的挖掘、分析以及应用能力是未来互联网技术发展的重要方向之一,特别是经济社会的发展导致人们对数据处理的需求越来越高,现有的海量网络数据处理系统方案已经不能满足人们的需求。因此,探索将云计算技术应用于分布式网络海量数据处理系统的构建中,能充分发挥云计算技术与分布式网络的优势,从而提高海量数据的处理效率。 展开更多
关键词 云计算技术 分布式网络 海量数据 处理系统
下载PDF
基于Redis与WebSocket的图书馆海量数据推送系统设计与实现
18
作者 王龙军 肖寒 +2 位作者 徐跃 李炫 陶虹利 《内蒙古科技与经济》 2023年第4期119-122,共4页
为了更好地向图书馆读者推送图书馆的各种纷繁复杂的业务信息,图书馆需要一个推送到达率高、并发性强、安全性有保障的海量数据推送系统,设计了基于Redis与WebSocket的图书馆海量数据推送系统,用来实现向读者推送图书馆海量业务数据,让... 为了更好地向图书馆读者推送图书馆的各种纷繁复杂的业务信息,图书馆需要一个推送到达率高、并发性强、安全性有保障的海量数据推送系统,设计了基于Redis与WebSocket的图书馆海量数据推送系统,用来实现向读者推送图书馆海量业务数据,让读者更好地了解图书馆最新通知和最新信息,推动图书馆的服务向前发展。 展开更多
关键词 REDIS WebSocket 图书馆 推送系统 海量数据
下载PDF
北京三号B卫星海量数据传输处理系统设计与实现 被引量:1
19
作者 刘聪聪 韩宇 +5 位作者 孙钰林 袁素春 肖化超 朱红 袁玉 王元乐 《航天器工程》 CSCD 北大核心 2023年第3期131-137,共7页
海量数据传输与处理技术是高分辨率遥感卫星系统的关键技术,北京三号B卫星作为高分辨率光学遥感卫星其图像传输速率高达几十吉比特每秒,因此设计了一种基于万兆网接口与高速串行收发器GTX/GTH接口的数据传输与处理系统。该系统使用万兆... 海量数据传输与处理技术是高分辨率遥感卫星系统的关键技术,北京三号B卫星作为高分辨率光学遥感卫星其图像传输速率高达几十吉比特每秒,因此设计了一种基于万兆网接口与高速串行收发器GTX/GTH接口的数据传输与处理系统。该系统使用万兆网接口接收前端相机载荷数据,使用GTX/GTH接口实现产品内数据互联,并基于超大规模现场可编程门阵列(FPGA)作为核心处理芯片实现海量数据路由分发、编解码和处理。测试结果表明:可实现36.04 Gbit/s数据接收和60 Gbit/s数据传输处理能力,并具有可靠性高、系统延时小、通用性强的优点。与传统数传方案相比,系统数据处理能力提高了一倍以上,且显著降低了硬件成本。 展开更多
关键词 北京三号B卫星 海量数据 万兆网接口 GTX/GTH高速串行接口
下载PDF
基于海量数据分析的电力工程动态智能监控技术研究 被引量:2
20
作者 李玺 张维堂 +1 位作者 常健翔 李敏银 《电子设计工程》 2023年第21期65-69,共5页
针对电网公司对电力工程监控要求日益提高的现状,文中开展了大数据分析技术在电力工程智能监控中的应用研究。所构建的监控指标体系涵盖了进度、成本及质量共三个方面,并提出了基于标度法(SM)与先验(Apriori)算法的电力工程动态智能监... 针对电网公司对电力工程监控要求日益提高的现状,文中开展了大数据分析技术在电力工程智能监控中的应用研究。所构建的监控指标体系涵盖了进度、成本及质量共三个方面,并提出了基于标度法(SM)与先验(Apriori)算法的电力工程动态智能监控算法。利用标度法筛选出对电力工程存在重要影响的监控指标,同时采用先验算法实现不同指标间关联规则的挖掘,根据强关联规则构造有向网络模型。通过将现有电力工程数据输入至该模型中,便可对电力工程的动态进行智能监控。仿真算例结果表明,文中构建的监控指标体系完整、全面,且所设计算法能够实现对电力工程项目偏差风险的识别。 展开更多
关键词 电力工程 监控指标 数据 海量数据分析
下载PDF
上一页 1 2 182 下一页 到第
使用帮助 返回顶部