期刊文献+
共找到3,553篇文章
< 1 2 178 >
每页显示 20 50 100
基于改进CS算法的移动网络海量数据低能耗传输方法
1
作者 樊永 彭艳来 +3 位作者 俞勤新 陈首盛 蓝天 王辰锡 《微型电脑应用》 2024年第3期214-216,232,共4页
移动网络数据传输过程未考虑数据间相关性,导致数据传输能耗大,对此文章提出了基于改进CS算法的移动网络海量数据低能耗传输方法。文章分析移动网络海量数据传输能耗,引入混沌扰动系数改进CS算法。在此基础上选取改进CS的双簇头,解决传... 移动网络数据传输过程未考虑数据间相关性,导致数据传输能耗大,对此文章提出了基于改进CS算法的移动网络海量数据低能耗传输方法。文章分析移动网络海量数据传输能耗,引入混沌扰动系数改进CS算法。在此基础上选取改进CS的双簇头,解决传统方法数据传输路径长的问题,设计静态、动态传输队列低能耗传输模式。由实验结果可知,该方法数据传输完整,不同工作模式下,使用基于改进CS算法最高耗能为2 J,耗能较低,该方法将指导移动网络在工业应用中的实现。 展开更多
关键词 改进CS算法 移动网络 海量数据 低能耗传输
下载PDF
云环境下海量数据组织与资源共享的存储模型研究
2
作者 钱文君 《信息记录材料》 2024年第3期201-204,共4页
为满足海量数据在云环境中的存储与处理需求,并对其进行监控和维护,研究设计并实现一种云环境下海量数据组织与资源共享的存储模型。在研究过程中,设计云环境下海量数据组织与资源共享的存储模型,建立契合海量数据资源存储的分布式存储... 为满足海量数据在云环境中的存储与处理需求,并对其进行监控和维护,研究设计并实现一种云环境下海量数据组织与资源共享的存储模型。在研究过程中,设计云环境下海量数据组织与资源共享的存储模型,建立契合海量数据资源存储的分布式存储架构。根据模型架构需求,将模型划分为基础设施服务层、数据资源服务层、业务管理层与云应用服务层,明显解决数据写入不一致问题,具有良好的扩展性、可行性、稳定性与可靠性。 展开更多
关键词 云环境 海量数据组织 资源共享 存储模型
下载PDF
基于可视化技术的海量数据安全特征提取算法
3
作者 陈宝靖 祝坤一 《中国高新科技》 2024年第1期43-44,52,共3页
由于传统算法在海量数据安全特征提取中应用效果不佳,不仅提取误差比较大,而且提取时间比较长,无法达到预期的特征提取效果,提出基于可视化技术的海量数据安全特征提取算法。在网络日志记录集中拾取与数据提取源相关的海量数据,利用聚... 由于传统算法在海量数据安全特征提取中应用效果不佳,不仅提取误差比较大,而且提取时间比较长,无法达到预期的特征提取效果,提出基于可视化技术的海量数据安全特征提取算法。在网络日志记录集中拾取与数据提取源相关的海量数据,利用聚类分析法对海量数据进行聚类分析,以数据的可靠性对海量数据安全特征进行识别,利用可视化技术对安全特征进行统计提取,以此完成基于可视化技术的海量数据安全特征提取。实验证明,设计方法数据安全特征提取误差小于1%,提取时间在1s以内,可以有效保证海量数据安全特征提取精度和速度。 展开更多
关键词 可视化技术 海量数据 安全特征 网络日志记录集 聚类分析法 可靠性
下载PDF
新技术为海量数据存储提供“超级光盘”
4
《电子质量》 2024年第3期22-22,共1页
据报道,近日,中国科学院上海光学精密机械研究所(以下简称“上海光机所”)阮昊研究员团队和上海理工大学顾敏院士等科研人员,利用国际首创的双光束调控聚集诱导发光超分辨光存储技术,突破了信息写入和读出的衍射极限限制。该研究为大数... 据报道,近日,中国科学院上海光学精密机械研究所(以下简称“上海光机所”)阮昊研究员团队和上海理工大学顾敏院士等科研人员,利用国际首创的双光束调控聚集诱导发光超分辨光存储技术,突破了信息写入和读出的衍射极限限制。该研究为大数据存储提供了绿色、长寿命的解决方案,相关成果于2024年2月22日发表在《自然》上。科研人员利用双光束光存储技术突破光学衍射极限的限制,首次证实可以在三维空间实现多至百层、超分辨尺寸下的信息点的写入和读出。这项新技术可以让单张盘容量高达Pb级,相当于至少10000张蓝光光盘的容量。 展开更多
关键词 光存储技术 海量数据存储 数据存储 科研人员 信息点 上海光机所 聚集诱导发光 上海理工大学
下载PDF
综采工作面海量数据挖掘分析平台设计 被引量:1
5
作者 王宏伟 杨焜 +2 位作者 付翔 李进 贾思锋 《工矿自动化》 CSCD 北大核心 2023年第5期30-36,126,共8页
当前综采工作面海量数据采集的实时性和完整性差、异常数据清洗耗时大、数据挖掘时延大,导致综采数据利用率低,无法辅助管理层实时下发决策指令。针对上述问题,设计了一种综采工作面海量数据挖掘分析平台。该平台由数据源层、数据采集... 当前综采工作面海量数据采集的实时性和完整性差、异常数据清洗耗时大、数据挖掘时延大,导致综采数据利用率低,无法辅助管理层实时下发决策指令。针对上述问题,设计了一种综采工作面海量数据挖掘分析平台。该平台由数据源层、数据采集存储层、数据挖掘层和前端应用层组成。数据源层由工作面各类硬件设备提供原始数据;数据采集存储层使用OPC UA网关实时采集井下传感器监测信息,再通过MQTT协议和RESTful接口将数据存入InfluxDB存储引擎;数据挖掘层利用Hive数据引擎和Yarn资源管理器筛选数据采集过程中受工作现场干扰形成的异常数据,解决因网络延时导致的数据局部采集顺序紊乱问题,并利用Spark分布式挖掘引擎挖掘工作面设备群海量工况数据的潜在价值,提高数据挖掘模型的运行速度;前端应用层利用可视化组件与后端数据库关联,再通过AJAX技术与后端数据实时交互,实现模型挖掘结果和各类监测数据的可视化展示。测试结果表明,该平台能够充分保证数据采集的实时性与完整性,清洗效率较单机MySQL查询引擎提升5倍,挖掘效率较单机Python挖掘引擎提升4倍。 展开更多
关键词 综采工作面 海量数据 数据挖掘 数据采集 数据存储 数据清洗 数据可视化
下载PDF
基于云计算技术的分布式网络海量数据处理系统构建 被引量:1
6
作者 杨晓岚 《无线互联科技》 2023年第2期68-70,共3页
随着我国互联网用户群体的不断扩大,提升数据的挖掘、分析以及应用能力是未来互联网技术发展的重要方向之一,特别是经济社会的发展导致人们对数据处理的需求越来越高,现有的海量网络数据处理系统方案已经不能满足人们的需求。因此,探索... 随着我国互联网用户群体的不断扩大,提升数据的挖掘、分析以及应用能力是未来互联网技术发展的重要方向之一,特别是经济社会的发展导致人们对数据处理的需求越来越高,现有的海量网络数据处理系统方案已经不能满足人们的需求。因此,探索将云计算技术应用于分布式网络海量数据处理系统的构建中,能充分发挥云计算技术与分布式网络的优势,从而提高海量数据的处理效率。 展开更多
关键词 云计算技术 分布式网络 海量数据 处理系统
下载PDF
基于Redis与WebSocket的图书馆海量数据推送系统设计与实现
7
作者 王龙军 肖寒 +2 位作者 徐跃 李炫 陶虹利 《内蒙古科技与经济》 2023年第4期119-122,共4页
为了更好地向图书馆读者推送图书馆的各种纷繁复杂的业务信息,图书馆需要一个推送到达率高、并发性强、安全性有保障的海量数据推送系统,设计了基于Redis与WebSocket的图书馆海量数据推送系统,用来实现向读者推送图书馆海量业务数据,让... 为了更好地向图书馆读者推送图书馆的各种纷繁复杂的业务信息,图书馆需要一个推送到达率高、并发性强、安全性有保障的海量数据推送系统,设计了基于Redis与WebSocket的图书馆海量数据推送系统,用来实现向读者推送图书馆海量业务数据,让读者更好地了解图书馆最新通知和最新信息,推动图书馆的服务向前发展。 展开更多
关键词 REDIS WebSocket 图书馆 推送系统 海量数据
下载PDF
北京三号B卫星海量数据传输处理系统设计与实现
8
作者 刘聪聪 韩宇 +5 位作者 孙钰林 袁素春 肖化超 朱红 袁玉 王元乐 《航天器工程》 CSCD 北大核心 2023年第3期131-137,共7页
海量数据传输与处理技术是高分辨率遥感卫星系统的关键技术,北京三号B卫星作为高分辨率光学遥感卫星其图像传输速率高达几十吉比特每秒,因此设计了一种基于万兆网接口与高速串行收发器GTX/GTH接口的数据传输与处理系统。该系统使用万兆... 海量数据传输与处理技术是高分辨率遥感卫星系统的关键技术,北京三号B卫星作为高分辨率光学遥感卫星其图像传输速率高达几十吉比特每秒,因此设计了一种基于万兆网接口与高速串行收发器GTX/GTH接口的数据传输与处理系统。该系统使用万兆网接口接收前端相机载荷数据,使用GTX/GTH接口实现产品内数据互联,并基于超大规模现场可编程门阵列(FPGA)作为核心处理芯片实现海量数据路由分发、编解码和处理。测试结果表明:可实现36.04 Gbit/s数据接收和60 Gbit/s数据传输处理能力,并具有可靠性高、系统延时小、通用性强的优点。与传统数传方案相比,系统数据处理能力提高了一倍以上,且显著降低了硬件成本。 展开更多
关键词 北京三号B卫星 海量数据 万兆网接口 GTX/GTH高速串行接口
下载PDF
基于海量数据重构的大型水轮发电机高频局部放电测试方法
9
作者 花振国 刘鹤 +5 位作者 王乐宁 杨胜 宋坤隆 孙茂一 郑凯 高宗宝 《中国测试》 CAS 北大核心 2023年第6期92-99,共8页
我国局放测试设备主要采用低频技术,应用于大型水轮发电机存在测试数据波动性较大和局放识别困难等问题,而适用于大型水轮发电机的高频局放试验平台处于长期缺失状态。为此,该文基于海量数据分步处理架构搭建高频局放硬件平台,提出一种... 我国局放测试设备主要采用低频技术,应用于大型水轮发电机存在测试数据波动性较大和局放识别困难等问题,而适用于大型水轮发电机的高频局放试验平台处于长期缺失状态。为此,该文基于海量数据分步处理架构搭建高频局放硬件平台,提出一种全新的局放特征信号重构算法,通过时域特征进行有效脉冲划分,完整提取出局放特征信息,同时大幅度削减数据量。根据该文所提方法开发一套高频局放测试系统,与传统局放仪进行对比实验分析。水轮发电机老化线棒实验室测试验证该文所提方法的有效性和优越性,局放测试波动值为4.8%,远低于传统局放仪的57.3%。真机试验中检测出一例典型绝缘缺陷,工程应用效果显著,具有一定的推广应用价值。 展开更多
关键词 水轮发电机 高频局部放电测试 海量数据重构 老化线棒测试 真机实验
下载PDF
海量数据存储中云服务器性能加速方法仿真 被引量:1
10
作者 危华明 廖剑平 《计算机仿真》 北大核心 2023年第5期515-519,共5页
用户将海量数据存储于云服务器以节省本地存储空间,但是由于云数据的种类复杂、数据量庞大,严重影响了云服务器整体存储的速度。基于此,提出考虑海量数据存储的云服务器性能加速方法。基于小波分析理论,对海量存储数据小波包分解处理,... 用户将海量数据存储于云服务器以节省本地存储空间,但是由于云数据的种类复杂、数据量庞大,严重影响了云服务器整体存储的速度。基于此,提出考虑海量数据存储的云服务器性能加速方法。基于小波分析理论,对海量存储数据小波包分解处理,消除噪声数据。构建数据存储结构模型,提取关键信息特征。应用卷积神经网络,设计CNN云服务器加速存储模型,实现云服务器性能加速。实验结果表明,上述方法的吞吐量指标在95%-100%之间,CPU利用率在85%以上,可准确预测云服务器负载,实验所得数据验证了所提方法的可靠性高、应用有效性更强。 展开更多
关键词 海量数据存储 云服务器性能加速 卷积神经网络 小波包分解 特征提取
下载PDF
基于一致性哈希算法的分布式机电系统海量数据存储策略研究 被引量:1
11
作者 刘沛津 王柳月 +2 位作者 孙昱 史洁琳 晏东阳 《机床与液压》 北大核心 2023年第22期31-38,共8页
针对分布式机电系统远程全寿命周期运行监测庞大的海量数据分布式存储与管理的负载不均衡问题,提出一种基于权值比例分配各主机节点数量的分布式存储策略。分析分布式机电系统远程监测平台的数据流结构及其数据特征,建立基于一致性哈希... 针对分布式机电系统远程全寿命周期运行监测庞大的海量数据分布式存储与管理的负载不均衡问题,提出一种基于权值比例分配各主机节点数量的分布式存储策略。分析分布式机电系统远程监测平台的数据流结构及其数据特征,建立基于一致性哈希算法的机电液数据的哈希环信息映射,同时引入虚拟节点解决哈希偏移问题。考虑各主机性能差异,基于权值分配虚拟节点,实现负载的自适应,并建立了虚拟节点的动态分配机制。试验结果表明:该存储策略具有良好的负载均衡性,较平均分配各主机节点数量的一致性哈希动态分配存储策略效果更好,能有效减少动态分配次数,使系统快速进入正常运行状态,实现数据的高效存储。 展开更多
关键词 分布式机电系统 一致性哈希算法 海量数据存储策略 虚拟节点 权值动态分配 负载均衡
下载PDF
基于海量数据挖掘的配网单相接地故障自动定位方法 被引量:1
12
作者 余建想 《电脑编程技巧与维护》 2023年第3期116-120,共5页
配网单相接地故障发生后,提出了基于海量数据挖掘的配网单相接地故障自动定位方法。根据配网的接线结构和故障原理,设置单相接地故障的评判依据。利用海量数据挖掘技术,从电压和电流两个方面自动收集配网运行数据。针对存在单相接地故... 配网单相接地故障发生后,提出了基于海量数据挖掘的配网单相接地故障自动定位方法。根据配网的接线结构和故障原理,设置单相接地故障的评判依据。利用海量数据挖掘技术,从电压和电流两个方面自动收集配网运行数据。针对存在单相接地故障的配网,启动故障定位程序,通过故障选线、测距等步骤,得出可视化的配网单相接地故障自动定位结果。通过实测得出结论:在低压、中压及高压环境下,优化设计故障定位方法的选线错误率和测距误差均低于预设值,即优化设计的定位方法具有良好的定位精度。 展开更多
关键词 海量数据挖掘 配电网故障 单相接地故障 故障定位
下载PDF
海量数据分布式存储技术研究 被引量:1
13
作者 魏彬 《信息技术与信息化》 2023年第7期100-103,共4页
随着计算机技术的不断发展,互联网业务也在逐渐地扩大,海量用户纷纷涌入到网络中,使得网络系统数据存储空间日益增大。然而海量数据的存储容量往往同存储性能是相反的,传统的数据库在面对海量数据时早已不堪重负,渐渐地就出现了扩展性... 随着计算机技术的不断发展,互联网业务也在逐渐地扩大,海量用户纷纷涌入到网络中,使得网络系统数据存储空间日益增大。然而海量数据的存储容量往往同存储性能是相反的,传统的数据库在面对海量数据时早已不堪重负,渐渐地就出现了扩展性能差、网络延迟、效率低下等问题。基于此,就车联网海量数据的分布式存储处理技术为研究方向,通过详细分析,构建出一种基于传统数据库存储模式的分布式存储技术,通过仿真实验测试后表明,该技术能够有效解决现有问题,具有一定的参考意义及推广价值。 展开更多
关键词 海量数据 分布式存储 稳定性
下载PDF
海量数据下光滑分位数回归聚合估计
14
作者 聂浩巍 李志强 《统计与决策》 北大核心 2023年第21期34-39,共6页
计算机内存限制和分位数回归损失函数的不光滑性,对海量数据下分位数回归的研究提出了挑战。文章将聚合估计方程与核卷积光滑方法相结合,提出了一种在分布式环境下基于估计方程的光滑分位数的回归聚合估计算法(DSCQR)。理论研究表明,在... 计算机内存限制和分位数回归损失函数的不光滑性,对海量数据下分位数回归的研究提出了挑战。文章将聚合估计方程与核卷积光滑方法相结合,提出了一种在分布式环境下基于估计方程的光滑分位数的回归聚合估计算法(DSCQR)。理论研究表明,在分块数K满足一定条件时,聚合估计量与全样本估计量具有相同的渐近性质。模拟和实证研究结果表明,所提方法和已有研究提出的DCQR方法相比,在计算速度上具有显著优越性,且在K满足一定条件时具有相当的稳健性。 展开更多
关键词 分位数回归 海量数据 核卷积光滑 分治算法
下载PDF
电网智能服务云端海量数据完整性轻量级检测方法
15
作者 郭小鹤 杨媛 马晓琴 《电子设计工程》 2023年第17期141-145,共5页
以往使用的基于多分支树结构、基于带权单链表的完整性验证方案,受到被攻击数据影响,存在数据完整性检测结果不精准问题。为了解决这个问题,提出了电网智能服务云端海量数据完整性轻量级检测方法。构建支持数据动态更新的轻量级检测模型... 以往使用的基于多分支树结构、基于带权单链表的完整性验证方案,受到被攻击数据影响,存在数据完整性检测结果不精准问题。为了解决这个问题,提出了电网智能服务云端海量数据完整性轻量级检测方法。构建支持数据动态更新的轻量级检测模型,在该模型下分析数据被攻击风险。针对数据被攻击而出现的密钥泄露问题,设计了基于轻量级的检测方法执行步骤。在准备阶段,通过引入公钥密码机制进行公开验证。构造风险数据集合,计算发送信息和验证信息签名,以此为依据,设计数据完整性轻量级检测流程。由实验结果可知,该方法在正常情况下,数据准确性分析结果最高值为99.80%,在存在被攻击风险的情况下,数据准确性分析结果最高值为91.00%,因此,使用该方法能够得到精准分析结果。 展开更多
关键词 电网 智能服务 云端海量数据 完整性 轻量级检测
下载PDF
基于海量数据分析的电力工程动态智能监控技术研究
16
作者 李玺 张维堂 +1 位作者 常健翔 李敏银 《电子设计工程》 2023年第21期65-69,共5页
针对电网公司对电力工程监控要求日益提高的现状,文中开展了大数据分析技术在电力工程智能监控中的应用研究。所构建的监控指标体系涵盖了进度、成本及质量共三个方面,并提出了基于标度法(SM)与先验(Apriori)算法的电力工程动态智能监... 针对电网公司对电力工程监控要求日益提高的现状,文中开展了大数据分析技术在电力工程智能监控中的应用研究。所构建的监控指标体系涵盖了进度、成本及质量共三个方面,并提出了基于标度法(SM)与先验(Apriori)算法的电力工程动态智能监控算法。利用标度法筛选出对电力工程存在重要影响的监控指标,同时采用先验算法实现不同指标间关联规则的挖掘,根据强关联规则构造有向网络模型。通过将现有电力工程数据输入至该模型中,便可对电力工程的动态进行智能监控。仿真算例结果表明,文中构建的监控指标体系完整、全面,且所设计算法能够实现对电力工程项目偏差风险的识别。 展开更多
关键词 电力工程 监控指标 数据 海量数据分析
下载PDF
基于客户分类的海量数据动态路由存储策略研究
17
作者 刘文华 《计算机时代》 2023年第6期7-10,共4页
电商行业的海量数据存储,多采用以客户为切分键进行分库分表的策略,但由于大客户和普通客户数据体量差距巨大,往往会导致数据在各库表中分布严重不均。本文基于分布式数据库存储,设计了区分大客户和普通客户的分库分表策略、能够及时识... 电商行业的海量数据存储,多采用以客户为切分键进行分库分表的策略,但由于大客户和普通客户数据体量差距巨大,往往会导致数据在各库表中分布严重不均。本文基于分布式数据库存储,设计了区分大客户和普通客户的分库分表策略、能够及时识别客户数据变化的实时数据监控,以及基于客户分类动态选择存储策略的动态路由组件,可有效保障数据的均匀分布。 展开更多
关键词 客户分类 海量数据 分库分表 动态路由策略 实时数据监控
下载PDF
基于海量数据的同期配电线路模型诊断分析
18
作者 张志耿 《电工技术》 2023年第23期63-64,68,共3页
针对同期系统中配电线路模型异常治理的人工成本高、效率低问题,提出了一种基于海量数据的配电线路模型诊断分析方法。该方法能快速分析线路模型是否异常,并定位异常设备,辅助基层开展线损治理工作,极大提升线路模型异常治理工作效率。
关键词 同期系统 线路模型 诊断分析 海量数据 线损
下载PDF
基于分治和边缘缓存机制实现海量数据采集
19
作者 王伟 李均毅 郭威 《信息化建设》 2023年第2期61-62,共2页
为满足供应商多元评估要求,完成海量评估数据的采集,通过使用采集、预处理分治和数据边缘缓存机制,实现以最小资源代价完成供应商海量数据的采集,同时支持采集工具的动态管理,具备良好的扩展性,能够适应供应商评估体系的动态变化。
关键词 分治 资源代价 多元评估 边缘缓存 供应商评估 数据的采集 海量数据采集 采集工具
下载PDF
海量数据管理技术在桥梁结构监测中的应用
20
作者 李军 《中国科技期刊数据库 工业A》 2023年第4期0169-0172,共4页
桥梁结构监测系统收集的数据量庞大,种类繁多,对这些数据的处理要求极高,传统的数据库技术已无法满足海量数据处理的要求。结合工程实例,分析了传统数据库在结构监测中面临的问题和挑战,并提出了一种基于 Hadoop开源框架下的海量数据管... 桥梁结构监测系统收集的数据量庞大,种类繁多,对这些数据的处理要求极高,传统的数据库技术已无法满足海量数据处理的要求。结合工程实例,分析了传统数据库在结构监测中面临的问题和挑战,并提出了一种基于 Hadoop开源框架下的海量数据管理技术,实现海量数据的分布式存储、查询和分析。通过在某高速公路桥梁结构监测系统中应用该技术,实现了数据快速查询和分析,处理结果满足了海量监测数据分析要求。结果表明:该方法能有效提高结构监测数据管理效率和质量,满足结构监测对海量数据处理需求。 展开更多
关键词 海量数据管理技术 桥梁结构 监测
下载PDF
上一页 1 2 178 下一页 到第
使用帮助 返回顶部