期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到374篇文章
< 1 2 … 19 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
Study of Smart Grid Marketing System Architecture Based on Hadoop Platform of Cloud Computing
1
作者 Yu Song Maomao Wu Li Yang 《通讯和计算机（中英文版）》 2012年第7期741-743,共3页
关键词 营销系统 架构 平台 电网 智能 计算 电力营销 共享存储
下载PDF
基于Hadoop架构的设施农业智能监测系统大数据平台的设计与实现
2
作者 王丹 姚竟发 石彦芳 《计算机应用文摘》 2024年第5期25-27,共3页
文章设计并实现了一个基于Hadoop架构的设施农业智能监测系统大数据平台。首先,介绍了设施农业智能监测系统的需求和挑战;其次,阐述了基于Hadoop的大数据平台的架构设计,包括数据采集、数据存储、数据处理、数据分析等模块的设计思路和... 文章设计并实现了一个基于Hadoop架构的设施农业智能监测系统大数据平台。首先,介绍了设施农业智能监测系统的需求和挑战;其次,阐述了基于Hadoop的大数据平台的架构设计,包括数据采集、数据存储、数据处理、数据分析等模块的设计思路和实现方式。在数据采集方面,采用传感器网络和无线通信技术实时采集农业设施的环境数据。在数据存储方面,利用Hadoop分布式文件系统(HDFS)进行数据的存储和管理。在数据处理和分析方面,使用Hadoop的MapReduce计算模型进行数据的处理和分析。 展开更多
关键词 hadoop架构 设施农业 智能监测系统 大数据平台 数据存储
下载PDF
Hadoop平台下基于优化X-means算法的大数据聚类研究
3
作者 张鹏飞 江岸 熊念 《计算机测量与控制》 2023年第12期284-289,309,共7页
针对现有聚类方法对数据处理规模的局限性,解决数据聚类效果差的问题,在Hadoop平台的支持下提出基于优化X-means算法的大数据聚类方法;利用Hadoop平台架构与函数采集大数据样本,通过缺失补偿、噪声滤波、归一化等步骤,实现初始样本数据... 针对现有聚类方法对数据处理规模的局限性,解决数据聚类效果差的问题,在Hadoop平台的支持下提出基于优化X-means算法的大数据聚类方法;利用Hadoop平台架构与函数采集大数据样本,通过缺失补偿、噪声滤波、归一化等步骤,实现初始样本数据的预处理;选择大数据聚类中心,分别提取聚类中心数据与其他所有数据样本的特征,计算数据样本与聚类中心之间的特征相似度;以相似度度量结果为聚类判定条件,利用优化X-means算法确定数据所属类型,最终实现大数据的聚类处理工作;通过聚类效果测试实验得出结论:在有、无两种实验条件下,与传统聚类方法相比,优化设计方法的查全率和查准率分别提升了4.75%和4.5%,同时优化聚类方法得出数据具有更高利用率。 展开更多
关键词 hadoop平台 优化X-means算法 大数据聚类
下载PDF
基于Hadoop云平台的矿井指纹定位算法
4
作者 韩继英 李芳丽 朱元凯 《金属矿山》 CAS 北大核心 2023年第9期193-198,共6页
针对现有矿井指纹定位算法定位精度不高、实时性不强的问题,结合Hadoop云平台技术,提出了一种基于Hadoop云平台的矿井指纹定位算法。该算法首先在指纹特征提取前对矿井中的多基站信号源进行数据预处理,提高指纹特征的可靠性和鲁棒性;其... 针对现有矿井指纹定位算法定位精度不高、实时性不强的问题,结合Hadoop云平台技术,提出了一种基于Hadoop云平台的矿井指纹定位算法。该算法首先在指纹特征提取前对矿井中的多基站信号源进行数据预处理,提高指纹特征的可靠性和鲁棒性;其次,利用小波基函数对源指纹信号进行线性变换,并将多个基站信号分解成不同尺度的频带,得到具有代表性的指纹特征向量;再次,将每个待定位的矿工或移动设备信号分解为若干个子信号区域,并逐区域计算待测信号源与特征集之间的相关系数矩阵,根据相关系数矩阵实现指纹信息匹配;最后,利用多普勒效应和信号衰减原理,对每个节点的位置进行估计,获得每个节点的具体位置信息。在国内某矿井进行了定位试验,结果表明:相对于主流的指纹定位算法,所提出的矿井指纹定位算法能够快速、准确地定位矿井中的人或移动设备,具有较高的定位精度和实时性。该算法可以应用于实际的矿井安全监测和管理中,为矿井安全和高效生产提供支持。 展开更多
关键词 矿井指纹定位 hadoop 云平台 MAPREDUCE 指纹匹配
下载PDF
基于Hadoop的河北行业气象服务大数据云平台设计与应用 被引量：1
5
作者 张中杰 李飞 +1 位作者 曲晓黎 周朔 《软件》 2023年第1期24-28,共5页
随着大数据产业的蓬勃发展和全社会对气象服务需求的日益增长,气象大数据与各行各业数据平台的融合应用越来越广泛。而传统气象数据的存储和运算方式,难以同时高效支撑多个行业、高时空分辨率的气象数据生产和传输要求。因此该方案基于H... 随着大数据产业的蓬勃发展和全社会对气象服务需求的日益增长,气象大数据与各行各业数据平台的融合应用越来越广泛。而传统气象数据的存储和运算方式,难以同时高效支撑多个行业、高时空分辨率的气象数据生产和传输要求。因此该方案基于Hadoop技术建设河北省行业气象服务大数据平台,通过分布式存储、分布式计算,快速接收原始气象数据、通过插值等方法对气象数据进行时空降尺度、通过行业专项预报指标和模型快速计算相关气象服务产品,最终生成支撑能源电力、交通运输等多领域气象监测预报服务产品,得到了很好的应用。为河北省构建气象大数据产业发展生态环境、提升气象信息产业化发展以及保障地方经济社会发展提供了有力支撑。 展开更多
关键词 hadoop 大数据 气象服务 平台 设计
下载PDF
基于Hadoop云平台技术的煤矿灾害监控系统设计
6
作者 邵敏 赵丁 《煤炭技术》 CAS 北大核心 2023年第7期180-183,共4页
传统煤矿灾害监控系统数据处理时间长,在自然灾害发生时无法保证灾害监控数据的安全性,Hadoop云平台可以实现监控数据的高速存储和并行计算,且具有极高的稳定性。设计基于Hadoop云平台技术的煤矿灾害监控系统的整体设计方案,提出了一种... 传统煤矿灾害监控系统数据处理时间长,在自然灾害发生时无法保证灾害监控数据的安全性,Hadoop云平台可以实现监控数据的高速存储和并行计算,且具有极高的稳定性。设计基于Hadoop云平台技术的煤矿灾害监控系统的整体设计方案,提出了一种基于负载均衡思想的数据存储策略,对2种数据存储策略的存储时间进行了对比,以温度和湿度数据平均值计算为例对Hadoop云平台数据Map/Reduce计算流程进行了分析。 展开更多
关键词 hadoop 云平台 灾害监控 存储策略
原文传递
基于Hadoop的分布式日志分析系统设计与实现
7
作者 周德 杨成慧 罗佃斌 《现代信息科技》 2023年第23期57-60,共4页
网络日志解析是确保监控系统稳定运行和检测故障的重要任务之一。然而,日志文件的数据量庞大,数据格式也相对复杂,难以手动处理。在此背景下,对基于Hadoop分布式计算框架的网络日志分析系统的设计和实现进行了研究,通过将数据分解成块,... 网络日志解析是确保监控系统稳定运行和检测故障的重要任务之一。然而,日志文件的数据量庞大,数据格式也相对复杂,难以手动处理。在此背景下,对基于Hadoop分布式计算框架的网络日志分析系统的设计和实现进行了研究,通过将数据分解成块,并通过多台计算机并行处理数据块来提高数据处理速度和效率。系统使用了Hadoop的MapReduce编程模型来实现网络日志数据的解析和处理。实验结果表明,相比传统方法,该系统具有更高的数据处理速度和可伸缩性,证明其有效性和实用性。 展开更多
关键词 网络日志 hadoop平台 分布式计算 MAPREDUCE 日志分析
下载PDF
基于Hadoop分布式计算的混合神经网络负荷分类模型
8
作者 刘洋 王剑 +1 位作者 唐明 张宇栋 《科学技术与工程》 北大核心 2023年第4期1549-1556,共8页
为了对电力物联网背景下的海量负荷数据进行精细化分析,从中提取用电模式,提出一种基于Hadoop分布式并行计算的混合神经网络分类模型。首先,基于时间维度的一维卷积神经网络(one-dimensional convolutional neural network,1DCNN)搭建... 为了对电力物联网背景下的海量负荷数据进行精细化分析,从中提取用电模式,提出一种基于Hadoop分布式并行计算的混合神经网络分类模型。首先,基于时间维度的一维卷积神经网络(one-dimensional convolutional neural network,1DCNN)搭建“负荷特征提取器”;其次,使用长短期记忆网络(long-short-term memory network,LSTM)搭建“序列分类器”;最后,将该“混合神经网络分类方法”在Hadoop平台上搭建,实现算法的并行化运行,以适用于海量负荷曲线的高效辨识。使用标准时序数据与真实负荷数据测试该方法的分类性能,算例结果表明:所提分类方法具有较高的分类精度,经并行化处理后有效提高了负荷数据的处理效率。 展开更多
关键词 负荷分类 卷积神经网络(CNN) 长短期记忆网络(LSTM) hadoop平台 混合神经网络
下载PDF
基于Hadoop与RabbitMQ的人脸识别算法测试平台的设计与实现
9
作者 徐宏宁 刘伟 +3 位作者 惠君俊 周金磊 罗雄中 丁长松 《测控技术》 2023年第3期38-43,共6页
针对人脸识别算法研究过程中测试效率低下的问题,基于分布式技术,设计并实现了通用的分布式大数据测试平台。为了提高人脸识别算法的大数据测试的执行效率,提高测试结果统计计算的执行效率,基于RabbitMQ设计分布式并行执行架构,利用Had... 针对人脸识别算法研究过程中测试效率低下的问题,基于分布式技术,设计并实现了通用的分布式大数据测试平台。为了提高人脸识别算法的大数据测试的执行效率,提高测试结果统计计算的执行效率,基于RabbitMQ设计分布式并行执行架构,利用Hadoop集群的MapReduce框架进行分布式并行计算。利用Java语言的Spring框架开发测试平台,将测试代码与测试图片托管于Hadoop集群的HDFS文件系统,实现了测试业务与测试平台的分离,提高了平台的通用性。该测试平台不仅实现了单个测试任务的分布式执行而且满足多个测试任务同时执行,可对测试任务以及测试相关的代码与数据进行有效的管理。与传统测试方法相比,该平台测试效率提高10余倍,测试图片的数量越大测试效率提升越明显。该测试平台具有业务通用性、容量可扩展性,对于其他人工智能算法的大量数据测试具有借鉴意义与参考价值。 展开更多
关键词 人脸识别算法 测试平台 分布式 hadoop RabbitMQ
下载PDF
大数据技术下煤矿设备状态Hadoop平台设计
10
作者 胡伟英 《山东煤炭科技》 2023年第6期209-211,215,共4页
为了解决店坪煤矿自动化监测平台目前出现的数据杂乱难集中、难处理、难维护、信息孤岛等的问题,在现有监测平台技术基础上,结合大数据技术,设计一款设备状态Hadoop平台,对平台先进行整体结构设计,对4大组成系统进行设计,包括数据采集... 为了解决店坪煤矿自动化监测平台目前出现的数据杂乱难集中、难处理、难维护、信息孤岛等的问题,在现有监测平台技术基础上,结合大数据技术,设计一款设备状态Hadoop平台,对平台先进行整体结构设计,对4大组成系统进行设计,包括数据采集、数据提取、数据传输以及数据存储,实现了海量数据的有序化存储。 展开更多
关键词 机电设备 大数据平台 hadoop
下载PDF
基于Hadoop的艺术类教育资源集成共享平台设计
11
作者 雍雅 《信息与电脑》 2023年第24期247-249,共3页
针对现有教育资源共享平台集成共享效果不佳的问题,设计一种基于Hadoop的艺术类教育资源集成共享平台。首先设计共享平台的整体架构,其次设计用户注册登录模块、教育资源管理模块及数据库,最后进行实验对比分析。实验结果表明,该平台的... 针对现有教育资源共享平台集成共享效果不佳的问题,设计一种基于Hadoop的艺术类教育资源集成共享平台。首先设计共享平台的整体架构,其次设计用户注册登录模块、教育资源管理模块及数据库,最后进行实验对比分析。实验结果表明,该平台的响应时间最短,优于对照组。 展开更多
关键词 hadoop 艺术教育 资源共享 平台设计
下载PDF
基于Hadoop的油田勘探开发云平台数据存储模型研究与应用
12
作者 李真 彭运星 吴彬彬 《现代工业经济和信息化》 2023年第6期65-67,共3页
在物联网、移动互联网、云计算等信息技术的引擎带动下,大数据得到了迅猛的发展,攀升规模让人目不暇接,大数据的挖掘已经成为各个领域的焦点。在云平台开源项目Apache的构建中,Hadoop是重要的功能载体。基于Hadoop框架的应用,计算机集... 在物联网、移动互联网、云计算等信息技术的引擎带动下,大数据得到了迅猛的发展,攀升规模让人目不暇接,大数据的挖掘已经成为各个领域的焦点。在云平台开源项目Apache的构建中,Hadoop是重要的功能载体。基于Hadoop框架的应用,计算机集群得以快捷地实现。在油田勘探开发中越来越多的数据被挖掘出来,传统的Javs EE技术严重滞后于现代油田勘探开发功能需要,新的技术整合势在必行。根据分布式文件系统HDFS,依托Hadoop构建云平台数据存储结构模型,在油田勘探开发作业中真正实现了数据存储和查询的统一性,以及超强的灾备和预警能力,不仅显著提高了多表联合查询效率,真正意义上实现了数据资源的共享。 展开更多
关键词 hadoop 油田勘探 云平台 数据存储模型 研究与应用
下载PDF
基于Hadoop架构的医疗大数据平台的应用
13
作者 蒙德钦 《移动信息》 2023年第11期167-169,共3页
随着大数据技术在各行业中的应用和推广,建设医疗大数据平台成为加强医疗行业核心竞争力的重要手段。文中分析了医疗大数据特点、设计和研究了医疗大数据平台的应用实践,利用科学设置和布置集群、互联网和服务器等,最大程度地保证了医... 随着大数据技术在各行业中的应用和推广,建设医疗大数据平台成为加强医疗行业核心竞争力的重要手段。文中分析了医疗大数据特点、设计和研究了医疗大数据平台的应用实践,利用科学设置和布置集群、互联网和服务器等,最大程度地保证了医疗大数据平台环境的安全性和稳定性,希望能为相关工作人员提供一定的技术参考。 展开更多
关键词 大数据平台 医疗数据 hadoop架构 应用实践
下载PDF
基于大数据技术的企业信息资源管理系统
14
作者 温磊 《信息技术》 2024年第1期176-181,188,共7页
企业信息资源管理系统面对大规模和多类型数据涌入时,处理效率低,系统容易崩溃,设计基于大数据技术的企业信息资源管理系统。分析Hadoop平台体系结构,确定资源管理系统整体架构,设计每个子系统对应的功能,部署系统硬件环境;利用大数据... 企业信息资源管理系统面对大规模和多类型数据涌入时,处理效率低,系统容易崩溃,设计基于大数据技术的企业信息资源管理系统。分析Hadoop平台体系结构,确定资源管理系统整体架构,设计每个子系统对应的功能,部署系统硬件环境;利用大数据融合技术设置软件执行算法,通过模糊调度挖掘资源间关联规则,根据相似性函数,建立同类资源的融合模型,提高业务处理效率,完成系统整体设计。实验表明,该系统的CPU利用率仅在30%左右,处理时间在1.00s以内,大大缩短了处理时间,提高了处理效率。 展开更多
关键词 大数据技术 信息资源 管理系统 hadoop平台 大数据融合
下载PDF
职业院校“Hadoop平台及运维”课程教学实践与思考——以兰州石化职业技术大学为例
15
作者 高龙 《现代信息科技》 2023年第14期194-198,共5页
“Hadoop平台及运维”是大数据专业的核心课程,课程具有对前置课程要求高、交叉性强、实践难度大等特点,传统“以教为中心”的大数据平台运维教学方式很难实现以应用为导向的目标。文章以兰州石化职业技术大学为例,基于高职院校学生的... “Hadoop平台及运维”是大数据专业的核心课程,课程具有对前置课程要求高、交叉性强、实践难度大等特点,传统“以教为中心”的大数据平台运维教学方式很难实现以应用为导向的目标。文章以兰州石化职业技术大学为例,基于高职院校学生的学习特点,结合近几年的教学实践经验,从课程教学模式优化、课程内容安排、实践教学平台运用及考评方式改进等方面,提出了以职业技能和职业素养培养为导向,符合学生实际状况的教育教学策略,为大数据专业其他课程的实践教学提供参考。 展开更多
关键词 大数据平台运维 hadoop 实践教学 教学思考
下载PDF
基于Hadoop平台的日志分析模型 被引量：14
16
作者 于兆良 张文涛 +2 位作者 葛慧 艾伟 孙运乾 《计算机工程与设计》 北大核心 2016年第2期338-344,428,共8页
为提高企业网络内海量日志数据的分析效率,构建基于Hadoop平台的日志分析模型。对模型框架进行总体设计,提出一种MapReduce编程模式的Apriori并行化算法,基于该算法对历史日志进行数据挖掘分析,计算用户行为的频繁模式,建立用户正常行... 为提高企业网络内海量日志数据的分析效率,构建基于Hadoop平台的日志分析模型。对模型框架进行总体设计,提出一种MapReduce编程模式的Apriori并行化算法,基于该算法对历史日志进行数据挖掘分析,计算用户行为的频繁模式,建立用户正常行为规则库,将实时日志与规则库中的规则进行模式匹配,实现对用户异常行为的检测。实验结果表明,该模型算法明显提高了日志分析效率。 展开更多
关键词 hadoop平台 日志分析 MapReduce编程模式 APRIORI算法 数据挖掘 并行化
下载PDF
基于Hadoop平台的改进关联规则挖掘算法 被引量：15
17
作者 王英博 马菁 +1 位作者 柴佳佳 赵彬 《计算机工程》 CAS CSCD 北大核心 2016年第10期69-74,79,共7页
数据采集方式的增多导致单处理器下的关联规则挖掘受到I/O和内存的限制。针对该问题,对传统挖掘算法进行改进。借助Hadoop平台的优势,通过累加迭代的方法降低算法的时间复杂度,并利用MapReduce编程特点,通过一次遍历和MapReduce任务调... 数据采集方式的增多导致单处理器下的关联规则挖掘受到I/O和内存的限制。针对该问题,对传统挖掘算法进行改进。借助Hadoop平台的优势,通过累加迭代的方法降低算法的时间复杂度,并利用MapReduce编程特点,通过一次遍历和MapReduce任务调度完成频繁项集挖掘,在强关联挖掘中通过Sqoop组件将外部表Hive中的数据迁移到Redis,实现数据的高速读取。实验结果表明,该方法可有效提高挖掘效率,提高幅度随数据集规模同步增大,并且具有较好的加速比和扩展性。 展开更多
关键词 hadoop平台 MapReduce编程 关联规则 大数据 数据挖掘
下载PDF
基于Hadoop分布式支持向量机球磨机大数据建模 被引量：9
18
作者 高学伟 付忠广 +1 位作者 孙力 张刚 《河北大学学报（自然科学版）》 CAS 北大核心 2017年第3期309-315,共7页
大数据时代环境下,火电厂大量数据被存储到数据库中而不能被充分利用,由于双进双出钢球磨煤机系统的复杂性,很难建立其准确的机理数学模型,为此提出一种基于大数据挖掘的建模方法.首先分析影响磨煤机料位的因素,提取现场海量的实际运行... 大数据时代环境下,火电厂大量数据被存储到数据库中而不能被充分利用,由于双进双出钢球磨煤机系统的复杂性,很难建立其准确的机理数学模型,为此提出一种基于大数据挖掘的建模方法.首先分析影响磨煤机料位的因素,提取现场海量的实际运行数据,在Hadoop平台下利用K-Means聚类算法删除离群点,利用主成分分析法(PCA)降维完成属性约简,然后在MapReduce架构上采用分布式支持向量机(D_SVM)建立模型,实现计算并行化.结果表明,采取该方法提高了建模效率,所建立的模型具有很高的精确度,且具有很好的泛化能力,该模型可以用于表征实际料位的特性. 展开更多
关键词 双进双出磨煤机 hadoop平台 分布式支持向量机 K-MEANS聚类 主成分分析
下载PDF
Hadoop平台下基于资源预测的Delay调度算法 被引量：6
19
作者 魏晓辉 付庆午 李洪亮 《吉林大学学报（理学版）》 CAS CSCD 北大核心 2013年第1期101-106,共6页
针对Delay算法的不合理等待问题,提出一种基于资源预测的Delay调度算法(RFD),该算法基于对资源可用性的预测方法合理地调度作业.实验结果表明,在Hadoop机群一般应用场景下,该调度算法与已有算法相比,在保证作业本地化计算Map任务比例相... 针对Delay算法的不合理等待问题,提出一种基于资源预测的Delay调度算法(RFD),该算法基于对资源可用性的预测方法合理地调度作业.实验结果表明,在Hadoop机群一般应用场景下,该调度算法与已有算法相比,在保证作业本地化计算Map任务比例相近的同时,将作业平均运行效率提高28.8%,明显提高了Mapreduce作业的执行效率. 展开更多
关键词 hadoop平台 MAPREDUCE模型 资源调度 资源预测 Delay调度
下载PDF
基于Hadoop的海量电信数据云计算平台研究 被引量：29
20
作者 黎宏剑 刘恒 +1 位作者 黄广文 卜立 《电信科学》 北大核心 2012年第8期80-85,共6页
传统的数据分析方法面对海量电信数据存在管理和分析难的问题。Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于云计算领域。本文在对云计算和Hadoop进行分析和研究的基础上,提出了一种针对... 传统的数据分析方法面对海量电信数据存在管理和分析难的问题。Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于云计算领域。本文在对云计算和Hadoop进行分析和研究的基础上,提出了一种针对海量电信数据的分布式云计算方法 ,建立了基于Hadoop的海量电信数据云计算平台。实验证明,该平台能够有效完成海量数据的管理和分析任务,提高海量数据分析的速度和效率。 展开更多
关键词 云计算平台 hadoop MAPREDUCE 海量数据 电信运营商
下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 19 下一页 到第 页
使用帮助 返回顶部