期刊文献+
共找到3,602篇文章
< 1 2 181 >
每页显示 20 50 100
模块化教学模式探析--以“Hadoop大数据处理”课程模块化教学设计为例
1
作者 李美 《牡丹江大学学报》 2024年第3期82-86,108,共6页
课程模块化教学是对课程内容的重组以及整合,利用教学平台,引入企业项目案例资源,把传统的教学模式转变为以学生为主体、教师为主导的模式。本文以高等职业院校“Hadoop大数据处理”课程为例,采用模块化教学模式以适应大数据专业的工作... 课程模块化教学是对课程内容的重组以及整合,利用教学平台,引入企业项目案例资源,把传统的教学模式转变为以学生为主体、教师为主导的模式。本文以高等职业院校“Hadoop大数据处理”课程为例,采用模块化教学模式以适应大数据专业的工作岗位,介绍了模块化教学模式的概念、国内外研究现状,进行了“Hadoop大数据处理”课程模块化设计,分别是教学主体转换、内容模块化设计、教师分工协作模块化设计、应用信息化教学平台。以“Hadoop大数据处理”课程中大数据计算分析模块中“微博精准广告营销”为例说明课程模块化教学设计的具体实施步骤和最终的教学效果。 展开更多
关键词 hadoop大数据处理” 课程模块化 模块化教学设计 模块化教学实施
下载PDF
基于Hadoop的设施蔬菜产销大数据架构分析
2
作者 李敏 文燕 叶煜 《四川农业科技》 2024年第3期29-33,共5页
随着现代科技的发展,物联网、大数据的广泛普及与使用,百姓赖以生活与生存的设施蔬菜发展迅猛快速,从传统的“看天吃饭”到现代化的“四季不断”的转变,实现时不分冬夏、地不分南北的天时地利供应不断,提高了百姓的生活质量。在整个过程... 随着现代科技的发展,物联网、大数据的广泛普及与使用,百姓赖以生活与生存的设施蔬菜发展迅猛快速,从传统的“看天吃饭”到现代化的“四季不断”的转变,实现时不分冬夏、地不分南北的天时地利供应不断,提高了百姓的生活质量。在整个过程中,由于各环节产生数据量极大,种植销售分散,规模大小不一,分类也不统一,采集数据还不是很精准,有限数据利用率不高,造成统计数据还不够完善,数据分析存在偏差,甚至失误。文章主要从研究设施蔬菜的产销,利用传感器技术,从蔬菜分类、销售量等方面准确采集数据,并使用hadoop对数据进行分析。实现HDFS分布式存储、MapReduce实现数据处理过程到利用Hive数据仓库工具,对HDFS中存储的数据进行提取、查询、汇总,对设施蔬菜大数据产销进行架构分析,得到的结果反哺蔬菜种植源头,更好地指导种植生产销售,服务现代农业,服务万千百姓。 展开更多
关键词 设施蔬菜 hadoop 架构分析
下载PDF
基于Hadoop的高校教学质量评测系统构建与评估方法
3
作者 董明 牟云环 《微型电脑应用》 2024年第2期26-28,37,共4页
为了确保高校教学质量评估的客观性、系统性和全面性,提出利用大数据全面服务教育评估,并基于Hadoop构建评测系统,在Hadoop分布式架构基础上,提出利用分布式算法对高校教学质量各方面进行评估。评测系统主要从学校管理质量、教师教学过... 为了确保高校教学质量评估的客观性、系统性和全面性,提出利用大数据全面服务教育评估,并基于Hadoop构建评测系统,在Hadoop分布式架构基础上,提出利用分布式算法对高校教学质量各方面进行评估。评测系统主要从学校管理质量、教师教学过程、学生的学习行为以及学业质量等4个方面对高校教学质量进行评估,自下而上划分为数据访问层、业务逻辑层和表示层,各功能子系统均采用模块化设计;针对不同大数据的特点,提出利用主成分分析法对学校管理质量大数据进行评估,采用分布式算法对教师教学过程、学生学习行为和学业质量进行评估;当数据量较小时传统单机算法运行效率较高,当数据量较大(大数据样本)时分布式算法的运行时间明显少于单机算法,且随着数据量的增大,运行效率优势越明显。 展开更多
关键词 高校教学质量 评测系统 hadoop 大数据 分布式算法
下载PDF
基于Hadoop技术的加速器大数据安全存储与高效分析系统设计
4
作者 赵子晨 杨锋 +3 位作者 郭玉辉 陈又新 李钊扬 刘海涛 《现代电子技术》 北大核心 2024年第8期9-17,共9页
为了解决当前加速器控制系统在数据管理方面所面临的海量数据安全存储和高效分析处理的问题,在现有的基础上引入了Hadoop大数据框架,并结合大数据其他相关组件,构建一个分布式数据仓库系统。文章详细阐述了数据仓库的搭建过程,包括软硬... 为了解决当前加速器控制系统在数据管理方面所面临的海量数据安全存储和高效分析处理的问题,在现有的基础上引入了Hadoop大数据框架,并结合大数据其他相关组件,构建一个分布式数据仓库系统。文章详细阐述了数据仓库的搭建过程,包括软硬件架构以及将数据从现有数据库抽取、转换和加载到数据仓库的方案。特别是针对系统归档数据的存储和分析需求,根据实际应用场景设计一个基于HBase的存储解决方案。在系统部署完成后,进行了吞吐量测试,并与当前使用的传统数据库进行性能对比。测试结果显示,基于Hadoop的数据仓库系统在海量数据存储、高性能查询以及数据分析处理方面都表现出明显的优势。这一改进为加速器控制系统提供了更强大的数据管理和处理能力,有望为加速器在未来的发展提供更多可能性。 展开更多
关键词 数据仓库 hadoop技术 加速器 大数据 安全存储 HBASE ETL
下载PDF
基于Hadoop的电商数据挖掘技术分析
5
作者 李梅 刘铭 黄彬彬 《中国新技术新产品》 2024年第6期126-129,共4页
本文对Hadoop的电商数据挖掘技术的研究过程、理论依据进行了探讨,并对其应用结果进行验证。分析结果表明,基于Hadoop的电商数据挖掘技术具有较大的优势,可以对数据进行高效处理和有效筛选,不仅能提高数据资源的有效利用率,还能提高工... 本文对Hadoop的电商数据挖掘技术的研究过程、理论依据进行了探讨,并对其应用结果进行验证。分析结果表明,基于Hadoop的电商数据挖掘技术具有较大的优势,可以对数据进行高效处理和有效筛选,不仅能提高数据资源的有效利用率,还能提高工作效率和工作质量,因此值得推广和应用。 展开更多
关键词 hadoop 电商数据 数据挖掘技术
下载PDF
基于Hadoop技术的教学数据存储研究
6
作者 李俊涛 《广州城市职业学院学报》 2024年第1期86-90,共5页
探讨了基于Hadoop技术的高校教学数据存储系统设计。该系统以Hadoop分布式文件系统(HDFS)和MapReduce框架为基础,实现了教学数据的高效存储、管理和分析。构建了“数据交互层”“核心处理层”和“数据存储层”三层结构。教学资源网结构... 探讨了基于Hadoop技术的高校教学数据存储系统设计。该系统以Hadoop分布式文件系统(HDFS)和MapReduce框架为基础,实现了教学数据的高效存储、管理和分析。构建了“数据交互层”“核心处理层”和“数据存储层”三层结构。教学资源网结构和数据库访问层支持多样化的数据类型和访问需求。同时,强调数据安全性与权限管理,以及实时处理与分析能力的重要性。通过这一设计,系统为高校提供了安全、高效、可靠的教学数据解决方案,支持教育的创新和发展。 展开更多
关键词 教学数据存储系统 hadoop技术 分布式存储 数据安全性
下载PDF
“双创”背景下高职电子信息类课程教学改革研究——以Hadoop开发基础为例
7
作者 贾瑞民 李华洲 李良良 《电脑知识与技术》 2024年第11期140-142,共3页
在“大众创业,万众创新”的背景下,高职教育对于电子信息类专业人才的培养提出了新的要求。文章以Hadoop开发基础课程为例,探讨在“双创”背景下高职电子信息类课程的建设策略,旨在增强学生的专业素养、实践能力和创新精神,以契合社会... 在“大众创业,万众创新”的背景下,高职教育对于电子信息类专业人才的培养提出了新的要求。文章以Hadoop开发基础课程为例,探讨在“双创”背景下高职电子信息类课程的建设策略,旨在增强学生的专业素养、实践能力和创新精神,以契合社会对电子信息类人才的需求。 展开更多
关键词 “双创” 高职教育 电子信息类课程 hadoop开发基础
下载PDF
基于Hadoop架构的设施农业智能监测系统大数据平台的设计与实现
8
作者 王丹 姚竟发 石彦芳 《计算机应用文摘》 2024年第5期25-27,共3页
文章设计并实现了一个基于Hadoop架构的设施农业智能监测系统大数据平台。首先,介绍了设施农业智能监测系统的需求和挑战;其次,阐述了基于Hadoop的大数据平台的架构设计,包括数据采集、数据存储、数据处理、数据分析等模块的设计思路和... 文章设计并实现了一个基于Hadoop架构的设施农业智能监测系统大数据平台。首先,介绍了设施农业智能监测系统的需求和挑战;其次,阐述了基于Hadoop的大数据平台的架构设计,包括数据采集、数据存储、数据处理、数据分析等模块的设计思路和实现方式。在数据采集方面,采用传感器网络和无线通信技术实时采集农业设施的环境数据。在数据存储方面,利用Hadoop分布式文件系统(HDFS)进行数据的存储和管理。在数据处理和分析方面,使用Hadoop的MapReduce计算模型进行数据的处理和分析。 展开更多
关键词 hadoop架构 设施农业 智能监测系统 大数据平台 数据存储
下载PDF
基于Hadoop的配电网需求数据存储控制技术优化
9
作者 赵建立 汤卓凡 姚孟阳 《粘接》 CAS 2024年第2期182-185,共4页
为确保不同配电网需求数据存储效率,提出基于Hadoop的配电网需求数据存储安全控制方法。采用稀疏字典稀疏分解配电网需求数据,利用字典原子代替数据字节,将压缩数据输入Hadoop分布式平台中,通过客户端专用通道生成公钥和私钥,以密钥流... 为确保不同配电网需求数据存储效率,提出基于Hadoop的配电网需求数据存储安全控制方法。采用稀疏字典稀疏分解配电网需求数据,利用字典原子代替数据字节,将压缩数据输入Hadoop分布式平台中,通过客户端专用通道生成公钥和私钥,以密钥流的形式存入Hadoop节点,双密钥加密需求数据,制定数据密文存储规则,控制需求数据放置位置,实现配电网需求数据安全存储。结果表明,提出的方法在面临恶意攻击时,文件处理速度较快,有效提高了数据存储效率。 展开更多
关键词 hadoop节点 需求数据 稀疏分解 双密钥加密 安全存储
下载PDF
基于Hadoop技术的气象数据实时传输监控系统设计
10
作者 陶淘 彭颖 张晨亮 《计算机测量与控制》 2024年第1期114-120,共7页
气象数据在传输过程中,可能会出现数据丢失、重复、错误等问题,为准确分析气象问题表现情况,实现对气象问题的实时监控,设计了基于Hadoop技术的气象数据实时传输监控系统;联合JTAG调试电路与数据采集器,调节风速风向、雨雪、雷电、温湿... 气象数据在传输过程中,可能会出现数据丢失、重复、错误等问题,为准确分析气象问题表现情况,实现对气象问题的实时监控,设计了基于Hadoop技术的气象数据实时传输监控系统;联合JTAG调试电路与数据采集器,调节风速风向、雨雪、雷电、温湿度4个基础监控模块,完成气象数据实时传输监控系统的硬件设计;根据Hadoop架构体系连接形式,搭建Hadoop架构体系,预处理气象数据;在此基础上,匹配数据库机制与业务信息表单,实现应用系统的实时传输监控功能,再联合相关系统硬件,完成基于Hadoop技术的气象数据实时传输监控系统的设计;实验结果表明,在文章设计系统作用下,A、B、C三个场景的风力、降雨、降雪、雷电等级监控结果均与气象数据取样结果保持一致,能够有效实现对风、雨、雪、雷4种气象问题的实时监测,可以准确分析气象问题表现情况,且平均响应时间仅为61.3 ms,具有较好的实时性。 展开更多
关键词 hadoop技术 气象数据 传输监控系统 JTAG电路 数据采集器 数据库 业务信息表 气象问题
下载PDF
大数据Hadoop集群下Sqoop数据传输技术研究
11
作者 周少珂 郭璇 +1 位作者 张振平 付媛冰 《河南科技》 2024年第6期25-28,共4页
【目的】Hadoop系统是大数据分布式集群系统,其开源的生态圈中有众多功能组件,通过在大数据Hadoop集群系统上部署Sqoop组件,将本地关系型Mysql数据库中的数据和Hive数据仓库中存储的数据进行快速导入导出,进一步研究数据传输性能。【方... 【目的】Hadoop系统是大数据分布式集群系统,其开源的生态圈中有众多功能组件,通过在大数据Hadoop集群系统上部署Sqoop组件,将本地关系型Mysql数据库中的数据和Hive数据仓库中存储的数据进行快速导入导出,进一步研究数据传输性能。【方法】首先在企业服务器上部署配置Hadoop分布式集群系统,其次在该集群上部署Sqoop组件并测试与Mysql数据库和Hive数据仓库的连通性,最后使用Sqoop技术测试本地Mysql数据库和Hive数据仓库之间的导入和导出。【结果】通过Sqoop技术能够更加便捷快速地从本地Mysql数据库上传到Hadoop集群系统,与传统方式下先将本地Mysql数据库中数据导出TXT文档格式后再使用Hive数据仓库的Load数据批量加载功能相比,在时间和效率方面大为提升。【结论】验证了Sqoop组件在Hadoop集群中部署运行的正确性,为大数据技术学习者提供一定程度的参考借鉴。 展开更多
关键词 大数据 hadoop 分布式集群 Sqoop
下载PDF
基于Hadoop的离线电商数据分析系统的设计与实现
12
作者 潘杰恒 蔡群英 《现代计算机》 2024年第3期112-116,共5页
随着互联网的普及和人们不断增长的消费需求,电子商务平台已成为人们生活不可或缺的一部分,由此产生大量数据。基于Hadoop,设计并实现一个离线电商数据分析系统,从系统架构、数据采集、传输、存储、分析处理和可视化等方面作了介绍,系... 随着互联网的普及和人们不断增长的消费需求,电子商务平台已成为人们生活不可或缺的一部分,由此产生大量数据。基于Hadoop,设计并实现一个离线电商数据分析系统,从系统架构、数据采集、传输、存储、分析处理和可视化等方面作了介绍,系统具有一定的数据分析能力,能将原本无用的数据进行整理利用,发挥数据本身的价值。 展开更多
关键词 电商 离线 分析系统 大数据 hadoop Hive FLUME Kafka
下载PDF
基于OpenStack云架构下Hadoop分布式集群部署实训教学过程研究
13
作者 周少珂 王雷 +1 位作者 石磊磊 李凯 《现代计算机》 2024年第4期117-120,共4页
高职院校纷纷开设云计算技术和大数据技术专业,专业间既紧密联系又各有侧重,专业课程也有交叉,使学生在学习专业知识时存在一定误区和困惑。为解决教师教学实训过程中的瓶颈难点,深化学生对大数据和云计算技术的掌握程度,针对云计算技术... 高职院校纷纷开设云计算技术和大数据技术专业,专业间既紧密联系又各有侧重,专业课程也有交叉,使学生在学习专业知识时存在一定误区和困惑。为解决教师教学实训过程中的瓶颈难点,深化学生对大数据和云计算技术的掌握程度,针对云计算技术中OpenStack项目和大数据技术中Hadoop项目进行融合部署,在OpenStack私有云成功配置的基础上,申请云中的资源创建云主机,进行Hadoop完全分布式集群部署和配置,使师生在该教学实训环节成功实现配置,进一步加深对大数据和云计算技术的理解,促进专业课程知识的深入学习。 展开更多
关键词 大数据 hadoop OPENSTACK 云计算 教学
下载PDF
一种基于Hadoop架构和Django框架的图像存储系统设计与实现
14
作者 杨龙 胡锦华 陈婷 《电脑知识与技术》 2024年第7期57-59,63,共4页
Hadoop是一个可用于调度、处理、计算大数据的开源分布式架构。它提供了一整套涵盖数据预处理、数据存储及数据可视化等多阶段的数据解决方案。Hadoop架构的分布式存储优势和Django框架的Web开发能力相结合,可实现高效的图像存储和访问... Hadoop是一个可用于调度、处理、计算大数据的开源分布式架构。它提供了一整套涵盖数据预处理、数据存储及数据可视化等多阶段的数据解决方案。Hadoop架构的分布式存储优势和Django框架的Web开发能力相结合,可实现高效的图像存储和访问。文章以图像存储系统的设计与实现为主线,针对如何依托优质的Django前端框架在代码层对数据进行高效管理以及如何使用Django Web框架构建Hadoop计算模式下的数据可视化Web系统,提出了一种解决方案可供参考。 展开更多
关键词 数据存储 hadoop架构 Django框架
下载PDF
基于Hadoop和MapReduce实现词频的统计与排序
15
作者 孔瑞平 《电脑编程技巧与维护》 2024年第2期15-17,共3页
在大数据背景下,词频统计是被频繁提及的一个需求。一个词在文档中出现的频率越高就越重要,通过对每个词出现频率的统计而得出质的评价,从而为用户提供大量相关行业的数据信息,最终助力用户简便、快速地找到所需信息,为其做出精确、明... 在大数据背景下,词频统计是被频繁提及的一个需求。一个词在文档中出现的频率越高就越重要,通过对每个词出现频率的统计而得出质的评价,从而为用户提供大量相关行业的数据信息,最终助力用户简便、快速地找到所需信息,为其做出精确、明智、及时的决策保驾护航。因此,将在Hadoop集群环境下,运用MapReduce计算框架来实现英文单词的统计与排序功能。 展开更多
关键词 hadoop集群 MapReduce计算框架 词频统计与排序
下载PDF
基于Hadoop云平台的矿井指纹定位算法
16
作者 韩继英 李芳丽 朱元凯 《金属矿山》 CAS 北大核心 2023年第9期193-198,共6页
针对现有矿井指纹定位算法定位精度不高、实时性不强的问题,结合Hadoop云平台技术,提出了一种基于Hadoop云平台的矿井指纹定位算法。该算法首先在指纹特征提取前对矿井中的多基站信号源进行数据预处理,提高指纹特征的可靠性和鲁棒性;其... 针对现有矿井指纹定位算法定位精度不高、实时性不强的问题,结合Hadoop云平台技术,提出了一种基于Hadoop云平台的矿井指纹定位算法。该算法首先在指纹特征提取前对矿井中的多基站信号源进行数据预处理,提高指纹特征的可靠性和鲁棒性;其次,利用小波基函数对源指纹信号进行线性变换,并将多个基站信号分解成不同尺度的频带,得到具有代表性的指纹特征向量;再次,将每个待定位的矿工或移动设备信号分解为若干个子信号区域,并逐区域计算待测信号源与特征集之间的相关系数矩阵,根据相关系数矩阵实现指纹信息匹配;最后,利用多普勒效应和信号衰减原理,对每个节点的位置进行估计,获得每个节点的具体位置信息。在国内某矿井进行了定位试验,结果表明:相对于主流的指纹定位算法,所提出的矿井指纹定位算法能够快速、准确地定位矿井中的人或移动设备,具有较高的定位精度和实时性。该算法可以应用于实际的矿井安全监测和管理中,为矿井安全和高效生产提供支持。 展开更多
关键词 矿井指纹定位 hadoop 云平台 MAPREDUCE 指纹匹配
下载PDF
Hadoop平台下基于优化X-means算法的大数据聚类研究
17
作者 张鹏飞 江岸 熊念 《计算机测量与控制》 2023年第12期284-289,309,共7页
针对现有聚类方法对数据处理规模的局限性,解决数据聚类效果差的问题,在Hadoop平台的支持下提出基于优化X-means算法的大数据聚类方法;利用Hadoop平台架构与函数采集大数据样本,通过缺失补偿、噪声滤波、归一化等步骤,实现初始样本数据... 针对现有聚类方法对数据处理规模的局限性,解决数据聚类效果差的问题,在Hadoop平台的支持下提出基于优化X-means算法的大数据聚类方法;利用Hadoop平台架构与函数采集大数据样本,通过缺失补偿、噪声滤波、归一化等步骤,实现初始样本数据的预处理;选择大数据聚类中心,分别提取聚类中心数据与其他所有数据样本的特征,计算数据样本与聚类中心之间的特征相似度;以相似度度量结果为聚类判定条件,利用优化X-means算法确定数据所属类型,最终实现大数据的聚类处理工作;通过聚类效果测试实验得出结论:在有、无两种实验条件下,与传统聚类方法相比,优化设计方法的查全率和查准率分别提升了4.75%和4.5%,同时优化聚类方法得出数据具有更高利用率。 展开更多
关键词 hadoop平台 优化X-means算法 大数据聚类
下载PDF
基于Hadoop的多维测试数据高效存储平台设计与实现
18
作者 邓威 袁坤 +2 位作者 蒋庆磊 徐欣欢 王旭艳 《电子测试》 2023年第1期13-17,共5页
电子信息工程领域测试数据具有多维度、半结构化、数据量大的特点,对数据的存储、查询、统计分析效率要求较高,现有基于文件或数据库的数据存储方式单一,难以兼顾功能及效率。本文在关系型数据库的基础上引入基于Hadoop的块式数据存储结... 电子信息工程领域测试数据具有多维度、半结构化、数据量大的特点,对数据的存储、查询、统计分析效率要求较高,现有基于文件或数据库的数据存储方式单一,难以兼顾功能及效率。本文在关系型数据库的基础上引入基于Hadoop的块式数据存储结构,结合关系型数据库和二进制大文件读写,在兼顾统计分析能力的基础上,实现了海量原始测试数据的高效存储及读取,相比传统的存储方式实现了较大幅度的效率提升。 展开更多
关键词 信号测试 测试系统 测试数据库 多维数据存储 hadoop数据存储
下载PDF
基于Hadoop的课程诊改大数据可视化分析研究与应用
19
作者 陈俊生 彭莉芬 《天津中德应用技术大学学报》 2023年第3期53-58,共6页
针对职业院校课程诊改的时效性和准确性需求,基于Hadoop平台并综合运用Scrapy爬虫框架、Echarts可视化工具等设计大数据可视化分析系统,以实现异源异构课程诊改大数据的快速采集、预处理、存储、分析、挖掘和可视化展示。可视化分析结... 针对职业院校课程诊改的时效性和准确性需求,基于Hadoop平台并综合运用Scrapy爬虫框架、Echarts可视化工具等设计大数据可视化分析系统,以实现异源异构课程诊改大数据的快速采集、预处理、存储、分析、挖掘和可视化展示。可视化分析结果以图、表等方式向用户展示课程诊改大数据背后的关键信息和有用知识,为教学管理部门和教学团队改进课程教学提供支持。 展开更多
关键词 hadoop 课程诊改 大数据 可视化分析
下载PDF
基于LZO的Hadoop文件归档优化方法
20
作者 张军 苏文浩 《计算机与现代化》 2023年第6期1-6,26,共7页
Hadoop分布式框架被广泛应用于各行业大数据处理领域,但在存储大量小文件时会产生更多的元数据信息,导致名称节点的内存占用过多,影响其对外提供高性能和高并发访问的能力。对小文件进行归档存储,是有效解决该问题的常用方案。同时,考... Hadoop分布式框架被广泛应用于各行业大数据处理领域,但在存储大量小文件时会产生更多的元数据信息,导致名称节点的内存占用过多,影响其对外提供高性能和高并发访问的能力。对小文件进行归档存储,是有效解决该问题的常用方案。同时,考虑到数据压缩可有效减少数据存储空间大小与网络数据传输负载,本文提出一种基于实时无损压缩算法LZO的Hadoop文件归档优化方法LA(LZO-Archive)。该方法先对小文件进行归档合并,在索引文件生成阶段融合LZO压缩算法,减少索引文件的生成时间。同时,设计一种文件压缩存储算法,对数据文件和索引文件进行压缩存储,有效减少了数据所占用的数据节点磁盘空间大小和名称节点内存空间占用大小。实验结果表明,相对于原始的HDFS数据存储方法、基准的文件归档方法HAR以及对比方法LHF,本文提出的LA方法在文件归档时间、名称节点内存占用、数据节点磁盘空间占用、文件访问时间等方面表现更好。 展开更多
关键词 hadoop HDFS 小文件 归档方案 LZO算法
下载PDF
上一页 1 2 181 下一页 到第
使用帮助 返回顶部