-
题名基于Spark技术的气象数据分析
- 1
-
-
作者
刘丽景
刘力维
王林
郝婉婷
-
机构
西安培华学院
西安交通大学
西安市临潼区气象局
-
出处
《黑龙江科学》
2024年第2期56-59,共4页
-
基金
西安市科技计划项目-高校院所科技人员服务企业项目(22GXFW0098)。
-
文摘
近些年来,气象数据规模及复杂性大大增加,这对气象数据的存储、利用及加工分析提出了更高的要求。需采用适当的技术及策略,更好地利用分析气象数据,为天气预报、气候研究及社会公共服务提供更大的价值。通过网络爬虫爬取实时天气数据,发送实时数据到Kafka消息系统中,利用Spark技术从消息队列中获取实时数据并进行数据清洗、转换、归一化、聚合、汇总、分组等操作,实现气象数据的多维度分析,利用Spark计算结果将处理后的数据进行可视化,以图表、图形等形式进行展示。
-
关键词
气象数据分析
网络爬虫
消息队列
spark数据分析
-
Keywords
Meteorological data
Web spider
Message queue
spark data analysis
-
分类号
TP274
[自动化与计算机技术—检测技术与自动化装置]
-
-
题名基于Spark平台城市出租车乘客出行分析
被引量：1
- 2
-
-
作者
朱彦
-
机构
上海大学计算机学院
甲骨文软件研究开发中心(北京)有限公司
-
出处
《电脑编程技巧与维护》
2017年第10期10-12,共3页
-
文摘
目前中国经济的迅速发展也催生了出租车行业的产生,通过对出租车轨迹数据进行分析可以得到城市居民的行为特征,为城市建设提供解决依据。Spark数据分析技术有着快速迭代的优势以及优秀的容错和调度机制,它可以将数据进行缓存并对海量的出租车行为数据进行分析,快速得到结果。对出租车行为数据在Spark平台中的分析过程进行了模拟,希望能够为相关行业带来帮助。
-
关键词
spark数据分析
出租车
时空特征
大数据
智慧城市
-
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
U492.434
[交通运输工程—交通运输规划与管理]
-
-
题名基于Android的志愿服务管理APP的实现
- 3
-
-
作者
罗旭芷
宋亚威
聂成
-
机构
湖南第一师范学院
-
出处
《电子技术与软件工程》
2019年第13期42-43,共2页
-
基金
湖南省大学生研究性学习和创新性实验计划项目2017-814
-
文摘
本文提出一套基于Android的移动端服务类系统,利用StackMod做后端云服务器,结合Hbase和Spark技术。设计了包括注册登录模块,活动管理模块和数据分析应用等模块,旨在实现公益活动组织管理的同时,实现对用户的数据分析,促进志愿服务向更安全更精准的方向迈进。
-
关键词
志愿服务
ANDROID
HBASE
spark数据分析
StackMod
-
分类号
TP311.56
[自动化与计算机技术—计算机软件与理论]
-
