摘要
从海量数据中迅速提取有效信息是应用软件开发者们在项目开发中遇到的最大难题。该问题的出发点是在分析Hadoop集群技术组合的关键技术基础和其他现有的分布式存储和计算研究的基础上,以及它们的商业需求和实际的硬件和软件编程能力。提出了一种基于模型和数据结构设计程序的大规模Hadoop数据处理方法,在组织和使用编程方法的几个过程中,介绍了模型的开发、日志数据预处理模型及其在大型网站中的应用。
出处
《电脑编程技巧与维护》
2019年第1期95-97,共3页
Computer Programming Skills & Maintenance
基金
2018年江苏省高职院校青年教师企业实践计划项目(计划编号:2018QYSJ084)阶段性成果
