随着大数据技术在交通管理中的广泛应用,在海量车牌数据中检测伴随车辆,引起了研究者们的关注。但目前大多数方法在庞大的数据量下运行效率低,且停留在理论研究阶段,并未与实际应用相结合。提出了一种针对于此应用的新颖方法。采用Spar...随着大数据技术在交通管理中的广泛应用,在海量车牌数据中检测伴随车辆,引起了研究者们的关注。但目前大多数方法在庞大的数据量下运行效率低,且停留在理论研究阶段,并未与实际应用相结合。提出了一种针对于此应用的新颖方法。采用Spark分布式并行计算框架提高运行速度,利用负载均衡原理对数据进行均衡化处理,再提出基于改进的FP-Growth的伴随车辆发现算法,利用置信度对结果进行后处理,剔除车辆随机伴随的情况,提高了检测正确率。该方法应用于长沙市交警大联合交管中心系统,其中将海量车牌识别数据存储在Hadoop大数据平台下的Hive数据库中,在交通PGIS(Police Geographic Information System)上可视化分析结果,实验证明了方法的高效性和可行性。展开更多
快速高效地识别局部放电类型不仅对电力设备的状况评估具有十分重大的意义,而且能够实现智能电网下对电力设施监测数据的快速诊断。因此,在Spark计算框架的基础上提出基于VPMCD(Variable Predictive Model Based Class Discriminate)的...快速高效地识别局部放电类型不仅对电力设备的状况评估具有十分重大的意义,而且能够实现智能电网下对电力设施监测数据的快速诊断。因此,在Spark计算框架的基础上提出基于VPMCD(Variable Predictive Model Based Class Discriminate)的局部放电模式识别的并行化方法。采取对原始放电信号提取其φ-q-n图谱的PRPD(Phase Resolved Partial Discharge)特征构成相关特征向量作为实验输入,采取并行化VPMCD算法对放电类型进行分类。实验结果和分析表明,在Spark计算框架下的分布式处理的计算效率要优于传统单机环境下的计算效率,加速比随着节点数和数据量的增多而显著提升,可以满足智能电网下大数据快速处理的要求。展开更多
文摘随着大数据技术在交通管理中的广泛应用,在海量车牌数据中检测伴随车辆,引起了研究者们的关注。但目前大多数方法在庞大的数据量下运行效率低,且停留在理论研究阶段,并未与实际应用相结合。提出了一种针对于此应用的新颖方法。采用Spark分布式并行计算框架提高运行速度,利用负载均衡原理对数据进行均衡化处理,再提出基于改进的FP-Growth的伴随车辆发现算法,利用置信度对结果进行后处理,剔除车辆随机伴随的情况,提高了检测正确率。该方法应用于长沙市交警大联合交管中心系统,其中将海量车牌识别数据存储在Hadoop大数据平台下的Hive数据库中,在交通PGIS(Police Geographic Information System)上可视化分析结果,实验证明了方法的高效性和可行性。
文摘快速高效地识别局部放电类型不仅对电力设备的状况评估具有十分重大的意义,而且能够实现智能电网下对电力设施监测数据的快速诊断。因此,在Spark计算框架的基础上提出基于VPMCD(Variable Predictive Model Based Class Discriminate)的局部放电模式识别的并行化方法。采取对原始放电信号提取其φ-q-n图谱的PRPD(Phase Resolved Partial Discharge)特征构成相关特征向量作为实验输入,采取并行化VPMCD算法对放电类型进行分类。实验结果和分析表明,在Spark计算框架下的分布式处理的计算效率要优于传统单机环境下的计算效率,加速比随着节点数和数据量的增多而显著提升,可以满足智能电网下大数据快速处理的要求。
