流特征选择指从以流形式到来的特征数据中选出最优特征子集,现有方法大多在模型训练中需要事先学习领域信息并预设给定参数值。实际应用中,由于不同的数据集数据结构和来源不同,在模型学习过程中研究人员无法提前获取相关领域知识且针...流特征选择指从以流形式到来的特征数据中选出最优特征子集,现有方法大多在模型训练中需要事先学习领域信息并预设给定参数值。实际应用中,由于不同的数据集数据结构和来源不同,在模型学习过程中研究人员无法提前获取相关领域知识且针对不同类型数据集指定一个统一参数存在巨大挑战。基于此,提出一种基于自适应密度邻域关系的多标签在线流特征选择方法(multi-label online stream feature selection based on adaptive density neighborhood relation,ML-OFS-ADNR),基于邻域粗糙集理论,所提方法在特征依赖计算时无需任何先验领域信息。此外,提出了一种新的自适应密度邻域关系,使用周围实例的密度信息,可以在流特征选择过程中自动选择适当数量的邻域,不需要事先指定任何参数。通过模糊等价约束,ML-OFS-ADNR可以选择高依赖低冗余度的特征。实验表明在10种不同类型的数据集上,所提方法在特征数量相同的情况下优于传统特征选择方法和先进的在线流特征选择方法。展开更多
本文针对深度神经网络如何更快速和充分学习的问题,提出一种基于知识传递的深度交流学习(Deep Communication Learning,DCL)模式。该模式中多个神经网络在各自独立学习的同时将网络参数作为知识进行交流,单个神经网络在训练中将自身所...本文针对深度神经网络如何更快速和充分学习的问题,提出一种基于知识传递的深度交流学习(Deep Communication Learning,DCL)模式。该模式中多个神经网络在各自独立学习的同时将网络参数作为知识进行交流,单个神经网络在训练中将自身所学到的知识分享给其他网络,同时从其他网络上吸纳一定比例的学习成果,交替进行独自学习和在集体中的知识交流。基于多个公开数据集的实验结果表明,相对于单独学习,仅用2个网络进行DCL就可获得学习效果最高3.44%的提升;增加进行DCL的网络个数至6个,学习效果可进一步得到最高2.74%的提升。DCL模式有利于训练出效果更好的神经网络。展开更多
文摘流特征选择指从以流形式到来的特征数据中选出最优特征子集,现有方法大多在模型训练中需要事先学习领域信息并预设给定参数值。实际应用中,由于不同的数据集数据结构和来源不同,在模型学习过程中研究人员无法提前获取相关领域知识且针对不同类型数据集指定一个统一参数存在巨大挑战。基于此,提出一种基于自适应密度邻域关系的多标签在线流特征选择方法(multi-label online stream feature selection based on adaptive density neighborhood relation,ML-OFS-ADNR),基于邻域粗糙集理论,所提方法在特征依赖计算时无需任何先验领域信息。此外,提出了一种新的自适应密度邻域关系,使用周围实例的密度信息,可以在流特征选择过程中自动选择适当数量的邻域,不需要事先指定任何参数。通过模糊等价约束,ML-OFS-ADNR可以选择高依赖低冗余度的特征。实验表明在10种不同类型的数据集上,所提方法在特征数量相同的情况下优于传统特征选择方法和先进的在线流特征选择方法。
文摘本文针对深度神经网络如何更快速和充分学习的问题,提出一种基于知识传递的深度交流学习(Deep Communication Learning,DCL)模式。该模式中多个神经网络在各自独立学习的同时将网络参数作为知识进行交流,单个神经网络在训练中将自身所学到的知识分享给其他网络,同时从其他网络上吸纳一定比例的学习成果,交替进行独自学习和在集体中的知识交流。基于多个公开数据集的实验结果表明,相对于单独学习,仅用2个网络进行DCL就可获得学习效果最高3.44%的提升;增加进行DCL的网络个数至6个,学习效果可进一步得到最高2.74%的提升。DCL模式有利于训练出效果更好的神经网络。
