现有的有监督可见光-近红外行人重识别方法需要大量人力资源去除手工标注数据,容易受到标注数据场景的限制,难以满足真实多变应用场景的泛化性。因此,文中提出基于语义伪标签和双重特征存储库的无监督跨模态行人重识别方法。首先,提出...现有的有监督可见光-近红外行人重识别方法需要大量人力资源去除手工标注数据,容易受到标注数据场景的限制,难以满足真实多变应用场景的泛化性。因此,文中提出基于语义伪标签和双重特征存储库的无监督跨模态行人重识别方法。首先,提出基于对比学习框架的预训练方法,利用可见光行人图像和其生成的辅助灰度图像进行训练。利用该预训练方法获取对颜色变化具有鲁棒性的语义特征提取网络。然后,使用DBSCAN(Density-Based Spatial Clustering of Applications with Noise)聚类方法生成语义伪标签。相比现有的伪标签生成方法,文中提出的语义伪标签在生成过程中充分利用跨模态数据之间的结构信息,减少跨模态数据颜色变化带来的模态差异。此外,文中还构建实例级困难样本特征存储库和中心级聚类特征存储库,充分利用困难样本特征和聚类特征,让模型对噪声伪标签具有更强的鲁棒性。在SYSU-MM01、RegDB两个跨模态数据集上的实验验证文中方法的有效性。展开更多
本文针对深度神经网络如何更快速和充分学习的问题,提出一种基于知识传递的深度交流学习(Deep Communication Learning,DCL)模式。该模式中多个神经网络在各自独立学习的同时将网络参数作为知识进行交流,单个神经网络在训练中将自身所...本文针对深度神经网络如何更快速和充分学习的问题,提出一种基于知识传递的深度交流学习(Deep Communication Learning,DCL)模式。该模式中多个神经网络在各自独立学习的同时将网络参数作为知识进行交流,单个神经网络在训练中将自身所学到的知识分享给其他网络,同时从其他网络上吸纳一定比例的学习成果,交替进行独自学习和在集体中的知识交流。基于多个公开数据集的实验结果表明,相对于单独学习,仅用2个网络进行DCL就可获得学习效果最高3.44%的提升;增加进行DCL的网络个数至6个,学习效果可进一步得到最高2.74%的提升。DCL模式有利于训练出效果更好的神经网络。展开更多
文摘现有的有监督可见光-近红外行人重识别方法需要大量人力资源去除手工标注数据,容易受到标注数据场景的限制,难以满足真实多变应用场景的泛化性。因此,文中提出基于语义伪标签和双重特征存储库的无监督跨模态行人重识别方法。首先,提出基于对比学习框架的预训练方法,利用可见光行人图像和其生成的辅助灰度图像进行训练。利用该预训练方法获取对颜色变化具有鲁棒性的语义特征提取网络。然后,使用DBSCAN(Density-Based Spatial Clustering of Applications with Noise)聚类方法生成语义伪标签。相比现有的伪标签生成方法,文中提出的语义伪标签在生成过程中充分利用跨模态数据之间的结构信息,减少跨模态数据颜色变化带来的模态差异。此外,文中还构建实例级困难样本特征存储库和中心级聚类特征存储库,充分利用困难样本特征和聚类特征,让模型对噪声伪标签具有更强的鲁棒性。在SYSU-MM01、RegDB两个跨模态数据集上的实验验证文中方法的有效性。
文摘本文针对深度神经网络如何更快速和充分学习的问题,提出一种基于知识传递的深度交流学习(Deep Communication Learning,DCL)模式。该模式中多个神经网络在各自独立学习的同时将网络参数作为知识进行交流,单个神经网络在训练中将自身所学到的知识分享给其他网络,同时从其他网络上吸纳一定比例的学习成果,交替进行独自学习和在集体中的知识交流。基于多个公开数据集的实验结果表明,相对于单独学习,仅用2个网络进行DCL就可获得学习效果最高3.44%的提升;增加进行DCL的网络个数至6个,学习效果可进一步得到最高2.74%的提升。DCL模式有利于训练出效果更好的神经网络。
