卷积神经网络性能的快速提升是以不断堆叠的网络层数以及成倍增长的参数量和存储空间为代价,这不仅会使模型在训练过程中出现过拟合等问题,也不利于模型在资源受限的嵌入式设备上运行,因而提出模型压缩技术来解决上述问题,主要对模型压...卷积神经网络性能的快速提升是以不断堆叠的网络层数以及成倍增长的参数量和存储空间为代价,这不仅会使模型在训练过程中出现过拟合等问题,也不利于模型在资源受限的嵌入式设备上运行,因而提出模型压缩技术来解决上述问题,主要对模型压缩技术中的特征蒸馏算法进行了研究。针对特征蒸馏中利用教师网络特征图指导学生网络并不能很好地锻炼学生网络特征拟合能力的问题,提出基于特征分布蒸馏算法。该算法利用条件互信息的概念构建模型特征空间的概率分布,并引入最大平均差异(maximum mean discrepancy,MMD)设计损失函数以最小化教师网络和学生网络特征分布间的距离。在知识蒸馏的基础上利用toeplitz矩阵对学生网络进行权重共享操作,进一步节省了模型的存储空间。为验证在特征分布蒸馏算法训练下学生网络的特征拟合能力,在图像分类、目标检测和语义分割三种图像处理任务上进行了实验验证,实验表明所提算法在以上三种学习任务中的表现均优于对比算法且实现了不同网络架构间的蒸馏。展开更多
标记分布学习是在以标记分布标注的示例上学习的新型学习范式,近年来已成功应用于面部年龄估计、头部姿势估计和情感识别等实际场景中。在标记分布学习中,需要足够多的标记分布数据才能训练出预测性能好的模型。然而,标记分布学习有时...标记分布学习是在以标记分布标注的示例上学习的新型学习范式,近年来已成功应用于面部年龄估计、头部姿势估计和情感识别等实际场景中。在标记分布学习中,需要足够多的标记分布数据才能训练出预测性能好的模型。然而,标记分布学习有时会面临标记数据不足和注释成本太高的困境。基于边际概率分布匹配的主动标记分布学习(Active Label Distribution Learning Based on Marginal Probability Distribution Matching,ALDL-MMD)算法是针对标记分布学习注释成本过高的问题而设计的,以减少训练模型所需的标注数据量,从而降低注释成本。ALDL-MMD算法训练了一个线性回归模型,在保证其训练误差最小的同时,学习一个反映未标记数据上选点需求的稀疏向量,使选点后的训练集和未标记集的数据分布尽量相似,并对这个向量做松弛化处理,以简计算。在多个标记分布数据集上的实验结果表明,在“Canberra Metric”和“Intersection”这两个衡量标记分布的指标上,ALDL-MMD算法优于已有的主动示例选择方法,体现了其在降低注释成本方面的有效性。展开更多
文摘具有混合记忆的自步对比学习(Self-paced Contrastive Learning,SpCL)通过集群聚类生成不同级别的伪标签来训练网络,取得了较好的识别效果,然而该方法从源域和目标域中捕获的行人数据之间存在典型的分布差异,使得训练出的网络不能准确区别目标域和源域数据域特征。针对此问题,提出了双分支动态辅助对比学习(Dynamic Auxiliary Contrastive Learning,DACL)框架。该方法首先通过动态减小源域和目标域之间的局部最大平均差异(Local Maximum Mean Discrepancy,LMMD),以有效地学习目标域的域不变特征;其次,引入广义均值(Generalized Mean,GeM)池化策略,在特征提取后再进行特征聚合,使提出的网络能够自适应地聚合图像的重要特征;最后,在3个经典行人重识别数据集上进行了仿真实验,提出的DACL与性能次之的无监督域自适应行人重识别方法相比,mAP和rank-1在Market1501数据集上分别增加了6.0个百分点和2.2个百分点,在MSMT17数据集上分别增加了2.8个百分点和3.6个百分点,在Duke数据集上分别增加了1.7个百分点和2.1个百分点。
文摘卷积神经网络性能的快速提升是以不断堆叠的网络层数以及成倍增长的参数量和存储空间为代价,这不仅会使模型在训练过程中出现过拟合等问题,也不利于模型在资源受限的嵌入式设备上运行,因而提出模型压缩技术来解决上述问题,主要对模型压缩技术中的特征蒸馏算法进行了研究。针对特征蒸馏中利用教师网络特征图指导学生网络并不能很好地锻炼学生网络特征拟合能力的问题,提出基于特征分布蒸馏算法。该算法利用条件互信息的概念构建模型特征空间的概率分布,并引入最大平均差异(maximum mean discrepancy,MMD)设计损失函数以最小化教师网络和学生网络特征分布间的距离。在知识蒸馏的基础上利用toeplitz矩阵对学生网络进行权重共享操作,进一步节省了模型的存储空间。为验证在特征分布蒸馏算法训练下学生网络的特征拟合能力,在图像分类、目标检测和语义分割三种图像处理任务上进行了实验验证,实验表明所提算法在以上三种学习任务中的表现均优于对比算法且实现了不同网络架构间的蒸馏。
文摘标记分布学习是在以标记分布标注的示例上学习的新型学习范式,近年来已成功应用于面部年龄估计、头部姿势估计和情感识别等实际场景中。在标记分布学习中,需要足够多的标记分布数据才能训练出预测性能好的模型。然而,标记分布学习有时会面临标记数据不足和注释成本太高的困境。基于边际概率分布匹配的主动标记分布学习(Active Label Distribution Learning Based on Marginal Probability Distribution Matching,ALDL-MMD)算法是针对标记分布学习注释成本过高的问题而设计的,以减少训练模型所需的标注数据量,从而降低注释成本。ALDL-MMD算法训练了一个线性回归模型,在保证其训练误差最小的同时,学习一个反映未标记数据上选点需求的稀疏向量,使选点后的训练集和未标记集的数据分布尽量相似,并对这个向量做松弛化处理,以简计算。在多个标记分布数据集上的实验结果表明,在“Canberra Metric”和“Intersection”这两个衡量标记分布的指标上,ALDL-MMD算法优于已有的主动示例选择方法,体现了其在降低注释成本方面的有效性。
