在训练集存在噪声标签或类别不平衡分布的情况下,深度神经网络具有过度拟合这种有偏差的训练数据的不良趋势。通过设计适当的样本权重,使用重加权策略是解决此问题的常用方法,但不适当的重加权方案会给网络学习引入额外的开销和偏差,仅...在训练集存在噪声标签或类别不平衡分布的情况下,深度神经网络具有过度拟合这种有偏差的训练数据的不良趋势。通过设计适当的样本权重,使用重加权策略是解决此问题的常用方法,但不适当的重加权方案会给网络学习引入额外的开销和偏差,仅使用重加权方法很难解决有偏差分布下网络的过拟合问题。为此,建议将标签平滑正则化和类裕度正则化与重加权结合使用,并提出了一种基于自适应重加权和正则化的元学习方法(ensemble meta net,EMN),模型框架包括用于分类的基本网络和用于超参数估计的集成元网。该方法首先通过基本网络获得样本损失;然后使用三个元学习器基于损失值以集成的方式估计自适应重加权和正则化的超参数;最终利用三个超参数计算最终的集成元损失更新基本网络,进而提高基本网络在有偏分布数据集上的性能。实验结果表明,EMN在CIFAR和OCTMNIST数据集上的准确率高于其他方法,并通过策略关联性分析证明了不同策略的有效性。展开更多
文摘在训练集存在噪声标签或类别不平衡分布的情况下,深度神经网络具有过度拟合这种有偏差的训练数据的不良趋势。通过设计适当的样本权重,使用重加权策略是解决此问题的常用方法,但不适当的重加权方案会给网络学习引入额外的开销和偏差,仅使用重加权方法很难解决有偏差分布下网络的过拟合问题。为此,建议将标签平滑正则化和类裕度正则化与重加权结合使用,并提出了一种基于自适应重加权和正则化的元学习方法(ensemble meta net,EMN),模型框架包括用于分类的基本网络和用于超参数估计的集成元网。该方法首先通过基本网络获得样本损失;然后使用三个元学习器基于损失值以集成的方式估计自适应重加权和正则化的超参数;最终利用三个超参数计算最终的集成元损失更新基本网络,进而提高基本网络在有偏分布数据集上的性能。实验结果表明,EMN在CIFAR和OCTMNIST数据集上的准确率高于其他方法,并通过策略关联性分析证明了不同策略的有效性。
