面部动作单元(Action Unit,AU)识别是计算机视觉与情感计算领域的热点课题.AU识别属于多标签二分类任务,目前面临着标签不均衡等挑战.现有的主流算法利用AU之间的关联,通过调整采样率和AU的权重来进行标签重均衡化.然而,这些方法仅仅使...面部动作单元(Action Unit,AU)识别是计算机视觉与情感计算领域的热点课题.AU识别属于多标签二分类任务,目前面临着标签不均衡等挑战.现有的主流算法利用AU之间的关联,通过调整采样率和AU的权重来进行标签重均衡化.然而,这些方法仅仅使模型预测时从偏向出现频率高的标签转为偏向出现频率低的标签,并未解决偏置问题.根据出现频率的高低可将AU划分为头类和尾类,公平对待每一类是实现AU无偏识别的关键.本文引入因果推理理论,提出基于因果干预的无偏化方法(Causal Intervention for Unbiased facial action unit recognition,CIU),以解决多AU间不均衡的问题.通过调整不平衡域和平衡但不可见域上的经验风险实现模型的无偏性.大量实验结果表明,本方法在基准数据集BP4D、DISFA上超越已有的方法,其中在DISFA上超越当前最先进方法1.1%,且可以学习到无偏的特征表示.展开更多
文摘面部动作单元(Action Unit,AU)识别是计算机视觉与情感计算领域的热点课题.AU识别属于多标签二分类任务,目前面临着标签不均衡等挑战.现有的主流算法利用AU之间的关联,通过调整采样率和AU的权重来进行标签重均衡化.然而,这些方法仅仅使模型预测时从偏向出现频率高的标签转为偏向出现频率低的标签,并未解决偏置问题.根据出现频率的高低可将AU划分为头类和尾类,公平对待每一类是实现AU无偏识别的关键.本文引入因果推理理论,提出基于因果干预的无偏化方法(Causal Intervention for Unbiased facial action unit recognition,CIU),以解决多AU间不均衡的问题.通过调整不平衡域和平衡但不可见域上的经验风险实现模型的无偏性.大量实验结果表明,本方法在基准数据集BP4D、DISFA上超越已有的方法,其中在DISFA上超越当前最先进方法1.1%,且可以学习到无偏的特征表示.
