摘要
本文首先设计了一个基于BERT的双任务联合学习模型建模口语理解中的意图识别和槽位填充任务,然后基于知识蒸馏思想对模型进行指导训练,最后在两个口语理解基准数据集ATIS和SNIPS上进行了实验验证。实验结果表明,所获得的蒸馏口语理解模型参数量不到教师模型的三分之一,推断速度分别是原基线模型的6.7和8.6倍,而性能在大多数指标上无明显下降。
出处
《电子技术与软件工程》
2021年第2期180-184,共5页
ELECTRONIC TECHNOLOGY & SOFTWARE ENGINEERING
