期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到1篇文章
< 1 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于结构重参数化的权重嵌套式教师-学生网络
1
作者 庞枫骞 夏雨明 +2 位作者 曾京生 康营营 邢志强 《北方工业大学学报》 2024年第2期109-118,共10页
教师-学生网络在知识蒸馏、知识扩展、域自适应以及多任务学习等领域的应用中均已取得显著成果且成为重要的框架或范式。在不同的应用场景中,教师-学生网络拥有不同的优化方向。本文针对半监督应用场景下的知识扩展任务提出了一种权重... 教师-学生网络在知识蒸馏、知识扩展、域自适应以及多任务学习等领域的应用中均已取得显著成果且成为重要的框架或范式。在不同的应用场景中,教师-学生网络拥有不同的优化方向。本文针对半监督应用场景下的知识扩展任务提出了一种权重嵌套式教师-学生网络模型。该模型借鉴结构重参数化方法,将学生网络设计为结构重参数化网络,并进一步以其主干分支作为教师网络,实现教师网络和学生网络的嵌套。由于教师网络和学生网络的主干分支共享权重,因此本文所提出的框架可以大幅地缩减传统教师-学生网络模型的参数量以及对显存的要求。为了验证本文提出的框架在半监督设定下的有效性,我们在Food-101数据集上进行了对比实验。实验结果表明嵌套式的教师-学生网络在模型参数量和显存占用量减少超过40%的条件下,实现了在多种标注比例下均取得略高于传统教师-学生网络模型的性能。 展开更多
关键词 教师-学生网络 结构重参数化方法 模型权重嵌套 半监督学习 图像分类
下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 下一页 到第 页
使用帮助 返回顶部