-
题名基于特征归因和泰勒展开引导重要度评价的梯度流剪枝
被引量：2
- 1
-
-
作者
高畅
王家祺
景丽萍
于剑
-
机构
北京交通大学计算机与信息技术学院
北京交通大学交通数据分析与挖掘北京市重点实验室
-
出处
《中国科学：信息科学》
CSCD
北大核心
2022年第3期430-442,共13页
-
基金
北京市自然科学基金(批准号:Z180006)
中国科学院光电信息处理重点实验室开放课题基金(批准号:OEIP-O-202004)
+2 种基金
国家科技研发计划资助(批准号:2020AAA0106800)
国家自然科学基金项目(批准号:61822601,61773050)
教育部指导高校科技创新规划项目资助。
-
文摘
卷积神经网络压缩是近年来研究的热点.本文将模型存在冗余的原因归结为部分卷积核未学到任务相关特征.为去除这部分冗余,本文基于剪枝框架,从卷积核学习任务相关特征的程度和卷积核对损失函数的影响两个角度出发,提出一种新颖的重要度评价标准.此评价标准能准确量化卷积核的重要度,并以此指导卷积核剪枝操作.此外,本文还将梯度流策略引入到卷积核剪枝的过程中,在每次训练迭代中根据重要性和压缩率将卷积核分成两类并对它们分别用不同的更新策略.对于冗余参数,此策略将目标函数反传的梯度进行截流,仅使其权重逐渐衰减直至为零.本文在VGGNet和ResNet两种网络框架上对此剪枝算法进行验证.结果表明:本算法不仅能够在分类精度、计算量、参数量和任务相关特征的保留程度上优于当前主流剪枝算法,而且在高压缩率情况下表现优越.
-
关键词
卷积神经网络
压缩
剪枝
任务相关特征
梯度流
-
Keywords
convolutional neural networks
compressing
pruning
features related to task
gradient flow
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
