面向神经网络图像分类任务的剪枝算法研究-文献详情-维普官网

文献检索

任意字段

文献信息

任意字段
主题词
篇关摘
篇名
关键词
摘要
作者
第一作者
作者单位
刊名
中图分类号
学科分类号
DOI
基金

智能检索

高级检索

检索历史

面向神经网络图像分类任务的剪枝算法研究认领

作者：

朱张斌

学位授予单位：

中国科学技术大学

摘要：

卷积神经网络(CNN)近年来取得了重大发展,推动了计算机视觉领域的显著进步。然而,随着CNN的规模和复杂性不断增长,许多研究人员关注如何在保持高性能的同时减小模型规模和复杂性。模型参数剪枝已成为解决这些问题的有效方法。模型剪枝是一种机器学习技术,其主要功能是在不降低模型性能的前提下减小模型大小,实现模型稀疏化,增强模型的鲁棒性。许多剪枝工作使用基于量级的信息,将稀疏性引入网络模型中,以实现更高效、更节能的模型。为了使人工智能任务全场景覆盖,模型压缩方面的工作受到越来越多的关注。现有的模型剪枝算法普遍使用正则化方法来指导参数的修剪,硬性减去小于阈值的参数,剪枝操作在训练之后,无法在训练过程中进行动态的参数选择,并且引入正则化会改变参数的分布,需要模型参数满足特定分布才能得到较好的压缩后网络效果。值得一提的是,在模型修剪时只通过单层信息来决定参数的修剪与否,缺少上下层信息的辅助,使剪枝算法不够完善。为了让剪枝算法更有依据并且可以联系模型各层信息进行剪枝,本文提出两种剪枝算法:BNP和GAP。针对存在模型参数需满足特定分布和模型剪枝算法只考虑单层网络信息的问题,BNP进行通道剪枝的过程中,结合了产生该通道的过滤器以及该通道的信息。不需要对网络参数分布进行约束,通过集成来自CB(Convlutional和BatchNorm)模块的信息来指导参数修剪,利用批量归一化(BatchNorm,BN)层来分析特征之间的分布相似性,以实现更好的结构化修剪。与基于正则化规则的传统方法相比,该算法的性能更好。通过综合评估,BNP已经在CIFAR-10和ImageNet数据集上的现代CNN中得到了证明,在保证剪枝率的情况下,获得了图像分类任务中优秀的网络模型精确度。针对剪枝算法普遍引入正则化以及修剪时只根据单层信息,缺乏考虑网络结构整体信息的问题,GAP引入新型注意力机制,通过注意力机制产生的通道得分来判断该通道对于网络效果的贡献力度,并在全局的网络结构中筛选重要的通道。根据梯度大小、参数大小以及上一轮剪枝的特征,来进行打分,裁剪分数较低的通道,根据训练的反馈动态调整剪枝算法所保留的通道。让模型在剪枝中相互联系相互作用,使剪枝的模型能够取得更好的精度效果。在实验中,与传统方法相比,GAP实现实现了性能和效率之间的平衡。

摘要译文

关键词：

卷积神经网络; 结构化剪枝; 模型压缩; 信息融合

学位年度：

2023

学位类型：

硕士

学科专业：

网络空间安全

导师：

张燕咏

中图分类号：

TP391.41[图形图像识别];TP183[人工神经网络与计算]

学科分类号：

140502[人工智能];081103[系统工程];081104[模式识别与智能系统];081107[建模仿真理论与技术]

D O I：

10.27517/d.cnki.gzkju.2023.002077