基于靈敏度分析的FPGM剪枝算法研究

摘 要： 針對等比例剪枝導致的重要卷積層剪枝過度、殘留大量冗余參數以及精度損失較大的問題，在FPGM剪枝策略基礎上融入靈敏度分析進行網絡剪枝。算法采用精度反饋來分析每一層卷積層的重要性，控制單層剪枝比例分析每一層不同剪枝比例對精度損失的影響，獲取各個卷積層的靈敏度；結合FPGM策略分析卷積層內卷積核的重要程度按靈敏度的剪枝比例剪掉不重要的卷積核，達到對神經網絡進行有效剪枝的目的。實驗結果表明，所提方法在MobileNet-v1和ResNet50上剪枝率為50%的情況下，精確度僅下降1.56%和0.11%；所提方法在精度損失一致下，ResNet50上具有更高剪枝率和更低計算量。

關鍵詞： 深度學習； 網絡剪枝； 圖像分類； 靈敏度

中圖分類號： TP312"" 文獻標志碼： A

文章編號： 1001-3695（2022）01-025-0141-05

doi：10.19734/j.issn.1001-3695.2021.06.0246

Research on FPGM pruning based on sensitivity analysis

Ran Guangjin， Li Zhen， Li Liangrong

（College of Big Data amp; Information Engineering， Guizhou University， Guiyang 550025， China）

Abstract： The purpose is to deal with the problems of excessive pruning of important convolutional layers caused by equal-scale pruning， retain many redundant parameters and large loss of accuracy. This paper integrated sensitivity analysis on the basis of FPGM pruning strategy for network pruning. The algorithm used precision feedback to analyze the importance of each convolutional layer， control the single-layer pruning ratio， analyze the impact of different pruning ratios in each layer on accuracy loss， and obtained the sensitivity of each convolutional layer. It could be combined with FPGM to analyze the importance of the convolution kernel and cut the unimportant convolution kernel according to the pruning ratio of the sensitivity to complete the neural network pruning. The experimental results show that the accuracy of this method only drops by 1.56% and 0.11% when the pruning rate on MobileNet-v1 and ResNet50 is 50%. This method has a higher pruning rate and lower calculation amount on ResNet50 under the same accuracy loss.

Key words： deep learning; network pruning; image classification; sensitivity

0 引言

神經網絡作為人工智能的組成部分，其在圖像分類［1］、目標檢測［2］、圖像分割［3］等領域得到廣泛應用。移動設備作為生活中必不可少的產品，卻無法運行復雜的網絡，由此神經網絡壓縮［4］技術應運而生。目前網絡壓縮方法主要分為網絡剪枝［5］、網絡參數量化與分解［6］、網絡結構輕量化設計［7］和知識蒸餾［8］等幾個大類。剪枝作為神經網絡剪枝的主流方法之一，主要針對神經網絡結構本身進行調整和修剪，去掉不重要參數，有結構化剪枝和非結構化剪枝兩種。

網絡剪枝是神經網絡壓縮和加速中的一個重要方向，由文獻[9]提出。現今對神經網絡剪枝方面已有不少研究，提出許多網絡剪枝的方法。Li等人［［10］提出了L1范數通道剪枝的方法，其采用L1范數評估來對卷積核進行剪枝操作，不會造成稀疏連接，卻受限于范數的規則，一些特殊的權重不適用；Luo等人［11］利用貪心策略結合最小化重建誤差設計了ThiNet剪枝方法，其在ResNet50與VGG16上具有良好的剪枝效果；He等人［12］減少輸入卷積圖中的通道信息，利用套索回歸通道選擇方法和最小二乘重構進行有效的網絡裁剪；Liu等人［13］提出了一種針對BN（batch normalization）層γ參數評估卷積重要性的剪枝方法，該方法只能針對有BN層的網絡進行剪枝；He等人［14］考慮常規范數評價標準的局限性，提出了新的基于卷積核的幾何中位數（filter pruning via geometric median，FPGM）剪枝算法，該算法僅為卷積層中卷積核重要程度的評估標準，需結合其他算法使用。

通道剪枝［15］相對于權重剪枝可以得到規整的模型且參數容易控制。為此本文利用網絡的輸入輸出關系獲取統計信息，結合靈敏度分析和FPGM的方法對神經網絡進行濾波器級別的剪枝。采用ResNet［16］和MobileNet［17］網絡在數據集CIFAR10［18］上驗證該方法，結果表明，本文方法能對神經網絡進行有效剪枝。

1.2 靈敏度分析

靈敏度分析是研究和分析一個系統或模型的狀態或輸出變化對系統參數或周圍條件變化的敏感程度的方法［20］。用靈敏度來分析單層卷積核的剪枝比例對精度損失的影響，能夠有效分析每層的最優剪枝率，有效抑制等比例剪枝的不足。

如圖2所示，若有k層卷積層，每層的濾波器數量不等，對conv 1層的靈敏度進行統計。首先，保留完整模型的原始精度，記為As；其次，在其他conv不變的情況下，對conv 1隨機斷開10%（0.1）的filter，計算此時模型所得的精度為Am，并記錄原始精度與變化后的精度差（As-Am）；然后恢復模型，分別對斷開20%、30%、40%、50%、60%、70%、80%、90% filter的模型進行同樣的操作；最后，對其他conv進行同樣的處理。

圖3為數據集CIFAR10在MobileNet-v1網絡上部分卷積層的靈敏度分析，表現為單個卷積層的剪枝率對精度損失的影響。圖4為靈敏度剪枝過程，步驟如下：

a）保證所有剪枝層精度損失值loss一致，采用二分法逼近計算恰當的損失值。程序開始給出實驗數據、預訓練模型、剪枝率和靈敏度信息，設定損失值初始邊界為［0，1］。

b）進入循環體，損失值取上下邊界均值，根據損失值從靈敏度中檢索一組剪枝比例，檢索方向如圖3所示，自0.9向0.1方向取值，獲取每一層的損失值與靈敏度曲線交點的剪枝率；計算這一組剪枝率中模型的FLOPs值和整體剪枝率，恢復模型到原始狀態。

c）判斷在該損失值下的剪枝率與設定剪枝率的關系。若不等，重新設置上下邊界，回到步驟b）；若相等，則找到需要的剪枝比例，得到合適的損失值，根據得到的剪枝率對模型進行剪枝。

1.3 剪枝方法

卷積神經網絡主要由卷積層和全連接層組成［21］，本文方法是針對卷積層進行的壓縮。神經網絡不同卷積層的參數相差極大，重要程度也不相同，為此使用靈敏度分析的方法來判別每個卷積層的重要程度。根據靈敏度計算每一層最合適的剪枝率，使用幾何中位數評估單層卷積核的重要程度。結合靈敏度計算所得各層最優剪枝率對每一層卷積層進行剪枝。圖5所示為本文方法的總過程，具體步驟如下：

a）讀取數據和網絡，訓練或讀取獲取待剪枝模型。

b）進行靈敏度分析，若有保存的靈敏度信息，讀取網絡的靈敏度信息，否則進行靈敏度分析并保存為文件。

c）根據靈敏度獲取剪枝計劃，進行剪枝。基于靈敏度獲取每一層conv卷積層的剪枝率，針對j層conv根據式（4）計算Fc（i， j） ，記錄每一個‖Fc-Fi‖2，按照最優剪枝率剪掉j層中‖Fc-Fi‖2小的卷積核，去掉距離幾何中心近的卷積核。對需要剪枝的每個卷積層進行剪枝。

d）測試剪枝后的精度，并對剪枝完成的網絡進行二次訓練，以恢復因剪枝而損失的精度。

2 實驗結果與分析

實驗均在Windows10系統、Python語言環境和Paddle網絡框架下完成，硬件配置為CoreTM i7-6700k CPU、8 GB內存、GTX 970顯卡。

2.1 實驗數據集

CIFAR10數據集作為深度學習圖像分類的常用數據集，共有60 000張32×32像素的RGB彩色圖像。其中50 000張隨機分五個批次的圖片用于訓練，另外10 000用于測試，CIFAR10包含不同類別的10個分類。數據采用［number，channel，high，wide］的圖片格式讀入神經網絡。

2.2 實驗設置和性能指標

本文算法在剪枝前網絡模型需要進行預訓練，以128張圖片為一個訓練批次，MobileNet-v1、ResNet50和ResNet101平均訓練80個epoch。初始學習率均為0.01，損失函數為交叉熵誤差，以Momentum優化器進行參數更新。對于網絡剪枝算法的性能評價指標，本文采用分類精確度、精度損失、秒浮點運算次數（floating-point operations per second，FLOPs）以及模型大小作為評估參數。其中，分類精確度為分類結果中正確的數量與總的分類數量的比值；精度損失為剪枝前后模型分類精確度的變化量；模型大小反映占用計算機存儲資源的多少；FLOPs反映了計算機的計算速度，減少量越大，神經網絡運算越快。本文的剪枝比例采用控制FLOPs壓縮比例。

2.3 結果分析

為方便數據統計，將本文優化的算法命名為T-thesis，實驗將本文算法與PFEC［10，22］、L2PF［23］及FPGM［14］方法進行對比分析，參考SFP算法［24］數據。SFP算法為軟剪枝算法，同為通道剪枝，卻具有可逆性，剪枝后能夠恢復，但其算法流程較長，比硬剪枝耗時；PFEC算法采用L1范數來評估卷積核權重的重要程度，剪掉L1范數值較小的卷積核，微調網絡參數；L2PF算法為將PFEC的L1范數更換為L2范數評估標準，其他均與PFEC算法一致。

實驗中SFP算法的數據直接采用文獻［24，25］的數據，因采用的網絡略有差異，SFP數據僅做參考。FPGM、PFEC、L2PF和本文算法的數據為同一模型下測試所得，只取最優結果進行對比。所有表格中的“-”為對應文獻中沒有找到相應數據，加粗的數據表示剪枝后的結果優于剪枝前的結果。

2.3.1 MobileNet-v1實驗

表1為本文算法與SFP、PFEC等算法在MobileNet-v1模型上的實驗數據對比，預訓練模型大小為19.82 MB，FLOPs為11.79×106。可以看出，本文方法在剪枝率為30%時，精度提升0.42%，優于其余三種方法，且精度波動范圍小；剪枝率為50%時，精度下降1.56%，低于PFEC的2.22%和FPGM的1.71%，僅僅比L2PF高0.05%；剪枝率為50%時，四種方法剪枝后的精度均有一定下滑，本文方法精度下降幅度和L2PF基本相同，在剪枝率為10%和30%時的實驗結果更好，總體上性能得到了提升。

表2為MobileNet-v1網絡在理論剪枝率為30%（實際為28.68%）的情況下，根據靈敏度分析各個卷積層的通道剪枝比例，從數據中可以看出剪枝比例呈現瓶頸形式。

表2數據表明，conv2D-9～14和conv2D-17～18層為敏感層參數完全保留，其他層都有不同程度的裁剪，其中conv2D-1～2裁剪25.00%，conv2D-3～6裁剪14.06%，conv2D-7～8、conv2D-15～16和conv2D-19～22均裁剪10%左右。而conv2D-23～24、conv2D-25～26和conv2D-27層的剪枝比例分別為54.69%、70.21%和81.35%。表明從conv2D-21層到conv2D-27層靈敏度逐漸降低，重要參數比重越來越少。

2.3.2 ResNet50和ResNet101實驗

ResNet50和ResNet101網絡在CIFAR10數據集上的實驗數據如表3所示。ResNet數據其初始模型大小103.07 MB和178.37 MB，初始FLOPs為83.87×106 和159.84×106次。數據表明，對于ResNet50網絡模型，在相同的剪枝率下，本文方法具有比較好的剪枝效果。對比PFEC同剪枝率下的數據可以發現，本文方法在10%、30%和50%剪枝率時獲得的精度均比PFEC更高，精度損失分別比PFEC低0.23%、1.38%和0.02%；在剪枝率10%和50%的精度損失均低于FPGM，對比L2PF同剪枝率下精確度也更高，表明在ResNet50上本文的方法剪枝效果最佳。

而對于ResNet101網絡，在剪枝率為30%時，PFEC出現很大的精度下滑，L2PF、FPGM和本文方法則沒有明顯的精度下滑，且本文方法精度下降比L2PF低；剪枝率為50%時，四種方法的精度均出現大幅度下滑，本文方法下滑程度介于PFEC和FPGM之間，可見對于ResNet101剪枝率大于50%均會導致重要參數丟失，精度嚴重下滑；而剪枝率為10%和30%時依然能夠保持較低的精度損失。

2.3.3 不同剪枝率的實驗

圖6所示為本文方法分別在MobileNet-v1、ResNet50和ResNet101上進行剪枝，準確度和剪枝率的變化關系。從中可以看出，三種網絡對不同剪枝率下精度損失的程度相差較大。本文方法對于MobileNet-v1網絡剪枝率在50%以下并未出現明顯的精度損失，剪枝率高于50%后出現明顯下滑，說明高于50%的剪枝率會導致重要參數丟失。

ResNet50的剪枝率在大于70%時才會出現明顯的精度損失，可見ResNet50的冗余參數明顯比MobileNet-v1的冗余參數多。ResNet101則在剪枝率40%～50%出現極大幅度的下滑，表明剪枝率在40%～50%時出現重要參數丟失，可見本文方法在ResNet101上的表現不如MobileNet-v1和ResNet50。

3 結束語

本文針對不同卷積層對結果的敏感程度不同，采用靈敏度分析與幾何中位數相融合的方法對神經網絡進行剪枝，以靈敏度分析評判卷積層敏感性，幾何中位數判斷卷積核的優先級并進行通道剪枝，分別在MobileNet-v1、ResNet50和ResNet101上進行剪枝，有效降低模型尺寸的同時也降低了計算量。實驗數據表明，本文方法在精度損失較小時，能對FLOPs和模型大小進行有效壓縮，且在ResNet50上剪枝效果最佳。但本文方法僅在CIFAR10數據集進行實驗，測試的網絡也比較有限，后續可嘗試使用復雜的數據集和網絡進行實驗。

參考文獻：

[1]Patrick S. Migration of an image classification algorithm to an onboard computer for downlink data reduction［J］.Journal of Aerospace Information Systems，2012，1（2）：108.

［2]Hirotada H. On a model of target detection in molecular communication networks［J］.Networks amp; Heterogeneous Media，2019，14（4）：633-657.

［3]項建弘，徐昊.基于深度學習的圖像語義分割算法研究［J］.計算機應用研究，2020，37（S2）：316-317，320.（Xiang Jianhong， Xu Hao. Research on image semantic segmentation algorithm based on deep learning［J］.Application Research of Computer，2020，37（S2）：316-317，320.）

［4]Chen Jinzhuo， Xu Yongnan， Sun Weize， et al. Joint sparse neural network compression via multi-application multi-objective optimization［J］.Applied Intelligence，2021，51：7837-7854.

［5]涂娟娟，詹永照，韓飛.基于改進的PSO算法的神經網絡相關性剪枝優化［J］.計算機應用研究，2010，27（9）：3253-3255.（Tu Juanjuan， Zhan Yongzhao， Han Fei. Neural network correlation pruning optimization based on improved PSO algorithm［J］.Application Research of Computers，2010，27（9）：3253-3255.）

［6]曹文龍，芮建武，李敏.神經網絡模型壓縮方法綜述［J］.計算機應用研究，2019，36（3）：649-656.（Cao Wenlong， Rui Jianwu， Li Min. Summary of neural network model compression methods［J］.Application Research of Computers，2019，36（3）：649-656.）

［7]程葉群，王艷，范裕瑩，等.基于卷積神經網絡的輕量化目標檢測網絡［J/OL］.激光與光電子學進展，2021，58（16）：362-371.（Cheng Yequn， Wang Yan， Fan Yuying， et al. A lightweight object detection network based on convolutional neural network［J/OL］.Laser amp; Optoelectronics Progress，2021，58（16）：362-371.）

［8]Antonio G， Alessia S， Mario V， et al. Effective training of convolutional neural networks for age estimation based on knowledge distillation［J/OL］.Neural Computing and Applications.（2021-04-20）.https：//doi.org/10.1007/s00521-021-05981-0.

［9]Baity-Jesi M， Sagun L， Geiger M， et al. Comparing dynamics： deep neural networks versus glassy systems［J/OL］.Journal of Statistical Mechanics：Theory and Experiment.（2018-06-07）.https：//arxiv.org/abs/1803.06969v2.

［10]Li Hao， Kadav A， Durdanovic I， et al. Pruning filters for efficient ConvNets［EB/OL］.（2016-08-31）.https：//arxiv.org/abs/1608.08710v1.

［11]Luo Jianhao， Wu Jianxin， Lin Weiyao. ThiNet： a filter level pruning method for deep neural network compression［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2017：5058-5066.

［12]He Yihui， Zhang Xiangyu， Sun Jian. Channel pruning for accelerating very deep neural networks［C］//Proc of IEEE International Conference on Computer Vision. Washington DC：IEEE Computer Society，2017：1389-1397.

［13]Liu Zhuang， Li Jianguo， Shen Zhiqiang， et al. Learning efficient convolutional networks through network slimming［C］//Proc of IEEE International Conference on Computer Vision.Washington DC：IEEE Computer Society，2017：2736-2744.

［14]He Yang， Liu Ping， Wang Ziwei， et al. Filter pruning via geometric median for deep convolutional neural networks acceleration［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.2019：4340-4349.

［15]Hajabdollahi M， Esfandiarpoor R， Khadivi P， et al. Simplification of neural networks for skin lesion image segmentation using color channel pruning［J］.Computerized Medical Imaging and Graphics，2020，82：101729.

［16]RESNET reports record number of ratings［J］.Air Conditioning， Heating amp; Refrigeration News，2018，263（5）：5-6.

［17]任宇杰，楊劍，劉方濤，等.基于SSD和MobileNet網絡的目標檢測方法的研究［J］.計算機科學與探索，2019，13（11）：1881-1893.（Ren Yujie， Yang Jian， Liu Fangtao， et al. Research on object detection method based on SSD and MobileNet network［J］.Journal of Frontiers of Computer Science and Technology，2019，13（11）：1881-1893.）

［18]張占軍，彭艷兵，程光.基于CIFAR-10的圖像分類模型優化［J］.計算機應用與軟件，2018，35（3）：177-181.（Zhang Zhanjun， Peng Yanbing， Cheng Guang. Image classification model optimization based on CIFAR-10［J］.Computer Applications and Software，2018，35（3）：177-181.）

［19]陳超，齊峰.卷積神經網絡的發展及其在計算機視覺領域中的應用綜述［J］.計算機科學，2019，46（3）：63-73.（Chen Chao， Qi Feng. A review of the development of CNN and applications computer vision［J］.Computer Science，2019，46（3）：63-73.）

［20]程錫禮，張延林，崔新生.蒙特卡洛仿真在工程項目進度管理中的應用［J］.工業工程，2004（3）：51-55.（Cheng Xili， Zhang Yanlin， Cui Xinsheng.Application of Monte Carlo simulation in engineering project schedule management［J］.Industrial Engineering Journal，2004（3）：51-55.）

［21]周飛燕，金林鵬，董軍.卷積神經網絡研究綜述［J］.計算機學報，2017，40（6）：1229-1251.（Zhou Feiyan， Jin Linpeng， Dong Jun. A review of convolutional neural network research［J］.Chinese Journal of Computers，2017，40（6）：1229-1251.）

［22]夏又生，葉大振.解L1范數極小化問題的神經網絡［J］.電子學報，1997（11）：99-101，104.（Xia Yousheng， Ye Dazhen. Solving L1 norm neural networks for minimization problems［J］.Acta Electronica Sinica，1997（11）：99-101，104.）

［23]呂國豪，羅四維，黃雅平，等.基于卷積神經網絡的正則化方法［J］.計算機研究與發展，2014，51（9）：1891-1900.（Lyu Guohao， Luo Siwei， Huang Yaping， et al. A regularization method based on CNN［J］.Journal of Computer Research and Development，2014，51（9）：1891-1900.）

［24]He Yang， Dong Xuanyi， Kang Guoliang， et al. Asymptotic soft filter pruning for deep convolutional neural networks［J］.IEEE Trans on Cybernetics，2020，50（8）：3594-3604.

［25]季繁繁，楊鑫，袁曉彤.基于深度神經網絡二階信息的結構化剪枝算法［J］.計算機工程，2021，47（2）：12-18.（Ji Fanfan， Yang Xin， Yuan Xiaotong. Structured pruning algorithm based on second-order information of DNN［J］.Computer Engineering，2021，47（2）：12-18.）