基于自適應閾值的循環(huán)剪枝算法

摘 要： 針對YOLO系列目標檢測算法中復雜的網(wǎng)絡模型和大量冗余參數(shù)問題，提出了一種基于自適應閾值的循環(huán)剪枝算法：在經(jīng)過基礎訓練和稀疏化訓練后，進入到自適應閾值剪枝模塊，該模塊針對縮放因子分布情況，通過縮放因子對通道和卷積層的重要性進行評估，自主學習到一個剪枝閾值，再對網(wǎng)絡模型進行剪枝，此過程可以循環(huán)進行，并在通道剪枝和層剪枝中應用。該算法中的閾值不是人為設定，而是針對當前網(wǎng)絡結(jié)構(gòu)學習獲得，通過剪枝獲得一個更優(yōu)的精簡模型。算法實驗基于YOLOv3在三個數(shù)據(jù)集上驗證，結(jié)果表明，該算法對不同數(shù)據(jù)集、不同網(wǎng)絡結(jié)構(gòu)表現(xiàn)出較強的適應性，與傳統(tǒng)固定閾值相比，通過自適應閾值剪枝的模型在檢測精度、壓縮效果、推理速度等方面都取得了更優(yōu)的效果。

關鍵詞： 深度學習； 卷積神經(jīng)網(wǎng)絡； 自適應閾值； 通道剪枝； 層剪枝

中圖分類號： TP391.41"" 文獻標志碼： A

文章編號： 1001-3695（2022）05-030-1467-05

doi：10.19734/j.issn.1001-3695.2021.09.0413

Adaptive threshold-based recurrent pruning algorithm

Wang Yizhong， Guo Zhendong， Fang Chen， Yang Guowei， Wang Qiqi， Guo Xiaoyong

（ College of Electronic Information amp; Automation， Tianjin University of Science amp; Technology， Tianjin 300222， China）

Abstract： For the problem of complex network model and large number of redundant parameters in YOLO series object detection algorithm，this paper proposed an adaptive threshold recurrent pruning algorithm，after the base training and sparsity training，it entered into the adaptive threshold pruning module，which evaluated the importance of channels and convolutional layers by scaling factors for the distribution of scaling factors，and learnt to a pruning threshold autonomously.Then it pruned the network model，and this process could be cyclic and applied in channel pruning and layer pruning.The thresholds in this algorithm were not artificially set，but were obtained by learning for the current network structure and obtaining a better streamlined model by pruning.It validated the algorithm experiments on three datasets based on YOLOv3，and the results show that the algorithm shows strong adaptability to diffe-rent datasets and different network structures，and the model pruned by adaptive threshold which achieves better results in terms of detection accuracy，compression effect，and inference speed compared with the traditional fixed thresholds.

Key words： deep learning； convolutional neural network； adaptive pruning threshold； channel pruning； layer pruning

深度學習作為人工智能領域的重要技術，在眾多領域展現(xiàn)出越來越重要的作用。2012年，AlexNet［1］以絕對優(yōu)勢取得ImageNet挑戰(zhàn)賽冠軍，并大幅刷新之前的記錄。此后，越來越多研究人員開始對卷積神經(jīng)網(wǎng)絡進行研究，在AlexNet之后出現(xiàn)了VGGNet［2］、GoogLeNet［3］、ResNet［4］、DenseNet［5］等網(wǎng)絡模型。這些深度卷積神經(jīng)網(wǎng)絡模型在后來的目標檢測（object detection）［6］、目標跟蹤（object tracking）［7］、實例分割（instance segmentation）［8］等眾多領域展現(xiàn)出深度神經(jīng)網(wǎng)絡的強大能力。復雜的網(wǎng)絡結(jié)構(gòu)有更強的特征學習能力，但同時帶來了巨大的參數(shù)量和浮點運算［9］。這些復雜的卷積神經(jīng)網(wǎng)絡在訓練的時候通常需要高性能的GPU支持，但部署在手機、無人機、嵌入式等設備時就會出現(xiàn)計算和存儲受限情況［10］。文獻［11，12］研究了網(wǎng)絡參數(shù)之間的結(jié)構(gòu)化特性，發(fā)現(xiàn)神經(jīng)網(wǎng)絡存在大量冗余參數(shù)。研究者相繼提出了一系列有效的壓縮加速算法，如網(wǎng)絡剪枝［13］、模型量化［14］、低秩分解［15］、知識蒸餾［16］等方法。

本文的工作主要針對YOLOv3［17］進行剪枝，YOLO［17～19］系列目標檢測網(wǎng)絡是當前目標檢測領域比較出色的算法，YOLOv3是其中比較經(jīng)典的版本，其檢測速度快、精度高，在工業(yè)中也有著廣泛的應用。然而YOLOv3也存在模型較大、參數(shù)冗余的問題。本文的工作改善了傳統(tǒng)通道剪枝方法，針對目標檢測網(wǎng)絡參數(shù)的冗余問題，本文主要有兩個創(chuàng)新點：

a）提出一種自適應閾值循環(huán)剪枝算法。通過一個自適應閾值模塊，自主學習到一個剪枝閾值，最后對模型進行微調(diào)，此過程可以循環(huán)進行。不同數(shù)據(jù)集訓練的網(wǎng)絡模型各不相同，和人為選定的固定閾值不同，該方法可以對不同數(shù)據(jù)集訓練出來的網(wǎng)絡模型進行針對性的剪枝，表現(xiàn)出很強的適應性。

b）針對目標檢測網(wǎng)絡層數(shù)多導致的檢測速度低的問題，將自適應閾值循環(huán)剪枝算法應用到通道剪枝和層剪枝中，并且將自適應閾值通道剪枝和層剪枝融合應用，對不同數(shù)據(jù)集下的模型融合不同剪枝策略，達到一個最優(yōu)化的精簡模型。

1 相關工作

綜合現(xiàn)有的深度模型壓縮方法，它們主要分為四類：

a）低秩分解：卷積神經(jīng)網(wǎng)絡中，卷積層連接參數(shù)可看成以四維張量形式，張量中會存在大量的冗余信息。低秩分解進行網(wǎng)絡壓縮的思想在于用低秩的張量來表達原始網(wǎng)絡中的張量，減少原始網(wǎng)絡的冗余參數(shù)。常見的低秩分解方法包括奇異值分解（SVD）［20］、Tucker分解［21］等。文獻［22］提出了DRONE方法，通過最小化表示輸出的誤差而不是單純的權重矩陣誤差來對權重矩陣進行分解。

b）權值量化：卷積神經(jīng)網(wǎng)絡在推理的時候可以用較低比特數(shù)來近似權重比特數(shù)，實現(xiàn)卷積神經(jīng)網(wǎng)絡輕量化。文獻［12，14，23］等方法都是對權重進行量化。Yang等人［24］為了解決深度模型中提升模型深度帶來的計算復雜度提高的問題，采用的方法是首先共享所有重復結(jié)構(gòu)的權重，然后達到一定條件下解除共享。

c）知識蒸餾：Ba等人［25］提出了知識蒸餾的概念，用于將一個深且寬的網(wǎng)絡壓縮為一個小型網(wǎng)絡，該網(wǎng)絡通過模仿原始網(wǎng)絡的輸出得到與原網(wǎng)絡差不多的性能。文獻［16，26］等方法基于知識蒸餾將一個深且寬的網(wǎng)絡壓縮成一個深而窄的輕型網(wǎng)絡。Chen等人［27］提出的蒸餾過程不需要原始訓練數(shù)據(jù)的參與，利用GAN（generative adversarial network）生成圖像的特性來生成蒸餾所需數(shù)據(jù)。

d）剪枝：網(wǎng)絡剪枝是網(wǎng)絡壓縮算法中最受關注的方法，因為網(wǎng)絡剪枝算法表現(xiàn)出很好的壓縮效果，并且對網(wǎng)絡性能影響不大甚至會提升網(wǎng)絡的性能。通道剪枝是經(jīng)常使用的方法，它在最細粒度的級別上運行，同時適合傳統(tǒng)的深度學習框架。Li等人［28］中用權重值的大小來評判filter的重要性，利用L1范數(shù)作為該filter的評價指標，排序結(jié)果將一層中對網(wǎng)絡貢獻低的filter裁掉。組稀疏性［29］也被廣泛用于平滑訓練后的剪枝過程。Liu等人［13］提出了一種通道剪枝方案，通過稀疏化尺度因子（BN層的scaling factor）來剪枝掉對網(wǎng)絡模型貢獻較小的通道。Zhang等人［30］用約束優(yōu)化中的經(jīng)典算法ADMM（alternating direction method of multipliers）來求解。由于每個通道的輸出都會經(jīng)過batch normalization（BN），可以巧妙地直接稀疏BN層的尺度因子。文獻［31］結(jié)合結(jié)構(gòu)化剪枝和非結(jié)構(gòu)化剪枝的優(yōu)點，提出了一種SWP（stripe-wise pruning）的方法，對卷積核進行剪枝。文獻［32］讓模型剪枝考慮對抗訓練的因素，以及讓對抗訓練目標指導哪些參數(shù)應該進行裁剪，將模型剪枝看成一個經(jīng)驗風險最小化問題。文獻［33］生成與原數(shù)據(jù)集相同分布的數(shù)據(jù)，并且將其與原始數(shù)據(jù)集進行混合。對網(wǎng)絡輸入新數(shù)據(jù)和中間計算生成的特征圖幫助發(fā)現(xiàn)冗余的卷積核，進行剪枝。文獻［34］為解決因卷積神經(jīng)網(wǎng)絡模型規(guī)模大，模型剪枝方法引起的精度下降問題，提出一種模型剪枝微調(diào)優(yōu)化方法。文獻［35］為了消除深度神經(jīng)網(wǎng)絡中的冗余結(jié)構(gòu)，找到具備較好性能和復雜度之間平衡性的網(wǎng)絡結(jié)構(gòu)，提出基于無標簽的網(wǎng)絡剪枝。

4 實驗

4.1 數(shù)據(jù)集

本文將在三個公開數(shù)據(jù)集上驗證算法的實用性。這三個數(shù)據(jù)集數(shù)據(jù)分布、類別、數(shù)據(jù)規(guī)模等均不相同，可探究不同數(shù)據(jù)分布下對算法的影響。

1）CALTECH數(shù)據(jù)集［36］ caltech pedestrian detection benchmark 是一個行人檢測數(shù)據(jù)，分辨率640×480，該視頻由一輛車載攝像機在市區(qū)行駛過程中拍攝。總計約 250 000幀，350 000個標注框，2 300位不同的行人被標注。

2）KITTI數(shù)據(jù)集［37］ 該數(shù)據(jù)集是目前國際上最大的自動駕駛場景下的計算機視覺算法評測數(shù)據(jù)集。在目標檢測任務中，該數(shù)據(jù)集由7 481張訓練圖像和7 518張測試圖像組成，總共有80 256個帶標簽的對象。

3）VOC2012數(shù)據(jù)集［38］ 該數(shù)據(jù)集是在PASCAL VOC大賽中使用的數(shù)據(jù)集，PASCAL VOC大賽是一項世界級的計算機視覺挑戰(zhàn)賽。該數(shù)據(jù)集一共包含了4個大類、20個小類的物體，具有11 530個圖像，其中包含27 450個ROI注釋對象和6 929個實例分割圖像。

4.2 實驗參數(shù)

本文算法的實現(xiàn)基于PyTorch［39］框架，計算機操作系統(tǒng)為Ubuntu 16.04，CPU型號為Intel Xeon E5-2640V4，內(nèi)存32 GB。GPU型號為NVIDIA Tian XP，內(nèi)存12 GB。實驗中選擇剪枝的目標檢測模型為YOLOv3。這個目標檢測網(wǎng)絡模型的主干網(wǎng)絡為DarkNet53，網(wǎng)絡結(jié)構(gòu)如圖3所示。由于網(wǎng)絡剪枝對多層網(wǎng)絡模型剪枝效果更好，比如超過50層的神經(jīng)網(wǎng)絡，所以本實驗選取YOLOv3網(wǎng)絡能更好地展現(xiàn)本算法的效果。

本算法首先在DarkNet框架下對YOLOv3進行基礎訓練，迭代次數(shù)設置為50 000，模型的batch size為64，初始學習率為0.001，學習率分別在訓練總次數(shù)的80%和90%時，變?yōu)橹暗氖种弧Ｌ荻认陆颠x取SGD，NMS設置為0.5，momentum設置為0.9。輸入網(wǎng)絡的圖片大小全都設置為416×416。

本實驗從三個數(shù)據(jù)集中分別選取一張圖片，如圖4所示，推理100次，用于衡量推理速度。在稀疏化訓練中，設置α=10-3，對CALTECH、VOC2012、KITTI、數(shù)據(jù)集分別設置epoch為200、300、300，其他參數(shù)均相同。對網(wǎng)絡模型剪枝后，在其基礎上進行微調(diào)，微調(diào)參數(shù)設置與基礎訓練均相同。

4.3 自適應閾值道剪枝實驗

首先對YOLOv3在三個數(shù)據(jù)集上分別進行算法1的實驗，如表1所示。

可以看出，在不同的數(shù)據(jù)集上，進行迭代的次數(shù)各不相同， YOLOv3網(wǎng)絡模型在CALTECH、KITTI、PASCAL數(shù)據(jù)集上剪枝迭代次數(shù)分別為6、7、4次，表現(xiàn)出本文算法對數(shù)據(jù)集有很強的自適應能力。迭代次數(shù)可以根據(jù)剪枝效果有針對性地進行設定。在表中，對YOLOv3在CALTECH數(shù)據(jù)上進行剪枝，第一次迭代剪枝時對應的閾值為0.84，剪枝完成后，模型參數(shù)量減少了91.79%，BFLOPs減少了75.34%，mAP不降反而上升了0.16%，通過第一次剪枝，已經(jīng)對模型進行大范圍“瘦身”。在迭代過程中，閾值不斷降低，表示對網(wǎng)絡模型貢獻少的通道越來越少，模型越來越精簡。經(jīng)過六次迭代剪枝，YOLOv3參數(shù)量變?yōu)?7.8 MB，減少了92.39%，BFLOPs減少了76.45%，mAP提升了1.57%，推理速度提升了1.66倍。在KITTI和PASCAL數(shù)據(jù)集上，也有很好的表現(xiàn)。

4.4 融合通道剪枝和層剪枝實驗和對比實驗

在驗證算法2的過程中，本文將自適應閾值通道剪枝和層剪枝相結(jié)合，對YOLOv3在三個數(shù)據(jù)集上分別進行實驗，結(jié)果如表2所示。在層剪枝過程中，本文設置剪枝的層數(shù)分別為12、24、36。從實驗結(jié)果可以看出，對模型壓縮程度有了一個很大的提升，mAP也沒有造成很大的損失。如在CALTECH數(shù)據(jù)集上，經(jīng)過自適應閾值通道剪枝和剪枝36層后，模型大小僅有8.89 MB，雖然mAP與基礎模型相比損失了4.83%，但是推理速度提示70%，達到了一個很好的效果。這證明了該算法對不同的數(shù)據(jù)集有很強的適應性。在今后的工作中，數(shù)據(jù)集對模型壓縮的影響也可以作為一個研究的方向。

為了進一步驗證算法的有效性，本文與幾個主流的壓縮模型作對比，文獻［13，40］提出的方法是設置固定閾值，在實驗中，將閾值分別設置為0.6、0.7和0.8，也與現(xiàn)在主流的YOLOv5［42］進行對比，選擇YOLOv5中對模型進行壓縮的l、m、s三個版本。如表3所示，在單類別數(shù)據(jù)集CALTECH上、多類別數(shù)據(jù)集KITTI和PASCAL上，本算法剪枝模型勝于其他網(wǎng)絡模型。證明了本文算法可以更好地去掉模型中的冗余參數(shù)，得到一個更精簡的模型。

5 結(jié)束語

針對目前網(wǎng)絡模型參數(shù)量多、模型較大、冗余參數(shù)過多、對硬件平臺要求較高的問題，本文提出了基于自適應閾值的循環(huán)剪枝算法，對稀疏化訓練之后的網(wǎng)絡計算縮放因子的分布情況，并根據(jù)縮放因子分布學習一個閾值，然后剪去重要性低的通道，通過一個循環(huán)的剪枝過程得到一個更精簡的模型。這個學習過程是一個動態(tài)的過程，對不同數(shù)據(jù)集和網(wǎng)絡結(jié)構(gòu)有很強的適應性。同時將自適應閾值通道剪枝和層剪枝相結(jié)合，從網(wǎng)絡寬度和深度方向進一步壓縮，實驗結(jié)果表明本文算法是有意義的。從結(jié)果上來看，盡管可以更有效率地獲得最精簡模型，但是需要用大量時間完成循環(huán)剪枝的過程。在今后的研究中，將側(cè)重于從結(jié)構(gòu)化剪枝入手，獲得更精簡的模型。

參考文獻：

［1］Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networks［C］//Advances in Neural Information Processing Systems.2012：1097-1105.

［2］Simonyan K，Zisserman A.Very deep convolutional networks for large-scale image recognition［EB/OL］.（2014）.https：//arxiv.org/abs/ 1409.1556.

［3］Szegedy C，Liu Wei，Jia Yangqing，et al.Going deeper with convolutions［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.2015：1-9.

［4］He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al.Deep residual lear-ning for image recognition［C］//Proc of IEEE Conference on Compu-ter Vision and Pattern Recognition.2016：770-778.

［5］Huang Gao，Liu Zhuang，Van Der Maaten L，et al.Densely connected convolutional networks［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.2017：4700-4708.

［6］Ren Shaoqing，He Kaiming，Girshick R，et al.Faster R-CNN：towards real-time object detection with region proposal networks［C］//Advances in Neural Information Processing Systems.2015：91-99.

［7］Bertinetto L，Valmadre J，Henriques J F，et al.Fully-convolutional siamese networks for object tracking［C］//Proc of European Conference on Computer Vision.Cham：Springer，2016：850-865.

［8］He Kaiming，Gkioxari G，Dollár P，et al.Mask R-CNN［C］//Proc of IEEE International Conference on Computer Vision.2017：2961-2969.

［9］曹文龍，芮建武，李敏.神經(jīng)網(wǎng)絡模型壓縮方法綜述［J］.計算機應用研究，2019，36（3）：649-656. （Cao Wenlong，Rui Jianwu，Li Min.Survey of neural network model compression methods［J］.Application Research of Computers，2019，36（3）：649-656.）

［10］Soulié G，Gripon V，Robert M.Compression of deep neural networks on the fly［C］//Proc of International Conference on Artificial Neural Networks.Cham：Springer，2016：153-160.

［11］Denil M，Shakibi B，Dinh L，et al.Predicting parameters in deep learning［EB/OL］.（2013）.https：//arxiv.org/abs/ 1306.0543.

［12］Han Song，Pool J，Tran J，et al.Learning both weights and connections for efficient neural networks［EB/OL］.（2015）.https：//arxiv.org/abs/1506.02626.

［13］Liu Zhuang，Li Jianguo，Shen Zhiqiang，et al.Learning efficient convolutional networks through network slimming［C］//Proc of IEEE International Conference on Computer Vision.2017：2736-2744.

［14］Gong Yunchao，Liu Liu，Yang Ming，et al.Compressing deep convolutional networks using vector quantization［EB/OL］.（2014）.https：//arxiv.org/abs/1412.6115.

［15］Gysel P，Motamedi M，Ghiasi S.Hardware-oriented approximation of convolutional neural networks［EB/OL］.（2016）.https：//arxiv.org/abs/1604.03168.

［16］Hinton G，Vinyals O，Dean J.Distilling the knowledge in a neural network［EB/OL］.（2015）.https：//arxiv.org/abs/1503.02531.

［17］Redmon J，F(xiàn)arhadi A.YOLOv3：an incremental improvement［EB/OL］.（2018）.https：//arxiv.org/abs/ 1804.02767.

［18］Redmon J，Divvala S，Girshick R，et al.You only look once：unified，real-time object detection［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.2016：779-788.

［19］Redmon J，F(xiàn)arhadi A.YOLO9000：better，faster，stronger［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.2017：7263-7271.

［20］Kalman D.A singularly valuable decomposition：the SVD of a matrix［J］.The College Mathematics Journal，1996，27（1）：2-23.

［21］Balaevic＇ I，Allen C，Hospedales T M.Tucker：tensor factorization for knowledge graph completion［EB/OL］.（2019）.https：//arxiv.org/abs/1901.09590.

［22］Chen P，Yu H F，Dhillon I S，et al.Data-aware low-rank compression for large NLP models［C］//Proc of the 35th Conference on Neural Information Processing Systems.2020.

［23］Rastegari M，Ordonez V，Redmon J，et al.Xnor-net：ImageNet classification using binary convolutional neural networks［C］//Proc of Euro-pean Conference on Computer Vision.Cham：Springer，2016：525-542.

［24］Yang Shuo，Hou Le，Song Xiaodan，et al.Speeding up deep learning training by sharing weights and then unsharing［EB/OL］.（2020）.https：//openreview.net/pdf？id=jz7tDvX6XYR.

［25］Ba L J，Caruana R.Do deep nets really need to be deep？［C］//Advances in Neural Information Processing Systems.2014：2654-2662.

［26］Romero A，Ballas N，Kahou S E，et al.FitNets：hints for thin deep nets［EB/OL］.（2014）.https：//arxiv.org/abs/1412.6550.

［27］Chen Hanting，Wang Yunhe，Xu Chang，et al.Data-free learning of student networks［C］//Proc of IEEE/CVF International Conference on Computer Vision.2019：3514-3522.

［28］Li Hao，Kadav A，Durdanovic I，et al.Pruning filters for efficient convnets［EB/OL］.（2016）.https：//arxiv.org/abs/ 1608.08710.

［29］Wen W，Wu C，Wang Y，et al.Learning structured sparsity in deep neural networks［C］//Advances in Neural Information Processing Systems.2016：2074-2082.

［30］Zhang Tianyun，Ye Shaokai，Zhang Kaiqi，et al.A systematic DNN weight pruning framework using alternating direction method of multipliers［C］//Proc of European Conference on Computer Vision.2018：184-199.

［31］Meng Fanxu，Cheng Hao，Li Ke，et al.Pruning filter in filter［EB/OL］.（2020）.https：//arxiv.org/abs/ 2009.14410.

［32］Sehwag V，Wang Shiqi，Mittal P，et al.HYDRA：pruning adversarially robust neural networks［EB/OL］.（2020）.https：//arxiv.org/abs/ 2002.10509.

［33］Tang Yehui，Wang Yunhe，Xu Yixing，et al.SCOP：scientific control for reliable neural network pruning［EB/OL］.（2020）.https：//arxiv.org/abs/ 2010.10732.

［34］孫文宇，曹健，李普，等.基于全局信息的卷積神經(jīng)網(wǎng)絡模型剪枝微調(diào)優(yōu)化方法［J］.北京大學學報：自然科學版，2021，57（4）：790-794. （Sun Wenyu，Cao Jian，Li Pu，et al.Pruning and fine-tuning optimization method of convolutional neural network based on global information［J］.Acta Scientiarum Naturalium Universitatis Pekinensis，2021，57（4）：790-794.）

［35］劉會東，杜方，余振華，等.基于強化學習的無標簽網(wǎng)絡剪枝［J］.模式識別與人工智能，2021，34（3）：214-222. （Liu Huidong，Du Fang，Yu Zhenhua，et al.Label-free network pruning via reinforcement learning［J］.Pattern Recognition and Artificial Intelligence，2021，34（3）：214-222.）

［36］http：//www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/［EB/OL］.

［37］http：//www.cvlibs.net/datasets/kitti/index.php［EB/OL］.

［38］http：//host.robots.ox.ac.uk/pascal/VOC/voc2012/［EB/OL］.

［39］https：//pytorch.org/［EB/OL］.

［40］Zhang Pengyi，Zhong Yunxin，Li Xiaoqiong.SlimYOLOv3：narrower，faster and better for real-time UAV applications［C］//Proc of IEEE/CVF International Conference on Computer Vision Workshops.2019.

［41］Bochkovskiy A，Wang C Y，Liao H Y M.YOLOv4：optimal speed and accuracy of object detection［EB/OL］.（2020）.https：//arxiv.org/abs/ 2004.10934.

［42］https：//github.com/ultralytics/yolov5［EB/OL］.