基于濾波衰減的自知識蒸餾壓縮算法

摘要：【目的】為了解決模型剪枝后性能損失嚴重的問題，提出了一種基于濾波衰減和自知識蒸餾的壓縮算法。【方法】文章通過濾波衰減機制來保留冗余濾波器的信息，進而縮小剪枝前后的模型差異，降低剪枝導致的性能損耗。同時，在剪枝過程中引入一個退火衰減函數，使得濾波器的衰減呈現動態變化，進而能夠快速高效地搜索模型的最佳子結構，提高模型的收斂速度。此外，還利用自知識蒸餾技術在預訓練模型和壓縮模型之間進行知識轉移。【結果】結果表明，該壓縮算法在減少VGG-16模型37.3%FLOPs的條件下，將模型精度提升了0.12個百分點。【結論】該方法能夠為卷積神經網絡提供一種更穩定、更高效的模型壓縮方法。

關鍵詞：卷積神經網絡；濾波器剪枝；圖像分類；知識蒸餾

中圖分類號：TP391.4 文獻標志碼：A

本文引用格式：熊李艷，黃佳文，黃曉輝，等. 基于濾波衰減的自知識蒸餾壓縮算法[J]. 華東交通大學學報，2024，41（6）：112-120.

【研究意義】近些年來，卷積神經網絡（comvolutionalnearal network，CNN）備受學術界和工業界的關注。事實證明卷積神經網絡[1]在廣泛的計算機視覺應用中非常有效。然而，將這些計算量龐大的網絡直接應用于機器人、自動駕駛汽車和移動式設備等資源受限的環境時，難以在保持高性能的同時具有高效的計算效率。因此，對深度神經網絡進行模型壓縮具有非常重要的現實意義。

【研究進展】雖然深度神經網絡通常具有大量的模型參數和計算量，但部分研究學者表示，刪除網絡中超過90%的模型參數并不會使模型的性能大幅下降[2]。這說明當前的神經網絡具有大量的冗余結構，篩選并有效剔除這些冗余結構可以大大提高模型的性能和效率。因此，許多模型壓縮與加速方法相關技術被相繼提出。通過這些技術壓縮后的小模型具有響應速度快、占用存儲小和能源消耗低等優點，從而在各種生活場景中得到廣泛應用。學者們一直在探索縮小網絡模型規模的方法，采用知識蒸餾[3-5]、輕量化結構設計[6]和模型剪枝[7-8]等技術，作為加速模型推理、降低網絡復雜性以及在低資源設備上部署神經網絡的重要工具。Aghasi 等[9]將剪枝等效為一個凸優化問題，在每個卷積層中求解合適的稀疏集，以減少網絡中不必要的連接，同時確保輸入和輸出不變。Chen 等[10]提出Octave 卷積，將輸入空間維度特征分解為高頻和低頻兩個分量分別進行卷積，利用低頻的結構特性減少存儲和計算開銷。何俊杰[11]提出一種基于特征相關性分析的通道剪枝算法。

【關鍵問題】通道剪枝方法作為最常用的壓縮方法之一，旨在識別和消除神經網絡中的冗余連接。目前大多數通道剪枝方法有兩種處理策略：一是直接移除冗余濾波器然后進行微調；二是將冗余濾波器的權重置為零，繼續進行訓練。然而，這兩種策略都存在一定的缺陷。冗余濾波器含有一定的信息量，直接將這部分信息進行移除是不明智的。因為在剪枝過程中，信息的損失是不可逆的，冗余濾波器被移除時會導致剪枝前后模型的性能差異。如何縮小這種差異是保證壓縮后模型性能的關鍵。

【創新特色】為了解決上述問題，提出了一種新穎的剪枝方法，該方法是一種基于濾波衰減的自知識蒸餾壓縮算法（filter decay and self- knowledgedistillation，FD-SKD）。在訓練過程中，它并不直接消除冗余濾波器或者將其權重置為零，而是以逐步衰減的方式保留冗余濾波器中有價值的信息，最終將模型壓縮到預定的目標大小，并且通過與自知識蒸餾方法聯合，可以最大限度地利用預訓練模型的基礎信息。圖1 展示了傳統的剪枝方法與FD-SKD的不同之處。傳統剪枝通常直接將模型中的冗余濾波器刪除或者置為零，而FD-SKD則在剪枝過程中保留了冗余濾波器的部分信息，減小了剪枝前后的模型差異，這使得剪枝后的模型具有與原模型更相近的性能。

1 問題建模

一個深度CNN網絡可以用參數表示為

式中：Wl 為第l 層的連接權重矩陣；L 為網絡的總層數，1≤l ≤L ；Clout 和Clin 分別為第l 個卷積層的輸出通道數和輸入通道數；Kl 為第l 個卷積層的卷積核大小。假定第l 層的輸入和輸出分別為I l 和Ol ，且I l ∈Clin ×Hlin ×Wlin 和Ol ∈Clout ×Hlout ×Wlout ，Hl*和Wl? 分別為中間特征圖的高和寬。那么第l 層的卷積操作可以被寫為

式中：f 為卷積運算。假定F ={F1，F2，…，FL} 為整個網絡中濾波器的集合，其中Fl 是第l 層的濾波器集合，也就是Fl ={wl1，wl2，…，wlClout} ，wli 為第l 層中第i 個濾波器權重矩陣。把F 分為兩個子集：保留濾波器子集K 與被剪枝濾波器子集P ，得到

K ?P = F， K ?P = ? （3）

剪枝的目標就是在既定的稀疏約束下最小化損失函數，給定一個數據集 D= {（x ）} n，ynNn = 1，其中xn表示第n 個輸入數據，yn 是與其相關的輸出。最終的約束優化問題就能夠被表述為

式中：dr 的取值范圍為[0， 1]。圖2 展示了dr 對訓練過程的影響：當dr 設定較大時（例如dr = 0.8），模型收斂較慢，需要訓練很長時間才能達到預定的壓縮目標；當dr 設定較小時（例如dr = 0.1），雖然模型的收斂速度很快，但會導致剪枝模型與初始模型之間的結構差異過大從而損壞模型性能。當大量的濾波器被剪枝時，這個問題變得更加嚴重。在這種情況下，很難找到一個能夠平衡收斂速度和模型性能的閾值。

2.3 退火衰減

為了解決上述問題，提出了一種退火衰減策略，使得衰減率隨著訓練過程而動態變化。具體而言，引入一個退火函數T（n） ，衰減率通過T（n） 可以表示為

式中：n 和N 分別表示當前訓練時期和總訓練時期；退火函數的溫度指數T 初始化為一個較高的值T = T0 。在訓練到第n 個時期時，溫度指數T 將退火到T（n） = ξ（n）T0 ，其中ξ（n） 表示溫度退火方案，如線性退火或Sigmoid 退火方案。該算法選用線性退火方案ξ（n） = 1 -（2 × n）/N 。與此同時，衰減率隨著訓練過程逐漸減小并趨近于零。然后，式（10）可以表示為

在訓練過程開始時，dr 設置在一個較高水平，保留了大部分被修剪濾波器的信息。隨著訓練的進行，冗余的濾波器包含的信息越來越少。因此通過降低dr ，能夠使網絡的收斂速度開始加快，以便迅速達到預期的壓縮目標。修剪模型后，通過微調以使模型適應新的網絡結構，并持續迭代這一過程。當冗余濾波器的權重降為零并停止變化時，可以安全地移除這些冗余濾波器，獲得壓縮后的模型結構，然后對模型進行再訓練使其適應新的結構，得到最終的壓縮模型。實驗中剪枝的訓練次數占總訓練次數的50%。卷積層的濾波衰減過程如圖3所示。

2.4 自知識蒸餾

自知識蒸餾是一種獨特的蒸餾方式，與傳統的知識蒸餾方法截然不同。它的特點在于模型同時扮演教師網絡和學生網絡，并進行自我學習。這種方法的優勢在于不需要模型過于龐大和性能過好，而是通過自身的預訓練知識進行學習并更新參數。本文中介紹的自知識蒸餾方法采用了濾波衰減和知識蒸餾相結合的網絡架構，不需要依賴龐大的教師網絡，而是以并行方式相互學習并更新參數，從而提升了網絡的準確度。本節中提出了一種濾波衰減與自知識蒸餾相結合的方法，這種方法充分利用了濾波器的預訓練信息。具體來說，將預訓練模型用作教師模型，學生模型在剪枝之前被設置與預訓練模型相同。在剪枝過程中，學生模型將通過濾波器衰減方法減小到壓縮目標，同時教師模型將通過其輸出的軟標簽對學生模型的輸出結果進行修正。FDSKD整體的網絡模型結構如圖4所示。

在知識蒸餾算法中，假設輸入樣本為x 及對應的真實標簽為y ∈R1 × N ，經過教師模型T 和學生模型S 后，可以得到如式（13）與式（14）所示的類別預測概率pi（x，t） 和qi（x，t） 分別為

2.5 損失函數

自知識蒸餾涉及兩種損失：傳統的交叉熵損失和知識蒸餾損失。知識蒸餾損失使用KL 散度（Kullback-Leibler divergence）來衡量教師模型和學生模型預測之間的差異。因此，總損失函數可以表示為

式中：Lcla 為用于訓練的交叉熵分類損失；qs 和qt分別為學生模型和教師模型輸出的軟標簽；KL（·）為KL散度；參數λ 是為了在訓練過程中平衡這兩種損失的比例。

3 實驗結果與分析

3.1 數據集介紹與處理

在CIFAR-10 數據集上對提出的FD-SKD算法進行測試以及驗證。CIFAR-10 是一個由Alex Krizhevsky和Ilya Sutskever 整理，Geoffrey Hinton 指導完成的數據集，其中包含了10 個不同類別的彩色圖像。每個類別包含了6 000 張尺寸為32×32 的RGB彩色圖片，這些類別分別是飛機、鳥、汽車、貓、狗、鹿、蛙、船、馬和卡車。CIFAR-10 數據集的特點是其中包含了真實世界中的物體，這些物體的比例和特征各不相同，給識別任務帶來了更大的挑戰。

CIFAR-10 數據集被分為了50 000 張用于訓練的圖片和10 000 張用于測試的圖片。另外，數據集分為訓練批次5個和測試批次1個，每個批次的圖片數量均為10 000張。測試批次在每個分類中隨機選擇1 000張圖像，而訓練批次則隨機選擇圖像，1個訓練批次內包含的單個類別數量為5 000。為了更好的提取特征，進行數據增強，使用了標準的數據預處理方法，包括隨機裁剪、隨機水平翻轉和將圖片填充至40×40的尺寸等操作。

3.2 實驗參數

文中所有實驗在PyTorch 框架下進行，通過NVIDIA 3080Ti GPU進行模型訓練。實驗中的模型參數設置如表1所示。

3.3 評價指標

模型壓縮有3 個主要的評估指標，分別是參數數量、計算量和準確度。參數數量反映了網絡的規模大小，因為當前的神經網絡通常含有大量參數，這些參數需要占用存儲空間。卷積層參數數量的計算公式為

式中：Cin 和Cout 分別為輸入通道數和輸出通道數；K 為卷積核的大小。計算量表示模型的復雜度，通常使用浮點運算次數（floating point operations persecond，FLOPs）作為衡量標準。卷積層的浮點運算次數計算公式為

FLOPs =H?W?（2?C ） in?K2 -1 ?Cout （17）

式中：H 和W 分別為特征圖的高和寬。準確度表示網絡的預測能力，通常是在數據集上的預測精度。一般使用Top-1 準確率來衡量，即預測成功的樣本數量占總樣本數量的比例，其計算公式為

Acc =Tp／Tp + Fp（18）

式中：Tp 和Fp 分別表示預測成功和預測失敗的樣本數量。一個出色的剪枝算法應當在保證高準確度的同時有效降低參數數量和提高計算速度。但是，在應用場景中，如何平衡準確度、參數量和計算速度是一個難題。當前的趨勢是，由于很多工作人員需要在受限設備上進行實時計算，計算速度的重要性日益凸顯。

3.4 模型驗證與結果分析

為了更好的驗證FD-SKD的有效性，實驗中僅使用濾波衰減的方法用FD 表示，使用濾波衰減與自知識蒸餾結合的方法用FD-SKD表示。

3.4.1 在ResNet上的實驗結果

對于ResNet，在CIFAR-10 數據集上進行了深度為20、32、56、110 的FD-SKD算法測試，實驗結果如表2所示。

FD-SKD方法在實驗結果中被證實是有效的。例如，PFEC 在ResNet-56 上達到了93.06%的準確率，但是FD-SKD在減少了一半以上的FLOPs 的同時，達到了93.62%的準確率。與采用不同的濾波器選擇標準在不同層的軟剪枝方法LFPC 相比，FDSKD在ResNet-110 上的表現仍然更好，準確率進一步提高了1.16%。在采用相同的濾波器選擇標準L2范數的情況下，FD-SKD在所有實驗中都優于軟剪枝方法SFP。例如，SFP 對具有1.22 M 參數的ResNet-110 進行加速時，準確率僅為92.97%，而FDSKD的準確率是94.15%。FD-SKD 的有效性在于其可以保留冗余濾波器中的部分信息，不同于傳統方法中直接進行丟棄。

3.4.2 在VGG上的實驗結果

對于VGG，在CIFAR-10 數據集上同樣進行了FD-SKD 算法測試，實驗結果如表3 所示。結果表明FD-SKD取得了VGG-16 的最高準確率94.02%，并具有高效的壓縮比。FD在未使用自知識蒸餾時同樣優于其他方法，這歸因于濾波衰減策略，該策略保留了部分預訓練信息，使得模型準確性下降過程更加平滑。此外，在訓練過程中引入自知識蒸餾會產生比沒有使用時更好的結果。這種性能改進是因為教師模型能夠向學生模型傳遞知識，從而防止模型性能的急劇下降。因此，FD-SKD表現出比現有最先進方法更優越的特點。

3.4.3 收斂速度與性能的平衡性驗證

為了驗證FD-SKD 方法能夠平衡收斂速度和性能，在不同衰減率下進行驗證實驗。將ResNet-32 在CIFAR-10 數據集上的衰減速率固定為0.20，0.02 和0。實驗結果如表4 所示。結果顯示，當衰減速率較高（ dr =0.20）時，準確率較高，但需要更多的訓練周期（周期為762）才能收斂到壓縮目標。當衰減速率較低（衰減率為0.02）時，模型準確率較低（準確率為92.32%），但很快收斂到壓縮目標。在這兩種情況下，很難找到一個閾值在模型的準確率和收斂速度之間取得平衡。而FD-SKD 可以輕松解決這個問題。與基準模型相比，FD-SKD 可以在100 個訓練周期內完成訓練過程，并且模型準確率提升了0.01個百分點。

3.5 消融實驗結果分析

3.5.1 剪枝間隔的影響

在實驗中，剪枝操作的間隔是一個時間步。不同的剪枝間隔可能會產生不同的實驗結果。故有必要對不同的剪枝間隔進行實驗以檢驗其對結果的影響。圖5 展示了在CIFAR-10 上用不同的剪枝間隔訓練ResNet-56 的結果。由圖5 可知，當剪枝間隔大于5 時，模型的準確率沒有明顯變化。這是因為在網絡訓練了5 個以上的時間步后，模型逐漸穩定，準確率基本不變。當剪枝間隔小于5 時，準確率隨著剪枝間隔的增加而下降。這是因為當總訓練次數固定時，剪枝間隔減少，使得模型有更多的訓練次數搜索更優的結構。如果將剪枝間隔設置為1，準確率將提高到93.6%。這意味著可以通過縮短模型的剪枝間隔以獲得更好的結果。

3.5.2 濾波衰減次數的影響

探討濾波衰減次數對準確率的影響。圖6 展示了在CIFAR- 10 上用不同的濾波衰減次數訓練ResNet-56 的結果，圖中Proportion 表示濾波衰減次數占總訓練次數的比例。由圖可知，當Proportion小于0.4 時，準確率浮動較小，性能穩定。這是因為衰減策略的使用頻次不高，導致算法的搜索空間較小。當Proportion 大于0.6 時，準確率大幅下降。這是因為模型的剪枝次數過于頻繁，使得模型不能及時更新參數以適應新的結構。當Proportion 在（0.4，0.6）內，模型能夠獲得很好的性能。尤其是當其等于0.5時，模型的準確率達到了93.6%。

3.5.3 濾波篩選準則的影響

探討3 種不同的濾波器選擇標準對準確率的影響，3 種標準分別為L1 范數、L2 范數和幾何中位數。圖7 展示了使用3 種的濾波篩選準則在CIFAR-10 上訓練ResNet-56 并在不同剪枝率下的實驗結果。由圖可知，當剪枝率低于0.2 時，L1 和L2都提高了模型的準確率。在這種情況下，FD-SKD不僅壓縮了模型，還提高了模型的精度。當剪枝率大于0.2 而小于0.4 時，3 種標準都能表現出與基線模型近似的準確率。當剪枝率大于0.7 時，L2 與其他兩種方法相比存在較大的性能差距。此外，模型的準確性呈現出明顯的下降趨勢，這表明模型不能僅追求壓縮大小，還要考慮其性能的變化。綜上，剪枝率在0.3～0.6更具有實際應用效果。

3.5.4 退火方案的影響

將線性函數和Sigmoid 函數分別作為退火函數在ResNet-56 上進行實驗。實驗結果如表5 所示，在FLOPs 為41.1%時，線性函數表現出更好的實驗結果。此時，Sigmoid 函數實現了93.45%的準確率，而線性函數實現了93.61%的準確率。這表明FDSKD在線性函數下可以實現更好的性能。如果從預訓練模型開始剪枝，當FLOPs下降為28.4%時，與Sigmoid 函數相比，使用線性函數準確率仍然可以提升0.15個百分點。

4 結論

1）提出了一種名為基于濾波衰減的自知識蒸餾壓縮算法FD-SKD，用于加速深度卷積神經網絡。相比于傳統的剪枝算法，FD-SKD考慮了冗余濾波器的預訓練信息，減小了剪枝前后的模型差異，使得模型更加高效、穩定。

2）濾波衰減策略能夠在訓練過程中動態控制衰減速率以保證模型的收斂速度和性能，解決了傳統剪枝方法訓練耗時長和性能低下的問題。更重要的是，FD-SKD可以應用于任何濾波器剪枝方法。

參考文獻：

[1] 裴瑩玲，羅暉，張詩慧，等.基于改進FasterR-CNN的高 鐵扣件檢測算法[J].華東交通大學學報，2023，40（1）： 75-81.

PEIY L， LUO H， ZHANG S H， et al. High-speed railway fastener detection algorithm based on improved Faster R-CNN[J]. Journal of East China Jiaotong University， 2023， 40 （1）： 75-81.

[2] HAN S， MAO H， DAILY W J. Deep compression： compressing deep neural networks with pruning， trained quantization and huffman coding[C]//San Juan： 2016 International Conference on Learning Representations （ICLR）， 2016.

[3] HINTON G， VINYALS O， DEAN J. Distilling the knowledge in a neural network[J]. Computer Science， 2015， 14（7）： 38-39.

[4] ROMERO A， BALLAS N， KAHOU S E， et al. FitNets： hints for thin deep nets[C]//San Diego： 2015 International Conferenceon Learning Representations （ICLR）， 2015.

[5] CHEN T， GOODFELLOW I， SHLENS J. Net2Net： accelerating learning via knowledge transfer[C]//San Juan： 2016 International Conference on Learning Representations （ICLR）， 2016.

[6] CHEN H， WANG Y， XU C， et al. Addernet：do we really need multiplications in deep learning？[C]//Seattle： 2020 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2020.

[7] 王炯.基于結構化剪枝的深度神經網絡模型壓縮方法研 究[D].南京：南京郵電大學，2022.

WANG J. Research on deep neural network model compression method based on structured pruning[D]. Nanjing： Nanjing University of Posts and Telecommunic-ations， 2022.

[8] GUO Y W， YAO A B， CHEN Y R. Dynamic network surgery for efficient dnns [C]//Barcelona： 2016 Advances in Neural Information Processing Systems （NIPS）， 2016.

[9] AGHASI A， ABDI A， NGUYEN N， et al. Net-trim： convex pruning of deep neural networks with performance guarantee[C]//Long Beach： 2017 Advances in Neural Information Processing Systems （NIPS）， 2017.

[10] CHEN Y， FAN H， XU B， et al. Drop an octave：reducing spatial redundancy in convolutional neural networks with octave convolution[C]//Los Angeles： 2019 IEEE International Conference on Computer Vision （CVPR）， 2019.

[11] 何俊杰.面向深度卷積神經網絡的模型壓縮與加速方法 研究[D].杭州：浙江大學，2022.

HE J J. Research on compression and acceleration methods for deep convolutional neural networks[D]. Hangzhou： Zhejiang University， 2022.

[12] WANG Y， ZHANG X， XIE L， et al. Pruning from scratch [C]//New York： 2020 AAAI Conference on Artificial In-telligence（AAAI）， 2020.

[13] CAI L， AN Z， YANG C， et al. Prior gradient mask guided pruning-aware fine-tuning[C]// Palo Alto： Proceedings of the 36th AAAI Conference on Artificial Intelligence， 2022.

[14] HE Y， LIU P， WANG Z， et al. Filter pruning via geometric median for deep convolutional neural networks accelera-tion[C]//Los Angeles： 2019 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2019.

[15] ZHANG K， LIU G. Layer pruning for obtaining shallower resnets[J]. IEEE Signal Processing Letters， 2022，29： 11721176.

[16] DONG X， HUANG J， YANG Y， et al. More is less： a more complicated network with less inference complexi-ty[C]//Hawaii： 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2017.

[17] HE Y， KANG G， DONG X， et al. Soft filter pruning for accelerating deep convolutional neural networks[C]// Stockholm： 2018 International Joint Conference on Artificial Intelligence （IJCAI）， 2018.

[18] DONG Z， DUAN Y， ZHOU Y， et al. Weight-adaptive channel pruning for CNNs based on closeness-centrality modeling[J]. Applied Intelligence， 2024， 54（1）： 201-215.

[19] YU R， LI A， CHEN C F，et al. NISP： pruning networks using neuron importance score propagation[C]//Salt Lake：2018 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）， 2018.

[20] GUAN Y， LIU N， ZHAO P， et al. DAIS： automatic channel pruning via differentiable annealing indicator search [J]. IEEE Transactions on Neural Networks and Learning Systems， 2022， 34（12）： 9847-9858.

[21] XUE Y， YAO W， PENG S， et al. Automatic filter pruning algorithm for image classification[J]. Applied Intelligence， 2024， 54（1）：216-230.

[22] HE Y， DING Y， LIU P， et al. Learning filter pruning criteria for deep convolutional neural networks acceleration [C]//Seattle： 2020 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2020.

[23] LIN M， JI R， WANG Y， et al. HRank： filter pruning using high-rank feature map[C]//Seattle： 2020 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2020.

[24] LEI P， LIANG J， ZHENG T， et al. Compression of convolutional neural networks with divergent representation of filters[J]. IEEE Transactions on Neural Networks and Learning Systems， 2022， 35（3）： 4125-4137.

[25] SUI Y， YIN M， XIE Y， et al. CHIP： channel independence based pruning for compact neural networks[C]//Online： 2021 Advances in Neural Information Processing Systems （NIPS）， 2021.

[26] LI H， KADAV A， DURDANOVIC I， et al. Pruning filters for effcient convNets[C]//Toulon： 2017 International Conference on Learning Representations （ICLR）， 2017.

[27] LIN M， CAO L， ZHANG Y， et al. Pruning networks with cross-layer ranking amp; k-reciprocal nearest filters[J]. IEEE Transactions on Neural Networks and Learning Systems， 2022， 34（11）：9139-9148.

通信作者：熊李艷（1968—），女，教授，碩士生導師，研究方向為交通大數據。E-mail：445935939@qq.com。

（責任編輯：吳海燕）

基金項目：國家自然科學基金項目（62067002，61967006，62062033）；江西省交通廳科技項目（2022X0040）