卷積神經網絡模型剪枝結合張量分解壓縮方法

鞏凱強，張春梅，曾光華

（北方民族大學計算機科學與工程學院，銀川 750021）

（?通信作者電子郵箱kq192011@sina.com）

0 引言

近年來，卷積神經網絡（Convolution Neural Network，CNN）為代表的神經網絡在計算機視覺、自然語言處理等領域取得了突破性的進展。然而，隨著神經網絡的識別精度不斷提升，網絡結構也越復雜，需要占用更多的計算和存儲資源，“深度結構”帶來高效性的同時，也增大了模型的參數量。卷積網絡模型的復雜度主要體現在兩個方面：一是卷積層包含了網絡90%的運算量；二是卷積層產生的龐大參數量，解決這兩個問題，具有重要的應用理論意義。現階段的神經網絡模型訓練主要在服務器和圖形處理器（Graphics Processing Unit，GPU）端，對于一些應用場景已經不能滿足實際的需求，如在自動駕駛、知識推理的落地，當前阻礙神經網絡落地的原因主要是龐大的參數量難以在嵌入式端等資源受限的設備上部署，因此，模型壓縮以降低模型中冗余參數為目標，將有利于神經網絡在嵌入式端的落地。

本文的主要工作如下：

1）研究了卷積神經網絡的剪枝方法。以Lenet5 和更快的區域卷積神經網絡（Faster Region with Convolutional Neural Network，Faster RCNN）為剪枝對象，分析不同均值和方差的濾波器提取的圖像特征，得出本文衡量卷積核參數重要性的評價標準，以此標準對卷積網絡進行剪枝。

2）研究了網絡模型加速方法。以Faster RCNN 為壓縮對象，將本文的剪枝評價標準結合張量分解的方法，在稀疏度較高的卷積核分解，并選擇一組最優秩作為張量分解的重構誤差值對Faster RCNN 進行混合壓縮，壓縮后測試模型在樹莓派4B上的加速效果。

1 相關工作

剪枝以神經網絡的冗余參數剪除為目標，反向傳播（Back Propagation，BP）神經網絡［1］流行之后，對神經網絡的剪枝相應地發展起來［2］。Mozer 等［3］提出Skeletonization 算法對神經網絡剪枝；LeCun 等［4］提出了OBD（Optimal Brain Damage），使用二階梯度衡量網絡模型參數的重要性，從而去除冗余參數。當卷積神經網絡發展起來后，Jaderberg 等［5］使用低秩分解方法對卷積神經網絡進行分解，實現了4.5 倍的加速效果而準確度誤差在1%內；Zhang 等［6］采用多次“剪枝-重訓練”的方式對AlexNet 進行網絡剪枝；Liu 等［7］采用稀疏結構對卷積網絡壓縮；Han 等［8］使用L1 范數和L2 范數作為模型參數的重要性評價；Lebedev 等［9］使用最小絕對值收斂和選擇算子（Least absolute shrinkage and selection operator，Lasso）對參數約束以產生稀疏性；Yuan 等［10］使用分組變量回歸對權值參數約束；Molchanov等［11］基于泰勒展開提出使用一階導數與權重的乘積絕對值作為參數重要性評價進行漸進式剪枝；Li等［12］提出量級裁剪方式，使用權重的絕對值和大小作為衡量參數重要性的評價方式進行多次剪枝；He 等［13］對通道剪枝（Channel Pruning）進行改進，使用強化學習得到各層剪枝率的最優組合，然后對卷積核進行剪枝。

一個深度卷積網絡模型中，高層卷積層維度較大，其權值稀疏度較高，壓縮的直接方法是低秩表示原張量，低秩分解是通過減少卷積核參數達到壓縮模型的效果，其思想就是使用因子分解將一個張量用幾個參數較少的張量來近似表示。低秩分解按照對卷積核的分解維度的不同主要有兩種：空間維度的分解和通道維度的分解，前者將3×3的卷積核分解為3×1或者1×3；后者將輸入和輸出通道的維度分解（如512×512 分解為300×300）。Denton 等［14］用低秩分解的ZFNet網絡的卷積層進行加速，實現2.5倍的實際加速同時準確率下降在1%以內。Lebedev等［15］提出了簡單二步法加速卷積層：第一步，使用非線性最小二乘法來計算CP（Canonical Polyadic）分解，將卷積核張量分解為秩為1的張量形式；第二步，使用CP分解將具有小卷積核的四個卷積層替換原來的卷積層。Tai等［16］提出了一種計算低秩張量分解的新算法，用于去除卷積核中的冗余。

以往的剪枝算法，以權值大小來衡量卷積核的貢獻度，這容易裁剪重要的權值，如在人臉關鍵點檢測時，整張人臉的很多特征：眼睛的邊緣和顏色特征，即使權值很小但它提取的特征有利于分類與回歸。本文基于上述研究，從圖像濾波器的角度出發，剪除每層冗余濾波器來減少模型中的冗余參數和計算量；同時探索剪枝結合張量分解對卷積神經網絡壓縮。

2 理論分析

在一個確定結構的深度卷積網絡模型中，大量的參數能夠提升網絡模型的分類能力，但同時也容易使網絡模型過擬合，反之過少的參數使網絡模型欠擬合，可見有效的壓縮參數量方法對網絡模型性能的重要性。

2.1 剪枝標準

在傳統的圖像處理方法中，通過人工設定卷積核參數進行卷積運算來獲得圖像的特征表示，提取特征方式通過卷積操作如式（1）：

如圖1（卷積核不同權值參數提取的圖像特征）可得出：Prewitt 算子（圖1（b））和Laplace 算子（圖1（c））可以獲得圖像的邊緣特征，CNN 學習到的卷積核存在與Prewitt 算子和Laplace 算子相似的特征提取作用；若對圖像進行均值濾波器（圖1（d））卷積操作，可以看出提取到圖像的基本輪廓信息，同樣CNN 中存在很多權值相近均值濾波器，這說明圖像集中在低頻和高頻特征可以用不同權值參數的濾波器提取，通過激活函數對提取的特征進行非線性變換，多個濾波器提取的非線性變換的向量最后組合成一幅圖像整體特征。

圖1 卷積核不同權值參數提取的圖像特征Fig.1 Image features extracted by different weight parameters of convolution kernel

基于上述分析，均值較大的卷積核提取到低頻信號，而方差較大的卷積核銳化圖像，提取到高頻信號，方差較大的提取算子更能提取出圖像的邊緣特征。而邊緣是構成圖像的最基本的特征，卷積核邊緣提取的效果直接影響圖像識別和理解。濾波器裁剪的模型壓縮即在裁剪過程中，最大限度地保留能夠提取到圖像輪廓信息和邊緣信息的濾波器，因此，本文認為卷積網絡中均值和方差較小的濾波器為冗余濾波器，采用聚類的方式將均值和方差較小的濾波器分離出進行裁剪。以訓練好的Faster RCNN 模型為例，該主干網絡中共有13 層卷積層：Conv1_1、Conv1_2、Conv2_1、Conv2_2、Conv3_1、Conv3_2、Conv3_3、Conv4_1、Conv4_2、Conv4_3、Conv5_1、Conv5_2、Conv5_3，以及在區域推薦網絡（Region Proposal Network，RPN）中的RPN_Conv、RPN_Cls 卷積層，分別計算每個卷積核參數的均值m 和方差s，設定卷積核C 形狀為（h，w，n，t），其均值和方差如式（2）和式（3）：

Conv3_1層卷積核均值直方圖如圖2所示，方差直方圖如圖 3 所示，則 Conv3_1 層卷積核均值范圍為-0.000 5～-0.002，Conv3_1層卷積核方差范圍為0.015～0.025，該區間內的濾波器離散度相似，對其他層的卷積層參數提取后分布情況與之類似。

依據卷積核權值分布特征，通過距離相似性度量關系對均值和方差具有相似性的濾波器聚類，則Conv3_1 層卷積核統計量特征分類如圖4所示。

卷積核的貢獻度評估分類展出了卷積核參數的3 個特點：1）每層卷積核參數的均值和方差分布在不同區間，有些卷積核的均值很低，說明該卷積核學習的權值參數提取到圖像中的低頻信號部分或者背景部分，即存在冗余性參數；2）卷積核參數類似正態分布，可以將每個卷積核的貢獻度按照相似性函數分為兩大類；3）均值較低和方差較大的卷積核說明其學習的權值參數波動大，提取到圖像的灰度值等變化幅度較大的高頻信號，該類卷積核的貢獻度較大，因此剪枝過程中考慮方差評價標準對卷積核的貢獻度度量也是較為重要。

圖2 Conv3_1層均值直方圖Fig.2 Mean histogram of Conv3_1 layer

圖3 Conv3_1層方差直方圖Fig.3 Variance histogram of Conv3_1 layer

圖4 卷積核統計量特征的貢獻度評估分類Fig.4 Contribution evaluation classification of convolution kernel statistics features

2.2 卷積核張量低秩表示

由于卷積神經網絡規模逐漸向更深、更大層次發展，一般而言，網絡性能正相關于網絡深度和參數量，但過深的網絡和過多的參數會帶過擬合、梯度消失現象。一種改進現有網絡結構的手段是將卷積層等密集連接結構轉化為稀疏的連接形式，因為這可以降低計算冗余度，同時維持網絡的表達能力，其數學依據是一個大型稀疏矩陣分解為小的密集子矩陣，以此來近似稀疏結構，張量分解對于去除冗余信息和加速卷積計算是一種極為有效的方法，本文對深層次的卷積網絡模型，剪枝結合張量分解進行模型壓縮。向量稱為一維張量，矩陣稱為二維張量，以一個二維張量表示的圖像為例，低秩表示后重構圖像信息如圖5（奇異值數對圖像壓縮的失真對比）可得出：一張300×200 大小的圖像，奇異值Rank 分別設定為（20，40，150），Rank=40（圖5（c））前40 個奇異值就能大致還原圖像，這是因為在奇異值矩陣中奇異值減小得特別快，可以用最大的奇異值和對應的左右奇異向量來近似描述矩陣，因此對具有稀疏性的矩陣或者張量用其低秩近似表示可以有效壓縮參數量。

卷積神經網絡中的卷積核為四維張量，表示為W ∈Rd×d×I×O，其中d、I、O分別表示卷積核的尺寸、輸入通道和輸出通道。常見的張量分解方法有CP分解和Tucker分解，Tucker 分解可將卷積核分解為一個核心張量與若干因子矩陣，是一種高階張量的主成分分析方法，設分解的秩（r1，r2，r3，r4），其表達形式如式（4）：

圖5 奇異值數對圖像壓縮的失真對比Fig.5 Distortion comparison of singular value number to image compression

圖6 展示了將一個張量W ∈Rd×d×I×O，分解為和W'∈Rr4×d×d×I過程，W（圖6（a））為原始張量，參數量q=d2IO；P和W（'圖6（b））為分解后張量，此時參數量對于大多數網絡Or4遠遠小于，并且秩越小，壓縮效果則越明顯。

圖6 張量分解過程示意圖Fig.6 Schematic diagram of tensor decomposition process

3 方法描述

本章詳細描述均值方差剪枝結合張量分解的混合壓縮方法，壓縮方法流程如圖7 所示，主要包括剪枝流程和張量分解的低秩表示，剪枝方法剪除相對不重要的權值參數使得參數量減少，而張量分解將具有稀疏性的張量低秩表示，通常深層次的卷積神經網絡，單獨的剪枝方法會帶來較大的精度損失，在網絡微調時需增加迭代次數使模型收斂，帶來重訓練時間長的問題，若在稀疏性較大的高維度卷積層低秩分解，就避免了剪枝方法剪除重要的權值帶來的精度損失，同時產生的不同尺寸稀疏級聯卷積層可以加速壓縮后的網絡模型收斂。

3.1 網絡模型剪枝方法

一個卷積核的均值和方差越小的條件下，說明該卷積核學習到背景信息或者低頻冗余信號，在保證網絡精度的前提下裁剪這些貢獻度較小的卷積核。

網絡訓練是優化卷積核參數W 的過程，來減小定義的損失函數E(T|f，W)，T 為訓練集，網絡裁剪時優化參數子集Wp，其中貢獻度較大的卷積核Wp∈W，優化裁剪的精度損失如式（5），剪枝流程如圖8所示。

圖7 剪枝結合張量分解的混合壓縮流程Fig.7 Flowchart of mixed compression of pruning and tensor decomposition

基于均值和方差的卷積核裁剪過程，其卷積層的具體剪枝流程如算法1所示。

算法1 剪枝算法。

輸入 訓練好的網絡模型，開始剪枝的卷積層，聚類終止閾值threshold。

輸出 壓縮后的網絡模型。

第1步 根據2.1節剪枝標準計算卷積層W的每個卷積核均值和方差，組成聚類數據樣本dataset｛（m（1），s（1）），（m（2），s（2）），…，（m（n），s（n））｝，其中m（1），m（2），…，m（n）＞T0。

第2步 優化值E ≥threshold時

1）初始2 個聚類中心Zj(O)，計算dataset 中的每個點與質心的距離Di，j，并劃分到距離較近的質心（C1、C2）所屬集合；

2）重新計算每個集合的質心qi；

4）如果E ＜threshold，返回C1和C2的索引值Index0 和Index1。

第3 步 比較C1和C2兩類卷積核均值的絕對值和即|S1|、|S2|，保留較大的一類卷積核。

第4 步 在較小的一類卷積核中找出方差大于閾值T1，則該濾波器保留。

第5 步 上一層剪枝后，重構下一層卷積核的連接通道，繼續用上述剪枝步驟，直到完成所有需剪枝的卷積層。

第6 步 對深度卷積網絡剪枝后進行微調。剪枝完成后，加載剪枝前訓練好的參數繼續訓練使網絡重新收斂。

第7步 輸出剪枝的網絡。

算法實現中，從裁剪的第一層卷積層開始，獨立地裁剪每一層濾波器。裁剪時本文沒有采用根據均值或方差閾值大小直接對模型進行裁剪，因為若在某一層濾波器的均值或方差值均小于閾值，則該層所有濾波器均會被裁剪而對模型產生結構性破壞，本文依據模型中各層卷積層濾波器學習到的數據固有屬性，通過聚類的方法對濾波器分類，這樣做的好處是剪枝中自動找出均值和方差的剪枝閾值，盡可能地將較小均值和方差冗余濾波器提取到圖像重要特征的濾波器分為幾個不同簇，之后保留冗余濾波器中方差大于T1的濾波器，該方法適用于卷積核均值和方差連續分布在不同區間，采用類聚方式找出冗余濾波器的分布區間從而裁剪。

圖8 卷積核裁剪流程Fig.8 Pruning process of convolution kernel

3.2 張量分解算法實現

數學上一個矩陣的奇異值分解是唯一的，從而可以將一個矩陣運算稀疏化，而一個四階張量分解是一個非確定性多項式（Nondeterministic Polynomially，NP）問題，分解結果存在多樣性，目前可行的分解方法為高階正交迭代算法。對于3×3 或者5×5 大小的卷積核，其分解因子矩陣為單位陣，假設待分解張量W(h，w，s，t)，卷積核分解的正交迭代步驟如下：

1）確定壓縮張量輸入和輸出通道方向的壓縮秩（r3，r4）。

2）分解輸入和輸出通道方向的因子矩陣A1、A2，其中A1∈Rs×r3，初始化W(1)為展開的前r3個主奇異值對應的左奇異向量組；A2∈Rr4×t，初始化W(2)為展開的前r4個主奇異值對應的左奇異向量組。

3）求解分解的核心張量g，如式（6）：

5）得到的核心張量g 及因子矩陣構造相似矩陣Rec(h，w，s，t)，然后計算構造誤差如式（7）：

6）重復過程3）～5）步驟，直到構造誤差小于閾值10-5。

7）算法返回g(h，w，s，t)，U(1，1，s，r3)，V(1，1，r4，t)，其中g、U、V張量分別作為分解后的第2、1、3個卷積核的權值。

4 實驗驗證與分析

為了驗證上述方法，本文以Lenet5 和VGG16 基礎的Faster RCNN 為研究對象，Lenet5 網絡進行剪枝，剪枝流程如前文所述。“剪枝+張量分解”對深度卷積網絡Faster RCNN 壓縮，訓練集/測試集采用Pascal VOC 數據集，實驗環境：Windows 10 操作系統、8 GB 內存、網絡模型訓練框架tensorflow和嵌入式系統樹莓派4B。

4.1 在Minst數據集的Lenet5剪枝

對Lenet5 中的兩層卷積層剪枝，然后測試其準確度在Minst 數據集變化，剪枝前后的卷積核形狀和裁剪率如表1所示。

本文中的剪枝方法和主流的剪枝后準確度對比如表2所示。

為了驗證本文中均值和方差的剪枝評價標準，剪枝后的Lenet5 和文獻［12］的剪枝標準在Minst 數據集上特征圖可視化，如圖9（不同剪枝標準剪枝后特征）可得出：加入方差剪枝標準（圖9（c））的壓縮方法，剪枝后更能夠準確提取到圖像邊緣、輪廓等特征。

表1 Lenet5剪枝前后卷積核形狀Tab.1 Shape of convolution kernel before and after pruning of Lenet5

表2 所提方法與其他方法的剪枝結果對比 單位：%Tab.2 Pruning result comparison of the proposed method with other pruning methods unit：%

圖9 不同剪枝標準剪枝后Minst數據集的特征圖Fig.9 Feature map of Minst dataset after pruning with different pruning standards

4.2 深度網絡模型的混合壓縮

Faster RCNN 算法是目標檢測領域領先的算法之一，該算法框架由2 個部分組成：特征提取網絡和區域生成網絡，本節對VGG16 為基礎的特征提取網絡和區域生成網絡的卷積層剪枝結合張量分解壓縮，來驗證這種方法的壓縮效果。Conv4層前網絡的卷積層輸出維度較低，輸出通道的稀疏性較低，因此采用2.1 節剪枝標準剪除冗余濾波器；而在維度較高的Conv5 層的輸入輸出通道均為512，其權值分布如圖10 所示，縱坐標表示在不同迭代次數下權值大小，權值參數范圍為-0.01～0.01，如此稀疏的數據分布適合低秩壓縮。

圖10 Faster RCNN中Conv5_1權值分布Fig.10 Weight distribution of Conv5_1 in Faster RCNN

在tensorboard 中可視化本文的剪枝標準結合張量分解的損失值，并比較相同壓縮率下直接用權值閾值方式的損失值，在高維卷積層進行張量分解的剪枝迭代30 000 步收斂于0.6附近，而權值閾值的剪枝方式需要迭代40 000～50 000 步才能達到收斂。這是因為張量分解將稠密的卷積層分解為幾個稀疏結構的卷積層，可以降低計算復雜度和參數量，同時將一層變為多層的策略，通過選擇一組秩得到較小的重構誤差，近似出原卷積核參數，在fine-tune 時可以較快地達到收斂狀態，對于更深層次的卷積網絡而言，結合張量分解的剪枝可以加快網絡收斂，有效縮短了剪枝后的網絡重訓練時間。

混合壓縮后Faster RCNN 卷積核參數量如表3 所示，Conv4_3～Conv5_2 低秩分解時秩設定為（128，128），網絡層的參數量為每個維度值之積，計算得出混合壓縮后所有卷積層的參數量大小為31.3 MB，網絡卷積層參數量達到了54%的壓縮率。

表3 混合壓縮后的Faster RCNN卷積核參數量Tab.3 Convolution kernel parameters of Faster RCNN after mixed compression

低秩分解后網絡的前向計算加速如表4所示，以Conv5_1層為例，實驗結果表明，秩值取（128，128）或者（256，256）基本能重構待分解的張量。

表4 張量分解秩值對卷積層前向計算加速效果Tab.4 Comparison of forward calculation acceleration effect of convolutional layer with tensor decomposition of different rank

壓縮前后Faster RCNN 在PASCAL VOC 的P-R（Precision-Recall）曲線以及AP（Average Precision）如圖11所示。

圖11 壓縮前后Faster RCNN的PR曲線Fig.11 PR curve of Faster RCNN before and after compression

將提出的“均值、方差剪枝+張量分解方法”與其他裁剪算法下的Faster RCNN的AP值進行比較，具體結果如表5所示。

1）基于張量分解的壓縮算法［18］：低維卷積層到高維卷積層均用奇異值分解（Singular Value Decomposition，SVD）。

2）隨機裁剪（Random Pruning）［19］：對于每一個卷積層，隨機裁剪一定量的濾波器來對模型進行壓縮和加速。

3）卷積層先基于Lasso 回歸進行網絡剪枝［20］，再進行SVD。

表5 不同壓縮方法下的Faster RCNNTab.5 Faster RCNN under different compression methods

在對比實驗中，以刪除冗余參數作為有效的壓縮神經網絡手段［21］，對權值具有稀疏性的Faster RCNN 為壓縮模型，分別用3 種策略進行對比壓縮后的模型效果：文獻［18］中所有卷積層進行張量分解，在稀疏度不大的低維卷積核分解誤差累積到高維卷積核從而影響精確度；文獻［19］隨機方式裁剪濾波器，裁剪率越大，貢獻度較大的濾波器被裁剪的概率也越大；文獻［20］是L1 范數懲罰權值小的方式，剪枝中也會裁剪離散度較大卷積核，采用均值和方差的權值貢獻度評價方式能夠保留映射邊緣、輪廓特征的卷積核，在具有稀疏性的高維度卷積層只需對訓練好的模型奇異值分解，達到網絡模型加速的目的；本文從不同的角度壓縮模型，提出的均值和方差剪枝標準結合張量分解的方法優于其他方法，由于該方法的精確度變化和模型加速取決于分解時的秩，因此需要多組秩值確定壓縮模型的最優秩。

5 結語

本文針對深度卷積神經網絡擁有巨大的參數量和計算量，研究了基于均值和方差剪枝+張量分解的壓縮方法，為了驗證算法有效減少參數量和計算量，分別在Lenet5 和Faster RCNN 進行了剪枝，明顯降低了模型的存儲需求，使得模型在損失精度極少的情況下，運行效率和存儲效率同時提升。未來工作是進一步探索表征卷積核參數重要性的量，利用張量稀疏性，找出卷積層最優秩占比算法，使得壓縮后模型精確度和加速效果達到最優。