深度神經網絡的仿生矩陣約簡與量化方法

朱倩倩，劉 淵，李 甫

（1.江南大學人工智能與計算機學院，江蘇無錫 214122；2.江蘇省媒體設計與軟件技術重點實驗室（江南大學），江蘇無錫 214122；3.無錫量子云數字新媒體科技有限公司，江蘇無錫 214122）

（*通信作者電子郵箱2848500799@qq.com）

0 引言

在計算機視覺領域中，目標檢測［1］依舊是一個活躍的研究方向［2］。隨著深度神經網絡對存儲和計算需求的不斷增長，給嵌入式/移動端設備的部署帶來了挑戰，網絡模型壓縮和加速的研究成為了深度學習領域的重要研究任務［3］。在過去幾十年內，計算機性能得到大幅增長，但隨著深度學習的發展、神經網絡性能要求的不斷提高，伴隨著神經網絡的參數量越來越大，需要更高的計算力［4］，而高存儲量和計算力這兩個條件大大限制了人工智能（Artificial Intelligence，AI）在終端設備的使用，因為終端設備缺乏足夠的存儲空間以及較高要求的計算力［5］。但實際上深度神經網絡（Deep Neural Network，DNN）中權重參數的重要性和必要性［6］是各異的。神經網絡是以生物神經網絡為技術原型，以研究智能機理的實現［7］。因此本文從生物神經網絡的角度來探索和發現深度神經網絡中對目標識別所起到真正作用的參數信息。

文獻［8］指出在生物神經學科的研究中發現，人眼處理圖像數據時，眼睛所接受的視覺信息傳達到大腦時，兩者之間所連接的神經元數量其實很少，這些少量連接的神經元對于圖像的傳輸是遠遠不夠的，而我們的大腦就要在這少量神經元的情況下看清世界［8］。卷積神經網絡和人眼在處理圖像數據時采用的原理有著相似之處，共同之處就在于它們都簡化了圖像與處理過程之間的神經元的連接。本文受到人眼與大腦之間的少量神經元連接處理圖像的啟發，研究了一種在神經網絡模型中對已有的大量參數進行簡化的方法，該方法首先通過聚類算法找出具有主要信息價值的權重參數，然后仿照網絡動力學［9］中振蕩網絡的周期性變化原理對近似的權重矩陣進行重構得到近似模型，在保證模型測試準確度的同時可以有效縮小模型所占存儲空間。

已知神經網絡目前在嵌入式設備上部署所存在的限制主要有兩方面：存儲和計算力。圍繞這兩大問題，已有的壓縮方法主要有四種：

1）基于參數剪枝和共享的方法。該方法主要應用在卷積層和全連接層，能減少對網絡性能不敏感的冗余參數。

該類方法可再細分為量化［10］和二值化［11］、參數剪枝［12］和共享以及結構化矩陣［13］三種子方法。其中量化和二值化主要通過減少深度網絡中表示每位權重所需的比特數來壓縮原始網絡。對于參數剪枝和共享方法，早期的偏差權重衰減方法就屬于該類方法，目前該方法的發展趨勢是在預先訓練的深度神經網絡模型中修剪冗余的、無信息的權重［14］，在大多的深度神經網絡中雖然存在大量的參數，但有很多的參數并不是重要的，真正起作用的往往只有少數參數。在神經網絡結構中，全連接層往往是內存消耗的瓶頸［15］，針對這一問題結構化矩陣方法被提出，神經網絡的層通過非線性變換使得m-n階稠密矩陣只需要更少的參數來描述［6］，該結構通過快速的矩陣向量乘法和梯度運算，不僅降低內存開銷，還大大加快了推理和訓練的速度，但在如何找到一個合適的結構矩陣等方面還存在一些困難［16］。

2）基于低秩分解和稀疏的方法。該方法也應用于卷積層和全連接層，是利用矩陣/張量分解來估計信息參數的方法。

在深度神經網絡中卷積層占據了大部分的計算量，因此減少卷積層可以有效地提高壓縮率和整體的速度，已有的方法是采用低秩近似將稠密矩陣由若干小規模矩陣近似重構［17］。另一種針對全連接層權重的方法是使用矩陣分解來降低權重矩陣參數，如奇異值分解重構權重。當前的低秩近似是針對各層進行的，不能執行全局參數壓縮，因為不同的層包含的信息各不相同，且與原模型相比，因式分解需要大量的模型再訓練達到收斂，因為涉及分解操作，需要有大計算力的支撐。

3）基于遷移/緊湊卷積濾波器的方法。不同于前兩種方法，基于遷移/緊湊卷積濾波器的方法［15］只適用于卷積層使用，用遷移卷積層對CNN 模型壓縮受到Cohen 的等變群論的啟發，即將輸入先進行矩陣變換再送至網絡或層得到的結果與先將輸入映射到網絡再變換映射后得到的表征結果一致。使用緊湊的卷積濾波器可以直接降低計算成本，但此方法對處理廣泛/平坦的網絡（如VGGNet）比較有效。

4）基于知識蒸餾（Knowledge Distillation，KD）的方法。原有的知識遷移（Knowledge Transfer，KT）［11，17］壓縮模型是訓練一個帶有偽數據標記的強分類器的壓縮/集成模型，并復制了原始較大網絡的輸出結果，但是這僅限于淺層模型。知識蒸餾［18］是采用知識遷移思想將深度較廣的網絡壓縮為較淺的網絡，它的壓縮模型是模仿復雜模型學習的函數。設計思路是將大模型神經網絡（教師網絡）學習出來的知識作為先驗，再將先驗知識遷移到小規模的神經網絡中訓練更小但性能仍較好的小型神經網絡（學生網絡）?；谥R蒸餾的方法可以使模型更薄，并顯著降低計算成本。本文方法對全連接層比較有效。

本文在以上工作的基礎之上，結合當前的研究進展和成果，提出模型參數結合生物神經模型原理進行重構模型的方法，從而對神經網絡模型進行壓縮。首先通過k-means算法對模型去重后的權重參數作聚類；然后對權重參數的聚類結果進行參數重構，使其適應模型框架；最后對重構模型做壓縮，從而實現對模型作整體壓縮的目的。

1 模型重構

本文基于Darknet 框架［19-21］對Darknet19、ResNet18、ResNet50 以及YOLOv3 這四種模型進行權重重構。首先提取預先訓練的DNN 模型權重參數，然后通過octave 軟件進行仿真實驗，對權重進行去重，并根據k-means算法進行權重聚類，接著根據每一類的聚類質心將同一類的權重都替換為所屬類的質心值，最后在所在簇的質心值基礎上添加隨機數，達到重構模型的目的。模型重構的方法框架如圖1所示。

圖1 模型重構框架Fig.1 Framework of model reconstruction

1.1 參數聚類

1.1.1 權重參數提取

DNN 中的參數有很多，對于每一層只需要提取對應的權重參數并寫入文件，對網絡模型中各層參數進行重構。如圖2 顯示的是Darknet19 模型中權重參數的分布直方圖，可以明顯看出模型中的權重參數大部分分布在0 附近，權重數值較大的只占少數，整體分布呈現正態分布。

1.1.2 權重聚類

在預先訓練的模型中提取權重參數后，對提取的權重參數進行去重，并記錄原模型權重參數中重復參數的位置，對重復的權值設置一個標量值mask 進行位置標記；再對去重后的權重作k-means聚類來識別已訓練的模型中的近似權重，以使得所有在同一簇中的權重可以共享相同的權值。近似權重可以實現跨層共享。將原始權重W分為k個簇，從而最小化類內平方誤差和（within-cluster Sum of Squares Error，SSE）：

其中：μ(j)表示屬于第j簇的參數質心值；x(i)是屬于當前聚類中的各個權值。

圖2 權重參數分布直方圖Fig.2 Histogram of weight parameter distribution

1.2 參數重構

在達爾文理論中提到，進化是一種機體經過自然選擇強化后所產生的微小改變的結果，在自然選擇的過程中，具有優勢特性的有機體則更有希望生存并繁衍，也自然而然會淘汰那些相對劣勢的有機體?？v觀生物發展起源，當前所有的生物其實都是由早期極少數或者某種微生物發展而來，在生物的發展過程中也并非一成不變，總會依據不同的生存條件產生新的物種。遺傳算法表示進化初始階段通過隨機的形式實現，以增加物種多樣性。生物多樣性的存在與穩定發展對所有生物包括人類的生存都具有重要意義，這是維持生態系統平衡發展的一個重要的因素。綜上所述可知，物種的發展起源于某種微生物，經過不受控制的、隨機的發展過程，從而衍生出整個生態系統，在發展的過程中遵循“物競天擇，適者生存”的進化原理。

生物學的發展原理為現有的神經網絡模型提供了相關的理論基礎。基于生物學原理中“物競天擇”“漸進進化”的基本原理，本文針對具有一定準確率預測的現有模型，即具有一定的生存能力，根據生物進化的理念，對現有模型的參數進行挑選，通過聚類挑選出最具有代表性的、有價值的參數，再利用隨機數對這些重要的參數進行優化。

經過聚類后的權重信息，對于屬于同一簇中的參數共享權重，在每一位共享權重的基礎上再添加微擾值δ，可表示為：

其中：rand（）表示為均勻分布產生的隨機數；var代表各類中權值方差之和的平均值。基于選出的核心參數結合隨機數生成更具多樣性的參數值，在多樣性的前提下才更有機會獲得更優的參數，以實現對現有模型進行參數優化。依據遺傳算法對每一代種群基于適應度隨機選擇不同個體產生新種群的過程，在參數優化的過程中，最終只保留優于1 的陽性結果，以此增強參數的優化效果。如式（2）所示，當微擾δ只使用均勻分布產生的隨機數時容易使權值掉入局部最優，對于權值收斂也會花費更多的時間。為解決這一問題，在均勻分布的隨機數基礎上添加方差均值，好處在于使權值參數在幅度上有所變化，在權值參數浮動比較大的地方δ值較大，以此增加權值跳出局部最優的可能，對于權值浮動較小的地方，則加速收斂。此外，式（2）中的rand隨機數隨著聚類平均值的變化而變化，因此其方向的變化幅度也隨著優化局部數值而變化，一定程度上避免了掉進局部最優。權重重構所采用的公式可表示為：

其中：W(i)表示屬于第i類中重構后得到的權重；W(k)代表對應類中的質心值。設模型的權重為W(i)，k-means 聚類后的權重質心為W(k)，在此基礎上增加微擾δ，得到重構權值信息。對于同一模型，每次重構的結果并不唯一，且或許并非每次重構模型的測試準確度總是絕對的。從生物神經學的角度講，這更符合人的行為學，也模擬了人腦的思維方式，如同對于同一問題不同人腦的思維反應必然存在快慢之分，給出的答案也存在差異，這也正符合了類腦研究的理論，該理論認為通過認知、經驗得知問題的結論，結果未必一定正確，但更符合正常人的思維判斷。本文遵循的類腦思想，不同于主張以統計和先驗知識為前提的貝葉斯方法，貝葉斯方法每次總是致力于尋找最正確的判斷，但發現新概率的難度很大。以生物神經網絡為原型的神經網絡在進行權重取值時可以仿照生物神經網絡中的取值原理，在文獻［7］中提出基于生物神經網絡中神經元之間進行信息傳遞時突觸權值的計算方法，公式如下：

式（4）中的突觸權值處于網絡振蕩的模型中，神經元的活動呈現周期性和振蕩性模式，網絡振蕩通常產生于細胞的興奮性和抑制性種群的動態相互作用中，抑制作用產生的影響要更為重要。式（4）中的參數ω決定移動的突起的傳播速度，相當于網絡中單個神經元的振蕩頻率。

本文研究對神經網絡模型進行重構。通過k-means 聚類將近似大小的權重值歸為一類，屬于同一類中的權值替換為當前類中的質心數值，并添加一個微擾值δ，通過質心值與微擾值的相加重構模型，使用公式如（3）所示。參數重構的過程如圖3所示。

1.3 重構模型穩定性分析

重構模型的穩定性驗證可以通過實驗的累計誤差error驗證，即每一次實驗的誤差之和再取平均，得到模型的累計誤差，累計誤差值收斂于某一具體值即可判斷當前模型的穩定性。累計誤差的公式可表示為：

其中：n表示實驗次數；errori表示每次實驗計算得到的誤差值；error為n次實驗的誤差和均值。

2 實驗與結果分析

本文所使用的實驗設備是基于ubuntu16.04操作系統，采用Intel Xeon CPU E5-1603 v3@ 2.80 GHz×4 處理器，8 GB 內存，500 GB 硬盤，在octave 環境下進行仿真實驗，在Visual Studio Code 環境下使用Darknet 框架實現模型準確度和穩定性驗證。

本文分別對Darknet19、ResNet18、ResNet50 以及YOLOv3這四種模型進行參數重構實驗：前三種模型在ImageNet 數據集上對得到的重構模型進行圖像分類準確度驗證，YOLOv3重構模型在COCO 數據集上進行目標檢測準確度驗證。重構后模型的網絡存儲節省了1/4～1/3的存儲空間，而幾乎不損失準確度。

2.1 模型壓縮結果與分析

對四種模型重構后的準確度測試及穩定性進行驗證，各模型分別進行17 次測試實驗，結果如圖4～5 所示（Baseline 和Reconstruct2 后的數字分別表示原模型的模型參數量和模型重構后的參數量）。

圖3 權重共享（上）和加隨機數微調的權重（下）Fig.3 Weight sharing（top）and fine-tuning weights with random numbers（bottom）

圖4 重構模型在ImageNet數據集上的準確度及穩定性驗證Fig.4 Validation of accuracy and stability of reconstructed model on ImageNet dataset

根據實驗結果得知，四種重構模型經過幾次實驗后準確度都向基線模型的準確度收斂，逐漸趨于穩定，并且模型重構誤差不超1%。大數定律表明，在重復實驗過程中，隨著實驗次數的增加，事件發生的頻率會趨于一個穩定值，這反映了一些隨機事件的均值在發展過程中具有長期穩定性。本文算法通過對現有模型參數添加隨機數進行重構，從實驗結果可以看出，對現有模型重構后隨著模型重構實驗次數的增加，重構模型的準確度趨向于一個穩定值，這正符合大數定律的規律。圖4（b）、（d）、（f）以及圖5（b）的實驗結果也表明了在重構模型多次實驗后，重構的累計誤差是收斂的，驗證了重構模型的穩定性，驗證了本文方法的有效性。

2.2 重構前后模型的準確度和壓縮比對比

表1 是Darknet19、ResNet18、ResNet50 以及YOLOv3 這四種模型與其對應重構模型前后準確度以及所占存儲空間大小的對比，其中各重構模型的壓縮比均取自其17 次實驗的壓縮比均值。從表1 可以看出，四種重構后的模型的存儲空間為原模型存儲空間的1/4～1/3，同時還提升了1%～3%的準確度，在模型參數重構的同時，大大降低了模型參數的復雜度，模型參數中自由度的降低為之后更大程度地簡化網絡帶來了可能。

圖5 重構模型在COCO數據集上的準確度及穩定性驗證Fig.5 Validation of accuracy and stability of reconstructed model on COCO dataset

表1 四種模型重構前后的準確率和存儲代價對比Tab.1 Comparison of accuracy and storage cost of four models before and after reconstruction

3 結語

針對深度神經網絡模型占據存儲空間大、參數冗余的問題，本文模仿生物神經的網絡結構，從模型的權重參數角度，基于“進化”+“隨機”+“選擇”的原理對現有模型參數進行優化，通過對神經網絡中的權重參數添加隨機微擾進行模型重構，降低模型占據終端設備的存儲空間。實驗結果表明，這種重構方法可以有效地減少參數存儲空間，并保證模型準確度的穩定性；實驗結果也驗證本文方法在理論上的合理性以及在模型壓縮的有效性。在今后的工作中，為實現壓縮模型在已有設備上的加速效果，需要進一步對重構模型中的參數做合并，從而生成一個更小、更快的模型，進一步提高重構模型的性能。