應用空洞卷積的神經網絡輕量化方法

馬 利，劉新宇，李皓宇，段苛苛，牛 斌

遼寧大學 信息學院，沈陽 110036

近年來，卷積神經網絡出現兩種發展趨勢。一方面向大規模、深層次方向發展；另一方面向輕量化、高速度方向發展。隨著移動互聯網的飛速發展，人們對于移動邊緣設備需求越來越高，卷積神經網絡輕量化訴求越來越多，如何在邊緣設備上更加流暢地運行深度學習算法成為一種挑戰。邊緣設備存儲空間少、算力資源匱乏，為卷積神經網絡輕量化方法提供了廣闊的研究與發展平臺。

常用卷積神經網絡輕量化方法大致可分為兩種：其一是對模型結構進行精細化設計，如MobileNet系列[1-2]、SqueezeNet[3]與ShuffleNet系列[4-5]等。它們對模型結構進行更加細致、高效的設計，使得模型尺寸得以很大程度地縮小，并且取得不錯的精度。其二是保持現有模型宏觀結構不變而對模型進行壓縮，包括剪枝[6]、量化[7]、蒸餾[8]等，它們在現有優秀模型基礎上對模型內部權值進行處理，去除現有模型在固定任務中的冗余，完成神經網絡輕量化。大多輕量化方法面臨的問題是如何很好地權衡精度與速度，為使神經網絡過分輕量，則精度難以保證；為過分保證精度，則神經網絡輕量效果微乎其微。如何最佳權衡速度與精度，是神經網絡輕量化中熱切關注的話題。

空洞卷積最早被Yu等[9]進行系統研究，它是一種傳統圖像卷積的變種，通過對傳統圖像卷積添加空洞，完成對傳統圖像卷積的感受野擴張。常使用不同尺度空洞數的空洞卷積用作多尺度特征圖信息與感受野的融合，如目標檢測與語義分割任務中的空洞卷積池化金字塔（atrous spatial pyramid pooling）[10]、ESPNet[11]等。本文受空洞卷積結構特性啟發，對其在神經網絡輕量化方面進行了探究。利用空洞卷積采樣與擴張感受野的特性，提出三種基于空洞卷積的輕量化方法，分別為基本空洞卷積輕量化方法、改進型空洞卷積輕量化方法與融合型空洞卷積輕量化方法?；究斩淳矸e輕量化方法將空洞卷積直接應用于網絡結構設計，具有輕量化效果好、準確率損失略高的特點；改進型空洞卷積輕量化方法將逐點卷積與空洞卷積結合應用于網絡結構設計，具有輕量化效果顯著、準確率損失劇烈的特點；融合型空洞卷積輕量化方法將改進型空洞卷積輕量化方法與普通卷積融合應用于網絡結構設計，具有輕量化效果明顯、準確率損失微小的特點。融合型空洞卷積方法具有最好的速度與精度的權衡。

1 相關工作

對模型精細化設計來實現神經網絡輕量化往往通過使用小卷積核代替大卷積核、分解卷積、對卷積通道進行處理等具體手段來實現[12-13]?，F代深度神經網絡通常使用小卷積核代替大卷積核進行網絡設計[14]，SqueezeNet是最早公開的輕量化結構設計網絡，一方面使用1×1小卷積核部分代替3×3卷積核，可減少8倍的卷積操作參數量與很大一部分的卷積操作運算量。另一方面對于保留的3×3卷積核進行通道數縮減，可達到進一步的參數量與運算量衰減。MobileNet使用深度可分離卷積模塊完成了輕量化網絡設計，深度可分離卷積使用深度卷積與逐點卷積前后串聯，完成對MobileNet網絡輕量化設計，并取得了不錯的效果。其中深度卷積采用組卷積思想，針對每個輸入通道采用不同卷積核；逐點卷積利用1×1小卷積核特性，實現維度的擴展。ShuffleNet使用了分組卷積思想，并將來自不同組的特征信息進行混洗，使得分組過后卷積的特征信息打亂混合，能夠更好地流通。上述的模型精細化方式通過對模型宏觀結構與微觀結構的重新設計，實現了一種新的高效主干網絡，從結構層面完成了對神經網絡的輕量級設計。

受眾多神經網絡輕量化方法啟發，本文從神經網絡微觀結構精細化入手，對一種結構較特殊的卷積——空洞卷積在神經網絡輕量化方面進行了研究。以空洞卷積擴張感受野特性為切入點，對空洞卷積在神經網絡輕量化方法中應用的可行性與特性進行了研究。將空洞卷積作為主體研究對象，結合SqueezeNet卷積通道擠壓思想，對殘差塊進行空洞卷積輕量化設計。并將輕量化方法應用于圖像分類與目標檢測兩種任務，在三個數據集上對空洞卷積輕量化方法進行實驗分析與研究。

2 基于空洞卷積的神經網絡輕量化方法

2.1 空洞卷積結構

空洞卷積是一種特殊結構的卷積，引入空洞的概念，通過對傳統圖像卷積進行空洞數添加，達到擴大卷積感受野的目的。令Gi為第i層特征圖，Fi為第i層卷積層，則普通離散卷積操作計算公式如式（1）所示，其中p為卷積后生成特征圖內的點，a為原始特征圖Gi內的點，b為卷積層Fi內的點。

空洞卷積計算公式如式（2）所示，其中m為擴張率，為普通卷積添加的空洞數目加1。即擴張率m為1時，空洞卷積變為普通卷積。

由空洞卷積與普通卷積計算公式可知，空洞卷積運算具有等間隔采樣特性，而其采樣程度由擴張率確定，即擴張率越大，空洞卷積采樣范圍越大，單位范圍內的采樣點數越少。

感受野描述卷積操作后的輸出特征圖上像素點對于被卷積圖上映射區域的大小[15]。在感受野敏感的任務如目標檢測、圖像識別等，對于感受野的著重考量直接決定任務效果。感受野計算公式如式（3），rfk表示第k層感受野大小，rfk-1表示第k-1層感受野大小，nk表示第k層的卷積核尺寸大小，si表示k層前第i層卷積的步長。

空洞卷積在不減小特征圖大小的前提下擴大了感受野，第k層空洞卷積的核大小dlk計算公式如式（4），其中lk表示第k層原始普通卷積的核大小。

將式（4）代入式（3）可得第k層dlk大小的空洞卷積核對于lk大小普通卷積核擴展的感受野為rf_expendk，如公式（5）：

對于感受野關系的具象描述如圖1所示，以5×5普通卷積核對一個5×5的圖像矩陣進行一次卷積操作為例。源圖像經卷積后，得到1×1的特征圖，即特征圖僅存像素點的感受野為整個源圖像。圖2用兩層3×3普通卷積串聯對一個5×5的圖像矩陣進行兩次卷積操作，卷積后同樣得到1×1特征圖，即兩層3×3串聯的兩次卷積操作與一層5×5的卷積操作得到特征圖感受野一致。空洞卷積為3×3的普通卷積核元素之間添加一個空洞，即擴張率為2，如圖3所示。以該空洞卷積對一個5×5的圖像矩陣進行一次卷積操作，得到了1×1的特征圖。可見通過此空洞卷積操作得到特征圖與使用5×5的普通卷積一次卷積操作、使用3×3的普通卷積兩次卷積操作感受野一致，空洞卷積利用較小的參數量實現較大的感受野。

圖1 普通5×5卷積一次卷積過程Fig.1 Process of 5×5 general convolution convolve once

圖2 普通3×3卷積兩次卷積過程Fig.2 Process of 3×3 general convolution convolve twice

圖3 空洞數為1的3×3空洞卷積一次卷積過程Fig.3 Process of 3×3 dilated convolution which has 1 hole convolve once

2.2 基本空洞卷積輕量化方法

現代典型的卷積神經網絡如VGG、ResNet、DLA等多使用兩層串聯卷積層組成卷積組用以特征提取。尤其跳躍連接型卷積神經網絡，更是直接使用兩層3×3的普通卷積串聯的卷積組作為網絡的基本殘差塊。本文以保障各卷積組的輸入輸出特征圖與特征圖感受野大小不變為前提，利用空洞卷積結構可以用較小參數量與運算量實現較大感受野的特性，設計了基本空洞卷積輕量化方法。

令輸入特征圖大小為Hin×Win×Cin，Hin為輸入特征圖長度，Win為輸入特征圖寬度，Cin為輸入特征圖通道數。第一層卷積核大小為L1×L1×C1_in×C1_out，L1為卷積核尺寸，C1_in為卷積核輸入通道數且C1_in=Cin，C1_out為卷積核輸出通道數，第二層卷積核大小為L2×L2×C2_in×C2_out，L2為卷積核尺寸，C2_in為卷積核輸入通道數，C2_out為卷積核輸出通道數，以Cout表示輸出特征圖通道數，則C1_out=C2_in=C2_out=Cout。令卷積操作步長為1，無填充操作，則兩層普通卷積層串聯后操作得到特征圖感受野R1為：

設定空洞卷積以第一層普通卷積為基礎，對其添加空洞。則其擴張率m=(L2-1)(L1-1)+1時，R1=R2，MS1=MS2。

由上述公式推導，以各層次的特征圖尺寸與感受野大小不變為前提，用一層空洞卷積層近似兩層普通卷積層的表達能力，進行基本空洞卷積輕量化方法設計。經過兩層普通卷積運算的運算量U1為：

設定基本空洞卷積輕量化方法卷積核尺寸DL由尺寸為L1的普通卷積擴張而來，其運算量U2為：

由式（2）可知空洞卷積結構本身具有等間隔采樣特性，過大的擴張率使得空洞卷積單位范圍采樣點數過少，損失過多的信息依賴與相關特性。為使空洞卷積的空洞盡可能少損失信息依賴性與相關性，本文采用最小的空洞數，即只添加一個空洞的空洞卷積進行輕量化方法設計。實驗經驗證明[14]，較小的卷積核具有更好的靈活性并帶來更好的性能表現，故采用3×3的普通卷積，即L1=L2=3，m=2的空洞卷積進行輕量化方法設計。

為驗證空洞卷積對于輕量化方面的表現，本文將空洞卷積輕量化方法嵌入到幾個典型的卷積神經網絡結構VGG[16]、ResNet[17]和DLA[18]中。其中VGG是一種直接傳輸型結構，ResNet是一種引入殘差連接增加網絡深度與泛化能力的跳躍連接型結構。DLA（deep layer aggregation）是改進ResNet的深度聚合跳躍連接型結構，它將不同層次卷積組聚合從而達到更好的網絡效果。在ResNet和DLA的跳躍連接型結構中，典型的殘差塊使用兩層3×3的普通卷積串聯保證合適的感受野，并使用跳躍連接完成殘差傳輸同時融合輸入與輸出特征圖的感受野。本文應用小尺寸小空洞數空洞卷積核即擴張率為2的3×3的空洞卷積重新設計殘差塊結構。以一層空洞卷積近似兩層串聯的普通卷積，在保證合適的感受野同時起到輕量化作用，過程如圖4。本文稱這種空洞卷積殘差塊設計過程為基本空洞卷積輕量化方法。

圖4 將基本空洞卷積輕量化方法應用于普通卷積殘差塊Fig.4 Applying basic dilated convolution lightweight method to general convolution residual block

以輸入特征圖尺寸為5×5×64，輸入通道數為64、輸出通道數為128為例，進行具體計算。根據公式（10）～（15）可以計算得到，僅考慮殘差塊內的卷積操作，普通卷積殘差塊運算量為3 170 304，基本空洞卷積殘差塊運算量為1 843 200，基本空洞卷積殘差塊較普通卷積殘差塊運算削減量為1 327 104，基本空洞卷積殘差塊運算量為普通卷積殘差塊運算量的58.1%。普通卷積殘差塊參數量為221 184，基本空洞卷積殘差塊參數量為73 728，基本空洞卷積殘差塊較普通卷積殘差塊參數削減量為147 456，基本空洞卷積殘差塊參數量僅為普通卷積殘差塊參數量的33.3%。由此可見基本空洞卷積輕量化方法可以使參數量與運算量大量縮減。

2.3 改進型空洞卷積輕量化方法

受輕量級神經網絡MobileNet、SqueezeNet等設計思路啟發，本文將空洞卷積與1×1的逐點卷積相結合，對基本空洞卷積殘差塊進行進一步改進，提出了一種改進型空洞卷積輕量化方法。

1×1的逐點卷積具有等化感受野的特性，常用于卷積神經網絡中的維度變換操作，具有參數量少、運算量少的特點。設定M′個1×1的逐點卷積作為可學習的濾波器，用以對原始特征圖進行特征壓縮。設定原始特征圖尺寸為H′×W′×N′，即1×1卷積輸入通道也為N′，利用1×1卷積操作得到尺寸為H′×W′×M′的特征圖以對原始特征圖進行近似表示。這里M′＜N′，即1×1的逐點卷積利用其可學習的濾波特性，對原始特征圖進行了特征抽取，完成了特征圖通道的壓縮，減少了下一階段進行卷積操作所需的參數量與運算量。其過程如圖5。1×1的逐點卷積使輸出特征圖以M′通道近似表示輸入為N′通道的特征圖，即：GH′×W′×M′out→GH′×W′×N′in，其中GH′×W′×N′in表示尺寸為H′×W′×N′的輸入特征圖，GH′×W′×M′out表示經過1×1逐點卷積操作后的輸出特征圖，尺寸為H′×W′×M′。

圖5 1×1卷積壓縮特征圖過程Fig.5 Process of 1×1 convolution compress feature map

利用1×1逐點卷積等化感受野同時的通道壓縮特性，在逐點卷積過后，串聯一層空洞卷積層，用以保證殘差塊的感受野，進行進一步的輕量化。改進型空洞卷積輕量化方法具體結構如圖6。

圖6 改進型空洞卷積輕量化方法Fig.6 Improved dilated convolution lightweight method

改進型空洞卷積輕量化方法利用逐點卷積與空洞卷積結合，其運算量Uimpr可用式（16）計算，其參數量Pimpr可用式（17）計算：

式（16）、（17）中Cin、Cout、Hin、Win與式（10）定義相同；Lp代表壓縮的通道數，這里取16。由公式計算組成可知，改進型空洞卷積輕量化方法對比基本空洞卷積輕量化方法的參數量與運算量的削減主要由1×1逐點卷積的小卷積核、通道數壓縮特性與空洞卷積特性結合而成。同樣以輸入特征圖尺寸為5×5×64、輸入通道數為64、輸出通道數為128為例，改進型空洞卷積輕量化方法運算量為486 400，改進型空洞卷積輕量化方法參數量為19 456。僅這一尺度卷積核，改進型空洞卷積輕量化方法運算量與參數量是基本空洞卷積輕量化方法的26.4%。將改進型空洞卷積輕量化方法的壓縮通道特性應用于深度殘差網絡中，其對每層輸入的卷積通道數進行壓縮，在整個網絡的輕量化表現上比單純使用一個殘差塊的表現更為突出。使用逐點卷積進行輸入通道壓縮為改進型空洞卷積輕量化方法帶來了在大型網絡中對輸入通道的統一輸入維度的壓縮特性。

2.4 融合型空洞卷積輕量化方法

過多使用空洞卷積對網絡進行輕量化操作，將帶來較大精度衰減，主要原因有：（1）由式（2）可見空洞卷積結構具有等間隔采樣特性，頻繁地采樣會損失各層次特征圖的部分有用特征信息；（2）深度神經網絡的本質在于在一個求解空間內擬合一個最優的目標函數，深度更深的網絡具有更大的求解空間。用一層空洞卷積替代兩層普通卷積，盡管保證了各層次特征圖與感受野的大小，卻減少了網絡的深度，縮小了原本兩層普通卷積所具有的求解空間，犧牲了原網絡的一些表達能力。

由式（18）可知，融合型空洞卷積輕量化方法輸出特征圖信息來自于普通卷積與改進型空洞卷積輕量化方法兩種操作，此種融合型空洞卷積輕量化方法在保證整個殘差塊感受野的前提下，既利用了普通卷積的高精度特性，又利用了改進型空洞卷積輕量化特性，在具有很好的輕量化效果同時，保證了很好的精度，是在基于空洞卷積的輕量化方法中，綜合性能最好的方法。融合型空洞卷積殘差塊的結構如圖7。

圖7 融合型空洞卷積輕量化方法Fig.7 Fusing dilated convolution lightweight method

融合型空洞卷積殘差塊參數量、運算量為塊中的普通型卷積塊與應用改進型空洞卷積輕量化方法卷積塊的參數量、運算量相加，以輸入特征圖尺寸為5×5×64、輸入通道數為64，整體卷積塊輸出通道數為128，普通型卷積塊與改進型空洞卷積塊輸出通道數都為64，進行舉例計算說明。融合型空洞卷積輕量化方法運算量使用式（10）與式（16）聯合進行計算，參數量使用式（13）與式（17）聯合進行計算，得結果運算量為1 509 376，參數量為83 968。由此可見就單一卷積塊，融合型空洞卷積輕量化方法運算量是原本普通卷積塊的47.6%，參數量是原本普通卷積塊的38.0%。

融合型空洞卷積方法在速度和精度上取得了最好的權衡，在保障卷積塊感受野的前提下，充分利用了普通卷積塊與改進型空洞卷積塊的特點，取得很好的精度與速度的權衡。此種方法可以大大減少原本單純使用空洞卷積進行輕量化操作時帶來的特征信息與相關信息的損失。此種殘差塊同時具有通用性，在基于殘差塊的網絡結構中應用。對于殘差型深度卷積神經網絡可以保證高精度同時減少參數量與運算量。

3 基于空洞卷積的輕量化方法實驗與分析

3.1 實驗環境與評價標準

實驗環境：本文使用PyTorch框架進行程序編寫，并應用CUDA進行GPU加速。使用Intel Core i5 CPU與NVIDIA GTX 1660TI GPU配置的硬件平臺完成實驗。

數據集與評價標準：本文將3種空洞卷積輕量化方法分別嵌入到典型網絡結構中對圖像分類與目標檢測任務進行實驗。使用CIFAR10與CIFAR100兩種數據集進行實驗與分析，得到空洞卷積輕量化方法在圖像分類任務中應用結果。使用KITTI數據集完成空洞卷積輕量化方法在目標檢測中的應用。

CIFAR10數據集是一種包含10個類別60 000張彩色圖片的數據集。整體被劃分為訓練集50 000張圖片，測試集10 000張圖片，包含5個訓練批次與1個測試批次。本文應用CIFAR10進行基本型、改進型與融合型空洞卷積方法實驗，以準確率作為評判標準。

CIFAR100數據集是對CIFAR10圖像的精細標注，包含100個類別。本文采取兩種形式準確率作為評判標準，Top1準確率設定預測得到最大概率作為分類結果，其正確則判定分類成功；Top5準確率設定預測得到最大5個概率中存在1個正確結果即判定分類成功。Top5準確率較Top1準確率具有更好的寬容性，二者聯合能更好衡量多分類任務的性能。

KITTI數據集是一種被應用廣泛的自動駕駛領域數據集。本文使用它的目標檢測子集，包含用7 481張訓練圖片與7 518張測試圖片。圖片中目標對象被標注為汽車、行人等9類。本文采取KITTI官方提出的幾種評價標準，即AP（準確率）、AOS（平均角度得分）、BEV AP（鳥瞰圖準確率）作為目標檢測效果評價標準，每種評價標準分為簡單、適中、艱難三種程度。以此多標準混合評價來分析空洞卷積輕量化方法應用于自動駕駛場景目標檢測的效果。

性能上圖像分類與目標檢測任務皆使用參數量和FLOPs（浮點運算次數）來衡量。參數量用以衡量模型大小，FLOPs用以衡量模型計算復雜度。模型計算復雜度可體現模型速度，即同等硬件條件下，復雜度越高，速度越慢。

3.2 在圖像分類任務上的實驗及其結果分析

3.2.1 基本空洞卷積輕量化方法在圖像分類任務實驗及結果分析

本文使用CIFAR10數據集對基本空洞卷積輕量化方法進行圖像分類實驗。選取直接連接型（VGG）與跳躍連接型（ResNet、DLA）網絡結構應用基本空洞卷積輕量化方法于CIFAR10數據集上進行實驗。選取VGG19、ResNet18、ResNet34、DLA18、DLA34幾種網絡，以相同的訓練規則對使用基本空洞卷積輕量化方法與未使用基本空洞卷積輕量化方法的網絡進行250輪的訓練。最終得到圖像分類準確率，并對參數量、FLOPs進行比較，結果如圖8。通過數據對比可知，空洞卷積輕量化效果對跳躍連接型網絡減少參數量與運算量的幅度最佳，平均減少50%甚至更多，而直接連接型網絡輕量化效果相對略有不佳，運算量僅減少了43%。基本空洞卷積具有很好的輕量效果，代價卻是明顯的準確率下降。其中ResNet18的準確率下降程度最為劇烈，下降了2.62%，本文認為這種下降一方面與空洞卷積結構本身等間隔采樣特性帶來部分信息損失有關，另一方面與基本空洞卷積將原本深度較深的網絡變淺，損失了較大的泛化性能有關。ResNet18在經過基本空洞卷積輕量化方法后，網絡深度變為最淺，并且不具備DLA的深度聚合特性，故其準確率損失最劇烈。

圖8 基本空洞卷積輕量化方法在CIFAR10數據集上實驗結果Fig.8 Experimental results of basic dilated convolution lightweight method in CIFAR10 dataset

3.2.2 改進型與融合型空洞卷積輕量化方法在圖像分類任務實驗及結果分析

本文接著使用CIFAR10與CIFAR100兩種數據集，對改進型與融合型空洞卷積方法在圖像分類任務上，進行細致對比實驗，并著重分析。針對跳躍連接型網絡，應用改進型與融合型空洞卷積輕量化方法對ResNet與DLA兩種結構的四種網絡在CIFAR10與CIFAR100上進行了實驗。對每個數據集上的不同網絡采用同樣的訓練規則進行250輪數的訓練。

對于CIFAR10數據集圖像分類實驗結果如圖9所示。圖中越靠近橫軸左側，模型所需的參數量與運算量越少，模型越輕量；越靠近縱軸上側，模型準確率越高，分類效果越好；整體越偏在左上側的模型，兼具少參數量、少運算量、高準確率，是最理想的模型。由本文在CIFAR10數據集上的結果來看，改進型空洞卷積輕量化方法對于減少模型參數量與運算量的效果是十分好的，而對于準確率的衰減也是很大的。這種準確率衰減除了基本空洞卷積帶來的衰減，還有1×1逐點卷積近似表達的影響。融合型空洞卷積輕量化方法位于整個模型分布實驗結果的左上側的位置，雖然沒有改進型空洞卷積方法的輕量化效果好，卻保留了很好的準確率，很好地綜合了精度衰減與模型輕量化，具有更好的均衡性。

圖9 CIFAR10數據集中改進型與融合型空洞卷積輕量化方法實驗結果Fig.9 Experimental results of improved and fusing dilated convolution lightweight method method in CIFAR10 dataset

對于CIFAR100數據集的圖像分類結果、參數量及FLOPs對比結果如表1所示。CIFAR100數據集具有更細致準確的衡量標準，通過表內數據對比可知，改進型的空洞卷積輕量化方法在參數量與運算量衰減方面具有更加明顯的效果，ResNet結構可以達到十倍以上的參數量與運算量衰減，DLA結構可以達到六倍以上的參數量與運算量衰減，而這種明顯的輕量化效果帶來的準確率降低也十分劇烈。在CIFAR100數據集上，Top1準確率降低最高可達8.72%，最低可達1.65%，Top5準確率降低最高可達3.20%，最低可達0.12%。可見準確率的降低存在差異性，從深度上來看，深度越深的網絡受改進型空洞卷積輕量化方法降低準確率的影響越??；從結構上來看，聚合程度較高的DLA結構較ResNet結構受改進型空洞卷積方法降低準確率影響更小。對于融合型空洞卷積輕量化方法，其綜合了參數量、運算量與準確率。由實驗結果可知，融合型空洞卷積輕量化方法的輕量化程度不如改進型空洞卷積輕量化方法，可以達到約兩倍多的參數量與運算量衰減，但卻保證了高準確率。在CIFAR100上，應用融合型空洞卷積方法設計網絡與原始網絡Top1準確率與Top5準確率降低并不明顯，降低程度在0.5%之內，其中存在個別經過融合型空洞卷積方法輕量化設計后的網絡結構準確率較原始網絡高。綜上所述，改進型空洞卷積輕量化方法具有極佳的輕量化效果，卻難以保證準確率。融合型空洞卷積輕量化方法在可以減少一半參數量與運算量的情況下，保證與原網絡準確率相當甚至更高，是一種很好的綜合速度與精度的輕量化方法。

表1 CIFAR100數據集改進型與融合型空洞卷積輕量化方法實驗結果Table 1 Experimental results of improved and fusing dilated convolution lightweight method of CIFAR100 dataset

本文選取了MobileNet[1]、MobileNetv2[2]、SqueezeNet[3]、ShuffleNet[4]、ShuffleNetv2[5]幾種典型的輕量級神經網絡在CIFAR100上應用與前實驗一致的訓練方法進行訓練。選取應用改進型空洞卷積方法的兩種網絡進行對比，對比結果如表2。由結果可知，ResNet18雖然準確率衰減最為劇烈，但是改進型空洞卷積方法帶給了它十分優越的輕量化效果。在參數量大大少于MobileNet，運算量與MobileNet相當的情況下，Top1準確率與Top5準確率皆優于MobileNet。使用經過改進型空洞卷積方法重新設計微觀結構的DLA18網絡，在參數量與其他幾個網絡相當，運算量高于其他幾個網絡的情況下，Top1準確率與Top5準確率大大優于其他幾種網絡。改進型空洞卷積方法輕量化特性配合合適的宏觀網絡結構設計，可以實現與典型輕量化神經網絡性能無明顯差別。

表2 典型輕量化神經網絡與改進型空洞卷積結構的網絡在CIFAR100實驗結果Table 2 Experimental results of typical lightweight neural networks and improved dilated convolution networks in CIFAR100

3.3 在目標檢測任務上的實驗及其結果分析

目標檢測任務分為單階段與雙階段[19]，本文使用一種無錨點單階段目標檢測方法CenterNet[20]作為目標檢測任務框架，應用ResNet34與DLA34作為其主干網絡，于KITTI數據集上進行目標檢測任務實驗。CenterNet繼承了CornerNet[21]檢測角點的思想并進一步改進，應用熱圖回歸目標中心點完成目標檢測任務。本文不對框架本身結構進行改進，只使用兩種不同的主干網絡，應用改進型與融合型空洞卷積輕量化方法作對比分析。本文均使用純凈的DLA34與ResNet34作為目標檢測框架的主干網絡，不增加別提升精度的技巧。不追求過高精度，只對比使用空洞卷積輕量化方法與未使用空洞卷積輕量化方法在目標檢測上的表現。實驗過程中未使用預訓練模型，對幾種方法采取相同的訓練方法訓練了70輪，實驗結果如表3與表4。

表3 DLA34為CentetNet主干網絡對應用空洞卷積輕量化方法于KITTI數據集上實驗結果Table 3 Experimental result of CentetNet which backbone is DLA34 with dilated convolution lightweight method in KITTI dataset

表4 ResNet34為CentetNet主干網絡對應用空洞卷積輕量化方法于KITTI數據集上實驗結果Table 4 Experimental result of CentetNet which backbone is ResNet34 with dilated convolution lightweight method in KITTI dataset

由實驗結果可知，因CenterNet中還存在一些別的占用參數量與運算量的操作，改進型與融合型空洞卷積輕量化方法輕量化程度不如單純的圖像分類任務，但依舊帶來了可觀的輕量化效果。改進型空洞卷積輕量化方法在目標檢測任務上依舊可以帶來更佳的輕量化效果，但其準確率、平均角度得分、鳥瞰圖準確率依然大幅降低，其中ResNet結構較DLA結構下降更為劇烈。融合型空洞卷積輕量化方法在帶來較好輕量化效果同時，保證了準確率、平均角度得分、鳥瞰圖準確率。圖10為一個出現極端情況的代表性檢測效果示例。圖中紅色框標注為檢測出了小汽車，黃色框為檢測出了騎行人?？梢姂酶倪M型空洞卷積輕量化方法的網絡檢測出了大部分小汽車。其擁有最少的參數量，消耗最少的計算資源，卻出現了漏檢與誤檢。如DLA34+改進型檢測結果中的中間部分小汽車的漏檢，ResNet34+改進型結果中的旁邊黃色框部分背景的誤檢。原始網絡與應用融合型空洞卷積輕量化方法網絡都具有較好的檢測效果，都檢測出來了圖片內所有小汽車，無漏檢與誤檢，并且相比原始網絡應用融合型空洞卷積輕量化方法具有更少的參數量，消耗更少的計算資源。

圖10 應用空洞卷積輕量化方法的CenterNet框架于KITTI數據集上目標檢測結果實例Fig.10 Examples of object detection results on KITTI dataset by using CenterNet with dilated convolution lightweight methods

4 結束語

本文對空洞卷積應用于輕量化方面的特性進行了研究，提出了基于空洞卷積的輕量化方法：基本空洞卷積輕量化方法、改進型空洞卷積輕量化方法和融合型空洞卷積輕量化方法。經過理論研究與實驗分析，發現基本空洞卷積輕量化方法輕量化同時會造成準確率降低，降低程度兩種因素影響，其一為網絡深度的影響，即深度越深準確率降低越不明顯；其二為網絡宏觀結構的影響，即宏觀結構聚合程度越高準確率降低越不明顯。本文提出的改進型空洞卷積輕量化方法可帶來最好的輕量化效果伴隨著最劇烈的準確率降低程度。融合型空洞卷積輕量化方法可很好綜合速度與精度，在帶來較好的輕量化效果同時，可保留與原網絡相當甚至更高的準確率，具有更好的普適性。