基于密集卷積神經網絡的全卷積池化算法

宋佳霏 宋欣霞 楊賀群 黃若琳

摘 要： 目前用于圖像識別的大多數卷積神經網絡（CNN）都使用相同的原理構建，即：卷積層、池化層、全連接層。文中使用密集卷積神經網絡重新評估了用于圖像識別的所有組件，并對池化層不存在的必要性提出了質疑。經過實驗，分析發現池化層可以由步幅增加的卷積層代替，卻不會降低圖像識別的準確率。研究中則在DenseNets上訓練提出的由卷積層替代池化層的方法，組成新的卷積神經網絡體系結構，并在多個圖像分類的數據集（CIFAR-10，SVHN）上產生了先進的性能。本文提出了基于密集卷積神經網絡（DenseNets）的全卷積池化算法，提高了圖像分類的準確率。最后，在多個經典數據集上進行比較，實驗結果驗證了全卷積池化算法的高效性。

關鍵詞： 全卷積; 池化算法; DenseNets

文章編號： 2095-2163（2021）03-0066-04 中圖分類號：TP391.41 文獻標志碼：A

【Abstract】Most convolutional neural networks （CNN） currently used for image recognition are constructed using the same principles： convolutional layer， pooling layer， and fully connected layer. The paper re-evaluates all the components used for image recognition using dense convolutional neural networks and questions the need for the pooling layer to not exist. After experiments， it is found that the pooling layer can be replaced by a convolutional layer with an increased stride， but it will not reduce the accuracy of image recognition. The research also trains the proposed convolutional layer instead of the pooling layer on DenseNets to form a new convolutional neural network architecture， and produces advanced performance on multiple image classification data sets （CIFAR-10， SVHN）. This paper proposes a fully convolutional pooling algorithm based on dense convolutional neural networks （DenseNets）， which improves the accuracy of image classification. Finally， compared on multiple classic data sets， the experimental results verify the efficiency of the fully convolutional pooling algorithm.

【Key words】 fully convolutional; pooling algorithm; DenseNets

0 引 言

目前，卷積神經網絡（CNNs）在計算機視覺領域占據了主導地位，因其在許多應用中都具有出色的性能，例如圖像分類、物體檢測和姿態估計。從最初問世以來，對網絡體系結構的探索一直是卷積神經網絡模型研究的一部分。為了獲得更高的圖像分類精度，CNN的網絡架構變得越來越深，越來越復雜[1-5]。在神經網絡結構的文獻中，Fahlman等人[6]已經研究了類似于密集網絡結構的級聯結構。研究中是通過逐層方式訓練完全連接的多層感知器。如今，用于進行圖像分類的卷積神經網絡，組成結構幾乎是相同的，包括卷積層、池化層以及全連接層。通常在卷積層、池化層、全連接層之間都會使用激活函數。此后在網絡的訓練期間進行層數的丟棄，從而實現網絡參數的優化。在2014年ImageNet挑戰賽中，頂級參賽作品[7]（Simonyan和Zisserman提出的）通過在池化層之間引入多個卷積或者Szegedy等人[1]提出的通過在每一個網絡層中構建多個模塊的混合卷積池化層。但是分析后卻發現所有新增加的擴展層在不同的網絡體系結構中都有自己的參數和訓練過程，因此在進行圖像分類的任務中，需要不斷實驗能實現最先進的分類效果所實際需要哪些組件。根據以往的經驗，可以先從最簡單的卷積層開始，即整個網絡的池化層完全被卷積層替代，可以使用步幅長度為2，以此來降低圖片的維度。由于在實現降低維度的過程中，是通過步幅為2的卷積層而不是池化層實現的，有研究學者Estrach等人[8]發現這也適用于神經網絡的可逆性問題研究。

1 密集卷積神經網絡模型

1.1 DenseNets模型結構原理

DenseNets采用的是密集連接機制，即互相連接所有的層。每一層都會與前面所有層在channel維度上連接在一起，該層作為下一層的輸入，實現了特征重用的功能。DenseNets主要包括4個創新點，分別是：減少了梯度消失的問題;加強了圖像特征的傳遞;更有效地利用了圖像;一定程度上減少了參數數量。DenseNets網絡連接方式如圖1所示。

在DenseNets中會連接前面所有層作為輸入：DenseNets網絡中，X0，X1，...，Xl-1表示將0～l-1層的輸出圖像特征圖做通道的合并，就像Inception那樣。例如由圖1可看到，第X3層，是由X0，X1，X2的輸出作為輸入。就是在圖1中看到的黃色特征圖的輸入是由紅色、綠色、紫色特征圖的輸出組成。即前面所有層的輸出是這一層的輸入。也可以認為每一層都直接連接輸入層和損失函數，所以可以減輕梯度消失現象。由此可知，在DenseNets中，特征傳遞方式是直接將前面所有層的特征concact后傳到下一層，Hl·代表非線性轉化函數，是一個組合操作，采用的是BN+ReLU+3*3Conv結構。如式（1）所示：

由于DenseNets采用的密集連接方式，所以需要圖像特征圖大小保持一致。所以在DenseNets網絡結構中，使用Dense Block塊和Transition（Convolution、Pooling）結構。Dense Block塊是包含很多層的模塊，每一個層需要圖像特征圖大小相同，層與層之間采用密集連接的方式。這樣就可以實現在每個Dense Block塊內部的圖像特征圖大小統一，在進行concatenation操作時就不會出現特征圖大小不一致的問題。Transition是位于2個不同Dense Blocks塊之間，通過Pooling操作使圖像的特征圖大小降低。

1.2 池化模型理論

1.2.1 最大值池化算法

最經典的池化方法之一是最大值池化。該方法是將原始的輸入數據，進行采樣分塊實現區域選擇，選取每個區域位置的最大值。最大值池化的缺點是無法保留圖片的更多背景信息。最大值池化算法原理可寫為如下形式：

1.2.2 平均值池化算法

平均值池化也是先經過采樣分塊后，再進行的是計算池化域中所有元素的平均值輸入到下一層。平均值池化并不會只考慮最大的特征，而是考慮全局的元素值。所以，平均值池化后將不會保留特征圖的最大特征信息。平均值池化算法公式可寫為：

但需要指出的是，如果特征圖中有很多零元素，則特征圖的特性將大大降低。

2 全卷積池化算法

本文在實驗中用步長為2的標準卷積層替換了DenseNets網絡中存在的池化層。為了驗證此種方案替換的可行性，這里涉及的用于定義CNNs中卷積層和池化層操作的數學公式為：

其中，f表示卷積神經網絡中某一層產生的特征圖像。該特征圖可以將其描述尺寸為W×H×N的3維數組，而W表示寬度，H表示高度，N表示通道數;k表示池化域的大小，k/2表示池化域一半的長度;步幅長度為r;gh，w，i，j，u=r·i+h，r·j+w，u是從s的位置映射到f的步長映射關系;p是階數范式。如果r>k，則池化區域不會重疊;但是，當前的卷積神經網絡架構通常包括k=3和r=2的池化重疊區域。

其實，池化層可以看作是按特征圖大小進行卷積，其中將激活函數替換為p范式。因此，在這里有一個疑問，為什么要在網絡層中引入這種特殊的層。也就是說池化層為什么可以幫助CNNs更好地提取特征。本次研究給出3種解釋：p范式表示的CNNs更加具有不變性;通過池化操作后的空間維數會減少，在較高層中網絡有可能會輸入較大的圖像;池化操作的特征提取功能可以使網絡優化變得更加容易。

研究中先假設只有通過池化執行的降維操作對CNNs有著至關重要的作用。現在就可以用步長大于1的普通卷積層替換池化層。比如說對于k=3且r=2的池化層，可將其替換為具有相應步幅和卷積核大小的卷積層，輸出通道數等于輸入通道數。其實刪除池化層的研究已然有了一些工作成果，LeCun等人[9]提出將池化層稱為子采樣層，這就指出后續研究可以使用不同的操作進行子采樣。

3 實驗分析

3.1 實驗環境

在本次研究中，所有的實驗都是在內存大小為32 G RAM，操作系統是Ubuntu16.04 LTS的計算機上運行。使用開源的機器視覺庫OpenCV，深度學習框架為TensorFlow。可公開獲得的cuda-convnet[10]軟件包用于使用單個NVIDIA GeForce GTX 1080TI GPU進行實驗，另外CPU版本為Intel（R） Core（TM） i7-8700 CPU@3.20 GHz 3.19 GHz。以上算法均采用Python語言實現。

3.2 數據集

本文所使用的數據CIFAR-10數據集包括10個類別，是由32*32像素的自然彩色圖像組成的集合。研究中遵循CIFAR-10的通用實驗協議，即選擇50 000張圖像進行訓練，選擇10 000張圖像進行測試。實驗中網絡的參數是通過10 000張在驗證集上的錯誤率來選擇的。過程中仍然遵循標準Nesterov Adam優化器，其momentum為0.9，mini-batch（最小批量）為128。

街景門牌號碼（SVHN）數據集，包含了32*32彩色數字圖像。訓練集中有73 257張圖像，測試集中有26 032張圖像，驗證集有531 131張圖像。仿真時是按照3：1的比例劃分訓練集和測試集，同時使用momentum為0.9的動量和0.000 1的權重衰減來訓練網絡。最小批量大小設置為128，初始學習率設置為0.001。同樣，訓練100個epochs，每個epoch有20次迭代。

3.3 實驗結果及分析

為了驗證本文提出的全卷積替代池化的算法對圖像分類的效果，文中是以DenseNets網絡結構為基礎，比較了3組使用不同池化方法的實驗。與最大值池化和平均值池化進行了比較，以此證明網絡性能的提高。實驗在2個基準圖像分類數據集上評估了性能，包括CIFAR-10和SVHN數據集。

在CIFAR-10數據集上的實驗結果見表1，在DenseNets中針對all-conv pooling操作后100個epochs后圖像分類在訓練集和測試集上的準確率的變化趨勢見圖2。從表1和圖2中可以看出，DenseNets中所提出的all-conv pooling在測試集上的準確性分別為90.48%。所提出的all-conv pooling在測試集上的準確率明顯高于DenseNets中平均值池化和最大值池化的準確率。這也證明了所提出的all-conv pooling優于DenseNets中現有的最先進的最大值池化和平均值池化的結果。另外，還可以在圖2中看到，隨著DenseNets中的3種池化方法在CIFAR-10數據集上訓練的epochs增加，測試集上的準確率和訓練集上的準確率的總體趨勢是越來越好。研究中提出的all-conv pooling是具有最高的圖像分類準確率。這表明所提出的all-conv pooling優于DenseNets中的其他2種經典池化方法，即：平均值池化和最大值池化，并且可以解決過擬合問題。

在SVHN數據集上的實驗結果見表2，在實驗過程中同樣訓練100個epochs。圖3展示了在測試集上的準確率和訓練集上的準確率。由圖3可以看出，在測試集上DenseNets中all-conv pooling的準確率為94.70%。具有all-conv pooling的DenseNets超過了傳統的平均值池化和最大值池化，獲得當前的最佳結果。另外，由圖3中也可以看到，在DenseNets中，對于3種池化方法，隨著SVHN數據集上訓練輪數的增加，測試集上的準確率和訓練集上的準確率的總體趨勢會越來越好。all-conv pooling具有最高的測試準確率。研究所提出的all-conv pooling通過比較得知，證明了所提出的all-conv pooling的優越性。

4 結束語

針對卷積神經網絡池化層中經典的最大值池化和平均值池化無法更詳細地提取圖像特征圖的有效信息。本文對DenseNets網絡結構的池化層進行了優化，提出了新的卷積層替代池化層的方法從而學習到原圖像特征圖中更多的有用特征。本文利用CIFAR-10和SVHN數據集對all-conv pooling方法進行測試，2組數據集均不做數據增強處理，并根據同一評價指標對比分析了相應的圖像結果，實驗結果表明，all-conv pooling方法能提高圖像分類的準確度。

參考文獻

[1] ?SZEGEDY C， LIU Wei， JIA Yangqing， et al. Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston， MASSACHUSETTS： IEEE，2015：1-9.

[2] SIMONYAN ?K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv：1409.1556， 2014.

[3] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas， NV， USA：IEEE， 2016：770-778.

[4] XIE S， GIRSHICK R， DOLLAR P， et al. Aggregated residual transformations for deep neural networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， Hawaii：IEEE， 2017：5987-5995.

[5] HOWARD A G， ZHU Menglong， CHEN Bo， et al. Mobilenets： Efficient convolutional neural networks for mobile vision applications[J]. arXiv preprint arXiv：1704.04861， 2017.

[6] FAHLMAN S E， LEBIERE C. The cascade-correlation learning architecture[M]// TOURETZKY D S. Advances in Neural Information Processing Systems2（NIPS）. Los Altos， CA：Morgan Kaufmann， 1990：524-532.

[7] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv：1409.1556， 2014.

[8] JOAN B， ARTHUR S， LECUN Y. Signal recovery from pooling representations[C]//1st International Conference on Machine Learning（ICML 2014）. Beijing， China：International Machine Learning Society（IMLS）， 2014：1585-1598.

[9] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998，86（11）：2278-2324.

[10]KRIZHEVSKY A. cuda-convnet[EB/OL]. http：//code.google.com/p/cuda-convnet/.