全卷積多并聯殘差神經網絡

李國強，張 露

(燕山大學 河北省工業計算機控制工程重點實驗室，河北 秦皇島 066004)

1 引 言

近年來，深度學習在語音識別[1,2]，自然語言處理[3]和計算機視覺[4,5]等許多領域取得了很大成就，也吸引了越來越多的研究者關注到深度學習這個領域.深度學習起源于人類對大腦的研究，研究深度學習的目的就是讓機器通過建立模型來像人類大腦一樣具有學習的能力.為了進一步發展深度學習，研究人員提出了各種深度學習算法和模型來解決不同的問題，其中一些最流行的深度學習模型包括卷積神經網絡(Convolutional Neural Networks,CNN)[4，5]，深度信念網絡(Deep Belief Networks,DBN)[6,7]，遞歸神經網絡(Recurrent Neural Network，RNN)[8]和生成性對抗網絡(Generative Adversarial Network,GAN)[9]等.

卷積神經網絡作為一種典型的深度學習模型，有局部連接和權值共享的特點，擅長提取局部特征，而且具有比其他神經網絡模型更少的參數.卷積神經網絡最早是在20世紀90年代由LeCun[10]等人提出的，他們設計了一個名為LeNet-5的多層卷積神經網絡，實現了對手寫數字的分類.LeNet-5為CNN在圖像識別中的應用奠定了基礎.2012年，Krizhevsky等人[4]在LeNet-5基礎上提出AlexNet并且實現了對ImageNet數據集的分類，AlexNet網絡使用了與LeNet-5不同的relu激活函數，加入了數據增強和dropout[11]兩種防止過擬合的方法，實驗中在多個GPU上進行訓練.但是這樣的卷積神經網絡也依然存在很多問題，例如隨機梯度下降算法隨著網絡復雜度的增加難以優化并且容易陷入局部最優；隨著網絡層數的增加，網絡的復雜度和計算量也大量增加；如何在提高網絡識別效果的同時減少計算成本成為研究的目標.針對這個目標，研究人員提出了一些卷積神經網絡模型，典型的如VGGNet[5]，GoogLeNet[12]和殘差神經網絡(Resnet)[13].這些網絡的結構變得越來越深，效果也越來越好.

Resnet是2015年由何凱明等人提出的，此前的卷積神經網絡都是讓網絡學習輸入數據和輸出數據之間的函數關系，而殘差網絡是用學習差值函數代替直接學習輸入輸出間的函數關系，這樣學習起來更容易.殘差網絡的層數可以達到數百層，解決了層數比較深的時候無法訓練的問題.殘差網絡的提出改變了原始卷積網絡的結構，此后很多殘差網絡的改進結構被提出.Sergey Zagoruyko和Nikos Komodak[14]認為在訓練非常深的殘差網絡時存在一個特征重用的問題，這使得這些網絡訓練非常慢，所以他們提出了一種更淺但更寬的結構，稱為寬殘差網絡(Wide Residual Network，WRN)，并且在數據集(CIFAR,SVHN,COCO和 ImageNet)上證明了WRN的有效性.Saining Xie等人[15]提出了ResNeXt，用組卷積替換原始Resnet的三層卷積單元，并擴展了卷積層的輸入和輸出通道的數量.ResNeXt中的這些改進在沒有顯著增加網絡參數的情況下提高了準確度.Huang G等[16]提出了密集連接卷積網絡(Densely Connected Convolutional Networks，Densenet)，用密集連接單元代替了殘差單元，密集單元中的每一層都從前面所有的層獲得額外的輸入，并將每層的輸出都傳遞給所有后續層.此外還有許多先進的Resnet改進網絡，例如Dual Path Networks[17].

本文在三個數據集(MNIST，CIFAR-10和CIFAR-100)上對FCM-Resnet模型進行了評估.結果表明，所提出的網絡比Resnet，InceptionV3[18]，InceptionResnetV2[19]和Densenet121[16]具有更好的分類精度和泛化能力.

本文的具體結構如下：第2節回顧了殘差神經網絡的結構和算法，分析了該結構存在的缺點.第3節提出了全卷積多并聯殘差神經網絡，分析了該網絡的優勢.為了測試FCM-Resnet的性能，在第4節中給出了實驗的結果.第5節總結了本文.

2 殘差神經網絡

殘差神經網絡作為卷積神經網絡一個典型模型，遵循傳統卷積神經網絡的設計原則和結構，也是由卷積層，池化層和分類層組成的.與傳統卷積神經網絡的主要區別在于Resnet引入了輸出和輸入之間的跨層連接，如圖1所示，在每幾個卷積層之間引入跨層連接就相當于把網絡拆成了殘差塊的結構，由之前的網絡學習輸入輸出函數改成了學習每個殘差單元輸入輸出的差值函數，這樣的結構使得網絡的層數可以設計地很深而且更容易學習.

圖1 殘差單元 Fig 1 Resnet unit

在結構上，Resnet由相同連接形狀的殘差單元組成，每個殘差單元由若干卷積層組成.輸入的圖片由這些卷積層提取特征，之后再被送入到一個平均池化層和最后的分類層.殘差單元的基本結構如圖1所示，每個殘差單元可由公式(1)表示：

xl+1=xl+F(xl)

(1)

式中xl和xl+1分別代表第l個殘差單元的輸入和輸出，F(?)是殘差函數.

根據公式(1)可以得到：

xl+2=xl+1+F(xl+1)

=xl+F(x1)+F(xl+1)

(3)

式中xL表示第L個殘差單元的輸出.

從公式(3)可以看出，任何一個殘差單元的輸出xL都可以由任何之前的殘差單元的輸入計算得出.進而，當網絡輸入一張圖片時，可以根據上面的公式計算得到最后一個殘差單元的輸出，然后再把該輸出送到一個平均池化層和分類層.最后的分類結果與理想值之間根據損失函數計算得到損失值，再由損失值反向傳播調整權值.

(4)

(5)

公式(5)與公式(4)相比可以看出，任何殘差單元除了最后一個卷積層的梯度信息可以直接獲得以外，其他的卷積層均不能直接從最后的梯度獲得，這將減少原始梯度信息的傳遞.當每個殘差單元的卷積層數增多時，會有更多的卷積層不能直接獲得梯度信息.針對這個問題，在下一節提出全卷積多并聯殘差神經網絡.

3 全卷積多并聯殘差神經網絡

在本節中，提出了一種全卷積多并聯殘差網絡(FCM-Resnet)，以進一步改善原始梯度信息的傳遞，其結構如圖2所示.FCM-Resnet在殘差神經網絡的基礎上增加了更多的跨層連接，有效改善了網絡的性能.在Resnet中，只有一部分卷積層在反向傳播中直接得到原始梯度信息，而在FCM-Resnet中，每個卷積層的特征將被送到平均池化層，原始梯度信息也可以直接傳遞給任何卷積層.

圖2 全卷積多并聯殘差神經 網絡的結構 Fig 2 Structure of FCM-Resnet

3.1 FCM-Resnet的結構

由圖2可以清楚地看出FCM-Resnet的結構，該結構可以看做是由有兩個部分組成，一個是由卷積層組成的若干殘差單元，這部分用來提取圖片的特征.另一個是平均池化層和分類層，所有卷積層提取的特征都連接到平均池化層以獲得更多的信息，最后再由分類層得到網絡輸出.每個殘差單元通常由兩個或三個卷積層組成[14]，如圖3所示.圖3(a)是由三個卷積層組成的殘差單元，兩個1×1卷積包圍一個3×3卷積，圖3(b)是兩個3×3卷積組成的殘差單元.本文采用第二種方法.

3.2 FCM-Resnet的計算過程

前向傳播過程中，殘差單元的計算過程如公式(1)-公式(3).殘差單元中的每個卷積層除了輸出到它的下一層還輸出到了平均池化層.由于每一層輸出的特征圖大小不同，為了實現后續的計算，每一個卷積層的輸出在輸入到平均池化層之前要先進行統一化，規則如下：

圖3 常用的兩種殘差單元 Fig 3 Two general residual units

1)當該卷積層的輸出維度與最后一個殘差單元的輸出維度相同時，使用公式(6).

f(xi)=xi

(6)

2)當該卷積層的輸出維度與最后一個殘差單元的輸出維度不相同時，使用公式(7).

f(xi)=conv(xi)

(7)

式中conv(?)代表核為1×1的卷積運算.

本文采用直接相加的方法把每個卷積層得到的特征圖匯聚到平均池化層，平均池化層的輸入xave為：

公式(8)中，xi是第i個卷積層的輸出，n是網絡中卷積層的個數.g(·)由公式(6)和公式(7)決定.

由公式(1)-公式(3)和公式(8)可以得到：

(9)

把相加得到的特征圖xave經過平均池化運算最后連接到分類層.從公式(9)可以看出FCM-Resnet在前向傳播中保留了更多原始信息.

(10)

(11)

從公式(10)和公式(11)可以看出，每個殘差單元里的所有卷積層的梯度計算方法相同，均有直接傳遞的梯度信息，解決了Resnet網絡存在的只有一部分卷積層直接獲得原始梯度信息的問題.

4 實 驗

4.1 數據集

為了測試FCM-Resnet的有效性和分類能力，將所提出的方法與Resnet在三個數據集(MNIST，CIFAR-10，CIFAR-100)上進行比較.

MNIST[11]是圖像分類問題中最經典的數據集，由6萬張訓練圖片和1萬張測試圖片組成，每張都28×28是大小的黑白圖片，表示從0到9的數字.

CIFAR數據集[20]是一個彩色圖片分類數據集，大小為32×32，CIFAR包含CIFAR10[1]和CIFAR-100.CIFAR10由10類(每類6000張)組成，CIFAR-100數據集分為100類(每類600張)，其中5萬張圖片進行訓練，其余的1萬張進行測試.

4.2 實驗細節

本實驗平臺為一個Nvidia TITAN Xp GPU(12GB)，編程環境為python3.6,使用的深度學習框架為TensorFlow[21].實驗中的批次大小設置為128，采用adam[22]和momentum優化方法，實驗結果在有限次的迭代中得到.

本文對MNIST和CIFAR數據集設計了兩個FCM-Resnet網絡結構，分別是用于數據集MNIST和CIFAR-10的56層FCM-Resnet-56網絡，另一個是用于CIFAR-10和CIFAR-100的110層FCM-Resnet-110，兩種結構如表1所示.網絡的卷積部分分成三個塊(如表1中的block1、block2和block3)，每個塊包含9個或18個殘差單元.每個殘差單元的具體過程：一個卷積(Conv)，一個Relu計算，然后是一個卷積(Conv)和批量歸一化(BN)[23]，最后添加輸入和輸出之間的連接.為了對比改進前后的效果，每個FCM-Resnet網絡對應一個相同參數設置的Resnet網絡.

表1 FCM-Resnet的兩個網絡模型
Table 1 Two network models of FCM-Resnet

networkFCM-Resnet-56FCM-Resnet-110convolution3×3conv3×3convblock13×3stride=13×3stride=1 ×93×3stride=13×3stride=1 ×18block23×3stride=13×3stride=1 ×8,3×3stride=23×3stride=1 ×13×3stride=13×3stride=1 ×17,3×3stride=23×3stride=1 ×1block33×3stride=13×3stride=1 ×8,3×3stride=23×3stride=1 ×13×3stride=13×3stride=1 ×17,3×3stride=23×3stride=1 ×1averagepoolingbatch_size×64batch_size×256classificationbatch_size×num_clasessbatch_size×num_clasess

(方括號內部是殘差單元的形狀，外部是殘差單元的數量)

(Inside the brackets are the shape of a residual unit,the outside is the number of stacked units)

實驗中除了FCM-Resnet網絡和Resnet網絡的對比之外，還與其他三個網絡的結果進行對比，三個網絡模型分別是110層的Inceptionv3，256層的InceptionResnetV2和121層的Densenet121.由于這三個網絡的層數較多，為了在MNIST和CIFAR-10數據集上實現更好的分類效果，在實驗時將輸入圖片大小先變為139×139，再輸入網絡進行訓練和測試.

4.3 實驗結果對比

如表2所示，在7個網絡上對MNIST和CIFAR- 10數據集進行實驗.在2000次迭代時,對于MNIST數據集，FCM-Resnet-56的測試精度達到99.57%，而Resnet-56的準確度為99.54%，提高了約0.03個百分點.FCM-Resnet-110的測試精度為99.63%，而Resnet-110的準確度為99.61%，提高了約0.02個百分點.FCM-Resnet與Resnet相比顯示出更好的結果.此外，FCM-Resnet-56與InceptionV3，InceptionResnet-V2和Densenet121三個網絡相比，分別提高了0.36個、0.35個和0.67個百分點.FCM-Resnet-110與InceptionV3，InceptionResnetV2和Densenet121三個網絡相比，分別提高了0.42個、0.41個和0.73個百分點.對于CIFAR10，迭代5萬次時的測試精度均在表2中列出，可以看出，FCM-Resnet與Resnet，InceptionV3，InceptionResnetV2和Densenet121相比有更高的準確率.隨著迭代次數的增加，損失越來越小，CI-FAR10在Resnet-110和FCM-Resnet-110網絡上的損失曲線如圖4所示，從圖中可以看出FCM-Resnet-110的損失下降的速度更快，而且損失值也最低.在Resnet-110和FCM-Resnet-110兩個網絡上對CIFAR100數據集進行實驗，迭代5萬次得到的損失曲線如圖5所示，準確率如表3和圖6所示.對于CIFAR100，Resnet-110的top1準確率僅達到72.48%，而FCM-Resnet-110達到74.11%，提高了約 1.63 個百分點.Resnet-110的top5準確率為91.11%，而FCM-Resnet-110為91.50%，提高了約 0.39個百分點.從圖5中也可以看出FCM- Resnet-110的損失下降的速度更快，而且損失值也最低.總而言之，FCM-Resnet實現了更高的準確率和更好的泛化能力.

表2 MNIST和CIFAR10的測試正確率
Table 2 Test accuracy on MNIST and CIFAR10

MNIST(%)CIFAR10(%)InceptionV399.2188.00Inception-ResnetV299.2287.87Densenet12198.9088.31Resnet-5699.5489.70FCM-Resnet-5699.5790.19Resnet-11099.6190.39FCM-Resnet-11099.6390.58

圖4 FCM-Resnet-110和Resnet-110在CIFAR-10 數據集上的損失曲線Fig.4 Loss curve of FCM-Resnet-110 and Resnet-110 on CIFAR-10 dataset

圖5 FCM-Resnet-110和Resnet-110在CIFAR-100 數據集上的損失曲線Fig.5 Loss curves of FCM-Resnet-110 and Resnet-110 on the CIFAR-100 dataset

表3 CIFAR100數據集的測試正確率
Table 3 Test accuracy on CIFAR100 dataset

CIFAR100top1(%)CIFAR100top5(%)Resnet-11072.4891.11FCM-Resnet-11074.1191.50

圖6 FCM-Resnet-110和Resnet-110在CIFAR-100 數據集上的準確率曲線Fig.6 Accuracy curves of FCM-Resnet-110 and Resnet-110 on the CIFAR-100 dataset

5 總 結

本文簡單回顧了Resnet網絡，并分析了其優缺點，針對Resnet的反向傳播過程只有一部分卷積層可以直接獲得梯度信息這一問題，提出了FCM- Resnet，有效改善了梯度問題，使網絡的分類性能得到提高.實驗結果表明，所提出的模型可以獲得比Resnet更好的分類結果.但是，在未來的工作探索中仍然存在一些問題.一個問題是如何進一步提高FCM-Resnet的穩定性，另一個具有挑戰性的問題是如何在保證較高正確率的前提下減少網絡參數和訓練時間.