特征融合型卷積神經(jīng)網(wǎng)絡(luò)的語義分割

馬冬梅，賀三三，楊彩鋒，嚴(yán)春滿

西北師范大學(xué) 物理與電子工程學(xué)院，蘭州 730070

1 引言

深層卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network，DCNN）在圖像識別[1-2]、物體檢測[3-4]和關(guān)系分類[5]方面有很好的應(yīng)用。DCNN的內(nèi)在不變性可以學(xué)習(xí)到密集抽象的特征，比傳統(tǒng)根據(jù)樣本特征設(shè)計的系統(tǒng)性能要好很多。在分類任務(wù)中，這種不變性是很重要的，但是在密集的預(yù)測任務(wù)中卻會產(chǎn)生不利影響。例如在語義分割中不需要抽象的空間信息，而是需要更加精細(xì)的定位能力。

DCNN 應(yīng)用于語義分割面臨以下三個問題：（1）特征分辨率遞減；（2）不同尺度物體的存在導(dǎo)致目標(biāo)特征丟失；（3）DCNN的不變性使得定位精度下降。

問題（1）是由于重復(fù)組合DCNN 中最大池化引起的。在全卷積的DCNN中[6]，由于多次使用最大池化層，導(dǎo)致了特征圖的空間分辨率成倍降低。本文通過設(shè)置步長取消VGG-16的最后兩個下采樣操作（通過最大池化進(jìn)行的下采樣），并采用空洞卷積，通過產(chǎn)生更密集的特征圖來解決這一問題。和常規(guī)的卷積相比較，空洞卷積可以在不增加參數(shù)量和計算量的情況下有效地擴(kuò)大濾波器的感受野。

問題（2）是由多尺度物體的存在引起的。其中一個解決辦法是在DCNN 的輸入端并列地提供不同尺度的圖像的縮放版本，然后融合特征圖[7]。這種方法在實驗中的確提高了系統(tǒng)的性能，但是要對輸入圖像的多尺度縮放版本計算特征響應(yīng)，計算量很大。本文以并行的多個采樣率的空洞卷積重新采樣特定的特征層，這就相當(dāng)于用多個濾波器提取原始圖像的特征。多采樣率的空洞卷積還具有不同尺度的視野，進(jìn)而在不同尺度上捕獲物體的有用信息。

問題（3）涉及到的空間變換不變性是以物體為中心的分類器，這一特性固有地限制了DCNN的空間定位精度。本文采用跳躍層結(jié)構(gòu)從多個網(wǎng)絡(luò)層提取特征可以捕獲細(xì)節(jié)能力，另外本文采用文獻(xiàn)[8]提出的全連接條件隨機(jī)場。全連接條件隨機(jī)場能夠捕獲邊緣的細(xì)節(jié)，同時也適應(yīng)長距離的依賴，計算更有效，很大程度上提高了像素級分類器的性能。

2 相關(guān)研究

通過樣本分析來設(shè)計特征的單一分類器的傳統(tǒng)方法，如支持向量機(jī)（Support Vector Machine，SVM），在語義分割中取得了很好的成績，但是這些系統(tǒng)的缺點是所表達(dá)的特征有限。近幾年深度學(xué)習(xí)在圖像分類中取得了很好的成績，進(jìn)而轉(zhuǎn)移到了語義分割的任務(wù)中[9]。通過提供密集的像素標(biāo)簽類別，DCNN可以進(jìn)行端到端的密集的像素預(yù)測，以至于可以脫離分割這一步驟。

圖1 本文算法結(jié)構(gòu)和DeepLab-ASPP對比圖

基于深度學(xué)習(xí)的語義分割在這幾年發(fā)展迅速，取得了重大突破，主體框架大體可分為VGGNet（Visual Geometry Group Network）和ResNet（Residual Network）兩大系列。VGGNet 系列有FCN（Fully Convolutional Network）、SegNet[10]、U-Net[11]、DeepLab[12]等。ResNet 系列有PSPNet（Pyramid Scene Parsing Network）[13]、ICNet[14]、BiSENet（Bilatel Segmentation Network）[15]、DeepLab V3+[16]等。基于ResNet 主框架的網(wǎng)絡(luò)引入了殘差結(jié)構(gòu)，層數(shù)比VGGNet 系列翻了好幾倍，提高了收斂效果，取得了比VGGNet整體水平優(yōu)異的結(jié)果，但是考慮到網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，以及對硬件設(shè)施的高性能要求，本文主要針對主體框架為VGGNet 結(jié)構(gòu)的網(wǎng)絡(luò)展開研究。文獻(xiàn)[6]將DCNN 以全卷積（FCN）的方式應(yīng)用于整個圖像數(shù)據(jù)集，完全脫離了分割方法，用卷積層代替VGG-16 的最后三層全連接層，然后利用反卷積將分辨率恢復(fù)為原圖大小，從而進(jìn)行語義分割的密集預(yù)測。文獻(xiàn)[6]通過對中間的特征圖進(jìn)行上采樣，然后進(jìn)行多特征圖像的融合，進(jìn)一步提高了定位精度，取得了更好的語義分割效果，但是由于引入卷積核為7 的卷積，大大增加了模型參數(shù)，從而增大了計算負(fù)擔(dān)。文獻(xiàn)[17]引入了級聯(lián)的不同采樣率的空洞卷積來聚合多尺度上下文信息。文獻(xiàn)[12]對FCN進(jìn)行改進(jìn)，用3×3的卷積來取代第14層的7×7卷積層，減少了模型參數(shù)，從而加快了收斂速度。文獻(xiàn)[18]引入了并聯(lián)的不同采樣率的空洞卷積，提取不同尺度目標(biāo)的特征，改進(jìn)了密集預(yù)測效果，如圖1（a）所示。這些方法從不同的側(cè)面對VGG-16進(jìn)行改動，從而達(dá)到密集預(yù)測的效果，但沒有整體性地考慮。本文從多方面考慮，用3×3的卷積來代替VGG-16的第一個全連接層，這里卷積層采用并聯(lián)的采樣率為r=6,12,18,24 的空洞卷積來提取不同尺度的特征信息，用卷積核為1×1的卷積代替VGG-16的后兩個全連接層，來進(jìn)行特征圖的降維。并且在VGG-16 主框架的Pool3 和Pool4 層中用卷積核為3×3的卷積進(jìn)行淺層特征的提取，同樣用1×1的卷積來對提取的淺層特征進(jìn)行降維，并進(jìn)行最后的特征圖融合，如圖1（b）所示。

3 算法介紹

選擇一個合適的主體框架是語義分割系統(tǒng)的首要任務(wù)，通過調(diào)研本文選擇VGGNet 作為主體框架，主要是基于以下三點來考慮的：

（1）VGGNet 有很強(qiáng)的特征提取能力，在遷移學(xué)習(xí)方面的表現(xiàn)要優(yōu)于AlexNet和GoogLeNet。從圖像中提取CNN特征的算法中，VGGNet是首選[6]。

（2）基于ResNet 網(wǎng)絡(luò)的語義分割系統(tǒng)，取得了良好的語義分割效果，但層數(shù)是VGGNet 的數(shù)倍，系統(tǒng)結(jié)構(gòu)復(fù)雜，以及對硬件設(shè)施有高性能要求[16]。

（3）基于VGGNet主體框架的FCN網(wǎng)絡(luò)的跳躍層結(jié)構(gòu)在沒有增加網(wǎng)絡(luò)深度的情況下拓寬網(wǎng)絡(luò)的寬度，提高了語義分割的精度，結(jié)構(gòu)較基于ResNet 網(wǎng)絡(luò)語義分割系統(tǒng)簡單[6]。

基于以上考慮，本文選擇VGGNet作為語義分割系統(tǒng)的主體框架。采用在ImageNet 圖像分類任務(wù)（1 000類）中訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)VGG-16來進(jìn)行參數(shù)初始化，算法在主框架VGG-16的淺層（Pool3，Pool4）中分別使用卷積核為3 的卷積的跳躍層結(jié)構(gòu)來提取淺層特征，通過使用跳躍層結(jié)構(gòu)可以提高目標(biāo)的定位能力。同時用3×3 的采樣率為r=6,12,18,24 的卷積來代替全連接層，這樣可以對不同尺度的目標(biāo)特征進(jìn)行有效的提取，對所提取的特征圖用1×1的卷積進(jìn)行降維。最后進(jìn)行特征圖像的大融合。因為采用下采樣后的標(biāo)簽圖來進(jìn)行訓(xùn)練，所以為了恢復(fù)到原始圖像的分辨率，采用雙線性插值對得分圖進(jìn)行上采樣，然后用全連接條件隨機(jī)場（Conditional Random Field，CRF）優(yōu)化分割結(jié)果。基于VGG-16算法模型的改動部分如圖1（b）所示，流程圖如圖2所示。

圖2 本文算法流程圖

4 關(guān)鍵技術(shù)介紹

4.1 空洞卷積

在文獻(xiàn)[18]中，作者進(jìn)行多次實驗，在Fc6層使用的卷積核為7、4、4、3，對應(yīng)的采樣率為4、4、8、12，共4組不同的實驗進(jìn)行對比。發(fā)現(xiàn)當(dāng)卷積核為3×3，采樣率r=12時，模型與CRF能達(dá)到最好的平衡。故在本文算法中為了達(dá)到類似的平衡，同樣采用卷積核為3×3，采樣率r=12 的空洞卷積。假使卷積核的大小用ksize表示，空洞卷積感受野可以用以下公式來表示：

由以上公式計算得：感受野從3×3 變?yōu)?7×47，在Fc6 層中引入r=12 的空洞卷積，也就是在3×3 的卷積核中每行列各空開11個位置，也就是所謂的“空洞”，這些空洞不參與計算，通過提高卷積層的感受野，空洞卷積可以計算到圖像更大范圍的響應(yīng)。雖然濾波器的尺寸增大了，但是在計算中只考慮非“空洞”的濾波器的值。因為濾波器參數(shù)數(shù)量保持不變，所以沒有增加計算量，并且空洞卷積可以簡單直接地控制卷積神經(jīng)網(wǎng)絡(luò)的特征響應(yīng)的空間分辨率，從而可以提取更多的特征，實現(xiàn)更密集的訓(xùn)練。

4.2 并聯(lián)的不同采樣率的空洞卷積

在Fc6層中并聯(lián)地引出4條支路，分別用3×3，r=6,12,18,24 的空洞卷積進(jìn)行特征提取，如圖1（b）所示，使用不同采樣率的多個并行的空洞卷積，相當(dāng)于用多個不同視野的濾波器提取原始圖像特征，進(jìn)而捕獲物體的不同尺度的有用信息。在每個空洞卷積提取的特征中再進(jìn)一步單獨降維處理，融合每一分支的特征圖。

4 條支路是在VGGNet 的主體框架上的橫向擴(kuò)展，4 條支路結(jié)構(gòu)相似，唯一區(qū)別就是支路首端Fc6 層的成倍增加的采樣率，從技術(shù)上來講，實現(xiàn)起來和1條支路的難度是一樣的，比較簡單。4 條支路的Fc6 層的每個卷積核的參數(shù)量為3×3，4條支路的卷積核參數(shù)為3×3×4，共36個訓(xùn)練參數(shù)。而在全卷積神經(jīng)網(wǎng)絡(luò)中的Fc6層使用的是7×7的卷積，為49個訓(xùn)練參數(shù)。從一個側(cè)面來分析，參數(shù)越少，訓(xùn)練每迭代一次的時間就少，會提高訓(xùn)練的效率。

在本地與FCN-32s進(jìn)行實驗對比，批次設(shè)為1，對比結(jié)果如表1所示。較FCN采用的7×7的卷積，本文算法采用4 條并聯(lián)的不同采樣率的卷積的支路，占用內(nèi)存小，計算效率高。

表1 采用并聯(lián)的不同采樣率的空洞卷積層的本文算法與FCN-32s的比較

4.3 結(jié)合淺層信息的特征圖融合

因為在卷積神經(jīng)網(wǎng)絡(luò)中有池化層的存在，所以特征提取的過程也是特征消失的過程，為了彌補(bǔ)這種特征的消失，將Pool3、Pool4 層輸出的特征圖融合進(jìn)最后的得分圖中，當(dāng)考慮最大融合（融合Pool2，Pool1）時，出現(xiàn)了梯度更迭困難，實驗效果反而不如只融合Pool3、Pool4層，因此本文在融合完P(guān)ool3、Pool4層之后沒有繼續(xù)融合。

具體操作方法是在Pool3 和Pool4 中引出兩條特征提取的支路，使用3×3，r=1 的卷積進(jìn)行特征提取，并且與多采樣率的空洞卷積所提取的特征圖進(jìn)行融合，將粗的高層信息與細(xì)的底層信息結(jié)合起來，如圖1（b）所示。本文算法從幾個聯(lián)合學(xué)習(xí)的端到端學(xué)習(xí)流中進(jìn)行訓(xùn)練和預(yù)測，將精細(xì)層和粗層相結(jié)合，能夠?qū)θ纸Y(jié)構(gòu)進(jìn)行細(xì)化預(yù)測。在跳轉(zhuǎn)時，得分層參數(shù)零初始化，這樣就不會干擾到其他流的現(xiàn)有預(yù)測。不同類型的特征圖融合可以在一定程度上提高語義分割的精度。

4.4 全連接條件隨機(jī)場

具有多個最大池化層的深層模型有很好的分類性能，然而空洞卷積帶來的大的感受野和模型固有的不變性不能得到很好的目標(biāo)定位，只能產(chǎn)生平滑的響應(yīng)。

在處理多類圖像分割和標(biāo)簽任務(wù)時，常見的方法是用條件隨機(jī)場（CRF）對圖像的像素或者圖像塊進(jìn)行最大后驗推理。CRF勢能包含平滑項，使相似像素之間的標(biāo)簽一致性最大化，可以建立類之間的上下文關(guān)系[8]。

CRF 起初被用于平滑有噪聲的分割圖[19]。算法的分?jǐn)?shù)圖通常相當(dāng)平滑，并且能產(chǎn)生和結(jié)果一致的分類，因為算法的最終目標(biāo)不是實現(xiàn)進(jìn)一步的平滑，而是獲得詳細(xì)的局部細(xì)節(jié)，所以與短距離的CRF結(jié)合的效果不好。

為了克服短程CRF的這些局限性，本文算法將全連接CRF模型集成到語義分割系統(tǒng)中。全連接CRF應(yīng)用于語義分割的后期推理有如下優(yōu)點：

（1）可以提高算法捕獲精細(xì)細(xì)節(jié)的能力。

（2）能夠捕獲細(xì)微的邊緣細(xì)節(jié)。

（3）能夠適應(yīng)長距離的依賴。

（4）對分割后的邊緣快速地進(jìn)行推理（約0.2 s）[8]。

因為Softmax層的計算是在降采樣后的標(biāo)簽中完成的，所以在預(yù)測時首先要通過雙線性插值來對卷積神經(jīng)網(wǎng)絡(luò)輸出的粗糙的得分圖進(jìn)行上采樣，來恢復(fù)到原始分辨率，繼而用全連接條件隨機(jī)場進(jìn)行最大后驗推理。具體操作方法是：將原圖像和網(wǎng)絡(luò)輸出的預(yù)測圖輸入到全連接條件隨機(jī)場進(jìn)行最大后驗推理，使得相似像素和像素近鄰的標(biāo)簽一致性最大化。

本文算法采用能量函數(shù)如下：

其中，x是像素的標(biāo)簽的賦值，在一元勢能θi(xi)=-lnP(xi)中，P(xi)是由DCNN 計算出的像素值為i的標(biāo)簽分配概率。成對勢能θij(xi,xj)是使用全連通圖進(jìn)行有效的推理，即當(dāng)連接所有圖像像素時：

如果xi≠xj，那么u(xi,xj)=1，否則u(xi,xj)=0，意味著不同標(biāo)簽的像素會被懲罰。表達(dá)式的其余部分使用兩個不同尺度的高斯內(nèi)核，第一個“雙邊”內(nèi)核依賴于像素位置和RGB 顏色，強(qiáng)調(diào)具有顏色和位置相近的像素具有相似的標(biāo)簽。第二個內(nèi)核依賴于像素位置，只考慮位置相近性。超參數(shù)σa、σb、σr控制高斯核的尺度。

4.5 參數(shù)的調(diào)試

在網(wǎng)絡(luò)較深的情況下，加載一個較好的收斂模型的參數(shù)來初始化新模型可以縮短模型的收斂時間[20]，因此用ImageNet 預(yù)訓(xùn)練的VGG-16 的參數(shù)來初始化。在分割系統(tǒng)中，把最后一層的1 000類ImageNet分類器替換為和語義數(shù)量相同的分類器，也就是實驗中的21 類。損失函數(shù)是DCNN 輸出圖中每個空間位置的交叉熵項之和。目標(biāo)是下采樣的標(biāo)準(zhǔn)的語義分割標(biāo)簽圖。用標(biāo)準(zhǔn)的SGD方法對網(wǎng)絡(luò)層的所有權(quán)重進(jìn)行了目標(biāo)函數(shù)的優(yōu)化。DCNN一元項在設(shè)置CRF參數(shù)時是固定的，本文算法的訓(xùn)練和全連接CRF優(yōu)化是分開進(jìn)行的。

采用poly的學(xué)習(xí)策略：

其中，基礎(chǔ)學(xué)習(xí)率base_lr=0.001，迭代次數(shù)iter=20，最大迭代次數(shù)分別設(shè)為max_iter=2×104,4×104,6×104,動量power=0.9，輸入圖像的批次Batch size設(shè)置為8，用于防止過擬合的權(quán)重衰減項weight_decay=0.000 5。DCNN在增強(qiáng)集上微調(diào)訓(xùn)練后，以文獻(xiàn)[4]的方式交叉驗證了CRF參數(shù)。使用默認(rèn)值w2=3 和σr=3，采用從粗略到精細(xì)的搜索方案對來自驗證集的100 個圖像進(jìn)行交叉驗證來搜索w1、σa、σb的最佳值，參數(shù)的初始搜索范圍是，和，然后在第一輪最佳值周圍優(yōu)化搜索步長。

5 實驗結(jié)果分析

5.1 實驗環(huán)境和數(shù)據(jù)來源

實驗方法是用Caffe 框架來實現(xiàn)的[21]，機(jī)器軟硬件配置見表2，在數(shù)據(jù)集PASCAL VOC 2012[22]上訓(xùn)練及評估提出的模型。PASCAL VOC 2012 數(shù)據(jù)集有20 類前景目標(biāo)類和1 個背景類，原始數(shù)據(jù)集包含1 464 張訓(xùn)練圖，1 449 張驗證圖，1 456 張測試圖。本文算法采用的增強(qiáng)數(shù)據(jù)集是額外標(biāo)注產(chǎn)生的10 582 張用來訓(xùn)練的圖像[23]，用21 類的平均像素交疊率（mIOU）以及每類像素的交疊率（IOU）來對語義分割效果進(jìn)行評估[6]。

表2 機(jī)器軟硬件配置

為了對算法的優(yōu)越性進(jìn)行評估，對基于VGGNet的DeepLab-ASPP 和本文算法進(jìn)行對比，訓(xùn)練參數(shù)以及數(shù)據(jù)量均保持一致，參數(shù)設(shè)置如4.5 節(jié)所示。值得注意的是在復(fù)原基于VGGNet 的DeepLab-ASPP 的結(jié)果時，實驗中取得的最好結(jié)果是70.6%的mIOU，比文獻(xiàn)[18]中71.57%的mIOU 低，考慮是因為輸入的批次和迭代次數(shù)、雙顯卡并行運算以及設(shè)備的單雙精度計算等有關(guān)。

5.2 結(jié)果分析

為了驗證語義分割系統(tǒng)的有效性，通過在本地復(fù)現(xiàn)基于VGGNet的DeepLab-ASPP來與本文語義分割系統(tǒng)進(jìn)行對比，在所有訓(xùn)練參數(shù)都一致的情況下，用PASCAL VOC 2012的驗證集來驗證實驗結(jié)果。實驗結(jié)果如表3、表4和圖3所示。

通過表3對比發(fā)現(xiàn)，在同樣批次為8的條件下，在未加CRF 時本文系統(tǒng)的優(yōu)越性稍顯薄弱，在迭代次數(shù)為20 000 的時候，mIOU 提高了 0.3 個百分點；在迭代次數(shù)為40 000的時候，mIOU 都為68.7%，互相持平；在迭代次數(shù)為60 000 的時候，mIOU 提高了0.3 個百分點。加CRF 后，整體對比發(fā)現(xiàn)，本文算法在迭代次數(shù)為20 000的時候mIOU比DeepLab-ASPP+CRF提高了約0.7個百分點；在迭代次數(shù)為40 000的時侯，雙方結(jié)果相似，本文算法稍有優(yōu)勢；在迭代次數(shù)為60 000 的時候，mIOU 提高了0.9個百分點。通過對比發(fā)現(xiàn)本文算法在迭代20 000、40 000、60 000次時均有優(yōu)勢。

表3 本文算法和DeepLab V2不同迭代次數(shù)下的mIOU%

以20 000 次迭代為例，表4 為本文系統(tǒng)和DeepLab V2 系統(tǒng)21 個類別的IOU 的對比結(jié)果。可以看出，在未加全連接CRF 的時候，本文模型有10 個類別的IOU高于DeepLab-ASPP，尤其是自行車、瓶子、貓、椅子、盆栽這幾類的IOU，9 個類的IOU 低于DeepLab-ASPP，比率為10∶9。在加全連接 CRF 之后，有 13 個類別的 IOU 高于DeepLab-ASPP，8個類別的IOU低于DeepLab-ASPP，比率為13∶8。通過對比發(fā)現(xiàn)，本文算法在迭代次數(shù)為20 000的時候，語義分割效果優(yōu)于DeepLab V2系統(tǒng)。

表4 20 000次迭代下本文算法與DeepLab V2的IOU和mIOU對比 %

圖3 20 000次迭代下本文算法與DeepLab V2的語義分割結(jié)果對比

從測試集中抽出6 張圖進(jìn)行對比，如圖3 所示。在飛機(jī)這幅圖中，在不加CRF時，飛機(jī)尾翼分割均不連續(xù)，本文算法相對而言連續(xù)性好一點，當(dāng)加了CRF后飛機(jī)尾翼的連續(xù)性都有所改善，本文算法的飛機(jī)尾翼分割情況較好。在奶牛、自行車以及演講的人這3幅圖的語義分割中均出現(xiàn)類別的劃分錯誤，通過全連接CRF 處理之后，部分的像素錯分類可以得到解決，原因是全連接CRF可以使得相似以及近鄰像素的標(biāo)簽一致性最大化。

6 結(jié)束語

全卷積神經(jīng)網(wǎng)絡(luò)采用的跳躍層結(jié)構(gòu)可以改善空間細(xì)節(jié)，不同采樣率的空洞卷積可以提取多尺度目標(biāo)信息，全連接條件隨機(jī)場可以優(yōu)化目標(biāo)邊界細(xì)節(jié)。本文算法結(jié)合這些優(yōu)點，用并行的不同采樣率的空洞卷積提取多尺度目標(biāo)信息，并融合淺層跳躍層結(jié)構(gòu)提取的高分辨率特征圖的方法來改進(jìn)網(wǎng)絡(luò)，并且使用全連接條件隨機(jī)場進(jìn)一步平滑目標(biāo)邊界。通過實驗驗證，該算法在PASCAL VOC2012數(shù)據(jù)集上取得71.3% mIOU，優(yōu)于之前基于VGG-16的經(jīng)典方法。