結合上下文注意力的卷積自校正圖像語義分割

陳孝如，曾碧卿

(1.廣州軟件學院 軟件工程系，廣東 廣州 510990；2.華南師范大學 軟件學院，廣東 佛山 528225)

0 引 言

語義分割作為計算機視覺研究中的核心技術，其優勢在于可以通過使用圖像高級語義特征來對圖像進行像素級的預測和分類[1,2]，目前，已經被廣泛應用于醫療衛生、倉儲管理、交通安全等諸多領域，具有重要的研究價值和意義。

在圖像語義分割時，通常會面臨目標、類別以及背景這3方面的困難和挑戰[3]。對于目標而言，即使是同一個目標，如果光照、視角和距離不同或是在靜止和運動的狀態下，所拍攝的圖像也是不同的，甚至還會出現鄰近目標之間互相遮擋的情況[4]。在類別上，同一類的目標之間仍有相異性，不同種類的目標間也會存在著相似性。對于背景來說，由于現實場景中的背景都是相對比較復雜的，給圖像的語義分割帶來了較大的困難[5]。對于灰度分割、條件隨機場等傳統的語義分割來說，通常都是使用圖像的底層特征來劃分圖像的區域，其分割的精度有待進一步提高[6]。目前，隨著卷積神經網絡算法的發展及在語義分割中的應用，大量基于深度學習的語義分割模型被提出，能夠解決傳統語義分割中特征選擇困難的問題[7]。

另外，在面對一些比較復雜的場景，如小目標、條狀部位、模糊邊緣輪廓以及不同目標相似部分的分割時，均有較大的難度[8]。為此，提出了一種結合上下文注意力的卷積自校正圖像語義分割模型。其創新點在于：

(1)由于圖像中的小目標對象不易被挖掘，所提方法通過注意力編碼機制挖掘圖像的局部區域內細粒度特征，并且采用上下文循環神經網絡編碼機制充分挖掘圖像特征。

(2)為了提高所提方法的分割精度，所提方法構建輔助分割模型，并且采用卷積自校模型，動態調整分割模型，以能夠滿足復雜圖像語義分割的應用需求。

1 相關研究

語義分割主要是先通過對圖像進行分割，且所分割的像素區域都具有一定的特征語義，然后對所有的像素區域進行識別，并最終得到帶有像素語義標注的圖像。其主要的分割方法包括一般非深度學習方法和基于深度學習的方法兩大類語義分割方法[9]。

傳統的圖像分割算法對圖像進行區域分割依據的是圖像的顏色、紋理信息和空間結構等特征，且同一個區域的語義信息是一致的，不同區域之間的屬性也各不相同。分割的方法有很多主要有簡單的閾值分割、區域生長、邊緣特征檢測和圖劃分等[10]。文獻[11]提出了采用結構森林法生成邊緣概率，運用分水嶺算法將邊緣概率轉化成初始割塊。為避免過分割，利用超度量輪廓圖算法選取適當閾值生成分割塊以獲取更準確的輪廓信息，通過隨機森林訓練分割塊，得到語義分割結果。文獻[12]提出了一種可以根據其邊界極性針對目標對象組進行定制的可擴展定向圖像森林變換(oriented image foresting transform，OIFT)的分層圖劃分方法，該方法具有較少數量的圖像分區，能夠準確地進行用已知極性隔離所需的目標區域。并利用圖像區域的局部對比度，使其相對于照明變化和不均勻性效果具有魯棒性。因為不需要進行數據訓練，所以計算相對比較簡單。然而，若是困難較大的分割任務。還需進一步的提高分割的性能。文獻[13]提出了一種聯合全局圖像特征與完全卷積網絡的圖像分割方法，該方法利用通過嵌入完全卷積網絡部分的統一深度學習模型的參數學習過程進行編碼，以集成整體圖像內容使分割更加合理精確。這類方法得到底層特征的方式基本都是通過使用人工設計特征，其分割效率并不能很好滿足實際的要求。

基于深度學習的語義分割方法自動學習數據特征，而非使用人工設定的數據特征，這是與傳統圖像分割方法的不同之處。通過采用深度神經網絡便能完成從端到端的語義分割預測[14]。深度學習的過程中最重要的3個過程包括特征提取、語義分割以及后期處理。之后便產生了很多例如基于全卷積網絡FCN、VGG16、Res Net或在其基礎上進行改進的深度網絡語義分割等模型。文獻[15]提出了一種基于Res Net網絡的方法，通過對并聯支路進行定義，將淺層特征圖像信息與深層特征圖像進行融合，并使用并行的擁有不同采樣率的空洞卷積來提取特征并進行融合，以實現對不同層的特征以及上下文信息進行有效提取，同時為了提高參數調優的穩定性，將批規范化計算引入到新模塊中。該卷積網絡的缺陷是由于其空間分辨率低而對圖像細節不敏感，分割的邊緣也相對比較粗糙；文獻[16]提出了一種基于改進的深度卷積神經網絡的具有大小約束的弱監督學習算法，對圖像進行分割，與現有的完全監督方法相比，圖像分割過程僅使用圖像級標簽和邊界框標簽來進行指導，更易于實現。其不足之處在于得到的目標信息并不充分，上下文信息會發生丟失的情況，以致不能對邊界進行精準定位；文獻[17]提出了一種新穎的Dense-Gram網絡，以比傳統策略更有效地減少間隙并分割退化圖像。實驗結果表明，提出的Dense-Gram網絡在使用PASCAL VOC 2012、SUNRGBD、CamVid和CityScapes數據集合成的降級圖像上產生了最新的語義分割性能。目前還沒有能使當前網絡對不同類別間差異進行刻意學習的機制或是結構，這也導致高層的語義特征有時會對目標與自身背景的信息進行共享，對目標的分割不精準。在文獻[18]中，一種基于深度殘差網絡的多尺度語義分割模型被提了出來，其主要是增強小樣本遙感影像數據集中不同尺度分割對象的遙感影像分割精度。雖然實現了端到端的語義分割模型結構構建，但由于重點關注特征理解和目標類別的預測，造成在目標與背景或不同目標的邊界定位不準的問題。

2 提出的圖像語義分割方法

結合上下文注意力的卷積自校正圖像語義分割包括3個核心模塊，即上下文注意力模型、輔助分割模型與卷積自校正模型，其整體架構如圖1所示。

圖1 所提方法的整體架構

所提方法通過初級分割模型獲得圖像局部特征，其中注意力機制能夠捕捉多尺度局部區域之間的上下文特征，充分挖掘圖像特征。而輔助分割模型通過給定圖像和邊界框生成每像素的標簽分布。將輔助分割模型與初級分割模型的輸出作為卷積自校正模型的輸入，利用卷積網絡實現分割模型的動態調整。

輔助分割模型輸出給定圖像和邊界框的分割。該模型對弱集進行初始分割，有助于訓練初始模型。自校正模塊對輔助模型和當前弱集的主模型產生的分段進行細化。使用交叉熵損失訓練主模型，該交叉熵損失將其輸出與完全監督的正確標注分割標簽或弱集的自校正模塊生成的軟精化標簽相匹配。

2.1 上下文注意力模型

在圖像語義分割的實際應用中，其數據量龐大，通過建立一個k近鄰圖G=(V,E) 代表局部區域，以縮減計算費用[19]。其中V={1,2,…,N} 為點集，E?V×φi為相鄰點對的相鄰邊，φi為點xi鄰域點的集合。為防止點集受到旋轉等變換的影響，將局部區域點的坐標xij變換為中心點xi的相對坐標，獲得的邊特征表示如下

Fyij=(xi,xij-xi),xi∈F?xij∈Neighbors(xi),xi∈V,xij∈φi

(1)

為使圖像的細粒度細節和多尺度上下文信息能得到更加充分的挖掘，因此，基于Point Net建立了上下文注意力卷積層，所采取的編碼方式主要包括兩種分別為：注意力編碼以及上下文循環神經網絡編碼，其中注意力編碼主要是對局部區域內細粒度特征進行學習，上下文循環神經網絡編碼學習的則是局部區域之間的多尺度上下文幾何特征。圖2展示的是上下文注意力卷積層網絡結構。其中，多層感知機操作由MLP{*} 來表示，卷積核的數目則是由“*”來進行表示。

注意力編碼機制一般先選取MLP且所選取的MLP的輸出通道為F1，再通過采用選取的MLP將原始點特征以及邊特征都向有著較高維度的特征空間中映射，以下為具體的表示

u′i=σΘ(κ(fF×1(xi)))h′i=σΘ(κ(fF×1(yi)))

(2)

其中，非線性激活函數參數化后記為σ， 卷積核中可以進行學習的參數集合表示為Θ；κ代表的是進行批歸一化處理；f代表卷積操作，下標的F×1則是代表卷積核的大小。在該實驗中，F1取值為16也就是特征通道的數量是16。利用MLP處理u′i和h′i， 分別生成xi的自注意力系數和鄰域注意力系數，將兩者融合，可獲得中心點xi到鄰域內k個相鄰點的注意力系數cij為

cij=Selu(σΘ(κ(f1×1(u′i))))+σΘ(κ(f1×1(h′ij)))

(3)

圖2 CAC層的網絡結構

式中：非線性激活函數是Selu()。 采用Softmax 函數對注意力系數進行歸一化處理，從而使模型的收斂效率得到提升

(4)

為了挖掘細粒度局部特征，將注意力系數aij與局部圖特征h′ij相乘。這時的注意力系數充當特征選擇器，在描述點xi中，該注意力系數可以對其中有著鑒別能力的鄰域特征進行自適應的強化能力，對例如噪聲等無意義的鄰域特征進行有效的抑制，從而能對圖像局部區域內的細粒度細節信息進行充分有效的挖掘。

(5)

式中：ζ為非線性激活函數；sk-1為第t-1個鄰域特征向量，dt-1為sk-1的隱藏層狀態。則采樣點中第t個鄰域特征向量是sk， 當利用RNN對sk進行編碼時，相應的輸出ot為

ot=ωadt

(6)

其中，可以進行學習的權重矩陣表示為ωa。 所有的特征序列在完成學習后會得到隱藏層狀態，將該隱藏層狀態記為dT。 將dT和ωa相乘便可獲得采樣點的多尺度上下文幾何特征oT。

將注意力編碼進行引入，這固然在一定程度上有助于提升網絡在捕獲局部區域中細粒度細節的能力；但并沒有重視局部區域之間的上下文幾何信息，而這對于圖像語義分割來說是極其重要的[20]。上下文RNN編碼機制的優勢在于它能對圖像的多尺度上下文高級特征進行充分的挖掘。這使得級別相對較低的細粒度局部特征和級別相對較高的多尺度上下文幾何特征可以進行相互的補償。通過選用Selu函數將采樣點中所有不同層次的細粒度局部特征都融合到上下文幾何特征中，在兩種特征進行融合之后便能得到上下文細粒度幾何特征的采樣點大小為N×F2[21]。在進行特征融合之前，先在R×128的圖像上用插值操作對N×128的圖像進行采樣。進行融合之后的特征F∑i計算為

F∑i=Selu(oT+li)

(7)

式中：li為細粒度局部特征。

2.2 上下文注意力的CNN網絡

為能更深入的對圖像的深層隱含語義特征信息進行充分的挖掘，于是將殘差學習引入到所建的上下文注意力卷積神經網絡(contextual attention convolutional neural network，CACNN)中，得到的網絡結構圖，如圖3所示。其中空間變換網絡是一個3×3的矩陣。

圖3 CACNN 網絡結構

首先，輸入的N×F圖像矩陣利用空間轉換網絡作規范化處理，以保證圖像的變換不變性。然后，通過CAC層提取輸入圖像的上下文細粒度幾何特征和圖特征，其中，幾何特征的維度是N×176。最后，融合幾何特征和區域中心點的三維特征，以獲得維度是N×179的圖像矩陣，再將其作為堆砌MLP層的輸入，完成再一次的特征提取[22]。除此之外，通過將殘差連接進行引入來進一步對深層隱含語義特征進行挖掘。這既能有效防止梯度消失問題的發生，還可以對網絡的深度進行進一步的加深，表1是各層卷積層的具體參數。最終獲得的1×4096的全局特征描述符，是由最后一層卷積層輸出的N×4096特征矩陣在經過最大池化層的特征聚合后得到的。

表1 卷積層的具體參數設置

(8)

通過將插值后的特征與相應的點特征進行相連，以對插值的過程進行引導。為能更好促進點級別的特征提取，還在網絡中引進了大量的MLP層和Selu層。每個語義的類別由最終輸出的N×S圖像矩陣來表示。

2.3 輔助分割

帶邊界盒標注的分割模型的半監督訓練的關鍵是推斷出盒內物體的分割。解決這一問題的現有方法主要是依賴手工編制的GrabCut、迭代標簽優化等機制，通常在從圖像中提取分割和使用邊界框信息進行標簽細化之間迭代[23]。此類方法的主要問題在于：①邊界框信息沒有直接用于提取分割的掩碼；②該方法由于是手工設計的，因此可能不是最優的；③當多個框重疊時，分割會變得模糊。

針對上述存在的問題，設計了一個輔助的分割模型，在給定圖像和邊界框注釋的情況下形成每像素的標簽分布。該模型利用全監督集易于訓練的特點，作為圖像的訓練信號，在推理時，將圖像及其邊界盒都反饋到網絡中，得到分割標簽分布panc(y|x,c)。

基于編碼器-解碼器的分割網絡通常依賴于從圖像分類模型初始化的編碼器，為了從大型圖像分類數據集中轉移特征以提高分割性能，使用一個并行包圍盒編碼器網絡來擴充基于編碼器-解碼器的分割模型，該網絡以不同的比例嵌入包圍盒信息[24,25]。該輔助網絡的架構如圖4所示。

圖4 輔助分割模型的架構

邊界框編碼器的輸入是表示邊界框的二值化掩碼的3D張量和表示編碼器輸出的目標尺寸的3D形狀。將輸入掩模張量調整到目標形狀，然后通過一個帶有sigmoid激活函數的3×3卷積層。由此產生的張量可以被解釋為注意圖，該注意圖按元素乘以由分割編碼器生成的特征圖[26]。圖4示出了在兩個不同尺度下的這種特征映射的兩個路徑，對于每個尺度，生成一個注意圖，使用元素乘法將其與相應的特征圖融合，并饋送給解碼器。對于大小為W×H×3的圖像，使用大小為W×H×(C+1)的二值掩碼表示其對象邊界框，該二值掩碼對C+1二值掩碼進行編碼。如果像素處的cth二進制掩碼位于cth類的一個邊界框內，則其值為1；如果背景遮罩中的像素未被任何邊界框覆蓋，則其值為0。

2.4 卷積自校正

為了提高圖像語義分割的精度，通過使用主模型訓練將信息融合，其中主模型訓練的最簡單方法是訓練其使用完全監督集Ψ上的正確標注標簽和弱集Ω上輔助模型生成的標簽進行預測[27]。由于主模型無法在訓練早期準確預測分割掩碼，因此使用正比例因子β對輔助模型panc(y|x,c) 和主模型p(y|x) 重新加權

(9)

式中：KL是Kullback Leibler散度。

上述校正模型稱為線性自校正模型，因為其使用Kullback Leibler散度線性組合的解來推斷潛在分割標簽上的分布。并且在訓練過程中優化了主模型的參數，β使自校正機制偏向于主模型。

但是線性自校正也存在一定不足，訓練過程中需要超參數搜索調整β， 所提方法利用學習自校正機制的卷積網絡來代替線性函數。因此，當訓練主要模型時，網絡會自動動態地調整機制，如果主模型準確地預測標簽，則該網絡可以將其預測移向主模型。

卷積自校正網絡接受panc(y|x,c) 和p(y|x) 模型生成的對數，并在分段標簽上生成因子分布qconv(y|x,c;λ)， 其中λ為子網絡的參數。卷積自校正子網由兩個卷積層組成，都使用3×3內核和ReLu激活函數。

卷積自校正的關鍵在于訓練子網，使其比panc(y|x,b) 或p(y|x) 更準確地預測分段標簽。為此，在目標函數中引入了一個附加項，使用F中的訓練示例訓練子網，同時在整個數據集上訓練主模型

(10)

式中：第一項和第二項為訓練F和Ω上的主模型，而最后一項訓練卷積自校正網絡。

由于子網是隨機初始化的，因此在訓練過程中不能準確預測Ω上的分割標簽。為了解決這一問題，需要對輔助模型和自校正網絡進行初始化訓練，并且利用全部數據的目標函數對前一個模型進行微調。

3 實驗結果與分析

為了驗證所提模型在處理圖像語義分割任務上的性能，使用格薩爾千幅唐卡數據集、PASCAL VOC數據集和城市景觀數據集進行對比實驗分析。

3.1 網絡參數設置

訓練和測試實驗中采用的操作系統為Linux Ubuntu 16.04，CPU為Intel i7 8700k，內存為64 GB，GPU為 Ge Force RTX 2080，網絡GPU 加速庫為Cudnn 7.13，深度學習的框架是Tensorflow-GPU，版本號為1.9.0。在訓練中使用的是基于動量的SGD優化算法，并將動量、權重衰減、初始的學習率、學習的率衰減系數、衰減的速度以及全連接層中Dropout的參數保留率分別設為0.9、0.0005、0.001、0.5、300 000和0.5。使用Adam優化器，并使用Xavier 優化器對網絡參數進行初始化操作。

3.2 評價指標

對所提方法在數據集上分割效果的評價，采用的是平均交并比(mean intersection over union，MIoU)和平均像素精度(mean pixel accuracy，MPA)。若MIoU和MAP的值越高，則表示圖像語義分割的效果越好。

若一共存在g+1個類。其中，實際類別為i類但預測結果為j類的像素數量表示為Pij， 則MIoU和MPA的計算過程為

(11)

3.3 格薩爾千幅唐卡數據集

將所提模型與文獻[12]、文獻[16]中模型基于格薩爾千幅唐卡數據集的分割精度進行對比，結果見表2。

表2 不同模型分割精度的對比

由表2可知，與文獻[12]、文獻[16]模型相比，所提模型的平均分割精度分別高了4.1%、1.8%；平均交并比指標值分別高了8.2%、3.9%。此外，各模型的分割效果如圖5所示。

圖5 格薩爾千幅唐卡數據集上分割效果的對比

由圖5可知，所提出的模型對于條狀目標例如馬尾、馬腿以及樹干等較為敏感，并且與文獻[12]、文獻[16]的模型相比，所提模型在小目標上的分割精度更勝一籌。

3.4 PASCAL VOC數據集

PASCALVOC數據集由1464個訓練、1449個驗證和1456個測試圖像組成，包括20個前景對象類和一個背景類用于分割，提供了9118幅訓練圖像的輔助數據集。實驗中將原始PASCAL VOC訓練集和輔助集的并集稱為訓練集。

將所提模型與文獻[12]、文獻[16]中模型基于PASCAL VOC數據集的分割精度進行對比，結果見表3。

表3 不同模型分割精度的對比

由表3可知，在PASCALVOC數據集上，與文獻[12]、文獻[16]的模型相比，所提模型的平均分割精度和平均交并比指標值都更高。此外，各模型的分割效果對比如圖6所示。

圖6 PASCAL VOC數據集上分割效果的對比

從圖6可以看出，所提模型在物體邊緣細長類小目標上的分割效果明顯優于文獻[12]、文獻[16]模型。由于文獻[12]中的OIFT模型利用經典的卷積網絡實現下采樣，造成大量淺層邊緣輪廓信息的丟失，并且使用轉置卷積還原特征圖的尺寸，得到的圖像細節較為粗糙。文獻[16]中的DCNN模型通過在較高層特征圖上采用金字塔池化的方式，對全局和局部特征進行融合。這對于解決在傳統池化操作中只能對固定窗口的特征信息進行捕獲的問題具有一定的幫助。然而，采用連續多次的下采樣的方式會帶來一些負面影響，會使得大量的淺層信息被丟失，目標分割的邊緣較為粗略。相比之下，所提模型在編碼和特征融合兩階段能讓物體邊緣細長類小目標的有效淺層信息得到更多的保留，因此，其分割精度能得到更有效的提升。

3.5 城市景觀數據集

城市景觀數據集包含不同季節汽車行駛圖像，此數據集具有高質量的注釋，但是有些實例被過度/欠分割。其中包括2975個訓練、500個驗證和1525個測試圖像，覆蓋19個前景對象類(內容和對象)，用于分割。但是，這些類別中有8個是平面或構造標簽(例如，道路、人行道、建筑物等)，此類類別的邊界框很少覆蓋整個場景。要創建類似于PASCAL VOC數據集的對象分割任務，僅使用11個類(標桿、交通信號燈、交通標志、人、騎手、汽車、卡車、公共汽車、火車、摩托車和自行車)作為前景類，所有其它類都被指定為背景類。由于標簽的這種修改，服務器上的測試集會對所有類進行評估，所提模型僅在驗證集上進行實驗評估。

實驗中使用不同大小F， 訓練集中的剩余圖像用作W， 即W+F=2975， 將所提模型與文獻[12]、文獻[16]、文獻[17]中模型基于城市景觀數據集的分割精度進行對比，結果見表4。其中文獻[17]提出一種Dense-Gram網絡，比傳統方法能夠更有效地減少間隙并分割退化圖像。

表4 城市景觀數據集中分割精度的對比

由表4可知，所提模型在城市景觀數據集中的平均分割精度和平均交并比指標值均高于文獻[12]、文獻[16]、文獻[17]模型。并且F的值越大，其模型的性能越好。由此可論證所提模型在圖像語義分割中的有效性。

4 結束語

本文提出了一種結合上下文注意力的卷積自校正圖像語義分割方法。主要通過在CAC層中引入注意力機制，從而對圖像的局部細粒度特征進行挖掘。并采用RNN對不同尺度鄰域的特征進行編碼，以對多尺度上下文特征進行捕獲，并將殘差學習引入到CACNN網絡中，進一步對點云的深層隱含語義特征進行挖掘。在此基礎上，結合主模型和輔助模型的標簽分布，設計了卷積自校正機制，以進一步提高圖像語義分割的精度。本次實驗是在格薩爾千幅唐卡數據集、PASCAL VOC數據集和城市景觀數據集上進行，利用MIoU和MPA兩個指標進行對比分析。實驗結果表明，相比于其它模型，所提模型的MIoU和MPA均是最高的。其中在格薩爾千幅唐卡數據集中，所提模型的MPA分別提高了4.1%、1.8%，MIoU分別提高了8.2%、3.9%，其它數據集中均有相應的提升，且分割效果良好。

但是所提模型網絡結構復雜，訓練參數較多，因此，未來，本文將重點構建一個可部署到嵌入式設備中的輕量級實時圖像分割網絡。此外，針對其中引入注意力機制存在的計量過大、訓練時間延長等問題，考慮削減網絡參數來進行解決。