基于全局注意力機制的語義分割方法研究

彭啟偉 馮杰 呂進 余磊 程鼎

摘 ?要：如何捕獲更長距離的上下文信息成為語義分割的一個研究熱點，但已有的方法無法捕獲到全局的上下文信息。為此，文章提出了一種全局注意力模塊，其通過計算每個像素和其他像素之間的關系生成一個全局關系注意力譜，然后通過該全局注意力譜來對深層卷積特征進行重新聚合，加強其中的有用信息，抑制無用的噪聲信息。在具有挑戰性的Cityscapes和PASCAL VOC 2012數據集上驗證了所提出的方法具有有效性其優于現有的方法。

關鍵詞：語義分割;注意力機制;全局信息

中圖分類號：TP391.41 ? ? 文獻標識碼：A 文章編號：2096-4706（2020）04-0102-03

Abstract：How to capture the context information with longer distance has become a research hotspot of semantic segmentation，but the existing methods can not capture the global context information. This paper proposes a global attention module，which generates a global relation attention spectrum by calculating the relationship between each pixel and other pixels，and then reaggregates the deep convolution features through the global attention spectrum to strengthen the useful information and suppress the useless noise information. The validity of the proposed method is verified on the challenging Cityscape and PASCAL VOC 2012 datasets，which is superior to the existing methods.

Keywords：semantic segmentation;attention mechanism;global information

0 ?引 ?言

語義分割[1，2]是計算機視覺中的一個基礎任務，需要對給定圖片的每個像素分配一個類別標簽。其可以應用在信息通信領域的多個任務上，如智能圖片信息識別、自動駕駛中的信息識別等。由于需要在精細的像素級別上識別目標的類別，因此具有較大的難度，取得的性能也不是很理想。

針對以上問題，本文提出了一種基于全局注意力機制的語義分割方法，通過該方法可以獲得高精度的語義分割結果，進而為本企業中的智能圖片信息識別項目提供強力的技術保障。

傳統的方法首先將待分割圖像分成一些區域塊，然后提取每個區域塊的特征，如形狀、顏色和紋理特征等，然后建立圖像特征到高級語義之間的概率模型，得到語義分割模型。其關鍵點在于如何提取有用的關鍵特征用于分割模型的建立。傳統方法多是基于手工特征進行提取，不僅耗時耗力，而且精度較低。

近來，隨著深度卷積神經網絡的興起，越來越多的人關注于使用卷積神經網絡進行語義分割。如前面所說，其關鍵點在于如何提取有用的關鍵特征。使用卷積神經網絡提取特征，其卷積層和池化層的有效組合能夠自動學習提取圖像的關鍵特征，不僅避免了大量的人力消耗，而且提取的特征更有利于分割模型的建立。卷積層的作用從本質上來講就是局部特征的提取，而池化層將語義上的相似特征進行組合。一般情況下，池化層計算特征圖中的局部最大值或平均值等，這樣做的好處在于可以提高數據的平移不變性并減少表達的維度。通過幾個卷積層和池化層組合得到的網絡，可以很好地提取圖像的有用特征。在此基礎上，基于全卷積網絡的語義分割框架取得了顯著的進展，但由于卷積核的感受野受限，其僅能聚合局部和短距離的上下文信息，無法捕獲全局的上下文信息。

為了捕獲長距離的上下文信息，具有更大感受野的空洞卷積被提出。帶有金字塔池化模塊的PSPNet也進一步被提出，用于捕獲更長距離的上下文信息。然而，基于空洞卷積的方法雖然能擴大感受野，但實際上無法生成密集的上下文信息，基于金字塔池化的PSPNet也在一定程度上無法滿足不同像素對不同上下文信息的要求。

為了最大程度地利用全局的上下文信息，本文提出了一種全新的注意力模塊。其通過計算每個像素和其他所有像素之間的關系生成一個全局的注意力譜，然后基于全局注意力譜來對深層特征進行聚合，從而對有用信息進行加強，對噪聲信息進行抑制。并在Cityscapes數據集和PASCAL VOC 2012數據集上驗證所提出方法的有效性，證明其優于現有的方法。

1 ?方法的總體結構

圖1為提出方法的總體結構。輸入圖像首先經過卷積神經網絡提取圖像的深層特征，其大小為H×W×C，該特征圖一方面經過本文提出的全局注意力模塊得到HW×HW的全局注意力譜，另一方面經過變形操作，得到C×HW的特征圖。之后使用全局注意力譜與變形的特征圖進行矩陣相乘，得到C×HW的特征圖，然后再將該特征圖變形得到H×W×C的特征圖。該特征圖即為通過全局注意力模塊重新聚合之后的特征，相對于卷積神經網絡輸出的H×W×C的特征圖，該特征圖能夠增強有用的特征信息，抑制無用的噪聲信息。最后，將聚合重組之后的H×W×C特征圖通過上采樣進行分割，即可得到最后的語義分割結果。

圖2為本文提出的全局注意力模塊，輸入大小為H× W×C的特征圖，分別通過兩個結構相似但參數不一樣的平行分支。第一個分支經過一個小的卷積神經網絡φ1得到一個大小為H×W×C的重組特征圖1，經過形變操作，得到大小為HW×C的變形特征圖1。與之類似，第二個分支經過一個小的卷積神經網絡φ2和變形操作，得到一個大小為C×HW的變形特征圖2。之后變形特征圖1和變形特征圖2經過矩陣相乘，即可得到一個大小為HW×HW的全局注意力譜。該譜刻畫的是輸入特征的每一個通道位置的像素和其他通道位置之間的關系，是一個基于全局的逐像素對之間的信息。

2 ?實驗過程

2.1 ?實驗設置

數據集：我們在Cityscapes數據集和PASCAL VOC 2012數據集上進行實驗。

Cityscapes是用于城市語義分割的一個數據集，其包含從50個不同城市捕獲的5 000張高質量像素級精細標注的圖像和20 000張粗略標注的圖像。每張圖像的大小為1 024×2 048，共有19個類別。我們在實驗中僅使用5 000張精細標注的圖像，其分別有2 975、500、1 525張訓練集、驗證集、測試集。

PASCAL VOC 2012數據集是語義分割任務中常用的基準數據集之一，和其他方法一樣，我們使用其增強數據集用于語義分割，因此訓練集、驗證集和測試集分別為10 582、1 449和1 456張。

2.2 ?實施細節

我們所有的實驗均在深度學習框架PyTorch上運行，GPU為一張Titan XP，骨干網絡我們采用由ImageNet預訓練的ResNet-101，優化器為SGD，mini-batch size設置為2，初始學習率為1e-2，使用多元學習策略，即學習率為初始學習率乘以1-，iter為此時的迭代次數，max_iter為訓練的最大迭代次數，power是一個超參數，本文設置為0.9。weight decay設置為0.000 5，momentum設置為0.99，共訓練30個epoch。

2.3 ?實驗結果對比

表1為本文方法和其他現有方法在Cityscapes數據集上的結果比較。我們將提出的全局注意力模塊分別用到現有的方法中，如DeepLab v2[2]，RefineNet[3]，SAC[4]，GCN[5]。前四行為不加本文提出的全局注意力模塊的結果，其mIoU分別為70.4、73.6、78.1和76.9，后四行為加了本文提出的全局注意力模塊，分別提升了2.2（70.4 VS 72.6）、1.7（73.6 VS 75.3）、1.3（78.1 VS 79.4）、1.7（76.9 VS 78.6）個點，充分表明了本文提出的全局注意力模塊的有效性。

表2為本文方法和其他現有方法在PASCAL VOC 2012數據集上的結果比較。我們將提出的全局注意力模塊分別用到現有的方法中，如DeepLab v2[2]，RefineNet[3]。前兩行為不加本文提出的全局注意力模塊的結果，其mIoU分別為79.7和84.2，后兩行為加了本文提出的全局注意力模塊，分別提升了1.1（79.7 VS 80.8）和0.9（84.2 VS 85.1）個點，表明了本文提出的全局注意力模塊的有效性。

3 ?結 ?論

為了在語義分割任務中充分利用深層特征的上下文信息，本文提出了一種全局注意力模塊，通過計算每個像素和其他所有像素之間的關系生成一個全局注意力譜，然后以此注意力譜對深層特征進行重新聚合，從而加強深層特征的有用信息，抑制無用噪聲信息。由于該模塊充分利用了特征中的上下文信息，即全局信息，因此能有效提高語義分割性能。我們在Cityscapes和PASCAL VOC 2012數據集上驗證了本文提出的方法有效性。

參考文獻：

[1] LONG J，SHELHAMER E，DARRELL T.Fully convolutional networks for semantic segmentation [C]//Proceedings of the IEEE conference on computer vision and pattern recognition，2015：3431-3440.

[2] CHEN L C，PAPANDREOU G，KOKKINOS I，et al.Deeplab：Semantic image segmentation with deep convolutional nets，atrous convolution，and fully connected crfs [J].IEEE transactions on pattern analysis and machine intelligence，2017，40（4）：834-848.

[3] LIN G S，MILAN A，SHEN C H，et al.Refinenet：Multi-path refinement networks for high-resolution semantic segmentation [C]//Proceedings of the IEEE conference on computer vision and pattern recognition，2017.

[4] ZHANG R，TANG S，ZHANG Y，et al. Scale-Adaptive Convolutions for Scene Parsing [C]//2017 IEEE International Conference on Computer Vision （ICCV）.IEEE，2017.

[5] PENG C，ZHANG X Y，YU G，et al.Large Kernel Matters——Improve Semantic Segmentation by Global Convolutional Network [C]//The IEEE Conference on Computer Vision and Pattern Recognition，2017.

作者簡介：彭啟偉（1984-），男，漢族，安徽六安人，高級工程師，碩士研究生，主要研究方向：視頻處理。