基于卷積神經網絡的圖像語義分割技術

文/朱明君

1 引言

作為圖像理解和計算機視覺領域的重要的環節，圖像分割一直受到人們的關注。在深度學習迅速發展之后，基于卷積神經網絡的全卷積神經網絡（Fully convolutional networks，FCN）等網絡的提出使得圖像分割進入了新的階段，像素不僅能夠按照物體類別進行分類，圖像分割精度也得以提升。

2 卷積神經網絡的工作原理

卷積神經網絡的意義在于訓練出能夠識別圖像特征的卷積核。當卷積核在整個圖像上滑動之后，輸出特征圖中的相應位置就被賦予了高低不一的數值，特定曲線及周邊區域所對應的位置數值高，其他區域數值低。也就是說，特定的卷積核能夠將特定的特征檢測出來。而卷積神經網絡的目的就在于訓練出能夠識別出事物不同的特征的不同卷積核，從而實現對圖片上信息的分類。

2.1 圖像的卷積

對圖像卷積即卷積核在輸入圖像上從左到右，從上到下滑動，卷積核的每個系數和輸入圖像對應的像素值相乘再累加，作為新的像素值賦值給輸出特征圖的相應位置。輸出特征圖的尺寸o與卷積核的大小k、輸入圖像的尺寸n、步長s、填充（padding）p有關。

2.2 激活函數

輸入圖像經過卷積核作用之后得到的特征圖還要經過激活函數的作用，將輸出的數值回歸至一定范圍內，從而實現將非線性可分的數據進行分類。

2.3 池化層

在卷積神經網絡中，當特征圖經過激活函數作用之后得到的激活圖還要經過池化層。

池化，也叫下采樣，就是將圖片尺寸縮小。一般采用最大池化和平均池化。最大池化就是在特定n×n的區域選出該區域內最大的數值，賦予輸出的相應位置。而平均池化就是在特定n×n的區域將這n2個數值取平均，賦予輸出的相應位置。

圖1：語義分割示例

圖2

圖3

2.4 全連接層softmax

在卷積神經網絡中，當卷積層的濾波器尺寸與待處理的特征圖的尺寸相同時，一個卷積核輸出一個值，這樣的卷積層便是全連接層。在網絡的最后通過加上全連接層能夠輸出一組向量，即大小不同的數值，個數為卷積核的數量。這些數值最終經過softmax函數作用，輸出一組大小在0到1間的概率值，代表這張圖片輸于各個類別的可能性。

2.5 訓練過程

圖4：出自論文

卷積神經網絡的目的是訓練出能夠識別圖像特征的卷積核，也就是要確定這些卷積核的系數。輸入訓練集的圖像，經過特定的卷積神經網絡，輸出一組概率，通過與標簽比對，計算誤差值，通過反向傳播算法更新權重，直至最終整個網絡損失函數達到最小。

2.5.1 損失函數

2.5.2 反向傳播算法

3 圖像語義分割

3.1 概念

圖像語義分割就是對圖像進行分割并識別出相應的內容，比如圖1中一個人騎著摩托車，那么圖像語義分割的任務就是將這張圖片的人和摩托車以及背景（background）分割開并識別出他們相應的類別。

3.2 FCN全卷積網絡

全卷積網絡和傳統的卷積神經網絡相比，區別在于最終輸出的不是一組向量，而仍然是一張圖片，主要是通過將CNN中的全連接層當作是卷積層。在FCN論文中，作者通過5層卷積層和5層池化層將輸入圖片的尺寸縮小到了原圖的1/32，最后加的卷積層是21通道，故最終是21張尺寸為原圖的1/32的熱圖。接下來FCN做的是反卷積，將圖像尺寸還原成輸入圖像，輸出21張由heatmap經過upsampling變為原圖大小的圖片；為了對每個像素進行分類預測label，對像素逐個求其在21張圖像中位置的最大概率作為該像素的分類，這便是即語義分割的核心所在。

3.2.1 反卷積

什么是反卷積呢，簡單說就是卷積對應的反過來的操作，具體含義可以通過以下例子理解。如圖2，3×3的卷積核在4×4的特征圖上以步長為1進行滑動，輸出2×2的特征圖，其對應的反卷積如圖3所示，即3×3的卷積核在尺寸為2×2的特征圖上以步長為1進行滑動（padding=2），輸出4×4的特征圖。

圖5：來自論文

圖6

3.2.2 融合

由于較深層的圖像感受野較大，對于局部細節的感受能力不足，故在反卷積還原圖像尺寸時可以將加入較淺層的圖像信息。比如圖4中進行16倍上采樣時，是先將第四個池化層的結果和第五個池化層的輸出特征圖上采樣兩倍的結果融合之后，再進行16倍上采樣，這樣輸出的圖片即FCN-16s。

3.2.3 結果

圖5即為經過訓練的卷積網絡所測試的結果，可以看出隨著上采樣倍數的降低，分割的結果也更為清晰精確。

3.3 Dilated Convolutions

帶孔卷積就是在卷積核的各個系數間根據不同的dilation rate加上不同個數的0，從而實現卷積核尺寸的膨脹。

圖6是上述關于dilated convolutions論文中的一張圖，分別顯示了三個dilation rate不同的遞進的卷積層中尺寸為3×3的卷積核對輸出特征圖的感受野影響。用第三層做具體說明，卷積層15×15的區域通過無洞3×3卷積核映射到13×13的區域，13×13通過dilation=2的3×3卷積核映射到一個9×9的區域，最后該9×9的區域通過dilation=3的3×3的卷積核映射到一個特征單元，說明該層卷積層輸出的一個單元能夠包含原始尺寸為15×15區域的信息，故該卷積層感受野RF=15。而第一層卷積核的感受野僅為3，可以看出，dilated convolutions在不經池化減小圖像尺寸造成信息損失的前提下仍然擴大了感受野，同時不增加卷積核的系數，將計算量保持在一定范圍內。研究結果標明，使用dilated convolutions的網絡進行分割的結果更接近于真值。

4 結語

本文在卷積神經網絡的基礎上通過介紹全卷積神經網絡和帶孔卷積及其相關概念，闡述了其在圖像語義分割領域上的應用，全卷積神經網絡通過將全連接層轉化為全連接層和反卷積等過程實現了將像素根據語義進行分割，帶孔卷積通過在卷積核的系數間插入不同個數的0優化了分割效果。

參考文獻

[1]成穎，史九林.自動分類研究現狀與展望[J].情報學報，1999，18(01)：20-26.

[2]李湘東，阮濤，劉康.基于維基百科的多種類型文獻自動分類研究[J].數據分析與知識發現，2017(10).