基于U- Net 的編碼特征融合圖像語義分割算法研究

蔡吉輪

（廣東工業大學 自動化學院，廣東 廣州510006）

圖像分割在圖像表層上分割，將圖像劃分成互不相交的、有意義的子區域，在同一個區域的像素點具有一定的相關性，不同區域的像素點存在一定的差異性，即是對圖片中有相同性質的像素點賦予相同標簽的過程[1]。在全卷積網絡之前，要作圖像分割研究，一般根據傳統圖像分割方法，比如基于閾值的圖像分割[2]，通過設定閾值方法來對圖像分割。

隨著深度學習發展和數據日益增強，深度卷積神經網絡在計算機視覺上應用越來越廣泛，例如圖像分類、目標檢測和圖像語義分割等。學者研究發現，采用傳統圖像分割方法的分割精度不夠好，且分割圖的語義不夠全局性，而經過人工標注圖像中不同的像素點有相對應的類別標簽，通過訓練卷積神經網絡[3]，對圖像數據每一個像素點進行分類，比傳統圖像分割方法的分割精度更好。

1 相關工作

1998 年由Lecun 提出第一個圖像分類網絡，稱為LeNet 網絡[4]，也是第一個卷積神經網絡，接著出現了AlexNet[3]，它的卷積核較大。AlexNet 在圖像分類方面比LeNet 的分類效果更好，但是AlexNet 的卷積核也較大。AlexNet 含有尺寸為11、5、3 三種卷積核，參數量過大，而VGGNet[5]使用尺寸為3 的卷積核替換尺寸為5、尺寸為7 的卷積核，特征圖像素點感受野一樣，但是網絡層數能夠加深，有利于提取更抽象特征，所以VGGNet 作為圖像語義分割的主干網絡來源優越于AlexNet 和LeNet。

Long 等于2015 年提出全卷積網絡[6（]FCN），是一個首次實現端到端訓練的深度卷積神經網絡，如圖1 所示。在全卷積網絡中，使用上采樣結構恢復主干網絡特征圖分辨率，同時使用跨層結構融合主干網絡中兩層特征。但是盡管全卷積網絡有上采樣結構和跨層結構，也不能全面恢復特征圖在池化層所丟失的位置信息。

在全卷積網絡之后，Olaf Ronneberger 等2015 年提出一種編碼解碼結構網絡，稱為U-Net[7]，如圖2 所示。在U-Net 的解碼結構中，將上采樣后特征圖和對應的編碼池化特征圖合并，這是一種同級層合并方式，給特征圖恢復一些細節，但是跟全卷積網絡一樣沒法全面恢復特征圖在編碼池化層所丟失的位置信息。

圖2 U-Net 的網絡結構

在深度卷積神經網絡中，每經過一個卷積神經模塊，都需要一層池化層，降低特征圖分辨率獲取抽象特征，同時壓縮網絡參數來加深網絡層數獲取更全局的語義，但是特征圖位置信息也會同時損失，以此影響到細小類別的分割精度。為了減少像素點錯分，基于U-Net 網絡改進，本文提出基于U-Net 的編碼特征融合網絡，分割精度比U-Net 有所提高。

2 本文網絡結構

本文網絡結構如圖3 所示，將本文網絡稱為基于U-Net 的編碼特征融合網絡，它的主干網絡來源于VGGNet。在本文網絡的主干網絡中，分別把第13 個卷積層和第3 個池化層產生的特征圖記為I1、I4，其中I4 的分辨率是I1 的分辨率兩倍。I1 經過上采樣增加特征圖分辨率一倍，再經過一次空洞卷積[8]產生特征圖I3。I4 經過1x1 卷積核的空洞卷積過濾下產生特征圖I5，此時特征圖分辨率和通道數量跟I3 的一致，就此實現第一次特征融合。在第一次融合后，主干網絡繼續進行特征提取，經過一層空洞卷積、兩層卷積特征提取后進行池化，池化層所產生的特征圖分辨率和通道數量跟I1 的一致，就此實現第二次融合。

圖3 本文網絡結構

3 實驗結果

3.1 基于Pascal VOC2012 公開數據上的圖像語義分割實驗

本文網絡和U-net 同時在Pascal VOC2012 數據上進行實驗，實驗設備是Nvidia GTX 1080H，內存是16G DDR3，顯存是11G。基于Keras 深度學習框架進行實驗，設置訓練次數epoch= 500 和每次訓練圖像張數batch_size=12，選擇SGD 優化器，設置學習率的初始值為1e-2，每間隔5 個epoch,驗證集損失函數不再減少，學習率按0.9 倍數減少，最低學習率為1e-5。本文網絡和U-net 在同樣的參數訓練下，損失函數變化如圖4 所示。

圖4 損失函數變化曲線

通過實驗得到U-Net 和本文網絡的像素精度分別是0.8343、0.8444，得到U-Net 和本文網絡的平均交并比分別是0.6312、0.6487，從U-Net 和本文網絡的實驗數據看，本文網絡的分割精度比U-net 的有所提高。測試模型得到實際效果分割如圖5 所示，其中圖5(a)是原始圖片，圖5(b)是人工標簽圖，圖5(c)是U-Net 分割圖，圖5(d)是本文網絡分割圖，從分割圖看，本文網絡比U-Net 的分割效果好。

圖5 實際效果分割圖

3.2 結果分析

由于U-Net 模型以初始學習率訓練完23 個epoch 后開始下降，而本文網絡模型以初始學習率訓練完39 個epoch 后開始下降，于是本文網絡模型在23 個epoch 之后比U-Net 更新參數更快，損失函數下降更快。當模型收斂時，本文網絡模型損失值比U-Net 更小，于是本文網絡模型在23 個epoch 之后的平均交并比、精度都比U-Net 模型高。

在實際效果中，由于U-Net 網絡在編碼結構中，池化層在池化操作過程中引起特征圖位置信息損失，所以U-Net 分割圖所圈部分相關像素點錯分過多。本文網絡實現了主干網絡的不同層特征圖融合，在主干網絡中最后的特征圖融合了第3 個卷積塊的特征圖和第13 層卷積層的特征圖的細節信息并且整合它們的語義，實現低層特征圖所具有的信息整合到深層特征圖，在一定程度上填充了細節信息，并且本文網絡在特征融合結構中加入空洞卷積擴大特征圖像素點的感受野來更好獲取全局的語義，以此提高像素分類的精度，于是得到了本文網絡的平均交并比、精度比U-Net 有所提高，分割出的實際效果圖較少出現U-Net 分割圖所圈部分的相對應像素點錯分。

結束語

本文設置特征融合結構將主干網絡特征進行融合，并在特征融合結構中加入空洞卷積層增大特征圖像素點的感受野，以此減少像素點錯分來提高分割精度。在公開的Pascal VOC2012數據上進行實驗，并且通過實驗表明本文網絡比U-Net 的分割精度更高，但是本文網絡還存在不足之處，它很難分割出類別中較細的部分，比如人的腿腳在上述實際效果分割圖中沒有被分割出來。接下來，借鑒注意力結構結合空洞卷積來改善網絡以此提高分割精度。