基于深度學習的圖像語義分割算法的應用研究

朱賀

（華中科技大學，湖北 武漢 430074）

0 引言

近年來隨著信息化社會的建設和計算機技術的迅猛發展，智能化產品已經在我們身邊隨處可見。智能化產品需要后臺數據的支持、人工智能的廣泛應用、大量數據需要進行處理，這都對數據的分類和數據處理能力提出了更高的要求。大數據為人工智能的發展提供基礎，但是大數據與智能化產品的使用之間需要利用機器學習來實現智能化的應用。據此，深度學習的概念便被提出，并被廣泛應用在模式識別應用中，且在其中扮演著非常重要的角色[1]。計算機視覺是目前智能化的重要發展方向之一，并且該領域有眾多的研究價值。在計算機視覺的研究中語義分割技術是主要的研究方向之一，而語義分割技術作為計算機視覺的一項重要任務，其主要目的是根據圖像中的任意的像素能夠在運算的過程中對相對應的標簽類別進行劃分。同時，實現圖像像素的預測，需要學習目標的輪廓、位置以及對目標進行分類，這就說明了圖像分割技術是一項計算機識別的基本技術，但其要比目標的識別和監測以及目標的跟蹤方面更加具有挑戰性、更加復雜。目前情況下的圖像語義分割技術已經實現了像素級別的分割水平，在眾多行業領域都有著應用，但其主要還是被應用在醫療方面的智慧診斷，通過采用分割技術能夠實現對各種病理情況下的人體的血管、細胞等的位置的精準確定和區域的劃分。在智能駕駛方面，能夠實現車輛對障礙物或者是場景中的物體進行自動識別，保證了駕駛系統能夠在更加安全的環境中行駛。

1 相關理論基礎

1.1 深度學習

深度學習概念屬于機器學習領域的重要分支，與機器學習利用算法對目標進行特征提取的方式不同的是深度學習是利用相關的樣本，通過從樣本中多次的訓練，學習樣本中的語義信息。深度學習的概念源自人體的大腦模型，即通過模擬人體大腦神經元的模型構造神經網絡。深度學習的卷積神經網絡主要是由以下基本結構層組成的。

（1）卷積層。卷積是數學中的概念，主要是對卷積核內的數據進行局部操作的過程，卷積核的范圍直接影響著對目標信息的提取效果。將數學中的卷積概念引用到神經網絡中，形成卷積層，在實現卷積運算的過程中雖然卷積核的范圍有限，但其始終是靠一個卷積核來完成的，通過一個卷積核能夠達到對整個圖像的全范圍的掃描，降低了網絡的規模，大大降低了運算所需要的時間，同時能夠增強對特征信息提取的效果。卷積層的計算簡單，往往只需要設置卷積核的大小范圍，就是計算的矩陣的大小，再通過設置每次計算完后卷積核移動的距離，并利用相關參數的設計就能夠實現卷積層的計算[2]。

（2）激活函數。激活函數的概念來自于生物神經學，主要是針對每次接收到相應的信息后，利用信息的幅度判定下一步的計劃。激活函數主要解決的是卷積層線性計算的弊端。由于卷積層采用的是數學卷積概念，這就導致了無論構建多少卷積層，其在運算的輸入和輸出之間都存在著一定的線性關系，這就導致了數據的描述出現了欠缺，同時還會發生過擬合的現象，這就要求我們對其進行非線性函數運算來改變神經網絡的結構，從而引入了激活函數的概念。目前常用的激活函數主要有Sigmoid函數、ReLU函數以及雙曲正切函數。

（3）池化層。池化層主要是針對卷積層采集到的大量的目標特征信息，采用數據聚攏統計的辦法對其進行操作，以降低由于卷積操作后數據量過大導致的過擬合發生的概率，這就稱之為池化操作。目前使用的池化操作主要有最大池化層和平均池化層。池化層的設置：只是在合適的位置按照一定的規律插入池化層就可以實現對卷積層提取的特征信息進行聚合操作，減少參數量，降低網絡特征圖的大小。

（4）全連接層。全連接層是最后對多維數據向一維向量進行轉化后，再結合矢量向量對其進行輸出的操作，最后達到對特征實現分類的效果。

（5）損失函數。損失函數能夠直觀地反映出模型預測的輸出值和實際理論值之間的差距，從而來反映模型建立的質量和訓練的效果。在進行數值判斷時，損失函數的數值越小說明網絡的魯棒性越好，說明更加能夠接近真實值。目前常用的損失函數主要有均方差損失函數、交叉熵損失函數。

（6）隨即失活層。隨機失活層的設置主要是為了防止過擬合現象，通過對本輪部分神經元進行隨機的輸出值歸零，從而降低訓練集和測試集上的過擬合現象的發生概率，但其在操作過程中并不會對整體權重進行更新。

1.2 圖像分割

計算機視覺中，圖像分割是利用目標圖像在像素級的不同的數字特征實現將圖像分割成各區域的方法。在進行圖像信息的提取時，由于圖像上的空間信息是語義分割的區域的重要的意義，需要對其進行分析，從而實現對特征的標記。在實際使用的過程中目前采用的有數學方法和深度學習兩種辦法。目前主流的圖像分割辦法主要是有語義分割、實例分割和全景分割，這三種分割方法達到的效果是不同的。語義分割主要是將圖像中的目標的類別及逆行劃分，并根據其占據的像素位置進行顯示。實例分割借助目標識別，對圖像中的不同實體目標的不同像素位置進行分割，并加以分配不同的標簽。全景分割是在實例分割的基礎上對環境也進行了背景的分割。不同的分割效果如下圖1所示。

圖1 不同分割方法的效果展示

目前圖像分割算法主要有傳統的分割算法和基于深度學習的分割算法，本文就是對深度學習的分割算法進行研究。傳統的分割算法隨著人們的使用要求的增高，不論是在其算法的性能上還是在計算能力上都不達到現階段的使用要求。傳統的圖像分割的方法主要有：（1）基于閾值的分割算法；（2）區域的分割算法；（3）區域生長的分割算法；（4）基于邊緣檢測的分割算法。這四種傳統的分割算法與基于深度學習的分割算法相比較，深度學習的優勢越來越明顯，因此目前主流的圖像分割技術都是采用的深度學習圖像分割算法。

2 基于注意力機制的弱監督圖像語義分割算法

通常先獲得候選的mask區域，且獲得mask區域后可以作為下一步網格分割標簽進行訓練。此部分mask區域的獲得主要是利用Deepcut算法，實現在只有邊界框信息下的像素級圖像的分割，并且利用其無監督的性質，通過不斷地迭代來實現我們需要獲得的最初始狀態的mask區域。再利用多尺度融合的方式與其進行結合，利用其未排序的段與邊界框重合程度最大的區域作為相應的段，通過將兩者相同的地方將其標注為前景的像素，其他像素進行忽略。Deeplab是基于CNN開發的語義分割模型，在進行分割網絡時我們采用Deeplab進行，并且通過能夠同步提取空間域和通道域上的特征信息的過程，將其得到的注意力網格加入需要分割的網格中[3]。其過程結構示意如圖2所示，在空間域的注意力網格中，利用一維卷積對空間中的X、Y兩向的空間信息特征進行提取能夠分別得到一個一維的空間特征，將其進行整合能夠得到一組二位空間特征，再對其通道數進行改變就能夠實現獲得與輸入相同大小的特征圖，這就能夠在空間上反映出圖像上像素之間的依賴關系。同樣通道域注意力上利用的自注意力機制對其進行特征的提取進而獲得其依賴關系。利用基于ResNet網絡的Deeplab網格，能夠得到更加優質的特征圖，同時可以采用多采樣率的空洞卷積提高體征的提取效果和保證圖像分割的精度，在最后使用隨機場能夠提高在提取過程中對細節的把控，優化邊界，將得到的分割結果能夠更加細化。

圖2 注意力機制結構圖

基于此我們得到的候選的mask需要對其進行錯誤標記去除，減少其訓練模型過程中的不利影響。在此我們利用修改的FR-loss，保證能夠更好地發揮其性能。樣本的FR-loss可以表示為下式：

進行訓練時我們需要使用前文所述的多尺度融合的方法和Deeplab結合的算法生成候選的mask，當其出現生成的候選mask與整個類目中的平均像素填充了之間相差超過一半時，此時生成的候選mask就不能作為需要的mask來使用，這時，我們就需要利用圖像的邊界框來作為候選的mask，邊界框的mask成為候選的mask時，對其進行訓練實現相關參數更新。通過不斷地重復上面的過程，不斷地對所有的圖像進行兩個階段的訓練，最后就能夠得到訓練好的分割網絡，最后得到像素級的mask。整個網絡訓練的示意如圖3所示。

圖3 網絡訓練示意圖

3 改進算法在圖像分割中的應用

圖像分割在我們日常生活工作中的使用范圍越來越廣，尤其是在交通、醫療以及農業領域都有著廣泛的使用前景。醫學中，圖像分割可以對圖像中存在病變的位置進行快速準確的判定，可以大大節省醫生在診斷過程中所消耗的時間和精力，從而提高診斷過程中的效率，為拯救更多的生命提供更好的條件[4]。在交通上，近年來無人駕駛技術已經被各大汽車制造商競先研制，在自動駕駛技術中利用圖像分割技術對障礙物的識別和對行駛過程中可行駛區域的識別有著重要的意義。為了驗證采用該改進算法后的可行性和具備的優勢，本文通過在交通環境中進行應用的監測測試，通過獲取的指標來反映其性能。本次設計采用的訓練集、驗證集和測試集都是利用Cityscapes數據集，針對不同的數據集采用了不同數量的圖像數據，其中三種數據集的圖像數量分別是2975、500和1525張。該數據集在圖片上不會出現前景目標的空洞，并且官方提供了將近兩萬張的模糊標注的數據集，完全達到了本次驗證的使用要求。本次飾演的環境我們是在Python的環境下進行的，利用Pytorch開源工具包。通過對參數進行設計實驗，最后同歸對比平均交并比指標來對其進行性能的判定。通過最后獲取的平均交并比分別為：（1）ESPNet的數值為60.3；（2）CGNet的數值為64.8；（3）ICNet的數值為68.5；（4）BDANet的數值為69.5。基于此能夠驗證基于弱監督方法的BDANet有著很好的性能[5]。

4 結語

計算機視覺在日常生活中的應用會越來越廣泛，并且會成為將來發展的重要領域，不僅僅是在汽車的自動駕駛上，更會出現在對人們駕駛過程中的交通違規的監督上，或者極大地促進醫學圖像的發展。卷積神經網絡的深度學習方法在圖像分割方面的應用具有著非常好的應用性能，并且其強大的特征提取能力和表達能力讓其逐漸地被廣泛采用。本文通過對現代化的計算機視覺技術的發展進行闡述，對深度學習和圖像分割的理論知識進行了介紹，對深度學習及其卷積神經網絡的組成，如卷積層、激活函數、池化層、全連接層、損失函數以及隨機失活層的功能分別介紹，還介紹了目前傳統的圖像分割理論和基于深度學習的圖像分割理論的優劣；提出了一種基于注意力機制的弱監督圖像分割算法，利用邊界框注釋實現圖像語義分割；最后利用實際交通中的應用來仿真分析，驗證了該算法的優越性能，并且證明了該算法能夠在交通中有效地解決實際問題。