圖像分割述評:基本概貌、典型算法及比較分析

張 婧,張 策*,張 茹,王宇彬,張 展,蘇子旸,呂為工

(1.哈爾濱工業大學(威海) 計算機科學與技術學院,山東 威海 264209;2.哈爾濱商業大學 管理學院,黑龍江 哈爾濱 150076;3.哈爾濱工業大學 計算機科學與技術學院,黑龍江 哈爾濱 150001)

0 引 言

隨著科學技術水平的不斷提升,許多智能化領域都離不開圖像處理技術,而圖像分割作為其重要組成部分,在醫學影像處理、可穿戴計算、自動駕駛、智能安防等領域都具有廣闊的應用前景。例如,在醫學影像處理領域能夠利用圖像分割發現病灶實現計算機輔助診斷,在可穿戴計算領域可利用圖像分割實現手勢識別等智能人機交互技術等。圖像分割[1]通常作為圖像處理的基礎工作和關鍵步驟,為后續工作提供精簡可靠的圖像信息,分割的質量直接影響后續視覺任務的有效性,因此分割質量的高低就顯得尤為重要。

圖像分割作為計算機視覺的重要組成部分和圖像處理中的經典難題,從問題提出至今幾十年的時間里,不斷有研究人員投身其中,提出了許多經典的算法,使得分割的質量得到不斷提高。尤其是全卷積網絡(Fully Convolutional Network,FCN)[2]的提出,首次把深度學習應用在圖像分割領域,使得分割算法能夠提取圖片的高級語義信息,實現圖像的語義分割[3],使分割的結果取得了突破性的進展。

該文對圖像分割方法進行述評,根據圖像分割領域發展的歷程,將其分為基于閾值和區域的圖像分割算法、基于圖論和聚類的算法以及基于深度學習的算法三大類,并對每個類中的典型常用算法進行梳理總結,通過對比分析列出了這些算法的優缺點和適應場景,可為相關領域的應用實踐提供一定的參考。

1 圖像分割基本含義、工作流程及評價指標

1.1 基本含義

圖像分割是指在像素水平上對圖像進行分類,其含義是依據一張圖片所含的表層信息或者語義信息把圖片中的像素點都歸類到不相交且有意義的區域,要求同一區域的像素點之間有一定的相關性,不同區域的像素點有一定的相異性[4],將每個區域都使用不同的顏色進行標記,而不管這個區域到底是什么類別。

1.2 工作流程

圖像分割為圖像中的每個像素都分配一個預先定義好的類別標簽,其中,深度學習語義分割與傳統圖像分割相比又充分利用了圖像的語義信息,最具有代表性,在此給出基于深度學習的語義分割的工作流程。其工作流程可分為特征提取和生成分割結果兩個部分,在特征提取部分中,將輸入的圖像通過特征編碼提取高級語義特征,在這個過程中,可能會通過特征選擇再利用特征融合來增強特征,然后進入生成分割結果部分,將得到的特征圖通過像素分類得到粗糙的分割結果圖,并可以采取手段進行處理來優化分割結果。把基于深度學習的語義分割的工作流程抽象為工作邏輯,如圖1所示,兩個部分用虛線分隔,圖中實線箭頭表示一般過程,虛線箭頭表示可選過程。

圖1 深度學習語義分割工作邏輯圖

1.3 評價指標

常用的評價圖像分割準確率的指標主要為平均交并比(Mean Intersection over Union,MIoU)。

MIoU是圖像分割最常用的度量,它計算圖像分割所有類別中每一類真實值集合和預測值集合的交集和并集之比后求平均,該指標簡單且最具代表性,目前大多數研究人員都使用這個指標來評價圖像語義分割結果。

2 典型圖像分割算法

該文按照時間的跨度對圖像分割的各類方法進行梳理和介紹。如圖2所示[5-26],2000年以前,數字圖像的處理基本上主要針對圖像的底層特征,也就是輪廓、邊緣、顏色、紋理和形狀等,這一階段主流的圖像分割算法是基于閾值和基于區域的,在本節的第一部分中介紹這類早期的圖像分割方法,對其中的經典算法進行闡述。2000年到2010年左右,圖像分割方法中基于圖論和基于聚類的方法迎來了發展和進步,在本節第二部分會對這兩類方法中的主流算法進行相關敘述。從2014年FCN模型的提出開始,應用深度神經網絡對圖像進行語義分割的算法層出不窮,對于圖像處理領域的發展有極大的促進作用。同樣的,在本節的第三部分會對使用深度學習的一部分經典的圖像分割算法進行詳細的介紹。

圖2 圖像分割算法發展進程

2.1 基于閾值和區域的圖像分割算法

2.1.1 基于閾值的分割算法

通過圖像閾值[27]來對圖像進行分割是數字圖像處理早期出現的一種方法,也是最簡單的圖像分割方法,其實現較為簡單,并且計算量小。該方法適用于目標和背景占據不同灰度級范圍的圖像。其用一個或多個閾值將圖像的灰度級分為不相互重疊的部分,并認定同一個部分的像素屬于同一個物體。

基于閾值的圖像分割方法的研究集中在2000年之前,在這之后該類算法就不是主流了。閾值分割法的優點在于易于理解和實現,并且計算量小,效率高,通常用來作為其他方法的預處理操作或者也能和其他算法結合起來使用。

2.1.2 基于區域的分割算法

基于區域的圖像分割算法同樣是借助于圖像中同一類別中像素的相似性來進行區域劃分的。主要有區域生長法和分裂合并法。

區域生長法[28]是從一個像素點開始作為初始的區域,不斷將具有相似特征的像素點與之進行合并生成新區域來實現圖像分割的過程[29]。

分裂合并法是把整張圖片不斷分裂形成眾多區域,然后再通過合并或分裂操作來滿足分裂要求,最后將圖片分割成不同區域[30]。

基于區域進行圖像分割的優點是充分利用了圖像的局部空間信息,克服了其他圖像分割算法中存在的空間不連續的問題,具有較好的區域特征。

2.2 基于圖論和聚類的圖像分割算法

2.2.1 基于圖論的圖像分割算法

基于圖論的圖像分割算法把圖像的分割問題轉化成了圖的劃分,把圖像的分割問題看做求解最優解的問題,通過不同的圖劃分準則和不同的權值計算函數等,衍生出了許多不同的基于圖論的算法,目的是讓劃分得到的子圖內部相似性最大,子圖之間的相似性最小。

Felzenszwalb和Huttenlocher提出了FH算法[9],它是一種基于圖論中最小生成樹的算法。通過區域內和區域間的差異性對圖中的頂點進行聚類來實現分割,算法的時間復雜度為O(NlogN),從而運行的速度較快。

Boykov和Funka-Lea提出了一種基于圖論的經典分割算法Graph Cuts[10]。該算法利用圖像的像素灰度信息和區域邊界信息,通過最優化求解保證分割效果,但運算量較大,分割結果傾向于對具有相同的類內相似度的圖像進行分割。

2.2.2 基于聚類的圖像分割算法

將聚類的思想應用到圖像分割領域,就是把具有相似特征的像素聚類到同一區域中,通過不斷的迭代最終得到圖像分割的結果。聚類分割算法的技術在不斷更新,最初由Fukunaga[31]提出meanshift算法,通過把具有相同模點的像素聚類到同一區域實現圖像分割,隨后Cheng[32]定義了核函數和權值函數,使meanshift得到了更廣泛的應用,Sheikh等人[11]同樣在meanshift算法的基礎上提出了mediodshift算法。后來Levinshtein等人[12]提出了幾何流的超像素快速生成算法TurboPixels。Achanta等人[13]提出一種簡單的超像素方法,稱為SLIC(Simple Linear Iterative Clustering)。SLIC算法流程如圖3所示。

SLIC算法和k-means算法的思想基本一致,由于其生成的超像素緊湊整齊,并且在運行速度、超像素緊湊度、輪廓保持方面都有一定優勢,需要的超參數較少。

圖3 SLIC算法流程

2.3 基于深度學習的圖像分割算法

隨著深度學習應用到計算機視覺中,圖像處理領域的發展日新月異,圖像分割方面更迎來了突破性的進展。比起原來大多利用圖像的底層信息的算法,現在更多的研究人員利用更為抽象的語義信息來實現圖像的語義分割,使得分割的精度變得更高,圖像分割的應用變得更廣泛。

圖像語義分割是指通過圖像所含的語義特征來對圖像實現像素級別的分類,即為每一個像素都分配一個類別。基于深度學習的圖像分割[33]通常由兩部分組成,第一部分使用深度網絡進行特征提取,第二部分將提取的特征輸入到分類器中,實現像素級別的分類。圖像語義分割在醫學影像分割[34]、汽車自動駕駛[35]、可穿戴計算領域都有著非常重要的應用地位。本節將對FCN,U-Net,SegNet,DenseASPP,ENet和BiSeNet進行重點介紹。

2.3.1 FCN模型

2014年,Long等人[2]提出的FCN(Fully Convolutional Networks for Semantic Segmentation)推廣了CNN(Convolutional Neural Network)結構,將原來CNN網絡的全連接層全部轉換為1×1的卷積核所對應等同向量長度的多通道卷積層。由于整個網絡模型全部由卷積層組成,沒有全連接層產生的向量,使得FCN模型可以接收任意大小的圖片輸入并實現像素級的密集預測,真正意義上實現了端到端的圖像語義分割。為了達到更精準的分割效果,FCN還創新提出了網絡跳躍連接,輸入圖像經過多次卷積池化操作,得到了許多不同層級的特征圖,再通過把深層信息與淺層信息相結合,實現了全局語義信息和局部位置信息的充分融合。

FCN模型作為深度學習應用到語義分割領域的開山之作,開辟了基于深度學習的圖像分割的道路,同時,也存在一些不足之處:

(1)結果的精確度不夠高,上采樣的結果較為模糊和平滑,對圖像中細節不敏感。

(2)沒有充分考慮像素之間的關系,忽略了空間規整步驟,缺乏空間一致性。

(3)網絡規模大,參數多,運行速度較慢。

2.3.2 U-Net模型

2015年,Ronneberger等人[14]提出了U-Net語義分割模型,該模型主要應用于醫學細胞檢測上,其不僅精度高,普適性也較強。采用對稱的編碼器解碼器架構,結構像字母“U”,左側是編碼器網絡,通過不斷的卷積和池化提取圖像特征,之后再通過右側的解碼器把獲得的特征重新映射到更大的圖中用于每一個像素點的分類。

U-Net網絡不僅可以通過彈性形變增加數據,還可以通過鏡像邊緣更好地處理邊緣,該網絡能很容易地應用到其他各個領域,其U型的結構也啟發了眾多算法的出現。但U-Net上采樣時的拼接方法過于粗糙,連接的兩個卷積層輸入具有較大的語義差別,因而加大了網絡學習的難度,有待改進。

2.3.3 SegNet模型

2017年,Badrinarayanan等人[15]提出了SegNet網絡模型,是一個經典的編碼器解碼器框架模型,屬于對FCN的擴展。其中編碼器部分采用去掉全連接層的VGG16模型,由卷積、池化和批標準化操作構成,獲取輸入圖像局域特征,對圖像的低級區域像素值進行歸類與分析來獲得語義信息。解碼器部分對特征圖進行上采樣,對上采樣的圖像進行卷積,彌補細節損失,創新之處在于上采樣操作只存在于解碼器部分,且和編碼器的池化層一一對應,上采樣僅利用池化索引,降低了學習成本,使模型的參數量相比FCN明顯降低。

圖像語義分割模型常常用到編碼器解碼器框架,如LinkNet[36],DFANet[22],FFNet[37],PP-LiteSeg[38]等。編碼器可以看作是特征提取網絡,通常使用圖像分類的網絡,例如VGG,ResNet,縮減輸入圖像的尺寸,提取重要特征。解碼器用于將小尺寸的特征通過上采樣反卷積的手段恢復目標的細節和原圖的空間維度,以此獲得像素級分類。

SegNet模型在分割性能較好的同時,使得參數量和推理時間都有顯著的降低,適合移動設備上的推理。

2.3.4 DenseASPP模型

2018年,Yang等人[20]提出了針對街景的語義分割網絡DenseASPP(Dense Atrous Spatial Pyramid Pooling),該模型的思想就是利用密集的空洞卷積和金字塔池化來彌補深度卷積網絡為獲取高級語義信息而多次池化,丟失許多細節的問題。

擴張卷積常用來解決特征圖分辨率和感受野之間的矛盾,利用多尺度信息進一步強化分割效果,能保持特征圖分辨率不變的情況下增大感受野,但擴張卷積只利用了單一尺度的特征。所以提出了空洞空間卷積池化金字塔(Atrous Spatial Pyramid Pooling,ASPP)[26],其利用不同的擴張率把多個擴張卷積特征圖以不同的擴張速率串聯起來,編碼多尺度信息,提高網絡性能。但ASPP產生的多尺度特征對于自動駕駛應用來說不夠密集,因而作者提出DenseASPP,在不顯著增大網絡模型的基礎上,獲得更大感受野并獲得更加密集的特征。原來的ASPP模塊是四個分支并行處理前饋,而DenseASPP模塊通過跳層共享了連接信息,大和小擴張率的卷積相互依賴,不僅構成了密集的特征金字塔,同時也獲得了更大的接收野。

DenseASPP在CityScapes數據集上的平均交并比達到了80.6%,在當時達到了SOTA(state-of-the-art)的效果。雖然它的分割準確率較高,但其參數量大,分割速度較慢。

2.3.5 ENet模型

2016年,Paszke等人[16]提出了ENet模型。ENet實現了專門針對嵌入式系統、移動設備的實時語義分割,與當時其他的分割網絡相比較,在速度快18倍、參數要少79倍的基礎上,還能保持較高的準確率。ENet在分割速度上的提高是從特征提取的角度進行改進的,因為FCN,SegNet等網絡基于vgg16[39]網絡體系,該體系具有網絡參數多、運行時間長等不足,于是ENet的網絡結構參考ResNet并進行了其他的設計選擇,最終極大地提高了語義分割的速度。許多分割模型的主干網絡都選擇ResNet,其最主要的貢獻是發現了網絡層的退化現象,即隨著深度學習中隨著層數的增加,模型的準確率在不斷提高達到最大值后出現大幅度降低。并且針對退化現象提出了殘差單元。

ENet的網絡結構同源于ResNet[40],將其結構描述為一個主分支與一個帶有卷積核的附加分支,最后進行像素級的相加融合。網絡結構采用較大的編碼部分和較小的解碼部分,大大削減了參數數量。作者意識到處理體積較大的圖片需要消耗更多資源,因此將網絡的初始部分用作降采樣,極大減少了輸入的尺寸。同時采用PReLUs激活函數確保分割的精度。模型除此之外還使用了空洞卷積、正則化等設計選擇不斷提高分割效果和分割速度。

ENet為了追求極其緊湊的框架而丟棄了模型的最后階段,雖然ENet達到了滿足實時語義分割的速度,但由于ENet拋棄了最后階段的下采樣,模型的感受野不足以涵蓋大物體,導致其判別能力較差,適用于注重輕量化、實時性,而對分割精度要求不高的可穿戴技術應用。

2.3.6 BiSeNet模型

2018年,Yu等人[21]提出了雙向分割網絡(Bilateral Segmentation Network,BiSeNet)語義分割模型。雙向分割網絡的網絡結構主要包含兩個部分:空間分支路徑(Spatial Path)和上下文分支路徑(Context Path)。空間分支路徑通過保留原輸入圖像的空間尺度來解決空間信息缺失的問題,編碼了比較豐富的空間信息。上下文分支路徑在輕量級模型Xception[41]末端添加一個全局平均池化進行快速下采樣,得到一個較大的感受野,其中還包含注意力優化模塊(ARM)來優化每一階段的輸出特征。最后使用一個特征融合模塊(FFM)將這兩部分特征進行結合。

雙向分割網絡從多分支的角度在精度和速度之間進行權衡,在提升速度的同時也關注了空間信息,因此同時提升了實時語義分割的速度與精度。但其對空間信息進行編碼的額外路徑耗時較長,并且由于使用原本用于圖像分類的預訓練網絡作為主干網絡都會影響效率。

2.3.7 基于深度學習的圖像分割算法比較

基于深度學習的圖像分割算法各有利弊,為了更好地進行比較,在此匯總了上述的語義分割模型,結果如表1所示。

表1 基于深度學習的圖像分割算法對比

續表1

基于深度學習的圖像分割方法自2014年后,不斷有研究者提出效果更好的新模型,在準確率和分割速度上獲得了明顯的提升。其中FCN,Unet,DenseASPP都在犧牲一定速度的基礎上追求更高的分割精度,而SegNet,ENet,BeSiNet都是為了更好地應用在嵌入式系統及移動設備上而平衡精度和速度之間的關系,在不損失過多精度的前提下做出了提高實時性的設計來滿足需求。

2.4 小 結

這里,對第三節分類的圖像分割的經典算法進行匯總和比較,結果如表2所示。

表2 圖像分割核心算法對比

3 未來挑戰與趨勢展望

盡管深度學習應用在圖像處理領域,給圖像語義分割技術帶來巨大的發展,但在對該領域進行一定了解后,發現目前圖像分割仍存在許多挑戰,并列出了一些具有挑戰性的發展方向。

(1)實時圖像語義分割。目前越來越多的實際應用要求在極短的響應時間內達到精確分割的結果,尤其在可穿戴計算領域。由于可穿戴設備微小和可移動的特性,當涉及到圖像處理時需要兼顧極高的圖像處理速度和處理精度。Yu等人[23]進一步改進雙向分割網絡,深化其中的細節路徑來編碼更多細節,同時還設計了基于深度卷積的輕量級語義路徑組件,使準確率和速度都得到了提升;Jiang W等人[24]提出了LRNNet模型,提出了效果更好的分解卷積塊(FCB)和簡化的non-local模塊來建立高效的模型。但現階段的實時語義分割仍不夠完善,方法大多不能滿足實時的需求,如何處理分割速度和精度的關系依然需要研究人員不斷去探索發現。

(2)弱監督或非監督語義分割。語義分割訓練集需要所有像素都有真值標注,尤其是以人工標注的方式,真值標注的生成是極度耗時耗力的,因此衍生出了弱監督或非監督的語義分割方法。然而目前這些方法的分割效果都不是很理想,因此需要進一步的研究。

(3)三維場景的語義分割。盡管語義分割在一維、二維的數據處理上取得了極大的成功,但在三維數據上的發展缺極為緩慢,這其中有數據集獲取的困難,也有提取三維圖像語義信息的困難,這都需要研究人員未來進行攻克。

4 結束語

該文對圖像分割發展過程中的一些經典方法分別進行了闡述和比較,從中可以看出圖像分割經歷了從利用底層信息到利用高級語義信息完成像素級分割的過程。圖像分割在2000年前的主流算法是基于閾值和基于區域的分割方法,在2000年之后,則涌現了大量基于圖論和聚類的分割方法,并且從2014年至今,基于深度學習的圖像分割方法已經成為了新的主流算法,圖像分割的精度得到了極大提高。在分割的精度得到不斷提升的同時,圖像分割還針對不同的應用需求進行多方向的發展。特別是面對可穿戴技術、嵌入式系統等應用場景,由于可穿戴設備有著微型化、低功耗的特征,未來研究的具體方向就是輕量級的實時語義分割,要在圖像處理達到理想精度的情況下將算法的參數量以及處理速度控制在一定范圍內。因此在實際的分割任務中,需要根據不同的應用需求,靈活變通地選擇圖像分割算法,甚至可以將一些算法進行結合來達到最佳結果。