交互式圖像分割方法的現狀與展望

盛 騰

(西華大學計算機與軟件工程學院 四川 成都 610039)

一、引言

目前隨著多媒體圖像的廣泛應用，圖像處理技術：圖像分割、圖像增強等等在當今起著越來越重要的作用。而在圖像處理技術中，圖像分割作為其他圖像處理技術的基礎和前提，在圖像處理中具有非常重要的作用。傳統圖像分割通常是全自動的。但是由于計算機的理解能力有限，傳統圖像分割不容易從圖像中提取具有高層語義信息的目標。因此，本文將面向需要用戶有一定參與的交互式圖像分割方法來研究。

二、基于種子點標記的方法

基于種子點標記的方法要求在圖像前景或背景上標記一定數量的種子點，然后算法把這些標記點作為約束條件，使用優化算法從圖像中尋找出目標，基于這種交互方法的分割方法有：圖切法[1]、隨機游走法[2]。

(一)圖切法

圖切算法能夠保證獲得標記方式所付出的代價和是全局最小的。目前國內外很多的交互式圖像分割算法都是基于圖切算法的。圖切是基于圖論的分割方法。該方法的主要思想是將標記目標和背景的部分作為約束，結合目標邊界以及區域的特性，得到目標能量函數，通過計算圖像全局最優解來獲得對目標中未標記部分的分割。此過程中，目標邊界以及區域的特性是可以看作為分割的另外約束條件。

但是，由于傳統的圖切算法需要對目標中的所有像素點都進行處理，所以圖切具有非常高的計算復雜度。另外，當用戶點擊的前景和背景種子點較少時，在前景和背景的邊界上容易出現錯分割的情況。

(二)隨機游走法

隨機游走算法首次用在圖像分割領域是在2001年，將隨機游走思想用到了光譜圖像的分割中。隨后在2002年提出了一種新的基于成對相似性的圖像分割算法。該算法利用相似性確定馬爾可夫隨機游走的邊緣流和游走轉移矩陣的特征值和特征向量之間的相似關系。2隨機游走算法在2006年被進行了驗證，并提出了基于隨機游走算法的圖像分割的文章。2008年又對該隨機游走算法進行了改進，提出了一種針對醫學圖像的、非在線操作的加速隨機游走算法。隨機游走是一種通過求解聯合圖邊界條件問題來實現圖像分割方法。屬于圖論分割的方法，所以在該算法中，也將輸入圖像轉換為一個等效的加權圖，然后算法通過比較隨機游走從每個未標記節點游動到給定節點的概率值，以最大概率為結果對圖像中的節點進行分類，從而實現圖像分割。根據標記種子點的類別不同，隨機游走可以很簡單的進行多目標物體的分割。

三、基于目標邊緣關鍵點的方法

在基于目標邊緣關鍵點的方法中，需要用戶順著目標邊緣點下關鍵點來粗略標明邊界，隨后圖像分割算法利用關鍵點特征對關鍵點連接的曲線進行調優，使曲線盡量貼近目標的真實邊緣。由EM等人提出的活線法(Live Wire)[3]是這種方法的代表。

活線法是一種基于圖割的算法，所以執行前，需要把目標圖像作為一個圖結構，將圖像中的像素點作為圖結構的節點，邊緣相鄰的像素點在圖中存在連接邊。首先在目標上選擇一個起始點和一個目標點，然后活線法利用事先定義好的代價函數產生一條自起始點到目標點的最優路徑。當起始點和目標點位于目標的邊緣上時，該曲線就是目標邊緣位于起始點和目標點之間的部分。所以，檢測物體邊緣的問題就轉化為利用動態規劃的方法或圖搜索的方法尋找累積代價最小點的問題。

同逐個像素對比的方法相比，活線法在很大程度上降低了用戶的交互量，但是該算法依然存在三個明顯的缺點：1)該方法中用戶仍然需要沿著物體移動一整圈才能完成分割，當物體邊界復雜時，操作依然很繁瑣；2)要求用戶對目標物體有一個整體認識，在交互過程中不能將目標縮小或者放大；3)若發現錯誤，需要重新標注。

四、基于描繪目標輪廓的方法

基于描繪目標輪廓方式的分割方法在初始的時候要求用戶提供一些包含有目標物體的封閉輪廓，然后利用一些優化算法把這些初始輪廓演化到理想的目標輪廓上，完成圖像分割。基于圖割的Grab Cut方法[4]是該類型方法的典型代表。

圖割方法是一種基于Graph Cut的交互式圖像分割方法，該方法在Graph Cut的基礎上得到了兩個方向上的提升：第一，圖割方法對用戶的交互模式進行了修改，用戶需要畫一個對象框或用套索工具將目標圈定就能夠完成對目標的分割；第二，圖割方法中運用迭代的思想。圖割方法中將標定的背景部分作為背景采樣區，將剩余的部分作為前景采樣區來估計初始前景和背景的分布，并在迭代過程中利用上一次的分割結果不斷地重新估計前景和背景的分布，從而使分割結果越來越精確。圖割算法結合了迭代的Graph Cut算法和邊界摳圖(Border Matting)算法來處理目標物體邊界處圖像模糊和像素重疊的問題，并且能夠從背景較復雜的圖像中通過比較少的用戶點擊來得到還算理想的分割結果。此外，圖割算法中提出了一種新的交互方式，該交互方式操作簡單、步驟少，具有較好的用戶體驗。雖然圖割算法具有多項優勢，但其最大的劣勢在于由于該方法中利用了邊界摳圖算法來處理目標物體邊界處圖像模糊和像素重疊等問題，所以該算法計算復雜，分割效率較低。

五、交互式圖像分割的發展趨勢與展望

目前深度學習在許多圖像分割任務中取得了很好的效果，考慮到深度學習的優越性能，利用它來做交互式圖像分割，可以減少用戶交互的數量以及用戶花費的時間，從而得到更高效的交互式分割工具。目前已經有好幾篇文章研究了基于深度學習交互式圖像分割方法。[5]提出了一種使用卷積神經網絡的二維圖像交互式分割方法。該方法中用戶提供的交互是位于前景和背景中的一些點，這些點轉化為基于前景點的距離圖像和基于背景點的距離圖像。原圖為RGB三個通道的圖像，加上這兩個距離圖像后一共五個通道，將這五個通道的圖像作為全卷積網絡(FCN)的輸入以得到分割結果。因此在分割過程中，用戶只需給幾個點就能指導FCN的分割。[6]嘗試處理另一種交互方式：根據用戶的文字輸入來更新圖像分割的結果。該方法使用的CNN可看做由頭部(編碼器)和尾部(解碼器)兩部分組成，頭部和尾部之間有一個中間層的特征圖，在分割時，用戶的交互用來對這個特征圖進行更改，從而改變網絡的輸出結果。[7]Polygon RNN是針對二維圖像中物體邊緣的標注而提出的方法，其流程如下圖所示，用戶提供一個感興趣的物體的邊界框，該方法通過RNN來預測這個邊界框中物體邊緣上的一系列頂點，這些頂點所組成的多邊形區域作為物體的分割結果。Polygon-RNN++[8]在Polygon-RNN的基礎上做了許多改進，使對物體邊界上的多邊形頂點的預測更加準確，并有更高的分辨率。在網絡結構上，把VGG網絡換成了一個基于ResNet-50的網絡。Polygon-RNN分別使用了兩個網絡來預測第一個頂點和后續頂點，Polygon-RNN++提出了一個統一的框架，把這兩種頂點的預測結合起來，可以一起訓練。它還使用了注意力機制，使預測下一個頂點時更加集中在上一個頂點附近的區域。