基于多尺度特征的Graph Cut圖像分割

朱志娟，何坤

（四川大學計算機學院，成都610065）

0 引言

圖像分割是圖像識別[1]、圖像語義理解[2]、計算機視覺[3-4]中至關重要的一環。研究人員根據圖像低層特征提出了許多圖像分割算法，如：圖割[5-6]、水平集[7]等。但是因為不同的前景，其分割準則不盡相同，當前不存在一個適用于各種場景圖像的通用圖像分割算法。

根據分割時是否需要人機交互信息對已提出的圖像分割算法進行分類，可分為交互式圖像分割算法和自動圖像分割算法兩類。魔術棒[8]和智能剪[9]是早期被提出的交互式圖像分割算法。魔術棒算法根據像素相似性計算一組在一定容差范圍內未標記像素與用戶標記種子點的像素，它對前景和背景有顯著差異的簡單圖像有較好的分割效果，但是對復雜的自然場景圖像難以獲得較好的效果。而智能剪算法根據邊緣分割前景和背景，通過跟蹤用戶的鼠標移動軌跡，從任意復雜背景中快速獲得分割結果。然而當圖像存在大量弱邊緣時，分割性能一般。這兩種算法均使用圖像單一特征進行分割。

Graph Cut[5]是基于圖論的交互式分割算法，結合邊緣和區域兩種特征進行分割。首先讓用戶在圖像中標記前后背景種子點作為輸入，然后應用直方圖模型作為表象外觀模型來描述用戶標記前景和背景種子像素點的分布情況，并且建立各個像素點與前后背景種子像素點間相似度的賦權圖。最后通過求解賦權圖的最小割分離前景和背景。由于Graph Cut是基于顏色統計采樣的方法，而且利用圖像低層邊緣和區域特征進行分割，因此對前景和背景相差不大或者存在弱邊緣和非一致性區域的圖像，不能獲得較好的分割結果。以上提出的交互式分割算法需要借助人機交互信息來確定前景，自動分割則不需要任何人機交互信息。

卷積神經網絡（CNN）[10]是近年來興起的深度學習算法，無需人機交互過程就可自動分割圖像。算法使用深度卷積神經網絡學習像素級別的特征以得到抽象的特征，從而訓練出深層語義模型，最后生成特征圖用于像素級別的分類，進而達到分割的目的。但是神經網絡構建完成后，提取到的是固定圖像特征尺度。而且在訓練階段需要大量帶標簽的數據集進行訓練，如果某類目標對象不在訓練數據集中，沒有通過深度卷積神經網絡學習其基本特征，則這類目標對象的分割性能不高。同時，CNN雖然可以自動分割圖像，但是在模型的訓練階段花費的代價較高。交互式圖像分割算法無需訓練過程就可直接對新目標對象進行分割。

交互式圖像分割算法根據圖像低層特征進行分割，忽略了不同尺度的特征對圖像分割性能的影響。在尺度較小時，圖像特征包含更多的局部特征信息，例如前景中的細微邊緣，但同時在前景中也存在著紋理和弱邊緣，容易出現欠分割。在尺度較大時，圖像特征則包含更多的整體結構信息，但是邊緣模糊，出現偽重疊區域，容易導致過分割。Tomoyuki Nagahaship等人[11]曾提出結合多尺度平滑和Graph Cuts迭代進行分割，其中多尺度平滑采用高斯平滑，雖然提供了不同尺度信息，但隨著平滑尺度的增大，圖像邊緣逐漸被模糊，導致分割曲線定位精度下降。

為了在平滑圖像的同時保護邊緣，充分利用不同尺度的特征信息，本文提出一種基于多尺度特征的分割模型。首先應用多尺度分解模型將圖像分解為不同尺度的平滑圖像。在多尺度分解部分設計了新的變分正則化函數，平滑非一致性區域的同時保護邊緣，對弱邊緣有一定增強的效果。然后應用Graph Cut算法根據不同尺度下的特征信息，建立對應的表象外觀模型和賦權圖，并求解賦權圖的最小割，獲得不同尺度平滑圖像的分割結果。最后將二者迭代結合，根據相鄰尺度平滑圖像分割結果的相似度設計自動停止迭代分割條件，自動選取具有適當尺度的平滑圖像。在自適應選取的平滑圖像中，考慮特征的尺度信息的同時，減少弱邊緣和非一致性區域對分割結果的影響，提高了分割性能。

1 多尺度分解模型

圖像分割結果不僅與算法本身有關，還取決于圖像特征及其尺度，不同尺度下的圖像特征包含不同特征信息。為了獲得不同尺度的平滑圖像用于分割中，本文改進TV模型[12]作為多尺度分解模型對圖像進行分解，給定圖像u0的分解模型如下：

其中，β是保護圖像邊緣和平滑非均勻區域之間的平衡擬合參數。|?u|是平滑圖像u的梯度。假設（1）式具有最小值解，其滿足歐拉-拉格朗日方程，如下所示：

（2）式的平滑擴散性能依賴其散度項，為了分析式中散度項在圖像平滑過程中的平滑擴散作用，將其分解為沿圖像局部結構的切線方向和法線方向。兩個方向的擴散系數分別為ρT和ρN，如下所示：

為了在平滑非一致性區域的同時保護邊緣，切線和法線兩個方向的擴散應滿足以下兩個條件：①在邊緣處實現各向異性擴散，擴散沿法線方向進行逆向擴散，有利于保護甚至增強邊緣；②在一致性區域實現各向同性擴散以平滑非均勻性。根據以上兩個條件，設計新的變分正則化函數f(|?u|)如下所示：

在切線方向上，無論|?u|的取值如何變化，ρT始終大于零。而在法線方向上ρN是否大于零依賴于像素的梯度|?u|。當|?u|小于0.577時，ρN項大于零，非一致性區域被平滑。當|?u|大于0.577時，ρN項小于零，弱邊緣被增強。當|?u|趨于無窮大時，ρN項趨于0，保護圖像中的強邊緣。

在（2）式中代入新的變分正則化函數（4）式，整理如下所示：

使用有限差分法和定點迭代算法離散計算（6）式。定義Λ0為像素n的鄰域像素集，每個像素u kn(k=1,2,…)通過以下迭代公式更新：

在（7）式中，uk由u0和uk-1迭代計算得出，表示具有不同尺度的平滑圖像。隨著迭代次數k的增加，平滑尺度逐漸增大。

2 基于多尺度特征的分割模型

對于尺度較小的平滑圖像，殘余紋理會導致表象外觀模型出現較大波動，致使分割性能降低。對于尺度較大的平滑圖像，圖像邊緣模糊，出現偽重疊區域，同樣會導致分割性能降低。為了評估不同尺度平滑圖像的分割性能，本文計算相鄰尺度平滑圖像uk和uk-1分割結果的相似度，如下式所示：

其中，xk是具有尺度k平滑圖像的分割結果。為了選取適當尺度的平滑圖像，獲得較好的分割性能，本文設計了自動停止迭代的條件自適應選取適當尺度的平滑圖像，如下所示：

當迭代分割的結果滿足（16）式時，分割自動停止，xk是最終的分割結果。本文分割算法的流程圖如圖1所示。

圖1 分割流程圖

3 實驗結果及討論

為了評估分割性能，本文應用了兩種測量方法。一種測量方法是交并比IOU[13]，公式如下：

x F是分割結果的前景集，g F人工分割真實的前景集。另一種測量方法是F測度（F-measure）[15]、準確率P（Precision）、召回率R（Recall），其公式如下所示：

3.1 參數討論

在（1）式中，β是保護邊緣和平滑非均勻區域之間的平衡擬合參數。當β趨于0時，（1）式僅有正則項，多次迭代平滑之后會導致邊緣模糊，出現偽重疊區域。相反，如果β趨于無窮大，則平滑圖像近似于u0。不同參數β的平滑圖像及其分割結果如圖2所示。當β=4.0時，前景的邊緣變得模糊，如圖2（b）所示。當β=50.0時，邊緣被保護，但仍然存在非均勻區域，如圖2（d）所示。當β=15.0時，非均勻區域被平滑的同時邊緣被保護，如圖2（c）所示。表1列出了不同參數β的分割性能。

表1 不同參數β的分割性能

圖2 不同參數的分割結果

3.2 分割結果

為了評估本文算法的分割性能，將本文算法與Graph Cut[5]、多尺度分割模型[14]、DEXTR（CNN）[15]分別在數據庫Berkeley Segmentation Dataset 300（BSD300）[16]和Weizmann horse's[17]上進行對比實驗。其中Graph Cut根據邊緣特征和區域特征進行分割，多尺度分割模型根據多尺度邊緣特征分割，DEXTR（CNN）使用ResNet-101和VGG-16作為分割網絡，在PASCAL 2012和COCO 2014數據庫上訓練。在表2中列出了不同算法的在兩個數據庫上的實驗數據。實驗結果表明，本文算法的分割性能優于其他算法。

表2 不同方法在數據庫上的分割結果數據

部分圖像的分割結果如圖3所示，其分割測度在表3中列出。

表3 不同算法的分割結果數據

圖3不同分割算法的分割結果

圖3 （a）中具有強邊緣而且背景紋理簡單，Graph Cut、多尺度分割模型與本文算法分割效果相近。圖3（b）中存在非一致性區域和弱邊緣，本文算法在迭代分割過程中自適應選取適當尺度的平滑圖像進行分割，彌補了Graph Cut僅在原圖中分割的不足。因此，本文算法優于Graph Cut。對于背景中存在較多紋理而導致非一致性區域較多的圖像，如圖3（c）所示。多尺度分割模型采用全變分正則化平滑獲得多尺度信息，對紋理的平滑效果一般，而且對弱邊緣沒有增強效果。本文算法在平滑圖像紋理的同時保護圖像強邊緣，對圖像中的弱邊緣有一定的增強效果。因此，本文算法的分割效果更好。與DEXTR（CNN）相比，對于屬于訓練集中的目標對象，分割結果與本文算法相近，如圖3（a）（b）（c）所示。對于非訓練集成員中的目標對象，由于缺乏目標對象的基礎特征信息，其分割效果一般。而本文算法可直接應用新目標對象分割，如圖3（d）所示。

4 結語

本文結合多尺度分解模型和Graph Cut提出了一種基于多尺度特征的分割模型。在多尺度分解部分，設計了新的變分正則化函數。在迭代分割過程中，設計了自動停止迭代條件，自動選取適當尺度的平滑圖像。在適當尺度的平滑圖像中，平滑非一致性區域的同時保護圖像的邊緣，對弱邊緣有一定的增強效果，有助于提高分割性能。但是本文算法在不同尺度的平滑圖像中分割時，僅用到圖像的亮度信息。因此，未來的工作將集中于利用顏色等信息進一步提高分割性能。