結合顯著性的主動輪廓圖像分割

潘沛鑫，潘中良

華南師范大學 物理與電信工程學院，廣州510006

圖像分割是計算機視覺等領域中的一種必不可少的預處理工作，在目標檢測與識別中能起到重要的作用。其中的主動輪廓模型早已廣泛地應用在圖像分割中，該模型能夠有效地提取圖像中的物體。例如，Lv等人[1]提出了基于模糊能量的主動輪廓模型，該模型利用非局部權重來構造局部能量項以進行圖形分割。Ma等人[2]提出了結合隨機森林的主動輪廓模型，該模型利用隨機森林作為特征學習的內核，通過學習圖像中的局部和上下文信息來進行圖像的分割。此外，人類視覺系統可以快速并準確地識別圖像中的顯著物體[3]，因此顯著性檢測能夠迅速地從復雜的場景中提取出人們感興趣的部分。所以目前有許多顯著性區域檢測方法來提取目標區域，例如，Cheng 等人[4]研究了基于全局對比度的顯著區域檢測算法，對基于直方圖統計的對比度以及基于區域對比度的兩種顯著性檢測方法進行了實現。Yang 等人[5]提出了一種基于流形排序算法的顯著性檢測方法，通過使用基于圖論的流形排序算法，并根據圖像的像素或區域的相似性來進行排序，從而得到顯著性區域或目標。

由于傳統的主動輪廓模型主要是把圖像分割成多個區域，沒有凸顯圖像對象的一些重要信息，如人類感興趣的顯著性信息。因此，本文把基于圖論的顯著性檢測算法和基于圖像全局灰度信息的主動輪廓模型結合起來，提出結合顯著性的主動輪廓圖像分割。首先通過線性光譜聚類（Linear Spectral Clustering，LSC）的超像素分割算法[6]，獲得緊湊且形狀規則的超像素，并使用基于圖論的流形排序算法來獲得顯著性圖；然后將高斯混合模型（Gaussian Mixture Model，GMM）[7]和顯著性信息引入到主動輪廓模型中，獲得新的能量泛函，利用GMM 模型計算曲線內外的灰度值，并以顯著性區域邊界為初始邊界，通過水平集函數的演化方程指導圖像分割，來實現在復雜場景中的主動輪廓分割。

1 使用超像素的顯著性檢測

1.1 線性光譜聚類

超像素的分割效果直接影響了后續算法的精度，為了得到更好的分割效果，采用LSC 線性光譜聚類算法[6]，該算法不僅可以捕獲重要的全局圖像屬性，而且在線性復雜度下以高存儲效率運行。該算法是通過基于圖像像素之間的顏色相似度和空間接近度的相似性度量來進行超像素分割。根據在高維特征空間中輸入空間中亮點之間的相似度等于兩個相應向量之間的加權內積，因此本文使用高維特征空間的簡單加權均值來代替復雜的基于特征的方法，來最小化和歸一化切割目標函數。所以LSC算法避免了對復雜矩陣的計算，并且收斂條件可以得到滿足。

首先將圖像轉化到CIELAB顏色空間，把該彩色圖像用如下的五維向量表示：p=(lp,αp,βp,xp,yp),其中，lp、αp、βp表示像素的顏色分量值，xp、yp表示其位置坐標。將每個像素點p映射為特征空間的十維向量φ(p)，然后在整個圖像上以水平間隔Vx和垂直間隔Vy均勻采樣K個種子像素。所以Vx/Vy就等于圖像的高寬比，其中K是用戶所輸入的所需超像素的數量。

將這些種子移到3×3的鄰域中的最低梯度上，以避開圖像中的噪點和邊界像素，并用這些種子初始化搜索中心Ck，以及用這些種子的特征向量初始化相應聚類的初始加權均值mk；然后計算并搜索中心附近2vx×2vy范圍內的像素點與聚類的加權均值mk的距離，將每個像素對應的最小距離的聚類加權均值的k值作為該像素的標簽，將每個像素分配給其加權均值最接近特征空間中像素矢量的聚類。

本文用p和q表示輸入空間中聚類的數據用點，φ表示將數據點映射到更高維空間的函數。定義相似性度量的目標函數為：

式中，w(p)表示點p的權重，πk表示第幾個聚類，mk表示聚類的初始加權均值，第一次聚類分割完成后，將每個聚類的加權均值和搜索中心進行相應的更新；然后重復地迭代整個聚類過程直到收斂為止；最后把較小的像素點歸類到附近的像素。

1.2 基于圖論的顯著性檢測算法

顯著性檢測的任務就是識別場景中人們感興趣的區域，從而對圖像進行預處理，以便做進一步研究。本文采用Yang 等人[5]的基于圖論的流形排序算法來檢測顯著性，并改進其超像素分割部分，采用的是前面介紹的LSC超像素分割算法，該算法相對于簡單線性迭代聚類算法[8]（Simple Linear Iteration Clustering，SLIC）而言能夠利用圖像結構來生成更合理的分割結果，并且可以保留圖像的全局屬性。使流形排序的顯著性算法更加精確。

該顯著性檢測算法分成兩個階段，第一階段采用將圖的上、下、左、右邊界上的節點作為背景種子，即標記數據，其他節點作為未標記的數據。使用標記的節點與其他所有區域的節點相關性進行排序。由此可形成了四個顯著圖并使它們結合起來獲得第一步的顯著圖；然后將第一階段得到的顯著圖進行圖像分割得到的前景目標作為標記數據，使用標記節點與其他節點的相關性進行排序得到最終的顯著性圖。

通過超像素構造單層圖G=(V,E)，其中V是一組節點，E是一組無向邊。節點權重的定義為：

其中，ci和cj表示對應于CIELAB顏色空間中的兩個節點的超像素的平均值，σ是控制權重強度的常數。通過權重就可以求出鄰接矩陣W。其流形排序的依據是：

其中，D是對角矩陣，D=diag{d11,d22,…,dnn}，W是鄰接矩陣，α=1/(1+u)，u控制平滑約束項和擬合約束項之間的平衡。平滑約束項能讓排序函數在附近點之間變化較小，擬合約束項能讓排序函數靠近初始種子點。y是一個指示向量，若yi=1，則表明該點是標記節點。f*是一個排序向量，是一個N維向量（N是圖中節點總數）。在這個排序向量中的元素表示節點與背景種子點的相關性，其補碼是顯著性值；將向量進行歸一化到區間[0，1]，利用邊界表示的顯著性圖表示為：

其中，i表示索引圖中的超像素節點，表示歸一化向量。因此根據上、下、左和右圖像邊界作為標記節點，可以得到St、Sb、Sl、Sr這四個顯著圖。對這四個顯著性圖，通過以下公式進行整合，從而就得到了第一階段的顯著圖：

在一階段，大部分的顯著性區域被檢測出來，所以在第二階段，將閾值設置為整個顯著圖上的平均顯著性進行圖像分割，將分割后的前景目標作為標記數據，形成指示向量y，并利用式（4）計算得到排序向量f*，將其歸一化區間[0，1]。

重復進行這一階段的操作，就形成了最終的顯著圖：

在基于圖論的顯著性檢測中，本文將超像素的數量設置為100，得到的超像素分割圖像如圖1所示。

圖1 LSC算法與SLIC算法的對比

在圖1中，圖1（a）為原圖，圖1（b）和圖1（c）是對圖1（a）分別使用SLIC 算法和LSC 算法進行超像素分割的結果。從圖1中可以看出：對圖中的兩個棍子之間的部分，LSC 算法比SLIC 算法所生成的超像素分割的邊緣更貼近于目標邊緣。

圖2 是使用基于圖論的流形排序的顯著性檢測算法所得到的顯著性圖。

圖2 顯著性圖

在圖2 中，圖2（b）是SLIC 算法通過使用流形排序所得到的顯著圖，圖2（c）是LSC算法通過使用流形排序算法得到的顯著圖。從圖2中可以看出：由LSC算法所得到的顯著性區域得到加強，特別是在圖中的這個人的腳步位置，而SLIC算法有一部分沒有檢測出來。

2 改進的主動輪廓模型

本文方法的總體流程如圖3所示，主要由顯著圖生成和GMM 模型以及主動輪廓模型與兩者的融合等部分組成。

本文利用顯著性信息和GMM 模型改進主動輪模型的能量泛函，以獲得更好的分割效果。

2.1 結合GMM模型的主動輪廓分割

圖3 結合顯著性的主動輪廓模型

基于圖像全局灰度信息的CV 主動輪廓模型[9]，根據曲線內部和外部的灰度分布促進水平集曲線的演變。對于強度均勻和對比度明顯的圖像，分割效果較好。但是，當圖像的灰度分布不均勻時，曲線的演化速度將明顯變慢，分割效果也會變差。針對這一問題，本文將GMM模型引入到曲線演化過程中，優化了能量函數中曲線內部和外部的平均灰度。GMM模型是通過組合多個概率分布的多個高斯函數而形成的，可以用來描述灰度的復雜變化，因此，引入了GMM 模型來描述曲線內部和外部的灰度分布，并且使用GMM模型的參數來優化主動輪廓模型的演化函數中的平均灰度，該方法也能提高曲線的抗干擾能力，并運用水平集曲線實現正確的分割。

采用最大期望算法[10]（Expectation Maximization，EM）中參數計算的方法來對GMM模型參數進行估計，由水平集演化函數來計算迭代結果，根據迭代結果中曲線內部和外部的灰度分布來更新參數。所以，首先，初始化水平集的演化曲線，然后使用K-means[11]聚類算法將曲線內部和外部的區域劃分為k個部分。分割后，每個部分的灰度分布可通過高斯函數近似。根據初始分割的k個部分，構造了曲線的內部GMM和外部GMM，計算內部和外部中子模型在整個GMM 模型中的比例πk、平均灰度值μk以及灰度方差σk，根據計算所得到的結果和其他參數來構建曲線內外圖像的GMM 模型。構建GMM模型的式子如下：

經過GMM 模型優化后，可以計算每個點的能量值，并獲得新的水平集演化結果。Ω(x,y)表示輸入的圖像，C(x,y)表示閉合曲線，將圖像域Ω分為兩個區域，即內部區域Ω1，和外部區域Ω2。結合GMM 模型定義一個以分割閉合曲線為自變量函數的能量泛函，通過對此能量泛函的極小化，以及對自變量的尋優過程，來實現對目標的分割。改進后的能量函數模型為定義：

其中，μ0(x,y) 表示圖像中某一點的灰度值，H(φ) 是Hesviside函數，H(φ)表示曲線的內部區域和外部區域，?為梯度算子，φ是根據閉合曲線C構造的水平集函數，當點(x,y)在曲線C上時，φ(x,y)=0。當點(x,y)在曲線的內部時，φ(x,y)＞0 。當點(x,y)在曲線的外部時，φ(x,y)＜0。

水平集函數的演化方程可以通過最小化式（9）的能量泛函得到，所以可以得出水平集函數的演化方程如下：

其中，δ(φ)表示一維Dirac函數，μ1和μ2表示曲線內部和外部的灰度均值。以計算曲線外部的灰度均值μ2為例，首先計算第k個外部高斯子模型對灰度值為u的點的響應度，從而可以獲得曲線外部不同像素點的動態平均灰度值，由此就可以計算曲線外部的灰度均值，計算過程如下：

其中，θk是曲線外部第k個高斯子模型，φ(u|θk)表示該點屬于曲線的外部區域的第k個子模型的概率，u表示該點的灰度值，μk表示曲線外部第k個高斯子模型的平均灰度，σk表示曲線外部第k個高斯子模型的方差。

2.2 結合顯著性的主動輪廓分割

顯著性檢測利用視覺注意機制從復雜場景中提取人們感興趣的顯著部分，在顯著圖中，目標具有更高的信噪比，這使得它們易于檢測。傳統的主動輪廓在分割比較復雜的圖像時，由于前景和背景之間相差不大，所以GMM 模型很難得出精確的結果，比如說當使用GMM模型算出圖像中一個像素點屬于前景和背景的概率都是0.5，無論這個點分為目標或者是背景，這時的損失（風險）都是最大的，怎樣劃分都是不合理的，所以在這時候使用高斯混合模型的主動輪廓的能量泛函的作用不大，圖像分割的效果不佳，而將顯著性信息引入到主動輪廓模型中，把圖像的顯著性加入到能量區域項中，以顯著性區域邊界為初始曲線，并通過顯著圖來估計GMM模型參數，其中第k個高斯模型的均值u(k)和協方差σk可通過計算其模型中包含的顯著值的均值和協方差得到。

經過顯著性計算，用顯著性擬合的能量泛函定義如下：

其中，s1和s2為顯著性信息在曲線內部和外部的灰度均值，一般情況下，在實際計算中，采用規范化的Heaviside函數和Dirac函數：

由此通過最小化能量泛函得到的水平集的演化方程為：

3 實驗結果及分析

為了驗證本文所提出的采用顯著性的主動輪廓模型的圖像分割算法的有效性，本文進行了大量的實驗。在進行實驗時所使用的圖像是來自伯克利[12]的圖像庫以及MSRA[13]數據庫；MSRA數據庫中有1 000幅圖像，并且每幅圖像都有對應的全分辨率的二值化真值圖；所使用的實驗平臺是：Inter?CoreTMi7-7700 CPU @3.60 GHz 3.60 GHz 處理器，64 位Windows 10 操作系統，Matlab 2017a。

3.1 CV、GCV和本文算法的分割對比分析

對CV 模型[9]、GCV 模型（把結合GMM 模型的CV模型稱為GCV）、本文算法進行實驗比較。實驗結果如圖4所示。

圖4 CV、GCV和本文算法的分割結果

由圖4 可以看出，使用本文算法的圖4（c）的分割效果明顯好于使用CV 模型和GCV 模型的圖4（a）和圖4（b）的效果。雖然加入GMM 模型以后，可以看出圖4（b）的曲線分割效果得到了提升，分割噪聲減少，但是會出現曲線不貼合圖像的邊緣，在標記的方框內也出現不同程度的噪聲。而從圖4（a）可以明顯看出CV 模型與其他兩個模型（GCV 模型和本文算法）相比分割噪聲較多，分割并不準確。但是在本文算法的圖4（c）中可以明顯看出在加入顯著性信息之后，分割的效果更加精準，分割曲線完全貼合圖像邊緣，因此分割效果得到了大幅的改善，在分割同時避免了眾多背景噪聲，能夠將目標圖像有效地分割出來。

3.2 本文算法與其他模型的性能比較

為了驗證本文所提出的采用顯著性的主動輪廓模型的圖像分割方法對圖形分割的有效性，本文使用了MSRA1000 圖像數據庫中的一些圖像進行了實驗。對采用圖像全局灰度信息的CV 模型、基于因式分解的FACM[14]模型以及本文算法進行了實驗和測試，實驗的比較結果如圖5所示。

如圖5所示，圖5（d）的分割效果明顯好于圖5（b）和圖5（c），圖5（d）的分割效果幾乎接近圖5（e）圖像分割的真值圖，在圖5（b）的基于圖像全局灰度信息CV模型的分割結果沒有體現魯棒性，在圖像的邊緣處會出現噪音，導致不精確分割。在圖5（c）的基于因式分解的FACM[14]模型中，在狗的頭部位置分割效果不精準，在有花的圖像中亮度分配不均勻時，基于因式分解的FACM模型將后面的陽光識別為圖像對象導致圖像分割部準確，所以加入顯著性信息能夠使得能量函數中區域項的可靠性增強，使得本文的算法能夠有效地分割復雜背景的圖像。

此外，評估指標采用F值(F-Measure)[15]來評價對圖像分割的效果，并對每個模型分割的運行的時間進行了對比。F-Measure的計算公式如下：

式中，Rec表示的是召回率，該值反映圖像中的目標被分割的完整性，Pre表示的是精確率，該值越高反映算法分割的結果中包含的背景越少，其計算公式為：

其中，Gt表示真值圖像，Bi表示算法分割后的二值圖像，但Rec和Pre指標有時候會出現的矛盾的情況，這樣就需要綜合考慮，所以F-Measure就是Pre和Rec加權調和平均，F-Measure較高則表明在精確率較高的情況下召回率也較高，即表明本文算法能夠準確完整地分割出圖像中的目標。

本文對MSRA1000 圖像庫中的一些圖像進行了實驗，得到的結果如表1。

表1 主動輪廓模型的分割結果對比

圖5 CV、FACM和本文算法的分割結果

在表1中，對每種算法的迭代次數都設置為100；平均運行時間是指每種算法迭代100 次時的平均時間。由于本文加入了顯著性檢測使得運行時間比其他兩個算法相對較長，但是本文利用顯著圖的二值圖像來初始化輪廓，而FACM模型的初始輪廓設為一個橢圓框，CV模型根據圖像的大小，其初始輪廓為圖像長寬的1/3 到2/3處的矩形框，因此本文算法的迭代次數大幅地減少，所以在實際應用中，FACM算法的運行時間要遠遠大于本文算法，FACM 算法是基于因式分解的主動輪廓模型，該算法僅從對象區域中選擇組合權重來處理曲線的運動，所以需要多次迭代才能得到更好的分割效果。因此FACM模型運行時間較長。從表1中，也能明顯地看出本文算法的F值明顯高于其他兩個模型，因此本文算法分割的性能更好。

4 結語

本文所提出的結合顯著性的主動輪廓圖像分割方法，能夠有效地分割背景較為復雜的圖像，通過使用LSC超像素分割算法將圖像分割成塊狀小區域，并對分割后的超像素進行流形排序以得到顯著性圖，在主動輪廓模型中加入顯著性信息，用像素的顯著性值來擬合能量函數。在實驗過程中，通過實驗的對比驗證了顯著性信息和GMM模型對主動輪廓分割的有效性，實驗結果表明本文算法在進行圖像分割時具有較好的性能。下一步的工作主要是將對顯著性提取算法和主動輪廓模型做進一步的優化，以提高分割效果和普適性，并將其應用到實際的目標檢測中。