李 蕙,王延江
(中國石油大學信息與控制工程學院,山東青島266580)
圖像分割是把圖像分成互不交疊的有意義的區域,每個區域內的像素都具有相似性,而在邊界處則具有非連續性。常用的圖像分割算法可分為三類:基于邊界的算法、基于區域的算法和基于特定理論的算法。Kass等人提出的主動輪廓模型[1]是較有代表性的基于變分的圖像分割算法,該算法在全局能量函數框架下求取最優解,但存在對初始值比較敏感,不具有自動拓撲變化能力等問題。因此,研究人員相繼提出了許多改進:Cohen等提出了“氣球”模型[2];Caselles 等[3]和 Malladi等[4]分別提出了幾何活動輪廓模型(geometric active contours);后來Caselles等又提出了測地主動輪廓模型(geodesic active contours)[5];Saddiqi等提出在測地線模型基礎上增加“面積最小項”[6]來進一步阻止邊界泄漏;Xu等提出了幾何GVF活動輪廓模型[7];而后Chan等在Mumford-Shah模型[8]基礎上又提出了無邊界主動輪廓模型(active contour without edges)[9]。上述算法從不同方面對主動輪廓模型進行了改進,但仍然存在一些問題,如需要人為給定初始化輪廓線或掩膜(mask),對于復雜圖像和多目標圖像分割效果不夠理想等。受人類視覺感知機制的啟發,筆者將選擇性注意機制引入到無邊界主動輪廓模型,提出一種基于選擇性注意機制的無邊界主動輪廓圖像分割算法。
主動輪廓模型可分為兩類:基于邊界的方法和基于區域的方法。前者存在結果易受圖像噪聲影響,對于初始輪廓線的位置較敏感,難以得到全局性分割等問題;而后者則從圖像模型的角度出發,給出圖像模型應滿足的全局能量泛函,通過最小化能量泛函來驅動輪廓線的膨脹與收縮,這類方法不僅抗噪性能更強,而且能夠收斂到全局最優,其中,最具有代表性的是Chan等于2001年提出的無邊界主動輪廓模型[9]。
無邊界主動輪廓模型(又稱為分段常量模型)是一種全局最優的分割方法,認為所分的兩個區域(目標和背景)都是均質的,并應用二相的水平集方法來進行數值求解。假設給定一幅圖像I(x,y),則無邊界主動輪廓能量泛函表示如下:

其中,C為封閉邊界;c1和c2分別為輪廓線內部區域和外部區域的平均灰度;μ ≥0,ν≥0,λ1,λ2> 0為固定參數,μ為約束邊界長度的參數,ν為約束閉合輪廓面積的常數,λ1和λ2分別為控制輪廓線內外能量權重的參數;長度約束L和面積約束A用于控制輪廓線的光滑度和規則度。當輪廓線位于區域間邊界時,E(C)才能取到最小值。
通過引入Heaviside函數和Dirac函數可將能量函數式(1)規范化。此外,Chan與Vese由拉格朗日方法推導所得的水平集演化方程如式(2)所示:

其中,φ為符號距離函數,且內正外負,其更新迭代方程為

在實際的數值計算中,分別采用正則化函數式(4)代替Heaviside函數和Dirac函數:

其中,ε為常數。
上述過程可使水平集演化方程作用于所有的水平集上,進而使能量函數達到極小值,并且得到圖像分割的結果。該方法與傳統主動輪廓方法相比,抗噪能力有所增強,降低了對于初始化的要求,不需要依靠圖像中的邊緣信息,可有效分割出模糊或者離散的邊緣。此外,由于使用了水平集,從而使得輪廓線的拓撲變化能得到自動的處理。
通過對人類視覺感知系統的深入研究,本文中提出一種基于選擇性注意機制的無邊界主動輪廓圖像分割模型,將選擇性注意機制引入到基于區域的無邊界主動輪廓模型中以取代傳統人工方式完成掩膜初始化,該模型主要包括圖像預處理、掩膜初始化和迭代分割等部分。算法流程如圖1所示。

圖1 算法流程圖Fig.1 Flow chart of proposed algorithm
ASF(alternating sequence filter)算子由 Sternberg[10]提出,而后又經 Serra[11]進行了廣泛的研究和完善。本文通過構造ASF算子[12]對輸入圖像做平滑預處理,具體定義如下:

式中,ASFn-1為濾波前的原始圖像;O表示開運算,即先腐蝕后膨脹;C表示閉運算,即先膨脹后腐蝕;n為開/閉運算的次數;SEn是半徑為n的圓盤結構元素。數學形態學中的開運算可以去掉凸角,而閉運算則具有填充凹陷的作用,選取合適的結構元素(本文選用3×3的disk結構元素)以及n值,反復進行開閉運算即可得到平滑區域,如圖2所示,其中,(a)列和(b)列的第一行分別為輸入的原始圖像,第二行為預處理后得到的平滑圖像。與其相對應的直方圖分別為(c)和(d)。通過直方圖的對比可知,對圖像的平滑預處理使區域之間的能量分布更加明顯,有利于后續的分割工作,并且能有效減少迭代次數。

圖2 基于ASF算子的圖像預處理Fig.2 Image preprocessing based on ASF operator
目前的無邊界主動輪廓模型大多是由人為來確定初始掩膜,分割結果和效率受主觀性影響較大。對于單目標圖像,考慮到算法效率,可以通過提取顏色、亮度、方向等初級特征構造顯著圖,進而初始化掩膜。本文中采用基于顯著圖的方法初始化掩膜,使得掩膜的位置更加貼近于感興趣目標,從而能夠有效減少迭代次數。構造顯著圖的過程以亮度特征為例,首先構造不同尺度的亮度高斯金字塔的圖像序列,并記中央周邊差算子為Θ,可得

式中,I(c)為細尺度圖像;I(s)為粗尺度圖像;c取{1,2,3},而 s=c+m,m 為{3,4},因此 s的取值范圍是{4,5,6}。
然后應用歸一化算子N(·),將上述的特征差異圖像進行融合得到亮度分量顯著圖,該步驟的生物學依據在于算子近似模擬了大腦皮層的側抑制生物機制(即近鄰相似特征可以通過特定的聯結來相互抑制)。其具體實現如下:
(1)歸一化亮度特征圖的像素值至0~M,用以消除特征圖的多模態尺度差異;
(2)計算特征圖的像素均值ˉm;


式中,RG(c,s)和 BY(c,s)分別表示紅色 - 綠色的反差對比以及藍色-黃色的反差對比;O(c,s,θ)表示圖像在不同的尺度和不同的方向上的梯度對比。
最后加權融合可得到顯著圖S,將其二值化后即可作為本文算法初始化掩膜:

用上述方法對包含單個目標的靜態圖片進行掩膜初始化,結果如圖3所示。其中,第一行為原始圖像,第二行為顯著圖,第三行為本文中基于顯著圖確定的初始掩膜。
當圖像中存在多個目標時,傳統手動選定掩膜的方法不僅效率不高,而且如果掩膜選取不當則極易出現漏分割的現象。若僅僅采用以上基于顯著圖的方法確定掩膜,那么多個目標可能會合成一個較大的掩膜區域(圖4(c)),對迭代的效率有不利影響。因此,對于多目標圖像,采用融合邊緣特征及顯著圖的算法來初始化掩膜。其流程如圖1所示,具體如下:首先,應用上述方法得到顯著圖;然后,通過小波變換的方法實現對圖像的邊緣粗檢測,由于A Tuous算法不需要抽取偶數樣本,奇異檢測更為準確,因此本文中采用基于小波的二維A Tuous算法[13]以二階樣條小波函數和合適的尺度J進行計算,得到邊緣粗檢測圖;最后將邊緣粗檢測圖與前述顯著圖進行數學邏輯與運算,最終得到初始化掩膜。結果可見圖4,其中,(a)為原始圖像,(b)和(c)分別是其顯著圖及基于顯著圖確定的掩膜,(d)為邊緣粗檢測圖與顯著圖的邏輯運算結果,(e)為本文基于融合邊緣特征的顯著圖算法確定的掩膜。

圖3 基于顯著圖的掩膜初始化(單目標)Fig.3 Saliency map based mask initialization(single target)

圖4 基于顯著圖的掩膜初始化(多目標)Fig.4 Saliency map based mask initialization(multiple targets)
本文算法具體步驟如下:
(1)首先,輸入靜態圖像I。
(2)利用迭代開閉運算進行平滑預處理,得到區域能量聚集而邊界又相對清晰的平滑圖像If。
(3)初始化掩膜。當原始圖像I中存在單個目標時,采用基于顯著圖的算法初始化掩膜;當原始圖像I中存在多個目標時,采用融合邊緣特征及顯著圖的算法初始化掩膜。如此自動得到的掩膜位置和大小較接近于待分割目標的真實位置和大小,且不像傳統方法那樣受主觀性影響。
(4)求取窄帶(narrow band)[14]。使得計算主要集中在輪廓線周圍的像素上而非整幅圖像,從而很大程度上降低了計算量和復雜度,并能使輪廓線盡快收斂。
(5)求取當前能量函數值E,迭代直到能量函數值達到最小或達到所設定的迭代次數M。
(6)輸出圖像分割結果。
為了驗證本文算法的正確性和有效性,分別應用無邊界主動輪廓模型以及本文提出的算法進行圖像分割實驗。實驗在64位windows 7環境下運行,計算機配置Intel 2.5GHz處理器,2GB內存,MATLAB R2009a軟件平臺,實驗所采用的圖片來源是公開的顯著圖像庫以及internet。
實驗中應用無邊界主動輪廓模型時隨機選取其初始掩膜。當圖像中僅存在單個目標時,采用本文中基于顯著圖的方法進行掩膜初始化;當圖像中存在多個目標時,采用本文中針對多目標的融合邊緣特征的顯著圖方法進行實驗。此外,本文采用像素點統計量與收斂時間相結合的方法量化實驗結果以進行比較。基準圖來源于公開的顯著圖像庫或人工標定。像素點統計量主要包括目標像素點數、漏檢點個數、誤檢點個數以及相應的正檢率和誤檢率。其中,目標像素點數即所得分割區域中目標區域的像素點總數目,漏檢點數即分割結果中未檢出的目標像素點數,誤檢點數即分割結果中檢出的不屬于目標的像素點數。一般地,較好的分割算法應同時具備準確性和完整性,因此要求漏檢點數和誤檢點數盡量小,即具有較高的正檢率和較低的誤檢率。此外,收斂時間越短越好。定義正檢率(rcd)和誤檢率(red)分別如下:

單目標圖像第一組實驗結果對比如圖5(C-V模型中隨機選取掩膜為[50∶250,100∶200])所示,實驗數據如表1所示。第二組實驗結果對比如圖6(C-V模型中隨機選取掩膜為[100∶300,50∶200])所示,實驗數據如表2所示。

圖5 第一組實驗結果對比Fig.5 The first set of results contrast

表1 第一組實驗數據對比Table 1 The first set of experiments data contrast

圖6 第二組實驗結果對比Fig.6 The second set of results contrast

表2 第二組實驗數據對比Table 2 The second set of experiments data contrast
表1為單目標第一組實驗的量化對比結果,由表中數據可以看出,本文算法的正檢率高于C-V模型的正檢率,且其誤檢率低于C-V模型。此外,通過觀察圖5也可以看出,在較短的時間內,本文算法分割出了更為完整且精確的目標區域。觀察第二組實驗結果及數據可知,本文算法與C-V模型相比擁有更高的正檢率和較低的誤檢率,符合目標分割算法對完整性和準確性的要求。并且,如圖6所示,在第二組實驗中原始圖像含噪聲較多,傳統的C-V方法輪廓收斂過程中呈現不斷振蕩的狀態,而本文算法則可以以較快的速度穩定收斂,因此在復雜背景或是噪聲較多的圖像中本文算法優勢更為明顯。上述兩組對比實驗結果表明,本文算法不僅能夠自動選取初始掩膜以實現完全自動的分割,解決了傳統方法受主觀性影響較大的問題,而且可以有效地減少迭代次數,能夠以更快的時間和更少的迭代次數收斂到邊界輪廓,并得到更為精確的分割結果。此外,本文提出的算法通過模擬人類視覺初始化掩膜,實現由粗到精的分割更加符合人類認知機制。
圖7(C-V模型中隨機選取掩膜為[100∶300,100∶300])和表3分別為應用三種不同方法對飛機圖像分割的結果及量化數據。由圖7可直觀看出,本文融合邊緣特征及顯著圖的算法取得了較好的分割效果,完整地分割出了目標,而隨機選取掩膜的C-V模型效果最為不理想。
觀察表3中的具體數據,顯然本文基于顯著圖的算法和針對多目標提出的基于融合邊緣特征及顯著圖的算法正檢率都高于C-V模型,而誤檢率則均遠低于C-V模型。同時,在相近的時間內,本文基于融合邊緣特征及顯著圖的算法的效果優于基于顯著圖的算法。因此,本文算法能夠有效地取代手動選取掩膜的方法,以實現顯著目標的完全自動分割。
對背景相對復雜的花朵圖像分別應用三種不同的方法進行分割實驗,結果如圖8(C-V模型中隨機選取掩膜為[100∶400,100∶500])所示。圖8中(f)、(g)、(h)表明本文融合邊緣特征的顯著圖算法效果最好,而C-V模型手動選取的掩膜受主觀性影響較大。若選取不當,則極有可能漏檢目標,并且對于背景相對復雜含噪聲較多的圖像其收斂過程中不斷振蕩。前述的基于顯著圖的算法應用于多目標的分割時,其初始掩膜由多個目標的顯著圖構成,可能會合成一個較大的區域,從而影響分割效率。觀察表4,顯然C-V模型的正檢率和誤檢率不夠理想,而本文融合邊緣特征的顯著圖算法則取得了較為理想的正檢率和誤檢率。其中,基于顯著圖算法的正檢率雖然稍高于本文算法,但是其誤檢率卻是本文算法的25.6倍。仔細觀察圖8可知,由于基準圖為人工標定的結果有一定誤差,而分割算法在迭代過程中能將邊緣細節分割出來,因此可能會造成少量的漏檢點。綜合考慮分割目標的正確性、完整性可知,本文算法效果相對較好,能夠在多目標圖像分割中自動選取初始掩膜以實現完全自動的分割,在一定程度上解決了傳統方法受主觀性影響較大的問題。

圖7 分別用不同方法迭代150次得到的輪廓以及分割結果Fig.7 Contour and segmentation results of 150 iterations with different methods respectively

表3 多目標第一組實驗數據對比Table 3 The first set of multi-target experiments data contrast

圖8 分別用不同方法迭代300次得到的輪廓以及分割結果Fig.8 Contour and segmentation results of 300 iterations with different methods respectively

表4 多目標第二組實驗數據對比Table 4 The second set of multi-target experiments data contrast
通過對主動輪廓模型以及人類認知機制的深入研究,將選擇性注意機制引入到基于區域的無邊界主動輪廓模型中,并利用數學形態學算子對圖像進行平滑預處理。此外,在多目標情況下,將選擇注意與小波變換相結合初始化掩膜。實驗結果表明本文算法是可行的,不僅可以減少迭代次數,當圖像中存在多個目標時還可以得到更精確的分割結果,有效地提高了主動輪廓算法的效率。
[1] KASS M,WITKIN A,TERZOPOULOUS D.Snake:active contour models[J].International Journal of Computer Vision,1988,1(4):321-331.
[2] COHEN L D.On active contour models and balloons[J].Computer Vision,Graphics and Image Processing:Image Understanding,1991,53(2):211-218.
[3] CASELLES V,CATTE F,COLL T,et al.A geometric model for active contours in image processing[J].Numerische Mathematic,1993,66:1-31.
[4] MALLADI R,SETHIAN J A,VEMURI B C.Shape modeling with front propagation:a level set approach [J].IEEE transactions on Pattern Analysis and Machine Intelligence,1995,17(2):158-175.
[5] CASELLES V,KIMMEL R,SAPIRO G.Geodesic active contours[J].International Journal of Computer Vision,1997,22(1):61-79.
[6] SADDIQI K,LAUZIERE Y B,TANNENBAUM A,et al.Area and length minimizing flows for shape segmentation [J].IEEE Transactions on Image Processing,1998,7(3):433-443.
[7] XU C,YEZZI A,PRINCE J L.On the relationship between parametric and geometric active contours[C]//34th Asilomar Conference of Signals,Systems,and Computers,2000.
[8] MUMFORD D,SHAH J.Optimal approximation by piecewise smooth functions and associated variational problems[J].Communications on Pure and Applied Mathematics,1989,42:577-685.
[9] CHAN T,VESE L.Active contour without edges for vector-valued image[J].Journal of Visual Communication and Image Representation,2001,10(2):266-277.
[10] STERNBERG S R.Grayscale morphology[J].Computer Vision Graphics,and Image Process,1986,35(3):333-355.
[11] SERRA J.Image analysis and mathematical morphology[M].Vol.II:Theoretical Advances,Chap.10.London:Academic Press,1988.
[12] KAELI J W,SINGH H,ARMSTRONG R A.An automated morphological image processing based methodology for quantifying coral cover in deeper-reef zones[C/OL]//2006 IEEE/MTS Oceans Conference,Boston,USA,September 18-21,2006[2013-02-10].http://ieeexplore.ieee.org/stamp/stamp.jsp?tp= &arnumber=4098975.
[13] 吳國良,楊浩,羅建.二維A Tuous算法圖像邊緣檢測研究[J].計算機工程與應用,2010,46(11):167-169.
WU Guo-liang,YANG Hao,LUO Jian.Research of edge detection based on 2-D A Tuous algorithm[J].Computer Engineering and Applications,2010,46(11):167-169.
[14] 蔣欣.水平集方法及其在圖像分割上的應用[J].上海生物醫學工程,2004,25(3):29-32,61.
JIANG Xin.Level set method and its application on image segmentation[J].Shanghai Journal of Biomedical Engineering,2004,25(3):29-32,61.