機(jī)器視覺中的尺度可控圖像分割方法*

張 健

（長沙理工大學(xué) 物理與電子科學(xué)學(xué)院，湖南 長沙 410114）

0 引 言

隨著計算機(jī)技術(shù)與數(shù)字圖像技術(shù)的發(fā)展，擁有多種先進(jìn)學(xué)科共同支撐的機(jī)器視覺，頻繁活躍于視頻監(jiān)控、人臉識別、指紋識別及醫(yī)用圖像檢測等[1]。如何提高圖像處理系統(tǒng)的性能，一直是機(jī)器視覺的核心問題。作為圖像處理系統(tǒng)中對圖像進(jìn)行預(yù)處理的關(guān)鍵一步，圖像分割則成為辨別圖像信息和研究圖像特性的有效處理手段。通過對圖像的分割操作，能夠大幅降低圖像處理的繁瑣程度和不必要的冗長算法，使圖像更容易理解和分析，從而為圖像的后續(xù)操作提供便捷[2-3]。

圖像分割方法多種多樣。傳統(tǒng)的圖像分割是將像素點視作基本處理對象，而隨著人們對圖像認(rèn)知的要求越來越高，尤其是對高清視頻圖像和3維圖像，傳統(tǒng)方法已然暴露缺點，即圖像信息量大導(dǎo)致算法復(fù)雜、處理過程耗時耗力、處理結(jié)果與預(yù)期不符等。直到21世紀(jì)初期，出現(xiàn)了超像素這個新穎的概念[4]。后經(jīng)學(xué)者們不斷探討研究，超像素在圖像分割領(lǐng)域的地位愈發(fā)重要[5]。本文介紹機(jī)器視覺中的尺度可控圖像分割方法，實際上就是以超像素為處理對象的新型超像素分割方法。

1 圖像分割的數(shù)學(xué)定義

從數(shù)學(xué)觀點出發(fā)，將圖像分割按照集合的概念定義為：將整個待處理圖像區(qū)域看成是非空全集U，則對該圖像區(qū)域的分割便可以當(dāng)成是將全集U劃分成n個滿足以下四個條件的非空子集U1,U2,…,Un，即圖像的子區(qū)域。

分割后所有子區(qū)域的并集是原圖像：

各子集Ri之間為連通區(qū)域，i=1,2,…,n；任兩個子區(qū)域間有明顯不同的特性：

子區(qū)域內(nèi)部有均勻一致的特性：

如上述定義，差異性、均勻性以及連通性成為最優(yōu)圖像分割方法的必備特性。詳細(xì)來講，差異性是指相鄰子區(qū)域之間的圖像特性差別應(yīng)當(dāng)顯著；均勻性是指子區(qū)域內(nèi)具有相似的顏色以及相似的灰度等；連通性是指分割成的子區(qū)域之間要緊湊、連接光滑、分割邊沿?zé)o尖點。然而，實際操作中完全遵循上述三點實屬不易，所以當(dāng)今現(xiàn)有的分割算法只能將上述三點折中。

2 幾何流理論

2.1 曲線演化理論

曲線演化理論是通過對曲線的單位法向量以及其曲率等幾何特性的測度來研究曲線隨時間演化的理論。一般地，演化曲線形變方向的數(shù)學(xué)特性為其單位法向量，曲線彎曲程度的數(shù)學(xué)度量方式是曲率。曲線演化理論在圖像分割中的應(yīng)用，實質(zhì)上是把圖像分割的過程近似看作圖像定義域內(nèi)閉合曲線在多種驅(qū)動下的演化過程。當(dāng)曲線逼近到目標(biāo)區(qū)域的輪廓時，則停止演化。

設(shè)二維圖像定義域內(nèi)的一條隨時間變化的閉合曲線Q(l,t)=(x(l,t),y(l,t))，其中l(wèi)表示曲線的弧長，t表示時間。Q的演化過程可由偏微分方程表示：

設(shè)曲線演化的一般速度為V(l,t)，表示圖像上每個像素點的演化速度，則曲線的演化方程可以寫為：

式中，依照切法線速度向?qū)⑵渖先我恻c速度分解，速度V(l,t)在切法兩方向的分量用式（4）的A、B兩參數(shù)表示，即V=(A,B)。

曲線演化時，參變量p隨曲線沿切向的變化而變化，不可能影響演化曲線的幾何形變，即V=(A,B)滿足(A,B)=(0,B)。所以，可以去掉切向矢量，則曲線的演化方程（4）可簡化為方程（6）：

圖1給出了曲線演化模型。模型里曲線演化方向為法向，即曲線的擴(kuò)展方向由黑色小箭頭代表。

圖1 曲線演化

曲線演化最常見的一種形式是曲率演化，其演化方程為：

曲線的另外形式——常值演化，可以用式（8）表述：

其中，V0代表曲線的演化速度及方向，是一個常值，可正可負(fù)可為零。

在常值演化方式中，演化曲線上任意點都依靠一個確定不變的速度擴(kuò)展或是收縮，這樣就會使曲線演化出不規(guī)則的尖點，進(jìn)而導(dǎo)致曲線分裂，得出劣質(zhì)的分割結(jié)果。曲率演化過程中，其上任意點的演化速度由曲率決定，即曲率越大，曲線運(yùn)動速度越快；曲率越小，曲線演化速率越慢。這樣便會出現(xiàn)平滑的曲線演化，無法形成棱角或者尖點，使其逐漸向圓形趨勢運(yùn)動。

2.2 水平集方法理論

水平集方法理論主要建立在數(shù)學(xué)思維的基礎(chǔ)上，把低維表達(dá)嵌進(jìn)高其一維n+1的函數(shù)f中，那么水平集函數(shù)就是此處的f。利用該思想可以快速處理曲線演化過程求解，將演化曲線Q(l,t)嵌進(jìn)高其一維的水平集函數(shù)φ(x,y,t)中。

此處演化曲線用水平集函數(shù)的零水平集代表，即Q(l,t)={(x,y)|φ(x,y,t)=0}。一般地，這里可以用符號距離函數(shù)表示水平集函數(shù)，則水平集演化如式（9）為演化曲線的法向量。

詳細(xì)來講，如果需要判定當(dāng)前時刻曲線Q(t)，那么從任一時間點t中拿出φ(x,y,t)=0的水平集。同時，即便曲線的拓?fù)浣Y(jié)構(gòu)改變，水平集函數(shù)φ始終保持有效性，式（9）也叫做Hamilton-Jacobi型偏微分方程。

在水平集方法的數(shù)值實現(xiàn)上，存在水平集的重新初始化問題。一般地，要將水平集函數(shù)初始化為符號距離函數(shù)。為了使水平集函數(shù)φ始終保持為一個有效的符號距離函數(shù)，引入“重新初始化”的方案，即每經(jīng)過一段時間更正一次水平集函數(shù)φ，使其仍為一個有效的函數(shù)。該過程叫做水平集函數(shù)φ(x,y,t)的重新初始化。

3 尺度可控圖像分割方法

3.1 算法的概述

首先將粒子排布于待分割圖像上，粒子數(shù)可根據(jù)研究需要進(jìn)行改變。然后，根據(jù)曲線演化理論，通過演化粒子邊界曲線，最終將圖像劃分為一定數(shù)量能夠保持一定圖像局部結(jié)構(gòu)特征的超像素子區(qū)域。一個超像素子區(qū)域?qū)?yīng)一個可以演化的粒子。

粒子內(nèi)部稱作賦值區(qū)域，粒子之外的區(qū)域稱作未賦值區(qū)域。處于賦值區(qū)域和非賦值區(qū)域間的粒子邊界曲線逐步演化，直至穩(wěn)定則停止演化。該算法最明顯的優(yōu)勢在于能夠保持粒子演化后生成的超像素子區(qū)域面積大致相同，生成速度快，相鄰超像素子區(qū)域之間緊密且不重疊，同時還能人為設(shè)定所生成超像素子區(qū)域的數(shù)量，即實現(xiàn)尺度可控。另外，該算法抵抗圖像噪聲能力突出，主要是由于提取圖像特征時往往在極小的超像素子區(qū)域中進(jìn)行平均。圖2為尺度可控圖像分割方法的算法整體流程圖。

圖2 算法整體流程

3.2 算法步驟

3.2.1 初始粒子的放置

設(shè)K代表超像素子區(qū)域的數(shù)量即粒子數(shù)，N代表待處理圖像上的總像素點數(shù)，初始超像素塊之間的距離約等于，初始粒子的大小等于一個像素點的大小。為了防止粒子演化后出現(xiàn)偶然被重疊的現(xiàn)象，此處還需根據(jù)待處理圖像的灰度梯度，使初始粒子遠(yuǎn)離圖像邊緣。

3.2.2 粒子邊界曲線的表示

粒子邊界曲線的演化轉(zhuǎn)化成曲面的演化，曲線作為該曲面的一個水平集存在于到其內(nèi)部，待曲面完成演化，曲線演化結(jié)果便可從曲面的相應(yīng)水平集獲得。演化方程為：

Q是粒子邊界曲線的坐標(biāo)向量，t是粒子邊界曲線的演化時間，N表示粒子邊界曲線的外法線方向，S為演化速度。

設(shè)邊界曲線為Q所對應(yīng)連續(xù)平滑的曲面為H，那么每一個像素點的函數(shù)值在由H代表的一個圖像平面上通過一個符號歐氏距離函數(shù)來確定，尋找距離該像素點最接近的粒子邊界曲線Q。即若一個像素點在未賦值區(qū)域，則歐氏距離是正值；相反地，如果在已賦值區(qū)域，則歐氏距離是負(fù)值；而曲面H的零水平集就是超像素的邊界。

3.2.3 粒子邊界曲線的演化

此處，用低階離散時間的方程表示曲面的演化，然后通過逐步迭代得到高階的值：

?t表示粒子演化一次，SISB為粒子邊界曲線的速度，是算法的核心。SB的值與粒子邊界上的像素點和其他像素點的相似性有關(guān)，可稱為“開關(guān)參數(shù)”，即置1時曲線開始演化，置0時曲線停止演化。而SI的值與粒子邊界超像素的幾何結(jié)構(gòu)和局部像素結(jié)構(gòu)有關(guān)，是核心中的核心。該參數(shù)的主要功能有兩個：一是保證像素點速度在圖像高灰度梯度區(qū)域降低；二是保證曲線向圖像邊緣演化。如果未達(dá)到圖像邊緣，那么曲線上的點在法向量上的運(yùn)動方向與圖像邊緣的負(fù)梯度方向一致。緊接著，這些點被一個增大的牽引力驅(qū)動至圖像邊緣；相反地，如果曲線演化有著超過圖像邊緣的趨勢，則被拉回。

3.2.4 粒子邊界曲線演化停止

邊界停止演化時，算法終止。因為理論上隨著速度的快速降低，邊界只能進(jìn)行有限度的演化，所以當(dāng)?shù)陀谂R界值的超像素覆蓋的總圖像區(qū)域相對增大時，運(yùn)算法則停止。種子演化結(jié)束后的工作：首先將沒有處理的連通局部作為超像素子區(qū)域；其次移除超像素子區(qū)域里面積較小的；再次將其設(shè)成未賦值區(qū)域；最后對未賦值的區(qū)域進(jìn)行賦值，即繼續(xù)演化，直到獲得平滑的超像素邊界。

整體算法的執(zhí)行步驟如下：

輸入：圖像I，粒子數(shù)K

輸出：超像素的邊界B

將粒子K放在圖像I的矩形網(wǎng)格中

讓粒子遠(yuǎn)離高梯度區(qū)域

給粒子邊界像素開始賦值

設(shè)Ψ0為已賦值區(qū)域內(nèi)滿足歐式距離的函數(shù)

計算像素的局部的灰度梯度φ(x,y)

n←0

當(dāng)已賦值的像素點變化到最大時

計算圖像的速度SI

計算邊界的速度SB

S←SISB

在零水平集的一個窄頻帶Ψn的附近擴(kuò)展速度S

在窄帶通過迭代利用Ψn計算Ψn+1

n←n+1

已賦值的像素點←∑x,y[Ψn(x,y)＞=0]

B←Ψn同輪的骨架

返回B

3.3 算法特點

3.3.1 覆蓋均勻

依據(jù)曲線演化理論，每一個粒子對應(yīng)于一個像素點，這樣做的目的在于放置初始種子的時候能夠?qū)崿F(xiàn)分布均勻。同時，超像素子區(qū)域擁有近似相同的尺寸，可實現(xiàn)最小目標(biāo)區(qū)域與超像素尺度相等化。

3.3.2 超像素子區(qū)域不重疊

在粒子進(jìn)行演化前，算法對曲線內(nèi)外的像素進(jìn)行差異性度量，然后根據(jù)度量結(jié)果設(shè)置一個啟動值。只有差異性不大于這個啟動值時，曲線才能開始演化，且每一次擴(kuò)張前都要重新進(jìn)行差異性度量并設(shè)置新的啟動值，以避免粒子融合，提高分割的可靠性。

3.3.3 分割邊沿平滑

由于該算法嚴(yán)格根據(jù)粒子邊緣曲線的曲率和粒子周圍像素點的灰度梯度實現(xiàn)對演化速度的控制，使得生成的超像素子區(qū)域邊界光滑無尖點，同時又保留了原有圖像的細(xì)節(jié)信息。

4 實驗結(jié)果

本文實驗利用Matlab R2016a軟件對機(jī)器視覺中的尺度可控圖像分割方法的圖像處理效果進(jìn)行驗證。程序的輸入為可以演化的粒子，輸出為超像素邊界，實驗結(jié)果如圖3所示。

圖3 尺度可控圖像分割實驗

圖3（a）展示了粒子演化的過程，其中第一幅圖為粒子的初始位置，此處粒子數(shù)為1 000，第二幅圖為粒子演化10次的結(jié)果，第三幅圖為粒子最終停止演化的結(jié)果，即最終分割。

圖3（b）展示了利用所提方法對圖像進(jìn)行分割處理的整體與細(xì)節(jié)效果，圖中的鷹為目標(biāo)區(qū)域，也稱作感興趣區(qū)域，粒子數(shù)同樣設(shè)置為1 000，程序運(yùn)行大約5 s后出結(jié)果?？梢?，分割后目標(biāo)區(qū)域的輪廓信息被保留。

5 結(jié) 語

本文提出的機(jī)器視覺中的尺度可控圖像分割方法對圖像細(xì)節(jié)信息處理能力突出，分割所需時間短，且可根據(jù)研究需要人為控制分割密度。該算法將數(shù)據(jù)驅(qū)動型曲線演化過程的趨勢與一組基于圖像骨架的外部約束相結(jié)合，形成了一種新穎、高效的圖像分割方法，可用于超高清視頻圖像的研究。

[1] 于翔.機(jī)器視覺中幾種顏色優(yōu)勢的圖像分割算法比較與研究[J].無線互聯(lián)科技,2012(09):20-28.YU Xiang.Comparison and Research on Image Segmentation Algorithms of Several Color Advantages in Machine Vision[J].Journal of Wireless Internet Technology,2012(09):20-28.

[2] 姜楓,顧慶.基于內(nèi)容的圖像分割方法綜述[J].軟件學(xué)報,2017,28(01):160-183.JIANG Feng,GU Qing.Survey on Content-Based Image SegmentationMethods[J].Journal of Software,2017,28(01):160-183.

[3] 彭紅星,鄒湘軍.基于演化算法的水果圖像分割[J].農(nóng)業(yè)工程學(xué)報,2014,30(18):294-301.PENG Hong-xing,ZOU Xiang-jun.Fruit Image Segmentation Based on Evolutionary Algorithm[J].Transactions of the Chinese Society of Agricultural Engi neering,2014,30(18):294-301.

[4] 宋熙煜,周利莉,李中國.圖像分割中的超像素方法研究綜述[J].中國圖象圖形學(xué)報,2015,20(05):599-608.SONG Xi-yu,ZHOU Li-li,LI Zhong-guo.A Review of Superpixel Method in Image Segmentation[J].Journal of Image and Graphics,2015,20(05):599-608.

[5] 許新征,丁世飛,史忠植等.圖像分割的新理論和新方法[J].電子學(xué)報,2010,38(S1):76-82.XU Xin-zheng,DING Shi-fei,SHI Zhong-zhi,et al.New Theory and Method of Image Segmentation.[J].Acta Electronica Sinica,2010,38(S1):76-82.