面向圖像語義分析的JSEG改進分割算法

周 云，張 瀅，紀 平

（合肥工業大學計算機與信息學院，安徽合肥 230009）

面向圖像語義分析的JSEG改進分割算法

周 云，張 瀅，紀 平

（合肥工業大學計算機與信息學院，安徽合肥 230009）

JSEG算法是一種經典的被廣泛應用于圖像處理的圖像分割算法，但是它存在著嚴重的過分割問題，因而不適用于對圖像的語義分析處理。針對這個問題提出了兩個方面的改進，一是改進了原算法中初始種子點的選取方法，二是在區域聚合過程中增加考慮了區域紋理特征的信息。實驗表明，改進后的方法有效地改善了原算法中的過分割現象，分割后的圖像區域更加符合對圖像進行語義分析的要求。

圖像語義分析;JSEG算法;區域生長;區域聚合

【本文獻信息】周云，張瀅，紀平.面向圖像語義分析的JSEG改進分割算法［J］.電視技術，2014，38（1）.

目前，如何對圖像進行準確的語義分析非常熱門。由于圖像語義內容描述為“像素—區域—目標—場景”的層次包含關系［1］，因此圖像分割［2］是其中極為重要和基礎的一步，區域分割的準確性直接影響到圖像中對于目標的提取，進而對圖像語義的分析和理解產生影響。

圖像分割是一種基本的計算機視覺處理技術，是從圖像基本處理到圖像分析的關鍵環節。目前對其已有大量的相關研究，主要有基于聚類［3－4］、基于區域［5］、基于模型［6－7］等多種方法。其中Deng和Manjunath提出的JSEG算法顏色［8］是一種經典的基于圖像顏色和紋理的區域生長的分割方法，近年來被大量應用于對網絡視頻圖像的分析［9］、航拍遙感圖像的分析［10］等，具有較高的準確性和魯棒性。但是JSEG分割算法存在著明顯的過分割問題，并不適用于圖像的語義分析處理。為此文中針對原算法的過分割問題提出了兩個方面的改進，一是改進了原算法中初始種子點的選取方法，二是區域聚合過程中在依據顏色信息的基礎上增加了區域紋理特征的信息。實驗表明，改進后的方法有效地改善了原算法中的過分割現象。

1 JSEG算法

JSEG算法主要有顏色量化和空間分割兩大步驟。

1.1 顏色量化

顏色量化是為了在不損失原圖像信息的情況下減少圖像的顏色數量，降低算法的運算時間和復雜。量化的結果是對圖像提取出十幾種具有代表性的顏色，形成不同的顏色區域，得到一幅每個像素用不同的量化顏色類標記的類圖。顏色量化首先將圖像的顏色空間轉換成為比較符合人類視覺感知的LUV顏色空間;然后采用同組濾波器（Peer Group Filtering，PGF）［11］對圖像進行平滑去噪，用分裂算法確定圖像的類數;最后采用GLA（Generalized Lloyd Algorithm）算法［11］進行矢量量化和顏色聚類，生成由不同的顏色類標記的類圖，如圖1所示。類圖可以看作是一種特殊的紋理圖像，在類圖中，每個點的像素值不是它的顏色值，而是量化后的顏色類標記號，圖1中的類圖表示該圖像量化為3個不同的顏色類別，圖中不同的符號表示不同的顏色類別。

圖1 類圖的示例

1.2 空間分割

1.2.1 J圖的生成

JSEG算法中的空間分割并不是直接對顏色量化后生成的類圖進行分割，它引入了一種模板掃描方法，通過顏色信息在模板中的分布情況來計算模板中心像素點的局部J值，在類圖的基礎上生成能夠反映圖像區域分部信息的J圖，再對J圖進行空間分割。假設Z是圖像中N個像素點的集合，其中像素點z=（x，y），z∈Z，m表示Z的均值，即

式中:W表示局部窗口;C表示窗口內顏色類別的數量;Zi表示第i類顏色的像素集合，其中i=1，2，3，…，C;Ni則表示Zi中的像素個數。mi表示Zi中的均值，即

其中像素點（x，y）的局部J值為

由以上公式和計算過程可知，每個像素點所對應的J值是在以該像素為中心的局部窗中計算得到的每個像素的局部相似度。J值的計算結果與局部窗口W的大小有直接關系，當局部窗口W過大時，計算出的局部J值分布比較均勻，分割出的區域具有較好的紋理邊緣區分，但存在著欠分割現象;當局部窗口W較小時，計算出的局部J值具有較好的區分度，對于顏色邊緣的變化比較敏感，容易出現過分割現象。因此，JSEG算法中采用在不同尺度的局部窗中計算J值的方法，通過反饋改變局部窗的大小，以獲得最能表達區域邊界的位置信息。

某像素點的局部J值越高，表示這個像素靠近邊界的可能性越大，J值越小，表示這個像素靠近區域中心的可能性越大。J圖就相當于一幅三維地形圖，越大的J值表示越高的山峰，代表了區域的邊緣，而越小的J值表示越低的山谷，代表了區域的內部。

1.2.2 區域生長和區域聚合

區域生長主要分為兩個步驟，一是種子點的確定，二是區域聚合。首先在一個區域中計算局部J值最小點的平均值和標準差，分別記為μJ和δJ，并設定閾值TJ=μJ+a× δJ，其中a={－0.6，－0.4，－0.2，0，0.2，0.4}。將局部J值低于TJ的點選為種子點，連接起來獲得種子域;其次將種子點的各鄰域中與種子點具有相同性質的像素合并到種子點所在的區域中。對于未被選中的非種子區域，計算非種子區域與已標記過的相鄰區域之間的色調均值差，選取差值最小的相鄰區域進行合并。最后依據顏色的相似性來對區域進行聚合，通過計算2個區域的顏色直方圖距離來判斷是否要進行合并。

2 算法改進

本文中針對JSEG算法中的區域生長過程和區域聚合過程進行了一定的改進，主要是通過改變種子點的選取和生長規則以及聚合準則來降低原算法中的過分割現象。

2.1 種子點的選取和生長準則

在圖像分割中，好的分割效果其基本要求是能夠使同一區域內的像素點之間的相似性大于不同區域之間的像素點之間的相似性，所以在區域生長中所選取的種子點應該與它相鄰像素之間的特征非常相似。文獻［12］的研究表明，通過定義各像素點之間的鄰域相容因子來進行區域生長，在對灰度圖像的分割處理中獲得了很好的分割效果。因此，本文中考慮到依據J圖來計算各像素點之間的鄰域相似度SJ，同時考慮計算各像素點之間的基于局部顏色直方圖的鄰域相似度SC和基于局部LBP紋理［13］的鄰域相似度ST，各鄰域相似度計算方法定義如下

式中:Num（MJ），Num（MC）和Num（MT）表示像素點p的K鄰域中像素點的數目;K鄰域定義為以p為中心，邊長為2K+1的正方形窗;Num（NJ）表示滿足在p的K鄰域中滿足與p的局部J值直方圖之差小于閾值QJ的像素點的數目;同理Num（NC）表示K領域中與p的局部顏色直方圖之差小于閾值QC的像素點的個數。

LBP紋理特征是一種描述圖像局部紋理特征的算子，原始的LBP算子定義為在3×3的窗口內，以窗口中心像素為閾值，將相鄰的8個像素與其比較，大于中心像素值則標記為1，否則為0。因此本文中將以p為中心的3×3的窗口作為一個小區域，將該區域的LBP特征看作是像素點p的LBP特征，對于其他的像素點LBP特征也是依此方法計算，Num（NT）表示K領域中與p的局部LBP特征之差小于閾值QT的像素點的個數。綜合考慮各鄰域相似度的區分作用，取這3種相似度的加權和為像素點的綜合鄰域相似度，定義如下

S（p）定義了在鄰域內與中心像素點p的相似像素和像素總數目的比值，當S（p）≥0.5時，表示p像素點周圍的顏色和紋理變化緩慢，處于區域內部的可能性比較大。反之則表示p點周圍的顏色紋理變化劇烈，處于區域邊緣處的可能性比較大。因此，將S（p）≥0.5的像素點選為種子點，將種子點的K鄰域中的綜合鄰域相似度差異小于Q的像素點進行合并，其中Q=0.4×QJ+0.3×QC+0.3×QT。具體過程如圖2所示。

圖2 區域生長過程

2.2 區域聚合準則

JSEG算法中的區域聚合是以區域的顏色相似性為參考準則進行聚合的，通過計算相鄰區域的顏色直方圖距離來判斷是否要進行合并。這種只考慮了顏色信息的合并方式顯然存在著一定的誤差性，比如對于具有相似顏色分布的不同對象或者具有漸變顏色分布的同一對象等情況不能正確地進行聚合。

針對這個問題，本文提出了一種基于顏色相似性和紋理相似性的聚合準則，除了原算法中考慮的顏色直方圖距離之外，增加計算區域的紋理特征信息。本文中采用了Gabor濾波［14］的方法來計算區域的紋理特征，對于任意一個不規則形狀的多邊形區域R，取得R的最小包圍矩形并對其進行8×8的分塊，計算每個分塊中區域R所占的百分比ω，若ω大于50%則認為該分塊為有效塊，否則為無效塊。對于所有的有效塊采用Gabor小波變換提取紋理特征，并計算出整個區域R的紋理特征TR

式中:n為有效塊的個數;ωi為每個有效塊中R所占的比例;ti為每個有效塊的紋理特征向量。在進行區域聚合時，分別計算每個區域的顏色直方圖和紋理特征，綜合考慮各區域之間的顏色距離和紋理距離來對區域進行聚合。

3 實驗結果與分析

本文中在NUS－WIDE數據集［15］中隨機選擇了多幅具有明顯目標和語義內容的彩色圖像，共有100張圖像，用本文中提出的改進后的JSEG分割算法與原算法進行分割實驗和比較，在所有的實驗中都采用同樣的參數以保證分割效果的可比性。圖3是部分圖像的分割結果比較。圖3a為原算法的分割結果，圖3b為改進后的分割結果，從圖中可以看出改進后的算法有效減少了原算法中的過分割現象，提高了分割的準確性。例如圖中的天空包含了不同的漸變的顏色，原算法中把它分割成了多個不同區域，而改進后的算法則充分考慮到了顏色信息和紋理信息，將其分割成為一個較為完整的區域，比較符合人眼的目標分類感知，適用于圖像語義分析中對區域的分割要求。另外還可以看出對比第一幅圖像的分割結果，改進后的算法完整地將左邊的樹分割出來，提高了圖像分割的準確性。

圖3 分割結果圖

4 結論

本文針對JSEG算法在圖像分割中的過分割問題，通過改變種子點的選擇方式和合并準則，改善區域聚合準則來抑制過分割現象。首先利用像素點的局部J值信息、顏色信息和紋理信息來定義像素之間的綜合鄰域相似度，以此自動選取像素中具有生長能力的種子點，具有較強的魯棒性。其次在區域聚合中增加考慮區域的紋理信息，結合紋理信息和顏色信息來判斷是否要進行區域合并，有效減少了原算法中的過分割現象。從實驗結果中也可看出，本文中改進后的分割結果比較符合對圖像進行語義分析的標準，能夠很好地應用在基于目標區域的圖像檢索、語義分析、目標識別等領域。下一步的工作將考慮增加圖像區域的邊緣特征作為區域的聚合準則，以便得到更好的區域分割效果。

:

［1］高雋，謝昭，張駿，等.圖像語義分析與理解綜述［J］.模式識別與人工智能，2010（23）:191－202.

［2］章毓晉.圖像分割［M］.北京:科學出版社，2001.

［3］康家銀.一種改進的顧及像素空間信息的FCM聚類算法［J］.儀器儀表學報，2009（1）:208－212.

［4］趙晨煒.基于模糊聚類的彩色圖像分割方法的研究［D］.武漢:武漢理工大學，2012.

［5］趙欽佩，姚莉秀，程建，等.基于顏色信息與區域生長的圖像分割新算法［J］.上海交通大學學報，2007（5）:802－806.

［6］陸明俊，王潤生.基于MRF模型的可靠的圖像分割［J］.電子學報，1999（2）:87－89.

［7］應偉勤，李元香，徐星，等.基于圖模型的圖像分割并行算法研究與實現［J］.模式識別與人工智能，2007（4）:571－576.

［8］DENG Y N，MANJUNATH B S.Unsupervised segmentation of color－texture regions in images and video［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23（8）:1－27.

［9］宋海玉.自動圖像標注及標注改善算法的研究［D］.濟南:山東大學，2012.

［10］馮曉毅，王西博，王蕾，等.基于改進JSEG算法的高分辨率遙感圖像分割方法［J］.計算機科學，2012，39（8）:284－287.

［11］DENG Y，KENNEY C，MOORE M S，et al.Peer group filtering and perceptual color image quantization［J］.IEEE Transactions on Image Processing，1999，10（2）:21－24.

［12］DING Jundi，MA Runing，CHEN Songcan，et al.A scale－based connected coherence tree algorithm for image segmentation［J］.IEEE Transactions on Image Processing，2008，17（2）:204－216.

［13］OJALA T，PIETIKAINEN M，MAENPAA T.Multiresolution gray－scale and rotationinvariant texture classification with local binary patterns［J］.IEEE Trans.PAMI，2002，24（7）:971－987.

［14］MANJUNATH B S，MA W Y.Texture features for browsing and retrieval of image data［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，1996，18（8）:837－842.

［15］CHUA T S，TANG J，HONG R，et al.NUS－WIDE:a real－world web image database from national university of Singapore［EB/OL］.［2013－03－05］.http://www.datatang.com/data/15482.

Segmentation for Image Semantic Analysis Based on Improved JSEG Algorithm

ZHOU Yun，ZHANG Ying，JI Ping

（School of Computer Science ＆ Information，Hefei University of Technology，Hefei 230009，China）

JSEG algorithm is a classic image segmentation algorithm which is used in image processing widely，but the over－segmentation problem is so severely that this algorithm isn’t suitable for Image Semantic Analysis.Two improvements to solve this issue are proposed.One is improved the initial seed point selection method，the other is consider the information of texture feature in the region merging process.The experiments on large amounts of images show that the proposed method reduces the over－segmentation phenomenon effective and conforms to the requirements of image semantic analysis.

image semantic analysis;JSEG algorithm;region growing;region merging

TN919.8

A

周 云（1990— ），女，碩士生，主研圖像處理與分析，多媒體信息處理，圖像標注;

張 瀅（1989— ），碩士生，主研視頻編碼，運動目標檢測與跟蹤，DSP技術;

紀 平（1975— ），女，講師，主要研究方向為多媒體信息處理。

責任編輯:任健男

2013－05－05