結合簡單交互和標記分水嶺的復雜背景葉片圖像分割方法

高理文　林小樺　羅曉牧

1(廣州中醫藥大學醫學信息工程學院　廣東 廣州 510006)2(廣州中醫藥大學中藥學院　廣東 廣州 510006)

?

結合簡單交互和標記分水嶺的復雜背景葉片圖像分割方法

高理文1林小樺2*羅曉牧1

1(廣州中醫藥大學醫學信息工程學院廣東 廣州 510006)2(廣州中醫藥大學中藥學院廣東 廣州 510006)

復雜背景葉片圖像分割是當前的研究熱點和難點。提出一種結合簡單交互和標記分水嶺的方法，有效地解決了該問題。首先，讓用戶在復雜背景葉片圖像上奇偶相間地標定葉邊緣點和葉外點；經過一系列處理得到標記圖像。接著，把復雜背景葉片圖像轉換為灰度圖像、L*a*b*圖像；以標記圖像為參數，分別對灰度圖像、a*分量圖像、b*分量圖像，進行標記分水嶺分割。最后，以投票方式綜合得到最終的分割結果。對20個種類，200張復雜背景葉片圖像的分割實驗表明：該方法能實現較準確的分割，并且能保留葉片細節部分；對個別葉片有細小的錯分，但對其形狀影響輕微。

復雜背景葉片圖像分割

0　引　言

植物為人類提供食物、氧氣、能量與各種工業原料，提供人類所必需的生活、生產資源。植物不僅改善、美化著人們的日常生活，同時對一些疾病也有很好的治療效果。但是，近年來，由于人類盲目追求經濟效益的原因，大量的植物被采伐或破壞，越來越多的植物種類瀕臨滅絕甚至有的已經滅絕。加強對植物的保護，刻不容緩。

植物機器識別技術的研究與應用，既能幫助民眾加深對植物的認知，培養愛惜植物的意識；又能促進植物的歸類和建庫，以助于植物的合理利用和引種栽培，因而具有重要的意義。

由于植物的花、果、莖、枝存在復雜的立體幾何特征，植物的機器識別多以葉片圖像識別為主。把葉片摘下來，再采集簡單背景圖像，然后進行識別，已有廣泛的研究[1-3]。

然而，摘葉會對植物造成損傷。直接拍攝枝干上的葉片而進行無損識別，是理想的做法。但這又難免把其他葉片、枝干、土壤等也拍攝進來，造成圖像中目標葉片與背景準確分割的困難，嚴重影響識別的正確率。這就是當前備受關注的復雜背景葉片圖像分割難題。

圖像分割方法有很多。基本的有閾值分割、邊緣檢測、區域分裂與合并等。但復雜背景葉片圖像中，目標葉片的顏色和灰度值不一定聚集在一個小的區間；相反，背景對象，特別是背景葉片，可能具有與目標相近的顏色和灰度值。再者，葉片內部往往有葉脈，處于葉脈的點存在較大的梯度，有時甚至大于目標與背景對象的交疊邊界。上述種種原因，導致基本的方法用于復雜背景葉片圖像分割是難以奏效的。

因而，人們開始嘗試復合的方法。2009年，Tang等[4]對復雜背景葉片圖像，在HSI彩色空間中，分別依據三個顏色分量，采用標記分水嶺方法分割目標葉片和復雜背景，繼而采用一量化指標擇優選擇三個分割結果之一作為最終結果。其中，標記圖像通過數學形態學方法自動獲得。分割成功率為84.87%。該方法為全自動的方法，但其成功率未能達到應用要求。

也有一些學者放棄全自動的目標，轉而引入人工操作。2012年，Li等[5]首先用兩條交叉的直線，檢測出復雜背景葉片的四個邊緣點；然后采用“智能剪刀”方法，跟蹤葉片的輪廓線；最后，讓用戶檢驗并在必要時通過鼠標重新輸入初始的四個邊緣點來修正。實驗表明：該方法分割成功率為70.4%，遠遠高于沒有采取人工修正方法的13.5%。盡管如此，該方法只適用于沒有葉裂的簡單形狀的葉片，并且其分割成功率在已報道的同類算法中相對較低。2013年，Wang等[6]提出一種融合OTSU閾值分割和Canny算子邊緣檢測的方法，對棗葉復雜背景圖像進行分割。他們把棗葉復雜背景圖像劃分為“目標區域較背景亮”、“目標區域較背景暗”、“目標區域一部分比另一部分亮”三種情形。首先默認為第一種情形處理，輸出結果給用戶人工確認；若用戶不滿意，則按第二種情形處理，如此類推。該方法的思想是OTSU用于棗葉復雜背景圖像分割會出現區域錯分，而Canny邊緣檢測則會得到破碎的邊緣；這兩個都不完善的結果存在著互補性，兩者融合，便能起到增強的作用。但在植物葉片分類任務中，要處理的是各種各樣的葉片，很多時候可能上述兩者都取得類似的糟糕結果，即便融合，也是錯與錯的疊加。

還有一些學者嘗試引入較為新穎的方法用于復雜背景葉片分割。例如，近年來，主動輪廓模型及其改進算法受到了人們的關注[7]。它們由于考慮了圖像中邊界的全局信息，在復雜背景圖像的分割任務中，常可取得較魯棒的結果。2011年，畢于慧等[8]首先利用矢量角變換將復雜背景葉片圖像的三維色彩信息轉換成一維亮度信息，再利用幾何活動輪廓模型進行分割。文中通過兩張圖像，展示了該方法的有效性。未見詳細的實驗分析。2013年，Xia等[9]用結合多層感知器的主動輪廓模型對復雜背景辣椒葉片圖像進行分割，平均成功率為83.4%，比傳統主動輪廓模型的46.1%有了較大的提高。

然而，上述兩個采用主動輪廓模型的方法，都有一個共同問題：就是要預先建模，用高層信息指導分割。這對單種葉片合適，但對形狀千差萬別的多種葉片而言，難以事先建立一個統一的模型。

綜上所述，復雜背景葉片的分割問題有待更深入的理論研究和實驗探索。特別是全自動分割，非常難以實現。

因此，就目前而言，舍棄全自動的目標，以一種適于復雜背景圖像分割的基本方法為基礎，設計復合的分割方法，可能是解決該問題的出路。

分水嶺算法，作為一種串行區域分割技術，由于同時考慮了灰度和區域信息，往往比閾值分割、邊緣檢測算子、數學形態學等，更適用于復雜背景圖像的分割。然而，由于該算法把變換后的梯度圖像中每個獨立的局部底谷都劃歸為不同區域，往往容易導致“過分割”[10]。

改進后的標記分水嶺分割算法，一定程度上克服了該問題，對復雜背景圖像通常具有不錯的效果。不過，獲取標記又成了新的問題。

于是，人們設計了自動和人工兩種標記獲取方式。上面提到Tang等[4]的方法采用了前者。也有學者采用后者，如2012年，Yan等[11]首先讓用戶在目標區域內部和外部各畫一條曲線作為標記，繼而用標記分水嶺方法，準確分割了中藥粉末顯微圖像中的24種顯微結構。雖然被分割的不是葉片圖像；但顯微結構圖像，背景同樣復雜，而對比度更低。

該方法采取簡單的用戶交互方式獲得標記，其思路值得參考但不可照搬。因為，兩條各自不封閉曲線的標定具有很大的隨意性；很多時候，未必能連通整個前景區域或背景區域中的像素值不一致的局部小區域，以致出現過分或錯分。

因而，本文參照有關方法，研究采用簡單的用戶交互方式，獲得標記，繼而在Lab空間分量圖像和灰度圖像中分別進行標記分水嶺分割，綜合得到最終的分割結果。對20個種類，200張復雜背景葉片圖像的分割實驗表明，本方法能取得較高的分割準確率。

1　復雜背景葉片圖像分割方法

本文依據葉片的輪廓特點，針對性地設計一套簡單有效的用戶交互操作規則來獲得標記。由于是人工輸入，所得標記非常可靠，有利于提高分割的準確性。而適當的人工參與，也是植物機器識別任務所能容忍的。

此外，為了克服某些具有非凸輪廓的葉片的前景標記和背景標記的錯誤重疊問題，還設計了檢測和解決辦法。

總體而言，本方法勝任于各種不同形狀的植物葉片的復雜背景圖像分割任務，在未有準確的全自動方法之前，不失為一個值得考慮的選擇。算法流程如圖1所示。

圖1　算法流程圖

(1) 打開彩色圖像I0，讓用戶奇偶相間地標定葉邊緣點和葉外點。系統將這些點依次從1開始編號，存儲在一個點列表L0中。在此，用戶選點的原則是：

第1點必須標定葉基點，第2點落在葉片的外部，盡量使得這兩點之間的線段貼近葉邊緣但該線段除去端點的部分不與葉邊緣相交。第3點又選定在葉邊緣上，也是盡量使得第2和第3點之間的線段貼近葉邊緣但該線段除去端點的部分不要與葉邊緣相交。第4點繼續選定在葉片的外部，如此類推，最后一點(奇數點)再次標定在第1點所在位置。

系統依次連接相鄰的兩點，組成一個封閉的多邊形，如圖2(a)所示。補充說明的是：連接葉片和枝干的，常呈圓柱形的部分稱為葉柄，葉柄與葉片輪廓線的交界處稱為葉基點。

圖2　紅豆杉葉原圖、標記圖及分割結果

(2) 把點列表L0中，編號為奇數的點，即葉邊緣點，順序讀出，依次從1開始編號，存于前景點列表L1。這些點依次連接，組成一個多邊形D1。

(3) 檢查點列表L0中的每一個編號為偶數的點p，即葉外點，判斷它是否在多邊形D1內。若是則進行如下操作：

(3.1) 在L0中找到點p的前一個葉邊緣點i和后一個葉邊緣點j。

(3.2) 求出經過點p，與i、j所在直線M垂直的直線N。

(3.3) 求直線M與N的交點k。

(3.4) 求點k與點p的距離γ。

(3.5) 取δ=γ×ε。其中參數ε取值0.8。

(3.6) 求取以點p為起點，沿點k到p的射線方向，前進δ距離所到的點r。

(3.7) 把點r存儲在待插入點列表L2，并把點i在L1的位置編號記入插入跟隨位置列表L3。

而在使用Matlab實現本方法時，步驟(3)是按如下編碼的：

L2=[];

%初始化L2為空

L3=[];

%初始化L3為空

ε=0.8;

%實際代碼中非該變量名，為了和文中內容一致用此名

for c=2:2:size(L0,1)

%檢查點列表L0中每個編號為偶數的點p

p=L0(c,:);

% p即為葉外點

if inpolygon(p(1),p(2),L1(:,1),L1(:,2))

%判斷葉外點p是否在前景點列表L1所組成的多邊形內

i=L0(c-1,:);

%記下點p在L0中前一位置的點i

j=L0(c+1,:);

%記下點p在L0中后一位置的點j

k=apeakPointInLine(i,j,p);

%求點k。k是直線M與N的交點。M是點i和j所在的直線，N是經過點p，且與直線M垂直的直線。此為自定義函數。

γ=sqrt(sum((k-p).^2));

%求點k與點p的距離γ

δ=γ*ε;

r=radialByDistance(p, k,δ);

%求取以點p為起點，沿點k到p的射線方向，前進δ距離所到的點r。此為自定義函數。

L2=[L2; r];

%把點r存儲在待插入點列表L2

L3=[L3;c/2];

%把點i在L1中的位置編號(點i在L1中的位置編號正好是點p在L0中的位置編號c的一半)記入插入跟隨位置列表L3

end

end

(4) 判斷待插入點列表L2是否非空。若是，轉向步驟(5)；否則，轉向步驟(6)。

(5) 順序地對待插入點列表L2中的第f個點s，根據插入跟隨位置列表L3中第f個元素的值z，把s插入到前景點列表L1的第z+f個位置。

有少數種類植物的葉片，其輪廓非凸。如圖3所示，粗實線表示葉片的輪廓線；細絲線表示用戶標定點的連接線。可以看出，用戶標定的第6點——葉外點p，明顯地落入所有奇數點(即葉邊緣點)組成的多邊形D1內。若不加以處理，則求得的背景區域將會有一部分鑲嵌在前景區域中，也就是說，兩者有重疊。顯然，這在邏輯上是錯誤的，也必將導致分割的錯誤。為了檢測與解決這一問題，設計了步驟(3)-步驟(5)。

圖3　非凸葉片的輪廓示意及點r求解圖

其思路是：若任一葉外點p落入葉邊緣點依次連接成的多邊形內，就判為凹陷處。繼而采取如下解決辦法：

在葉邊緣點i(圖中第5點)和葉邊緣點j(圖中第7點)之間，再找到一個位于葉片邊緣或內部的點r，從而以i、r、j以及其他的葉邊緣點組成新的不包含點p的多邊形。該多邊形所圍成的前景區域就不再與背景區域重疊。

(6) 求前景點列表L1全部點依次連接所組成的多邊形包圍的區域，得到二值圖像U。多邊形及其內部的點標記為“1”，其余標記為“0”。U就是要用于標記分水嶺分割的前景標記，如圖2(b)所示。

(7) 求點列表L0全部點依次連接所組成的多邊形包圍的區域，得到二值圖像W1。

(8) 為了去除背景區域與前景區域重合的點，求：

(1)

(9) 對W2做數學形態學的腐蝕運算，得到W3，目的是避免背景與前景連通。

(10) 把W3的四邊邊框均設置為“1”，得到W4。目的是使背景區域與四邊邊框連通，盡可能地避免分割結果中除了目標葉片及背景還有第3個區域的出現。W4就是用于標記分水嶺分割的背景標記，如圖2(c)所示。

(11) 把圖像U和W4相或，得到標記圖像V。

標記分水嶺分割方法能有效克服原分水嶺方法的過分的缺點，但是需要標記圖像作為參數。于是，能否獲得較為準確的標記圖像成為影響最終分割結果的重要因素。

本算法的以上步驟中，引入用戶的手工標定，雖然降低了整個算法的自動化程度，但卻獲得了可靠的標記點序列，從而據此產生了全自動方法未能取得的準確分割結果。

并且，相對于一般的手工標定方法而言，本方法采取奇偶相間的葉邊緣點和葉外點輸入方式，較大程度地提高了輸入的效率；繼而利用葉片的區域唯一、輪廓凹凸有度等先驗信息，力求在盡可能簡單的用戶操作的幫助下，獲得準確的前景和背景標記，以利于最終的分割。

(12) 求圖像I0的灰度圖像I1。本方法中，I0采用的是RGB彩色模型。故轉換如下：

Gray=0.299×Red+0.587×Green+0.114×Blue

(2)

(13) 求I0的L*a*b*圖像，記其中的a*分量圖像為I2，b*分量圖像為I3。

(14) 以V為參數，分別對I1、I2、I3進行標記分水嶺分割，得到圖像J1、J2、J3。

(15) 以投票方式，結合J1、J2、J3，求出二值圖像O1。具體為：對圖像O1的任意一點t，若分別在J1、J2、J3中的同一位置，有兩者或以上屬于前景區域，則確定點t屬于前景區域，否則屬于背景區域。

(16) 對O1先做閉運算，后做開運算，得到最終的二值圖像O2。其目的是填充葉片區域內不該有的細小空洞，平滑葉片邊界，消除葉片外的細小區域。

經實驗觀察，部分復雜背景葉片圖像，無論是單獨對灰度圖像、a*分量圖像或b*分量圖像進行標記分水嶺分割，均存在局部的錯分。以上步驟中，有機融合三種分量圖像的分割結果，在一定程度上，提高了分割的成功率。

2　實驗分析

為了驗證此分割方法的有效性，在廣州中醫藥大學大學城校區藥王山上，拍攝了20種植物的復雜背景葉片圖像。每種10張，合共200張。拍照采用的是BENQ AE210數碼相機，設置分辨率為1200×900。日光照射條件無特別限制，只要不太亮或太暗便可。拍攝時，不額外放置任何輔助背景，直接把葉片的真實背景拍攝下來。

以不影響后續的形狀、顏色及紋理特征提取為宗旨，制定圖像分割成功標準：

① 分割后葉片形狀與原圖葉片一致；② 葉邊緣鋸齒形態一致；③ 允許在葉邊緣附近有小范圍的錯分，但錯分面積明顯小于葉面積的5%。

最終，在200張圖像中，189張分割成功，成功率為94.5%。圖4是隨機地從每個種類中選取一張圖像，得到的20張復雜背景葉片圖像以及其分割后的二值圖像。

圖4　葉片原圖與分割結果

由圖4可見，分割結果與原圖一致。特別如b1、b2的木犀葉片，f1、f2的羅勒葉片，葉邊緣的微小鋸齒較好地保留了下來。但是也有個別葉片圖像存在細小的錯分，如h1、h2的閉鞘姜葉片，不過其形狀基本上沒有改變。

把本方法和一些已發表的復雜背景葉片圖像分割方法進行了比較，如表1所示。可以看出，現有方法多針對單一種類，并且識別成功率有待提高；相對而言，本方法所涵蓋的植物種類數和分割成功率均有所增加。

表1　復雜背景葉片圖像分割算法比較

3　結　語

本文提出了一種結合簡單交互和標記分水嶺的復雜背景葉片圖像分割方法。對20個種類，200張葉片圖像的分割實驗表明：該方法合理有效，能得到較高的分割成功率，且能保留葉邊緣細節。雖然對個別葉片存在細小的錯分，但未對其形狀造成明顯的改變。相對于現有方法而言，本方法取得了一定的進步。

該方法的設計與實現，讓復雜背景葉片圖像識別的研究邁出了堅實的一步，從而推動了以手機為終端的植物無損鑒別平臺的構建工作。長遠而言，將在實施藥用植物資源普查、幫助公

民鑒賞植物、引導青少年野外探究學習等方面發揮關鍵性的作用。

[1] Gwo C Y, Wei C H, Li Y. Rotary Matching of Edge Features for Leaf Recognition[J].Computers and Electronics in Agriculture, 2013(91):124-134.

[2] Larese M G, Namias R, Craviotto R M, et al. Automatic Classification of Legumes Using Leaf Vein Image Features [J]. Pattern Recognition, 2014, 47(1):158-168.

[3] Larese M G, Baya A E, Craviotto R M, et al. Multiscale Recognition of Legume Varieties Based on Leaf Venation Images[J]. Expert Systems with Applications, 2014, 41(10): 4638-4647.

[4] Tang Xiaodong, Liu Manhua, Zhao Hui, et al. Leaf Extraction from Complicated Background [C]//Proceedings of International Congress on Image and Signal Processing, 2009:1-5.

[5] Li Xianghua, Lee Hyo Haeng, Hong Kwang Seok. Leaf Contour Extraction Based on an Intelligent Scissor Algorithm with Complex Background[C]//Proceedings of International Conference on Future Computers in Education, 2012:215-220.

[6] Wang J L, He J L, Han Y, et al. An Adaptive Thresholding Algorithm of Field Leaf Image [J]. Computers and Electronics in Agriculture, 2013(96):23-39.

[7] 任鴿，古力米熱·阿吾旦，曹興芹. 一種全局LBF主動輪廓模型[J]．計算機應用與軟件，2012，29(3)：28-31．

[8] 畢于慧，唐守正，王雪峰．基于改進的幾何活動輪廓模型的葉片自動分割[J]．北京林業大學學報，2011，33(1)：90-93．

[9] Xia C L, Lee J M, Li Y, et al. Plant Leaf Detection Using Modified Active Shape Models [J]. Biosystems Engineering, 2013, 116(1):23-35.

[10] 劉洲峰，徐慶偉，李春雷．基于小波變換的圖像分割研究[J]．計算機應用與軟件，2009，26(4)：62-64．

[11] Yan Shen, Li Yaoli, Song Yixu, et al. Identification of Chinese Materia Medicas in Microscopic Powder Images[J].Tsinghua Science and Technology, 2012, 17(2):209-217.

SEGMENTATION METHOD FOR LEAF IMAGE UNDER COMPLEX BACKGROUND COMBINING SIMPLE MAN-MACHINE INTERACTION AND MARKER-BASED WATERSHED SEGMENTATION

Gao Liwen1Lin Xiaohua2*Luo Xiaomu1

1(SchoolofMedicalInformationEngineering,GuangzhouUniversityofChineseMedicine,Guangzhou510006,Guangdong,China)2(SchoolofChineseMateriaMedica,GuangzhouUniversityofChineseMedicine,Guangzhou510006,Guangdong,China)

Segmenting leaf images with complex background is currently a difficult and focal point of research. In this paper, we propose a method which combines simple man-machine interaction with marker-based watershed segmentation to solve the problem of leaf image segmentation effectively. First, the method lets the user mark the peripheral and exterior points of a leaf in odd-even sequence on the leaf image under complex background; after a series of processing the marked image is produced. Secondly, the method transforms the leaf image under complex background into greyscale image and L*a*b*image, then applies the marker-based watershed segmentation to greyscale image, a*component image and b*component image respectively with the previous marked image as parameters. Finally, the final segmentation result is achieved comprehensively by means of voting. The segmentation experiments on 200 leaf images in 20 categories under complex backgrounds indicate that this method can realise precise segmentation, and can preserve the detailed parts of a leaf. There are tiny mistakes in some segmentations, but have slight impact on leaf shapes.

Complex backgroundLeafImage segmentation

2015-03-30。國家自然科學基金項目(61301294)；廣東省教育科學“十二五”規劃教育信息技術研究專項(13JXN021)；廣州中醫藥大學青年英才項目(QNYC20140203)。高理文，博士，主研領域：圖像分析與理解。林小樺，講師。羅曉牧，講師。

TP39

A

10.3969/j.issn.1000-386x.2016.08.047