小波變換與分水嶺算法融合的番茄冠層葉片圖像分割

丁永軍 張晶晶 LEE Won Suk 李民贊

(1.蘭州城市學院電子與信息工程學院， 蘭州 730070；2.佛羅里達大學農業與生物工程系， 蓋恩斯維爾 32611-0570;3.中國農業大學現代精細農業系統集成研究教育部重點實驗室， 北京 100083)

小波變換與分水嶺算法融合的番茄冠層葉片圖像分割

丁永軍1張晶晶1LEE Won Suk2李民贊3

(1.蘭州城市學院電子與信息工程學院， 蘭州 730070；2.佛羅里達大學農業與生物工程系， 蓋恩斯維爾 32611-0570;3.中國農業大學現代精細農業系統集成研究教育部重點實驗室， 北京 100083)

在基于機器視覺的作物營養診斷研究中，通常需要采集葉片樣本并在實驗室條件下定量測定其營養素含量，但由于葉片間相互重疊，往往使得葉片樣本不能清晰地反映在群體番茄冠層圖像中。為了解決這一問題，需要利用圖像分析技術有效提取作物冠層圖像中的葉片，并根據處理結果采集實驗室測定樣本。本文從復雜背景剔除、梯度圖計算、小波變換、標記選取、分水嶺分割等環節出發，實現了基于小波變換與分水嶺算法融合的番茄冠層多光譜圖像葉片分割。首先對比了4種復雜背景剔除算法，發現當增強因子a=1.3時，基于歸一化植被指數(Normalized difference vegetation index，NDVI)的閾值分割目標提取準確，適合各種光照條件，時空復雜度低。其次在梯度圖計算方面，近紅外(Near infrared，NIR)波段圖像形態學梯度在保持目標邊緣的同時，能消除大量由葉脈、光照等引起的葉片內紋理細節。然后以小波分析為基礎進行標記選取，發現當選取db4小波函數、4層小波分解低頻系數、閾值為18的H-maxima 變換能得到最優的目標標記結果。最后對多光譜番茄冠層圖像的小波變換分水嶺分割和數學形態學分水嶺分割結果進行疊加，發現對復雜背景及不同光照強度下的番茄冠層葉片平均誤分率為21%，為基于多光譜圖像分析的番茄葉片營養素含量檢測提供了一定的技術支持。

圖像分割； 番茄葉片； 小波變換； 標記分水嶺

引言

葉片作為農作物主要營養器官，含有豐富的葉綠體組織，是進行光合作用及合成有機物的主要場所，同時也是為根系提供吸收水分及礦物質的主要動力。大量研究表明，葉片的葉面積、葉色、葉片卷曲度、葉片光譜響應等特征可以表征作物長勢、營養狀況、植株水分及病蟲害情況。其中，JOALLAND 等[1]構建了基于甜菜葉面積的作物地下生物量估測模型。何彩蓮等[2]發現馬鈴薯施氮水平與G/B、(G-B)/(R+G+B)成反比，而與B/(R+G+B)成正比。金千瑜等[3]研究了不同灌溉條件對不同品種水稻葉片卷曲度的影響。丁永軍等[4]定量分析了葉片反射光譜的各種紅邊參數與番茄葉片葉綠素含量間的關系，并建立了5種基于紅邊位置的葉綠素預測模型。ALIREZA等[5]采用視覺傳感器觀測葉片淀粉積累特征，并由此對柑橘黃龍病、缺鋅、缺鎂進行了有效識別。

近年來，機器視覺及多光譜圖像分析技術在作物長勢監測方面的應用研究越來越受到關注。雖然在特定條件下取得了一定的成果和進展，但仍停留在對單個葉片或單株作物的觀測水平上[6-9]。對復雜葉片重疊的群體問題研究較少，而且在試驗過程中往往存在圖像或光譜采集與作物營養素測定樣本不完全匹配的問題，所以有必要對營養測定葉片進行有效圖像分割，提高圖像或光譜信息與營養診斷葉片間的一致性。目前，對于重疊葉片分割的研究主要有兩種，一是借助深度信息進行分割，但要求使用基于TOF(Time of flight)技術的深度相機或雙目成像系統等精密試驗設備[10-11]；另一種方法為基于主動輪廓模型的重疊葉片分割，但其結果往往依賴于初始曲線的選取[12-13]。

分水嶺算法是一種對重疊物體進行分割的有效工具，但是傳統分水嶺算法容易產生嚴重的過分割問題。通常有兩類方法用以解決過分割問題，一類是通過制定相應規則進行分割后區域合并[14-15]，另一類則在圖像分割前進行標記，取代偽極值點，優化分水嶺分割[16-17]，而標記的選取方法并不唯一，應該根據被處理圖像的具體特征有針對性的制定標記選取方法。本文擬通過圖像照度-反射模型、目標物體亮度變化、小波變換實現標記選取及番茄冠層多光譜圖像的分水嶺分割。

1 方法與材料

1.1 多光譜圖像的采集

試驗場地為中國農業大學水利與土木工程學院可控溫室，自然光照條件下共采集番茄冠層多光譜圖像19幅。多光譜相機為光束分離型采集系統，單鏡頭分光式設計，其核心器件選用AD080CL型2-CCD圖像采集器(JAI Inc.)，入射光被二向反射鏡分光結構分為可見光波段和近紅外(NIR)波段，并利用可見光和NIR的面陣CCD傳感器同步獲取同一視野范圍的可見光(400～700 nm)和NIR(760～1 000 nm)圖像。

1.2 形態學梯度

梯度影像能較好地描述圖像的變化趨勢，所以在梯度影像上的分水嶺算法往往可以獲得更高的分割精度[18]。對于梯度影像的提取通常有基于形態學運算的提取方法及基于空域模板的提取方法兩種，而形態學梯度可以使用具有各向同性的圓形結構元素，不僅可以減小梯度對邊緣方向的依賴，還可以在一定程度上加劇圖像變化[19]。形態學梯度定義為

(1)

f——原始圖像s——形態學結構元素 ⊕——形態學膨脹運算 ?——形態學腐蝕運算

1.3 標記分水嶺算法

圖1a為番茄冠層RGB彩色圖像，可以看出葉片間存在嚴重的重疊粘連問題，致使葉片分割提取困難。根據圖像照度-反射模型，照度分量表現為空間域上的慢變化，即圖像低頻對應于基本內容，而反射分量則表現為圖像高頻噪聲、細節[20]。所以，對圖像進行低頻濾波將在一定程度上消除暗噪聲及待識別物體表面微小的灰度變化，有助于目標對象的標記。常用的頻域低通濾波包括高斯濾波、Butterworth濾波、小波變換及數學形態開閉重構濾波。圖1b為番茄冠層圖像亮度分布，可以看出由于葉片間相互層疊，產生亮度較低的陰影或遮擋，而葉脈亮度較高，所以目標葉片或其中一部分表現為局部極大值。這樣，可以將低頻圖像中的局部極大值作為前景標記，并根據前景標記對梯度圖進行修正，即在梯度圖中將前景標記位置處的灰度值置零，達到既能消除偽局部極小值，又能保持原始葉片邊緣紋理信息的目的，最終對修正后梯度圖進行分水嶺變換得到分割結果。

圖1 番茄冠層圖像及亮度分布Fig.1 RGB image of tomato canopy and its luminance distribution

1.4 二維離散小波變換(2D-DWT)

小波變換具有良好的時頻局域化特性，能對信號進行多分辨率分析，信號局部特性的描述能力極強，在確定合理小波函數及分解尺度的基礎上，可以有效去除圖像噪聲及細密紋理，并保持目標邊緣。尺寸為M×N的2-D圖像f(x,y)的離散小波變換為[21]

(2)

(3)

式中Wu(j,m,n)——圖像在分解尺度j下的低頻近似系數

i——水平、垂直和對角線3個方向，取值為1、2、3

j——分解尺度

m——水平平移

n——垂直平移

uj,m,n(x,y)——對縮放函數進行縮放、平移變換

因為Symlets及Daubechies小波函數在消失矩一定的前提下有最小的支撐域，而且滿足正交特性，所以小波變換對二維圖像的局部特征具有很強的描述能力。同時考慮到消失矩不宜過大也不宜過小，因此在試驗過程中采用db4小波對二維圖像進行多分辨率分析[22]。

2 結果與分析

2.1 復雜背景去除

基于灰度相似性的最大類間方差閾值分割方法，在許多領域得到了成功應用，又考慮到綠色作物在色調上與背景有較大的區分性，所以背景去除環節嘗試了基于色調的最大類間方差閾值分割，其結果如圖2a所示，可以看出作物與培養基質間分割效果較好，但仍存有塑料薄膜。又考慮到分割對象為綠色植被，試驗中嘗試構建超綠指數g=2g-r-b，并在此基礎上進行復雜背景剔除，結果如圖2b所示，可以看出剔除了絕大部分背景，但位于個別葉片之間的栽培基質未被有效去除。故又根據圖像中目標物與背景間的顏色差異性，嘗試了基于S*NIR空間歐氏距離的聚類分割，其分割效果如圖2c所示，但該算法時空復雜度高，對尺寸為619像素×925像素的圖像，處理時間為12.44 s (Intel i7-4712MQ，4 GB RAM，Windows 7專業版， Matlab 7.11)，所以本試驗最終采用了基于植被指數NDVI差異性的分割方法，圖像NDVI值為

NDVI=(aN-R)/(aN+R)

(4)

式中N——近紅外圖像R——紅色分量圖像a——增強因子，用以增強目標區域與背景區域的差異

當a=1時，計算結果為歸一化植被指數，試驗中取a=1.3。如圖2d所示，算法分割效果好，自適應性高，適合各種光照條件，運算簡單，對尺寸為619像素×925像素的圖像，處理時間僅需156 ms。

圖2 不同算法的復雜背景剔除結果Fig.2 Results of removing complex background with four different algorithms

2.2 梯度圖選取

圖3 不同顏色分量的梯度圖Fig.3 Gradient images of different color components

在梯度圖上的標記分水嶺分割效果往往優于直接在原始圖像上的分割，而且形態學梯度在保持目標邊緣的同時，能消除部分紋理細節。試驗結果表明，各分量形態學梯度圖保持邊緣且消除紋理細節能力的優劣順序依次為NIR、R、G、B。圖3為B分量及NIR圖像形態學梯度計算結果，可以看出NIR梯度圖中去除了大量由葉脈、光照等引起的葉片內紋理，為后續處理奠定了一定的基礎。

2.3 標記獲取

從小波函數的消失矩、支撐域考慮，試驗過程中采用db4小波對去除復雜背景后的NIR圖像進行多分辨率分析，為確定理想的分解層數，對所采集到的19幅圖像，分別進行1～6層的小波分解，圖4為不同小波分解尺度下的前景目標標記結果，可以看出第4層小波分解時的標記與分割目標最為吻合。

圖4 不同小波分解尺度下的前景標記結果Fig.4 Foreground markers at different decomposition levels

另外，表1為各圖像在不同分解尺度下，標記數與原始圖像中實際葉片數間的對應關系。相對而言，在第4層分解下，標記數與實際葉片數最吻合，故試驗中選取4層分解。具體標記獲取過程為：先構造NDVI指數去除復雜背景，再對去復雜背景的NIR圖像采用db4小波函數進行4層小波分解，取低頻系數重構近似圖像，計算H-maxima 變換并取大于閾值18的極大值作為標記，應用標記對NIR形態學梯度圖進行修正(在梯度圖中將前景標記位置處的灰度值置0，取代偽局部極小值)，最后對修正后的梯度圖進行分水嶺分割。

2.4 標記分水嶺分割

圖5為不同低頻濾波條件下的標記分水嶺分割結果，其中圖5a、5b分別為通帶寬度為80的高斯濾波和通帶寬度取圖像寬度10%的Butterworth濾波所對應的標記分水嶺分割結果，其運行結果非常不理想，其中都有眾多葉片未能準確分割，其原因可能與通帶寬度選取有關。圖5c為數學形態開閉重構濾波條件下的標記分水嶺分割結果，其中存在一定程度的過分割，其原因可能與前景標記策略有關。圖5d則為基于小波分析的分水嶺分割算法結果，為評價分割精度，計算誤分率為

表1 不同小波分解下的葉片數與標記數 Tab.1 Leaf number and marker number at different wavelet decompositions

圖5 不同低頻濾波條件下的標記分水嶺分割結果Fig.5 Results of marked watershed segmentation using different low frequency filters

E=(v-c)/c×100%

(5)

式中v——本文算法得到的正確分割葉片數c——人工統計的葉片數

由19幅圖像的分割結果可知，基于小波分析的分水嶺分割對于復雜背景及不同光照強度下的番茄冠層葉片平均誤分率為29%，分割精度仍有進一步提高的可能。經對比圖5c、5d中標注的Ⅰ～Ⅳ各區域發現，數學形態開閉重構濾波條件下的標記分水嶺分割雖存在一定程度的過分割，但對于小波分水嶺算法未能很好識別的區域其分割結果卻有改善。于是，計算小波分水嶺分割區域的矩形度、面積凹凸比、圓形度、偏心率等4個形狀參數，并構造支持向量機模型提取出未準確識別的區域，再對該區域使用形態學分水嶺分割，最后將小波分水嶺和形態學分水嶺分割結果進行疊加，得到最終結果，如圖5e所示，其平均誤分率降低至21%，為基于多光譜圖像分析的番茄葉片營養素含量檢測提供一定的技術支持。

3 結論

(1)在主要由顆粒松散的栽培基質構成的復雜圖像背景的去除方面，從去除效果、不同光照條件的適應性、算法時空復雜度等方面，對最大類間方差閾值分割、基于超綠指數的閾值分割、基于S*NIR空間歐氏距離的聚類分割、基于NDVI的閾值分割進行對比，發現當增強因子a=1.3時，基于NDVI的閾值分割最優。

(2)試驗結果表明，多光譜圖像各分量形態學梯度圖保持邊緣且消除紋理細節的能力優劣順序依次為NIR、R、G、B。NIR梯度圖中去除了大量由葉脈、光照等引起的葉片內紋理，為后續處理奠定了一定的基礎。

(3)以小波分析為基礎進行標記選取，發現選用db4小波函數、4層小波分解低頻系數、閾值為18的H-maxima 變換能得到最優的目標標記結果。

(4)由19幅圖像的葉片提取結果可知，將小波變換分水嶺分割和數學形態學分水嶺分割結果進行疊加，對于復雜背景及不同光照強度下的番茄冠層葉片平均誤分率為21%，為基于多光譜圖像分析的番茄葉片營養素含量檢測提供了一定的技術支持。

1 JOALLAND S, SCREPANTI C, GAUME A, et al. Belowground biomass accumulation assessed by digital image based leaf area detection[J]. Plant and Soil, 2016, 398(1-2): 257-266.

2 何彩蓮，鄭順林，萬年鑫，等. 馬鈴薯光譜及數字圖像特征參數對氮素水平的響應及其應用[J]. 光譜學與光譜分析，2016，36(9)：2930-2936. HE Cailian, ZHENG Shunlin, WAN Nianxin, et al. Potato spectrum and the digital image feature parameters on the response of the nitrogen level and its application[J]. Spectroscopy and Spectral Analysis, 2016, 36(9): 2930-2936. (in Chinese)

3 金千瑜，歐陽由男，禹盛苗，等. 土壤干旱脅迫對不同水稻品種葉片卷曲的影響[J]. 中國水稻科學，2003，17(4)：349-354. JIN Qianyu, OUYANG Younan, YU Shengmiao, et al. Influence of soil drought stress on leaf rolling index in different rice varieties[J]. Chinese Journal Rice Science, 2003, 17(4): 349-354. (in Chinese)

4 丁永軍，張晶晶，李修華，等. 基于光譜紅邊位置提取算法的番茄葉片葉綠素含量估測[J/OL]. 農業機械學報，2016，47(3)：292-297. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20160341&flag=1&journal_id=jcsam.DOI:10.6041/j.issn.1000-1298.2016.03.041. DING Yongjun, ZHANG Jingjing, LI Xiuhua, et al. Estimation of chlorophyll content of tomato leaf using spectrum red edge position extraction algorithm[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(3):292-297. (in Chinese)

5 POURREZA A, LEE W S, EHSANI R, et al. An optimum method for real-time in-field detection of Huanglongbing disease using a vision sensor[J]. Computers and Electronics in Agriculture, 2015, 110: 221-232.

6 吳倩，孫紅，李民贊，等. 玉米作物多光譜圖像精準分割與葉綠素診斷方法研究[J]. 光譜學與光譜分析，2015，35(1)：178-183. WU Qian, SUN Hong, LI Minzan, et al. Research on maize multispectral image accurate segmentation and chlorophyll index estimation[J]. Spectroscopy and Spectral Analysis, 2015, 35(1): 178-183. (in Chinese)

7 孫俊，金夏明，毛罕平，等. 基于高光譜圖像的生菜葉片氮素含量預測模型研究[J]. 分析化學，2014，42(5)：672-677. SUN Jun, JIN Xiaming, MAO Hanping, et al. A model for predicting nitrogen of lettuce leaves based on hyperspectral imaging[J]. Chinese Journal of Analytical Chemistry, 2014, 42(5):672-677. (in Chinese)

8 SAAD A M, IBRAHIM A, El-BIALEE N. Internal quality assessment of tomato fruits using image color analysis[J]. Agricultural Engineering International: CIGR Journal, 2016, 18(1): 339-352.

9 ZHU Q B, HE C L, LU R F, et al. Ripeness evaluation of ‘Sun Bright’ tomato using optical absorption and scattering properties[J]. Postharvest Biology and Technology, 2015, 103: 27-34.

11 CHéNé Y, ROUSSEAU D, LUCIDARME P, et al. On the use of depth camera for 3D phenotyping of entire plants[J]. Computers and Electronics in Agriculture, 2012, 82: 122-127.

12 DE VYLDER J, OCHOA D, PHILIPS W, et al. Leaf segmentation and tracking using probabilistic parametric active contours[C]∥International Conference on Computer Vision/Computer Graphics Collaboration Techniques and Applications, 2011: 75-85.

13 CERUTTI G, TOUGNE L, MILLE J, et al. Guiding active contours for tree leaf segmentation and identification[C]∥CLEF 2011, Conference on Multilingual and Multimodal Information Access Evaluation, 2011.

14 蔡彩，李培軍，郭建聰. 基于分水嶺變換及分層區域合并的城市高分辨率影像分割[J]. 北京大學學報：自然科學版，2014，50(2)：323-330. CAI Cai, LI Peijun, GUO Jiancong. Segmentation of high resolution imagery over urban area using watershed transformation and stratified region merging [J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2014, 50(2): 323-330. (in Chinese)

15 JIANG C, LI Z, CHEN X, et al. Segmentation of the synthetic aperture radar image using the watershed transformation and region merging technique[J]. International Journal of Smart Home, 2016, 10(9): 93-102.

16 WANG J, YAO P, LIU W, et al. A hybrid method for the segmentation of a ferrograph image using marker-controlled watershed and Grey clustering[J]. Tribology Transactions, 2016, 59(3): 513-521.

17 KWON G R, BASUKALA D, LEE S W, et al. Brain image segmentation using a combination of expectation-maximization algorithm and watershed transform[J]. International Journal of Imaging Systems and Technology, 2016, 26(3): 225-232.

18 李珀任，潘懋，杜世宏. 一種基于標記分水嶺的高分辨率遙感影像分割方法[J]. 地理與地理信息科學，2012，28(5)：10-15. LI Boren, PAN Mao, DU Shihong. A marker-based watershed segmentation for high resolution remote sensing image[J]. Geography and Geo-Information Science, 2012, 28(5):10-15. (in Chinese)

19 張桂梅，周明明，馬珂. 基于彩色模型的重構標記分水嶺分割算法[J]. 中國圖象圖形學報，2012，17(5)：641-647. ZHANG Guimei, ZHOU Mingming, MA Ke. Image segmentation algorithm for reconstruction labeling watershed in color space[J]. Journal of Image and Graphics, 2012, 17(5): 641-647. (in Chinese)

20 高麗，楊樹元，夏杰，等. 基于標記的Watershed圖像分割新算法[J]. 電子學報，2006，34(11)：2018-2023. GAO Li, YANG Shuyuan, XIA Jie, et al. A new marker-based Watershed algorithm[J]. Acta Electronica Sinica, 2006, 34(11): 2018-2023. (in Chinese)

21 張毓晉. 圖像工程(上冊)圖像處理[M]. 3版.北京：清華大學出版社，2012：215-216.

22 丁永軍，李民贊，鄭立華，等. 基于近紅外光譜小波變換的溫室番茄葉綠素含量預測[J]. 光譜學與光譜分析，2011，31(11)：2936-2939. DING Yongjun, LI Minzan, ZHENG Lihua, et al. Prediction of chlorophyll content of greenhouse tomato using wavelet transform combined with NIR spectra[J]. Spectroscopy and Spectral Analysis, 2011, 31(11): 2936-2939. (in Chinese)

SegmentationofTomatoLeavesfromCanopyImagesbyCombinationofWaveletTransformandWatershedAlgorithm

DING Yongjun1ZHANG Jingjing1LEE Won Suk2LI Minzan3

(1.CollegeofElectronicsandInformationEngineering,LanzhouCityUniversity,Lanzhou730030,China2.DepartmentofAgriculturalandBiologicalEngineering,UniversityofFlorida,Gainesville,FL32611-0570,USA3.KeyLaboratoryofModernPrecisionAgricultureSystemIntegrationResearch,MinistryofEducation,ChinaAgriculturalUniversity,Beijing100083,China)

In the study of crop nutrition diagnosis based on machine vision, it is usually necessary to collect leaf samples and quantitatively determine their nutrient content under laboratory conditions. However, due to the overlapping of leaves, the leaf samples cannot be clearly reflected in the canopy image. In order to solve this problem, it is needed to use image analysis technology to effectively extract the leaves in the crop canopy image and according to the processing results to collect laboratory test samples. Based on the complex background extraction, gradient graph calculation, wavelet transform, marker selection and watershed segmentation, the leaf segmentation of tomato canopy multispectral image was realized. Firstly, four kinds of complex background elimination algorithms were compared. It was found that the threshold segmentation based on normalized difference vegetation index (NDVI) was accurate when the enhancement factor was 1.3, which was suitable under various lighting conditions, and the space-time complexity was low. Secondly, in the aspect of gradient graph calculation, the morphological gradient of near-infrared (NIR) band image can eliminate the texture of the leaves caused by veins, light and so on while keeping the target edge. Then, markers of leaves were selected according to wavelet transform that used the low-frequency coefficient of 4-level db4 wavelet decomposition and H-maxima transform with threshold of 18. Finally, the results of wavelet transform watershed segmentation and mathematical morphology watershed segmentation were superimposed, and it was found that the average segmentation error rate of tomato canopy leaves was 21% for complex background and different light intensities, which provided some technical support for the analysis of tomato leaf nutrient content detection.

image segmentation; tomato leaves; wavelet transform; marked watershed

TP751; S24

A

1000-1298(2017)09-0032-06

10.6041/j.issn.1000-1298.2017.09.004

2016-12-19

2017-05-05

國家自然科學基金項目(31360291、31271619)、國家留學基金委西部地區人才培養特別項目(201408625069)和蘭州城市學院博士科研啟動基金項目(LZCU-BS2013-07)

丁永軍(1978—)，男，副教授，博士，主要從事光譜及多光譜圖像分析研究，E-mail: dingyj@lzcu.edu.cn

李民贊(1963—)，男，教授，博士生導師，主要從事農業信息化研究，E-mail: limz@cau.edu.cn