基于圖像處理技術(shù)的甜瓜葉片病斑定級(jí)方法研究

馬 超，袁 濤，姚鑫鋒，籍延寶，李琳一

(上海市農(nóng)業(yè)科學(xué)院農(nóng)業(yè)科技信息研究所，上海201403)

在農(nóng)業(yè)生產(chǎn)實(shí)踐中，病蟲(chóng)害一直是制約農(nóng)副產(chǎn)品優(yōu)質(zhì)高產(chǎn)的關(guān)鍵因素，只有做到準(zhǔn)確、及早的識(shí)別，才能有針對(duì)性地進(jìn)行防治。我國(guó)在病蟲(chóng)害診斷方面，無(wú)論是傳統(tǒng)方式的人工識(shí)別，還是后期的專(zhuān)家系統(tǒng)判定，其病蟲(chóng)害的特征主要依靠人的分辨或者歸納，結(jié)論往往帶有很大的主觀因素，存在一定的局限性、主觀性和模糊性，且效率不高[1]。20世紀(jì)90年代后期，專(zhuān)家們逐漸將計(jì)算機(jī)視覺(jué)技術(shù)引入對(duì)農(nóng)作物病害識(shí)別的領(lǐng)域，目的是尋找一種高效準(zhǔn)確的診斷方法，希望能夠替代傳統(tǒng)的植保專(zhuān)家，對(duì)病蟲(chóng)害進(jìn)行自動(dòng)化的診斷。

國(guó)內(nèi)對(duì)基于圖像的病蟲(chóng)害研究較多，如王映龍等[2]對(duì)危害水稻的害蟲(chóng)圖像進(jìn)行預(yù)處理，提取顏色及形狀特征，采用BP神經(jīng)網(wǎng)絡(luò)對(duì)蟲(chóng)害類(lèi)別進(jìn)行識(shí)別；蔡清等[3]通過(guò)分析害蟲(chóng)食過(guò)的蔬菜圖像，提取其形態(tài)特征，采用BP神經(jīng)網(wǎng)絡(luò)識(shí)別蟲(chóng)害類(lèi)別。

針對(duì)病蟲(chóng)害智能識(shí)別的研究雖然常見(jiàn)于報(bào)道，但這些研究都比較偏向于實(shí)驗(yàn)室，很少用于實(shí)際生產(chǎn)，分析其原因主要有兩點(diǎn)：一是圖像處理識(shí)別病蟲(chóng)害需要使用很多計(jì)算機(jī)外的知識(shí)，如拍攝以及圖像處理相關(guān)知識(shí)，很難做到一鍵式；二是國(guó)內(nèi)外常用Matlab或者OpenCV等圖像處理或數(shù)據(jù)分析工具[4-5]，導(dǎo)致代碼的跨平臺(tái)性較低。鑒于此，本研究基于VS平臺(tái)下C#語(yǔ)言，擬開(kāi)發(fā)一套田間自動(dòng)病斑定級(jí)系統(tǒng)，嘗試從圖像處理中的相機(jī)標(biāo)定、二值化、圖像分割等流程做一些改進(jìn)，簡(jiǎn)化輸入流程，實(shí)現(xiàn)一鍵式西甜瓜病斑定級(jí)，以降低各類(lèi)田間病蟲(chóng)害診斷的門(mén)檻，為農(nóng)作物病蟲(chóng)害類(lèi)別的快速識(shí)別提供技術(shù)參考，促進(jìn)計(jì)算機(jī)圖像處理技術(shù)、模式識(shí)別技術(shù)等在農(nóng)業(yè)工程領(lǐng)域中的應(yīng)用。

1 系統(tǒng)設(shè)計(jì)

1.1 病斑定級(jí)及拍攝流程

植物群體的發(fā)病程度可以用多種指標(biāo)計(jì)量,如發(fā)病率、嚴(yán)重度和病情指數(shù)等。本研究將病害發(fā)生于植株或器官的罹病面積所占的比率作為判定依據(jù)(即病斑與非病斑面積的百分比值)，將發(fā)病的嚴(yán)重程度由輕到重劃分出一定級(jí)別。

本研究采集過(guò)程中，利用智能手機(jī)或其他高像素成像設(shè)備在田間自然光狀態(tài)下拍攝病害圖片，拍攝需要配合前后兩張背景板。圖片要求病害葉片以及背景板完整拍攝在一張圖內(nèi)，且背景板盡量保持與相機(jī)邊框平行。如需活體測(cè)量，可通過(guò)改造背景板，選擇柔性材料開(kāi)口，使葉片穿透背景板即可。

1.2 軟件運(yùn)行環(huán)境及處理流程

系統(tǒng)整體采用EmguCV(OpenCV的C#版)作為整體圖像處理庫(kù)，VS 2010平臺(tái)下C#作為實(shí)現(xiàn)語(yǔ)言。圖像獲取不限制圖片格式以及分辨率，要求手機(jī)拍攝時(shí)盡量平行于背景板。病斑定級(jí)處理流程如圖1所示。

圖1 病斑定級(jí)系統(tǒng)流程圖Fig.1 Flow chart of lesion grading system

2 圖像預(yù)處理

2.1 圖像降維及增強(qiáng)

為避免強(qiáng)光直射造成背景板的反光，本研究采用絲絨等材質(zhì)的幕布，但也帶來(lái)了圖片預(yù)處理后噪點(diǎn)過(guò)多的問(wèn)題(如大顆粒灰塵、花粉等)。同時(shí)，為了保證最終測(cè)量結(jié)果的精度，圖像分辨率要求越高越好，這無(wú)疑會(huì)增加計(jì)算機(jī)的運(yùn)算。所以，對(duì)原始圖片進(jìn)行降維和增強(qiáng)是必要的過(guò)程。一般計(jì)算機(jī)保存圖片都是RGB或HSL等三通道以上的色彩格式[6]，本研究在預(yù)處理階段關(guān)心的問(wèn)題是形狀因素，與色彩相關(guān)性不高，將三通道的圖片改為單通道的灰度圖可以有效降低運(yùn)算維度，從而加快計(jì)算(圖2)。

圖2 病斑定級(jí)系統(tǒng)預(yù)處理流程Fig.2 Pretreatment process of lesion grading system

2.2 形狀檢測(cè)

本研究采用非固定拍攝位置，使用任意標(biāo)準(zhǔn)矩形的背景板作為參考物，通過(guò)葉片與矩形背景的比值推算出葉片的面積以及對(duì)應(yīng)的病版面積。按照正常使用流程，圖片中最大近似矩形為包含病變?nèi)~片的背景板，通過(guò)對(duì)圖片中矩形的檢測(cè)，可明確標(biāo)定出目標(biāo)位置，然后通過(guò)霍夫直線檢測(cè)將背景板真實(shí)的邊緣描述并擬合出來(lái)。

2.2.1 多邊形逼近

輪廓的多邊形逼近是指使用多邊形來(lái)近似表示一個(gè)輪廓。多邊形逼近的目的是為了減少輪廓的頂點(diǎn)數(shù)目。但多邊形逼近的結(jié)果依然是一個(gè)輪廓，只是這個(gè)輪廓相對(duì)粗曠一些。算法原理比較簡(jiǎn)單，核心就是不斷找多邊形最遠(yuǎn)的點(diǎn)加入形成新的多邊形，直到最短距離小于指定的精度。

實(shí)際應(yīng)用中多邊形逼近是圖像處理中常用的手段，可以很好地簡(jiǎn)化輪廓的表達(dá)。雖然多邊形逼近返回的是形似的輪廓，但其已經(jīng)將原輪廓發(fā)生了變化。本研究用多邊形逼近作為判斷前置背景的依據(jù)(矩形)，實(shí)際判定角點(diǎn)以及面積信息時(shí)采用霍夫直線檢測(cè)后擬合直線的方法，以保證精度。

2.2.2 霍夫直線檢測(cè)

霍夫變換是圖像變換中的經(jīng)典手段之一，主要用來(lái)從圖像中分離出具有某種相同特征的幾何形狀(如直線、圓等)。以直線檢測(cè)為例：每個(gè)像素坐標(biāo)點(diǎn)經(jīng)過(guò)變換都變成直線特質(zhì)有貢獻(xiàn)的統(tǒng)一度量，即一條直線在圖像中是一系列離散點(diǎn)的集合，通過(guò)一個(gè)直線的離散極坐標(biāo)公式，可以表達(dá)出直線的離散點(diǎn)幾何等式X*cos(theta)+Y * sin(theta)=r。其中角度theta指r與X軸之間的夾角，r為到直線幾何垂直距離。任何在直線上的點(diǎn)(x，y)都可以表達(dá)，其中r和theta是常量。

在實(shí)現(xiàn)的圖像處理領(lǐng)域，圖像的像素坐標(biāo)P(x，y)是已知的，而r和theta則是要尋找的變量。如果能繪制每個(gè)(r，theta)值根據(jù)像素點(diǎn)坐標(biāo)P(x，y)值的話，那么就從圖像笛卡爾坐標(biāo)系統(tǒng)轉(zhuǎn)換到極坐標(biāo)霍夫空間系統(tǒng)，這種從點(diǎn)到曲線的變換稱(chēng)為直線的霍夫變換。變換通過(guò)量化霍夫參數(shù)空間為有限個(gè)值間隔等分或者累加格子。當(dāng)霍夫變換算法開(kāi)始，每個(gè)像素坐標(biāo)點(diǎn)P(x，y)被轉(zhuǎn)換到(r，theta)的曲線點(diǎn)上，累加到對(duì)應(yīng)的格子數(shù)據(jù)點(diǎn)，當(dāng)一個(gè)波峰出現(xiàn)的時(shí)候，說(shuō)明有直線存在。

圖2d—f取背景板左上角為例，依次為多邊形逼近后左上角描述狀況；霍夫直線檢測(cè)后圖片內(nèi)直線線段描述狀況；將找到的線段分類(lèi)整理并擬合后求出左上角交點(diǎn)坐標(biāo)。

2.3 圖像仿射變換

將之前步驟中取得的擬合直線(背景板的四邊)求相互之間的交點(diǎn)，可以得到矩形背景在圖片中的4個(gè)頂點(diǎn)坐標(biāo)。這4個(gè)頂點(diǎn)由于是非垂直固定方式拍攝的，所以無(wú)法真實(shí)描述物體形狀，系統(tǒng)需要將物體映射到標(biāo)準(zhǔn)平面上，才能相當(dāng)于相機(jī)垂直拍攝的狀態(tài)[8]。

圖3為原始圖經(jīng)過(guò)預(yù)處理后定位到前置矩形背景4個(gè)頂點(diǎn)的示意圖。圖4為將上述4個(gè)頂點(diǎn)重新定義后仿射變換后的結(jié)果圖，圖片已經(jīng)完整地切割出了前置背景，并且基本看不到后置背景的殘留，還原了葉片以及前置矩形背景。

圖3 頂點(diǎn)計(jì)算結(jié)果Fig.3 Vertex calculation results

圖4 仿射變換結(jié)果Fig.4 Affine transformation results

3 圖像處理

3.1 自適應(yīng)二值化

在圖像處理應(yīng)用中二值化操作是一個(gè)很常用的處理方式，常用的圖像二值化方法有：1)全局固定閾值；2)局部自適應(yīng)閾值；3)OTSU等[9]。

本系統(tǒng)由于未嚴(yán)格限制光源以及背景板，所以采用局部自適應(yīng)閾值的方式進(jìn)行二值化，即根據(jù)像素的鄰域塊的像素值分布來(lái)確定該像素位置上的二值化閾值。這樣做的優(yōu)點(diǎn)在于每個(gè)像素位置處的二值化閾值不是固定不變的，而是由其周?chē)徲蛳袼氐姆植紱Q定的。亮度較高的圖像區(qū)域的二值化閾值通常會(huì)較高，而亮度較低的圖像區(qū)域的二值化閾值則會(huì)相適應(yīng)地變小。不同亮度、對(duì)比度、紋理的局部圖像區(qū)域?qū)?huì)擁有相對(duì)應(yīng)的局部二值化閾值，效果如圖5所示。在此基礎(chǔ)上結(jié)合全局閾值結(jié)果，兩者做相加運(yùn)算后經(jīng)過(guò)形態(tài)學(xué)運(yùn)算，得到最終結(jié)果圖，分析此圖可得到葉片形態(tài)數(shù)據(jù)。

3.2 色調(diào)分離

色調(diào)是基于全圖的整體色彩評(píng)價(jià)，指圖像整體的傾向(明度、純度、色相三要素)。色調(diào)分離相當(dāng)于用多個(gè)級(jí)別的色彩閾值對(duì)圖像進(jìn)行細(xì)致分割[10]，原理是基于RGB色彩模型作為研究對(duì)象，RGB三通道均采用8位表示，也就是每個(gè)通道有256種顏色，可以組合成256×256×256=16 777 216種顏色。色調(diào)分離就是將每個(gè)通道的顏色分成幾個(gè)色階，每個(gè)色階對(duì)應(yīng)一個(gè)固定的顏色值。

采用色調(diào)分離的目的是對(duì)圖片進(jìn)行圖像分割。一般而言，植物病斑均是正常葉片逐漸過(guò)渡發(fā)展為明顯不同于正常葉片色彩的顏色(常見(jiàn)為黃褐色或灰白色)，常用的RGB色彩范圍分割以及HSL色彩分割針對(duì)病斑很難獲取到合適的閾值。但色調(diào)分離是完全基于葉片本身的色彩細(xì)分種類(lèi)(之前的處理已經(jīng)將背景等干擾項(xiàng)完全排除)，不需要精確地給定閾值。這樣，就給系統(tǒng)提供了一種穩(wěn)定可靠的色彩分割依據(jù)。

圖5a—d為將透視變換結(jié)果圖進(jìn)行色調(diào)分離(色階目標(biāo)數(shù)為8)的結(jié)果,選取其中黃色部分，得到病斑結(jié)果(圖5e)。

圖5 葉面積計(jì)算與病斑面積計(jì)算Fig.5 Calculation of leaf area and lesion area

4 實(shí)例分析

本研究以某農(nóng)業(yè)科學(xué)院實(shí)際工作中遇到的甜瓜葉片病斑定級(jí)為例，針對(duì)單個(gè)大棚隨機(jī)抽樣10株，每株隨機(jī)抽取不同高度的6張葉片，每張葉片連續(xù)拍攝5張圖片，共300個(gè)樣本進(jìn)行試驗(yàn)。

采用iPhone6手機(jī)，黑色無(wú)反光背景布作為后置背景，普通白色A4打印紙作為前置背景，葉片置于前景前手動(dòng)俯拍出后置背景，填充滿(mǎn)整個(gè)圖像，前置背景完全進(jìn)入圖像，葉片完全進(jìn)入前置背景的照片作為合格圖像，分析并處理圖像中葉片面積以及病斑的面積，統(tǒng)計(jì)結(jié)果如表1所示。篇幅原因僅展示第1張葉片的5張圖片的處理結(jié)果。

人工定級(jí)標(biāo)準(zhǔn)：1級(jí)，無(wú)病斑；2級(jí)，病斑占總面積10%；3級(jí)，病斑占總面積11%—25%；4級(jí)，病斑占總面積26%—50%；5級(jí)，病斑占總面積51%—75%；6級(jí)，病斑占總面積76%—100%；7級(jí)，全葉片枯死。

表1 測(cè)試圖片結(jié)果統(tǒng)計(jì)

采用霍夫檢測(cè)直線線段后擬合直線求出頂點(diǎn)以及采用基于閾值和自適應(yīng)二值結(jié)合的方法修正圖像并計(jì)算葉片面積的方法，對(duì)單個(gè)葉片多張圖片進(jìn)行處理，結(jié)果表明：面積離散度基本小于0.5%,能夠很好地還原真實(shí)葉片面積。

采用色階分離的方法自動(dòng)分離病斑數(shù)據(jù)離散程度較大，但也基本小于5.5%,離散度較大的原因主要是拍攝質(zhì)量不穩(wěn)定，早期病斑色彩與葉片色彩接近等，可通過(guò)多次拍攝取均值或提高對(duì)比度等方法解決。采用色調(diào)分離的方法不需要根據(jù)每幅圖片輸入病斑色彩參數(shù)，完全自動(dòng)化分離病斑并數(shù)值化葉片病蟲(chóng)害狀態(tài)，可很好地代替人工評(píng)定。

5 結(jié)論

本研究提出了一種基于圖像處理技術(shù)的植物病斑定級(jí)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。針對(duì)現(xiàn)有圖像處理技術(shù)在農(nóng)業(yè)試驗(yàn)中遇到的拍攝以及定位問(wèn)題進(jìn)行優(yōu)化，可采用多個(gè)背景自適應(yīng)逐步定位前置背景以及葉片，采用色階分離自動(dòng)分離病斑以及葉片。實(shí)踐結(jié)果表明，本研究可以很好地解決活體拍攝、田間拍攝以及參數(shù)輸入繁瑣等問(wèn)題，結(jié)果也能較好地反應(yīng)出病斑狀況。

本研究設(shè)計(jì)尚存部分不足，希望可以通過(guò)以后的工作補(bǔ)足。如：色階分離前希望添加一步白平衡色彩修復(fù)，自動(dòng)定位角點(diǎn)后采用線性填充的方法逐點(diǎn)修正拍攝圖像，而非僅采用4個(gè)頂點(diǎn)仿射變換得到修正圖。