基于Android的自然背景下黃瓜霜霉病定量診斷系統

葉海建 郎 睿

(中國農業大學信息與電氣工程學院， 北京 100083)

基于Android的自然背景下黃瓜霜霉病定量診斷系統

葉海建 郎 睿

(中國農業大學信息與電氣工程學院， 北京 100083)

為準確快速定量診斷黃瓜的病害，科學選擇病害管控措施，基于Android技術和圖像處理方法設計了可用于自然背景的黃瓜葉部病害定量診斷系統，并進行了試驗。對黃瓜葉部彩色圖像，首先進行圖像預處理和背景剪除，再識別病斑區域，最終計算病斑區域占其所在葉片區域的百分比及根據國家相關標準與其對應的病害等級，計算結果以數值形式顯示在診斷結果界面，同時用紅色標識出病害區域。系統既適用于白色打印紙等簡單背景，也適用于較為復雜的自然背景；所識別的病害葉片圖像既可以從攝像頭實時獲取，也可以從手機存儲載入。以50幅黃瓜霜霉病病害葉片為對象對系統進行測試，試驗結果表明，系統可以較準確地對黃瓜霜霉病病斑區域進行識別(病斑區域識別綜合誤分率為6.56%)，并按照國家標準給出病害等級(綜合錯誤分級率為3%)；簡單人工背景下系統識別時間為1 s，自然背景下系統識別時間約為11 s。

黃瓜; 霜霉病; Android; 自然背景; 病情診斷

引言

對農作物病情的準確評估是對其進行科學管控的前提。在病情評估中，病害程度的定量診斷是藥劑、藥量選擇等具體病害管控措施實施的依據，準確、快速的病害定量診斷對科學地選擇病害管控措施尤為重要。

近年來，隨著具有拍照功能的智能手機日益普及，基于手機客戶端病害診斷系統的研究和開發引起了廣泛的關注。目前相關研究中，較多的是對作物病害進行定性識別[1-5]，而用于病害定量識別的手機客戶端系統則在近幾年才剛剛起步[6-9]。楊林楠等[5]研究了甜玉米病蟲害智能診斷系統；吳滄海等[6]基于Android智能手機設計開發了油菜病害識別系統；薛麗娜等[7]研究了基于Android平臺的馬鈴薯蟲害指認診斷系統；康奈爾大學PETHYBRIDGE等[9]開發了用于蘋果手機的病害程度定量診斷系統Leaf Doctor；田有文等[8]基于Android技術研究了黃瓜葉部病情診斷系統。然而，現有的基于手機客戶端的病情診斷系統普遍存在無法適應自然背景葉部圖像提取的問題，僅能對局部葉片進行處理[4]，另外一些則是需要布置簡單的人工背景[2,8-10]。此外，部分系統還需要通過網絡與服務器端進行連接才能完成病情診斷[3,5,9,11]。這些，都給實際使用帶來不便，降低了系統的實用性。

為增強系統的實用性，本文結合手機客戶端的特點，基于Android技術和圖像處理的相關方法，以溫室黃瓜霜霉病為試驗對象，設計可用于自然背景的黃瓜霜霉病定量診斷系統。

1 系統設計

系統的功能模塊及關系結構如圖1所示，主要包括葉部圖像獲取、葉部病害定量診斷、黃瓜常見病害及防治、幫助和關于4個互相關聯的一級模塊。

圖1 系統模塊結構圖Fig.1 Structure diagram of system modules

1.1 葉部圖像獲取模塊

病害葉部圖像的獲取是病情診斷的前提，在實際應用中，葉部圖像可以來源于攝像頭也可以來源于本地圖像文件。為此，在葉部圖像獲取模塊中設計了2個二級子模塊來實現2種圖像獲取方式。其中，攝像頭操作子模塊是通過調用手機后置攝像頭的拍照功能來實現葉部圖像的采集功能；而文件系統操作子模塊則是通過調用系統功能從手機的本地存儲中獲取圖像文件內容。

1.2 葉部病害定量診斷模塊

葉部病害定量診斷模塊是系統的核心，它是對葉部圖像獲取模塊所得到的圖像進行處理，從而得出病害定量診斷結果的模塊。模塊通過圖像預處理、背景區域剪除、病害區域識別和病情診斷結果生成4個二級子模塊協同順序工作，完成對葉部病害程度診斷工作。本模塊的工作流程見圖2。

圖2 葉部病害定量診斷模塊流程圖Fig.2 Flow chart of leaf disease severity quantifying module

1.2.1 圖像預處理模塊

圖像預處理模塊的功能是對圖像進行必要的平滑和圖像尺寸調整[12]，這些處理是后續處理的基礎。預處理的目的是消除圖像中會對背景剪除及進一步病情診斷帶來影響的毛刺和噪點；而將圖像縮放為統一尺寸，是因為相對計算機而言，手機的運算能力和內存容量有限，直接對原圖進行處理，會非常緩慢甚至耗盡手機內存。圖像尺寸調整的方法為對圖像作等比例縮放，使得長和寬中的最大值為512像素。

1.2.2 背景區域剪除模塊

背景區域剪除模塊的功能是去除圖像中葉部區域以外的背景區域。由于后續的病害程度判斷是根據病害區域面積相對于所在葉部區域面積的比例來進行計算的[13]，因此，能否正確去除圖像中非葉部區域將直接影響計算結果的準確性。在本系統中，設計了分別針對簡單背景和自然背景2種類型應用場景的2個三級子模塊。

(1)簡單背景剪除模塊

對于葉部圖像背景為白色或黑色等簡單純色背景的情形，由于前景和背景的反差比較明顯，干擾區域一般僅來源于陰影(圖4)，利用基于葉片綠色特征的圖像分割算法即可進行剪除。簡單背景的剪除流程見圖3，圖中的超G法[14]是一種可以將葉部區域從非綠色背景提取出的一種方法，然而，這種方法對于背景中存有其他葉片等綠色成分干擾時的分割效果不佳，不適用于對復雜背景的剪除。這里為說明簡單背景剪除方法的適用性，利用本系統方法對具有簡單背景的葉部圖像[8]進行背景剪除，效果見圖4。

圖4 具有簡單人工背景圖像的背景剪除Fig.4 Removal of simple artificial background

圖3 簡單人工背景剪除流程圖Fig.3 Flow chart of simple artificial background removal

(2)自然背景剪除模塊

對于葉部圖像背景是較為復雜的自然背景情形，一方面，自然環境下的葉片背景中可能會出現各種難以預料的泥土、石塊、地膜等雜物，它們的圖像特征非常復雜和不易確定，使得對其進行背景剪除非常困難；另一方面，由于在自然環境下采集植物的葉部圖像時，多數情況下會出現屬于同一植株或相鄰植株的其他葉片，而這些產生干擾的葉片與目標葉片圖像特征非常相似。自然背景的復雜性使得傳統分割方法[15]很難從自然背景中有效地分割出葉片區域來。

近年來發展起來的通過用戶交互方式輔助來進行圖像分割的方法為復雜自然背景移除提供了新的思路。同時，智能手機的觸屏功能也為交互式圖像分割帶來了應用模式上的可能。因此，設計交互式方式來完成本系統中自然背景的移除功能。在各種交互式分割方法中，GrabCut[16]是理論較為成熟的一種。GrabCut是屬于能量函數最小化分割理論的一種分割方法，對給定一幅含有N個像素的RGB色彩空間的圖像，通過對RGB彩色圖像的前景和背景分別建立K個分量的高斯混合模型(一般K取5)，構造能量函數E

E(α,k,θ,z)=U(α,k,θ,z)+V(α,z)

(1)

式中α——前景背景區分向量，其中的元素αn指定了像素n(1≤n≤N)屬于前景(αn=1)或背景(αn=0)

k——高斯混合模型分量歸屬向量，元素kn(1≤kn≤K)指定了像素n所屬的混合模型分量

θ——待求參數

z——圖像灰度數組，z=(z1,…,zn,…,zN)

式(1)右端的第1個分量U為數據項

(2)

式(2)中的D為分解到各個像素點上的數據項

D(αn,kn,θ,zn)=

-lgp(zn|αn,kn,θ)-lgπ(αn,kn)

(3)

式中p(·)——高斯概率分布函數π(·)——混合權重系數

式(1)右端第2個分量V為平滑項 (也稱懲罰項)

(4)

其中

β=(2〈(zm-zn)2〉)-1

式中γ——罰項因子，取經驗值為50β——常量

總之，能量函數E中的待求參數為

θ=(π(α,k),μ(α,k),Σ(α,k))

(α=0,1;k=1,2,…,K)

(5)

以最小化為目標能量函數E作參數尋優，即可解出參數θ，然而由于模型較為復雜，得到解析解非常困難，所以一般使用EM法迭代求出近似解。得到的結果中α即為圖像中各像素點屬于前景或背景的判斷依據，進而可以得到圖像分割的結果。由于GrabCut可以預先指定一些屬于前景或背景的像素集合來初始化能量函數模型，因此，用戶可以預先對圖像進行不完全標注來對圖像進行分割。

結合GrabCut的優點和智能手機觸摸屏可作為用戶標記輸入方式的特點，在本系統中，用戶可以在系統界面上以觸摸的方式粗略指定屬于前景區域和背景區域的像素點集，系統再根據用戶的選擇結果構造用戶選擇矩陣，并通過調用OpenCV中的GrabCut方法來對圖像的背景作剪除。實現自然背景剪除界面的操作見圖5，圖中紅色和藍色線條為用戶通過手機觸摸屏粗略指定的目標葉部區域和背景區域，剪除效果見圖5。

圖5 系統部分截圖Fig.5 Parts of screen captures of system

1.2.3 病害區域識別模塊

通過背景區域結合黃瓜霜霉病病害特點，利用生成顯著性圖的方法將病害區域從剪除了背景的葉部區域中識別出來[12]。病害區域識別結果以二值化圖像的形式暫存于內存。

1.2.4 病情診斷結果生成模塊

病情診斷結果是利用病害區域識別模塊得到的病害區域二值化圖像所標識的病害區域占整個葉片區域的百分比，所得計算結果再根據國家標準[13]折算成相應的病害等級。病害占比和病害等級分別以數值形式顯示在界面上；同時在葉片圖像上根據病害區域二值化圖像用紅色標出病斑區域(圖5)。

1.3 黃瓜常見病害及防治模塊

常見的黃瓜病害種類很多，對它們的防治和管控方式也有很多，在實際生產中如果可以從隨身攜帶的手機上獲取到各種常見病害的圖像和文字說明信息及相應的防治方式將會非常方便。因此，本系統將各種常見的黃瓜病害及相應的防治方式加以匯編，設計成電子手冊，集成在系統中。

1.4 幫助和關于模塊

本模塊是對本系統相關功能的說明，對剛剛開始熟悉和使用本系統的用戶而言，一些簡要的幫助信息非常重要。

2 系統實現與部署

2.1 系統實現

系統在Windows 7(64位) professional操作系統、Android Studio 2.1和JDK 1.7環境下開發，并通過共享庫形式調用OpenCV的相關圖像處理功能。

2.2 系統部署

為對系統進行測試，需要將開發好的系統以apk安裝包的形式安裝到具體的手機硬件上。本文測試時采用的硬件為HUAWEI G750-T20型(華為榮耀3x pro)手機，其操作系統為Android 4.2.2(JELLY BEAN)，處理器為聯發科MT6592，主頻1.7 GHz，運行內存2.0 GB。系統運行時的部分截圖見圖5。

3 試驗與結果分析

3.1 試驗設計

試驗數據于2015年9—10月份采集自北京市北郊某日光溫室。從沒有因枯萎和衰老而變色的葉片圖像樣本中，選取50幅具有典型霜霉病病征圖像Ii，在專家指導下進行葉部區域Li和病斑區域Di標記，i為樣本編號，取值為[1,50]的整數，用Ii、Li和Di進行試驗并匯總結果。

在文獻[15]中，對復雜背景區域采用的分割方法是先在RGB色彩空間生成灰度圖W=min(255,max(0,2G-R-B))，再用OTSU法對灰度圖W作自適應閾值分割得到分割蒙板，并由分割蒙板分割出葉部區域。

病害區域誤分率和錯誤分級率分別定義為

Mi=∑(1-|AEi-AMi|/AWi)/N×100%

(6)

Eg=∑|1-(TEi≠TMi)|/N×100%

(7)

式中N——樣本數量i——樣本編號AEi——專家識別的病害區域像素數AMi——系統識別出的病害區域像素數AWi——整個葉片區域的像素數TEi——根據專家識別結果計算的病害分級TMi——根據系統識別結果計算出的病害分級

≠——二元操作符，在兩操作數不相等時取1，反之取0

3.2 結果分析

系統對黃瓜霜霉病定量診斷的結果和運行時間分別見表1和表2。由表1數據可見，在葉部圖像為自然背景時，系統對病害區域平均誤分率為8.39%，優于對比方法(44.16%)；平均錯誤分級率為4.00%，優于對比方法(62.00%)。而對于簡單背景，病害區域平均誤分率為4.73%，與對比方法(4.97%)相當，平均錯誤分級率為2.00%，好于對比方法(4.00%)。綜合而言，系統對病斑區域誤分率約為6.56%，錯誤分級率約為3%。對比表1中第2列和第4列數據可見，對于自然背景下的病情診斷，系統的誤分率及平均錯誤分級率均略差于簡單背景，這主要是由復雜自然背景剪除時的誤差造成的。由表2可知，本文方法的平均運行時間對簡單背景為1 s，對自然背景為11 s(不含人工選擇時間)。綜合看來，系統對于簡單背景的處理時間與文獻[15]方法相當，對于自然背景，雖然用時多于文獻[15]方法，但誤分率降低了35.77個百分點。

表1 黃瓜霜霉病定量診斷的性能對比Tab.1 Performance comparison of different methods on cucumber downy mildew leaf disease diagnosis %

表2 平均運行時間比較Tab.2 Comparison of average running time s

4 結論

(1)系統能夠在較短的時間內給出較為準確的黃瓜霜霉病葉部病斑的定量檢測結果，并將結果以數值和病斑區域圖像標記的形式顯示在系統界面上。

(2)系統既可以有效地從非綠色簡單背景中提取出待診斷葉片的葉部區域，也可以利用智能手機觸摸屏讓用戶粗略指定葉部區域，從復雜的自然背景中提取出葉部區域；對于簡單背景下的葉片圖像處理用時較短，而對自然背景下的用時可以接受。

(3)基于Android技術和圖像處理的相關方法，在智能手機上構建可用于自然背景下的黃瓜葉部病情診斷系統是可行的。

1 戴建國, 賴軍臣. 基于圖像規則與Android手機的棉花病蟲害診斷系統[J/OL]. 農業機械學報, 2015,46(1):35-44. http:∥www.jcsam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20150106&journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2015.01.006. DAI Jianguo, LAI Junchen. Image-rule-based diagnostic expert system for cotton diseases and pests based on mobile terminal with Android system[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2015,46(1):35-44.(in Chinese)

2 田有文, 王煒, 王瀧, 等. 基于Android平臺的黃瓜葉部病害圖像處理[J]. 農業科技與裝備, 2015(2):30-31. TIAN Youwen, WANG Wei, WANG Long, et al. Image processing of cucumber leaf disease based on Android platform[J]. Agricultural Science & Technology and Equipment, 2015(2):30-31.(in Chinese)

3 王梅嘉, 何東健, 任嘉琛. 基于Android平臺的蘋果葉病害遠程識別系統[J]. 計算機工程與設計, 2015,36(9):2585-2590. WANG Meijia, HE Dongjian, REN Jiachen. Remote recognition of apple leaf disease based on Android platform[J]. Computer Engineering and Design, 2015,36(9):2585-2590.(in Chinese)

4 夏永泉, 李耀斌, 李晨. 基于圖像處理技術與Android手機的小麥病害診斷系統[J]. 安徽大學學報：自然科學版, 2016,40(2):26-31. XIA Yongquan, LI Yaobin, LI Chen. Diagnostic system of wheat diseases based on image processing technology and Android phone[J]. Journal of Anhui University：Natural Sciences, 2016,40(2):26-31.(in Chinese)

5 楊林楠, 郜魯濤, 林爾升, 等. 基于Android系統手機的甜玉米病蟲害智能診斷系統[J]. 農業工程學報, 2012,28(18):163-168. YANG Linnan, GAO Lutao, LIN Ersheng, et al. Intelligent diagnose system of diseases and insect pests in sweet corn based on mobile terminal with Android system[J]. Transactions of the CSAE, 2012,28(18):163-168.(in Chinese)

6 吳滄海, 熊煥亮, 何火嬌. 基于Android智能手機油菜病害識別系統設計[J]. 中國農機化學報, 2013(4):257-260. WU Canghai, XIONG Huanliang, HE Huojiao. Rape diseases recognition system design based on Android platform[J]. Journal of Chinese Agricultural Mechanization, 2013(4):257-260.(in Chinese)

7 薛麗娜, 吳晟. 基于Android平臺的馬鈴薯蟲害指認診斷系統[J]. 安徽農業科學, 2015(28):346-348. XUE Li’na, WU Sheng. Potato pest identification system based on Android[J]. Journal of Anhui Agricultural Sciences, 2015(28):346-348.(in Chinese)

8 田有文, 鄭鵬輝, 許童羽, 等. 基于安卓的黃瓜葉部病害程度檢測系統的研發[J]. 計算機工程與設計, 2016,37(5):1411-1416. TIAN Youwen, ZHENG Penghui, XU Tongyu, et al. Developing detecting system for cucumber leaf disease severity based on Android[J]. Computer Engineering and Design, 2016,37(5):1411-1416.(in Chinese)

9 PETHYBRIDGE S J, NELSON S C. Leaf doctor: a new portable application for quantifying plant disease severity[J]. Plant Disease, 2015,99(10):1310-1316.

10 鄭姣, 劉立波. 基于Android的水稻病害圖像識別系統設計與應用[J]. 計算機工程與科學, 2015,37(7):1366-1371. ZHENG Jiao, LIU Libo. Design and application of rice disease image recognition system based on Android[J]. Computer Engineering and Science, 2015,37(7):1366-1371.(in Chinese)

11 屈赟, 陶晡, 王政嘉, 等. 基于Android的蘋果葉部病害識別系統設計[J]. 河北農業大學學報, 2015, 38(6):102-106. QU Yun, TAO Bu, WANG Zhengjia, et al. Design of apple leaf disease recognition system based on Android[J]. Journal of Agricultural University of Hebei, 2015, 38(6):102-106.(in Chinese)

12 葉海建, 郎睿, 劉成啟, 等. 基于視覺顯著性圖的黃瓜霜霉病識別方法[J/OL]. 農業機械學報, 2016, 47(5):270-274. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20160536&flag=1. DOI：10.6041/j.issn.1000-1298.2016.05.036. YE Haijian, LANG Rui, LIU Chengqi, et al. Recognition of cucumber downy mildew disease based on visual saliency map[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(5):270-274.(in Chinese)

13 GB/T 17980.26—2000 農藥田間藥效試驗準則(一)殺菌劑防治黃瓜霜霉病[S]. 2000.

14 龔愛平, 吳武豪, 裘正軍, 等. 基于Android系統手機的葉面積測量方法[J/OL]. 農業機械學報, 2013,44(9):203-208. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20130936&flag=1. DOI：10.6041/j.issn.1000-1298.2013.09.036. GONG Aiping, WU Wuhao, QIU Zhengjun, et al. Leaf area measurement using Android OS mobile phone[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013,44(9):203-208.(in Chinese)

15 袁媛, 李淼, 陳晟, 等. 復雜背景黃瓜葉部病害圖像分割方法[J/OL]. 農業機械學報, 2013,44(10):233-237. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20131037&flag=1. DOI：10.6041/j.issn.1000-1298.2013.10.037. YUAN Yuan, LI Miao, CHEN Sheng, et al. Segmentation of cucumber leaf disease images with complex background[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2013,44(10):233-237.(in Chinese)

16 ROTHER C, KOLMOGOROV V, BLAKE A. GrabCut-Interactive foreground extraction using iterated graph cuts[J]. ACM Transactions on Graphics, 2004,23(3):309-314.

Cucumber Downy Mildew Severity Quantifying Diagnosis System Suitable for Natural Backgrounds Based on Android

YE Haijian LANG Rui

(CollegeofInformationandElectricalEngineering,ChinaAgriculturalUniversity,Beijing100083,China)

Accurate and rapid disease severity quantifying is critical for scientific selection of disease control measures. Smartphone-based systems may facilitate this procedure. Based on Android and digital image processing, a smartphone-based system for cucumber leaf disease severity quantifying was designed and implemented. Leaf images can be obtained by using the smartphone back camera in field, and also can be loaded from local storage of the smartphone. Severity quantifying was done to the image in several steps. Firstly, image pre-processing and non-interested background removal were directly done to the leaf color image. Secondly, the diseased region was discriminated from the leaf region. Finally, disease severity was calculated by the ratio of disease area to leaf area as percentage, and disease grade was also calculated from the disease severity following a national standard. Numerical severity quantifying results were displayed in the interface, and the identified diseased region of the leaf image was marked in red and displayed in the interface as a synthesis image simultaneously. Two background removal algorithm were implemented in the system. One was used for simple background removal, namely super-G, which was used for background removal when the leaf region within a simple artificial background, such as a white A4 sheet. The other one was grabcut, which was a user-interactive background removal method chosen for complex natural background removal. Where the user could roughly point out background and foreground, and then the application would do the rest. For testing performance of the system, totally 50 images of downy mildew infected cucumber leaves were used. Images were acquired from greenhouses in north of Beijing. Results showed that the system could accurately quantify the downy mildew disease severity in acceptable time. Average percentage of false quantifying was 6.56%. Average running time for disease severity quantifying was 1 s for disease images with simple artificial backgrounds and 11 s (user interaction time was varied with each individual, thus not included) for those with complex natural backgrounds.

cucumber; downy mildew; Android; natural background; disease quantifying

10.6041/j.issn.1000-1298.2017.03.003

2016-06-28

2016-07-29

國家自然科學基金項目(31271619)

葉海建(1962—)，男，教授，主要從事圖像處理和大數據研究，E-mail： hjye@cau.edu.cn

TP391.4; S24

A

1000-1298(2017)03-0024-06