基于紅外熱成像和機器學習的作物早期病害識別研究進展*

徐衍向，張敬智，蘭玉彬，3，孫越梅，韓鑫，白京波

(1. 山東理工大學農業工程與食品科學學院,山東淄博,255000;2. 山東思遠農業開發有限公司,山東淄博,255400; 3. 山東省農業航空智能裝備工程技術研究中心,山東淄博,255000)

0 引言

農作物病害是作物生產中最嚴重的自然災害,細菌、真菌、病毒等的微生物等的入侵造成的作物損壞及其經濟損失數額巨大,且一年四季均有發生,因此作物早期病害的識別就顯得尤為重要[1]。

作物病害的侵染分為侵入前期、侵入期、潛育期和發病期四個時期。病原物與其侵染植物最初的相互作用在侵入前期,對其自身的侵染和后續的擴散有著直接影響,因此侵入前期是阻止病害發展的最佳時期。但在病害侵染之前,作物不會啟動防御機制,無法用紅外熱成像技術進行預防性病害防控作業,直到潛育期病原物才從與寄主建立寄生關系逐步過渡到開始表現明顯的癥狀,病原菌在這時期從寄主體內汲取影響,寄主啟動相應的防御機制,但人們在肉眼上無法直接觀察到,故可在潛育期進行作物的早期病害檢測,通過提早識別染病植物,進行農藥的局部噴灑,抑制病菌的早期生長,進而減少后續農藥的使用。一旦進入發病期,該病就會迅速傳播,導致防治難度家大、成本增高。因此,病害的早期識別檢測于病害的識別預防具有重要意義。

早期的作物檢測方法包括專家鑒定法,分離培養檢測法和血清檢測法[2],前者容易造成主觀誤判,后兩者會對作物的結構造成破壞,不易用于大田作物病害檢測。隨著人工智能的發展,機器視覺等越來越多被應用于農業領域[3],尤其是機器學習深度學習越來越多的應用于病害檢測的領域,能夠幫助克服人工誤判、依賴專家經驗、耗費大等缺點,解決了病害識別的問題。隨著紅外熱成像技術,高光譜技術[4]及X光檢測技術等都用于作物病害的早期檢測,隨著機器學習和紅外熱成像技術,機器視覺和紅外熱成像在安全、醫學和電力等領域進行了許多的應用,在農業病害識別等方面也進行了不少的研究,但因環境的影響和紅外熱成像技術本身的分辨率和靈敏度等的局限性,在復雜環境下應用尚不成熟。本文首先介紹了紅外熱成像和機器學習的工作原理和以深度學習為代表的識別技術和以紅外熱成像為代表的圖像檢測技術在病害檢測上的應用,然后介紹了兩種技術相結合用于改善紅外熱圖像質量和監測作物病害,最后進行問題分析和研究展望并得出結論。

1 基于紅外熱成像技術的作物早期病害檢測

1.1 紅外熱成像技術的作物早期病害檢測機制

1.1.1 紅外熱成像原理

紅外熱成像技術是利用物體自身各部分之間的差異性,把自身發出且肉眼不可見的紅外輻射轉化成可見的熱圖像技術[5]。可以檢測到作物的溫度變化,從而實現作物的無損檢測。主要設備為熱成像儀,成像原理如圖1所示。

簡單來說,紅外熱像儀的工作原理就是把物體自身發出的紅外輻射轉變為可見的熱圖像。熱圖像的信息可以通過不同的顏色來表示不同的溫度傳達出來,而且紅外輻射可由所有溫度高于絕對零度(-273 ℃)的物體發出,部分病害的發生會影響到氣孔和蒸騰作用進而影響到其溫度,且沒有直接接觸,因此可利用紅外熱像儀進行物體的無損檢測。隨著技術的發展,熱成像技術在葉片表皮導度、氣孔導度、蒸騰作用等與作物葉片溫度有關的方面得到了廣泛的研究[6-8]。

紅外熱成像技術的優點如下:(1)檢測方式為非接觸式,影響因素減少,準確率高,可進行無損檢測。(2)成像速度快,可以直觀地反映信息,便于病害的識別。(3)圖像可以進行錄制和存儲,且檢測成本低,便于對多次檢測結果進行對照分析。

1.1.2 病害發生原理

作物病害根據病原的種類可分為侵染性病害和非侵染性病害兩大類,常規病害發生原理如圖2所示。

圖2 病害發生原理

當病原體侵染作物時,會在作物傷口處形成傷素和大量化學信使等,在經過一連串的反應后產生防御反應,通過防御反應的產物來抑制或殺死病原體。例如作物可以通過控制氣孔來控制蒸騰作用,用來防御病害[9]。而防御作用下的生理指標變化會影響作物葉片的溫度,從而引起自身輻射能量的變化,這種變化可以直接反映在紅外熱圖像中,來進行作物早期病害的識別。

1.2 紅外熱成像技術在作物早期病害檢測中的研究進展

1.2.1 國外研究進展

在國外,將紅外熱成像應用于農業起步較早,在檢測細菌、病毒和真菌作為病原體感染的植物病害方面獲得了不少的成果[9-12],通過對于葉片表面溫度的檢測的方式來評估植物和病原體的相互作用。

近年來紅外熱成像已被用于病害檢測,如煙草花葉病[13-14]、黃瓜霜霉病[15]、葡萄霜霉病[16]、小麥白粉病和黑星斑病[17]等。2008年,Stoll等[18]研究發現利用熱紅外成像技術可在接種后3～4 d且肉眼無法觀測時檢測到葡萄霜霉病斑;2015年,Baranowski等[19]通過紅外熱成像儀檢測冬油菜感染病菌后的變化,發現染病葉片比健康葉片溫度高3.5 ℃,且即便在大面積種植時,也能發現染病區域溫度的明顯差異;2015年,Rispail等[20]發現在控制的環境下敏感種在尖孢鐮刀菌侵染后表面葉溫度的顯著升高至少0.5 ℃,而抗性種質溫度保持在控制水平,發現可用紅外熱成像技術來進行優質品種的篩選;2016年,Kim等[21]發現在紅外熱圖像中感染煙煤病后葉片溫度健康區域和染病區的平均溫度分別為26.98 ℃和28.44 ℃,表明染病區的平均溫度明顯高于健康區域);2019年,Wang等[22]使用熱成像作為估計作物水分脅迫方法,表明接種病菌后1～7天,只有大溫差(p≤0.01)和冠層溫度(p≤0.05)參數與病害感染顯著相關,可用于預測小麥真菌感染的發作。

1.2.2 國內研究進展

國內起步較晚,但是發展迅速,在檢測作物水分脅迫、凍害檢和病蟲害檢測發揮了重要作用,在農業方面被廣泛用于提前感知作物病害等不但有加強了作物的管理,也有利于篩選更優秀的突變體。在煙草花葉病[23]、番茄花葉病[24]和小麥條銹病[25]等病害的識別也獲得了不少成果。2000年,江濤[26]研究發現利用高分辨率紅外視頻攝像機,可檢測到葉片感染病毒部分的溫度高于正常部分0.3 ℃～0.4 ℃;2007年,朱圣盼[27]利用紅外熱成像進行番茄葉片性狀的早期檢測,發現感染葉片生理變化與溫度變化呈正相關;2012年,徐小龍等[24]研究發現可在接種后3 d后檢測出感染番茄花葉病的番茄葉片比正常葉片高0.5 ℃～1.2 ℃;2014年,李小龍等[25]研究發現可利用紅外熱成像識別出受到條銹病侵染但未顯癥的小麥植株。

2012年,Wang等[28]使用熱紅外相機檢測感染尖孢鐮刀菌的黃瓜葉片的發病機理,可以對土傳病害fusariumwilt的發展過程進行非侵入性檢測和間接可視化,而且還可以揭示與水分狀況相關的某些內部代謝過程。2019年,姚志鳳等[29]使用紅外熱成像檢測小麥條銹病,發現隨著接種天數的增加,接種病害的小麥植株冠層的平均溫度會逐漸降低,葉片間的最大溫差會不斷加大,可用來進行小麥條銹病早期檢測。

綜上所述,紅外熱成像具有無損檢測、高靈敏度強預警性的特點,可在肉眼發現之前提前感知感染區域與正常區域之間的變化,并且隨著農業技術的發展,越來越多的研究者將紅外熱成像的靈敏度高、無損檢測等特點用于作物早期的病蟲害檢測。

2 基于機器學習的作物病害檢測

隨著計算機視覺和機器學習的發展,機器學習在物體識別方面取得了重大的進展,近年來在農業方面取得了不少的成就,尤其是深度學習方面。且深度學習對比普通的識別方法具有學習能力強,覆蓋范圍廣、適應性好等優點,在農業方面被廣泛應用于植物的病害檢測。

2.1 基于傳統的機器學習的作物病害檢測機制

傳統的機器學習主要依靠人工從原始數據中提取的特征,然后進行機器學習模型訓練完成分類,它的流程包括如圖3所示。

圖3 傳統機器學習的主要流程

可通過人工對輸入的數據進行特征提取,后輸入到模型中進行訓練分類。機器學習有著算法簡單、計算速度快的優點,但良好的特征表達對其性能至關重要,人工設計特征不僅費時費力,還有著無法表達高層語義信息,泛化能力弱且無自學習能力等缺點。在視覺認知機理的啟發下,2006年提出一種稱為深度置信網絡的深度學習模型,克服了深層網絡結構在訓練上的困難,有效解決了之前存在的誤差傳播控制問題,從而有利于數據的可視化或分類。不僅避免了繁雜的特征提取環節,而且能夠更好地實現復雜的函數逼近。

2.2 基于深度學習的作物病害檢測機制

深度學習是一種最新的、具有精確結果的圖像處理技術。它采用自動而不是人工提取特征,并且可以提取更為復雜的特征,使得后期分類變得簡單有效,本質是模擬人的視覺系統的分層處理機制。

隨著深度學習的發展,被越來越多的應用于語音識別、人臉識別等方面,農業方面在作物病害的檢測識別環節發展迅速。如圖4所示,深度學習可以從數據中提取到更加復雜的特征,且只用把提取出的特征進行分類即可獲得較好的效果。根據統計可知,使用深度學習進行的病害識別準確率比傳統識別高出10%～20%[30]。

圖4 深度學習的主要流程

2.3 機器學習在作物病害圖像檢測中的研究進展

在農業方面,深度學習已被廣泛用于病害檢測,如小麥病害[31]、蕎麥病害[32]、葡萄[33]和番茄病害[34]等各種病害。2018年,馬浚誠等[35]研究發現:一種在殘差網絡(ResNet18)的基礎上進行改進的多尺度卷積結構與注意力機制結合的農作物病害識別模型可實現田間環境下的病害識別;使用深度卷積網絡識別擴充后的圖像數據集,得出對炭疽病、霜霉病、白粉病和目標葉斑病4種黃瓜病害的準確率為93.4%;2017年,Liu等[36]提出一種基于深度卷積神經網絡算法的蘋果葉片病害準確識別方法精準度高、速度快,可有效解決蘋果葉片病害的識別。

大多數據集都在特殊條件或簡單背景下拍攝的,在田間環境下難以識別,針對此類問題,2018年Khan等[37]結合PlantVill和普渡大學的CASC IFW數據集,使用圖像增強與背景分割等方法,建立了VGG VD 16和Caffe AlexNet模型,該模型對蘋果和香蕉葉斑和果實病斑的準確率為98.6%。2021年黃林生等[38]提出一種多尺度卷積結構與注意力機制結合的農作物病害識別模型,該研究在殘差網絡的基礎上引入Inception模塊以提高特征的豐富度,還加入了注意力機制SE-Net,提高了重要特征的權重,降低了非重要特征的影響,提高了模型的提取能力和自身的魯棒性,使得田間環境中的平均識別精度達到95.62%。2021年何自芬等[39]針對蘋果葉部病害數據集因環境等各種因素造成的精度低和泛化能力差的問題,提出了一種新型的非對稱混洗卷積神經網絡ASNet,該研究通過在ResNeXt骨干網絡中添加scSE注意力機制來增強網絡提取特征,使用非對稱混洗卷積模塊來增強特征提取能力,提高了模型的分割精度和泛化能力,對實地采集的蘋果3種病害和健康葉片的平均分割精度為94.7%。2021年樊湘鵬等[40]提出了一種基于深度卷積神經網絡的玉米病害識別方法,該研究設計了具有5個卷積、4層池化和2個全連接層的卷積神經網絡結構,利用L2正則化和Dropout策略優化網絡,對復雜情況下玉米病害的識別精度為97.1%。

在營利性養老服務機構里，入住老年人不僅需要日常生活照顧、疾病診治、身體康復訓練，還需要健康咨詢、心理安慰、營養指導、臨終關懷等，因此需要有大量的專業人才來提供專業服務。但是目前廣西此類人才相當缺乏，具有養老護理職業資格證書的服務人員更少。目前廣西養老機構服務人員多數為40歲以上婦女，她們的文化程度普遍較低，沒有受過正規的專業護理培訓，提供的服務基本屬于簡單的日常照料和護理。

深度學習需要大量的數據用于訓練網絡模型,但是拍攝圖片制作數據集則需要花費大量的時間精力,而且通過學習不同領域、場景和尺度的目標特征可實現端到端的檢測[41-42]。還可以通過大量的訓練樣本學習提取圖像特征的能力,從而減少網絡模型訓練所需的樣本數。龍滿生等[43]研究發現使用深度特征網絡參數遷移可以獲得性能更好的模型。

2019年Solemane等[44]提出了一種基于遷移學習和特征提取的方法識別珍珠谷霉病,準確率為95.00%。2020年許景輝等[45]提出了一種基于遷移學習的卷積神經網絡玉米病害圖像識別模型,該研究在VGG-16模型的基礎上設計了全新的全連接層模塊,并將其在Image Net圖像數據集訓練好的卷積層遷移到模型中,對玉米健康葉、大斑病葉、銹病葉圖像的平均識別準確率為95.33%。2021年樊湘鵬等[33]引入遷移學習機制,提出了基于遷移學習和改進卷積神經網絡的病害檢測系統,該研究利用大型公開數據對VGG-16模型預訓練,保持前端13個層的參數和權重,快速準確的實現了對葡萄葉部病害的檢測。

3 機器學習和紅外熱成像技術相結合的作物早期病害檢測

3.1 基于機器學習的紅外熱圖像處理方法

紅外熱圖像有著分辨率差,對比度低和信息難以完整提取的缺點,后續特征提取的難度大,但隨著機器視覺的發展,現在圖像增強技術越來越多的結合機器學習技術,有研究者研究了CNN[33]和GAN[46],通過與可見光圖像融合、提出相對應的算法等方法來達到提高圖像的目標表征,增強場景理解的效果,可大批量的提取圖像特征,為之后的病害識別提供便利。尤其是對復雜背景下的紅外病害圖像的分辨率和靈敏度方面有著巨大的作用。例如圖像增強技術可根據人的主觀要求對圖像進行對比度、分辨率和信噪比的優化。也可采用不同的算法來進行特定的圖像處理,包括多算法結合[47-48]和單一算法優化[49]。有學者考慮采用單幀超分辨率技術來提高IRT圖像的分辨率。2016年Zhang等[50]提出了一種基于圖像偏差矯正和超分辨率CNN的系統方法,針對目標像素數量少,可最大顯得的獲取有效信息,以提高目標特征分辨率和優化目標識別輸入的基線質量在提出算法方面,蘇慶單等[51-54]通過提出相應的算法,解決了紅外熱圖像模糊、清晰度差等特點,實現了紅外熱圖像的增強。

除了簡單的提高紅外熱圖像的分辨率,還可以利用可見光和紅外熱圖像的互補性來融合二者的信息,實現圖像的超分辨率[55]。Liu等[56]將卵生神經網絡用于紅外和可見光圖像,直接去獲得融合的權重圖,實現了當前最高水平的視覺質量和客觀評價效果;張維林[57]將短波和長波紅外圖像的融合為核心,研究了匹配算法和融合圖像的目標檢測技術,此算法相較于其他算法在多種場景下具有更加穩定的表現。為增強紅外與可見光圖像融合的可視化效果,提出了一種GAN和ResNet相結合的方法,將兩種圖像的拼接作為信號發生器網絡的輸入,結果該方法明顯優于其他九種常見方法[57]。

機器學習處理紅外病害圖像可通過去噪增強等提取目標特征,還能通過特征信息來識別圖像,以減少環境和人為因素的干擾,進而精準區分病變區域。還可以促進農業監測自動化,新型圖像識別還可以解決復雜情況下的紅外熱圖像關于靈敏度和分類精度的問題。

3.2 基于機器學習的作物病害紅外熱圖像識別研究進展

近年來,深度學習和紅外熱成像結合的技術在光電儀器自動檢測[58]、醫學[59-61]、電力[62]、化工[63]、森林防火[64-68]等方面已經較為成熟,在農業方面大多應用于病害的高光譜圖像的檢測識別[69-70]和果實缺陷[71-72]和病變[73-75]的紅外熱圖像檢測中,在病害的紅外熱圖像檢測識別方面比較缺乏,將其應用到作物病害紅外熱圖像中,不僅有紅外熱成像技術對于病害的無損和早期檢測的優點,還可以和深度學習的快速識別、自主分類等優點結合起來,以實現對植物病害的早期快速檢測。

在果實檢測方面,2019年Farokhzad等[73]使用熱像儀和加熱箱獲取熱圖像,研究處于不同階段(感染后1～7天)的健康馬鈴薯塊莖和被茄花鐮刀菌污染的塊莖溫度,找到最佳熱成像條件,通過線性和二次判別分析方法提取并分類了一些溫度統計特征。結果表明,二次判別分析可以對不同時期的健康塊莖和污染塊莖進行分類,準確率高達98.5%。最終建立了一種基于主動熱成像的可靠,無損,快速的方法來檢測馬鈴薯塊莖中的真菌。

Kheiralipour等[74]使用熱成像、QDA和ANN(人工神經網絡)方法對開心果的真菌污染與黃曲霉進行分類。發現使用ANN和QDA方法區分健康開心果和受污染開心果的準確率分別為97.70%和99.00%。

Chelladurai等[75]研究了使用紅外熱成像系統識別儲存小麥中真菌感染的可行性。受灰曲霉群、黑曲霉和青霉屬感染的散裝小麥籽粒的熱圖像。并通過線性和二次判別分析(LDA和QDA)開發了四向和成對分類模型。成對的LDA和QDA分類模型對健康樣本的最大準確率分別為100%,對受感染樣本的準確率分別超過97%和96%。

在葉片病害方面,2015年Raza等[76]提出了圖5所示的一種將紅外熱圖像、可見光圖像數據與深度信息相結合開發的一個可用于遠程檢測感染番茄白粉病植物的機器學習系統。包括圖像匹配、深度估計、特征提取和分類。首先通過將紅外熱圖像與可見光圖像融合得到合成圖片并制作數據集,再將深度信息添加到數據集中,然后應用局部特征提取和全體特征提取的方法將提取到的特征輸入分類器,最后分類器根據所輸入的信息來檢測健康植物和患病植物,結果表明,將深度和熱信息加入到特征集中可以明顯提高早期識別病害的精度,還表明了此系統顯著提高了遠程影響再病害監測的應用。

圖5 病態植物檢測算法的方框圖

2017年Jafari等[77]利用可見光圖像和紅外熱圖像檢測感染白粉病和灰霉病的玫瑰花。并提出了如圖6所示的自動捕獲的熱圖像和可見光圖像使用設計方格表面進行預配準方法,訓練了兩個神經模糊分類器來區分健康植物和受感染植物,設計的神經模糊分類器的性能通過使用自動成像設置捕獲的熱圖像進行評估。可以在肉眼可見之前檢測出的感染白粉病和灰霉病的玫瑰的癥狀,在接種后的第二天達到了最佳正確估計率,為60%和80%。

圖6 熱圖像和可見圖像的配準過程

2019年朱文靜等[78]為提高圖像檢測能力,提出了一種基于紅外熱成像技術的快速檢測和分級方法。首先通過對整株小麥樣本在不同時期的紅外熱成像圖像的平均葉溫的計算,探明了病原體侵染時的溫度變化規律;然后使用直方圖均衡化和中值濾波等預處理方法提取出圖像中低于顯癥植株溫度閾值的區域,通過閾值分割,計算病斑面積和在總面積中的占比;最后,進行病情指數的相關分析,獲得相關系數為0.975 5,預測均方根誤差為9.79%,總識別正確率為90%。

近年來一些便攜式熱成像相機已經可以適配移動電話,促進了紅外熱成像技術的發展,2017年Lopez等[79]提出了一種適應自適應于手機的熱感相機來自動檢測運動性疲勞的方法。2017年Cho等[80]提出了一種基于低成本熱成像相機的深度學習模型,該模型可以根據人體的呼吸模式自動識別心理壓力水平,可以將安裝在智能手機上的攝像頭放置在距離人鼻孔區域55 cm的位置,提出了一種從紅外熱視頻的鼻孔ROI恢復一維呼吸信號的呼吸跟蹤算法,對兩級壓力和三級壓力的區分準確率分別為84.59%和56.52%。

研究表明,深度學習可以通過識別紅外熱圖像來進行病害檢測,還可以改進紅外熱圖像的缺點并提高病害識別速度和精度,但現階段應用于紅外熱圖像病害識別檢測研究較少且識別要求大、準確率低,想要提高網絡模型的性能,就必須使用大量的數據來訓練模型,現階段紅外圖像數據集種類少且公開的紅外圖像數據集的規模都較小。為解決以上問題,在未來可通過優化小樣本數據集下的網絡模型,提高模型的泛化能力和遷移能力來解決此類問題。

4 存在問題和研究展望

總結上述幾年紅外熱成像于機器學習相結合應用于病害識別領域的研究,發現尚處于起步階段,仍存在不少的問題。

1) 紅外熱圖像拍攝困難。紅外熱圖像易受光照、溫度、風吹等環境影響,在被測物體和環境的溫度之間的溫差很小時,無法準確地獲得所需的信息,還容易受到光照、風的影響導致溫度分布的變化。現在大多數圖片都是在可控且單一背景的環境下拍攝而成的,缺乏泛化性,且紅外熱圖像本身存在著靈敏度低和分辨率低等特性,難以保證拍攝的紅外熱圖像的質量,會引起紅外圖像的錯誤解讀

2) 訓練結果使用的數據量少,訓練的模型針對特定場景,缺乏泛化性。深度學習需要大量數據集,拍攝數據集往往有限,且公開的紅外熱成像數據集類型和數量均較少,難以滿足深度學習的要求。

3) 現階段算法識別準確率低且大多數基于紅外熱成像的機器視覺(IRMV)還處于實驗室測試階段,跟實際應用還有很大的差距。隨著人工智能的發展,算法的改進帶來了識別上巨大的優勢,現階段算法對于小樣本數據集的識別精度低,后續則需要對算法進行優化,減少冗余,提高精度。

針對以上存在的問題,本文提出以下建議,希望可為未來早期病害的識別提供方向。

1) 紅外熱圖像拍攝苦難。可通過在更改環境的溫度、濕度和光照等的條件來不斷進行采集,直至明確各種病害最佳的拍攝條件。

2) 針對紅外熱圖像噪聲大、分辨率低和靈敏度低的特點,可以應用圖像處理技術來進行圖像的優化,可將紅外熱圖像與可見光圖像和高光譜圖像結合,與紅外熱圖像互補以獲取更多的信息,還可進行作物病害的種類和程度的識別,還可以應用圖像處理技術來進行圖像的優化,增強圖像的細節和邊緣信息。

3) 深度學習需要大量的數據來進行模型的訓練,采集紅外熱圖像則會花費大量的時間,可將其和遷移學習相結合提高其泛化能力,使模型獲得結果,或通過優化小樣本數據集下的網絡模型等來提高模型對于病害識別的準確率。

4) 在實際應用階段,隨著計算能力和儀器適配性的不斷提高,可以通過跟無人機、機器人和嵌入式設備結合來解決實際應用問題。

5 結語

紅外熱成像技術已經成為作物病害早期監測的關鍵技術之一,在各個領域發展迅速并表現了各方面的優越性,在農業方面表現出了巨大的潛力,針對紅外熱成像自身低分辨率、低清晰度等的特征,網絡模型準確率低等問題,隨著深度學習等的不斷發展和對于作物病害更好的認知,可拍攝更高質量的紅外熱圖像并克服田間環境的影響,進而進行更早和更大規模的病害檢測,以減少施藥量,提高作物的品質,相信通過機器學習和紅外熱成像技術的不斷發展可以讓我國作物病害管控更加高效,在農業方面發揮更大的作用。