深度學習在植物表型研究中的應用現狀與展望

岑海燕，朱月明，孫大偉，翟 莉，萬 亮，麻志宏，劉子毅，何 勇

·綜合研究·

深度學習在植物表型研究中的應用現狀與展望

岑海燕，朱月明，孫大偉，翟 莉，萬 亮，麻志宏，劉子毅，何 勇

（1. 浙江大學生物系統工程與食品科學學院，杭州 310058；2. 農業農村部光譜檢測重點實驗室，杭州 310058；3. 浙江大學現代光學儀器國家重點實驗室，杭州 310027）

精確測量植物表型是深入分析表型-基因-環境互作關系，了解植物生理過程的前提和基礎，也是培育良種和提升現代農業生產精準管控的關鍵。伴隨高通量植物表型測量與分析技術的不斷發展，以深度學習為代表的人工智能方法在植物表型研究與應用中取得了一系列重要進展。為系統闡述相關研究最新成果和熱點問題，該研究首先概述了植物表型與深度學習方法的背景；隨后從植物識別與分類、脅迫分析、產量預測、面向精準育種和精準管理的表型分析等方面綜述了深度學習在植物表型交叉研究的進展；最后提出了未來深度學習和植物表型交叉融合研究與應用中亟需解決的問題，并展望了植物表型研究智能化的發展前景。

植物；表型；管理；深度學習；識別與分類；作物育種

0 引 言

植物表型研究目標是通過獲取高質、海量的性狀特征數據來量化分析基因型和環境因子的互作效應（genotype-by-environment interactions）及其對作物產量、品質、抗逆能力等生產指標的影響[1]，是精準設計育種和作物生產精準管理的重要技術支撐。當前，植物表型測量技術在高精度和高通量的需求引領下快速發展，表型數據急劇增長，面向智慧農業的植物表型研究具有多學科交叉、組學關系耦合、多尺度協同、多傳感器融合和多源數據協同處理等特點。

伴隨深度學習與大數據技術的快速發展，基于大數據和人工智能的植物表型交叉融合研究開啟了植物表型智能化研究時代，本研究在概述主流深度學習方法的基礎上，對近年來深度學習在植物表型研究的應用場景進行了總結、對比和梳理，以期為相關研究人員提供參考。

1 深度學習簡介

人類之所以擁有智能，是因為人類擁有數量龐大的神經元以特殊方式互相連接和工作，而深度學習方法正是模仿了類似的構架，通過對大量數據的特征學習總結出數據特征中的高級抽象規律，以服務不同領域的應用需求[2]。經過多年發展，深度學習領域提出了一系列算法模型。

1.1 深度學習主流算法

總體來講，目前已經在植物表型分析中應用的深度學習網絡結構主要包括：卷積神經網絡（Convolutional Neural Network，CNN）、受限玻爾茲曼機（Restricted Boltzmann Machines，RBM）、自動編碼器（Auto Encoder，AE）、稀疏編碼（Sparse Coding，SC）和循環神經網絡（Recurrent Neural Network，RNN）等，本研究重點對以上幾種廣泛使用的算法進行介紹。

1.1.1 卷積神經網絡

卷積神經網絡（CNN）是最常見的深度學習方法之一。自20世紀80年代后期以來，CNN已應用于視覺識別與分類任務，特別是LeCun等[3]在1998年提出了LeNet-5，基于CNN的相關研究隨即成為研究熱點，伴隨圖形處理器（Graphical Processing Unit，GPU）計算能力的發展和大量標記數據集的出現，CNN在算法和架構上不斷改進，在各個應用場景取得了突破。

圖像分類是計算機視覺中的基本問題，通常使用特征提取和分類器判別的技術架構來解決圖像的分類問題。傳統圖像分類方法的準確性在很大程度上取決于所提取的特征，往往存在特征設計困難、面向復雜任務具有局限性、特征間的層次關系設計困難進而導致算法的泛化性能較弱等弊端。近年來的研究表明，隨著數據獲取方式的簡化和大數據集的出現，在GPU等芯片技術的快速發展，深度學習可以有效解決上述瓶頸問題[4]。2012年，Krizhevsky等[5]使用擴展了深度的CNN架構在ImageNet[6]大規模視覺識別挑戰競賽中取得了最佳的分類效果，隨即CNN受到研究者們的重視，一系列網絡模型的提出進一步推動了CNN的深入研究與廣泛應用。目前，CNN已經成為大多數圖像識別、分類和檢測任務的領先架構[7]，越來越多的網絡架構也相繼問世，包括Alex Net[5]、Clarifai[8]、SPP[9]、VGG[10]、GoogleNet[11]、FCN[12]、U-Net[13]等。同時，梯度下降、參數優化策略、權重共享以及近年來神經網絡架構優化（Neural Architecture Optimization，NAO）[14]和元學習（meta-learning）[15]等理論的迅速發展，使得CNN在復雜應用場景中的優勢更加明顯。新型的CNN神經網絡架構表現出以多個網絡或多種網絡級聯組合應用的新態勢，神經網絡形態的快速進化為紛繁復雜的科研領域提供了智能高效的數據分析手段。

1.1.2 受限玻爾茲曼機

受限玻爾茲曼機（RBM）是由Hinton和Sejnowski[16]在1986年提出的神經網絡模型，具備兩層結構、層間全連接和層內無連接的特點，適用于有效地提取數據特征以及預訓練傳統的前饋神經網絡，可明顯提高網絡的判別能力。其可見層所描述的是觀察數據一個方面或一個特征，約束條件是可見單元和隱藏單元必須構成二分圖。這種機制可用于組建更加有效的訓練算法，特別是基于梯度的對比發散算法。用RBM可以組成以下深層模型：深度置信網絡（Deep Belief Network，DBN）[17]、深度玻爾茲曼機（Deep Boltzmann Machines，DBM）[18]和深能模型（Deep Energy Models，DEM）[19]，適用于特征提取、數據編碼、構建用于監督學習的分類或回歸學習模型，以及初始化神經網絡等場景。

1.1.3 自動編碼器

自動編碼器是一種特殊類型的人工神經網絡，用于從數據中學習有效的特征。最初也是由Hinton[20]在2006年提出。自動編碼器的幾個重要變體包括：稀疏自動編碼器（Sparse Auto Encoder，SAE）、去噪自動編碼器（Denoising Auto Encoder，DAE）和收縮自動編碼器（Contractive Auto Encoder，CAE）。在圖像處理領域，原始圖像像素值作為初級特征表達通常維度很高，且大多情況下存在數據冗余，因此需要采用合適的方法對圖像數據進行降維或特征提取等預處理，進而得到更加簡潔而有效的特征表達，以提高數據分析效率和精度，自動編碼器多用于高維數據的降維處理和特征提取。

1.1.4 稀疏編碼

稀疏編碼（Sparse Coding，SC）最早由Olshausen 和Field于1996年提出[21]，用于解釋大腦中的初期視覺處理（比如邊緣檢測）。稀疏編碼通過訓練和學習來構建對輸入數據的描述函數，通過訓練來找到一組“超完備基向量（an over-complete set of basis vectors）”來表示輸入數據的算法，超完備基向量能更有效地找出隱含在輸入數據內部的結構與模式來重構原數據[22]。稀疏編碼的優點主要體現在：1）可以使用高維特征，對不同類別的特征更加易于分類；2）稀疏性可以捕獲圖像的顯著特性；3）具備與生物視覺系統類似的認知方式。稀疏編碼算法被廣泛應用于語音信號分離、視覺圖像處理、生物DNA（DeoxyriboNucleic Acid）微陣列數據分類和模式識別等領域。

1.1.5 循環神經網絡

循環神經網絡（Recurrent Neural Network，RNN）是一類用于處理序列數據的神經網絡，與“人的認知是基于過往的經驗和記憶”類似，通過使用特定形式的存儲器來模擬基于時間的動態變化，RNN不僅能考慮當前的輸入，而且賦予了網絡對前序內容的一種“記憶”功能。這種網絡結構能夠直接地反映系統動態變化過程中的高度非線性和不確定性，因此適用于對時序數據規律的學習與未來變化趨勢的預測，但該方法存在梯度消失與梯度爆炸問題[23]。1997年，Hochreiter 和Schmidhuber[24]提出了長短期記憶（Long Short-Term Memory，LSTM）網絡，成功解決了這一問題。LSTM可以保持前序信息的長期存儲，在語音識別、信息檢索、文本分類等應用中被廣泛使用，現已成為實際應用中最有效的序列模型。

1.2 不同算法的特點

為了系統地介紹深度學習核心算法的優缺點，本研究對以上幾種常見的深度學習算法進行了對比。表1所列出的5種常見的深度學習算法均具備一定的泛化能力，CNN和SC支持數據增強，可通過對訓練數據進行旋轉等處理來減少一定數據采集和標記的工作量。在無監督學習、特征學習和支持生物學解釋方面，各算法表現各異。不同類型的深度學習算法表現出各自不同的特點，在實際應用場景中，研究人員需要根據特定科學問題及應用場景，選擇合適的算法來構建相關模型。

表1 不同深度學習算法的特點

注：+表示對屬性的支持，++表示對屬性很好的支持，-表示對屬性不支持。

Note: + means the normal capability of the property, ++ means the effectively capability of the property, - means the disability of the property.

理論上，深度學習算法是通過海量數據來解決復雜問題的機器學習方法，通常在海量數據的支持下，深度學習方法的潛力才被充分釋放和發揮出來，在數據量相對較小情況下，普通的機器學習方法即可滿足數據建模與預測的應用需求，因而在具體應用中通常需要根據特定研究目標的數據量與應用需求來選取合適的算法。

就目前已經發表的相關研究來看，圖像仍然是植物表型研究的主要數據格式，基于深度學習的植物表型圖像處理與應用當前正呈現出快速增長的趨勢，憑借強大的特征提取和建模能力，深度學習為數據分析的特征表達能力不足和維數災難等問題給出全新的解決思路，特別是卷積神經網絡（CNN）[25]，其性能在很大程度上超越了傳統的機器學習方法，成為表型大數據分析的常用算法。本研究主要圍繞CNN及其與其他算法融合的網絡架構在作物形態結構鑒別與分類、脅迫判別與預警、精準育種與精準生產管理、產量測定與預測等方面的代表性研究與進展進行討論。

2 深度學習在植物表型研究中的具體應用

2.1 基于植物形態特征的表型鑒別與分類

植物的形態結構在農業生產和研究中有著重要的生物學意義，是對植物進行科學研究的重要特征，借助機器視覺技術、圖像分割和深度學習等技術來準確地對植物的重要特征進行采集和分析是育種和生產過程管理的重要技術手段，植物表型研究中的圖像分析主要涉及到對作物形態結構的鑒別與監測[26]。

傳統的植物識別與分類方法多依賴于專家經驗來分析植物的外觀形狀、紋理、顏色等形態特征表型，具有主觀性且準確性不高。在育種工作中，育種學家通常需要精確測量大量的表型數據來篩選優良性狀[27]；在農業生產實踐中，對作物不同物候期的特定形態結構的有效識別與監測進而實現對作物全生長周期長勢監控與水肥智能化調控，并提高智慧農業生產管控與智能化管理水平，都需要更加強大的表型數據分析方法[28]。

借助深度學習在特征提取上的優勢，一系列人工智能算法在植物特定形態結構的分類與識別應用上表現出較高精度與穩健性，為植物表型的智能化識別提供了穩健的解決方案。在表2中列舉了深度學習算法在基于植物表型研究中具有代表性的一些最新工作。總體來看，大多數表型數據以圖像數據為主，通過深度學習算法進行表型特征提取進而完成表型鑒別。所列的研究工作涉及組織-器官-植株不同尺度的表型分析，數據類型來自實驗室數據集和開放數據集兩大類，研究目標涵蓋了多種作物及其不同生長階段的識別分類，研究層面囊括了不同基因型的表型差異分類與鑒別。

在不同種質資源識別研究中，相關研究的主要目標在于如何提高對作物本身或作物特定表型的識別率以及算法的泛化能力，近年來各主流深度學習算法均有研究成果發表，特別是CNN網絡架構，應用層面與普適性得到了極大的拓展。在深度學習理論與方法發展早期，研究人員嘗試使用多種方法來解決特定情景下的表型分類與識別問題，但受限于方法本身的局限性，早期的解決方案中需要對圖像數據進行不同程度的預處理，如二值化、圖像分割等，然后將紋理特征和形態特征的組合再進行特征提取與分類判別，雖取得了較好的分類結果（如Liu和Kan[30]、Zhu等[32]），但是方法本身需要多個數據處理環節，可移植性與穩健性有限。

隨著CNN網絡架構的不斷演變與發展，其本身對圖像特征的抽象學習能力得到了充分釋放，因而在基于圖像的表型相關研究中取得了一系列進展，并表現出較其他深度學習方法更普適的解析能力。Grinblat等[31]采用葉脈紋理特征通過深度學習算法將豆科作物不同品種的識別率提高到96.9%±0.2%，較Larese等[39]提出的算法提高了1.8%。

表2 基于作物形態結構的分類與識別舉例

在基于植物圖像的表型識別方面，Liu和Kan[30]通過改進的深度置信網絡和多特征融合的葉片識別研究，將220種不同植物的葉片分類精度提高到93.9%；2017年，Zhu等[32]基于多通道稀疏編碼特征提取方法，對圖像進行了尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）后，再進行多通道稀疏編碼獲得了近100%的分類效果。Taghavi等[33]通過卷積神經網絡與長短記憶網絡的耦合算法（Convolutional Neural Network Combined Long Short-Term Memory Network，CNN-LSTM），對不同品種的擬南芥頂部視角照片組成的數據集進行了識別與分類，成功地將擬南芥的識別與分類工作提高到93%，較卷積神經網絡與條件隨機融合（Convolutional Neural Network Combined Conditional Random Fields，CNN-CRFs）算法87.6%的平均識別率提高了5.4%。Liu等[34]利用卷積神經網絡融合循環神經網絡的算法架構（Convolutional Neural Network Combined Recurrent Neural Network，CNN-RNN）以觀察者視角的圖像數據對植物進行了識別，以作物各部分結構或器官以順序方式對植物圖像進行建模，探索并實現了通過多個局部特征來提高整體表型識別率的可行性。夏威夷大學馬諾阿分校Krause等[35]利用卷積神經網絡通過多器官形態特征構建了用于在自然圖像中精準識別植物的系統WTPlant（What's that plant?）（圖1），依據植物分類學體系，該系統可對夏威夷大學馬諾阿分校中的100種不同植物進行識別。在微觀層面的作物表型識別與計數應用上，不少研究聚焦在作物生長生產過程中密切相關的微觀生理結構分析上，以此來評價作物生理學運行機制。葉片是植物進行光合作用的場所，氣孔是植物與外界環境進行氣體與水分交換的重要結構，葉片氣孔的大小與密度直接影響葉片與外部環境間的氣體交換量，進而影響植物的光合作用、呼吸作用與蒸騰作用[40]。此外，氣孔對植物生境的變化具有較強的敏感性，其形狀、密度、大小等特征隨溫度、光照、CO2濃度以及降水等環境因子的改變而發生變化，因此大多采用植物葉片氣孔參數（密度、大小、導度）來反應植物體對環境變化的響應，對氣孔進行表型識別與評估有助于理解作物對環境變化的響應機制。在對氣孔數量表型的研究中，如何對單位面積上的氣孔進行準確識別與計數需要借助全新的研究手段，在完全自動化的氣孔計數方法出現之前，研究人員只能依靠人工操作來完成計數，適用于少量研究樣本的研究，易受主觀影響引起誤差。Fetter等[36]提出了一種使用深卷積神經網絡的自動氣孔計數系統StomataCounter（圖2），來識別和統計顯微圖像中的氣孔。結果表明該神經網絡對銀杏顯微照片的識別準確率達到98.1%，模型在未經訓練的其他作物氣孔圖像應用識別精度達到了94.2%，提供了針對作物微觀表型智能化研究范例。

注：引自Krause等[35]。MIT圖像情景解析器是堆疊卷積結構的圖像分割功能模塊。

注：引自Fetter等[36]。DCNN為深度卷積神經網絡，SGD為隨機梯度下降。

在基于圖像視覺特征的農田雜草種子分類與識別研究方面，Wang和Cai[29]構建了深度學習網絡PCANet，相比之前類似研究中對圖像特征提取過程存在的噪聲較大和有效特征丟失的問題，該網絡表現出對噪聲更好的抑制能力和對重要特征的更有效抓取能力，在對91種雜草種子圖像的平均識別率也達到了90.96%，對其中的45種雜草識別率達到100%，為精細農業生產中的雜草鑒別提供了可借鑒方法。

總體來看，在深度學習算法與植物表型識別分類的應用場景中，深度算法在特征選取的優勢表現的尤為明顯，表現出很好的穩健性。在以上列舉的代表性工作中，CNN網絡架構對植物表型特征的提取能力較之前發表的特征提取方法表現出相當的優勢，而且不需要對特征進行設計就可以實現對圖像特征的提取。從植物表型分類的維度上來看，可概括為不同植物品種特定表型的分類以及融合多表型特征的分類。隨著表型鑒別難度的增加，研究人員除通過選取合適的算法外，還對作物不同組織器官特征進行預提取，或根據不同器官組織特征分別進行特征提取等方法來解決實際表型分類問題。近期，研究人員嘗試用傳統特征提取與CNN特征提取相融合解決對作物表型特征的識別與分類（如Wang和Cai[29]），取得了比傳統方法更好的效果。對比常見的研究視角，CNN在植物微觀表型分類與識別上同樣表現出適用性，CNN對不同尺度層面的表型研究均適用。

此外，結合深度學習各種算法發展的時間脈絡分析可以看出（表2），在CNN網絡發展初期，其他深度學習算法（如DBN、SC等）需要借助之前發表的傳統特征提取方法（如SIFT），先對特定特征進行提取，然后通過進一步的特征提取來達到分類效果，同時需要借助傳統的分類器（如SVM）來達到表型識別與分類效果。相關文獻顯示，自2017年以來，隨著CNN算法架構的發展與特征提取能力的逐漸提高，CNN已成為圖像特征提取與分類的主流算法，且隨之出現了針對特定研究目標的優化方案，諸如Taghavi等[33]和Liu等[34]通過多種深度學習方法的融合，進一步提升了特定情景下植物表型鑒別的精度。較新的研究顯示，除了通過深度學習方法的創新外，還可以通過多個表型特征的融合來改善分類識別精度，如Rzanny等[37]基于CNN最新網絡架構，結合了花的側視圖和花的頂視圖等多器官特征，極大地改善了最新CNN網絡架構的分類結果。Nguyen等[38]利用CNN及遷移學習能力通過靈活的數據收集方式構建了適應植物在不同地區分布不均的普適型作物識別系統，并評價了AlexNet（該網絡是2012年ImageNet競賽冠軍獲得者Alex Krizhevsky設計的，并由此命名）[5]、VGG（系列架構由牛津大學視覺幾何小組 Visual Geometry Group提出，名稱來自該研究小組名稱縮寫）[41]和研究人員構建的CNN算法架構在作物不同器官特征下的分類識別效果，結果顯示，所設計的算法架構與遷移學習的結合可以提取到比之前發表的特征提取算法更加豐富可靠的特征，為未來深度學習數據收集與算法設計提供了借鑒。

2.2 深度學習在植物脅迫分析中的應用

植物的生長受到多種環境因素的影響，其生長生產過程中需要應對多種生物脅迫和非生物脅迫的考驗。總體來講，農業生產受到不同程度自然災害的影響，嚴重的高溫、低溫、干旱、洪澇、蟲害、病害等自然災害一旦發生，往往對農業生產造成不可逆轉的損失[42]。從全球范圍來看，非生物脅迫因素中的干旱與生物脅迫中的病蟲害是影響世界糧食產量的兩大主要因素。在作物受到脅迫且未形成不可恢復損傷之前通過對受脅迫部位的精準識別來定性脅迫種類，判定脅迫程度，為有效啟動植保作業贏得寶貴時機是智慧農業植保工作的目標。

在生物脅迫方面，蟲害和病害是造成作物減產的主要因素。世界范圍內的林木、果蔬、觀賞和藥用植物以及主糧生產作物等都可能受到不同程度、不同類型的蟲害病害侵襲，對相關產業產值收益造成重大損失。在植物脅迫表型識別與定性定量的系列研究中，眾多文獻對不同植物在相應典型生物脅迫下的表型性狀進行了分類與識別、定性與定量的相關研究工作，表3列舉了部分代表性文獻，涉及到大豆、香蕉、玉米和油菜等作物的典型生物脅迫的識別與鑒定，算法以卷積神經網絡為主，通過數碼圖像對作物的病害種類進行了鑒定，對病害程度進行了定性與定量分析。

在實際大田生產中的生物脅迫研究中，DeChant等[43]就玉米的真菌性病害葉枯病（Northern Leaf Blight，NLB）葉片圖像進行了識別、定性及定量分析，NLB病原為，是子囊菌的一種，感染該病的玉米葉片會呈現出綠灰色壞死病斑，未及時處理會影響植株生理健康進而引起減產。研究結果顯示，通過CNN算法對控制變量情景下的玉米病害識別與分類精度較之前 Mohanty等[49]發表的結果有大幅提高，在對作物葉片是否染病的判別分類結果達到99%以上的高精度，而在對作物品種與病害類型同時進行分類與識別準確度一舉提高了23%，該模型可在低空遙感和田間生產服務的作物高通量表型的快速獲取與研究中發揮作用。Ferentinos[45]采用開放數據集對作物病害的識別診斷給出了解決方案，采用不同的深度學習方法對包含25種作物的58種病害圖像數據進行了分類鑒定，識別分類結果精度可達99.53%。He等[46]通過在互聯網和田間兩種途徑收集的包含12種典型油菜病蟲害數據集就油菜病蟲害的識別分類進行了研究（圖3），所構建的模型將油菜蟲害分類識別的平均精度提高到了77.14%，由此集成的手機應用程序表現出良好的環境適應性、響應速度和準確性，并且具有成本低廉和操作簡單的優點，適合于無人機和物聯網（Internet of Things，IoT）的有害生物監視任務。

表3 深度學習在植物生物脅迫分析中的應用舉例

脅迫研究的目標是盡早發現脅迫癥狀而采取相應的應對方案，因此對作物在受到脅迫后未顯癥或早期顯癥時進行圖像數據采集需要把握恰當的時機，對圖像的標記需要專家經驗的支持，構建高質量的作物脅迫數據集需要專業人員付出相當的精力。值得研究人員注意的是，近年來CNN深度學習模型對非生物脅迫表型的識別表現出對脅迫種類的無關性，不少研究已經表明對非生物脅迫的定性可以考慮采用遷移學習或改進現有的網絡架構（Kamal等[47-48]）在減少網絡參數，縮短訓練時間的同時不影響模型的預測能力，特別是以VGG、Inception v3、ResNet、DenseNet和SENet等成熟應用的網絡架構，在適應性和可遷移性方面都有穩定的表現。

在非生物脅迫方面，溫室效應導致全球變暖日益加劇，不同程度的自然災害時有發生，嚴重威脅到農林牧業的穩定生產和自然生態環境安全。表4列舉了近年來深度學習在植物非生物脅迫分析中的一些代表性工作，研究對象多聚集在主糧作物和經濟作物。

注：引自He等[46]。白色方框中為算法對害蟲的識別。

表4 深度學習在植物非生物脅迫分析中的應用舉例

干旱作為影響主要經濟作物生產的關鍵影響因素之一，每年都會在全球范圍內造成巨大的經濟損失。通過培育對非生物脅迫具有更強抗性的優良品種等[55]手段是實現在干旱和半干旱地區提高作物產量的可行技術路線。在通過對抗旱基因型-表型的篩選來培育抗旱品種的相關研究中，Sun等[53]利用葉綠素熒光成像動態監測鹽分過度敏感（Salt Overly Sensitive，SOS）突變體在干旱條件下的時間序列響應（圖4），并提取擬南芥SOS突變體在干旱脅迫下的熒光指紋圖譜。通過深度學習算法 SAE 神經網絡提取時間序列葉綠素熒光特征，然后將其用于對SOS11、SOS23和Col 0三個基因型的擬南芥葉綠素熒光指紋圖譜的識別，準確度可達95%。該項研究的結果為了解干旱基因在SOS通路中的功能提供了一種有效的觀測手段，同時也為提高作物抗性育種效率提供了新思路。

注：引自Sun等[53]。ChIF為葉綠素熒光，PCA為主成分分析，SFS為序列前向選擇，LDA為線性判別分析，KNN為K最鄰近算法，NB為樸素貝葉斯，SVM為支持向量機。

Ghosal等[52]通過25 000幅大豆葉片生理脅迫損傷和營養缺乏癥（如除草劑脅迫損傷、缺鉀等）圖像對大豆非生物脅迫下的癥狀進行了深度學習分類鑒別（圖5），所訓練的模型對于輸入圖像擾動具有穩健性。訓練后的模型可以部署在移動平臺（如無人駕駛飛機和自動地面偵察機）中，可實現快速，大規模的大豆植保偵察，也可以部署成移動應用程序來實時檢測大豆的非生物脅迫類別。

注：引自Ghosal等[52]。

快速預測作物水分含量是實現作物水分供應智能管控的前提。溫度，濕度，日照量和植物繁殖力等因素均可能影響植物的生理過程而形成水分脅迫。Kaneda等[51]提出了一種使用多模式新型植物水分脅迫預測方法（圖 6），所提出的基于滑窗的支持向量機回歸（Sliding Window-Based Support Vector Regression，SW-SVR）算法用于監測不同時期植物在水分脅迫下的生理變化，對比研究結果表明所提出的模型在植物水分脅迫預測上更勝一籌。

注：引自Kaneda等[51]。白色方框展示了算法對植株受水分脅迫后形態變化的識別效果，對照正常情況圖6a，相同高度h1和h2下，圖6b中的植物在相應位置的組織受水分脅迫出現了萎蔫現象。

凍害是造成作物生產重大損失且不可逆轉的災害之一。無損光譜圖像是對作物內部生理結構變化進行有效分析的一種技術，通過光譜差異可以反映植物生長發育過程中生理結構、生理參數的變化，并已廣泛用于高通量表型育種篩選。Yang等[54]使用卷積神經網絡（CNN）模型根據多個基因型玉米在可見-近紅外范圍內光譜特征對玉米凍害進行的判別效果與化學值判別結果表現出較好的相關性。

玉米產業是很多國家的支柱產業，玉米生長過程中的氮素供應直接影響玉米的產量，因此盡早發現其氮素利用狀況以便及時調整氮素供給以最大程度地保證玉米產量是生產中的客觀需求。Condori等[50]通過預訓練CNN模型，提出了一種簡單的遷移學習方法，從已經訓練好的CNN網絡中來學習到玉米氮素缺乏診斷函數，并將其結果與傳統紋理方法對氮素缺乏的識別效果進行了比較。在包含不同生長階段和不同水平的氮肥水平的玉米葉片數字化圖像數據上的測試結果表明，基于深度學習的描述比傳統的紋理方法效果更佳。

總之，人工智能算法與作物脅迫的融合為相關研究提供了特定情景下優選的解決方案，然而，相關研究仍需要解決以下幾個矛盾。其一，對網絡架構的設計規模與訓練代價方面的權衡，還需要考慮所要解決問題的復雜程度和神經網絡需要學習的特征豐度來設計或選用特定的神經網絡架構，也可以在現有工作的基礎上，為類似的問題通過遷移學習的辦法來實現更加快速的參數調整進而得到需要的解決方案。其二，對脅迫癥狀的有效識別需要考慮癥狀類別數、訓練集和測試集中圖像之間的特征相似性以及圖像背景特征及其多變性。顯然，脅迫類別數越多，模型對脅迫判別的準確度越低。而深度學習模型只能學習到訓練集中的特征，如果訓練集與測試集中的圖像特征相關較小，勢必會影響到模型的準確性，因此，大數據集有助于提高模型對脅迫判定的準確度，同時，特定試驗模型在實際生產中的應用仍需要大量引入實際數據或從實際數據集構建識別模型。而圖像拍攝條件也會對模型泛化能力造成一定影響，不同的背景可能對模型預測結果產生相當的影響，特別是在真實生產環境中采集的數據集，而實驗室數據通常是在相對統一的拍攝條件下得到的數據集，這也成為影響模型預測準確性的重要因素，因此，研究人員可以盡可能包括實際生產環境中的多種背景來構建更加穩健的智能診斷模型。其三，如何通過相關智能算法對脅迫后未顯癥或隱現癥狀進行有效識別。文獻查閱顯示，目前深度學習對常見作物的生物及非生物脅迫通常僅僅局限在常見癥狀的典型癥狀數據進行識別與量化，而如何通過多源傳感器數據在作物脅迫后未顯癥或脅迫癥狀隱現階段進行有效識別的研究尚不多見，相關研究也是智慧農業生產管控的重要技術支撐之一，是本領域的重點與難點，尚有不少問題需要解決，以光譜成像等傳感數據與深度學習方法來對作物脅迫進行深入分析為例，面臨的問題有高維數據冗余、數據采集費時耗力，缺少成熟的面向光譜圖像訓練的深度學習模型等，需要開展多學科交叉融合與深度合作。

2.3 深度學習在作物產量預測方面的應用

在深度學習算法還未取得重大突破之前，關于作物生產過程的產量預測建立在果實目標有效識別的前提上，在不同物候期對作物進行產量評估多依賴經驗，缺乏科學依據，特別是對作物果實目標的有效識別往往受制于不同生長期果實性狀的動態變化性，包括果實顏色、形狀、紋理、空間位置和大小等。此外，對不同成熟期的果實識別多依賴于閾值選取范圍，且特定算法通常只能對特定生長期的果實進行識別，一定程度上，對于外觀尚小的、成長期不一致的情況，增大了產量預測誤差。

計算機視覺結合深度學習算法通過對顏色、幾何形狀、紋理以及多種表型耦合特征的提取和分類，極大地提升了產量預測的準確度。在產量測定和預測方面，深度學習算法在各種主糧作物以及經濟作物產量評估中兼有研究成果，大致可分為以下3種應用場景：基于果實識別與計數的經濟類作物產量預測，基于無人機低空遙感的田間作物產量預測以及基于多尺度、多源數據、多因素復合的多維度產量預測。深度學習在作物產量方面的應用舉例表5列舉了近年來深度學習在作物生產方面的典型應用，其中，CNN類算法被廣泛用于基于果實識別與計數的經濟類作物產量預測，而LSTM則被用于時序產量的多因素、多維度預測。Rahnemoonfar和Sheppard[56]通過24 000張合成的照片，在Nvidia 980Ti GPU的硬件支持下，借助谷歌（Google）深度學習框架（Tensorflow）完成了模型訓練，并通過2 400張合成照片和100張Google隨機搜索到的成熟番茄照片對模型進行了驗證，結果表明，對隨機搜索圖片表現出91%的準確率，算法在應對葉片莖部陰影、遮擋或果實部分重疊情況下依然表現出穩定的性能，可以推廣到果實特征相仿的其它水果產量預測中，但該研究并未對綠熟期和轉熟期的果實識別與計數進行研究。

表5 深度學習在作物產量方面的應用舉例

在尋求提高作物產量的過程中，往往需要對大量種群樣本進行產量相關的表型數據分析與評估[61]。通常的做法是通過品種、建園、整形、施肥、防病及植物生長調節劑的綜合應用來提出改進品質、提高產量的經驗途徑和方法，評估過程多依賴于專家經驗[62]。此外，在作物產量的評估研究中，不同類型的作物對產量的評估通常需要有針對性的方法，當前大多情況下的作物的產量表型數據主要是通過人工進行測量，效率低且可靠性差。最近的一些研究中，有研究人員通過生產管控數據科學地完成這些工作是近年來深度學習融合表型數據探索的方向，產出了一系列研究成果。

在漿果類作物產量評估研究方面所構建的模型需要滿足現場實時使用的需求，一方面，在實驗室條件下，以簇為單位估計漿果數依賴于圖像分析技術[63]，考慮到作物實際生產環境下的各種生長形態以及實驗室或現場條件下表型信息采集速度與基因分型速度的不一致，漿果計數的研究遇到了瓶頸[64]。因此，不少學者近年來提出了在真實不受控條件下的產量預測的圖像分析算法。Aquino等[57]提出了一款智能手機應用程序（圖7），通過人工智能算法提出了漿果實時計數方案，利用計算機視覺在不同物候期對葡萄果粒數量進行了估測，最高精度可達95%，借助該應用，葡萄種植者可以簡單高效地獲取葡萄的表型信息，也為相關研究者快速獲取和評價漿果類作物表型信息提供了一種借鑒。

大田作物的生長過程監控和產量評估是保障糧食安全的基礎，近年來，遙感信息與作物生長模型的耦合應用被用來解決作物長勢監測和產量預測等一系列農業問題，越來越受到相關研究人員的關注，遙感數據與作物生長模型的主流方法有強迫法和同化法[65]。然而這些方法的處理模型（作物生長和輻射傳遞）處理過程相對復雜，耦合過程數據處理存在積累誤差，此外，驅動模型運行的各種初始數據、遙感反演作物參數以及同化算法的不完備性，相關方法還存在技術瓶頸，無法在實際中應用[66]。東京大學的Kuwata和Shibasaki[67]提出了利用氣候數據和其他環境數據結合深度學習方法來估算作物產量的新思路。該方法使用快速特征嵌入的深度學習架構對美國伊利諾伊州（State of Illinois）的玉米產量進行了預測，取得了0.81的相關性系數，均方根誤差（Root Mean Square Error，RMSE）為6.298，表明深度學習在大尺度估測作物產量的可能性。相比作物生長模型需要預先確定嚴格的輸入數據，其應用范圍和使用場景非常有限，而深度學習方法提高了作物產量特征提取的穩定性，由此為進一步提升產量預測的精度提供了可能。因此，即使在數據獲取有限的地區，深度學習在估算作物產量的表現也比之前的方法表現出優勢。Aich等[58]建立了3個深度學習模型，分別就航拍小麥大田圖像進行作物部分圖像切割、作物植株計數和生物量預測。結果顯示，論文所做的工作較之前發表論文中的田野植株生物量估計、植株計數和葉片計數模型都表現出更高的準確率。

注：引自Aquino等[57]。

此外，Jiang等[59]以美國縣級玉米生產帶2006—2017年共7 232條觀測數據借助LSTM算法對玉米產量預測進行了研究，數據集包括玉米生產的5個生長期的降水、積溫、高溫積溫和植被指數及產量數據，憑借LSTM算法在時序依賴、信息選擇性傳遞和非線性擬合等優勢（圖 8），結果表明該模型較嶺回歸和隨機森林模型明顯提升了玉米估產的精度和魯棒性。該研究工作為探究氣候變化下的作物生長監測提供了一種多源數據驅動的研究方法。此外，Sun等[60]為縣級尺度下大豆產量預測提出了一個深層卷積-長短記憶網絡（CNN-LSTM）模型，模型通過對天氣數據，中等分辨率成像光譜儀（Moderate Resolution Imaging Spectroradiometer，MODIS）測得的地表溫度和地面反射率作為輸入數據，以大豆歷史產量數據為標簽，基于Google Earth Engine，將數據合并轉換為基于直方圖的張量以進行了模型訓練，結果顯示，模型的結果均優于單純使用CNN或LSTM模型。

圖8 基于物候的長期短期記憶（LSTM）模型的結構

Fig.8 Structure of the phenology-based Long Short-Term Memory (LSTM) model

在高通量產量性狀監測方面，計算機視覺和人工智能是主要的技術路線，與傳統的人工方法相比，人工智能的引入可以有效提高估測效率和通量，在模型穩健性和效率上也明顯勝出。

在基于作物重要組織或器官的目標識別進行的產量預測方面，不少研究在現有的網絡架構上進行了改進或調整來達到對產量的預測，通常并不需要為實現多類別多目標識別計數的網絡深度，因此研究人員需要根據自己的研究情景來構建或調整成熟的網絡來實現相應的研究目標。近年來針對目標檢測的框架可分為基于候選框（anchor-based）類和不依賴候選框（anchor-free）兩類，前者又可分為基于邊框回歸的一步判別法和首先生成候選框再進行目標判別的二步法。概括來講，一步法檢測速度較二步法快一些，但是二步法可為多重特征分類識別提供更高的識別準確率。此類算法在基于植物形態特征的表型鑒別與分類中已有大量應用采用該類算法架構，該類算法在基于果實表型識別與計數基礎上的產量預測較多種表型鑒別分類而言，需要鑒定的類別在特征層面上由相似特征鑒定轉變為特定表型精準識別，應用情景略有差異，但是后者算法的相關研究將在實際生產應用中表現出更大的潛力。此外，對基于作物的歷史產量數據，兼顧考慮農作物生長環境、長勢、物候等的大范圍產量預測情景中，需要融合空間異質的作物物候數、遙感和氣象數據等多源數據實現在不同生長期對作物產量預測。最近在該領域進行的試驗表明，CNN在探索更多的空間特征方面具有顯著優勢，而LSTM具有揭示物候特征的能力，這兩類算法優勢的融合將進一步提升基于多源生產數據對大田作物產量預測的靈活性和可靠性。

2.4 表型人工智能和大數據支撐的精準育種與精準管理應用

作物生產力和生態適應性是糧食作物新品種選育的重要評價指標[55]，基因組學和表型組學的交叉融合為深入探究植物對環境擾動的復雜生物學反應機制提供了新思路，然而，目前的傳統算法與應用多集中在解決單組學數據集的明確任務，如何將基因型與表型聯系起來仍然是相關研究的瓶頸[68-69]。表6列舉了在基于表型大數據和人工智能支撐的精準育種和精準管理方面的代表性工作，在面向現代先進育種和田間管理智能化管理領域，表型大數據與人工智能的融合為應對相關領域內的難點問題提供了方案。

表6 人工智能和大數據支撐的精準育種與精準管理應用舉例

人工智能技術為解決跨多模態集成數據支持的現代育種研究提供了可行性，基于基因型-表型的大數據人工智能育種是現代育種研究的新方向，基于基因組數據指導的育種選擇將從基因組-表型組的融合視角大幅度提高育種效率。基因組選擇（Genomic Selection，GS）是一種用于植物育種選擇的新方法，它通過基因組預測（Genomic Prediction，GP）機制來加速育種過程。大多數GP模型使用的線性方法忽略了基因之間相互作用的影響和高階非線性的影響，而深度學習可以有效避免傳統模型在基因組預測上的局限性。Rachmatia等[77]的研究通過DBN深度學習算法（圖9），利用全基因組單核苷酸多態性（Single Nucleotide Polymorphisms，SNP）作為訓練和測試數據構建了基因組預測模型（GP），結果顯示，在具有非疊加性特征的情況下，DBN的性能優于其他傳統方法，在[-1,1]范圍內的相關性可達0.579。

注：引自Rachmatia等[77]。SNP為重新編碼的全基因組單核苷酸多態性；Stacked RBM指堆疊受限玻爾茲曼機。

Baweja等[72]使用配備高分辨率立體成像儀的地面機器人Robotanist來捕獲高粱植物實驗地塊的密集圖像數據，通過快速的區域卷積神經網絡（Faster-Regions with CNN Features，Faster-RCNN)算法構建了莖桿數和莖寬的測量算法（圖10），結果表明，這種新型方法產生的2為0.88、平均絕對誤差2.77 mm，大幅度提升傳統測量效率，該研究對許多一年生作物（如高粱、甘蔗、谷物、玉米）有借鑒意義。

在現代育種工作及生產實踐中發現，種子活力具有很強遺傳性，且存在母體效應，種子活力的高低不僅決定后期植株優良形態的建立，而且是作物高產的基礎，因此，高活力的親本是育種工作的重要種質資源[69]。如何快速高通量地實現對種子活力進行分級是智能農業面向生產應用中需要解決的問題之一。Przyby?o和Jab?oński[73]構建了一種基于計算機視覺和深度學習方法的橡子種子生存力預測方法（圖11），實現了智能高通量的橡子種子活力預測模式，預測準確性達到85%，與人類專家預測效果相當或略高于專家預測準確率。

深度學習方法已成為解決復雜生產環境下應用問題的重要方法，在現代農業生產過程中，田間除草工作一直以來都備受關注，傳統方法中以人工除草和化學除草為多見，但人工除草勞動成本高，化學除草環境不友好，甚至干擾生態平衡，引起一系列環境問題；此外，傳統圖像處理方法在田間復雜環境下的泛化能力有限，智能除草成為田間除草的新思路。基于最新的CNN模型，Sarker和Kim[75]提出了一種基于區域的全卷積網絡（圖 12），該研究評估了算法在田間雜草識別的性能。為了避免過擬合，研究人員在算法架構中引入神經元丟棄技術（dropout），結合數據增強技術，在實際測試中表現出領先的田間雜草識別準確率為81%。

注：引自Baweja等[72]。紅色方框為算法對玉米莖桿的識別效果，數字為對玉米莖稈的識別得分。

注：引自Przyby?o和Jab?oński[73]。Conv表示神經網絡中的卷積層，ReLU為線性激活函數，Norm為歸一化，Max pooling為最大池化，FC為全連接層，Recognition（good/bad）為識別結果輸出。

與田間除草互補的理念是通過對作物的精準識別來實現大田生產環境下的作物智能化管控，特別是在考慮到雜草及作物長勢因時而變，且雜草種類多、密度大、長勢猛的實際生產環境中，如何對作物進行精準識別來實現對大田作物全生長周期的精準管理，也是大田生產管控智能化的重要目標。就發表的文獻來看，研究思路多憑借機器視覺捕獲的圖像特征入手，借助作物與雜草乃至農田背景等對象類別在顏色、形狀或紋理方面的差異性，通過單個或多個特征組合來解決具體應用場景下的作物精準識別，涉及到的代表性特征提取方法包括主成分分析法（Principal Components Analysis，PCA）以及Bay等[78]提出的加速穩健特征算法（Speeded Up Robust Features，SURF）等，這些方法在特征提取上較前人的特征提取方法雖然取得了相對領先的優勢，但是當面對作物與雜草不同的生長習性、在高密度多種類雜草和較大的日照強度變化等復雜的田間生產條件，這些方法并不能有效應對這些挑戰。

注：引自Sarker和Kim[75]。紅色方框中為算法對雜草的識別效果，數字為對雜草的識別得分。

深度學習方法對特征的提取思路與傳統方法有著本質的不同，它可以依靠不同的功能來對數據特征進行轉換，可以對數據特征進行分層表示，且能適應密集型圖像計算任務。Abdalla等[76]在數據增強基礎上，對VGG的2個網絡重新進行了初始化，結合遷移學習思想，分別在數據增強技術和無數據增強技術的數據集上，評估了改造后的VGG16和VGG19在高密度雜草環境下油菜圖像精準分割的性能（圖13）。結果顯示，基于遷移學習的深度特征機器學習分類器（Deep Feature-Machine Learning Classifier，DF-MLC) 對高密度雜草環境拍攝的油菜作物圖像像素分割獲得了96%的準確度，所提出的方法不但減少了訓練數據集規模，而且節約了訓練時間，訓練好的模型在單幅圖像實現油菜精準分割的響應時間小于0.05 s，為復雜農田生產環境下的作物精準分割與定位等相關產業應用提供了可借鑒的解決方案。

作物的生長生產需要具備相對穩定的水肥氣熱光等基礎條件，其中溫度變化會對溫度敏感作物的生長和生產形成制約。很多應季蔬菜的特定生產季節較短，如何提高其耐熱性以延長生長期，同時可減少由于氣候變化而造成的經濟損失是育種與生產實踐中需要解決的問題。Jiang等[71]開發了一種基于深度學習和熱成像技術測量田間植物溫度的方法（圖14），通過高通量表型系統（GPhenovision）收集作物熱圖像，將60張標記的熱圖像隨機分為2個子集：50張用于訓練的圖像集和10張用于測試的圖像集。通過基于掩模的快速區域卷積神經網絡（Mask Faster-Regions with CNN Features，Mask RCNN）和基于閾值的方法進行植物定位，對圖像進行分割和閾值溫度提取。研究表明，Mask RCNN優于傳統閾值分析方法，顯著提高了提取的植物不同區域溫度識別的準確性。這種改進極大地減少了由于傳感器測量而引起的誤差，降低了數據分析誤差。相關研究可以促進耐熱基因型的育種計劃和遺傳學研究，大大提高了提取植物溫度的準確性。

注：引自Abdalla等[76]。VGG16和VGG19為VGG網絡的2個形態。

基于作物特定表型的精準識別是實現表型大數據和人工智能精準育種和精準管理的基礎，本質上可以將其歸納為目標檢測計數與量化指標預測、復雜生產環境下目標分割與量化指標評估兩大類，面向這兩類的相關網絡架構正在從兼顧提升目標檢測的效率和精度轉向對特征表達的增強研究，相繼提出了諸如混合特征圖、特征金字塔等思想，取得了一系列進展。從深度學習發展的現狀來看，已經有一大批成熟的網絡架構可供表型研究人員選擇進而解決實際問題，不少的研究情景可以考慮使用遷移學習等技術來解決研究問題。考慮到深度學習通常需要一定的硬件條件和運行時間，研究人員需要在模型訓練的代價與模型應用效果上追求相對的平衡，就自己的研究來選擇或構建自己的深度學習模型來解決特定的研究問題。

注：引自Jiang等[71]。

3　總結與展望

本研究對近年來深度學習在植物表型研究領域的最新進展進行了總結梳理。總體來看，深度學習在表型識別與分類方向上取得了比人工識別和分類更好的效果，且近年來的深度學習方法正在不斷克服人工識別與分類易誤判、依賴專家經驗、耗費人力物力等缺點；在不同應用場景和不同研究尺度上，深度學習解決了傳統方法無解或性能差等問題，特別是在不同尺度的應用研究中，深度學習為植物表型的研究拓展了全新的研究視角，深度學習算法精度不斷提高，為促進表型與基因型組學的不同尺度關聯研究帶來新的機會。本研究列舉了以特征提取分類、目標識別計數、復雜背景下目標分割等植物表型的相關研究，從應該場景上介紹了4大研究應用場景，通過列舉代表性文獻分析了深度學習在植物表型相關研究的最新進展。

在植物表型識別與分類研究中，深度學習依然依賴大量的訓練數據來提取識別目標特征，而且在面向特定作物的算法，在不同生長周期的識別需要提供不同的訓練數據，而且對訓練數據特征有一定的要求，盡管不少作物表型的圖像可以通過互聯網搜索得到，但是面對不少非常見植物的表型圖像數據，仍然需要研究人員采集一定量的數據作為深度學習的數據源，在未來的表型識別與分類研究中，預測結果精度可進一步提高，有望為相關產業應用帶來更多機會。

在植物脅迫相關研究領域，在生物脅迫和非生物脅迫兩方面，均有不少成果。相關研究表明，對植物脅迫的有效識別與分類有助于科學家對基因組學和表型組學的關系進行深入研究，在培育高抗品種、保障糧食安全方面有著重要意義。在脅迫監測研究方面，如何將深度學習應用于不同物候期或不同脅迫程度下的作物脅迫反應前兆信息感知進而對生產過程中的異常情況及時進行預警，有待研究人員進行更深入的研究。

在產量預測方面，從預測效果的層面來看，基于對圖像特征的提取和識別能力，較傳統研究方法而言，深度學習方法對產量預測的精度呈現出不斷增長的勢頭，但目前的研究水平還處在初級應用階段，這主要由于作物產量受作物品種特點、氣候差異、生物和非生物脅迫等諸多因素的影響，作物產量的精準預測需要考慮的因素很多。在已經發表的研究中，只能將部分因素作為數據來驅動深度學習模型的建立，大多只完成了對成熟果實的產量預測，對于果實全生長期特征差異性較大的作物進行有效的產量預測還需要融入專家經驗、知識圖譜等技術推進本領域的研究。

從深度學習與植物表型的交叉研究與應用層面來看，有一系列問題值得關注，在監督式算法的表型、脅迫識別、分類、精細農業生產管控過程中的表型數據采集等應用場景中，通常需要對大量圖像數據進行標記，以此來訓練深度學習網絡，而通常這些工作是由人工完成的，意味著很大的工作量。在表型數據分析與育種研究方面，已經取得了一定的突破，同時也表現出一定的局限性，如何就特定基因型-表型進行深入的研究，還需要跨學科研究人員的協作配合。

在表型人工智能和大數據支撐的精準育種與精準管理應用方面，基于海量表型數據與基因、環境的耦合關系是未來表型研究指導選種育種的前沿領域，伴隨植物表型技術和現代育種技術的快速發展，基于基因型-表型育種研究的數據量和復雜性急劇增加，將催生更加深入的多學科融合研究工作，將物聯網、機器學習、數學、物理學、統計學、遺傳學和定量遺傳學以及生物信息學等學科整合在一起應對面向未來的科學育種，以統計數據分析和深度數據挖掘的神經網絡方法將在以譜系、基因組和環境協同變量結合到統計遺傳預測模型中發揮巨大潛力。基因組選擇與譜系育種在深度學習的支持下如何把控復雜性狀的遺傳增益，如何進一步提高表型預測準確性，進而通過縮短繁殖周期來加速遺傳增益仍然是未來育種工作的巨大挑戰。此外，基于深度學習等一系列人工智能與農業生產交叉研究成果可以更加精準地指導農業生產，提高農業生產力和生產水平。

綜上所述，深度學習為植物表型的研究帶來了巨大的機遇，人工智能技術的發展將為植物表型相關研究與應用提供新思路。同時應當看到，隨著表型研究在角度、尺度、時間、空間等維度的深度融合，對未來深度學習技術提出更高的要求，只有智能技術的更進一步發展才能有效促進多學科交叉融合下的多維度數據分析，從而推進基因型與表型研究向著更多維度的智能高通量方向發展，為構建智能化的農業生產管控提供技術保障。總之，人工智能在農業生產中的普適化應用仍需要業界同仁久久為功。

[1] Tester M, Langridge P. Breeding technologies to increase crop production in a changing world[J]. Science, 2010, 327(5967): 818-822.

[2] Guo Yanming, Liu Yu, Oerlemans A, et al. Deep learning for visual understanding: A review[J]. Neurocomputing, 2016, 187: 27-48.

[3] LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[4] LeCun Y, Bengio Y, Hinton G E. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[5] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Proceedings of the 25thInternational Conference on Neural Information Processing Systems, Siem Reap, Cambodia, 2012: 1097-1105.

[6] Jia Deng, Wei Dong, Socher R, et al. ImageNet: A large-scale hierarchical image database[C]//2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2009), Miami Beach, USA, IEEE, 2009: 248-255.

[7] Rawat W, Wang Zenghui. Deep convolutional neural networks for image classification: A comprehensive review[J]. Neural Computation, 2017, 29(9): 2352-2449.

[8] Zeiler M D, Fergus R. Visualizing and understanding convolutional networks[C]//European Conference on Computer Vision, Zurich, Switzerland, 2014: 818-833.

[9] He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 37(9): 1904-1916.

[10] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2014-09-04]. https: //arxiv. org/abs/1409. 1556.

[11] Szegedy C, Liu Wei, Jia Yangqing, et al. Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2015, 10(1): 1-9.

[12] Shelhamer E, Long J, Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640-651.

[13] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional networks for biomedical image segmentation[EB/OL]. [2015-05-18]. https: //arxiv. org/abs/1505. 04597.

[14] Luo Renqian, Tian Fei, Qin Tao, et al. Neural architecture optimization[EB/OL]. [2018-08-22]. https: //arxiv. org/abs/1808. 07233.

[15] Finn C, Abbeel P, Levine S. Model-agnostic meta-learning for fast adaptation of deep networks[EB/OL]. [2017-03-09]. https://arxiv. org/abs/1703. 03400.

[16] Hinton G E, Sejnowski T J. Learning and relearning in Boltzmann machines[J]. Parallel Distributed Processing: Explorations in the Microstructure Of Cognition, 1986, 1: 282-317.

[17] Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527-1554.

[18] Salakhutdinov R, Hinton G E. Deep boltzmann machines[C]//Proceedings of the 12thInternational Conference on Artificial Intelligence and Statistics (AISTATS 2009), Clearwater, USA, 2009: 448-455.

[19] Ngiam J, Chen Zhenghao, Koh P W, et al. Learning deep energy models[C]//Proceedings of the 28thInternational Conference On Machine Learning (ICML-11). Bellevue, USA, 2011: 1105-1112.

[20] Hinton G E. Reducing the dimensionality of data with neural networks[J]. Science, American Association for the Advancement of Science, 2006, 313(5786): 504-507.

[21] Olshausen B A, Field D J. Learning efficient linear codes for natural images: The roles of sparseness, overcompleteness, and statistical independence[J]. Human Vision and Electronic Imaging, 1996, 2657: 132-138.

[22] Sun Xiaoxia, Nasrabadi N M, Tran T D. Supervised deep sparse coding networks[EB/OL]. [2017-01-29]. https: //arxiv. org/abs/1701. 08349.

[23] Lipton Z C, Berkowitz J, Elkan C. A critical review of recurrent neural networks for sequence learning[EB/OL]. [2015-05-29]. https: //arxiv. org/abs/1506. 00019.

[24] Hochreiter S, Schmidhuber J. LSTM can solve hard long time lag problems[C]//Proceedings of the 9thInternational Conference on Neural Information Processing Systems. Singapore, 1996: 473-479.

[25] 常亮，鄧小明，周明全，等. 圖像理解中的卷積神經網絡[J]. 自動化學報，2016， 42(9)： 1300-1312. Chang Liang, Deng Xiaoming, Zhou Mingquan, et, al. Convolutional neural networks in image understanding[J]. Acta Automatica Sinica, 2016, 42(9): 1300-1312. (in Chinese with English abstract)

[26] Granier C, Vile D. Phenotyping and beyond: Modelling the relationships between traits[J]. Current Opinion in Plant Biology, Elsevier Current Trends, 2014, 18: 96-102.

[27] Araus J L, Kefauver S C, Zaman-Allah M, et al. Phenotyping: New crop breeding frontier[J]. Encyclopedia of Sustainability Science and Technology, 2018: 1-11.

[28] Mahlein A K. Plant disease detection by imaging sensors-parallels and specific demands for precision agriculture and plant phenotyping[J]. Plant Disease, Am Phytopath Society, 2016, 100(2): 241-251.

[29] Wang Xinshao, Cai Cheng. Weed seeds classification based on PCANet deep learning baseline[C]//2015 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA). Hong Kong, China, 2015: 408-415.

[30] Liu Nian, Kan Jiangming. Improved deep belief networks and multi-feature fusion for leaf identification[J]. Neurocomputing, 2016, 216: 460-467.

[31] Grinblat G L, Uzal L C, Larese M G, et al. Deep learning for plant identification using vein morphological patterns[J]. Computers and Electronics in Agriculture, 2016, 127: 418-424.

[32] Zhu Heyan, Huang Xinyuan, Zhang Shengping, et al. Plant identification via multipath sparse coding[J]. Multimedia Tools and Applications, 2017, 76(3): 4599-4615.

[33] Taghavi N, Esmaeilzadeh M, Najafi M, et al. Deep phenotyping: Deep learning for temporal phenotype/genotype classification[J]. Plant Methods, 2018, 14(1): 66-80.

[34] Liu Xuanxin, Xu Fu, Sun Yu, et al. Convolutional recurrent neural networks for observation-centered plant identification[J]. Journal of Electrical and Computer Engineering, 2018: 1-7.

[35] Krause J, Sugita G, Baek K, et al. WTPlant (What’s that plant?): A deep learning system for identifying plants in natural images[C]//Proceedings of the 2018 ACM on International Conference on Multimedia Retrieval. 2018: 517-520.

[36] Fetter K C, Eberhardt S, Barclay R S, et al. StomataCounter: A neural network for automatic stomata identification and counting[J]. New Phytologist, 2019, 223(3): 1671-1681.

[37] Rzanny M, M?der P, Deggelmann A, et al. Flowers, leaves or both? How to obtain suitable images for automated plant identification[J]. Plant Methods, 2019, 15(1): 77-88.

[38] Nguyen T T N, Le T L, Vu H, et al. Towards an automatic plant identification system without dedicated dataset[J]. International Journal of Machine Learning and Computing, 2019, 9(1): 26-34.

[39] Larese M G, Namías R, Craviotto R M, et al. Automatic classification of legumes using leaf vein image features[J]. Pattern Recognition, 2014, 47(1): 158-168.

[40] Taylor S H, Franks P J, Hulme S P, et al. Photosynthetic pathway and ecological adaptation explain stomatal trait diversity amongst grasses[J]. New Phytologist, 2015, 193(2): 387-396.

[41] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2014-09-04]. https: //arxiv. org/abs/1409. 1556.

[42] Singh A K, Ganapathysubramanian B, Sarkar S, et al. Deep learning for plant stress phenotyping: Trends and future perspectives[J]. Trends in Plant Science, 2018, 23(10): 883-898.

[43] DeChant C, Wiesner-Hanks T, Chen Siyuan, et al. Automated identification of northern leaf blight-infected maize plants from field imagery using deep learning[J]. Phytopathology, 2017, 107(11): 1426-1432.

[44] Abdullahi H S, Sheriff R E, Mahieddine F. Convolution neural network in precision agriculture for plant image recognition and classification[C]//2017 Seventh International Conference on Innovative Computing Technology. Luton, UK, IEEE, 2017: 1-3.

[45] Ferentinos K P. Deep learning models for plant disease detection and diagnosis[J]. Computers and Electronics in Agriculture, 2018, 145(1): 311-318.

[46] He Yong, Zeng Hong, Fan Yangyang, et al. Application of deep learning in integrated pest management: A real-time system for detection and diagnosis of oilseed rape pests[J]. Mobile Information Systems, 2019: 1-14.

[47] Kamal K C, Yin Zhendong, Wu Mingyang, et al. Depthwise separable convolution architectures for plant disease classification[J]. Computers and Electronics in Agriculture, 2019, (165): 104948-104954.

[48] Kamal K C, Yin Zhendong, Li Bo, et al. Transfer learning for fine-grained crop disease classification based on leaf mages[C]//Workshop on Hyperspectral Image and Signal Processing, Evolution in Remote Sensing. Amsterdam, The Netherlands, IEEE Computer Society, 2019: 1-5.

[49] Mohanty S P, Hughes D, Salathe M. Using deep learning for image-based plant disease detection[EB/OL]. [2016-04-11]. https://arxiv. org/abs/1604. 03169.

[50] Condori R H M, Romualdo L M, Martinez Bruno O, et al. Comparison between traditional texture methods and deep learning descriptors for detection of nitrogen deficiency in maize crops[C]//2017 Workshop of Computer Vision (WVC), Natal, Brazil, IEEE, 2017: 7-12.

[51] Kaneda Y, Shibata S, Mineno H. Multi-modal sliding window-based support vector regression for predicting plant water stress[J]. Knowledge-Based Systems, Elsevier, 2017, 134(15): 135-148.

[52] Ghosal S, Blystone D, Singh A K, et al. An explainable deep machine vision framework for plant stress phenotyping[J]. Proceedings of the National Academy of Sciences, 2018, 115(18): 4613-4618.

[53] Sun Dawei, Zhu Yueming, Xu Haixia, et al. Time-series chlorophyll fluorescence imaging reveals dynamic photosynthetic fingerprints of SOS mutants to drought stress[J]. Sensors, 2019, 19(12): 2649-2666.

[54] Yang Wei, Yang Ce, Hao Ziyuan, et al. Diagnosis of plant cold damage based on hyperspectral imaging and convolutional neural network[J]. IEEE Access, 2019, 7: 118239-118248.

[55] Sánchez-Martín J, Keller B. Contribution of recent technological advances to future resistance breeding[J]. Theoretical and Applied Genetics, 2019, 132(3): 713-732.

[56] Rahnemoonfar M, Sheppard C. Deep count: Fruit counting based on deep simulated learning[J]. Sensors, 2017, 17(4): 1-12.

[57] Aquino A, Barrio I, Diago M P, et al. VitisBerry: An Android-smartphone application to early evaluate the number of grapevine berries by means of image analysis[J]. Computers and Electronics in Agriculture, Elsevier, 2018, 148(1): 19-28.

[58] Aich S, Josuttes A, Ovsyannikov I, et al. DeepWheat: Estimating phenotypic traits from crop images with deep learning[EB/OL]. [2017-09-30]. https: //arxiv. org/abs/1710. 00241.

[59] Jiang Hao, Hu Hao, Zhong Renhai, et al. A deep learning approach to conflating heterogeneous geospatial data for corn yield estimation: A case study of the US corn belt at the county level[J]. Global Change Biology, 2020, 26(3): 1754-1766.

[60] Sun Jie, Di Liping, Sun Ziheng, et al. County-level soybean yield prediction using deep CNN-LSTM model[J]. Sensors, 2019, 19(20): 4363-4384.

[61] Ghanem M E, Marrou H, Sinclair T R. Physiological phenotyping of plants for crop improvement[J]. Trends in Plant Science, 2015, 20(3): 139-144.

[62] Smart R E, Dick J K, Gravett I M, et al. Canopy management to improve grape yield and wine quality-principles and practices[J]. South African Journal of Enology and Viticulture, 1990, 11(1): 3-17.

[63] Liu S, Whitty M, Cossell S. A lightweight method for grape berry counting based on automated 3D bunch reconstruction from a single image[C]//International Conference on Robotics and Automation (IEEE), Workshop on Robotics in Agriculture. 2015: 4-8.

[64] Houle D, Govindaraju D R, Omholt S. Phenomics: The next challenge[J]. Nature Reviews Genetics, 2010, 11(12): 855-866.

[65] Wójtowicz M, Wójtowicz A, Piekarczyk J. Application of remote sensing methods in agriculture[J]. Communications in Biometry and Crop Science, 2016, 11(1): 31-50.

[66] Yue Jibo, Yang Guijun, Li Changchun, et al. Estimation of winter wheat above-ground biomass using unmanned aerial vehicle-based snapshot hyperspectral sensor and crop height improved models[J]. Remote Sensing, Multidisciplinary Digital Publishing Institute, 2017, 9(7): 708-727.

[67] Kuwata K, Shibasaki R. Estimating crop yields with deep learning and remotely sensed data[C]//2015 IEEE International Geoscience and Remote Sensing Symposium (IGARSS). IEEE, 2015: 858-861.

[68] Harfouche A L, Jacobson D A, Kainer D, et al. Accelerating climate resilient plant breeding by applying next-generation artificial intelligence[J]. Trends in Biotechnology, 2019, 37(11): 1217-1235.

[69] Washburn J D, Mejia-Guerra M K, Ramstein G, et al. Evolutionarily informed deep learning methods for predicting relative transcript abundance from DNA sequence[J]. Proceedings of the National Academy of Sciences of the United States of America, National Academy of Sciences, 2019, 116(12): 5542-5549.

[70] Peerlinck A, Sheppard J, Maxwell B. Using deep learning in yield and protein prediction of winter wheat based on fertilization prescriptions in precision agriculture[C]//14thInternational Conference on Precision Agriculture (ICPA), Montreal, Canada, 2018.

[71] Jiang Yu, Shuang Lanshuan, Li Changying, et al. Deep learning for thermal image segmentation to measure canopy temperature of Brassica oleracea in the field[C]//ASABE 2018 Annual International Meeting, Detroit, USA, 2018: 1-11. doi: 10. 13031/aim. 2018 00 305.

[72] Baweja H S, Parhar T, Mirbod O, et al. StalkNet: A deep learning pipeline for high-throughput measurement of plant stalk count and stalk width[C]//Field and Service Robotics, 2018: 271-284.

[73] Przyby?o J, Jab?oński M. Using deep convolutional neural network for oak acorn viability recognition based on color images of their sections[J]. Computers and Electronics in Agriculture, 2019, 156(2): 490-499.

[74] Peng Yinshu, Wang Yi. Prediction of the chlorophyll content in pomegranate leaves based on digital image processing technology and stacked sparse autoencoder[J]. International Journal of Food Properties, 2019, 22(1): 1720-1732.

[75] Sarker M I, Kim H. Farm land weed detection with region-based deep convolutional neural networks[EB/OL]. [2019-06-05]. https: //arxiv. org/abs/1906. 01885.

[76] Abdalla A, Cen Haiyan, Wan Liang, et al. Fine-tuning convolutional neural network with transfer learning for semantic segmentation of ground-level oilseed rape images in a field with high weed pressure[J]. Computers and Electronics in Agriculture, 2019, 167: 105091-105102.

[77] Rachmatia H, Kusuma W A, Hasibuan L S. Prediction of maize phenotype based on whole-genome single nucleotide polymorphisms using deep belief networks[J]. Journal of Physics: Conference Series 2017, 835(1): 012003-012009.

[78] Bay H, Ess A, Tuytelaars T, et al. Speeded-up robust features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

Current status and future perspective of the application of deep learning in plant phenotype research

Cen Haiyan, Zhu Yueming, Sun Dawei, Zhai Li, Wan Liang, Ma Zhihong, Liu Ziyi, He Yong

(1.,,310058,; 2.,,310058,; 3,,310027,)

Accurate plant phenotyping is important for gaining a fundamental understanding of phenotype-genotype-environment interaction and is also critical for plant breeding and agricultural precision management. With the development of accurate and high-throughput plant phenotyping techniques, big phenotypic data of various plants especially image data can be collected. There is an urgent need to develop effective approaches to dealing with large-scale image data analysis to explore the biological and physiological mechanisms which can be eventually used from the laboratory to the field. This research was entering a new era called ‘smart phenomics’. Deep Learning (DL) provided an opportunity to extract useful traits from the complicated phenotypic dataset, which could bridge the knowledge gap between genotype and phenotype for fundamental research and engineering applications in a breeding program and precision farming. Recently, a series of phenotyping related research supported by DL had been published all around the plant fundamental mechanism as well as the agricultural engineering applications. This study investigated the latest publications focused on phenotyping relating to the following algorithms: Convolutional Neural Network (CNN), Restricted Boltzmann Machines (RBM), Auto Encoder (AE), Sparse Coding (SC) and Recurrent Neural Network (RNN), both of the achievements and problems were introduced and summarized in the following aspects. The published researches involved the phenotypic identification and classification over various crops from tissues, organs, and plant scales singly or combined. Not like DBN, SC, or other earlier algorithms, CNN could extract the features without image preprocessing or feature design, its capability also grew rapidly since it was proposed and now had been the first-choice for image identification and classification scenarios. While deep learning applications in biotic/abiotic plant stress analysis mainly focused on the identification and classification of different phenotypic traits of various common crops under typical stresses. Recent studies CNN showed the most potential capability for stress identification and classification, and the predictions by CNN was an irrelevance to the type of stress. Studies also found that the qualitative analysis of abiotic stress could be diagnosed by transfer learning to reduce training time without affecting the prediction capability of the model, especially network architectures with mature applications scenarios manifested stable performance in terms of adaptability and migration based on CNN or integrated with CNN, Besides, yield prediction accuracy had been greatly improved through color, geometric shapes, textures and multiple phenotypic coupling features, which could be divided into the following three scenarios, including fruit yield prediction based on fruit identification and counting, field crop yield prediction by Unmanned Aerial Vehicle (UAV) remote sensing and multi-dimensional yield prediction based on multi-scale, multi-source, and multi-factor data. Moreover, deep learning had shown the potential for precision breeding and precision management. The precise identification of crop-specific phenotypes is the basis for accurate breeding and phenotypic management, and it can be summarized as two categories, including quantitative index counts after target detection and target segmentation under complex field conditions. In summary, a large number of proposed network architectures applied in plant phenotyping have been reviewed, and future efforts should be made on improving the efficiency and accuracy in production scenarios. Finally, the trend and future perspective in the multi-disciplinary research field of deep learning in plant phenotype research were also discussed.

plant; phenotype; management; deep learning; identification and classification; crop breeding

岑海燕，朱月明，孫大偉，等. 深度學習在植物表型研究中的應用現狀與展望[J]. 農業工程學報，2020，36(9)：1-16.doi：10.11975/j.issn.1002-6819.2020.09.001 http://www.tcsae.org

Cen Haiyan, Zhu Yueming, Sun Dawei, et al. Current status and future perspective of the application of deep learning in plant phenotype research[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(9): 1-16. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.09.001 http://www.tcsae.org

2019-12-18

2020-02-24

國家自然科學基金（31971776）；國家重點研發計劃課題（2017YFD0201501）

岑海燕，博士，研究員，主要從事農作物光學成像與智能傳感技術及裝備、高通量植物表型技術、無人機低空遙感等方面的教學與科研工作。Email：hycen@zju.edu.cn

10.11975/j.issn.1002-6819.2020.09.001

TP183

A

1002-6819(2020)-09-0001-16