基于深度學習的作物長勢監測和產量估測研究進展

王鵬新 田惠仁 張 悅 韓 東 王 婕 尹 猛

(中國農業大學信息與電氣工程學院， 北京 100083)

0 引言

作物長勢是糧食產量估測與預測的重要信息來源，對于我國糧食安全和貿易具有重大價值。其中遙感技術具有覆蓋范圍廣、重訪周期短、數據獲取成本相對低等優勢，在作物長勢監測和產量估測中扮演著重要的角色。目前作物估產方法主要包括基于作物生長模型的估產方法和基于統計回歸的經驗估產方法。基于作物生長模型估產方法的最大特點是機理性強，但由于作物生長模型的參數眾多，對于區域尺度的作物估產，往往無法充分獲取作物生長模型所需的參數，在一定程度上限制了作物生長模型在大范圍作物估產中的廣泛應用[1-2]。基于統計回歸模型的估產方法無需輸入大量參數，因此更適用于區域的作物單產估測。基于統計回歸模型的作物估產方法包括線性模型方法和非線性模型方法。由于農田生態系統較為復雜，涉及的許多過程都是非線性的，作物長勢和產量形成的機理通常表現為非線性[3-6]，因此，目前研究者更多地使用非線性模型來監測作物長勢和估測單產，如支持向量回歸(Support vector regression，SVR)、隨機森林(Random forest，RF)和人工神經網絡(Artificial neural network，ANN)等[7-12]。在機器學習模型中，ANN由于能夠學習和存儲大量輸入-輸出模式的映射關系，可以得到較高的精度，并且存在一些衍生形式，如MAYA GOPAL等[13]在多元線性回歸(Multiple linear regression，MLR)與ANN基礎上提出了MLR-ANN混合模型，以提高作物產量估測精度。JOHNSON等[14]利用貝葉斯神經網絡(Bayesian neural network，BNN)對加拿大大草原的作物產量進行估測。然而，這種傳統機器學習方法對于捕獲數據間復雜的非線性關系的能力較為有限，深度學習能夠提取多尺度和多層次特征并將這些特征組合抽象成高層次特征[15-18]。因此，深度學習模型的表現優于傳統機器學習模型，在利用遙感數據進行長勢監測和產量估測方面表現出巨大的潛力[19]。

本文所涉及的區域尺度作物長勢監測是指利用低空間分辨率的遙感數據及其產品進行的監測，而田塊尺度作物長勢監測是指利用中高空間分辨率的遙感數據及其產品進行的監測。隨著精準農業的發展以及深度學習方法在區域尺度長勢監測及產量估測中的廣泛應用，將深度學習運用于田塊尺度作物長勢監測及產量估測成為目前研究熱點之一。在田塊尺度進行作物長勢監測時要求遙感影像在時間和空間上具有高分辨率特征[20]。目前依據遙感平臺的不同，可分為基于無人機平臺和基于衛星平臺的田塊尺度作物長勢監測及產量估測。

本文基于深度學習模型，在區域尺度和田塊尺度對作物長勢監測的研究進展及趨勢進行綜述，一方面在區域尺度對深度學習模型樣本、模型結構及其優化進行歸納總結，一方面針對遙感數據獲取平臺的不同，分別從無人機平臺和衛星平臺總結和分析田塊尺度作物長勢監測和產量估測的進展。在此基礎上，針對深度學習存在的問題與發展趨勢分析，提出今后的重點發展方向。

1 區域尺度的作物長勢監測和產量估測研究進展

遙感數據具有明顯的大數據特征，是作物長勢監測的主要數據源。作物長勢與其單產密切相關，受光、溫、水、土、肥等因子影響，是表征農情和進行作物產量估測預測的重要指標之一，而應用遙感技術表征的與作物長勢密切相關的監測指標是這些因子綜合作用的結果。因此，多種參數結合被廣泛地應用于區域尺度的作物長勢監測和產量估測研究中。近年來，隨著大數據技術與深度學習在各領域應用的逐步深入，開展基于多參數和深度學習的從數據到數據的作物長勢信息提取是一個重要的研究方向。因此，本文從模型樣本和模型構建與優化兩方面，對深度學習模型在區域尺度的作物長勢監測和產量估測進行描述和總結。

1.1 模型樣本

1.1.1樣本構建

人工神經網絡和深度學習模型通常需要大量的訓練樣本，并且利用樣本以實現對特征的提取。因此，選擇合適的樣本是一個必不可少的步驟[21]。盡管作物生長狀況受多種因素的影響，且其生長過程又是一個非常復雜的生物生理過程，但作物生長狀況可以用一些與其生長過程密切相關的參數進行表征[22-23]。在基于遙感數據進行作物長勢監測的參數中(表1)，主要包括植被指數、生物物理參數和生長環境參數[23-25]。其中，最常用的是利用植被光譜響應敏感波段構建能夠反映作物生長狀況的遙感指數進行監測，歸一化植被指數(Normalized difference vegetation index，NDVI)的應用最為廣泛。目前，國內外學者利用NDVI等植被指數進行了大量研究[14,26-29]，并且發現，相比于基于單生育時期植被指數，綜合多生育時期的植被指數與作物長勢和單產具有更高的相關性[30-34]，這為在區域和國家范圍內將多生育時期的植被指數與作物產量聯系起來的眾多研究奠定了基礎。此外，一些學者也開展了以常見作物長勢指標，如葉面積指數(Leaf area index，LAI)、條件溫度指數(Temperature condition index，TCI)、條件植被指數(Vegetation condition index，VCI)、條件植被溫度指數(Vegetation temperature condition index，VTCI)等進行樣本的適用性和有效性評價研究，為提高作物長勢監測的準確性發揮了重要作用[35-37]。BOLTON等[38]基于MODIS NDVI、歸一化差異水分指數(Normalized difference water index，NDWI)和使用2個波段的增強植被指數(Two-band enhanced vegetation index，EVI2)作為特征參數預測美國中部玉米和大豆的單產，結果表明在玉米返青期后的65～75 d和大豆返青期后的80 d，EVI2與非干旱縣玉米單產之間具有較高的相關性，而NDWI對半干旱縣的玉米單產估測性能更好。

由于作物生長受到光照、氣溫、降水等多種環境因素的影響，因此每年的產量會因環境因素在年際間的改變而出現明顯差異。此外，隨著高時間分辨率衛星數據產品的積累(如MODIS數據)和遙感大數據技術的發展，時間序列數據作為模型樣本在現階段獲得了廣泛的應用。因此，用于訓練深度學習模型的樣本主要包括基于多生育時期和長時間序列的遙感數據和氣象數據，為進一步提高長勢監測精度提供了依據[39-42]。

除上述遙感數據和氣象數據作為樣本的作物長勢監測和產量估測外，國內外學者也陸續開展了以作物品質為樣本的長勢監測和產量估測研究[43-44]。從研究對象來看，主要集中在小麥與水稻兩大糧食作物上，以籽粒蛋白質品質監測預報居多[2,45]。由于隨著作物品種的提高和科技的進步，好的品種對特定疾病或蟲害的抵抗力更強，并且它們適應了以氣候和土壤等多種條件為特征的特定環境[46-47]。因此，利用作物品質作為樣本對于提高估產精度具有重要的作用。

表1 主要遙感指標及適用性Tab.1 Major remote sensing indices and applicability

1.1.2樣本擴充

深度學習是一種數據驅動的技術，模型通常具有較為復雜的結構，需要大量的訓練樣本量使得深度學習模型學習到可能的分布[48-49]。然而，受作物品種特性和科技進步的影響，作物長勢監測和估產模型的構建一般是應用近5年的數據[50]，能作為訓練樣本的數據有限，而深度學習模型對訓練樣本的要求較高，并且在較大規模樣本的訓練下可達到較高的精度，在較小規模樣本下易出現過擬合現象。因此使用數據增強技術進行樣本集的擴充對于在一定程度上改善樣本量的限制和解決過擬合問題有重要作用，從而改進整體學習過程并獲得最佳性能。

INOUE[51]提出一種高效的數據增強方法Sample Pairing，它簡單易操作，并且與具體數據無關，通過從訓練集中隨機抽取兩個樣本，以平均值的方式合成一個新的樣本。ZHANG等[52]通過引入Mixup方法構建虛擬訓練樣本，此方法同樣隨機選擇兩個樣本，以一個服從Beta分布的比例進行疊加，從而改進了Sample Pairing在ImageNet、CIFAR、語音和表格數據集中的泛化誤差，且有助于消除對錯誤標簽的記憶、對對抗樣本的敏感性以及對對抗訓練的不穩定性。由于在樣本中類不平衡是一種很常見的現象，因此對原始數據過采樣來處理樣本不平衡問題也是一種數據增強方法。過采樣是以多數類樣本為標準，通過直接復制少數類樣本或者人工合成少數類樣本等方式提升少數類樣本的數量以達到擴充和平衡數據集的目的。其中比較經典的是CHAWLA等[53]提出的合成少數類過采樣技術(Synthetic minority oversampling technique，SMOTE)，該算法通過k近鄰法代替原先的簡單隨機復制樣本法，合成新的少數類樣本。

當樣本數量較少時，傳統的Sample Pairing和Mixup等方法很難補充到樣本中隱含的潛在分布規律。生成式對抗網絡(Generative adversarial network，GAN)作為一種近年來最具潛力的非監督數據增強技術，可以通過生成逼近訓練數據真實分布的樣本，從而實現對已有類別數據的模擬[54]。然而，GAN在基于梯度下降訓練時存在梯度消失的問題，導致優化目標不連續。為了解決訓練梯度消失問題，ARJOVSKY等[55]提出了Wasserstein GAN(W-GAN)。考慮到GAN的輸出為連續實數分布而無法產生離散空間的分布，YU等[56]提出了一種能夠生成離散序列的生成式模型Seq-GAN。針對模型的不同問題，各種基于GAN 的衍生模型相繼被提出，從而進一步提高對抗網絡的生成和判別能力，并學習出新的、更具代表性的樣本。

1.2 作物長勢監測和產量估測深度學習模型

盡管深度學習模型具有良好的通用性，但單一的網絡框架不能解決所有問題。迄今為止，已經開發了不同的深度學習模型來實現對不同作物的產量估測，從而證明了深度學習網絡框架的重要性。主流的深度學習模型包括卷積神經網絡(Convolutional neural network，CNN)和循環神經網絡(Recurrent neural network，RNN)，下面進一步開展對每個模型結構及其優化的歸納總結。此外，針對深度學習模型可解釋性弱的問題，優化模型結構從而提高模型可解釋性。

1.2.1CNN及其優化

圖1 2D Histogram CNN估產架構[57]Fig.1 Architecture of 2D Histogram CNN yield estimation

相比于ANN，CNN更加易于訓練，對于大型圖像處理有出色的表現。CNN是一種既有深度結構又包含卷積計算的深層前饋神經網絡，是深度學習的常用算法之一。CNN的設計思想受到了視覺神經科學的啟發，主要由卷積層(Convolutional layer)和池化層(Pooling layer，也稱子采樣層)組成。CNN本質上是實現一種輸入到輸出的映射關系，通過訓練數據來進行學習，使得輸出數據和標簽數據共享相同的維度，避免了顯式的特征提取，而是隱式地從訓練數據中學習特征，且同一特征映射面上的神經元權值相同，網絡可以并行學習，這也是CNN相對于其他神經網絡的一個優勢。因此，基于CNN模型的作物長勢監測和產量估測研究取得了諸多成果，也激發了更多的研究者不斷挖掘[57-59]。如周亮等[60]使用MODIS數據構建了基于CNN的冬小麥估產模型，該模型可以從遙感影像中有效地學習與冬小麥產量相關的特征，從而實現冬小麥單產的復雜擬合，對未來冬小麥產量預測可以做到實時高效。深度學習模型的訓練過程中存在大量需要探索的技巧，即需要對網絡結構和各項參數(如神經元、層數、濾波器大小、步幅、學習率和激活函數等)進行優化來提高網絡的收斂性以及網絡的泛化能力[49]。為了提高學習效率，得到更高精度的估產模型，NEVAVUORI等[58]測試了CNN各方面(訓練算法的選擇、網絡深度、正則化策略和超參數的調整)對預測效率的影響，并確定了性能最佳的網絡，從而顯著提高了產量估測的精度。YOU等[57]提出了一種新的深度學習估產框架(2D Histogram CNN)(圖1)，其創新之處在于使用遙感影像的直方圖信息作為模型輸入，既達到了數據降維的效果，同時又取得較高的產量預測精度。TERLIKSIZ等[61]在YOU構建的深度學習估產框架基礎上，利用遙感圖像的空間、時間和光譜維度，提出了一種用于大豆產量預測的3D CNN。研究結果表明，3D CNN產量預測精度顯著優于2D Histogram CNN，并揭示了利用深度時空特征學習模型進行作物產量預測將是未來的一個發展方向。

1.2.2RNN及其優化

圖2 基于物候的長短時記憶(LSTM)模型的單產估測結構[68]Fig.2 Architecture of phenology-based LSTM yield estimation model

圖3 多級深度學習模型(MLDL-Net)架構[69]Fig.3 Architecture of multilevel deep learning network (MLDL-Net) framework

圖4 用于縣級冬小麥產量估算的ALSTM模型的總體結構[77]Fig.4 Overall structure of ALSTM model for county-level wheat yield estimation

1.2.3模型可解釋性

由于深度神經網絡模型具有“黑盒”屬性，使得其可解釋性弱[19]。然而，在應用深度學習模型開展作物長勢監測和產量估測研究時，實驗或研究結果可能不理想，這就要求根據特定的問題與數據來制定和優化深度學習的網絡結構與訓練參數，以及學習策略等，以解決深度學習模型可解釋性弱的問題，因此深度學習模型的可解釋性成為目前的研究熱點之一?？山忉屝钥珊唵蔚乩斫鉃橛萌藗兛衫斫獾姆绞絹斫忉屗惴ㄗ龀鱿鄳獩Q策的原因[19,71-72]。目前，對于深度學習模型的可解釋性研究主要有2類研究方法[73-74]：一是從模型的可解釋性分析入手，調整模型內部參數，對系統得到的結果進行分析，判斷內部參數對于結果的影響；二是從模型的構建入手，直接構建本身就具有可解釋性的模型，旨在學習更結構化和可解釋的模型。后者往往具有更強的可解釋性，但建模難度很大，且與應用領域密切相關。注意力機制是前者的典型代表，它與人類的選擇性視覺注意力機制類似，是通過掃描全局圖像獲取重點關注的目標區域。注意力機制主要是在Encoder-Decoder(編碼器-解碼器)模型框架下提出的，它通過對模型中不同關注部分賦予不同的權重，并從中抽取出更加重要和關鍵的信息，從而優化模型并做出更為準確的判斷[70,75-76]。

目前已出現了一些基于注意力機制的產量估測模型。TIAN等[77]提出了基于注意力機制LSTM(LSTM neural network with an attention mechanism，ALSTM)的冬小麥單產估測模型(圖4)，該模型相比于LSTM不僅能夠提高估產精度，而且能夠提取更重要的特征變量，提高神經網絡的可解釋性。為了能夠清楚了解時間累積效應對于區域作物產量估計和不同地區作物生長的空間差異，LIN等[78]開發了一個名為DeepCropNet(DCN)的深度時空學習框架，其中時間特征由基于注意力機制的LSTM學習，空間特征由多任務學習(Multi-task learning，MTL)機制進行學習，分層捕獲縣級玉米長勢的特征。結果表明，DCN模型可以通過時間學習模塊識別玉米生長季節的關鍵生長階段，空間學習模塊根據MTL機制捕獲區域特定特征(如過度降雨、干旱、極端高溫)，DCN模型為氣候條件和生產水平差異大的區域下進行作物產量估測提供了一個發展方向。此外，林靖皓等[79]將CNN和雙向門控循環單元(Bidirectional gated recurrent unit，BiGRU)以統一的架構組合，并在CNN和GRU之間引入自注意力機制(Self-attention)，開發了一種基于自注意力機制雙向門控循環單元和卷積神經網絡組合(Self-attention C-BiGRU)的芒果產量預測模型。該模型利用CNN的卷積層提取局部特征，Self-attention用于進一步提取依賴特征，BiGRU充分考慮年份之間的關聯性，學習長期依賴特征，能夠更準確地學習影響產量的特征，從而在一定程度上提高了模型的可解釋性。

2 田塊尺度的作物長勢監測和產量估測研究進展

隨著深度學習在區域尺度作物長勢監測和產量估測研究的不斷深入，進一步細化研究尺度，將長勢監測及產量估測研究具體到田塊尺度，推動精準農業的持續發展成為目前的研究熱點之一。繼續沿用區域尺度作物長勢監測所使用的1 km級別或者十幾天分辨率的遙感數據，均無法滿足田塊尺度監測的需要。因此，使用高空間分辨率或同時具備高時空分辨率的遙感數據實現田塊尺度監測成為解決此類問題的有效方法。本節回顧深度學習方法在田塊尺度作物長勢監測及產量估測研究中應用的進展，并根據遙感數據獲取平臺的不同，分為基于無人機平臺和基于衛星平臺的田塊尺度作物長勢監測和產量估測。

2.1 基于無人機平臺的田塊尺度作物長勢監測和產量估測

無人機平臺因具有成本低、數據獲取效率高、測試高度及測試時間可按需調節等優點[80-82]，在監測作物長勢研究中具有地面平臺和高空平臺無法比擬的優勢[83]，已被用于田塊尺度的農情信息獲取。當研究尺度為田塊尺度時，影像的空間分辨率提高，包含了更為豐富的空間細節特征。不同于傳統方法僅可捕獲局部空間相關性[84]，深度學習方法可以同時獲取局部和全局的空間依賴特征[85]，提取更復雜的特征，從而獲得高精度的長勢監測及產量估測結果。YANG等[86]基于無人機平臺獲取RGB和多光譜圖像，使用CNN架構學習與水稻籽粒產量相關的重要特征從而實現在水稻成熟期的產量估測研究。隨著CNN模型的進一步發展，模型結構復雜度逐漸提升，為減少模型運行的時間成本，吳剛等[87]在考慮無人機采集圖像特性的基礎上，選取深度合適、允許原始輸入信息直接傳到后面層中的ResNet18作為識別玉米植株圖像的基本網絡結構，實現玉米作物營養狀況識別。針對長勢監測過程中作物發生的倒伏情況，YANG等[88]利用無人機獲取影像，采用FCN-AlexNet和SegNet兩種神經網絡架構建立圖像語義分割模型，實現了大面積稻田的水稻倒伏情況估計。

為進一步研究不同CNN結構對作物長勢監測的適用情況，蔣楠等[89]通過無人機采集可見光影像，分別構建基于AlexNet、VGGNet、GoogLeNet 3種網絡框架的CNN模型，實現了棉花花蕾期各項生長參數監測，結果表明，AlexNet模型在株高和地上生物量方面表現最好；GoogLeNet模型在葉面積指數監測方面性能最優。張瑞杰等[90]利用無人機影像建立幼苗期油菜的可見光圖像數據集，并由農學專家將作物長勢標注為好、一般、較差3種情況，選擇5種CNN模型：EfficientNet、ShuffleNet v2、ResNet、DenseNet、ResNeXt分別進行優化和實驗，實驗結果顯示，DenseNet的識別精度最高，但是從綜合精度和推理時間來看ResNet的表現更佳。綜上可以看出，對于具體應用場景，不同深度學習方法的適用性仍需要進一步研究。

利用深度學習方法基于無人機平臺進行作物長勢監測時存在平臺容易受環境影響、無法大范圍長時間連續穩定獲取作物影像、深度學習算法復雜性高及耗時長等不足。未來可以進一步完善無人機遙感技術，提高數據獲取及處理的穩定性和一致性，從而確保獲取數據的準確性，實現長時間序列的作物長勢監測和產量估測。此外，可嘗試通過改進深度學習算法，來提高算法學習效率。

2.2 基于衛星平臺的田塊尺度作物長勢監測和產量估測

隨著高空間分辨率衛星的不斷出現以及相比于無人機平臺所具有的覆蓋范圍廣等優勢，利用高空間分辨率衛星數據進行田塊尺度作物長勢監測及產量估測也取得了一定進展。如， CAO等[91]通過整合谷歌地球引擎(Google earth engine，GEE)平臺中公開可用的數據，對比深度神經網絡(Deep neural network，DNN)、1D CNN和LSTM在田塊尺度產量預測的適用性，結果表明，DNN在田塊尺度表現較好。然而，在利用高空間分辨率衛星影像進行田塊尺度作物長勢監測時，光學遙感衛星容易受到天氣影響，無法在時間尺度上滿足監測需要。針對這一問題，可采用基于光學和微波遙感數據融合的方法以及基于時空數據融合的方法對缺失數據進行補充，從而滿足時間尺度監測的需要。

相比于光學遙感，微波遙感可以接收來自地表較長的電磁波信息，這些較長的電磁波可以有效穿透云霧，從而使得微波遙感具備全天候監測地表的能力[92]。因此，融合光學和微波遙感數據可以進一步提高模型輸入數據的獲取能力。目前，在融合光學與雷達遙感衛星數據方面，大部分研究的關注點在于如何基于雷達數據填補光學遙感指數在時間序列上的缺失。如ZHAO等[93]基于時間序列Sentinel-1雷達衛星數據的VV和VH極化圖像，首先利用1D CNN模型提取每種極化圖像的特征，然后將提取出的時間序列雷達極化特征輸入LSTM模型，用以模擬時間序列的Sentinel-2光學衛星數據反演的NDVI的動態變化，最終在時間序列上填補NDVI的缺失。物候是影響作物生長的一個重要因素，是作物長勢監測的一個重要研究領域。得益于微波遙感衛星的全天候地表信息獲取能力，基于微波遙感的作物物候監測受到越來越多的關注。如MERONI等[94]針對不同類型作物，比較了Sentinel-1和Sentinel-2數據在監測作物物候方面的表現，發現Sentinel-1反演的物候結果與Sentinel-2的反演結果具有可比性，且相比于夏季作物，冬季作物的可比性更高。上述研究表明，光學數據和微波數據在監測作物長勢方面具有較高的協同潛力。為了更好地結合兩種數據源各自的優勢，也有一些研究以光學和雷達數據同時作為模型輸入，這不僅彌補了僅依靠光學數據作為模型輸入帶來的信息不足的缺陷，同時也避免了只依靠微波數據帶來的較多異常值的問題。如IENCO等[95]將時間序列的Sentinel-1和Sentinel-2數據集分別作為模型的輸入數據，并分別通過ConvGRU+Attention分支和CNN分支，每個分支后連接一個輔助分類器以提高分支的預測能力，最后通過全連接層輸出地表分類結果。鑒于目前田塊尺度的作物產量標簽獲取難度較大，通過深度學習方法并融合光學和雷達數據的農業領域研究主要集中在作物分類方面，而在田塊尺度的作物產量估測方面的研究還較少。

相比基于光學和微波遙感數據融合的方法，基于時空數據融合的方法不僅能夠實現缺失數據的填補，還可以滿足在田塊尺度監測過程中高時間和高空間分辨率的要求，從而進一步提高田塊尺度長勢監測及產量估測的精度?；跁r空數據融合的作物長勢監測及產量估測方法通過融合高空間分辨率數據和高時間分辨率數據獲取具有高時空分辨率的遙感數據，從而進行田塊尺度的作物長勢監測及產量估測。目前基于時空數據融合的田塊尺度作物長勢監測方法可以依據時空數據融合方法不同，分為基于混合像元分解、基于權重函數、基于貝葉斯、基于學習和基于混合的5類時空融合方法[96]，并已廣泛應用于作物種植面積提取[97-98]、長勢監測[99-100]及產量估測[101-102]。其中，基于學習的時空融合方法可利用機器學習算法學習不同分辨率影像之間的非線性變化關系建立模型，從而獲取具有較高精度的高時空分辨率影像。

隨著深度學習的不斷發展，基于深度學習實現時空數據融合成為一種新的研究思路。CHU等[103]使用兩個反向傳播神經網絡(Back-propagation neural networks，BPNNs)和獨立循環神經網絡(Independently RNN，IndRNN)引入時間特征，從而提取數據的空間特征和時間特征，并通過全連接層對特征進行融合實現對水稻產量的預測，降低了時間特征對產量預測的影響。目前已出現了一些基于CNN的時空數據融合模型。相比于傳統的時空數據融合模型，基于CNN的時空數據融合模型能夠自動、有效地學習影像上的特征，并在特征層面上進行數據融合。相比于像元層面的時空數據融合模型，特征層次的時空數據融合模型能夠減少對影像噪聲的敏感程度，然而在融合影像的清晰度方面有所降低。SAGAN等[104]運用2D和3D的CNN集成WorldView-3和PlanetScope衛星數據中包含的光譜、空間和時間信息實現大豆生長季產量估測。為進一步適應時間變化，處理復雜和異質性的景觀，以及集成其他衛星數據集，HTITIOU等[105]提出了一種基于極深超分辨率(Very deep super-resolution，VDSR)的深度學習時空數據融合方法，將Sentinel-2和Landsat 8的NDVI數據進行融合，并對比分析了VDSR與增強型時空自適應反射率融合模型(Enhanced spatial and temporal adaptive reflectance fusion model，ESTARFM)和靈活時空數據融合(Flexible spatiotemporal data fusion，FSDAF)兩種經典方法的性能，結果表明，VDSR算法相較其他數據融合算法具有模糊程度最低和合成NDVI值預測最準確的特點，特別是在景觀異質性和土地覆蓋突變的地區。

除上述已運用于作物長勢監測及產量估測的深度學習融合方法外，還有一些提出的深度學習融合方法尚未運用到農業領域，如TAN等[106]提出的深度卷積時空融合網絡(Deep convolutional spatiotemporal fusion network，DCSTFN)，該算法充分利用CNN從高時間低空間分辨率和低時間高空間分辨率的遙感影像中提取高時空分辨率影像，結果表明，基于CNN的融合算法不僅達到了較高的精度，而且比傳統的時空融合算法更具魯棒性。此后，TAN等[107]對現有的DCSTFN進行了細化和改進，提出了改進的深度卷積時空融合網絡(Enhanced DCSTFN，EDCSTFN)，該算法通過構建殘差編碼器自動學習輸入高空間分辨率影像與預測高空間分辨率影像之間的特征差異，同時，在損失函數中引入視覺損失函數來盡可能保留高頻信息，從而進一步提高了模型預測精度。在今后的研究中可嘗試將此類方法運用于作物長勢監測及產量估測之中，擴展方法應用領域，進一步研究方法的適用性。

3 存在的問題與展望

雖然基于深度學習的長勢監測和產量估測研究已經取得了全面發展，然而，相關領域的研究還存在一些需要解決的問題。主要表現在：

(1)深度學習模型建立于大樣本之上才能保證其精度，然而，目標產量的樣本數量通常是有限的，因此使用遷移學習可以在一定程度上改善小樣本的限制[108-109]。在這種方法中，可以使用有限的樣本在大型數據集上預訓練的模型中的參數進行微調，以在新任務中獲得最佳性能。具體包括以下兩方面：一是基于區域的遷移學習。首先利用樣本數量充足的區域來學習模型，然后將該模型擴展到樣本數量較少的其他區域，實現區域的傳遞。二是基于參數的遷移學習。針對相關任務的模型間共享部分參數，或超參數的先驗分布以提高整體性能。迄今為止，雖然這兩種方法都有助于提升模型性能，但由于數據具有復雜和多樣的特點，目前對數據集相似度的界定還沒有統一的辦法，且以相似度為基礎的遷移需要更多定量和定性的解釋。因此，未來隨著數據的累積，深度學習模型的優勢將逐漸凸顯。此外，基于區域的遷移學習中不同區域的環境是異構的，如何實現異構環境下的遷移是未來的研究方向。

(2)深度學習的可解釋性依舊是個難題。深度學習模型的本質是從數據到數據的特征提取，對作物生長過程的描述與機理表達無法學習到，而作物生長模型整合了很多已知的作物生理學、作物栽培學等先驗知識。因此，未來可嘗試探索作物生長模型和深度學習模型的并行和協同開發，以提高對作物生長過程的理解，從而提高模型的可解釋性。此外，作物生長模型參數往往存在不確定性，從而導致模型輸出錯誤，通過實際觀測和其他輔助數據，使用深度學習模型來對作物生長模型輸出進行校準。

(3)在田塊尺度利用深度學習進行作物長勢監測及產量估測時，需利用深度學習復雜的網絡結構對高分辨率數據進行充分學習，而在此過程中需要大量的時間進行訓練，同時對計算機性能提出了較高要求。因此，如何高效、快速學習特征，保證學習特征的完整性，盡可能減少對冗余信息的學習是利用深度學習方法進行田塊尺度長勢監測的難點之一。

(4)在田塊尺度進行作物長勢監測及產量估測時，衛星遙感難以克服空間異質性對于精度的影響，而無人機平臺可以較好地識別異質性信息，因此可以嘗試將無人機平臺與衛星平臺相結合，以無人機平臺數據作為衛星數據時空融合過程中尺度轉換的中間變量，確保在降尺度過程中的精度。

深度學習在產量估測方面取得了比傳統機器學習和統計模型更高的精度，不斷克服依賴專家經驗、耗費人力物力等缺點，為作物長勢監測及產量估測的研究拓展了全新的研究視角。本文從區域尺度和田塊尺度兩方面，通過代表性文獻分析了深度學習在作物長勢監測及產量估測相關研究中的最新應用進展。同時隨著在時間、空間等維度的深度融合，對未來深度學習技術提出更高的要求，只有智能技術的更進一步發展才能有效促進融合下的多維度數據分析，為農情監測和防災減災提供更強的科學依據和技術支撐。