基于多源遙感數據融合和LSTM算法的作物分類研究

解 毅，張永清，荀 蘭，柴旭榮

基于多源遙感數據融合和LSTM算法的作物分類研究

解 毅1，張永清1，荀 蘭2，柴旭榮1

（1. 山西師范大學地理科學學院，臨汾 041004； 2. 中國科學院空天信息研究院，北京 100094）

準確、及時地獲取農作物的空間分布信息，對于指導農業生產、制定農業政策具有重要意義。為了檢驗長短時記憶網絡（long short-term memory，LSTM）算法在基于時序遙感數據進行作物分類中的優勢，該文以臨汾盆地為研究區域，利用Savitzky-Golay濾波對MODIS NDVI進行平滑處理，并采用ESTARFM（enhanced spatial and temporal adaptive reflectance fusion model）算法對濾波后的MODIS NDVI和Landsat NDVI進行融合，生成空間分辨率為30 m、時間分辨率為8天的時序NDVI。基于Landsat NDVI利用LSTM算法進行作物分類，同時，基于融合NDVI分別利用LSTM算法和神經網絡（neural network，NN）算法進行作物分類，并對比3種方法的分類精度。結果表明，Savitzky-Golay濾波后的時序MODIS NDVI能夠反映不同作物的物候特征；基于融合NDVI的分類精度明顯高于基于Landsat NDVI的分類精度，表明融合后的時序NDVI由于具有更高的時間分辨率，能夠更加突出不同作物的物候特征，顯著提高作物分類精度；基于融合NDVI和LSTM算法的分類精度高于基于融合NDVI和NN算法的分類精度，前者的冬小麥面積估測精度高于后者的估測精度，表明LSTM算法的分類精度高于NN算法。該文可為基于遙感影像進行不同作物種植區域提取的研究提供重要的方法參考。

作物；遙感；分類；數據融合；物候特征；長短時記憶網絡；神經網絡

0 引 言

作物類型遙感識別是提取不同作物種植面積、作物長勢分析及產量估測、預測的基礎，也是農情遙感監測的重要內容[1-5]。時間序列遙感數據能夠反映不同作物的物候特征，比單一時相遙感數據在識別不同作物類型或不同作物種植結構上更有優勢[6-10]。時間分辨率高的遙感數據（如MODIS數據）其空間分辨率較低（250～1 000 m），在進行作物分類時存在混合像素的問題，而中、高空間分辨率的遙感數據回訪周期較長，例如，在遙感分類中被廣泛應用的Landsat數據，其時間分辨率為16 d，且在作物生長的主要生育期由于云的干擾，很難獲得充足的Landsat數據用以提取作物的物候信息[11-13]。因此，將MODIS和Landsat數據進行融合，獲取中空間、高時間分辨率的時序遙感數據，是基于作物物候特征進行不同作物分類的有效途徑[14-16]。

在遙感數據融合方面，Gao等[17]提出了自適應遙感影像融合模型（spatial and temporal adaptive reflectance fusion model，STARFM）用于融合Landsat和MODIS數據，構建以天為尺度的30 m分辨率的時序數據，該算法在融合過程中能夠同時考慮研究區域的時間、空間差異性，是目前應用最廣泛的時空融合模型之一。然而，在異質性較強的區域，空間分辨率較低的MODIS數據容易產生混合像素問題，從而影響STARFM算法的融合精度。通過假設地表反射率在一段時間內為線性變化，且混合像素反射率為不同地表類型反射率的線性組合，針對異質性強的區域，Zhu等[18]提出了增強型STARFM（enhanced STARFM，ESTARFM）算法，該算法在STARFM算法的基礎上引入一個轉換系數來提高數據融合的精度，被廣泛應用于遙感數據融合的研究。

近年來，深度學習方法被逐漸應用于遙感影像的自動分類，如卷積神經網絡（convolutional neural network，CNN）、層疊去噪自編碼器（stacked denoising auto-encoders，SDAE）、深度信念網絡（deep belief network，DBN）和循環神經網絡（recurrent neural network，RNN）等，這些算法均被證明能夠有效地應用于光學影像（高光譜、多光譜影像）和雷達影像的處理以及不同土地覆蓋分類研究[19-23]。目前，大多數研究主要是基于深度學習方法利用單一時相的遙感影像進行土地覆蓋和作物類型的分類，然而，結合時間序列遙感數據和不同作物的物候特征能夠更加準確地區分不同作物的種植區域。因此，Kussul等[24]結合Landsat-8和Sentinel-1A數據構建時間序列遙感數據以提取作物物候特征，利用CNN算法進行不同作物的分類，并取得了較高的分類精度。Sharma等[25]基于影像像素與其鄰域像素間的空間相關性，提出了一種基于塊的CNN算法（a patch-based CNN），并將其應用于中空間分辨率時序遙感影像的分類，其分類精度明顯高于基于像素的CNN算法的精度。

CNN算法能夠較好地處理遙感影像的空間自相關性，但其不能充分地考慮復雜的時間相關性，因此，基于CNN算法不能夠充分地提取時序遙感數據所反映的作物物候特征，而RNN算法中的長短時記憶網絡（long short-term memory，LSTM）算法，能夠較好地處理時序遙感數據中的時間依賴性。LSTM算法基于循環的方式獲取時序數據中存在的時間相關性，被成功應用于基于時序遙感數據的作物分類研究[26]。Zhong等[23]將LSTM算法應用于時間序列Landsat EVI數據，從而對美國加利福尼亞州約洛縣的夏季作物進行了分類。Ienco等[26]結合LSTM算法和時序遙感數據進行不同作物的分類研究，結果表明，在異質性強的區域，LSTM算法的分類精度高于傳統機器學習算法的精度。盡管目前已有研究將LSTM算法應用于時序遙感數據的分類，但很少有研究基于LSTM算法對融合后的中空間、高時間分辨率的遙感數據進行分類，并檢驗不同時間分辨率數據對LSTM算法分類精度的影響。因此，本文融合MODIS和Landsat-8數據以構建空間分辨率為30 m的時序遙感數據，結合時序遙感信息和LSTM算法進行不同作物的分類研究。為了檢驗該方法對遙感分類精度的影響，本文進行以下2方面的對比：1）基于融合前的Landsat-8數據對LSTM模型進行訓練并分類，將其精度和融合數據的分類精度進行對比；2）基于融合數據分別采用LSTM和神經網絡（neural network，NN）算法進行分類，并對比2種算法的精度。

1 研究區域和數據處理

1.1 研究區域概況

臨汾盆地包括整個汾河下游地區以及陜西韓城山前平原，長約200 km，寬約20～25 km，面積約5 000 km2，海拔約400～500 m，自北向南主要包括洪洞縣、堯都區、襄汾縣、曲沃縣、侯馬市、新絳縣、稷山縣和河津市8個縣區（圖1）。臨汾盆地地處半干旱、半濕潤季風氣候區，屬溫帶大陸性氣候，雨熱同期，年平均降水量約500～600 mm，土壤肥沃，灌溉發達，是華北地區重要的糧食生產基地。

圖1 研究區域和樣點的分布

1.2 Landsat數據預處理

本研究獲取了臨汾盆地2015年全年云量小于10%的Landsat-8遙感影像，軌道號為126/035，傳感器類型為OLI/TIRS，影像獲取時間分別為2015-02-16、2015-05-23、2015-06-08、2015-07-26、2015-08-27、2015-09-12、2015-12-17。該影像來源于美國地質勘查局網站（USGS, http://glovis.usgs.gov/）。對獲取的Landsat-8影像進行輻射定標、大氣校正和幾何校正預處理，然后計算歸一化植被指數（normalized difference vegetation index，NDVI）

式中NIR和RED分別為影像的近紅外波段和紅光波段反射率。

1.3 MODIS數據預處理

本文通過美國國家航空航天局網站（NASA，http://reverb.echo.nasa.gov/reverb/）獲取h26v05軌道的MODIS地表反射率產品（MOD09Q1），該產品的時間分辨率為8 d，空間分辨率為250 m。該產品為經過幾何校正和大氣校正的標準2級產品，數據中包含的紅光和近紅外波段與Landsat-8對應的波段如表1所示。利用MRT（MODIS Re-projection Tool）工具將MODIS數據重投影為UTM-WGS84坐標系，對研究區域進行裁剪并利用最近鄰域法將像素大小重采樣為240 m，以便后續利用Landsat-8數據進行MODIS混合像素的分解[27]。將MODIS紅光和近紅外波段影像乘以10-4轉化為[0，1]的地表反射率，計算NDVI，從而構建時間序列MODIS NDVI。

表1 Landsat-8和MODIS影像的對應波段信息

1.4 樣本數據獲取

基于中國氣象數據網（http://data.cma.cn/）提供的農氣資料、空間分辨率為30 m的全球地表覆蓋數據GlobeLand30、Google Earth高分辨率影像和野外調查數據獲取不同土地覆蓋和作物類型樣點的坐標信息，分析不同樣點的時間序列NDVI的變化特征。根據冬小麥-夏玉米、春玉米、冬小麥、林地（包括果園）和建筑用地（包括裸地）區域的NDVI變化特征，隨機選取不同像素并對其時序NDVI進行判定，確定該像素所屬類別，從而在原有樣本基礎上增加樣本數目，最終獲得冬小麥-夏玉米、林地（包括果園）、冬小麥、春玉米和建筑用地（包括裸地）的樣本數分別為100、80、58、68和70，樣點空間分布如圖1所示。每種土地覆蓋類型選取30個樣本作為驗證樣本，其余樣本作為訓練樣本。此外，本文采用GlobeLand30數據中水體的分布區域對研究區域進行掩膜。

2 研究方法

本文的技術流程如圖2，首先對逐像素的時間序列MODIS NDVI進行Savitzky-Golay（S-G）濾波處理，然后利用ESTARFM算法對濾波后的時序MODIS NDVI和Landsat NDVI進行融合，獲得時間分辨率為8天、空間分辨率為30 m的融合NDVI。分別采用以下3種方法進行分類：1）基于訓練樣本的Landsat NDVI對LSTM模型進行訓練，采用訓練后的模型對待測樣本進行判定，獲得研究區域的作物分類圖（稱為“Landsat NDVI+LSTM”方法）；2）基于訓練樣本的融合NDVI訓練LSTM模型并進行作物分類（稱為“融合 NDVI+LSTM”方法）；3）基于訓練樣本的融合NDVI訓練NN模型并進行作物分類（稱為“融合 NDVI+NN”方法）。

2.1 S-G濾波處理

本文采用上包絡線S-G濾波對時序MODIS NDVI進行平滑處理，獲得濾波后的時序MODIS NDVI，其計算方法為[28-29]

式中為濾波后的NDVI；全年有46幅MODIS NDVI影像，表示第1～46時相；為滑動窗口的大小，設為5；為滑動窗口內第個原始NDVI；Eh為窗口內第h個原始NDVI的濾波系數，即Savitzky-Golay多項式擬合的系數，通過查表獲得[30]。

2.2 遙感數據融合

采用ESTARFM算法融合時序MODIS NDVI和Landsat NDVI數據，獲得時間分辨率為8 d、空間分辨率為30 m的融合NDVI，其具體過程為：

1）類別定義及豐度提取。利用非監督分類方法ISO-DATA對Landsat-8影像聚類獲得分類圖，在分類圖上創建大小為MODIS NDVI分辨率（240 m）像素尺度的網格，統計MODIS NDVI混合像素內各土地覆蓋類別的面積占該像素面積的比例，得到各土地覆蓋類別的豐度。

2）降尺度數據獲取。利用全約束的混合像素線性分解模型對MODIS NDVI進行分解[16]，得到各土地覆蓋類的NDVI均值。將求得的NDVI均值依照類別對應到相應像素上，獲得分解后的降尺度NDVI。

3）融合影像生成。在Landsat NDVI影像的局部窗口（窗口大小設為11×11個Landsat-8 OLI像素[16]）內計算中心像素和相鄰像素間的NDVI差值，將NDVI差值小于閾值的像素作為中心像素的相似像素[18]。根據式（3）計算t時刻的逐個相似像素的Landsat NDVI與降尺度NDVI間的光譜差異性S

最后通過式（9）預測t時刻的30 m分辨率NDVI

2.3 作物分類與驗證

最后分別將Landsat NDVI和融合NDVI代入訓練后的LSTM模型進行研究區域不同作物的分類，為了進行對比，同時將融合NDVI代入NN模型進行不同作物分類，本研究中利用ENVI工具實現NN模型的分類過程。通過驗證樣本對3種方法的分類精度進行檢驗和對比，然后基于3種算法的分類結果估測小麥種植面積，并采用臨汾盆地各縣區的小麥種植面積統計數據進一步對分類結果進行檢驗和對比。

3 結果與分析

3.1 Savitzky-Golay濾波

利用S-G濾波對逐像素的時間序列MODIS NDVI進行平滑處理，獲得重構的NDVI，以冬小麥-夏玉米和春玉米樣點的時序NDVI為例進行分析（圖3）。結果表明，原始的MODIS NDVI曲線雖然呈現顯著的波峰、波谷特征，但由于云、大氣和MODIS數據質量的影響，NDVI曲線呈現驟降現象，導致NDVI曲線從波谷到波峰呈鋸齒狀的不規則波動，不利于進行不同作物的物候特征分析。經S-G濾波處理后的NDVI曲線由于去除了噪聲的影響而更加平滑，能夠清晰地反映時序NDVI的長期變化趨勢及局部的突變信息，符合作物的生長特征，能夠滿足識別不同作物種植模式的要求。

3.2 遙感數據融合

基于ESTARFM算法融合時序MODIS NDVI和Landsat NDVI，獲得逐像素的30 m分辨率時序NDVI。為了檢驗ESTARFM算法的準確性，通過2015年5月23日和7月26日的Landsat NDVI預測6月8日的30 m分辨率NDVI，并將其與6月8日的Landsat NDVI進行對比（圖4a）；通過2015年7月26日和9月12日的Landsat NDVI預測8月27日的30 m分辨率NDVI，并將其與8月27日的Landsat NDVI進行對比（圖4b）。結果表明，6月8日、8月27日的預測NDVI與Landsat NDVI間的相關系數分別為0.91和0.95，且散點主要分布在1:1線的附近，表明預測NDVI與Landsat NDVI間的線性相關性較高。因此，融合后的NDVI能夠有效地反映同時期Landsat NDVI的信息，能夠用于不同作物類型的識別。

圖3 S-G濾波后的冬小麥-夏玉米和春玉米的時間序列NDVI

圖4 Landsat NDVI和基于ESTARFM預測NDVI的散點圖

基于中國氣象數據網提供的農氣資料、空間分辨率為30 m的全球地表覆蓋數據GlobeLand30、Google Earth高分辨率影像和野外調查數據獲取不同土地覆蓋和作物類型樣點的坐標信息，并分析不同樣點的時序NDVI的物候特征（圖5）。結果表明，冬小麥-夏玉米種植區域的時序NDVI包含2個大的波峰和1個小的波峰，具有明顯的一年兩季種植模式的變化特征，第1個大波峰出現在DOY（day of year, 年積日）125左右，對應于冬小麥的抽穗-灌漿期，第2個大波峰出現在DOY240左右，對應于夏玉米的抽雄-灌漿期，小波峰出現在DOY330左右，對應于冬小麥的分蘗期。單季冬小麥和單季春玉米種植區域的時序NDVI具有明顯的一年一季作物種植模式的物候特征，春玉米種植區域的時序NDVI僅包含1個波峰，出現在DOY200左右，對應于春玉米的抽雄-灌漿期；單季冬小麥種植區域的時序NDVI包含1個大的波峰和1個小的波峰，大波峰出現在DOY125左右，對應于冬小麥的抽穗-灌漿期，小波峰出現在DOY330左右，對應于冬小麥的分蘗期。冬小麥-其他種植區域的時序NDVI包含1個大的波峰和2個小的波峰。在研究區域范圍內，冬小麥-其他主要包括冬小麥-油葵、冬小麥-棉花和冬小麥-大豆等，由于這些作物種植模式的區域分布較少，本文將其與單季冬小麥合并為一類。林地（包括果園）區域的時序NDVI不具有明顯的作物物候特征，在DOY80左右NDVI開始快速升高，然后基本保持穩定，在DOY270左右NDVI開始緩慢下降。建筑用地（包括裸地）區域的時序NDVI較低，不超過0.2，沒有明顯的波峰波谷現象。

圖5 不同土地覆蓋和作物類型的時序NDVI

3.3 分類結果及精度驗證

將LSTM模型最終的h和全連接層、softmax層的神經元實現連接并構建代價函數，將訓練樣本的30 m分辨率時序NDVI代入LSTM模型進行訓練，當隱藏層維數分別為5、10和30時，分析多次迭代訓練后代價函數的變化。結果表明，無論隱藏層維數為5、10或30，在2 000次迭代內，代價函數均急劇下降，在2 000至4 000次迭代內，代價函數緩慢下降，在4 000次迭代后，代價函數基本保持不變；當隱藏層維數為5時，最終的h和softmax層直接連接，此時代價函數的最低值為0.55，低于隱藏層維數為10和30時的代價函數最低值（分別為0.66和0.65）。因此，本文將隱藏層維數設為5，迭代次數設置為4 000，對LSTM模型進行訓練。

基于Landsat NDVI+LSTM方法、融合NDVI+LSTM方法和融合NDVI+NN方法獲得的分類結果如圖6所示。結果表明，基于3種方法獲取的不同土地覆蓋和作物類型的分布區域大體一致，同時存在一些差異。基于Landsat NDVI+LSTM方法的臨汾盆地中南部的冬小麥-夏玉米分布區域略小于基于融合NDVI+LSTM方法以及基于融合NDVI+NN方法的分類結果；基于Landsat NDVI+LSTM方法的臨汾盆地西北部的冬小麥-夏玉米的分布區域略大于基于融合NDVI+LSTM方法以及基于融合NDVI+NN方法的分類結果。

圖6 臨汾盆地的土地覆蓋和作物類型的分類

采用混淆矩陣對分類結果進行精度評價，評價指標包括總體精度（overall accuracy，OA）、用戶精度（user’s accuracy，UA）、生產者精度（producer’s accuracy，PA）和Kappa系數4項（表2）。結果表明，3種方法的總體精度均大于80%，其中，融合NDVI+LSTM方法的總體精度（90.00%）、Kappa系數（0.88）以及融合NDVI+NN方法的總體精度（88.10%）、Kappa系數（0.86）明顯大于Landsat NDVI+LSTM方法的總體精度（82.86%）、Kappa系數（0.80），表明在基于物候信息進行不同作物識別時，時序遙感數據的時間分辨率對分類精度有重要影響，分辨率越高，分類精度越高。融合NDVI+LSTM方法的分類結果中冬小麥-夏玉米、林地（包括果園）、冬小麥以及春玉米的UA、PA均明顯高于Landsat NDVI+LSTM方法分類結果對應的UA、PA，這是因為以上4種作物種植模式的物候特征顯著，相比于離散的Landsat NDVI，融合后的時序NDVI更加突出物候特征，從而更利于對不同作物種植模式進行識別。同時，融合NDVI+LSTM方法分類的總體精度、Kappa系數與融合NDVI+NN方法的分類精度相差不大，前者比后者略有提高，對于冬小麥-夏玉米、林地（包括果園）及建設用地和裸地，前者的UA、PA與后者相差不大，對于春玉米，前者的PA明顯大于后者。

表2 3種方法的分類精度對比

臨汾盆地包括洪洞縣、堯都區、襄汾縣、曲沃縣、侯馬市、新絳縣、稷山縣和河津市8個縣區，冬小麥是該地區的主要糧食作物之一，估測各縣區2015年的冬小麥種植面積，即分類圖中各縣區冬小麥-夏玉米和單季冬小麥像素所表示的面積之和，然后將各縣區的冬小麥估測面積和統計面積進行相關性分析，并計算估測面積和統計面積間的相對誤差（relative error，RE）和均方根誤差（root mean square error，RMSE）（圖7）。結果表明，基于融合NDVI+LSTM方法（2=0.94，<0.001）和基于融合NDVI+NN方法（2=0.91，<0.001）的小麥估測面積與統計面積間的相關性明顯大于基于Landsat NDVI+LSTM方法的相關性（2=0.71，<0.01）。同時，基于融合NDVI+ LSTM方法（RE=9.89%，RMSE=3 023.37 hm2）和基于融合NDVI+NN方法（RE=11.78%，RMSE=4 386.40 hm2）的估測面積與統計面積間的RE、RMSE均小于基于Landsat NDVI+LSTM方法的RE、RMSE（RE=19.48%，RMSE= 7 712.88 hm2），表明相比于離散的Landsat NDVI，融合后的時序NDVI能夠有效地提高冬小麥面積估測精度。此外，基于融合NDVI+LSTM方法的估測面積和統計面積間的相關性大于基于融合NDVI+NN方法的相關性，前者的RE和RMSE均小于后者的RE和RMSE，表明LSTM算法比NN算法在估測作物面積方面更有優勢。

圖7 臨汾盆地各縣區的冬小麥估測面積和統計面積的對比

4 討 論

本文基于ESTARFM算法融合時序MODIS NDVI和Landsat NDVI得到時間分辨率為8 d、空間分辨率為30 m的NDVI，相比于MODIS NDVI，融合后的NDVI的混合像素減少。相比于離散的Landsat NDVI，融合后的時序NDVI更利于反映作物生長特征，從而更易于提取不同作物類型的物候信息，因而在作物分類和作物面積估測方面的精度更高。然而，基于Landsat NDVI和ESTARFM算法對MODIS NDVI混合像素分解的過程仍存在著不確定性，從而使作物分類結果產生誤差，同樣，30 m空間分辨率的Landsat NDVI在異質性強的區域也存在著混合像素問題。自2017年6月起，可獲取的Sentinel-2數據（包括Sentinel-2A和Sentinel-2B）的有效回訪周期為5 d，相比于Landsat-8數據，Sentinel-2數據的紅光波段和近紅外波段的空間分辨率更高（10 m）。因此，在今后的研究中可采用時間分辨率更高的時序Sentinel-2 NDVI數據進行作物物候信息的提取，同時能夠避免混合像素分解產生的誤差，從而進一步提高不同作物的分類精度。

深度學習中的LSTM算法能夠基于循環的方式獲取時序遙感數據中存在的時間相關性，進而有效地提取作物物候信息從而識別不同作物種植區域。本文基于逐像素的時序NDVI利用LSTM算法進行作物分類，利用混淆矩陣對分類結果進行了精度評估，并根據分類結果獲取了臨汾盆地各縣區的冬小麥估測面積。相比于神經網絡算法，LSTM算法的分類精度和冬小麥的面積估測精度均有所提高。基于LSTM算法能夠從時序遙感數據中提取作物的物候信息，然而，在進行作物分類時，遙感影像的紋理特征同樣能夠提供重要信息[31]，且CNN算法能夠較好地處理遙感影像上的空間相關性。因此，今后的研究中可將LSTM和CNN方法相結合，從而同時利用物候特征和空間紋理特征進行不同作物的分類。

5 結 論

對臨汾盆地逐像素的時序MODIS NDVI進行S-G濾波，然后基于ESTARFM算法融合Landsat NDVI和濾波后的時序MODIS NDVI，獲得時間分辨率為8 d、空間分辨率為30 m的NDVI，結合訓練樣本的融合NDVI和LSTM算法進行臨汾盆地不同作物的分類，并將其分類精度分別與基于Landsat NDVI、基于NN算法的分類精度進行對比，主要結論為：

1）S-G濾波處理后的時序MODIS NDVI能夠有效地去除云、大氣和MODIS數據質量的影響，從而反映不同作物的NDVI的長期變化趨勢和局部突變信息，有效地表達了不同作物的物候特征。

2）基于ESTARFM算法融合生成的30 m分辨率NDVI與相同日期的Landsat NDVI間的線性相關性較高。基于融合NDVI的分類精度明顯高于基于Landsat NDVI的分類精度，且前者的小麥估測面積與統計面積間的誤差明顯低于后者的估測誤差，說明NDVI時間分辨率的提高能夠更加突出作物物候特征，從而提高作物分類及面積估測精度；基于融合NDVI和LSTM的分類精度略高于基于融合NDVI和NN的分類精度，且前者的小麥估測面積與統計面積間的誤差低于后者的估測誤差，說明基于LSTM算法的作物分類及面積估測精度優于NN算法的精度。

[1] 王利民，劉佳，楊福剛，等. 基于GF-1衛星遙感的冬小麥面積早期識別[J]. 農業工程學報，2015，31(11)：194－201.

Wang Limin, Liu Jia, Yang Fugang, et al. Early recognition of winter wheat area based on GF-1 satellite[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(11): 194—201. (in Chinese with English abstract)

[2] 歐陽玲，毛德華，王宗明，等. 基于GF-1 與Landsat8 OLI 影像的作物種植結構與產量分析[J]. 農業工程學報，2017，33(11)：147—156.

Ouyang Ling, Mao Dehua, Wang Zongming, et al. Analysis crops planting structure and yield based on GF-1 and Landsat8 OLI images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(11): 147—156. (in Chinese with English abstract)

[3] 黃健熙，侯矞焯，蘇偉，等. 基于GF-1 WFV數據的玉米與大豆種植面積提取方法[J]. 農業工程學報，2017，33(7)：164—170.

Huang Jianxi, Hou Yuzhuo, Su Wei, et al. Mapping corn and soybean cropped area with GF-1 WFV data[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(7): 164—170. (in Chinese with English abstract)

[4] Skakun S, Franch B, Vermote E, et al. Early season large-area winter crop mapping using MODIS NDVI data, growing degree days information and a Gaussian mixture model[J]. Remote Sensing of Environment, 2017, 195: 244—258.

[5] 郝鵬宇，唐華俊，陳仲新，等. 基于歷史增強型植被指數時序的農作物類型早期識別[J]. 農業工程學報，2018，34(13)：179—186.

Hao Pengyu, Tang Huajun, Chen Zhongxin, et al. Early season crop type recognition based on historical EVI time series[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(13): 179—186. (in Chinese with English abstract)

[6] Bargiel D. A new method for crop classification combining time series of radar images and crop phenology information[J]. Remote Sensing of Environment, 2017, 198: 369—383.

[7] Clark M L. Comparison of simulated hyperspectral HyspIRI and multispectral Landsat 8 and Sentinel-2 imagery for multi-seasonal, regional land-cover mapping[J]. Remote Sensing of Environment, 2017, 200: 311—325.

[8] Veloso A, Mermoz S, Bouvet A, et al. Understanding the temporal behavior of crops using Sentinel-1 and Sentinel-2-like data for agricultural applications[J]. Remote Sensing of Environment, 2017, 199: 415—426.

[9] 王鵬新，荀蘭，李俐，等. 基于時間序列葉面積指數傅里葉變換的作物種植區域提取[J]. 農業工程學報，2017，33(21)：207—215.

Wang Pengxin, Xun Lan, Li Li, et al. Extraction of planting areas of main crops based on Fourier transformed characteristics of time series leaf area index products[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(21): 207－215. (in Chinese with English abstract)

[10] 常布輝，王軍濤，羅玉麗，等. 河套灌區沈烏灌域GF-1/WFV 遙感耕地提取[J]. 農業工程學報，2017，33(23)：188—195.

Chang Buhui, Wang Juntao, Luo Yuli, et al. Cultivated land extraction based on GF-1/WFV remote sensing in Shenwu irrigation area of Hetao Irrigation District[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(23): 188—195. (in Chinese with English abstract)

[11] 許青云，楊貴軍，龍慧靈，等. 基于MODIS NDVI多年時序數據的農作物種植識別[J]. 農業工程學報，2014，30(11)：134—144.

Xu Qingyun, Yang Guijun, Long Huiling, et al. Crop information identification based on MODIS NDVI time-series data[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(11): 134—144. (in Chinese with English abstract)

[12] 王連喜，徐勝男，李琪，等. 基于決策樹和混合像元分解的江蘇省冬小麥種植面積提取[J]. 農業工程學報，2016，32(5)：182—187.

Wang Lianxi, Xu Shengnan, Li Qi, et al. Extraction of winter wheat planted area in Jiangsu province using decision tree and mixed-pixel methods[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(5): 182—187. (in Chinese with English abstract)

[13] Cai Yaping, Guan Kaiyu, Peng Jian, et al. A high-performance and in-season classification system of field-level crop types using time-series Landsat data and a machine learning approach[J]. Remote Sensing of Environment, 2018, 210: 35—47.

[14] Emelyanova I V, Mcvicar T R, Van Niel T G, et al. Assessing the accuracy of blending Landsat-MODIS surface reflectances in two landscapes with contrasting spatial and temporal dynamics: A framework for algorithm selection[J]. Remote Sensing of Environment, 2013, 133: 193—209.

[15] Jia Kun, Liang Shunlin, Zhang Ning, et al. Land cover classification of finer resolution remote sensing data integrating temporal features from time series coarser resolution data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 93(7): 49—55.

[16] 謝登峰，張錦水，孫佩軍，等. 結合像元分解和STARFM 模型的遙感數據融合[J]. 遙感學報，2016，20(1)：62—72.

Xie Dengfeng, Zhang Jinshui, Sun Peijun, et al. Remote sensing data fusion by combining STARFM and downscaling mixed pixel algorithm[J]. Journal of Remote Sensing, 2016, 20(1): 62—72. (in Chinese with English abstract)

[17] Gao Feng, Masek J, Schwaller M, et al. On the blending of the Landsat and MODIS surface reflectance: Predicting daily Landsat surface reflectance[J]. IEEE Transactions on Geoscience and Remote Sensing, 2006, 44(8): 2207—2218.

[18] Zhu Xiaolin, Chen Jin, Gao Feng, et al. An enhanced spatial and temporal adaptive reflectance fusion model for complex heterogeneous regions[J]. Remote Sensing of Environment, 2010, 114: 2610—2623.

[19] Geng Jie, Fan Jianchao, Wang Hongyu, et al. High-resolution SAR image classification via deep convolutional autoencoders[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(11): 2351—2355.

[20] Liang Heming, Li Qi. Hyperspectral imagery classification using sparse representations of convolutional neural network features[J]. Remote Sensing, 2016, 8(2): 1—16.

[21] Lyu Haobo, Lu Hui, Mou Lichao. Learning a transferable change rule from a recurrent neural network for land cover change detection[J]. Remote Sensing, 2016, 8(6): 1—22.

[22] Chen Yushi, Lin Zhouhan, Zhao Xing, et al. Deep learning-based classification of hyperspectral data[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 7(6): 2094—2107.

[23] Zhong Liheng, Hu Lina, Zhou Hang. Deep learning based multi-temporal crop classification[J]. Remote Sensing of Environment, 2019, 221: 430—443.

[24] Kussul N, Lavreniuk M, Skakun S, et al. Deep learning classification of land cover and crop types using remote sensing data[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(5): 778—782.

[25] Sharma A, Liu Xiuwen, Yang Xiaojun, et al. A patch-based convolutional neural network for remote sensing image classification[J]. Neural Networks, 2017, 95: 19—28.

[26] Ienco D, Gaetano R, Dupaquier C, et al. Land cover classification via multitemporal spatial data by deep recurrent neural networks[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(10): 1685—1689.

[27] 鄔明權，牛錚，王長耀. 利用遙感數據時空融合技術提取水稻種植面積[J]. 農業工程學報，2010，26(增刊2)：48—52.

Wu Mingquan, Niu Zheng, Wang Changyao. Mapping paddy fields by using spatial and temporal remote sensing data fusion technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(Supp.2): 48—52. (in Chinese with English abstract)

[28] Chen Jin, J?nsson P, Tamura M, et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky-Golay filter[J]. Remote Sensing of Environment, 2004, 91: 332—344.

[29] Xun Lan, Wang Pengxin, Li Li, et al. Identifying crop planting areas using Fourier-transformed feature of time series MODIS leaf area index and sparse-representation- based classification in the North China Plain[J]. International Journal of Remote Sensing, 2018: 1—19.

[30] Savitzky A, Golay M J E. Smoothing and differentiation of data by simplified least squares procedures[J]. Analytical Chemistry, 1964, 36(8): 1627—1639.

[31] Zhang Lefei, Zhang Liangpei, Tao Dacheng, et al. On combining multiple features for hyperspectral remote sensing image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2012, 50(3): 879—893.

Crop classification based on multi-source remote sensing data fusion and LSTM algorithm

Xie Yi1, Zhang Yongqing1, Xun Lan2, Chai Xurong1

(1.,,041004,; 2,,100094,)

Accurate distribution information of crop types is vital for monitoring crop growth, guiding agricultural production, and making effective management measurements. Time series remote sensing data can reflect phenological characteristics of crops, which have more advantages than single temporal data in identifying crop types or planting patterns. MODIS and Landsat data can be fused to obtain time series data with medium spatial resolution and high temporal resolution, which can be used for classifying different crops based on phenology characteristics. In this study, in order to test the accuracy of combining long short-term memory (LSTM) algorithm with time series remote sensing data in crop classification, the Linfen basin was chosen as the study area for obtaining crop distribution map. At first, the Savitzky-Golay filter was used to denoise and reconstruct time series MODIS NDVI data. Then the filtered MODIS NDVI and Landsat NDVI were merged by the enhanced spatial and temporal adaptive reflectance fusion model (ESTARFM) to generate time series NDVI with a spatial resolution of 30 m pixel by pixel. Based on field investigation, GlobeLand30 data, Google Earth images and agro-meteorological stations data, we obtained the coordinate information of several sampling sites representing different land cover and crop types. The phenological characteristics of time series NDVI of the pixels covering the sampling sites were analyzed, and the types of randomly selected pixels were determined based on the phenological characteristics for increasing the number of sampling sites. Three methods were used for crop classification in this study: 1) the Landsat NDVI of training samples were used to train the LSTM model, and the trained LSTM model was adopted to determine the crop type pixel by pixel (called the Landsat NDVI+LSTM method); 2) the fused NDVI of training samples were used to train the LSTM model for crop classification (called the fused NDVI+LSTM method); and 3) the fused NDVI of training samples were used to train the neural network (NN) model for crop classification (called the fused NDVI+NN method). In order to compare the accuracies of the three methods, the classification accuracies were evaluated with the validation samples. The evaluation indexes included overall accuracy (OA) and Kappa coefficient. Also, the planting area of winter wheat for each county of the study area was estimated according to the crop classification map, and the relative error (RE) and root mean square error (RMSE) between estimated and statistical wheat areas were calculated for further validating the accuracies of the three methods. Results showed that the Savitzky-Golay filter can remove the influence of factors such as cloud and atmosphere, thus the reconstructed time series MODIS NDVI curves could reflect the phenological characteristics of crops effectively. Positive correlation between the fused NDVI and the Landsat NDVI indicated the fused NDVI can reflect the information of Landsat NDVI effectively. The classification accuracies based on the fused NDVI, either using the fused NDVI+LSTM (OA=90.00%, Kappa=0.88) or fused NDVI+NN (OA=88.10%, Kappa=0.86) methods, were significantly higher than the accuracy of the Landsat NDVI+LSTM method (OA=82.86%, Kappa=0.80). The RE and RMSE of the formers were lower than those of the latter. These results indicated that the fused time series NDVI could highlight the phenological information of different crop types, thus the classification accuracy can be improved significantly. In addition, the classification accuracy of the fused NDVI+LSTM method was slightly higher than that of the fused NDVI+NN method, and the RE and RMSE of the former were lower than those of the latter. These indicated that the classification accuracy of LSTM algorithm was higher than that of the NN algorithm. This study can provide an important reference for accurately extracting distribution information of different crops in the study area.

crops; remote sensing; classification; data fusion; phenological characteristics; long short-term memory; neural network

10.11975/j.issn.1002-6819.2019.15.017

S127

A

1002-6819(2019)-15-0129-09

2019-06-04

2019-07-28

國家自然科學基金面上項目（31571604）

解 毅，博士，講師，主要從事定量遙感及其在農業中的應用研究。Email：a791909926@163.com

解 毅，張永清，荀 蘭，柴旭榮. 基于多源遙感數據融合和LSTM算法的作物分類研究[J]. 農業工程學報，2019，35(15)：129－137. doi：10.11975/j.issn.1002-6819.2019.15.017 http://www.tcsae.org

Xie Yi, Zhang Yongqing, Xun Lan, Chai Xurong. Crop classification based on multi-source remote sensing data fusion and LSTM algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(15): 129－137. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.15.017 http://www.tcsae.org