基于深度學習的大棚及地膜農田無人機航拍監測方法

孫 鈺 韓京冶 陳志泊 史明昌 付紅萍 楊 猛

(1.北京林業大學信息學院， 北京 100083； 2.北京林業大學水土保持學院， 北京 100083)

0 引言

近年來，隨著農業現代化的快速發展，設施農業技術逐漸成熟，我國設施農業面積迅速擴大，已成為全球設施農業大國。農業大棚作為新興的農業設施，具有價格低廉、抵御病蟲害、降低氣候環境的影響、提高單位面積產量等突出優點[1-2]。同樣，地膜作為現代農業重要的生產資料，其蓄水、保溫、保墑、保藥等作用顯著，利于作物早熟，提高產量和品質[2]。2014年我國大棚和地膜覆蓋面積近20萬km2[3]，大棚和地膜農田已經成為重要的土地覆蓋類型(地類)。

傳統的大棚和地膜覆蓋面積信息獲取以人工實地測定為主，該方式需要耗費大量的人力、物力，且無法獲得準確地理分布情況。準確獲取大棚和地膜覆蓋面積對于農作物監測、農業產值估算以及政府合理發放補貼具有重要的意義。

隨著遙感技術的發展，基于衛星遙感影像的大棚和地膜農田監測方法成為研究熱點，AGUERA 等[4]提出一種利用紋理分析提高大棚像素分類精度的方法。黃振國等[5]針對山東壽光大棚菜地，提出了一種基于HJ-1影像的知識分類法，該方法綜合了遙感影像的光譜特征、空間結構特征、地物分布規律以及來自專家的經驗，其分類總體精度為92.01% 。王志盼等[6]基于Landsat影像提出一種基于增強型水體指數的大棚遙感檢測方法，分類總體精度在75%以上。沙先麗[7]提出一種決策樹模型，實現了地膜農田信息的提取方法，分類總體精度達到90%以上。盡管方法眾多，但衛星遙感影像價格昂貴、獲取周期時間長、容易受到自然環境(如云層)影響、分辨率較低，進而影響大棚和地膜農田的識別精度，難以滿足小區域、精度要求高的農業監測需求。

無人機(Unmanned aerial vehicle，UAV)是利用無線電遙控設備和自備的程序控制裝置操縱的無人駕駛飛機[8]，具有機動性強、獲取影像分辨率高、時效性高、成本低的優點，越來越多的學者將無人機用于資源調查與監測領域[9-12]。這些基于無人機影像的監測方法，大部分依舊沿用傳統衛星遙感解譯方法，人工選取特征參數如光譜、紋理、形狀等進行分類，不僅需要領域專家的先驗知識，而且工程量大。自2012年KRIZHEVSKY等[13]利用深度學習技術刷新了ImageNet大規模視覺識別競賽的世界紀錄以來，深度學習技術在圖像分類、圖像語義分割等方面已經取得了令人矚目的成就。圖像語義分割是將像素按照圖像中表達的含義進行分組，屬于像素級別的分類。利用卷積神經網絡(Convolution neural network, CNN)的分割方法[14]，在PASCAL VOC 2012圖像分割數據集上的mIoU(Mean intersection-over-union)達到51.6%，達到當時最佳的性能。但CNN對于小目標識別精度不夠且計算效率低下。基于全卷積神經網絡的圖像語義分割方法[15]，將mIoU提高到62.2%。文獻[16]將全連接的條件隨機場(Conditional random field, CRF)作為FCN的后處理的方法，將mIoU提高到66.4%。文獻[17]實現端到端訓練FCN和CRF的分割方法，將mIoU提高到74.7%。但CRF具有訓練代價大、復雜度高的缺點，對于高分辨率的無人機影像，存在計算成本大、處理耗時長等問題。

針對現有無人機航拍監測研究存在特征選擇復雜、識別精度較低、處理時間較長等不足，本文基于深度學習圖像語義分割算法，提出一種端到端的無人機影像大棚和地膜農田識別方法。選用赤峰市王爺府鎮大棚和地膜農田無人機航拍影像，其中大棚與該區域的廣場石磚顏色相近，地膜農田間隙中的土地與普通耕地特征相近，同時影像分辨率高、細節豐富、數據量大，使研究具有典型性和代表性。針對數據集的特點，提出一套完整的無人機航拍監測方法，構建全卷積神經網絡，從數據中自動學習特征，將像素按照影像中表達語義的不同進行分割，獲得更為準確的大棚和地膜覆蓋面積及地理分布信息。

1 數據材料

1.1 研究區概況

圖1 研究區位置Fig.1 Location of study area

1.2 數據獲取與預處理

采用六旋翼無人機，搭載索尼NEX-5k相機，詳細參數見表1、2。無人機按照規劃好的航線飛行，飛行高度300 m，飛行速度5 m/s，鏡頭垂直航拍，航拍影像為RGB圖像，其空間分辨率為8 cm。

表1 無人機主要參數Tab.1 Main specifications of UAV

表2 索尼NEX-5k相機主要參數Tab.2 Main specifications of Sony NEX-5k camera

圖2 無人機航拍影像Fig.2 UAV aerial images

無人機航片通過商用無人機圖像拼接軟件Pix4Dmapper進行正射校正和拼接處理：首先導入篩選后的無人機航片并添加地理位置信息，通過空中三角測量法自動實現控制點加密，結合地面控制點數據實現航片的幾何校正，最終生成正射影像。本研究選擇5塊典型區域，區域1為3 000像素×5 000像素(圖2a)，覆蓋面積為0.096 km2。區域2為5 000像素×5 000像素(圖2b)，覆蓋面積為0.16 km2。測試區域1、2、3均為5 000像素×5 000像素(圖2c、2d、2e)，覆蓋面積均為0.16 km2，各區域均無交集。

2 識別方法

2.1 全卷積神經網絡(FCN)

采用全卷積神經網絡實現像素級別的分類。FCN具有和CNN相同的構建塊，即卷積層和下采樣層。卷積層是深度神經網絡的核心，用于提取圖像的顏色、紋理、形狀等特征，下采樣層用于減小特征的大小并減少網絡所需的計算量，也用于防止過擬合。目前FCN主要是基于現有卷積神經網絡如AlexNet[13]、VGGNet[18]、GoogleNet[19]和ResNet[20]，然后進行微調操作來實現語義分割任務。

FCN與CNN區別在于，CNN在卷積層之后使用全連接層得到固定長度的特征向量進行分類，但這樣會丟失空間信息；而FCN把全連接層替換成卷積層后，對最后一個卷積層的特征圖進行上采樣，使它恢復到輸入圖像相同的大小，從而每個像素都有一個預測值，并保留了原始輸入圖像中的空間信息，實現逐像素分類，如圖3所示。

圖3 FCN基本結構Fig.3 Basic structure of FCN

2.2 多尺度特征融合

圖4 多尺度特征融合示意圖Fig.4 Multi-scale feature illustration

由于高分辨率無人機影像具有很多細節信息，如低矮的農作物、車輛等。如果直接將全卷積后的結果進行反卷積，會丟失很多細節特征，得到的結果比較粗糙。因此為了提取影像中細節信息，本文在反卷積時采取融合一部分較淺層的細節特征信息的方法優化輸出。如圖4所示，考慮大棚和地膜農田無人機影像與PASCAL VOC 2012數據集有較大差異，因此在原有的FCN-32s、FCN-16s、FCN-8s 3種網絡結構模型的基礎上，融合了更淺層的特征圖實現了FCN-4s、FCN-2s 2種網絡結構模型，然后通過實驗確定最適合大棚和地膜農田識別任務的FCN模型。

3 實驗

分別對融合不同尺度細節特征的FCN-32s、FCN-16s、FCN-8s、FCN-4s、FCN-2s網絡結構模型進行訓練，完整實驗流程如圖5所示。

圖5 實驗流程圖Fig.5 Experiment flow chart

3.1 數據集劃分與數據標注

考慮到實驗運行時間和配合網絡結構等因素，將5塊區域的影像分割成若干個500像素×500像素的圖像，如圖2所示，訓練集為120幅，驗證集為40幅，測試集為300幅。

2.1.3 采樣方法。按照土壤樣品采集技術規范，以懷安縣太平莊鄉的2塊地、陽原縣大田洼鄉的2塊地共4塊地為試驗地塊，分別在每塊地的15和30 cm深度層面上隨機抽取5個位置，在每個位置上選擇3個不同點，然后將15個點得到的土壤按相同的重量混合在一起，獲得該地塊相應深度層面的混合土壤樣本，重量以1 kg為宜，相同樣本采集3個，每塊地2個深度得到混合土壤樣本6個，4塊地共得到24個混合土壤樣本。

圖6 數據標注流程Fig.6 Data annotation procedure

由于無人機影像分辨率高、細節清晰，本文采用人工目視分類為主、地面調查的結果為輔的方式對影像進行像素級語義標注，作為實驗分割標準。首先使用零參數的簡單線性迭代聚類的超像素圖像分割算法[21]，自適應地選擇每個超像素的緊湊度參數，將無人機影像(圖6a)分成10 000塊緊湊、均勻尺寸的超像素(圖6b)，得到的超像素邊緣更加規整，提高了標注效果。通過標注每個超像素的類不僅能確定出整幅圖的類別區域，而且會大幅度地提升標記速度。然后進行顏色填充，其中背景類的RGB值為(0，0，0)，大棚類的RGB值為(128，0，0)，地膜農田類的RGB值為(0，128，0)，生成標注圖像(圖6c)。

3.2 模型訓練

本實驗采取Linux下的Chainer深度學習平臺[22]，考慮到無人機影像數據量大，計算時間長，因此采用NVIDIA Titan X GPU加速模型訓練，其中FCN的初始模型為VGG-16，使用在ImageNet數據集[23]上的預訓練模型進行微調，選用隨機梯度下降優化算法(Stochastic gradient descent,SGD)，并引入動量進行優化，其中動量為0.99，學習率為1×10-10。原始的SGD算法將訓練集分成多個批量，每次利用一個批量的樣本數據更新參數，公式定義為

xt+1=xt+Δxt

(1)

其中

Δxt=-ηgt

(2)

式中，η是學習率，gt是x在t時刻的梯度，利用一個批量數據更新可以減少計算量并提升收斂速率。但SGD最大的缺點在于每次更新依賴當前的批量，可能按照錯誤的方向進行。因此本文引入動量改進的SGD算法，更新時在一定程度上保留之前的更新方向，并微調當前批量梯度的更新方向，公式定義為

Δx=ρΔxt-1-ηgt

(3)

其中ρ為動量，表示在多大程度上保留原有的更新方向。因此帶動量的SGD算法增加了穩定性、學習速度更快。本實驗選用交叉熵作為損失函數，用于衡量神經網絡的預測值與實際值差異，公式定義為

(4)

其中

(5)

式中n——訓練數據個數

y——期望的輸出σ——激活函數

a——神經元實際輸出

wi——權重向量xi——輸入向量

b——偏置向量

4 結果與分析

為驗證本文方法的有效性以及泛化能力，選擇無交集的測試區域1、2、3作為測試集進行實驗驗證。對5種FCN網絡結構模型進行訓練和評估，并與目前廣泛應用的ENVI軟件和eCognition軟件的識別效果進行比較。同時采取整體正確率和混淆矩陣兩種方法來評判識別精度效果。

4.1 大棚、地膜農田識別結果

利用ENVI軟件進行基于像素的分類方法的對比實驗，通過軟件中ROI工具在測試區域影像上添加感興趣區(Regions of interest , ROI)，通過ENVI軟件中分類器自帶的支持向量機(Support vector machine, SVM)方法進行分類。然后利用eCognition軟件進行面向對象的分類方法的對比實驗，進行影像分割，并通過試誤法確定多尺度分割的最佳參數：分割尺度為200、形狀權重為0.4、緊致度權重為0.5。影像中大棚、地膜農田在幾何和紋理等特征方面與其它地物有明顯區別，因此對分割后的影像進行光譜、紋理和形狀的特征提取，其中光譜特征包括各波段均值、標準差、比率、亮度等信息，在高分辨率無人機影像中能夠提取豐富紋理特征，彌補光譜數據少的缺點，形狀特征為長寬比、形狀指數等，并采用SVM方法進行分類。最后對5種FCN模型進行分類實驗，統計各方法的整體正確率，如表3所示。5種FCN模型中，FCN-4s整體識別率最高，為96.10%、97.52%、97.40%，而FCN-32s的整體識別率最低。FCN-4s相比FCN-32s融合了更多細節特征進而優化識別效果。從表3中可以觀察到隨著融合細節特征的增加，FCN-32s、FCN-16s、FCN-8s、FCN-4s整體正確率逐漸提升，但FCN-2s獲取的過多淺層細節特征無助于正確率的進一步提升。

表3 各方法的整體正確率Tab.3 Overall accuracy of each method %

圖7為識別效果圖，通過對比可知，FCN-4s在3種方法中識別效果最好，基于像素的分類方法識別結果較差，出現椒鹽現象和碎片化，面向對象的分類方法雖然明顯改善椒鹽現象，但對于地膜農田和背景的分類存在大量錯分情況。

圖7 測試集識別結果對比Fig.7 Comparisons of experimental results on test set

4.2 實驗結果分析

4.2.1識別精度評價

采用混淆矩陣的方法進行分析，混淆矩陣的行代表分類器預測出的類別，列代表實際類別。由表4～6可知，對于測試區域1、2、3，FCN-4s對背景的識別精度為97.06%、98.55%、97.94%，對大棚識別精度為96.74%、93.91%、95.71%，對地膜農田識別精度為93.08%、98.18%、96.80%。而基于像素的分類方法對于大棚的識別效果較好，但對于背景和地膜農田效果較差，兩者存在大量錯分現象。面向對象的分類方法相比基于像素的分類方法對地膜農田識別精度有明顯提升，但對背景類識別效果依舊較差，主要原因是背景類(包含裸地和未覆蓋地膜的農田)與地膜農田特征相近，增加了錯分的可能。實驗結果證明，本文FCN-4s模型識別效果明顯優于上述兩種方法，對背景和地膜農田的錯分情況有顯著改善。

4.2.2識別速度評價

為驗證模型的識別效率，將5種FCN模型分別對測試集進行100次實驗，統計運行時間，并與基于像素的分類方法、面向對象的分類方法進行比較。相比ENVI和eCognition遙感軟件，本文方法采用GPU加速對模型的訓練和識別。由表7可知，5種FCN模型運行時間均明顯小于面向對象的分類方法和基于像素的分類方法的運行時間。通過對比5種FCN模型的平均運行時間，FCN-32s模型用時最少，為16.43 s，FCN-4s次之，為16.85 s。同時統計了整體正確率最高的FCN-4s模型不進行GPU加速的平均運行時間，為536.80 s。因此利用GPU加速能夠有效地提升模型的識別速度。

表4 測試區域1實驗結果的混淆矩陣Tab.4 Confusion matrix of experiment results in test region 1 %

表5 測試區域2實驗結果的混淆矩陣Tab.5 Confusion matrix of experiment results in test region 2 %

表6 測試區域3實驗結果的混淆矩陣Tab.6 Confusion matrix of experiment results in test region 3 %

5 結論

(1)利用無人機采集高分辨率、低成本的航拍影像彌補了衛星遙感影像分辨率低、成本高、獲取周期長的缺點。提出一種基于深度學習的大棚及地膜農田無人機監測方法，利用全卷積神經網絡自動提取和學習圖像的顏色、紋理、形狀等特征，避免了傳統分類方法復雜的特征選擇過程，實現模型端到端訓練。

表7 各方法的平均運行時間Tab.7 Average runtime of each method

(2)采用多尺度的特征融合方法，實現了5種FCN模型，通過實驗選擇出識別效果最好的FCN模型：FCN-4s。該模型通過融合適量底層細節信息特征，得到了較好的識別效果，對于測試區域1、2、3，本方法的平均整體正確率為97%，明顯高于基于像素分類方法和面向對象的分類方法，對大棚及地膜農田有較好的識別效果。

(3)本文方法識別速度較快，利用GPU加速等手段優化了模型的識別速度，運行時間明顯小于基于像素的分類方法和面向對象的分類方法的運行時間。

(4)研究結果表明，本方法能夠滿足對大棚和地膜農田監測的要求，具有廣泛的應用前景。

1 王勉. 高效設施農業發展現狀及趨勢分析[J]. 經濟論壇, 2012, 2(2): 108-111.

WANG Mian.The development status and trend of high efficiency facility agriculture[J].Economic Forum,2012,2(2):108-111.(in Chinese)

2 李中華, 王國占, 齊飛. 我國設施農業發展現狀及發展思路[J]. 中國農機化, 2012，34(1): 7-10.

LI Zhonghua,WANG Guozhan,QI Fei.Current situation and thinking of development of protected agriculture in China[J].Chinese Agricultural Mechanization,2012，34(1):7-10.(in Chinese)

3 趙愛琴, 魏秀菊, 朱明. 基于Meta-analysis 的中國馬鈴薯地膜覆蓋產量效應分析[J].農業工程學報, 2015, 31(24):1-7.

ZHAO Aiqin,WEI Xiuju,ZHU Ming. Meta-analysis on impact of plastic film on potato yield in China[J]. Transactions of the CSAE, 2015, 31(24):1-7.(in Chinese)

4 AGUERA F, AGUILAR F J, AGUILAR M A. Using texture analysis to improve per-pixel classification of very high resolution images for mapping plastic greenhouses[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2008, 63(6): 635-646.

5 黃振國,陳仲新,劉芳清,等.基于HJ-1影像的大棚菜地遙感監測技術研究[J].中國農業資源與區劃, 2013,34(5):102-106.

HUANG Zhen’guo,CHEN Zhongxin,LIU Fangqing, et al.Monitoring of greenhouse vegetables land using HJ-1 remotely-sensed imagery[J].Chinese Journal of Agricultural Resources and Regional Planning,2013,34(5):102-106.(in Chinese)

6 王志盼,張清凌,錢靜,等.基于增強型水體指數的大棚遙感檢測研究——以廣東江門地區為例[J].集成技術,2017,6(2):12-21.

WANG Zhipan,ZHANG Qingling,QIAN Jing,et al.Greenhouse extraction based on the enhanced water index—a case study in Jiangmen of Guangdong[J].Journal of Integration Technology,2017,6(2):12-21.(in Chinese)

7 沙先麗.地膜農田遙感信息提取及覆膜地表溫度反演[D]. 杭州：浙江大學, 2012.

SHA Xianli.A study on extraction of plastic-mulched landcover and in retrieval of mulched land surface temperature using remote sensing data[D].Hangzhou：Zhejiang University,2012.(in Chinese)

8 WATTS A C, AMBROSIA V G, HINKLEY E A. Unmanned aircraft systems in remote sensing and scientific research: classification and considerations of use[J]. Remote Sensing, 2012, 4(6): 1671-1692.

9 劉峰,劉素紅,向陽.園地植被覆蓋度的無人機遙感監測研究[J/OL].農業機械學報,2014,45(11):250-257. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20141139&journal_id=jcsam.DOI:10.6041/j.issn.1000-1298.2014.11.039.

LIU Feng,LIU Suhong,XIANG Yang.Study on monitoring fractional vegetation cover of garden plots by unmanned aerial vehicles[J/OL].Transactions of the Chinese Society for Agricultural Machinery,2014,45(11):250-257.(in Chinese)

10 HUNG C, XU Z, SUKKARIEH S. Feature learning based approach for weed classification using high resolution aerial images from a digital camera mounted on a UAV[J]. Remote Sensing, 2014, 6(12): 12037-12054.

11 魯恒, 付蕭, 賀一楠, 等. 基于遷移學習的無人機影像耕地信息提取方法[J/OL]. 農業機械學報, 2015, 46(12): 274-279.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20151237&journal_id=jcsam.DOI:10.6041/j.issn.1000-1298.2015.12.037.

LU Heng,FU Xiao,HE Yi’nan,et al.Cultivated land information extraction from high resolution UAV images based on transfer learning[J/OL].Transactions of the Chinese Society for Agricultural Machinery,2015,46(12):274-279.(in Chinese)

12 韓文霆, 郭聰聰, 張立元,等. 基于無人機遙感的灌區土地利用與覆被分類方法[J/OL]. 農業機械學報, 2016, 47(11):270-277.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20161137&journal_id=jcsam.DOI:10.6041/j.issn.1000-1298.2016.11.037.

HAN Wenting,GUO Congcong,ZHANG Liyuan,et al.Classification method of land cover and irrigated farm land use based on UAV remote sensing in irrigation[J/OL].Transactions of the Chinese Society for Agricultural Machinery,2016,47(11):270-277.(in Chinese)

13 KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]∥Advances in Neural Information Processing Systems, 2012: 1097-1105.

14 HARIHARAN B, ARBELAEZ P,GIRSHICK R, et al. Simultaneous detection and segmentation[C]∥European Conference on Computer Vision. Springer International Publishing, 2014: 297-312.

15 LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic segmentation[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015: 3431-3440.

16 CHEN L C, PAPANDREOU G, KOKKINOS I, et al. Semantic image segmentation with deep convolutional nets and fully connected crfs[C] ∥International Conference on Learning Representations (ICLR), 2015.

17 ZHENG S, JAYASUMANA S, ROMERAP B, et al. Conditional random fields as recurrent neural networks[C]∥Proceedings of the IEEE International Conference on Computer Vision,2015: 1529-1537.

18 SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[C]∥International Conference on Learning Representations (ICLR),2015.

19 SZEGEDY C, LIU W, JIA Y, et al. Going deeper with convolutions[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015: 1-9.

20 HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 770-778.

21 ACHANTA R, SHAJI A, SMITH K, et al. SLIC Superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2282.

22 TOKUI S, OONO K, HIDO S, et al. Chainer: a next-generation open source framework for deep learning[C]∥Proceedings of workshop on machine learning systems (LearningSys) in the twenty-ninth annual conference on neural information processing systems (NIPS), 2015:1-6.

23 RUSSAKOVSKY O, DENG J, SU H, et al. ImageNet large scale visual recognition challenge[J]. International Journal of Computer Vision, 2015, 115(3): 211-252.