基于無人機多光譜影像的柑橘樹冠分割方法研究

韓蕊，慕濤陽，趙偉，李丹

(東北林業(yè)大學信息與計算機工程學院，哈爾濱 150040)

遙感技術(shù)于19世紀初期出現(xiàn)，揭開了當今遙感技術(shù)的序幕。經(jīng)歷了將近200年的蓬勃發(fā)展，遙感技術(shù)已經(jīng)廣泛應用于城市測繪、3D地圖、病蟲害識別、地質(zhì)勘查、植被變化監(jiān)測、水文等領域[1]。隨著無人機(unmanned aerial vehicle，UAV)逐漸由軍事專用轉(zhuǎn)向民用商用，以及各種高精度、小體積、輕質(zhì)量的傳感器不斷面世[2]，越來越多的傳感器被安裝并應用于無人機遙感中。無人機在一定程度上克服了地面遙感和衛(wèi)星遙感的不足，這使得無人機遙感迅速發(fā)展并應用于實踐[3-5]。

利用無人機搭載多光譜傳感器，在植被檢測、土壤檢測、地物識別與分類、病蟲害檢測、生物量預估、參數(shù)反演等方面已被廣泛應用，基于UAV的農(nóng)林業(yè)信息化已取得顯著成果。孫釗等[6]基于面向?qū)ο蟮姆椒▽Ω哂糸]度杉木進行樹冠參數(shù)提取，但該方法需要預先人工選取最優(yōu)分割尺度，參數(shù)難以確定；楊全月等[7]結(jié)合傳統(tǒng)二維圖像處理和SFM三維建模，利用運動恢復結(jié)構(gòu)(structure from motion，SFM)建立三維表面模型檢測樹木初始位置，再采用K最鄰近(K-nearest neighbor，KNN)自適應分水嶺分割提取精確樹冠參數(shù)，然而SFM重建質(zhì)量受到圖片質(zhì)量、圖片重疊度和GPS精度的影響；趙勛等[8]利用DOM航空影像數(shù)據(jù)，在掩膜區(qū)域內(nèi)進行多層次多尺度分割得到樹冠信息種子對象，再以樹冠信息種子對象為基礎，使用區(qū)域增長法確定單木樹冠范圍，處于影像邊緣的樹木由于掃描角度過大會將樹冠的側(cè)面誤提為樹冠；Wu等[9]提出了一種基于Faster R-CNN和U-Net的模型，用于蘋果樹的檢測、計數(shù)、分割和樹木生長參數(shù)的提取，但是該模型適用的是冬天時枝丫裸露的蘋果樹；Ma等[10]提出了基于區(qū)域生長和形態(tài)分割的單樹冠分割方法，該方法研究區(qū)域優(yōu)勢樹種為針葉樹種，冠幅形狀呈圓錐狀，且機載激光雷達造價昂貴。

樹冠是長勢監(jiān)測、蓄積量估算、樹種識別的重要指標之一，識別樹冠一直都是農(nóng)林業(yè)的重要任務。柑橘作為四川省農(nóng)作物和經(jīng)濟作物的優(yōu)勢主導產(chǎn)業(yè)，提取柑橘樹冠的范圍及株數(shù)等信息對長江中上游柑橘帶的管理和監(jiān)測具有重要意義。綜合已有研究發(fā)現(xiàn)，鮮有利用無人機多光譜航空影像對柑橘進行單木樹冠信息提取的研究。筆者結(jié)合無人機遙感、多光譜數(shù)據(jù)和深度學習，以四川省成都市蒲江縣為研究區(qū)，主要工作包括：通過VGG16深度學習模型對無人機多光譜影像進行分類，將影像分為柑橘地和非柑橘地，尋找分類準確度最高的波段，將該波段作為該地柑橘作物的最佳識別波段，選取該波段數(shù)據(jù)進行樹冠分割；在分類的基礎上，利用U-Net模型對類別為柑橘地的圖片進行樹冠分割與株樹統(tǒng)計，并對比試驗結(jié)果進行誤差分析。

1 材料與方法

1.1 研究區(qū)概況及設備

研究區(qū)位于四川省成都市蒲江縣，地處103°19′～103°41′E，30°5′～30°21′N，海拔約713 m，是長江中上游柑橘的重要產(chǎn)地之一，森林覆蓋率達到50.8%。浦江縣屬典型的亞熱帶季風氣候，一年四季氣候溫和，無霜期長，日均最高溫度為22 ℃，日均最低溫度為14 ℃，年均降水量為1 201.0 mm，適宜的溫度、充沛的降雨、肥沃的土壤共同組成了柑橘生長的理想環(huán)境[11]。

航拍數(shù)據(jù)來自大疆精靈4多光譜版無人機(P4 multispectral，P4M)。P4M集成了1個可見光相機及5個多光譜相機(藍光、綠光、紅光、紅邊和近紅外)，相機焦距為5.74 mm，6個鏡頭均擁有200萬像素，成像清晰穩(wěn)定。具體參數(shù)見表1。

表1 無人機具體參數(shù)Table 1 Specific parameters of UAV

1.2 數(shù)據(jù)獲取

本研究使用的影像拍攝于2019年9月4日，拍攝當天天氣晴朗，無云霧遮擋，地面風速小于4級，滿足拍攝要求。設計飛行高度為188 m，獲取的無人機影像空間分辨率為0.1 m。航線共7條，飛行時航向重疊度80%，旁向重疊度70%，巡航速度10.4 m/s，設置完測區(qū)、飛行參數(shù)、航點等關(guān)鍵參數(shù)后即可自動采集數(shù)據(jù)。

P4M拍攝1次可同時獲取6張照片，如圖1所示，每張照片分別保存了不同波段的影像，包括1張RGB真彩色圖片以及5張不同波段的灰度圖片，5個波段分別是藍色波段(blue)，綠色波段(green)，紅色波段(red)， 紅邊波段(red edge)，近紅外波段(near infrared)。最終獲得1 596幅原始航拍影像，其中每個波段的影像各266幅。

注：a)為RGB彩色影像，b～f)為同一區(qū)域的多光譜影像。圖1 P4M拍攝1次獲取的6張照片F(xiàn)ig. 1 Six photos taken at one time by P4M

1.3 數(shù)據(jù)預處理

1.3.1 灰度化

無人機拍攝的原始數(shù)據(jù)以三通道格式存儲，除了可見光相機存儲格式為24位真彩色，其余多光譜相機成像均為灰度圖像。為方便后續(xù)統(tǒng)一處理，需要對其進行灰度化轉(zhuǎn)化為單通道影像[12]。

灰度化處理公式見式(1)，其中：Gray(i,j)表示轉(zhuǎn)換后灰度圖像在(i,j)處的灰度值；R(i,j)、G(i,j)、B(i,j)分別表示原圖像在(i,j)處的紅、綠、藍通道像素值。根據(jù)人眼對不同顏色的敏感度以及其他重要指標，對3個分量取不同的權(quán)重進行加權(quán)平均得到新的灰度值。

Gray(i,j)=0.299R(i,j)+0.578G(i,j)+

0.114B(i,j)

(1)

1.3.2 畸變差校正與正射影像生成

在成像過程中，由于大氣折射、地球曲率、地形起伏和傳感器自身原因等問題，會產(chǎn)生影像形變[13]。首先需要使用PixelGrid系統(tǒng)內(nèi)的小像幅影像畸變差矯正模塊進行畸變差校正；其次，使用與P4M同時發(fā)布的新版本大疆智圖進行正射影像拼接，選擇“重建類型：二維多光譜”，完成后得到6幅不同波段的正射影像，像元大小為8 363×10 294。

1.3.3 數(shù)據(jù)標注

對VGG16模型測試集中輸出為柑橘地的圖片，選取其中25張作為U-Net網(wǎng)絡的訓練集，10張作為測試集。使用Labelme軟件目視解譯勾畫出每塊樣地內(nèi)樹冠的輪廓，生成json文件，再利用json文件生成二進制掩膜圖片(mask)作為U-Net神經(jīng)網(wǎng)絡訓練和驗證的標簽，也是之后精度評估的基礎。

1.3.4 數(shù)據(jù)增強

對于訓練樣本不足的情況，數(shù)據(jù)增強是提高網(wǎng)絡泛化能力的關(guān)鍵方法[14-15]。常用的數(shù)據(jù)增強方法包括平移和旋轉(zhuǎn)不變性，以及對形變和灰度值變化的魯棒性。柑橘地圖片數(shù)據(jù)增強結(jié)果見圖2。在VGG16網(wǎng)絡中，將同一張圖片縮放到不同的尺寸，再隨機裁剪成224×224的圖片，增加數(shù)據(jù)量進行訓練。在U-Net網(wǎng)絡中，使用3×3粗網(wǎng)格上的隨機位移向量生成平滑變形，這些位移是從標準偏差為10像素的高斯分布中采樣的；然后使用雙三次插值計算每像素位移，收縮路徑末端的退出層，執(zhí)行進一步的隱式數(shù)據(jù)擴充。

圖2 柑橘地圖片數(shù)據(jù)增強結(jié)果Fig. 2 Data enhancement results of citrus images

1.4 研究方法

1.4.1 VGG16卷積神經(jīng)網(wǎng)絡模型

本研究采用VGG16卷積神經(jīng)網(wǎng)絡模型[16]，采用多個3×3的小卷積核替代較大的卷積核，在保證具有相同感受野的條件下提升網(wǎng)絡深度，既減少了網(wǎng)絡訓練過程的參數(shù)，也能夠增強網(wǎng)絡的擬合/學習能力。除池化層外由13個卷積層和3個全連接層組成，層與層之間使用最大化池分開，所有激活單元都選擇ReLU函數(shù)，將最后一個全連接層替換成一個輸出神經(jīng)元個數(shù)等于數(shù)據(jù)集類別數(shù)的新全連接層。經(jīng)由全連接層和輸出層就可以對樣本進行分類處理，通過softmax將全連接層輸出的向量映射為K個實數(shù)，代表被分為每個類別的概率，選取概率最大值為預測結(jié)果。具體的訓練過程如下：

1)基于遷移學習方法，使用Keras中預訓練好的VGG16模型，保持權(quán)重不變，對于VGG16模型的第2個全連接層以前的所有層進行參數(shù)初始化，這樣不需要從頭對網(wǎng)絡進行訓練，可以加快網(wǎng)絡的收斂速率，降低梯度消失的幾率，并且節(jié)省大量時間。

2)將柑橘數(shù)據(jù)集輸入到VGG16網(wǎng)絡模型上進行訓練，每類葉片數(shù)據(jù)的80%用來訓練模型，剩余20%用來測試模型。網(wǎng)絡在對圖片預處理的過程中，會在訓練樣本的對應像素位置上減去像素的均值，將其大小調(diào)整為224×224×3，并通過不斷卷積來提取局部特征。為保留邊界信息，對圖片外圍采用padding=SAME填充。

3)參數(shù)設置。損失函數(shù)使用交叉熵損失函數(shù)，學習率設置為0.01，學習率衰減設置為1×10-6，動量參數(shù)momentum設置為0.9，batch_size=10，epochs=100。

1.4.2 U-Net卷積神經(jīng)網(wǎng)絡模型

U-Net網(wǎng)絡[17]在小數(shù)據(jù)集圖像分割領域表現(xiàn)優(yōu)異，其網(wǎng)絡左側(cè)為不斷卷積操作組成的收縮路徑，右側(cè)為不斷上卷積操作組成的擴張路徑，形狀上接近字母“U”。在收縮路徑中主要對輸入影像進行卷積操作提取特征圖，每經(jīng)過1個池化層，圖片尺度縮減一半，最后得到大小為32×32、維度為1 024 的高維特征圖；擴張路徑則主要是根據(jù)特征圖判斷每一個像素點所對應的種類，每次反卷積操作將特征圖尺度擴大2倍，直到最后特征圖大小與輸入圖像大小一致。同時，每一步反卷積操作時還會將特征圖與收縮路徑中對應的特征圖融合，即擴張路徑中的特征圖來自同一個卷積塊的輸出(同尺度特征)，也來自上一層收縮路徑的輸出(大尺度特征)。最后通過1個1×1的卷積層和sigmoid激活函數(shù)進行分類，將64維特征向量映射為輸出影像中分類的數(shù)量，得到與輸入影像空間分辨率一致的樹冠分割結(jié)果。

1.4.3 模型優(yōu)化算法

1)SGD優(yōu)化器

優(yōu)化器選擇SGD(stochastic gradient descent，隨機梯度下降算法)，SGD對每個訓練樣本都進行參數(shù)更新，每次執(zhí)行都進行一次更新，且執(zhí)行速度更快。SGD對梯度的要求很低(計算梯度快)，而對于引入噪聲，只要噪聲不是特別大，SGD都能很好地收斂。SGD一次只進行一次更新，沒有冗余，而且比較快，并且可以新增樣本。

假設模型參數(shù)為θ，損失函數(shù)為J(θ)，在第i對樣本(xi,yi)上損失函數(shù)關(guān)于參數(shù)的梯度為θJ[θ;x(i);y(i)]，學習率為α，則使用單個樣本來計算梯度：

θt+1=θt-α·θJ[θ;x(i);y(i)]

(2)

從一批訓練樣本n中隨機選取一個樣本is。模型參數(shù)為W，代價函數(shù)為J(W)，學習率為ηt，參數(shù)W的梯度為gt，則使用SGD隨機梯度下降法更新參數(shù)表達式為:

Wt+1=Wt-ηtgt

(3)

2)Adagrad優(yōu)化器

自適應梯度算法(adaptive gradient algorithm，Adagrad)可以對低頻的參數(shù)做較大更新，對高頻的參數(shù)做較小的更新，從而減少學習率的手動調(diào)節(jié)，但隨著分母中平方梯度的累積在訓練中不斷增加，會導致學習率不斷收縮，最終變得無窮小，模型幾乎無法再訓練。

采用gt,i表示t時刻下參數(shù)θi的梯度：

gt,i=θJ(θt,i)

(4)

Adagrad根據(jù)參數(shù)的過去梯度，修改參數(shù)每個時刻t的學習率η，則梯度更新規(guī)則如下：

(5)

式中：Gt為一個對角矩陣；(i,i)元素是t時刻參數(shù)θi的梯度平方和；ε是一個避免被零除的平滑項。

3)RAdam優(yōu)化器

RAdam(rectified adam)能根據(jù)方差分散度動態(tài)地打開或者關(guān)閉自適應學習率，既能保證收斂速度快，也不容易掉入局部最優(yōu)解，而且收斂結(jié)果對學習率的初始值非常不敏感。但是在某些情況下，由于衰減率和基本方差的存在，RAdam可能會在動量等效的情況下退化為SGD。

1.5 評價指標

對于結(jié)果評價，可以從定性和定量2個角度分析。在定性分析方面，觀測者根據(jù)目視解譯從主觀的角度判斷分析結(jié)果的準確性；在定量分析方面，運用U-Net模型分割樹冠，可能出現(xiàn)的5種情況如圖3所示。對于每一個像素點都有可能被分為樹冠或背景，因此結(jié)合實際情況定義總體精度(overall accuracy，OA，公式中記為OA)、錯判誤差(commission error，CE，公式中記為CE)、漏判誤差(omissions error，OE，公式中記為OE)、準確率(accuracy rate，AR，公式中記為AR)和Kappa系數(shù)(公式中記為Kappa)5個指標，使用這5個參數(shù)可以較為全面地評價圖片分類和分割結(jié)果的好壞。其計算公式分別如下：

圖3 分割結(jié)果的5種情況Fig. 3 Five cases of segmentation results

(6)

(7)

(8)

AR=(1-CE)

(9)

(10)

式中：TN為預測出的樹冠個數(shù)；TP為目視解譯出的實際樹冠個數(shù)；FP為錯分的樹冠個數(shù)；FN為漏判的樹冠個數(shù)；N為混淆矩陣像元總數(shù)；xi+為混淆矩陣各行之和；x+i為混淆矩陣各列之和；xii為混淆矩陣主對角線上的元素。

2 結(jié)果與分析

本試驗搭建在52cv云服務器平臺(https:∥gpu.52cv.net/home)上，操作系統(tǒng)為Linux，系統(tǒng)版本為Ubuntu 16.04，CPU主頻2.1 GHz，內(nèi)存32 G，顯卡為GeForceRTX2080，顯存8 GB，基于Python語言使用Keras框架和Tensorflow框架完成本次試驗。

2.1 VGG16模型的訓練及分類結(jié)果

在VGG16網(wǎng)絡模型的基礎上，輸入拼接校正后的無人機多光譜影像，對6個不同波段的圖片設置相同的參數(shù)進行訓練，設置初始學習率(learning rate)為0.01，權(quán)重衰減(weight decay)為0.000 001，迭代100次，通過隨機參數(shù)初始化開始訓練。

為測試各光譜模型精度，選取43張圖片作為測試集，分類結(jié)果使用“準確率=預測正確圖片數(shù)量/樣本總數(shù)(即accuracy)”衡量，得到的準確率見圖4。

圖4 不同波段的準確率Fig. 4 The accuracies of different bands

測試結(jié)果證明，在無人機拍攝的多光譜柑橘數(shù)據(jù)集中，近紅外波段在VGG16模型中的識別準確率更高，43張圖片中有41張分類正確，精度達到了95.34%，具有更好的識別效果，且效果優(yōu)于RGB彩色圖片，可用近紅外波段影像區(qū)分柑橘地和非柑橘地。

2.2 U-Net模型的訓練及分割結(jié)果

從VGG16模型輸出預測為柑橘地的圖片(共35張)中，選擇25張作為U-Net模型的訓練集，10張作為U-Net模型輸入的測試集。同時，將U-Net模型與傳統(tǒng)圖像處理的分水嶺算法和K-Means聚類算法對比，使用3種方法對部分樣地樹冠分割的結(jié)果見圖5，10塊樣地的全部結(jié)果如表2所示，并得到如表3所示的各方法評價指數(shù)。其中，U-Net模型的總體精度可以達到93.63%，平均錯判誤差為7.99%，平均漏判誤差為4.52%，平均準確率為91.99%。

圖5 不同方法下樹冠分割結(jié)果比較Fig. 5 The comparison of canopy segmentation results with different methods

表2 不同方法分割結(jié)果Table 2 Segment results with different methods

表3 不同方法評價指數(shù)Table 3 Evaluation indexes with different methods

2.3 分割結(jié)果及誤差分析

從定性角度分析，分水嶺算法和K-Means聚類算法對樹冠的過分割問題嚴重，雖然邊緣檢測效果較好，但是同時也會得到非柑橘樹的樹冠以及圖片中其他物體的輪廓，且得到的樹冠邊緣不圓滑，為鋸齒狀。由于柑橘樹的樹冠差異性，可能存在多個冠層，分水嶺算法和K-Means聚類算法得到的樹冠均不完整，中心存在不同程度的空洞點，少數(shù)樣地漏判問題嚴重，而U-Net模型明顯優(yōu)于其他2種方法。從定量角度分析，3種方法的Kappa系數(shù)相同，但U-Net的總體精度和平均準確率更高，錯判誤差更低，證明了U-Net模型在分割樹冠方面的準確率優(yōu)于傳統(tǒng)圖像處理方法，可以較為準確地提取柑橘樹冠。

綜上所述，U-Net模型不需要人工選取樹冠中心點或種子點就可以在樹冠分割結(jié)果上表現(xiàn)良好，對植被密集區(qū)域也有較好的適應性，可以用機器學習的方法替代人工目視解譯結(jié)果，還可以進一步擴大柑橘樣地訓練樣本，選取不同生長時期、不同密度的樣本集可以提高分割精度。

表3中樣地5的錯判誤差最大，高達19.04%，造成這一現(xiàn)象主要有2個原因：第一，觀察樣地可知該區(qū)域內(nèi)柑橘樹間隙較大，且枝葉茂密，可能存在多個冠層和多個樹梢點，此時模型將屬于同一棵樹的樹梢點劃分為兩棵樹；第二，樣地內(nèi)存在其他低矮植被，與柑橘樹樹冠光譜差異較小，由于拍攝角度、太陽照射等原因，將其錯分為柑橘樹。此外，表3中樣地4、樣地5、樣地7的總體精度低于90%的主要原因是雖然VGG16模型將其分類為柑橘地，但圖片中依舊包含一些其他地物(如房屋、道路、湖泊等)，此時U-Net模型的分割效果較差。

對比目視解譯結(jié)果，可以看出U-Net模型還存在以下問題：對于樹冠相互連接遮擋的區(qū)域，會將樹冠范圍小于一定閾值的歸為一棵樹，這時就會出現(xiàn)漏判的情況；研究區(qū)域內(nèi)存在少量其他樹種，其他樹種和柑橘樹的反射率非常接近，會將一部分其他樹的樹冠錯誤地提取出來；部分樹冠輪廓模糊，造成這個問題的原因可能是在模型訓練的過程中由于時間、內(nèi)存空間、訓練數(shù)據(jù)量、迭代次數(shù)等諸多限制因素，造成柑橘樹的特征沒有被充分提取。

3 結(jié)論與討論

針對柑橘密集分布區(qū)域樹冠分割的問題，利用無人機獲取研究區(qū)的多光譜影像，嘗試采用卷積神經(jīng)網(wǎng)絡將圖片分為柑橘地和非柑橘地，再對柑橘地圖片進一步實現(xiàn)樹冠分割，并統(tǒng)計株數(shù)，有效地實現(xiàn)了柑橘地分類和柑橘樹冠分割，并在分類和分割任務上分別取得了95.34%和91.99%的精度，整體滿足林業(yè)工作獲取數(shù)據(jù)的精度要求。

相比于傳統(tǒng)的遙感圖像處理方法和機器學習方法，本研究具有以下優(yōu)點：選取少量具有代表性的區(qū)域進行目視解譯標注，用小樣本替代傳統(tǒng)機器學習下的大樣本，得到理想的分割結(jié)果；多光譜近紅外波段的影像對樹冠的分割結(jié)果優(yōu)于可見光影像，可以更好地將樹冠和背景區(qū)分開來；深度學習可以有效地抑制傳統(tǒng)圖像處理中的過分割現(xiàn)象。

同時，本研究仍存在以下不足：1)研究區(qū)所選取樣地均郁閉度適中，但是對于高郁閉度區(qū)域樹冠相連問題嚴重，算法精度將下降，所以如何將分割算法推廣到高郁閉度區(qū)域應成為下一階段的研究重點。2)由于不同季節(jié)植物生長狀況、葉綠素含量等不同，會造成其對不同波長的光譜反射不同，還應對比不同月份、不同年份以及不同天氣狀況下的試驗數(shù)據(jù)，擴大樣本數(shù)據(jù)差異性，分析各種因素對試驗結(jié)果的影響。3)本次研究數(shù)據(jù)中樹種較為單一，除柑橘樹外只包含少量道路旁綠化樹，由于地理位置的差異分布，對于這部分干擾樹種可以較好區(qū)分。下一步還應考慮如何對于一幅遙感影像中所包含的不同種果樹樹冠進行分割。