基于無人機影像與Mask R-CNN的單木樹冠檢測與分割

黃昕晰，夏凱，馮海林，楊垠暉，杜曉晨

(浙江農林大學信息工程學院，浙江省林業智能監測與信息技術研究重點實驗室，林業感知技術與智能裝備國家林業局重點實驗室，杭州 311300)

對樹木的檢測、分類、定位以及參數獲取一直是林業資源調查的中心任務。傳統的林業資源調查方式主要為人工實地考察測量和基于遙感影像進行影像目視解譯這兩種:前者需要耗費大量的人力物力、且精度由于人為因素難以得到保證[1-2];后者受分辨率以及云層影響，通常難以滿足中小尺度區域的林業調查，且目視解譯過程中往往需要比較大的時間成本[3-4]。雖然近年來激光雷達LiDAR在獲取各項樹木參數方面取得了不錯的效果，但LiDAR傳感器價格昂貴且數據處理過程復雜，與遙感影像相比成本較高[5]。

相比較于衛星遙感，無人機遙感因具有高分辨率、高時效性以及影像獲取便捷等優勢而作為一種新遙感影像獲取途徑被逐漸應用于林業資源調查中[6-8]。例如：劉文萍等[9]以銀杏和梧桐為例，提出了基于無人機正射圖像分析的胸徑預測方法，為中小尺度林地調查提供了技術支撐；于東海等[10]對目標樹木進行無人機傾斜攝影獲取多角度航空影像從而測算樹冠體積，為單木樹冠幾何參數的提取提供了參考；陳崇成等[11]使用無人機影像匹配點云數據對羅漢樹和桂花樹進行了單木冠層三維分割，得到了精度可靠的分割結果。以上研究均表明,無人機遙感技術在單木樹冠的參數提取方面已得到應用，但從時間成本考慮仍缺乏快速提取相關樹冠參數的手段。因此如何從遙感影像中快速準確地對城市中的樹冠進行檢測以及獲取參數信息仍是目前城市林業資源調查領域研究的重點。

近年來，以卷積神經網絡(convolutional neural network,CNN)為代表的深度學習技術高速發展，通過大量的數據訓練以學習圖像深層次的特征，其在圖像識別、分類以及分割等各個領域都取得了良好的效果，同時在遙感領域的應用也逐漸展開。李梁等[12]使用改進特征金字塔以及在線困難樣本挖掘策略優化Mask R-CNN算法后應用于航拍災害的檢測中，實現了對不同場景下各種災害類型快速準確檢測，為檢測圖像中存在目標尺寸大小不一和網絡模型精度較低的問題提供了解決思路。李森森等[13]針對高分辨率圖像在目標檢測與分割中存在的特征提取困難和檢測率較低的問題，利用分層跳連融合方式和設計自適應感興趣區域改善圖像特征提取，提高了遙感圖像中多目標檢測和分割的準確率。Weinstein等[14]使用半監督學習神經網絡對遙感圖像中的單個樹冠進行檢測，即利用一些標注數據和一部分未標注樣本進行訓練，以克服深度學習中訓練數據缺乏的問題。以上研究均在不同程度上將深度學習算法與不同領域內容相結合，且通過不同途徑使相關深度學習算法更適用于其領域，但將無人機遙感影像與深度學習算法結合應用于樹冠檢測與分割研究的嘗試還比較少，因此如何將相關深度學習算法應用于樹冠檢測與分割領域仍然值得探究。

本研究使用無人機遙感技術獲取銀杏(Ginkgobiloba)遙感樹木影像，將無人機影像數據作為訓練數據集，并使用Mask R-CNN算法結合正射影像圖對城市中不同場景下的銀杏樹木進行檢測與分割并獲取相關樹冠參數，探究一種基于無人機影像與 Mask R-CNN算法相結合而快速準確地對銀杏樹木進行檢測和獲取相關參數的方法。

1 材料與方法

1.1 研究區域

研究區域位于杭州臨安浙江農林大學東湖校區內，地理坐標位于30°15′10″～30°15′30″N，119°43′10″～119°43′40″E。校園內銀杏大道兩側分布了大量的銀杏樹木為研究提供了良好的數據來源。將銀杏大道分為6個實驗區域，選取②③④⑥號實驗區以及①與⑤號實驗區的一部分作為訓練數據，①與⑤號實驗區的剩余部分作為檢驗數據檢測網絡模型適用性，研究區域和實驗區分布見圖1。

圖1 研究區域和實驗區分布Fig.1 Distribution of the study area and experiment area

1.2 無人機影像

本研究的影像數據獲取時間為2019年6—7月，在天氣晴朗、風力較小的環境下使用大疆Inspire 2四旋翼無人機搭載大疆Zenmuse X5S云臺相機進行數據采集。其中，云臺所搭載的相機鏡頭規格為DJI MFT 15 mm，有效像素可達到2 080萬，所獲取的原始圖片像素為5 280×3 956。采集時間一般設定在正午，以減少樹冠陰影對后續預處理過程中正射影像圖制作的影響；并在DJI GO 4軟件中設置程序自動曝光模式與曝光補償，結合過曝提示功能可以有效防止影像產生過曝現象。本實驗設置航高30 m，航速約2 m/s，拍照間隔2 s,旁向重疊率與航向重疊率均為90%以獲取具有一定重疊度的銀杏樹木無人機影像。

1.3 數據預處理

1.3.1 正射影像圖

為了準確測量銀杏樹的冠幅與樹冠面積，本研究使用俄羅斯Agisoft LLC公司生產的Agisoft Metashape 1.5.1軟件對無人機影像進行預處理，輸入帶有地理位置坐標的無人機影像圖生成數字正射影像圖(DOM)。圖2展示了本實驗中用于驗證模型適用性與預測精度所使用的4張正射影像圖：a圖由研究區域⑤號實驗區的358張無人機影像圖生成的行道樹場景，與訓練數據場景相似，除了擁有兩側行道樹外，內側擁有更復雜的樹冠排列結構；b圖由研究區域①號實驗區218張無人機影像圖生成的林地場景，其樹冠間距較短，但排列整齊有序，適用于林業資源調查；c圖由94張無人機影像圖生成的小區場景，擁有包括建筑物等其他比較復雜的背景；d圖為416張無人機影像圖生成的城市街道場景，其含有其他不同種類的植物以及車輛和其他街道在內更為復雜的背景，但兩側排列間距較大，比較容易區分。同時，這4種場景也包含了城市中幾種典型的環境背景，作為用于模型驗證的檢驗數據具有一定的代表性。

圖2 測試區域正射影像圖Fig.2 Orthographic images of test area

1.3.2 數據標注

為制作銀杏樹冠檢測與分割的網絡訓練模型，本實驗選取②③④⑥號實驗區以及①與⑤號實驗區的一部分作為訓練區域。在上述飛行參數旁向與航向重疊率均設置為90%而產生一些具有不同角度銀杏樹冠影像的情況下，使用圖像標注程序Labelme3.3.6對89張無人機銀杏影像里的350余棵銀杏樹目標進行多角度樹冠輪廓標注，并將標注生成的json文件整合后加入網絡模型訓練數據集,以使網絡模型更好地學習銀杏樹冠的圖像特征。

1.4 樹冠參數提取

本實驗使用由美國環境系統研究所開發的ArcMap10.2軟件對測試區域遙感影像進行目視解譯以測量銀杏冠幅與樹冠面積的實測值。這種測量實際值的方式避免了實地測量中人為因素造成的誤差影響，且在已有遙感影像圖的情況下更為便捷。4個測試區域在ArcMap10.2軟件中手繪出的邊框與輪廓見圖3所示。

圖3 目視解譯Fig.3 Visual interpretation

根據冠幅(樹木南北和東西方向寬度的平均值)與樹冠面積(樹冠垂直投射在地平面上的面積)的定義，其中紅色方框周長的1/4倍為冠幅值，黑色輪廓的面積為樹冠面積值(圖3)。測試區域實測樹冠參數統計結果見表1。

表1 實測樹冠參數統計Table 1 Statistics of measured crown parameters

1.5 Mask R-CNN算法

Mask R-CNN是何凱明博士于2017年基于Faster R-CNN提出的目標檢測和分割網絡[15]，其在Faster R-CNN基礎上添加了一個mask預測分支，在進行矩形框目標檢測的同時可以實現像素級的實例分割；并使用感興趣區域匹配層RoI Align(region of interest align)代替感興趣區域池化層RoI Pooling(region of interset pooling)以解決RoI Pooling兩次量化過程中造成的候選框不匹配問題，提升候選框的精度；同時使用殘差網絡ResNet與特征金字塔網絡FPN(feature pyramid network)結合更準確快速地進行特征提取，大大提升了檢測性能[16-18]。

Mask R-CNN可以分為兩部分：第一部分由Faster R-CNN組成，其執行從輸入圖像中提取特征圖交付給區域生成網絡RPN，由RPN掃描特征圖并查找包含檢測目標可能性較高的區域作為感興趣區域(RoI)，再通過RoI Align層統一候選框的尺度，最終使用全連接層對目標進行檢測獲得類別、位置和大小信息;第二部分則為Mask分支，由全卷積網絡FCN組成，相較于傳統卷積神經網絡CNN，其在網絡的末端卷積層進行反卷積將因通過多次卷積和池化后而變小的圖像恢復到原始圖像的大小，使得圖像中每個像素都產生了一個預測達到了像素級別的分類來實現目標分割[19-20]。圖4為研究使用的Mask R-CNN網絡模型示意圖。

圖4 Mask R-CNN網絡模型Fig.4 Mask R-CNN network model

2 結果與分析

2.1 實驗及環境

良好的網絡模型通常需要大量的訓練數據集以及長時間的迭代學習。本研究通過遷移學習的方式借助Microsoft coco數據集的預訓練網絡模型[21]，將制作的帶有標注文件的無人機影像加入數據集，從而使網絡模型適用于無人機影像中銀杏樹木的目標檢測與分割。在開展訓練的過程中，設置epoch為12，每個epoch訓練1 000步，總計12 000 步，在表2所列出的實驗環境下訓練時間約16 h。

表2 實驗環境配置Table 2 Experimental environment configuration

在訓練過程中分別記錄損失與平均精度均值(mAP)，統計結果如圖5所示。從圖中可以看到，隨著模型訓練的不斷深入，平均精度均值(平均精度均值計算方法見2.2節)與損失值逐步趨于穩定，說明模型已接近收斂。而相較于損失值為類別損失與坐標損失之和的目標檢測，擁有Mask分支進行實例分割的Mask R-CNN的損失值還需加上掩膜損失[22]。計算公式如下：

L=Lclass+Lbox+Lmask

(1)

式中：L為總體損失值；Lclass為類別損失值；Lbox為坐標損失值；Lmask為掩膜損失值。

圖5 模型訓練損失與精度圖Fig.5 Model training loss and accuracy diagram

2.2 實驗結果

根據前面所述冠幅和樹冠面積的定義，為了更好地體現研究對于林業資源調查的實際意義，本研究選用正射影像圖作為測試數據，以對樹冠進行檢測與分割后提取冠幅與樹冠面積值。同時，為了驗證網絡模型的普適性，本實驗選取了4片不同場景類型的測試區域，分別為研究區域行道樹場景、林地場景、小區場景以及城市街道場景。圖6展示了不同場景下的網絡模型測試結果。從圖6可以看到,在大部分情況下對于銀杏樹冠位置能得到良好的檢測結果，對于銀杏樹冠輪廓的勾繪也能獲得較好的分割效果。

圖6 檢測與分割結果Fig.6 Detection and segmentation results

圖7 檢測與分割結果說明Fig.7 Description of detection and segmentation results

為了驗證檢測與分割結果的準確性，本研究使用交并比IoU(intersection over union)作為樹冠檢測與分割是否正確的依據，設置IoU閾值為0.5，即當IoU≥0.5時標記為正確檢測的結果，當IoU<0.5時標記為錯誤檢測的結果，IoU的計算公式如下：

(2)

式中:G(groundtrue)表示真實樹冠像素區域；P(prediction)表示預測樹冠像素區域。

此外，本研究采用查準率Pc(precision)、查全率R(recall)、F1-score、平均精度Pa(average precision)以及平均精度均值mAP(mean average precision)對網絡模型的檢測與分割結果進行評估[23]，Pc、R、F1-score與mAP的值越高，代表檢測與分割結果越準確。相關公式如下：

(3)

(4)

(5)

(6)

(7)

式中:Pt表示檢測正確的正例，即樹冠檢測結果與真實情況相符；Nf表示檢測錯誤的正例，即樹冠真實情況未被正確檢測；Pf表示檢測錯誤的反例，即樹冠檢測結果與真實情況不符；C表示類別數，由于本研究針對單一銀杏樹種進行檢測分割，所以類別數C為1，即平均精度與平均精度均值相當。

雖然4個不同場景的整體檢測效果較好，但仍有一些錯檢和漏檢情況出現。統計結果表明，在共計86個銀杏樹冠檢測目標中，正確檢測78個，出現漏檢8個(樹冠之間產生重疊現象、樹冠顏色與其他樹冠偏差過大、路燈等物體遮擋或是樹冠面積過小等)，錯檢4個(背景物體或植物與銀杏樹冠形狀顏色非常相似)。以此結果進行各項評價指標的計算。圖7展示了一個檢測正確的結果以及一些錯檢漏檢情況。從圖7中可以看到，檢測與分割結果包含了類別(gb代表銀杏樹)、定位坐標(中間數字段代表通過坐標計算出的樹冠冠幅值)以及分割輪廓(最后數字段代表通過統計像素個數計算出的樹冠面積值)信息。

圖8展示了4個不同場景的測試區域的查準率-查全率曲線,表3為對應的檢測結果。從表3可以看出，總體的交并比為78.99%，查準率達到了93.9%，召回率達到89.53%，F1-score與平均精度均值mAP值分別為91.66%與90.86%。說明整體的預測準確率較高，訓練所得網絡模型可以對城市中不同場景下的銀杏單木樹冠進行良好的檢測。

圖8 查準率-查全率曲線圖Fig.8 Precision-recall curve

表3 檢測結果Table 3 Test results

根據相關文獻資料對近期樹木檢測研究結果進行對比，結果見表4。從表4可以看到，本研究查準率較高，而查全率雖然略微低于個別研究，但總體檢測精度F1-score較高，說明本研究的方法可以較好地適用于樹木檢測。

表4 相關研究方法結果對比Table 4 Comparison of related research methods

2.3 樹冠參數精度評價

為了驗證預測結果的可靠性，將所得實測值與預測銀杏冠幅與樹冠面積做比較，使用平均相對誤差(ARE，式中記為EAR)與均方根誤差(RMSE，式中記為ERMS)評價預測精度，ARE與RMSE越小，代表預測偏差越小，預測精度更高。相關公式如下：

(7)

(8)

根據圖8統計得預測冠幅值與樹冠面積，將之與目視解譯所得實測冠幅值與樹冠面積值作比較，計算各項精度指標如表5所示。可以發現冠幅(CW)的總體平均相對誤差為7.5%，均方根誤差為0.55，說明預測精度較好。樹冠面積(CA)的總體平均相對誤差為11.15%，均方根誤差為2.48，雖然不如冠幅的預測精度，但考慮到樹冠樹梢的復雜性與多樣性，這也達到了不錯的預測效果。

表5 預測精度對比Table 5 Comparison of prediction accuracy

根據實測與預測的銀杏冠幅與樹冠面積，制作實測值與預測值分布關系圖如圖9。由圖9可見，實測冠幅與預測冠幅的擬合決定系數R2達到0.856，實測樹冠面積與預測樹冠面積的擬合決定系數R2達到0.898。除極個別檢測有誤的異常點外，大部分散點均勻分布在1∶1線段兩側，且兩根紅色擬合線段均與1∶1線段接近，代表預測值接近實測值。

圖9 實測值與預測值對比Fig.9 Comparison of measured values and predicted values

3 結 論

1)本研究將深度學習中的Mask R-CNN算法應用于無人機高分辨率影像的銀杏單木樹冠檢測與輪廓描繪，總體F1-score與平均精度均值達到了91.66%與90.86%，取得了不錯的檢測與分割效果，且快速準確地獲取了城市中不同場景下銀杏樹冠的冠幅與樹冠面積，冠幅與樹冠面積的預測決定系數R2分別達到了0.856與0.898，得到了較為精準的樹冠參數結果，為樹木資源評估提供了一種快速高效的解決方案。

2)使用無人機影像與Mask R-CNN算法結合獲取樹冠參數，不僅適用于銀杏樹冠，同樣適用于城市中其他種類的樹冠，特別是對于排列整齊的行道樹檢測效果較好。

3)無人機遙感與深度學習技術對于樹冠的檢測與分割目前仍處于探索階段，實際研究中也同樣存在一些問題與困難。因受時間和實驗地點等條件的限制，本實驗還存在一些錯檢和漏檢現象。而且目前僅針對單一銀杏樹種進行檢測，在今后研究中將著重考慮針對無人機樹冠影像進行網絡模型改進以及多樹種的情況，更加有效地提取城市中樹冠冠幅與樹冠面積。