基于實例分割的高郁閉度林分單木樹冠無人機遙感提取

謝運鴻，荊雪慧，孫 釗，丁志丹，李 睿，李豪偉，孫玉軍

(北京林業大學森林資源和環境管理國家林業和草原局重點開放性實驗室，北京 100083)

樹冠是森林資源調查與監測中重要的樹木測量指標之一[1]，基于實地調查的樹冠測量雖然能夠提供可靠的相關信息[2-3]，但耗時耗力。因此，迫切需要一種快速、準確地檢測樹冠的新思路。遙感技術在森林調查中的應用提供了有效準確的樹木測量，例如，無人機可以在高空間分辨率下探測到詳細的森林信息[4]。史結清等[5]指出，無人機遙感在高郁閉度或植被茂密的林分無法被充分利用，只能通過人工判讀獲取目標林分的郁閉度，但因為高郁閉度林分中樹冠特征復雜，人工判讀也會存在一定的偏差。包括局部最大/最小檢測[6]、邊緣檢測[7]、分水嶺[8]、區域生長[9]和模板匹配[10]等傳統分割方法，無法充分挖掘或提取無人機圖像中的所有可用信息，利用新的方法快速、準確、自動測量和監測森林屬性越來越引起人們的興趣。實例分割[11]是基于圖像深度學習的一種技術，它不再依賴于一致的光譜特征或基于規則的算法，并已被證明能夠超越經典的遙感技術。在林業方面，深度學習已成功應用于單木檢測[9]、植物病害和健康檢測[12]、森林樹種制圖[13]等等。Mask R-CNN作為基于掩碼區域的卷積神經網絡[14]，是近年來前沿的模型，它集成了目標檢測任務和語義分割任務來執行實例分割。本研究試驗了基于無人機RGB影像和Mask R-CNN實例分割的一種適合高郁閉度人工純林單木樹冠提取的模型，比較低郁閉度與高郁閉度林分的樹冠提取效果，為高郁閉度單木樹冠提取提供新思路。

1 研究區概況與數據來源

本研究共選擇了2個研究區，高郁閉度林分的影像采集點位于福建省三明市將樂縣國有林場（26°41′ N，117°27′ E），低郁閉度林分的影像取自于江西省贛州市大余縣集體林區（25°21′ N，114°19′ E）。2個研究區均為杉木純林，其中于福建獲取影像總面積13.7 hm2，2021年7月使用大疆悟2無人機拍攝，影像地面采樣距離(GSD)為4 cm；于江西獲取影像總面積為27.8 hm2，2018年8月使用大疆精靈4Pro無人機拍攝，GSD為4 cm。影像均采用瑞士Pix4d公司的無人機數據處理軟件Pix4dmapper進行圖像處理，合成的數字正射影像如圖1所示。各選取94份512 ×512像素的影像，分別包含3769、5170個樹冠，利用VIA軟件手動勾繪單木樹冠邊緣以完成樹冠標注，輸出的標注和影像作為模型的樣本，分為訓練集40張，驗證集24張，測試集30張，示例樣本見圖1（d ～ g），數據集各參數統計見表1。

圖1 研究區概況示意圖(b和c分別為高郁閉度林分和低郁閉度林分無人機影像)Fig. 1 Survey map of the study area（b and c are UAV images of high canopy density forest and low canopy density forest, respectively）

表1 數據集參數統計Table 1 Parameters statistics of dataset

2 研究方法

2.1 實例分割模型：Mask R-CNN

Mask R-CNN作為Faster R-CNN[15]的擴展模型，以Faster R-CNN為基礎在目標檢測末端框架中加入1個掩膜分支，借助全連接層（FC）使得每個輸出建議框實現實例分割。Mask R-CNN的架構分為3個階段，第一階段通過主干網絡從輸入圖像中提取特征圖，分別選取7種主干網絡，如表2所示，第二階段將特征圖傳輸給區域建議網絡（RPN）生成興趣區域（RoIs），最后階段由RPN生成的ROIs映射至共享特征圖中提取相應的目標特征，經過興趣區域對齊層（ROIAlign）對齊，然后分別輸出到FC和全卷積網絡（FCN）中進行目標分類和實例分割，在此過程中生成了分類置信度、邊界框和分割實例之間的掩膜。

表2 模型主干Table 2 Backbone of model

2.2 模型訓練

模型訓練環境為Windows 10操作系統，顯示核心（GPU）為NAVIDIA RTX2070，顯存為8 GB，中央處理器（CPU）為英特爾i7-9750，內存為32 GB，基于Python3.6編程平臺，利用Pytorch搭建實例分割Mask R-CNN各個模型。各模型參數設置基本一致，學習率設置為0.00025，各部分損失權重初始值設為1，權重衰減系數設為0.0001，批量為1，置信度閾值設為0.7。模型輸出結果包括每張圖像中每個實例的類別預測、邊界框預測、置信度以及掩膜預測，模型的訓練損失主要包括2個部分：RPN的訓練損失和多分支預測網絡中的訓練損失，訓練過程中損失值穩定后代表訓練完成，所有模型迭代4000次后總損失值均達到穩定狀態。

2.3 林分參數提取與精度評價

訓練完成后，每個模型對應1個權重文件，將預測圖像和權重文件輸入至模型中，實例分割結果經過OpenCV工具包的轉換，在圖像中每個實例繪畫掩膜、邊界框和標注類別，因為本試驗實例只含單個類別而且圖像大小較小，在結果后處理過程中將不標注類別。實例分割結果中的掩膜和邊界框是以數組的形式展現的，掩膜數組包含所有實例邊緣像素的圖像空間坐標，邊界框數組涵蓋4個角點的圖像空間坐標，由此可進行林分參數提取。假設模型對一張影像（默認xy像元一致，影像寬高為w和h） 預測出n株 樹，影像的地面采樣距離為gsd，第i（i≦n） 株單木的樹冠預測邊界框Bi=(y1,y2,y3,y4)， 類別為Ci（Ci值為0或1，0代表背景，1代表杉木），掩膜為Mi（Mi內元素個數等于影像的高與寬的乘積，內部元素值為0或1，0元素代表背景像素，1元素代表樹冠像素），整張圖像的預測結果S=((B1,C1,M1),…,(Bi,Ci,Mi),…,(Bn,Cn,Mn))。 則該影像中單木株樹N=n， 第i株單木東西冠幅EWi=∣y3-y1∣×gsd2， 第i株 單木南北冠幅SNi=∣y4-y2∣×gsd2，第i株 單木樹冠面積Gi=sum(Mi)×gsd2（ s um為元素求和函數），整張影像的林分郁閉度。采用交并比（IoU）、邊界框平均精度（Box-AP）和分割平均精度（Segm-AP）對樹冠實例分割結果進行評價，采用均方根誤差和預測決定系數進行單木參數和林分參數提取的評估。

3 結果

3.1 樹冠實例分割結果

7個模型的實例分割結果如圖2所示，c ～i為低郁閉度林分可視化結果，影像中林分稀疏，單木樹冠之間邊緣可明顯區分；l ～ r為高郁閉度林分可視化結果，由于林分密集，樹冠與樹冠之間重疊比例比低郁閉度林分高，相鄰樹冠之間較難區分邊緣，而且樹冠邊緣復雜，對樹冠分割是一項挑戰。各個模型均能夠分割相鄰樹冠，得到較為清晰的樹冠邊緣。對7個模型進行精度評價，不同郁閉度各模型的Box-AP和Segm-AP值如圖3所示，低郁閉度測試集的Box-AP和Segm-AP平均值分別為55.89%、57.29%，比高郁閉度測試集的Box-AP平均值（46.00%）和Segm-AP平均值（44.45%）高出9.89%、12.84%。低郁閉度測試集中，分割性能最優的模型為R50-DC5，Box-AP和Segm-AP值分別為57.63%、58.83%；高郁閉度測試集中，各模型AP值差異不明顯，分割性能最優的模型為R101-DC5，Box-AP和Segm-AP值分別為47.93%、47.22%。

圖2 低/高郁閉度林分影像分割結果可視化（c ～ i, l ～ r分別為R50-C4、R50-DC5、R50-FPN、R101-C4、R101-DC5、R101-FPN和X101-FPN實例分割結果）Fig. 2 Visual segmentation results of low/high canopy density forest images(c ～ i, l ～ r are R50-C4, R50-DC5,R50-FPN, R101-C4, R101-DC5, R101-FPN and X101-FPN instance segmentation results)

圖3 AP圖Fig. 3 AP figure

3.2 單木參數提取

分別在7個模型測試集中抽取300個IoU≥0.5樹冠，進行精度評價（見表3）。低郁閉度林分東西冠幅、南北冠幅和樹冠面積參數提取平均RMSE分別為0.161、0.179和0.341，平均R2分別為0.912、0.918和0.957，東西冠幅、南北冠幅和樹冠面積參數提取最優模型分別為R101-FPN、R101-C4和R101-C4。ResNet101在樹冠提取性能優于ResNet50，更深層次的殘差網絡對特征的準確提取有著一定的優勢，但是在低郁閉度林分中優勢不明顯。高郁閉度林分東西冠幅、南北冠幅和樹冠面積參數提取平均RMSE分別為0.479、0.497和1.256，平均R2分別為0.806、0.762和0.936。隨著林分郁閉度的增加，影像中單木特征逐漸復雜，參數提取偏差變大，但是低/高郁閉度林分單木樹冠面積提取的R2僅相差0.021，說明實例分割模型在高郁閉度林分仍能夠做到較準確提取樹冠參數。高郁閉度林分中各參數提取最佳模型均為R101-FPN，RMSE分別為0.369、0.395和1.079，R2分別為0.886、0.861和0.948，R101-FPN更適應于高郁閉度林樹冠參數的提取。

表3 單木樹冠冠幅和面積提取評價Table 3 Evaluation table of crown width and area extraction of single tree

3.3 林分參數提取

各實例分割模型低、高郁閉度測試集的林分單木株數提取結果如圖4所示，縱坐標為單木株數，折線的每個折點代表不同單木株數的等面積樣地。低郁閉度林分影像中各模型單木株數提取偏差均比高郁閉度低，且隨著林分單木株數的增加偏差也不會呈明顯的增加的趨勢，反觀高郁閉度林分單木株數提取結果，隨著林分單木株數的增加偏差呈一定的增加趨勢，代表株數密度越大，提取性能呈下降趨勢。R101-FPN模型在高郁閉度測試集的表現最好，根據圖4（m）中隨著樣地內單木株數越來越多，參考株數與預測株數的偏差沒有呈現越來越大的趨勢，因此該模型對各株數密度的林分的提取有著一定的穩定性。如圖5所示，在對測試集的林分郁閉度預測中，低、高郁閉度林分郁閉度預測性能最優的模型均為R101-FPN，R2分別為0.873、0.865。綜上所述，在7個實例分割模型中，各郁閉度的林分參數提取綜合性能最優的為R101-FPN模型。

圖4 低/高郁閉度林分單木株數預測散點圖（a～g, h～n分別為低/高郁閉度散點圖）Fig. 4 Scatter plots of single tree number prediction in low/ high canopy density forest(a～g, h～n are low/high canopy density scatterplots, respectively)

圖5 低/高郁閉度林分郁閉度預測散點圖（a～g, h～n分別為低/高郁閉度散點圖）Fig. 5 Scatter plots of canopy density number prediction in low/high canopy density forest(a～g, h～n are low/high canopy density scatterplots, respectively)

4 討論

依托7個Mask R-CNN實例分割模型，利用無人機遙感影像，展示了一種自動化、準確、計算高效的提取杉木純林單木樹冠的方法。與馮靜靜等[16]對組成結構簡單且分辨率為0.2 m的青海云杉成熟純林進行灰度梯度圖像分割方法的樹冠提取相比，本研究的高郁閉度復雜特征林分單木樹冠面積預測（以R101-FPN為例）R2與簡單特征青海云杉成熟純林灰度梯度圖像分割方法相當，均為0.95，本研究的實例分割模型可以實行批量分割，容錯率更高，更輕易獲得每個單木樹冠的冠幅、面積和林分的郁閉度參數。面對無人機影像中樹冠之間相互粘連的情況，傳統數字圖像處理的樹冠提取方法的圖像分割參數需要多次試驗后手動設定，且較難做到精準提取單木和應用于不同的場景。例如李明華等[17]對水杉人工林影像（分辨率為0.3 m）進行分水嶺分割，樹冠面積預測R2高于0.9的區域只存在單木分布均一、樹冠之間有明顯間隙、樹木冠幅和長勢基本一致的林分。面對高郁閉度林分樹冠的提取，實例分割模型做到了一定精度的單木樹冠提取。影響實例分割模型提取樹冠精度的因素除了林分條件外，還有影像分辨率，在林分稀疏且結構組成簡單、分辨率為亞米級的影像，各種分割方法[8,18-19]能夠做到單木計數和粗略的樹冠邊緣描繪，適用于不要求高精度的大范圍林分樹冠信息獲取。但是要求在林分樹冠特征復雜的動態變化監測[20]、樹冠形態檢測、建立以樹冠參數為基礎的林分模型等高精度研究試驗中，性價比高且便捷的無人機則更適合，其分辨率為厘米級的影像與合適的方法能更精準地描繪樹冠的邊緣，更準確地進行單木計數。無人機厘米級影像可以依靠神經網絡提取更多的樹冠特征以及更多的樹冠邊緣信息，神經網絡相比其他傳統圖像處理方法，能提取到更多特征信息從而做到精準單木樹冠提取。本研究中也有不少模型對高郁閉度林分存在漏分割的現象，所以在后續工作中，將無人機航拍影像生成的數字表面模型與數字高程模型運算而得的冠層高度模型加入實例分割的運算中，冠層高度模型蘊含豐富的樹冠3D信息，與之前的RGB影像2D信息結合或許將得到更高的單木樹冠提取精度。

5 結論

本研究試驗了基于實例分割模型進行從低到高郁閉度的杉木純林單木樹冠提取的方法，實現了高精度、自動化樹冠提取。主要結論：1）7個實例分割對單木樹冠的提取精度能夠達到林業生產實踐的需求，所有模型對低郁閉度測試集的Box-AP和Segm-AP平均值分別為55.89%、57.29%，對高郁閉度測試集的Box-AP和Segm-AP平均值分別為46.00%、44.45%；2）低郁閉度林分東西冠幅、南北冠幅和樹冠面積參數提取平均RMSE分別為0.161、0.179和0.341，平均R2分別為0.912、0.918和0.957，高郁閉度林分東西冠幅、南北冠幅和樹冠面積參數提取平均RMSE分別為0.479、0.497和1.256，平均預測R2分別為0.806、0.762和0.936；3）R101-FPN模型在高郁閉度測試集的表現最好，對各株數密度的林分的提取有著一定的穩定性；4）低郁閉度林分郁閉度預測性能最好的模型為R101-FPN，預測R2可達0.873，高郁閉度林分郁閉度預測性能最好的為R101-FPN模型，預測R2可達0.865；5）綜合各評價指標，R101-FPN模型具有樹冠提取精度高的特點。