激光點云深度學習的樹種識別研究

陳健昌，陳一銘，劉正軍

(1.蘭州交通大學 測繪與地理信息學院，蘭州 730070；2.中國測繪科學研究院，北京 100036；3.地理國情監測技術應用國家地方聯合工程研究中心，蘭州 730070；4.甘肅省地理國情監測工程實驗室，蘭州 730070)

0 引言

激光雷達(light detection and ranging，LiDAR)是一種能精確、快速獲取研究對象坐標、反射強度的主動遙感技術[1-2]，已被應用于三維重建[3]、自動駕駛[4]、電力巡線[5]、農業規劃[6]、室內定位[7]等研究領域，并取得理想效果。

近年來LiDAR也被應用于林業樹種分類識別，許多學者通過獲取的樹木激光點云提取結構、紋理、冠型等典型特征參數，利用機器學習模型實現樹種分類。陳向宇等[8]提出基于地基激光雷達點云的樹種分類，通過提取水杉、柳樹、女貞、竹子和蘋果樹的結構特征參數、紋理特征參數、冠形特征參數，使用支持向量機(support vector machine，SVM)分類算法進行樹種分類研究，精度可達85%。Cao 等[9]使用機載點云基于體素的復合波形方法提取全波形指標，并利用隨機森林分類器對六種亞熱帶樹種進行分類，結果表明分六類時精度為68.6%，四類為75.8%，只分針葉樹和闊葉樹為86.2%。王佳等[10]使用地面激光雷達點云提取立木胸徑、枝下高、樹高、冠高、最長冠幅、垂直最長方向冠幅六個測樹因子，同時提取冠長樹高比、胸徑樹高比、冠高樹高比、分枝角、冠長最大冠幅之比、最長冠幅與垂直方向冠幅之比參數，采用SVM、分類回歸決策樹和隨機森林的方法，根據大量參數對樹種冠幅自動識別。實驗結果表明，組合特征參數法識別精度高于測樹因子法，隨機森林算法與其他算法相比效果最好。Sothe等[11]使用無人機影像密集匹配生成的點云和高光譜數據并將其提取的特征參數相結合，通過SVM對亞熱帶森林中的樹種分類，實驗結果表明樹種分類的總體精度為72.4%，Kappa系數為0.7。Terryn等[12]提取樹木的17個結構特征，根據這些結構特征使用KNN(k-nearestneighbor)、邏輯回歸算法和SVM進行樹種分類。Harikumar等[13]提出一種基于樹冠量化的樹種分類方法，將整個三維樹冠量化為更小的體積元，從而有效地捕捉樹冠的莖、枝、葉和空冠體積的空間分布，最后使用SVM進行分類，實驗結果表明該方法更容易識別樹冠特征，進而更容易識別樹木種類。現有研究多采用遙感影像與激光雷達數據聯合進行樹種分類，方法適用于大范圍樣區，但機載激光雷達難以準確獲取樹冠下層數據。而地基LiDAR存在難以獲取完整樹冠信息的問題，樹種分類主要基于機器學習算法，需要提取并輸入大量的樹木結構特征參數，增加了數據預處理的時間和難度。

近年來，深度學習技術已被廣泛應用于圖像分類和點云分類研究，但用于激光點云樹種分類的研究較少。本文提出一種基于點云深度學習模型的地基激光雷達點云數據林區樹種分類識別方法PointNet-GS(pointnet geometric sampling)。與PointNet使用均勻采樣法進行數據下采樣不同，本文提出的PointNet-GS使用幾何采樣法對數據下采樣處理，對局部特征的提取更有優勢。

1 研究方法

深度學習算法在圖像分類識別、目標檢測、語義分割等領域取得顯著效果，大量研究結果表明深度學習算法可解決常規方法無法解決的問題。于是研究人員嘗試使用深度學習方法處理點云數據，方法可分為三類：基于多視圖的方法[14]、基于體素的方法[15]、點云端到端直接學習方法[16]。將點云數據轉為多視圖或體素數據均存在轉換繁瑣、特征丟失、計算復雜的問題。本研究為解決林業單木點云數據難以直接作為訓練樣本輸入深度學習模型和數據轉換過程中存在的特征丟失問題，使用點云數據端到端直接學習的方法進行模型訓練。通過對PointNet采樣方法的改進，提出PointNet-GS，實現了樹種精確分類。PointNet-GS主要由三部分組成：輸入點云樣本的采樣處理、聚合特征信息處理、輸入特征對齊網絡，如圖1所示。

圖1 PointNet-GS設計圖

1.1 輸入點云樣本的采樣處理

首先，計算單木點云樣本每個點的K鄰域，因為分割后的單木組成樣本點數量不一致，鄰域范圍閾值可根據單木點云樣本點數與網絡輸入特征點數的比值向上取整設置。假設曲面z=r(x，y)逼近該鄰域點云，這個點的曲率可用該區域曲面的曲率來表示，因此只需提取該區域曲率即可。其次，使用最小二乘擬合曲面，表達如式(1)至式(2)所示。

z(x，y)=ax2+bxy+cy2

(1)

(2)

式中：a、b、c為曲面公式擬合系數；x、y、z為鄰域內點的坐標；Q為殘差；k為鄰域內點的個數；i(1≤i≤k)為鄰域內點的索引號。對式(2)求導可得式(3)。

(3)

式(3)中符號含義與式(1)和式(2)相同。求出曲面近似方程參數后，再求出平均曲率H，表達如式(4)所示。

(4)

1.2 聚合特征信息處理

輸入的單木點云是由一定數量的三維離散點組成。通過卷積操作聚合每個點的特征，并將其升至更高維度空間，進一步提取特征。每個單木點云都是向量的無序集合，為保持輸入模型排列不變性，將輸入點云按照一定的規范進行排序。為減少損失幾何點信息，采用多層感知機(multilayer perceptron，MLP)提取點特征并對特征點進行升維得到高維特征。最后使用對稱函數來聚合每個點的信息，對稱函數的實質如式(5)所示。

f({dv})=g(h(dv))

(5)

式中：dv(v=1，2，3…)為輸入網絡點數據；h(dv)為特征升維函數；g(h(dv))為最大池化特征聚合函數。

1.3 輸入特征對齊網絡

引入T-Net網絡實現仿射變化矩陣的預測，將這個變化直接應用到輸入點坐標上。T-Net網絡結構與整體網絡結構相似，由點特征提取、最大池化、全連接層組成。這個小型神經網絡根據輸入數據生成變換參數，輸入數據與變換矩陣相乘。第一個T-Net生成3×3的點旋轉矩陣，與輸入矩陣相乘得到點對齊矩陣。經過MLP提取點特征后，數據輸入第二個T-Net，生成64×64的特征旋轉矩陣，與輸入矩陣相乘再次得到特征對齊矩陣。之后通過最大池化操作得到全局特征，MLP進行分類預測。

教師在教學中通過實際例子導出概念、公理、性質和規律，充分利用這些實例，讓學生親自動手操作、體驗、總結和歸納，從而得到結論；充分利用教材中的練習題、想一想、選做題、復習題等習題，注意“閱讀材料”，課堂上適時運用，逐步使學生體會到數學應用社會實踐，進而將實踐操作變為學好數學的自覺行動；重視學具制作，把數學與學生實際相聯系，在課外活動中感到生活中處處有數學，喚起學習數學的激情，培養的實踐能力，達到學知識用知識的目的。

具體流程如下。先將每個單木點云經PointNet-GS中的幾何下采樣處理保留1 024個點，每個點的維度均是三維(x，y，z)，整個單木點云構成1 024×3的特征矩陣，與T-Net生成3×3矩陣相乘，得到1 024×3的對齊矩陣。經過MLP將每個特征點映射到64維空間。用另一個T-Net生成的64×64的矩陣與之相乘，得到1 024×64的特征對齊矩陣。再次通過MLP將每個特征點映射到1 024維，得到1 024×1 024的特征矩陣。最后通過最大池化操作，對稱函數得到1×1 024維的全局特征，再經過一個MLP后，使用softmax函數計算單木樹種類別概率，選概率最大的作為預測結果，表達如式(6)所示。

(6)

式中：r表示類別數；yw為輸出概率；yu為輸入神經元值；e為自然常數。使用交叉熵計算各分類損失，評估真實樣本與預測樣本之間差距，表達如式(7)所示。

(7)

式中：qn為真實單木樣本；pn為預測概率；N為批次樣本數；n為樣本索引。

2 實驗與結果分析

實驗設計如圖2所示。對獲取的原始數據進行預處理主要包括數據去噪、分離地面點、點云歸一化等操作。之后單木分割、挑選訓練和測試樣本，制作數據集。最后訓練模型，完成樹種分類，評估模型精度。

圖2 實驗流程圖

2.1 實驗數據

本文研究區是河北省塞罕壩機械林場(117°23′50.420 4″E，42°22′0.404 4″N)，實驗數據是2020年8月份采集的落葉松和白樺兩個樹種。由于樹木之間遮擋影響架站通視性，將樣地分為四個小樣地，待每個樣地掃描結束后將其拼接為整個研究區域。地基激光雷達掃描數據范圍較大，遠超過所劃定的樣地范圍，因此在樣地四個角點樹干上纏旗子作為標志，便于樣地數據裁剪。

林區激光雷達數據獲取時，地形環境相對復雜，易產生大量離群點。高斯濾波算法根據距離均值和方差消除范圍以外的離群點適用于此環境，因此選擇高斯濾波消除噪聲[17]。林地存在大量雜草和低灌叢，會影響地面點分離效果。地面點和非地面點臨界區域也非常模糊，導致常規地面濾波算法參數設置困難，因此選擇參數設置簡單的點云地面點濾波(cloth simulation filter，CSF)算法分離地面點[18]，對參數的設置要根據森林樣地的現場勘察。樹種識別分類的基礎和前提是準確的單木分割。目前，常見單木分割算法包括分水嶺分割算法[19]、影像與點云匹配分割算法[20]、圖分割算法[21]等。由于分水嶺算法在單木分割領域應用廣泛，適合大多數單木分割場景，因此本文使用分水嶺算法進行單木分割。分水嶺分割算法主要利用圖像分割技術進行單木分割，具體如下：①將點云數據經過投影轉為圖像；②設置滑動窗口提取圖像局部最高點，將局部最高點作為樹頂；③通過種子點區域增長法提取單木。單木分割效果取決于滑動窗口設置大小。當窗口設置過大，局部最高點漏檢，出現漏分割現象；滑動窗口設置過小，局部最高點過多則出現過分割現象。因此，參數設置應考慮樣地面積和單木數量，單木分割流程如圖3所示。

圖3 單木分割流程圖

從所有樣本中選出分割完整的落葉松300棵、白樺260棵，按照訓練數據集和測試數據集比例8∶2劃分。單木點云樣本從多個角度轉為圖像，為保持其他模型與PointNet-GS的訓練和測試樣本數量一致，挑選落葉松圖像300張、白樺260張，同樣劃分比例為8∶2。體素訓練樣本和測試樣本也按照上述比例劃分，各樣本屬性如表1所示。

表1 單木樣本屬性

2.2 實驗分析

使用PointNet-GS對落葉松和白樺單木點云數據下采樣效果如圖4所示。由于不同樹種之間樹木結構的差異性，各樹種之間的外形輪廓差距明顯，尤其是冠層和樹干部分。突出其局部特征更易使網絡進行特征提取。如圖4所示，PointNet-GS在局部特征提取保留原始信息的效果非常明顯。

圖4 點云數據下采樣

1)點云端到端。通過實驗分析，PointNet-GS開始趨向穩定時，訓練精度為0.781，對應的損失函數也在此范圍內有明顯變化。當訓練結束時，模型訓練精度到達0.887，損失函數為0.263。由于PointNet-GS提取了更加明顯的特征，所以模型精度以及損失函數在后期出現的波動相對較小。PointNet與PointNet-GS幾乎同時開始趨向穩定，隨著模型的繼續訓練其損失函數波動相對較大。造成波動的原因有兩方面：①數據訓練樣本數量相對較少，使用均勻采樣保留樣本局部特征信息較少；②參數設置問題，學習率設置過大，樣本批次設置過小，使得梯度和訓練精度出現震蕩，模型收斂困難。當訓練結束時，模型的訓練精度達到0.874,接近本文所提出的方法，損失函數為0.41。

2)點云轉體素。體素數據的特征取決于體素網格原點、分辨率、方向，通過卷積、池化、全連接層等操作提取特征。經過單木分割提取的單木點云數據，將其轉為三維體素數據，本文使用VoxNet對樹種進行分類識別。與PointNet-GS和PointNet相比，VoxNet訓練開始逐漸趨向穩定比較緩慢。由于點云數據體素化會造成幾何信息缺失，描述的對象不具有完整性，并且體素數據計算成本又遠高于點云數據，因此需要更多的訓練才能趨向穩定。訓練數據集的樣本數量受限使得VoxNet模型訓練趨向穩定的過程中損失函數變化較大。當訓練結束時，模型訓練精度為0.886，與上述兩種方法的模型訓練精度相近，損失函數為0.102。

3)點云轉圖像。點云數據轉為二維圖像后，按之前劃分的樣本比例分別輸入AlexNet、Vgg19、ResNet101。AlexNet網絡層數少，結構簡潔，參數量較少，開始趨向穩定時模型訓練精度為0.72，訓練結束時模型訓練精度為0.75，訓練模型精度已難以提升，此時損失函數為0.193。使用Vgg19對同樣的圖像數據進行訓練，模型訓練精度持續波動，訓練結束時模型訓練精度為0.795。在模型訓練過程中，損失函數也出現了較大波動，但其波動連續性較短，之后趨向于收斂，訓練結束時損失函數為0.263。與前兩種模型相比，ResNet101結構相對復雜，卷積神經網絡層數較多，模型訓練趨向穩定時的精度為0.855。隨著模型繼續訓練，ResNet101也出現了與Vgg19同樣的現象，訓練精度出現較大幅度波動，訓練結束時模型訓練精度為0.895，與AlexNet和Vgg19相比，模型訓練精度提高了0.145和0.1。

總結以上三種方法，AlexNet模型精度難以提升的原因是單木分割樣本較少，轉為二維圖像數量有限，訓練樣本較少，模型通過卷積操作提取特征較少；Vgg19和ReNet101出現同樣問題，主要原因是模型結構較為復雜，網絡層數和參數較多，而訓練樣本受單木提取樣本數量和特征的限制，又為保持實驗訓練樣本與三維深度學習模型訓練樣本數量一致性，訓練樣本較少，從而出現這種現象。

2.3 模型精度評估

本文引入準確率(accuracy)、精確率(precision)、召回率(recall)以及Kappa系數來評估各模型性能。提取兩種樹的胸徑、樹高、冠幅參數，使用SVM、KNN、隨機森林(random forest，RF)機器學習算法，根據提取的參數對樹種進行識別分類，與深度學習模型精度進行比較。

用訓練模型對測試數據集進行樹種分類。通過表2可知，本文使用的PointNet-GS方法對落葉松精確率達到0.914，白樺的召回率為0.904，樹種識別分類準確度達到0.893，Kappa系數為0.785，均為所有模型最高。與PointNet相比，模型測試精度高出0.027，Kappa系數高出0.054，其他精度評估指標均低于本文方法，說明幾何采樣更加適用于樹種分類中的單木樣本下采樣。VoxNet樹種分類精度評估指標均低于PointNet-GS和PointNet，證明數據類型轉換使數據丟失了特征信息，模型無法提取更多特征，因此將點云直接訓練得到模型樹種分類效果優于轉為三維體素的效果。ResNet101在分類中，測試精度為0.875，Kappa系數為0.748，與Vgg19相比分別高出0.027和0.054，與AlexNet相比分別高出0.107和0.216。其他樹種分類精度評估指標也均高于這兩種模型，證明ResNet101依靠其強大的網絡可從圖像中提取更多特征，提高了樹種分類精度。ResNet101與本文所提出的PointNet-GS相比，樹種分類精度低0.018，與PointNet相比高出0.009，但前期需要將點云轉為圖像，數據預處理較為繁瑣。Vgg19和ResNet101的Kappa系數和樹種分類精度均高于VoxNet，而AlexNet則低于VoxNet。當網絡層數多，特征提取能力強時，將點云轉圖像進行樹種分類的效果優于點云轉體素；網絡層數少，特征提取能力較弱以及數據量樣本受限時，點云轉體素樹種分類效果優于轉圖像。機器學習樹種分類算法中，SVM樹種分類精度和Kappa系數優于其他算法。總結以上模型測試效果，本文提出的基于點云深度學習PointNet-GS樹種識別效果優于PointNet、點云轉體素和點云轉圖像方法，樹種識別平均精度高出0.06。從整體分類效果分析，基于深度學習方法對于樹種分類識別效果優于機器學習方法，平均精度高出0.1，Kappa系數高出0.2。

表2 各模型精度評估指標

3 結束語

本文基于深度學習方法實現樹種識別分類，基于PointNet提出PointNet-GS。與PointNet均勻采樣方式不同，PointNet-GS使用幾何采樣，保留更多的點云數據局部特征。PointNet-GS訓練精度和測試精度均高于原始PointNet方法，其中模型測試精度為89.3%，Kappa系數為0.785。與其他基于深度學習樹種識別方法相比，本文方法可將點云直接作為訓練樣本輸入網絡模型，無需前期數據類型轉換，避免了數據特征丟失。將點云轉為二維圖像后輸入深度學習網絡模型訓練，出現模型訓練精度、損失函數波動，表明存在過擬合效應，說明訓練樣本不足。由于不同樹種之間差異性較小，樹木自身復雜性較強，通過機器學習方法測試精度低于深度學習方法。本文提出的PointNet-GS模型為林區樹種識別提供新的方法并展現出應用潛力。未來工作將研究單木分割算法，提取更多訓練樣本，優化網絡結構，進而提高模型精度，實現多樹種智能化識別。