基于深度學習的樹種識別系統設計與試驗

李沖王光輝陸志恒王德成郭子文蔡晨林靜

(中國農業大學 工學院,北京 100083)

0 引言

2019年,我國林業產業總產值達7.56萬億元,已成為林產品生產、貿易和消費大國。黨的十九大提出,到2035年全國森林覆蓋率力爭達到26%。為此,每年須完成造林任務733萬hm2[1]。在林木種植過程中,為保證其進入成熟期后的高效利用,需準確掌握種植樹木種類[2-3]。同時采集林木種類信息也是利用和保護林木資源的基礎,是林業資源可持續利用的有力保障[4-5]。

在樹木樹種識別任務中,主要采用經驗觀察法,該方法存在著經濟性差和誤差較大等問題,無法高效、準確完成林木識別任務[6]。機器學習的發展使得人工進行林木特征提取并建立樹種識別模型成為可能,但大多還需要依靠工作人員對樹葉、樹皮和果實的外觀特征進行選擇,此方式所構建的模型精準度與泛化性能不強[7],效率也已經難以滿足林業發展的需要。一些學者通過無須人工篩選特征的深度學習方法自動提取目標特征,有效提升了目標檢測任務的準確率和速度[8]。Yang等[9]通過掃描獲取3個肉桂物種的葉片圖像,使用葉片圖像和深度卷積神經網絡(CNN)來進行分類識別,測試精度高達96.7%,比SVM+Gabor分類器高22.1%;Verly等[10]通過使用Inception-V4構建了北美10種硬木樹種分類模型,較高提升了樹種宏觀圖像上分類的準確率,其準確率達92.60%; Yang等[11]參考SqueezeNet網絡模型,提出一種輕量化模型,能夠快速、高效地進行不同產品紋理的區分,其分類任務準確率達到95.58%;何拓等[12]基于Res-Net-50網絡模型構建了木材自動識別系統,該系統在“屬”和“種”的識別精度可達91.8%和77.3%,通過深度學習技術有效實現了木材“種”特征的自動提取識別。因此,基于深度學習構建網絡模型分類器能夠減少人工特征提取成本,并提升識別準確率[13]。

為了提升樹種識別任務的效率和準確率,降低樹種識別工作強度,本研究以華北地區常見的6種行道樹種為研究對象,建立樹種圖像數據集,比較不同卷積神經網絡的樹種識別能力,構建最佳樹種識別模型,并完成林木樹種識別系統的設計,為城市園林建設、林木業高效科學管理提供新思路和新方法。

1 設備與材料

1.1 硬件設計

林木樹種識別系統由硬件設備部分與軟件算法模型部分構成。其中硬件設備可作為圖像智能采集平臺單獨工作,由紅外傳感器(WWEIGUO, 30～700 cm檢測距離, DC6～36 V)、雙目相機(Stereolabs, ZED 2, USB3.0端口, 60幀/s)、工控機(CIBOU, 酷睿i7 10510U,8 G內存,12 V 5 A)、蓄電池(品晟, P-701, 200 000 M, DC5～19 V)、顯示屏(ZGYNK, HDMI USB 2.0 Type-C, 15.6英寸)以及開發板(Arduino, MEGA 2 560 R3, USB3.0, 9 V)組成。圖像智能采集平臺程序邏輯如圖1所示。

紅外傳感器與雙目相機通過設定程序與Arduino開發板連接。程序邏輯為當紅外傳感器1受到遮攔感知到林木被觸發,經由串口傳遞信號給工控機,工控機獲取信號后啟動雙目相機,雙目相機開啟拍照并且編號儲存,隨后紅外傳感器2被觸發或圖像數據采集量滿足要求后,雙目相機結束拍照,如此往復循環至程序關閉或電源關閉,并且拍照數量與時間間隔可以通過程序進行設置。

圖1 圖像采集程序邏輯圖Fig.1 The program logic diagram of image acquisition

平臺分為采集端和處理端,可由人為手持或搭載移動裝置上進行工作。

平臺采集端由紅外傳感器、雙目相機和支架組成。因實際拍攝圖像時邏輯程序為紅外傳感器1觸發相機拍照,紅外傳感器2觸發相機結束拍照,因此放置紅外傳感器1于靠近行駛路線一側,相機放置于2個傳感器中間。并且所拍攝林木胸徑均約20 cm,拍攝位置與林木樹干直線距離約80 cm,經過實地測試,支架長度50 cm能夠滿足實際圖像采集速度。圖2是采集端安裝于拖拉機駕駛室外側擋泥板實例圖。

圖2 平臺采集端結構Fig.2 Platform acquisition end structure

平臺處理端由工控機、蓄電池、顯示屏以及開發板組成。利用蓄電池可以為圖像采集相應設備穩定供電,借助工控機能夠滿足實際較為惡劣的作業條件,通過顯示屏實現采集作業的可視化,便于操作人員及時對作業進行調整。采集好的圖像儲存像素為2 560×720,以bmp文件格式儲存。平臺處理端具體結構形式如圖3所示。

圖3 平臺處理端結構Fig.3 Platform processing end structure

1.2 試驗材料

林木圖像數據采集時間是2021年7月28日至2021年7月30日的每日14時至16時,地點位于北京市大興區安定鎮平原造林地區,坐標116.5 °E, 39.6 °N。圖像數據集包含有6種華北地區常見行道樹種,分別為法國梧桐、楓樹、欒樹、柳樹、國槐和榆樹。具體信息見表1。

表1 林木圖像數據相關信息Tab.1 Information of tree images data

1.3 數據集制作

圖像數據由圖像智能采集平臺拍攝獲取。刪去圖像數據中較為模糊的圖像后,6種樹木各選擇500張圖像。由于所得圖像為雙目相機拍攝所得的左右目圖像,尺寸為2 560×720,因此需要進行圖像裁剪操作,將原圖像劃分為左圖像和右圖像,均為

1 280×720的尺寸,此過程中使得原數據圖像數量擴充一倍,達6 000張。

通過目標檢測算法完成樹種分類任務。目標檢測目的就是尋找出圖片中實例的位置進行定位,并對定位實例進行分類,最終得到定位框與分類得分[14]。需要提取出有效的感興趣區域,即圖像中主體林木的部分,并且排除背景等其他干擾[15]。因此在進行深度學習前,對分割處理后的圖像進行標注。以MVTec Deep Learning Tool為標注工具,完成了對圖像數據集的軸平行矩形標注,此方法能夠在模型訓練過程中充分計算反向損失并對模型進行優化調整。標記過程中,對主要樹干區域進行框選,其他區域部分默認為背景。林木標注實例如圖4所示。

圖4 林木圖像標注實例Fig.4 The annotation example for tree images

標注工作完成后,按照7∶1.5∶1.5的比例將林木圖像數據集隨機劃分為訓練集、驗證集和測試集,完成數據集的構建。

2 模型與訓練

2.1 網絡模型

通過生成特征圖、合并特征圖和輸入特征圖完成檢測的3個步驟,利用目標檢測實現樹種識別任務[16]。首先,由預先訓練好的分類網絡組成的主干生成不同特征圖,隨后移除分類層,此時生成的特征圖會在各個尺度編碼不同種類的信息;然后,通過指定不同層次的主干為對接層,將特征圖合并,獲得較低和較高2個層次信息的特征圖,即特征金字塔;最后,輸出相應的特征圖,并學習分類和定位目標,完成目標檢測任務。圖5為目標檢測原理示意圖。

圖5 目標檢測原理圖Fig.5 Schematic diagram of target detection

在實現樹種識別任務過程中,需要充分讀取圖像信息、穩定提升參數效率和有效避免網絡過擬合。深度學習的提出,使得目標檢測任務中興起了YOLO、Faster R-CNN和SSD等較為有效的模型網絡結構以解決上述問題[17]。為了提高檢測速度與質量,各種研究更是不斷推出獨特的網絡設計,如SqueezeNet、Inception-V3和ResNet-50等網絡結構[18],這些網絡結構在樹種識別中也有較好的表現。其中,SqueezeNet網絡在保證精度不損失的同時,將原始AlexNet模型大小壓縮至原來的1/50,其參數比AlexNet少50倍,能夠更加高效、快速實現任務[19];Inception-V3則根據初始Inception模塊結構,通過將原有5×5卷積核改進為2個3×3卷積核來降低計算參數量以提升計算速度,從而提升模型處理復雜數據的能力[20];而ResNet-50在VGG19網絡基礎上加入殘差模塊,模型具有更高的穩定性和魯棒性,被廣泛運用于各種復雜特征提取應用[21-22]。

為了減小時間成本、提升模型訓練效果,運用HALCON軟件中所提供的預先訓練好的分類模型,這些模型在使用前已經經過較為豐富的圖像數據庫訓練,在此基礎上訓練出的網絡能更好地進行本研究中的樹種識別任務。網絡結構則選擇在目標檢測任務中表現效果較好的SqueezeNet、Inception V3和ResNet-50 3種網絡,在HALCON軟件中對應的算子見表2。為簡潔表達,下文分別用SqueezeNet、Inception-V3和ResNet-50表示3種網絡模型。

表2 模型網絡算子Tab.2 Network model operator

2.2 訓練參數設置

為更好貼合實現形式與實際運用,并且考慮綜合成本,采用臺式工作站計算機進行系統部署與模型訓練,并將訓練好的最優模型設置于圖像采集平臺工控機內以完成林木樹種識別系統的軟件部署。臺式工作站軟硬件配套見表3。

表3 工作站環境配置Tab.3 The configuration of the workstation

數據集訓練過程中,設置訓練參數十分重要。其中最主要的為batch-size(批處理量)、iterations(迭代次數)和learning_rate (學習率)3個參數。由于數據集數量及尺寸較大,為配合工作站運算能力與硬件條件,在訓練中batch_size 設定為2,iterations設定為400,learning_rate設定為0.000 5。

2.3 評價指標

對于目標檢測而言,需要制定一定的規則評價網絡性能,從而選擇合適的分類器。為了對網絡模型性能給出更加全面、客觀的評價,采用平均精度均值(mAP,公式中用mAP表示)、準確率(Accuracy,公式中用Accuracy表示)和召回率(Recall,公式中用Recall表示)3個指標來評價模型網絡性能,計算公式如下[15,23]

式中:QR為驗證集個數;q為單個驗證集;AP為平均精度;TP為實際正類預測為正類的數量;FP為實際負類預測為正類的數量;FN為實際正類預測為負類的數量。

3 結果與分析

設定相應算子程序,使用3種不同訓練模型對標注、劃分后的自制6 000張圖像數據集進行400次迭代訓練,并且在過程中利用驗證集對網絡模型進行較完善的實時評價顯示,顯示參數包含mAP、損失值以及訓練時長。mAP是目標檢測算法很重要的性能度量標準,其能夠充分反映預測圖像類別及每個目標的真實邊界框;損失則通常用來優化訓練數據的模型,損失函數值越小,說明該模型擬合度越好[17]。

在評估和推測過程中,利用測試集在確定的交并比(IoU)下可以得到Accuracy和Recall。對于IoU而言,通常會選取一個閾值,如0.5,來確定預測框是正確的還是錯誤的。當2個框的IoU大于0.5時,認為是一個有效的檢測,否則為無效的匹配[23]。研究中將IoU閾值設定為0.5。

3.1 模型訓練結果分析

表4為3種網絡模型訓練結果。由表4可以看出,SqueezeNet在3種網絡模型中訓練結果均為最優,mAP達0.735。Inception-V3模型效果在3者中表現一般。相比于SqueezeNet網絡,Inception-V3在網絡深度上進行改進,計算網絡模型更復雜,需要更多內存資源才能達到理想效果[24]。在損失值方面 SqueezeNet、Inception-V3和ResNet-50相差不大,最終訓練損失均下降至0.025附近并趨于穩定,能夠符合目標檢測任務要求[24]。在訓練時長方面SqueezeNet網絡模型耗時最短,ResNet-50在3者中耗時最長。這主要是ResNet采用網絡中增加殘差網絡的方法,允許網絡盡可能地加深,所以需要更長的訓練時間[22]。

表4 不同預訓練模型訓練結果Tab.4 Training results by different pre-training models

3.2 模型評估結果分析

3種訓練模型評估結果的Accuracy和Recall相關數據如圖6所示。由圖6可以看出,SqueezeNet的Accuracy和Recall分別為99.6%和100%,高于Inception-V3的99.1%、99.6%和ResNet-50的99.3%、99.8%。結果顯示,3種網絡模型的Accuracy和Recall都較高,達到99%以上,其中SqueezeNet表現最為優秀。主要原因是SqueezeNet相較于Inception-V3和ResNet-50參數數量較少,并且使用了deep compression使得模型充分壓縮,通過squeeze層和expand層構成fire model多分支結構,從而最大程度保證精度的同時使用最少的參數,更適合復雜度較低的目標檢測分類模型任務[19]。

通過mAP、Accuracy和Recall的比較,結果表明,在測試的3種目標檢測網絡模型中,SqueezeNet網絡模型識別效果最佳。

3.3 不同環境和生長狀況下識別結果

為分析SqueezeNet網絡模型在不同環境和生長狀況下對樹種的適應性,選擇不同光照條件、不同胸徑和不同林木直立程度的非數據集內圖像進行分類推測。從測試結果表5可以看出,當圖像為細小的迎光直立林木時,檢測效果最好,識別準確率可達100%,即使林木處于粗壯的彎折背光情況,平均識別準確率也可達97.51%,部分圖像檢測效果如圖7所示。通過圖7能夠看出,目標檢測的定位框與分類2項任務皆能較好完成,并且在光照極好和極差、樹木彎折程度較強條件下也有較好的樹種檢測效果。

3.4 田間試驗驗證

不同于訓練和推測的非實時性檢測,林間的現場環境復雜多變。模型訓練、評估完成后,為進一步檢測模型的穩定性,判斷設計系統的真實環境適應性,在工控機內進行部署,搭建完成林木樹種識別系統。在北京市大興區安定鎮平原造林園區內開展田間試驗,試驗林區樹種包含所訓練采用的6種林木種類。為增強現場場景,試驗過程中,將平臺搭載在正常工作時速前行的園林除草機上,進行動態檢測。檢測過程中,除草機以正常工作速度前進,約3.6 km/h,系統采集端安裝于牽引拖拉機擋泥板上,距離地面約1.3 m。為防止出現樹木圖像重復處理,設定“S”形行駛的路線,并在轉彎時間隔2列樹木。

圖6 訓練模型評估結果Fig.6 Training model evaluation results

圖7 部分圖像分類結果Fig.7 Partial image classification results

表5 不同環境和生長狀況下識別結果Tab.5 Identification results under different environments and growth conditions

試驗隨機選取6種林木各一排共計178棵,圖8顯示了林間實時檢測效果。由圖8可以明顯看出,系統檢測效果良好,能夠很好地完成不同環境下的實時樹種正確分類。并且除草機在行走過程中雖然受環境影響有一定的顫抖、傾斜,但由于雙目相機60 幀/s的較高幀率,圖像質量受影響較小,識別效果并無影響,表6為實時檢測試驗結果,由表6可以看出,相比而言,柳樹識別準確率偏低,這主要是由于柳樹彎曲程度普遍較大。但這并沒有影響總體樣本在林木識別的準確率,設計系統檢測識別準確率達到93%以上,樹木檢測實時識別時間為0.19 s,模型處理速度能夠很好地滿足園林除草機3.6 km/h的運行速度,較人工而言測試效率顯著提高,可以滿足林木樹種高效識別、準確檢測的需求。

圖8 林間實時測試Fig.8 Forest real-time test

表6 實時檢測結果Tab.6 Real time detection results

4 結論

(1)設計出一套林木識別系統,構建了懸鈴木、楓樹、欒樹、柳樹、國槐和榆樹的林木數據集,訓練比較結果顯示,以SqueezeNet構建的樹種分類器表現最優,平均精度、準確率和召回率 分別為0.735、99.6%和100%。

(2)利用該林木識別系統進行動態實時田間試驗,在自然環境下,樹種識別準確率均達93%以上。

研究表明,本文構建的林木樹種識別系統能夠穩定、精確和高效地完成樹種識別,可為林木資源智能化管理提供技術支持。