基于U-Net網絡和無人機影像的松材線蟲病變色木識別

張瑞瑞，夏 浪，陳立平※，謝春春，陳梅香，王維佳

（1. 北京農業智能裝備技術研究中心，北京 100097； 2. 國家農業智能裝備工程技術研究中心，北京 100097；3. 國家農業航空應用技術國際聯合研究中心，北京 100097； 4. 農業智能裝備技術北京市重點實驗室，北京 100097；5. 山東瑞達有害生物防控有限公司，濟南250000）

0 引 言

松材線蟲病（Pine Wilt Disease，PWD）是由松材線蟲（Bursaphelenchus xylophilus）引起的毀滅性森林病害，可通過松墨天牛等媒介昆蟲快速傳播，屬中國重大外來入侵病種。近年受氣候變化和人員流動等影響，該病迅速蔓延，截止2020年已在中國18省（666個縣市）發生[1]，面積達111.46 hm2，導致大量松樹枯死，對中國松林資源、自然景觀和生態環境造成嚴重破壞。松樹染病后針葉顏色出現明顯變化，起初針葉失水，褪綠，繼而變褐，而后呈紅黃色[2]。該病當前無有效防治藥物，一旦發生，只能通過砍伐移除整株松樹，切斷病源防止擴散來進行治理。因此，盡早識別病木并定位，可以縮短對病木的處置時間，降低蔓延速度。

利用衛星和無人機（Unmanned Aerial Vehicle，UAV）遙感技術進行森林變色木識別是當前松材線蟲病疑似染病松樹識別和定位的主要技術手段。材線蟲病變色木識別方面的相關研究主要集中于基于光譜特征的光譜波段選擇和基于遙感圖像結合分類算法開展變色松樹監測 2個方向。例如，張衡等[3]使用高光譜數據對染病樹木進行特征分析，表明采用593 nm波段光譜數據計算一階導數，結合葉綠素質量分數可作為馬尾松是否染病的特征依據。杜華強等[4]采用分形理論對高光譜數據開展馬尾松松材線蟲病發病早期探測研究。白雪琪等[5]基于高光譜數據源，構建歸一化光譜指數（Normalized Difference Spectral Index，NDSI）、比值光譜指數（Ratio Spectral Index，RSI）、差值光譜指數（Difference Spectral Index，DSI）與葉綠素a、b含量、含水率的相關系數對油松毛蟲危害程度進行研究。黃明祥等[6]對健康和發病馬尾松針葉的時序高光譜進行觀測研究，表明近紅外波段內最大的一階微分值、紅邊內一階微分和與藍邊內一階微分和的比值是指示病害發生的顯著性高光譜特征。吳瓊[7]使用顏色和紋理特征對獲取的無人機遙感圖像開展變色松樹識別研究。胡根生等[8]使用加權支持向量機（Support Vector Machine，SVM）對染病松樹展開識別研究。曾全等[9]研究無人機不同飛行高度下獲取數據對變色松樹識別效率，并采用歸一化植被指數（Normalized Difference Vegetation Index，NDVI）監測變色松樹，取得85.70%的精度。基于人工神經網絡的深度學習圖像分類和分割算法，如 VGGNet[10]、Google Inception[11]、深度殘差網絡（Deep Residual Network，ResNet）[12]、U-Net分割網絡[13]和Fast R-CNN分割網絡[14]等極大地提升了圖像分類和分割的精度和魯棒性。上述方法也廣泛地運用于農業圖像識別領域，例如黃雙萍等[15]使用深度卷積網絡Inception預報水稻稻瘟病，驗證結果表明穗瘟病害預測最高準確率達到92.00%。孫鈺等[16]使用深度學習檢測算法SSD300開展森林蟲害實時監測研究，檢測精度達到97.00%。周云成等[17]通過改進VGGNet網絡，提出可用于番茄主要器官的分類方法，針對果體、花和莖的識別精度分別不低于81.64%、84.48%和53.94%。劉媛媛等[18]使用 U-Net分割網絡對秸稈數據開展分割研究，取得94.30%識別精度。胡志偉等[19]使用遷移學習將VGG16模型參數遷移至U-Net網絡，對生豬輪廓開展識別研究，取得94.32%精度。

松材線蟲病變色木識別方面暫未有基于人工神經網絡的深度學習方法開展相應研究。松材線蟲病變色木監測工作通常在較大區域開展，一方面無人機獲取影像時外界氣象（云、霧）、光照條件的變化導致圖像成圖質量存在一定差異；另一方面由于監測區域較大，下墊面情況復雜，同類地物存在不同的光譜特性，類間干擾較大。這要求識別算法需克服復雜、多場景下的類間干擾，以提高變色木識別精度。本研究使用無人機獲取大面積地物影像，通過人工目視解譯和地面實地驗證獲得的變色松樹作為訓練樣本，基于 U-Net圖像分割網絡，構建了可用于大區域松材線蟲病變色木識別的分割器，以期望提高松材線蟲病變色木自動識別精度。

1 數據和方法

1.1 研究區概況

研究區域位于青島市嶗山區北部（36°05′N～36°19′N，120°24′E～120°42′E），如圖 1 所示。研究區西南部是城市建成區，東北部為山地，陸域面積395.79 km2，平均海拔360 m，最高海拔1 132.7 m，年平均地面溫度14.2～15.0 ℃，年均降水約660 mm，植被覆蓋以針葉林為主，是松材線蟲病高發區域。采集變色木影像試驗區域位于嶗山區仰口隧道和黑虎山區域，其中仰口隧道區域面積56.50 km2，黑虎山區域面積53.07 km2。

圖1 研究區地理位置概況Fig.1 Location of the study area

1.2 數據獲取

1.2.1 無人機航拍

航拍設備使用DB-II固定翼型無人機（圖2），該無人機以燃油為動力，具有較強抗風能力和較長續航時間；成像設備采用飛思iXU 180-R 8000萬像素相機，該相機具有寬動態特性的無人機航拍專用相機系統。無人機與航拍相機的具體參數信息如表1所示。

圖2 無人機與航拍路徑Fig.2 DB-II Unmanned Aerial Vehicle (UAV) and routes of aerial photography

表1 DB-II型無人機和飛思iXU 180-R航拍相機參數表Table 1 Parameters of the DB-II Unmanned Aerial Vehicle (UAV)and the iXU 180-R camera

航拍分2個架次完成，航線設計如圖2所示，黑虎山區域航拍時間為2018年10月06日，仰口隧道區域航拍時間為2018年10月14日。無人機飛行高度低于700 m，飛行速度100 km/h，等距離方式拍攝，飛行方向重疊度不低于 75%，旁向重疊度不低于 50%，采集正射影像（Digital Orthophoto Map，DOM）分辨率8 cm。另外，布設地面控制點，使用差分全球定位系統（Differential Global Positioning System，DGPS）設備采集地理坐標進行后期地理位置精糾正，整體定位精度達到0.4 m。航拍飛行獲得黑虎山區域1 567張航拍影像，仰口隧道2 232張航拍影像。

1.2.2 變色木地面樣點調查

對變色木識別過程中遇到的難以判讀、疑難點和集中發生區域采用智能終端采集變色木圖片，同時記錄該變色木地理坐標。開展地面調查獲取的地面樣點數據用于輔助目視解譯和驗證無人機影像變色木識別精度。地面調查共采集45處變色木圖像。

SAP10-2視野檢測程序發現視野損害前青光眼黃斑區視功能損傷的能力…………………… 汪星朦 孫興懷戴毅 等（6）748

1.3 數據處理

航拍無人機圖像間重疊較大，為提升解譯效率和避免重復，對無人機影像數據按照成像區域使用Pix4Dmapper軟件進行拼接生成正射影像。使用PIE軟件和 DGPS采集得到的地理坐標對拼接后正射影像進行地理位置精糾正。通過人工目視解譯，判識全部區域影像，并標記變色木。完成解譯后，仰口隧道區域影像標識1 312棵，黑虎山區域標記 356棵。將地面調查采樣結果對人工目視判讀結果進行精度驗證，得到人工目視解譯精度95.24%。

使用 PIE軟件對人工目視識別的松材線蟲變色木進行標記，并對包含變色木的圖像和掩碼標記圖像進行裁剪，裁剪尺寸128×128像素，得到訓練樣本。圖3為包含典型干擾地物的病害變色木訓練樣本圖像，其中干擾地物分別為巖石（圖3a）、土壤（圖3b）、巖石和土壤（圖3c）。此外，為擴充訓練樣本數據集，對訓練樣本進行數據擴增，具體規則如下：

1）隨機對樣本圖像和標記圖像以中心點旋轉0～45°；

2）隨機對樣本圖像和標記圖像在水平和垂直方向按照圖像寬度和高度的0～20%進行平移；

3）隨機對樣本圖像和標記圖像按照-20%～20%比例改變圖像亮度；

5）按照1:10比例對樣本圖像進行上述處理，即訓練樣本擴大10倍。

本研究使用仰口隧道區域影像作為訓練和驗證數據集，黑虎山區域影像數據作為測試數據集。完成數據預處理后，共得到13 120個訓練樣本。

1.4 U-Net深度學習分割網絡

2015年國際醫學圖像計算和計算機輔助干預（Medical Image Computing and Computer-Assisted Intervention，MICCAA）會議首次公開用于醫療影像分割的 U-Net網絡[13]。由于簡潔的分割邏輯和出色的分割效率，圖像分割領域大量使用該網絡進行圖像分割[20-21]。U-Net網絡由下采樣（編碼）和上采樣（解碼）2個部分構成，下采樣用于提取圖像特征，上采樣用于恢復下采樣學習獲取的特征細節，此上下結構構成U型網絡。在U-Net網絡中下采樣部分由5個節點構成，前4個節點中每個節點由2個3×3卷積處理和一個2×2降尺度最大池化處理構成，最后一個節點由2個3×3卷積和一個 2×2升尺度最大池化處理構成。上采樣由 4個節點構成，每個節點由2個3×3卷積處理和一個2×2升尺度卷積處理組成。此外，由于下采樣和上采樣之間使用直連網絡連接，網絡能夠獲取圖像在不同尺度上的特征，進而提升網絡分割能力。

圖3 包含典型干擾地物的病害變色木訓練樣本圖像和掩碼標簽Fig.3 Training wilt images with typical obstruction items and mask labels

2 結 果

2.1 U-Net模型訓練

用于 U-Net模型訓練工作站參數：Intel Xeon E5-2630×2處理器，32GB內存，4TB磁盤，RTX 2080Ti 11GB顯存顯卡。U-Net模型使用基于Tensorflow后端的Keras構建，選用Adam優化器，訓練迭代30次，塊（batch）大小32，學習率0.000 1。對樣本數據以8:2劃分為訓練數據集和驗證數據集。圖 4為訓練過程中每次迭代獲取的模型驗證精度、損失值和模型訓練精度、損失值。

由圖 4可知，模型的訓練精度隨迭代次數增加逐漸提高，模型的訓練損失值隨迭代次數增加逐漸降低。對于模型的驗證精度和損失值，存在相同規律，沒有出現過擬合或欠擬合以及梯度消失等問題，表明模型被正確的訓練。總體上，模型的訓練精度和驗證精度分別達到98.74%和97.76%。

2.2 模型應用和精度

使用訓練后的模型，對黑虎山區域無人機影像進行預測，得到變色木圖像分割結果。圖 5所示是選取的不同光照條件、具有代表性背景地物圖像和對應分割結果，其中圖5a～5d是無人機獲取變色木真彩色影像，圖5e～5h是U-Net網絡分割結果。圖5a中地物主要由變色木、常綠林混合構成，圖5b地物由巖石、變色木構成。圖5c地物由巖石、變色木與常綠林混合構成，該圖成像時光照條件較差。圖5d地物由裸土、巖石、變色木和綠色樹木混合構成，其中 2株變色木位于圖像上部，一株變色木位于圖像右下邊緣。分析圖5可知，U-Net網絡能夠較好的對松材線蟲病變色木進行分割，無明顯漏分和誤報，且對顏色相近的地物，如巖石、土壤和變色樹木有較高的識別精度。

圖4 U-Net模型的訓練、驗證精度和損失值Fig.4 Training accuracy, validation accuracy, training loss values, and validation loss values of the U-Net model

圖5 U-Net網絡變色木分割結果Fig.5 Segmentation results of the wilt wood

為近一步評估變色木圖像分割結果的精度，使用混淆矩陣評價 U-Net分割網絡精度。主要步驟為在黑虎山區域驗證影像中隨機選取145幅圖像，使用U-Net網絡進行分割，與人工繪制變色木標記掩碼進行對比，得到混淆矩陣。由于松材線蟲變色木識別目標是單株變色木，精度的評定以分割變色木棵樹為基礎，不以分割的像元數量多少進行比較，為此需將分割結果轉換為棵樹。具體轉換方法為：對一個孤立松材線蟲病變色木像素構成的圖斑，若圖斑像素和＜9，則認為該圖斑不為變色木，否則是變色木。上述處理依據：變色木大小應＞20 cm×20 cm，無人機獲取圖像分辨約 8 cm，則對應最小變色木圖斑像素應＞9。此外，考慮林木之間存在一定遮擋，兩圖斑之間距離＜9像素則合并為一株變色木。

如表2所示，U-Net網絡分割變色木用戶精度和生產者精度分別是93.51%和97.30%，針對其他地物分割的用戶精度和生產者精度97.06%和92.96%。變色木識別遺漏會導致感染疫木清除不徹底，影響防治效果，因此應用中要求較低的誤報和漏報率，且漏判率低于誤判率，以減少對染病木的漏報。本研究中變色木誤報率6.49%，漏報率2.70%，漏報率顯著低于誤報，達到較高精度。總體上，U-Net網絡變色木識別精度95.17%，Kappa系數0.90，表明分割精度較高。

表2 U-Net網絡分割精度Table 2 Segmentation accuracies of U-Net model

3 討 論

松材線蟲病變色木的識別亦可以使用其他圖像識別算法進行，如支持向量機[22]、隨機森林等[23]、最大似然[24]等算法。在上述算法中，隨機森林算法（Random Forest，RF）是一個常用機器學習方法，由Breiman[23]提出。該方法構建多個相互獨立的決策樹，通過多次抽取樣本對構建決策樹進行投票，得到最終決策結果。RF具有較高的精度，被廣泛運用于圖像分類、參數回歸擬合等方面。例如，岳繼博等[25]使用遙感數據源和RF算法估算冬小麥生物量，陳元鵬等[26]使用RF算法對工礦區復墾土地進行分類，王麗愛等[27]使用RF估算小麥葉綠素相對含量值。本研究基于Scikit-learn機器學習工具軟件[28]，使用與U-Net網絡相同的訓練數據訓練RF模型，運用訓練的RF模型對驗證數據進行逐像素預測，形成逐像素識別結果（圖6）。

圖6 U-Net分割結果和隨機森林（RF）識別結果Fig.6 Segmentation results for U-Net and Random Forest（RF）model

由圖6可知，RF方法能夠識別松材線蟲病變色木，但相比 U-Net網絡分割結果存在誤報較大和識別結果不完整的問題。如圖6i～6l所示，RF算法對變色木識別不完整，變色木分割結果像元均出現破碎狀，椒鹽現象明顯。椒鹽現象出現的原因是同一地物呈現出差異較大的光譜信息。本研究在使用RF算法時僅僅使用光譜信息作為輸入，分類精度有待提高。為此，本研究計算局部二值模式（Local Binary Pattern，LBP）、Haralick紋理（包含角二階矩、對比度、相關性、方差、熵、均值、同質度）與真彩色圖像疊加生成新的訓練數據訓練模型，得到結果如圖7所示。

圖7a～7d是圖6a～6d作為輸入圖像得到的分類結果；圖 7e～7h以圖 5a～5d作為輸入，不結合紋理信息得到分類結果；圖7i～7l以圖5a～5d為輸入，結合紋理特征得到分類結果。對比圖 7e～7h 與圖 7i～7l，圖 7a～7d 與圖 6i～6l，表明紋理信息的添加能夠降低誤報、減少椒鹽現象。對比圖7e與圖7i，圖7a與圖6i可知，在待分割對象與背景地物在光譜上存在較大差異時，使用紋理信息與否，RF分類器均能獲取較好精度。總體上，在背景較為復雜時，如變色木、巖石、土壤等顏色與變色木類似時，U-Net分割網絡相比RF能夠更好的識別上述背景地物。

圖7 隨機森林（RF）模型識別結果Fig.7 Results of Random Forest (RF) model

U-Net深度學習網絡能夠實現較高精度變色木識別的前提條件在于數量足夠的高質量訓練樣本。為分析樣本數量和質量對 U-Net網絡變色木識別精度的影響，本研究開展減少訓練樣本和降低訓練樣本質量 2個方面的對比分析：1）將用于訓練的樣本減少2/3，即隨機選取4 373個樣本訓練模型；2）隨機對用于訓練的13 120個樣本中50%標簽樣本添加大小1～20像素的枯死木標記，再對模型進行訓練。使用2.2節中所用145幅影像對1）和2）兩種處理得到模型精度進行評估，且重復5次，得到平均識別精度分別為90.2%和79.1%。這在一定程度上說明樣本的質量對于 U-Net網絡識別變色木更為重要，U-Net網絡可以在較小的數據集上獲取較高分割精度，這與U-Net網絡特性一致[13]。

4 結 論

本研究通過使用無人機獲取大區域無人機影像數據，結合基于人工神經網絡的深度學習分割網絡 U-Net對松材變色木圖像進行分割研究。人工目視解譯識別變色木與地面實際采樣點結果對比表明人工目視解譯精度95.24%。使用樣本數據和標簽掩碼對 U-Net網絡進行訓練，得到訓練精度和驗證精度達到98.74%和97.76%，網絡的訓練未出現局部最小值或梯度消失等情況。采用混淆矩陣評估 U-Net網絡分割精度表明，變色木圖像分割的用戶精度和生產者精度分別達到93.51%和97.30%，誤報率6.49%，漏報率2.70%。總體上，U-Net網絡變色木識別精度95.17%，分類Kappa系數0.90，達到較高精度。U-Net網絡較隨機森林方法能夠降低誤報，且能夠極大地降低分割噪音。U-Net分割網絡識別變色木，樣本質量相比樣本數量對識別結果影響更大。U-Net深度學習分割網絡適用于大區域松材線蟲病變色木識別工作。