基于U-Net模型的多時相Sentinel-2A/B影像林分類型分類

楊 丹，李崇貴，李 斌

（西安科技大學測繪科學與技術學院，陜西 西安 710054）

傳統的森林資源調查成本高、難度大、精度低，難以滿足林業的可持續發展[1]。近年來，航天遙感技術的不斷發展，獲取大尺度、高時效以及高分辨率影像的能力也逐步增強，為森林類型識別提供了新的機遇[2]。目前，學者們結合多種數據源，采用MODIS數據、Landsat系列數據、Sentinel-1/2以及高分數據等對植被進行分類，均表現出不同的優勢。其中，哨兵數據具有較高的空間分辨率，以及豐富的光譜信息，同時紅邊波段對植被具有較強的敏感性。因此，本研究選取哨兵數據進行植被分類。由于植被存在同譜異物等現象，僅依靠單一時相進行森林分類難以取得較好的效果。有學者發現根據森林植被物候特性，并且構建多時相植被指數以及紅邊指數，能夠提高分類精度[3-7]。Agarwal、溫一博、劉瑞清等[5,8-9]采用多時相的遙感影像，結合植被物候特性，大大提高了植被之間的可分性。目前，分類方法層出不窮，從目視解譯到智能提取，再到深度學習，為遙感植被分類提供了廣闊的空間[10]。有學者將深度學習的方法引入遙感領域，探究其適用性。該方法通過訓練能夠自動學習更高維的特征，獲得更準確的結果。其中，由Long等[11]在2015年提出的全卷積神經網絡（FCN），可以進行語義分割，從而實現像素級分類。基于此，專家學者們開發出一系列深度學習模型（U-Net、DeepLab以及SegNet等）。同時，對模型進行不同程度的改進，使其在遙感分類中得到廣泛應用[12-15]。Marggiori E等[16]將FCN應用到遙感影像識別中，取得較好的效果；Guangsheng Chen等[17]基于DeepLab V3對高分辨率影像分類，其在邊界以及小目標表現良好；Cao K等[18]基于機載高分辨率影像，提出一種深度學習Res-UNet模型進行樹種分類，結果取得較高的分類精度；許慧敏、孫曉敏等[19-20]采用U-Net方法對遙感影像進行分類，其精度高于SVM和CNN；王雅慧等[21]基于高分辨率遙感影像對森林植被分類，并加入NDVI波段，采用優化后的深度學習模型進行訓練學習，結果表明該模型加入NDVI的分類精度高于未加入時精度，同時該模型精度高于SVM和RF。因此，基于U-Net模型進行森林植被分類，能夠有效提高分類精度，具有一定的研究意義。但是，目前基于U-Net模型的植被分類研究僅采用了單時相影像，未根據植被物候信息結合多時相影像進行研究。本研究以孟家崗林場為研究區，以多時相哨兵影像和DEM為數據源，通過計算各類別的可分性確定最佳單一時相；同時構建植被指數以及紅邊指數時間序列，分析能夠有效區分植被的特征，并將DEM作為輔助信息參與分類，分別采用支持向量機和優化后的U-Net模型對單一時相+DEM和單一時相+DEM+多時相植被指數兩種方案進行林分類型分類，為后續森林資源調查及監測提供相應的技術手段。

1 研究區與數據源

1.1 研究區概況

黑龍江省孟家崗林場位于樺南縣東北部，其地理坐標為 130°32′42″～130°52′36″ E，46°20′16″～46°30′50″ N（圖1）。該林場是以經營落葉松樹種為主的人工林基地，總面積約16 733 hm2，林場經營面積為16 274 hm2，主要樹種有落葉松（Larix gmelinii （Rupr.）Kuzen.）、樟子松（Pinus sylvestris var.mongolica Litv.）、紅松（Pinus koraiensis Sieb.et Zucc.）等。地貌總體表現為東北高，西南低，最高海拔為575 m，最低海拔為170 m，平均海拔為250 m。氣候條件為東亞大陸性季風氣候，冬長夏短，最高氣溫為35.6 ℃，最低氣溫?34.7 ℃，年平均氣溫2.7 ℃，年平均降水量550 mm。

圖1 研究區9月20日影像Fig.1 Image of the study area on September 20

1.2 數據來源與預處理

采用的Sentinel-2A/B遙感影像來自歐洲航天局（ESA）官方網站，結合林場內植被生長特點，選取了成像日期為5—11月份之間的4景影像，其中2017-05-30、2017-07-22、2017-10-30為Sentinel-2A影像、2018-09-20為Sentinel-2B影像，研究區云量為0。采用ESA提供的SNAP軟件中大氣校正模塊Sen2Cor對影像進行大氣校正，并在SNAP中對其重采樣為10 m，轉為ENVI格式，在ENVI中采用Layer stacking工具將各波段進行合成得到多波段文件。

由于林場地形起伏影響，導致影像中存在山體陰影，不能準確反映植被情況。同時，植被的生長與海拔也有一定的關系。因此，將DEM作為輔助信息參與到分類中，以此提高分類精度。其中DEM數據來自地理空間數據云，數據集為ASTER GDEM 30M 分辨率數字高程數據，下載覆蓋研究區的地形數據（ASTGTM_N46E130），并進行裁剪，將其重采樣為10 m。

采用的輔助數據有孟家崗林場矢量邊界，2014年森林資源二類調查數據以及2017年實地補充調查數據。其中實地調查樣地共有374個，采用GPS單點定位方式，并記錄樹種組成、齡組、胸徑等屬性信息。根據獲取的影像以及實地調查數據對比，由于植被生長周期較長，變化幅度小，一定程度上可以忽略不同時期數據對實驗的影響。對林場內林分類型進行劃分，主要分為落葉松、樟子松、闊葉林、針闊混交林、其他（耕地/農作物等）。

根據樣本數據中的屬性字段制作深度學習標簽，部分標簽如圖2所示。在ArcGIS Pro2.3中制作深度學習樣本，采用滑動窗口的采樣方式將影像及標簽裁剪為256＊256大小的像元。同時，對于樣本不均衡的情況，適當進行過采樣或者欠采樣。在訓練模型之前，將樣本數據按照6∶2.5∶1.5的方式劃分為訓練集、驗證集和測試集，各數據集之間應保持獨立、不重疊，同時應具有相似的分布，其中845張影像用于訓練模型；352張影像用于驗證，從而訓練超參數；200張影像用于測試模型精度。

圖2 部分影像及標簽Fig.2 Some images and labels

2 研究方法

首先對4景不同時相的Sentinel-2A/B影像，計算各類別樣本之間的JM距離，選取可分性最高的時相，并加入DEM，采用優化后的U-Net模型對森林植被進行分類。之后，構建植被指數及紅邊指數時序曲線，選取有利于區分各類別的指數特征。同時采用支持向量機和U-Net模型對比單一時相+DEM和單一時相+DEM+多時相植被指數及紅邊指數兩種方案的分類精度。

2.1 JM距離

JM距離（Jeffries-Matusita distance）一般定義為2個光譜類別之間的平均距離，能夠定量衡量類別之間的可分離度，取值范圍在0～2之間，越接近2，表示樣本的可分性好[22]。本研究采用JM距離計算各時相樣本類別之間的可分離性，從而得出分類的最佳單一時相或波段。計算公式為：

2.2 植被指數及紅邊指數

差值植被指數（DVI）能夠反映植被覆蓋度變化情況，其公式為：

紅邊歸一化植被指數（mNDVI）是基于NDVI改進的指數，它對葉冠變化、衰老非常靈敏，一般用于森林監測等[23]，其公式為：

紅邊葉綠素指數（CIred-edge）能夠估測出植被中的葉綠素含量[24]，其公式為：

歸一化差值紅邊指數（NDre1）能夠反映葉片色素變化并監測葉片衰老[24]，其公式為：

2.3 U-Net模型

U-Net網絡是2015年由Olaf Ronneberger等人[25]基于FCN提出的一種新型的語義分割網絡結構，最早應用于醫學圖像分割，能夠在少量樣本的情況下達到相對精確的分割結果。它是一種典型的編碼解碼結構（encoder-decoder）。編碼過程主要進行下采樣，實現特征提取，解碼過程主要是進行上采樣，還原像素尺寸，同時精準定位分割位置。

如圖3所示，可以看出該網絡結構呈現U型對稱結構，左半部分為壓縮路徑，每一層都由兩個3＊3的卷積層以及步長為2的最大池化層組成。最大池化層在進行下采樣時，使得尺寸縮小一半，通道數增加為原來的2倍。右半部分為擴展路徑，每一層都是與橫向連接的下采樣進行拼接，再進行兩次2＊2的反卷積操作。最后一層為分類層，進行1＊1卷積操作，同時將特征圖映射到類別數量，使用softmax函數得到各類別的概率。

圖3 U-Net網絡結構Fig.3 U-Net network structure

本研究是基于Tensorflow2.0+Keras框架進行的，實驗配置為Intel（R） Core（TM） i5-3230M CPU @ 2.60GHz，NVIDIA GeForce GT 740M。由于原始的U-Net網絡參數過多，導致訓練過程耗費大量的內存和時間，硬件條件要求非常高，因此，對U-Net模型進行優化，減少了一部分卷積核數量，并且在卷積層后加入Batch Normalization正則化，從而降低權重影響，避免過擬合。在訓練過程中，采用Adam算法進行訓練，其學習率設定為0.001，損失函數為categorical_crossentropy。

2.4 支持向量機

支持向量機（SVM）是在滿足線性可分的條件下，根據其最優分類超平面提出的，它主要是通過定義適當的核函數將輸入空間變換為高維空間，從而在高維空間內求解最優線性分類面。本次實驗采用的核函數為徑向基核函數。

2.5 精度評價指標

通過混淆矩陣計算總體精度和Kappa系數，對森林植被分類精度進行評價。結合實地調查數據以及二類數據，將樣本和像元建立對應關系，最終獲取了69 327個像元計算混淆矩陣精度，其中闊葉林共22 373個，落葉松共8 224個，樟子松共8 414個，針闊混交林13 410個，其他共16 906個。將其作為驗證樣本，對分類結果進行評定，并比較其精度。

3 結果與分析

3.1 根據JM距離選取最佳單一時相

首先對4景不同時相的哨兵影像，計算各類別之間的JM距離，最終得出10月30日的JM距離較其他時相大，各類別可分性較其他時相好。因此，選取10月30日影像并以DEM作為輔助信息，分別采用U-Net模型和支持向量機方法對森林植被進行分類。

3.2 多時相植被指數及紅邊指數

經過前人研究以及大量實驗進行分析，最終選取差值植被指數（EVI）、紅邊歸一化植被指數（mNDVI）、紅邊葉綠素指數（CIred-edge）、歸一化差值紅邊指數（NDre1）。

如圖4所示，闊葉林在夏季具有較大的DVI值；樟子松隨時間的變化范圍較小，主要是由于該樹種四季常綠，與其他類別有著較明顯的差異，7月22日影像中，樟子松能夠與其他類別區分；落葉松和針闊混交林趨勢類似，僅表現出較小的差異，各時相不易區分。因此，可以選取7月22日的差值植被指數（DVI722），有利于區分樟子松與闊葉林和針闊混交林。

圖4 差值植被指數時序曲線Fig.4 Time series curve of DVI

圖5為各森林類別mNDVI隨時間變化情況，可以看出森林各類別趨勢相似，差異較小，對于5月30日影像，闊葉林開始生長，與其他針葉樹種有較小差異。夏季闊葉林的值較其他類別高，秋冬季節，其值逐漸減小，主要是由于闊葉樹的覆蓋度降低，由于針闊混交林中可能包含常綠樹種，其值比闊葉樹高一些，樟子松由于其屬于常綠針葉喬木，覆蓋度變化相對較小。因此，可選取5月30日、10月30日的紅邊歸一化植被指數（mNDVI530、mNDVI1030），能夠將樟子松、闊葉林以及針闊混交林區分開。

圖5 紅邊歸一化植被指數時序曲線Fig.5 Time series curve of mNDVI

圖6為CIred-edge隨時間變化曲線，可以看出，對于5月份和10月份，由于處在植被生長初期及末期，各森林類別的葉綠素含量非常低，對于夏季，各類別均生長茂盛，其覆蓋度及生物量達到最高，相應的葉綠素含量也達到最大，但各類別之間由于其內部機理不同，紅邊葉綠素指數也存在差異，因此可以選取7月22日和9月20日的紅邊葉綠素指數（CIred-edge722、CIred-edge920）來區分各類別。

圖6 紅邊葉綠素指數時序曲線Fig.6 Time series curve of CIred-ege

圖7為NDre1隨時間變化曲線，可以看出從春季到夏季，葉片色素含量呈上升趨勢，并在夏季達到最高，進入秋冬季節時，葉片色素含量逐漸下降，葉片進入衰老階段。同時，春季及秋冬季各類別之間其葉片色素含量的不同，導致其NDre1的值也存在一定的差異。因此，選取5月30日、7月22日和10月30日的歸一化差值紅邊指數（NDre1530、NDre1920、NDre11030）可以區分各類別。

圖7 歸一化差值紅邊指數時序曲線Fig.7 Time series curve of NDre1

在單一時相的基礎上，加入以上選取的特征指數（DVI722、mNDVI530、mNDVI1030、CIred-edge722、CIred-edge930、NDre1530、NDre1920、NDre11030），計算各類別之間的JM距離（見表1）。可以看出，單一時相+DEM+多時相植被指數及紅邊指數之后，各類別的可分性較好。其中，JM距離越大，可分性越好。

表1 各類別之間的 JM 距離Table 1 JM distance between categories

3.3 U-Net及支持向量機分類

分別采用優化后的U-Net模型及支持向量機對單一時相+DEM和單一時相+DEM+多時相植被指數及紅邊指數兩種方案進行分類，對比UNet模型和支持向量機的分類精度，同時驗證在單一時相基礎上加入多時相植被指數及紅邊指數，分類精度是否提高。為了凸顯本研究方案的可行性，在單一時相基礎上擴充其他時相影像原始波段（紅光波段、紅邊波段以及近紅外波段）進行分類對比實驗。

對U-Net方法進行訓練時，將訓練集和驗證集按批次輸入到網絡中，其中訓練集進行訓練，驗證集采用交叉驗證的方法調整訓練超參數，從而降低泛化誤差。直到訓練集和驗證集的loss值趨于穩定，模型訓練結束。之后，采用訓練好的模型對測試集進行測試，最終計算得到分類精度如表2。

由表2可以看出，對于單時相影像+DEM分類時，U-Net模型的總體精度為73.24%，Kappa系數為0.629 2；SVM分類的總體精度為68.66%，Kappa系數為0.589 2；在單一時相+DEM的基礎上，加入多時相植被指數及紅邊指數特征進行分類時，U-Net模型精度為77.87%，Kappa系數為0.710 6；比SVM分類精度高6.67%。對于多時相原始波段+DEM，U-Net模型和SVM分類的總體精度分別為74.14%和70.28%。從中可以看出，多時相影像分類精度明顯高于單時相影像分類精度；然而對于多時相原始波段和多時相植被指數2種方案，加入多時相植被指數的分類精度更高，可能是由于植被指數是通過對波段進行運算，能夠增強植被特征，從而使分類效果更好。對比方案1和方案2，加入多時相植被指數及紅邊指數特征后，考慮了植被的物候特性，分類精度有很大的提高。深度學習U-Net模型能夠學習影像內部豐富的光譜和空間特征，并且挖掘深層信息，對比UNet模型和SVM的分類結果，深度學習U-Net模型均表現出較高的精度。

表2 分類精度Table 2 Classification accuracy

圖8為不同方案分類結果的混淆矩陣，圖9為部分分類結果細節圖。從中可以看出，傳統的分類方法SVM存在“椒鹽”噪聲，并且分類邊緣呈鋸齒狀，而深度學習U-Net方法在一定程度上能夠避免該現象，其分類結果更加細膩。同時，對比圖9中的（a）與（b）、（c）與（d），均可以看出加入多時相植被指數及紅邊指數特征之后，分類效果更好，減少了像元混分錯分的情況。結合圖8對比各類別的分類情況，可以看出針闊混交林與其他類別還存在較為嚴重的誤分現象，主要是由于針闊混交林中交錯混合生長著其他林分類型，從而被誤分到落葉松、樟子松、闊葉林等類別中；落葉松和樟子松之間的誤分主要是由于光譜特征相似，而加入多時相植被指數及紅邊指數后，對比圖8（a）（c）和圖8（b）（d）可以看出落葉松和樟子松的誤分現象大大減小；同時混合像元也可能導致錯分現象。綜合來看，U-Net模型的分類效果較傳統的SVM方法更加細膩，錯分情況也大大減小，同時避免了椒鹽噪聲、邊緣鋸齒狀等現象。

圖8 不同方案分類結果混淆矩陣Fig.8 Confusion matrix of classification results of different schemes

圖9 分類結果細節Fig.9 Details of classification results

4 結論

基于多時相Sentinel-2A/B影像以及數字高程模型（DEM），根據各類別的JM距離確定最佳單一時相。同時，根據多時相植被指數及紅邊指數時序曲線，選取有利于區分各類別的指數特征。根據單一時相+DEM和單一時相+DEM+多時相植被指數特征2種方案，分別采用支持向量機以及優化的U-Net模型對林分類型進行分類。研究結論如下：

（1）通過構建多時相的植被指數及紅邊指數（EVI、mNDVI、CIred-edge、NDre1）時序曲線，結合植被物候特性，最終得出優選特征為：DVI722、mNDVI530、mNDVI1030、CIred-edge722、CIred-edge930、NDre1530、NDre1920、NDre11030。將最佳單一時相與優選的植被指數特征進行組合，采用JM距離判斷類別之間的可分性，其各類別之間JM距離均大于1.8。因此，對優選特征進行組合之后，樣本可分性更好，能夠在一定程度上提高分類精度。

（2）采用深度學習U-Net模型對林分類型分類時，對比單一時相+DEM和單一時相+DEM+多時相植被指數及紅邊指數兩種方案的分類結果，深度學習U-Net模型能夠挖掘影像數據更深層次的特征，其總體精度均高于支持向量機方法。同時，在單一時相的基礎上加入多時相植被指數及紅邊指數時，由于考慮了植被的物候特性，分類精度遠高于單一時相的精度。

（3）根據U-Net模型和SVM的分類結果圖，可以看出U-Net模型的分類結果能夠避免傳統方法中的“椒鹽”現象，結果更加細膩，同時在一定程度上減少了像元混分的情況。總體來說，深度學習U-Net模型能夠有效的提高分類精度，并且學習到影像豐富的深層特征，與傳統的方法相比，具有更高的適用性。