基于雙分支圖卷積融合網絡的水庫區域地表覆蓋遙感分類

張成才，郭少華，羅蔚然，楊 峰

（1. 鄭州大學水利科學與工程學院，河南 鄭州 450001； 2. 河南省出山店水庫建設管理局，河南 信陽 464000）

0 引 言

及時精確地獲取水庫流域地表覆蓋空間分布信息，對于流域水土保持、生態環境評估及水庫優化調度等具有重要現實意義。地表覆蓋分類從早期側重于影像光譜特征的統計學分類方法［1-4］到近些年注重影像空間上下文信息的深度學習分類方法［5-8］，分類精度有了較大提升。近年來，圖神經網絡因其對任意結構數據的處理能力而受到越來越多的關注。與常規卷積神經網絡（Convolutional Neural Networks ，CNN）中的參數共享和固定形狀的卷積核不同，GNN 可以根據土地覆蓋的具體分布學習自適應核參數，并對任意不規則的土地覆蓋區域進行靈活卷積。因此，GNN 被用于學習不同土地覆蓋類型之間的相關性，并在圖上對其空間拓撲進行建模。GNN 最早由Gori 等人［9］提出， Bruna 等人［10］根據譜域特性將卷積從歐式空間遷移到頻域中進行，在每個圖節點的鄰域上卷積并產生節點輸出。Defferrard等人［11］在光譜圖論的背景下提出了使用K階近似的切比雪夫多項式計算拉普拉斯矩陣的基。左溪冰等人［12］通過K 近鄰構圖，利用圖卷積網絡聚合不同樣本點的特征， 提高影像在小樣本條件下的分類精度。上述方法均為譜域中的圖卷積運算，譜域卷積中的鄰域節點是固定，增加或者刪除節點會導致模型失效，空域卷積能夠直接在空間定義卷積操作，領域節點的選取更加靈活。Hamilton 等人［13］提出了“圖形空間”的歸納框架，Petar 等［14］提出使用注意力機制動態更新鄰居節點的聚合權重，Kipf 和Welling［15］提出了一種快速近似局部卷積，使得圖卷積神經網絡模型能夠編碼圖形結構和節點特征。Chen［16］等人改進層級聚合關系，增加了鄰接矩陣自節點的權重。Liu［17］等人提出選擇一條對圖中目標節點最有貢獻路徑，通過對這條路徑上的節點信息有選擇的聚合獲得節點的最終表示。Lu［18］等人提出“空間對齊圖卷積網絡”，將任意大小的圖通過傳遞對齊，轉化為固定大小的圖結構。Wan［19］等人提出利用圖卷積過程動態變化的圖結構替代固定的節點關系。

GNN 不受固定卷積核限制，可以對影像內任意空間位置光譜特征進行聚合，對于復雜且不規則地表覆蓋類型更有優勢［20］。稠密網絡通過稠密連接加強網絡特征傳遞［21］，它能夠有效獲取影像的高階空間上下文信息。Huang等［22］人最早提出了稠密網絡，通過特征復用減少圖像局部信息的損失，使得DenseNet 在目標分類中取得較好的分類效果。林志偉等［23］人提出了FC-DenseNet，利用稠密塊提取遙感圖像特征，有效提高了低空航拍光學圖像對樹種的識別率。Sha等［24］人通過將稠密網絡進行改進，將SET 塊嵌入到稠密塊中，實驗表明該方法可以有效提高建筑物得提取效率與精度。陳毛毛等［25］人提出一種將稠密網絡與殘差網絡融合的新網絡，通過建立多個密集卷積塊最大程度對特征進行極致利用并提取豐富特征，從而實現光譜信息的高保真并提高空間細節分辨能力。為了充分融合影像的光譜和空間特征，提出了一種雙分支的圖卷積融合網絡，它能夠利用圖的拓撲結構對節點信息進行融合表達，其中圖的節點為影像中的像元，圖的邊為相鄰節點之間的關系。在構建鄰域節點之間邏輯關系時，GNN 根據權重實現對目標像元多階鄰居光譜信息的有效聚合；DenseNet 通過稠密塊組合提取空間信息與高階語義信息；然后在維度上Add 操作融合光譜信息和空間信息，最后利用Softmax線性分類器實現分類。以河南省出山店水庫區域為研究區，使用2019 年2 景sentinel-2 影像和DEM 數據進行實驗，與RF、GNN、DenseNet 分類結果相比，Dual-GCFN 模型將地物之間的光譜差異和像元間的空間關系結合，大幅減少了地物的錯分現象和分類圖中的點狀噪聲。本文所提出的方法能夠獲取更具鑒別力的特征表達，提高地表覆蓋分類精度。

1 研究區概況及構建樣本庫

1.1 研究區概況

河南省出山店水庫是一座大型防洪控制工程，位于河南省與湖北省接壤處。研究區范圍為出山店水庫壩址以上2.86 km的主河槽及兩側支流組成的子匯水區域，面積為628.95 km2，具體地理位置為東經113°65'～114°06'、北緯32°12'～32°48'，海拔范圍51～1 122 m。研究區內西南高，植被覆蓋度較好，中部地區多為丘陵山地，西部存在少量平原耕地，坡度范圍在1°～5°之間。研究區內的地表類型主要有耕地、園地、林地、草地、濕地、建設用地及水體等，在研究區內均勻選擇4個矩形區域進行樣本制作，研究區概況如圖1所示。

圖1 研究區概況Fig.1 Overview of the study area

1.2 研究區數據

使用的Sentinel-2 衛星遙感數據從哥白尼網站（https：∕∕scihub.copernicus.eu∕）獲取。遙感數據的成像時間分別為2019 年9 月30 日和2019 年6 月19 日，兩景遙感影像質量較好、云量低于1%且能夠覆蓋整個研究區，Sentinel-2 的Level-2 級產品已經過了幾何精校正和大氣校正，用SNAP 軟件將空間分辨率為10 m的波段2、3、4、8進行合成并裁剪。研究區內的林地和耕地具有相似的光譜特征，使用高程數據增加不同地物之間相似光譜的區分度，使用的高程數據（Digital Evelevation Model，DEM），來源于阿拉斯加衛星設備（Alaska Satellite Facility，ASF）：https：∕∕search.asf.alaska.edu∕#∕，ALOS PALSAR 是高級陸地觀測衛星，DEM 影像為空間分辨率12.5 m 的數字高程產品，通過ENVI對DEM數據重采樣為10 m。具有相同空間分辨率的兩景Sentinel-2 影像與DEM 數據，作為本文研究區分類使用的基礎數據。

1.3 構建樣本庫

根據我國《土地利用現狀分類》GB∕T21010-2007 規范（標準），結合研究區的實際情況，將研究區地表覆蓋類型分為五類：建設用地、耕地、林地、水體和草地。以高精度Google Earth影像（下載自軟件91衛圖助手）和實地調查為參考，在研究區內隨機選擇四個子區域進行精細化標注，以高精度谷歌影像作為底圖，在ArcGIS中進行全標注的矢量繪制。樣本所在位置如圖1中所示，樣本數量共計10萬個，標注結果如圖2所示。為了更好的檢驗方法的性能，本實驗隨機采用10%的樣本作為模型的訓練、10%的樣本作為測試。

圖2 樣本庫Fig.2 The sample library

2 研究方法

傳統卷積神經網絡以像元空間鄰域作為輸入，無法充分學習樣本的高階語義特征，并且未考慮樣本間的拓撲結構信息。以DenseNet模型為基礎提取高階語義特征，利用GNN聚合樣本間鄰域節點的光譜特征信息，Dual-GCFN 網絡結構如圖3所示，其中BN指批歸一化處理，Relu指激活函數。網絡主要由3部分組成：①基于GNN 的光譜聚合模塊，依據光譜值構造鄰接矩陣表征遙感影像的全局信息。k=1表示與目標節點（紅色節點）直接相連的一階鄰域進行聚合，k=2 表示在一階鄰域節點聚合的基礎上進行的二次聚合，k=3 表示在二次聚合的基礎上進行的第三次聚合。利用節點與節點的鄰域信息不斷聚合，得到節點的多階鄰域信息的聚合表達；②基于DenseNet 的空間特征提取模塊，DensNet 層通過稠密塊將不同尺度的特征信息Add 連接，提取高階語義信息；③特征融合模塊，分別將GNN 提取的光譜特征和DenseNet 提取的空間特征進行Flatten 展開，并在維度特征上進行Add 操作，從而實現空譜特征的融合，最后輸出節點關于每類地物的概率，最大概率為樣本節點的地物類別。

圖3 Dual-GCFN網絡結構Fig.3 Dual-GCFN Network Architecture

2.1 GNN光譜聚合模塊

GNN 是一種基于圖域分析的深度學習方法，主要用于非規則數據的特征提取。定義G=(V，E)，其中V和E分別表示頂點集和邊集。其中，頂點集V由遙感影像的像素點組成，邊集E由任意兩個頂點（Vi與Vj）之間的相似性Vij組成。利用KNN［26］遍歷所有的樣本點，取與目標樣本最近的k個點作為近鄰，只有和目標樣本距離最近的k個點才能相連，A∈RNXN為圖G的鄰接矩陣，表示頂點之間的關系，N指樣本節點的數量，鄰接矩陣中的元素由徑向基函數計算，本文采用自連接的鄰接矩陣表示節點之間的關系，表達式如式（2）：

式中：向量xi、xj為頂點Vi、Vj相關聯的光譜；σ為控制RBF 寬度的超參數；I為單位矩陣。

GNN 訓練構造鄰接矩陣，需要同時輸入影像的所有像素，導致網絡梯度下降緩慢。本文以小批量miniGCN［27］進行鄰域節點采樣，構造一個批次大小為M（M?N）的隨機節點采樣器，利用小批量樣本訓練網絡改善梯度更新緩慢的問題。使用標準化的鄰接矩陣作為鄰域節點的聚合權重，這種標準化的策略所提供的是一種加權平均，所實現的效果是會給予那些具有低度的結點更大的權重從而降低高度結點的影響。為了提高網絡的非線性學習能力，采用全連接的方式進行GNN 的構建，將每一層的輸出節點重新聚合作為下一隱含層的輸入，其中GNN模型的第l+ 1層更新規則如式（3）：

2.2 DenseNet空間提取模塊

DenseNet 由稠密塊和轉換層組成。稠密塊包含稠密層和瓶頸層，瓶頸由1 × 1 卷積核組成，作用是調整輸入特征通道數量及融合通道方向特征；稠密層由多層密集連接的卷積層組成，目的是提取影像的高階語義信息，圖4 為卷積層數為4、每層卷積的通道數（增長率）為4 的稠密塊。其中，X0的輸入為像元的空間鄰域，X1的輸入為經過第一層卷積輸出，X2的輸入為前面二層卷積的輸出，X3的輸入為前面三層卷積的輸出。轉換層位于兩個稠密塊之間，由卷積層和池化層組成，其中卷積層是用來控制稠密塊之間的通道數量，池化操作降低特征圖的尺寸。

圖4 稠密塊Fig.4 Dense block

稠密塊通過稠密連接將前面層與當前層特征疊加映射，傳遞給所有后續層，實現特征高效復用。DenseNet 網絡中稠密塊表示如式（5）：

式中：Xl為第l層的輸出特征圖；Conl為第l層中卷積的復雜線性變換，[X1，X2，…，Xl-1]為l層前面所有層的特征映射拼接。

2.3 特征融合模塊

將GNN 最后一層隱含層節點數目調整為同稠密網絡特征輸出節點數目一致，再將GNN與DenseNet的輸出特征信息一維展開，在通道維度上進行Add操作如式（6）：

式中：α表示超參數，用于平衡全局的光譜信息及空間信息之間的比重關系；為GNN 第l層的輸出為DenseNet 第l層的輸出。將融合的空譜特征輸入到兩層全連接網絡，首先將變形為Hl∈RN×C'，再將矩陣輸入到兩層的全連接網絡中，進行式（7）運算：

式中：Pi∈RC表示影像中第i個節點的輸出值；W i1∈RN×C'，表示這兩個全連接層的網絡參數；C為類別數。對節點進行預測使用交叉熵損失函數，網絡反向傳播調節所有參數，優化函數使用SGD，損失函數最小模型訓練達到最優。損失函數如式（8）所示：

式中：N是子圖中像元的個數為200；yL是樣本像素點的索引集合；C是輸出特征圖的個數即遙感影像土地利用類別數；Yik是指真實樣本標簽的索引；Pik是指預測樣本標簽的索引。

3 分類結果與分析

3.1 實驗參數設置

網絡模型實驗參數設置如下：RF 選擇200 棵決策樹；Dual-GCFN中GNN按照miniBatch采樣，批次大小M設置為200，鄰居數量k取10，鄰居權重的徑向基核函數參數σ根據經驗選擇0.05，圖卷積層數為3；DenseNet 中像元鄰域大小為7×7，網絡包括3 個稠密模塊，稠密塊中設置6 個卷積層為BN +ReLU+Conv(3 × 3)，3個稠密塊的通道增長率分別設置為(12，12，24) ，每個稠密塊后有一個轉換層，轉換層為1×1×（64，128，256）卷積；全連接層神經元的個數分別為256、128。為了保證實驗結果的公平性，GNN 和DenseNet 網絡結構和參數設置與Dual-GCFN 中分支模型相同；網絡的迭代次數設置為1 000，網絡以20 個epoch 為周期應用指數衰減動態更新學習率，初始學習率設置為0.005，使用動能SGD算法對模型參數進行優化。

3.2 實驗結果

使用2019 年Sentinel-2 影像數據和DEM 數據進行地表覆蓋分類。為了評估Dual-GCFN 的分類性能，與RF、GNN 及DenseNet 分類模型進行對比實驗，四種方法的地表覆蓋分類結果如圖5所示。

圖5 4種方法的地表覆蓋分類結果圖Fig.5 Classification of land cover results for 4 methods

圖5 可以看出RF 和DenseNet 存在較多點狀噪聲，而Dual-GCFN 的分類結果則較為平滑。因為RF 是基于單個像元的光譜特征進行分類，并未考慮像元空間關系；DenseNet 主要是兩方面原因，一是窗口捕獲的感受野有限；二是DenseNet 未考慮地物之間的光譜關系，當地物光譜重疊度較高時，分類也會出現點狀噪聲的現象；Dual-GCFN 模型將地物之間的光譜差異和像元間的空間關系結合，大幅減少了地物的錯分現象和分類圖中的點狀噪聲。為了進一步比較各個模型的分類效果，圖6 列出了兩個局部區域分類結果的放大圖，圖6（a）位于研究區中西部，橢圓框中RF、GNN、DenseNet分類結果中建設用地出現其他地物類型，矩形框中建設用地左邊的水體只有Dual-GCFN 正確劃分。圖6（b）位于研究區的東南部，RF 將林地誤分為建設用地，GNN 將耕地誤分為林地，DenseNet 中存在少量林地誤分為耕地的情況。綜上，Dual-GCFN 對地物的區分度較高，分類效果優于其他3種方法。

圖6 局部分類結果比較Fig.6 Comparison of local classification results

采用總體分類精度（Overall Accuracy， OA）、Kappa 系數、生產者精度（Producer's Accuracy，PA）和用戶精度（User's Accuracy，UA）作為評價標準，利用混淆矩陣計算的分類精度結果如表1所示。

表1 不同方法分類精度%Tab.1 Comparison of classification accuracy of different methods

從表1 看出， RF 的分類精度和Kappa 系數都是最低，分別為74.66%和為0.61，DenseNet 的分類指標優于RF 與GNN，其中，OA和Kappa 系數分別增大了11.32%、6.21%和0.18、0.16，說明局部特征能夠大幅度的提高地物分類正確率；Dual-GCFN 的總體分類精度和Kappa 系數最高，分別為90.63%和0.87，相較于DenseNet 分類其OA和Kappa 系數分別提高了4.65%和0.08，說明全局光譜特征信息對于分類精度提升有重要作用。Dual-GCFN 結合地物光譜差異和像元空間關系的優勢，增強了影像的表達能力，能有效區分地表覆蓋類型，提高影像分類精度。

3.3 實驗分析

（1） 收斂性分析。為了檢驗Dual-GCFN 模型的收斂性，將網絡的迭代次數設置為1 000，在每次迭代過程中記錄對應的損失及精度變化情況，結果如圖7所示。從圖7（a）中可以看出，隨著迭代次數的增加，網絡損失在最開始急劇下降后逐漸穩定，穩定后訓練損失始終低于模型的驗證損失，從圖7（b）中同樣可以看出，隨著迭代次數的增加，模型的精度逐漸增加，直至趨于穩定，穩定后驗證精度始終低于訓練精度。隨著迭代次數的增加，學習率不斷衰減，精度曲線的變化速率逐漸降低，雖然在后期模型產生輕微的震蕩，但模型收斂時精度及損失變化相對穩定，說明指數衰減的學習率策略在一定程度上能夠保證模型的穩定性。同時，通過觀察損失和精度變化曲線能夠發現Dual-GCFN網絡設置為1 000次能夠滿足影像的分類要求。

圖7 網絡損失函數曲線圖Fig.7 Network loss function curve

（2）特征分析。為了進一步驗證GNN 的表征學習能力，在訓練過程中對每一層網絡輸出進行高維特征可視化，本文采用t-SNE 算法［28］對高維空間特征點進行降維可視化，計算得到不同地物之間的二維空間特征，結果如圖8 所示：圖中5 種顏色分別代表5 種地物類型，從左到右依次為原始特征空間下樣本的二維分布圖情況，經過一層、二層、三層GNN的樣本分布情況，5種顏色分別代表5 種地物類型。圖8 中可以發現在原始特征空間下不同類別地物特征易于混淆，隨著網絡層數的不斷增加，混合在一起的五種地物逐漸分開到不同簇將進行聚類。即同種地物之間類內差異逐漸降低，不同地物類間差異逐漸增加，當網絡達到收斂條件時，相同地物特征聚集，不同地物特征分離，從而增加網絡的判別能力，提高影像的分類精度。

圖8 GNN隱含層樣本分布Fig.8 Determination of the number of GNN layers

（3）模塊性能分析。Dual-GCFN 主要由GNN 和DenseNet兩個模塊組成，為研究不同模塊對網絡性能的影響，對不同模塊分別進行了精度驗證實驗。在研究區樣本數據集中隨機選取每種類別的5%、10%、15%、20%、25%及30%作為訓練集，等比例的數據作為測試集。從圖9 可以看出Dual-GCFN 算法的分類精度和Kappa 系數始終高于單一網絡模型，主要因為DenseNet網絡可以提取更加抽象的語義信息，而GNN 僅考慮光譜特征聚合，并未考慮像元空間關系，導致GNN 分類性能低于DenseNet。Dual-GCFN 能夠有效提取并融合遙感影像的全局信息和空間上下文信息，使得特征表達能力增強，提升了遙感影像的分類精度。

圖9 Dual-GCFN算法的消融實驗Fig.9 Ablation experiment of Dual-GCFN algorithm

4 結 論

以河南省出山店水庫區域為研究區，采用2019 年9 月30日、6月19日的Sentinel-2影像和DEM 數據作為基礎數據，利用提出的雙分支圖卷積神經網絡（Dual-GCFN）方法對研究區進行地表覆蓋分類。首先，基于KNN利用光譜值構建標準化鄰接矩陣，GNN 聚合鄰域特征更新目標節點信息；DenseNet 對影像局部塊進行卷積提取抽象語義信息，將GNN提取的全局特征與DenseNet 提取的抽象特征進行Add 融合，經過全連接層后輸入Softmax分類器進行分類。得到如下結論：

（1）通過圖卷積聚合節點之間拓撲關系提取光譜間的全局相關性，DenseNet 提取高階語義信息，使得Dual-GCFN 在地表覆蓋分類中提供了更有鑒別能力的特征表示。相比于RF、GNN、DenseNet，Dual-GCFN 分類效果最好，其總體精度OA為90.63%、Kappa 系數為0.87，證明了該方法用于遙感影像分類的有效性，遙感影像光譜信息與空間信息的互補性能夠有效改善遙感分類結果。

（2）在模型訓練前不同類別地物特征易于混淆，隨著網絡層數的不斷增加，同種地物之間類內差異降低，不同地物類間分離度增加。并通過每類地物5%、10%、15%、20%、25%及30%的訓練集數據進行訓練，Dual-GCFN 算法的分類精度均優于單一網絡模型DenseNet和GNN。

雙分支圖卷積神經網絡（Dual-GCFN）方法能夠有效融合遙感影像的空間信息和光譜信息，對水庫區域的地表覆蓋分類取得了較好的分類效果，但影像的構圖方式決定了圖卷積的聚合信息，進一步將繼續研究如何更加靈活的定義鄰居節點的聚合方式，實現地表覆蓋的精確分類。