一種面向水體面積智能量測的雙分支神經網絡

鄭東鵬，徐立軍，王啟龍，徐麗艷

（1.遼寧省水利水電勘測設計研究院有限責任公司,遼寧 沈陽 110000；2.遼寧巨維建設工程有限公司,遼寧沈陽 110000）

快速準確地測量水體面積,在水資源調查規劃、預防洪澇災害、船舶航行等應用中占有重要作用。傳統方法主要通過人工調繪的方式進行水體面積測量,然而此類方法往往耗費大量的人力物力財力。隨著遙感技術的發展,高分辨率遙感影像成為水體面積量測的重要數據源,該方法不直接與地面接觸,可動態對水資源進行深入監測,具有成像周期短、時效性強等特點,彌補了人工野外觀察的問題。

目前,隨計算機技術的發展,深度學習技術憑借高精度、高適用性等特點,在遙感影像處理領域具有更高的優勢,其中卷積神經網絡與Transformer 結構是其兩大主要分支,二者特性的相互補充可大大提升檢測效能,因此本文基于高分二號衛星影像,從計算機視覺角度出發,聯合卷積神經網絡與Transformer 進行水體量測。

1 本文方法

為了更加精準高效地進行水體檢測與測量,本文提出了一種卷積神經網絡（以下簡稱CNN）與Transformer 聯合的雙邊網絡框架。在現有網絡結構設計中,卷積神經網絡由于較強的歸納偏置,被認為可提取較多的水體局部信息,但缺乏水體全局信息的編碼；Transformer 方法缺乏局部信息,全局建模機制對水體的全局信息有著更好的認知,因此二者相互補充可對水體信息形成更為良好的認知。

基于上述理論,本文提出一種CNN-Transformer 聯合的深度學習網絡,通過結合二者特性進行水體提取,網絡結構見圖1。其中,卷積神經網絡采用ResNet50 架構,該模型結構被認為可更好地提取局部信息。在Transformer 部分,本文選用Swin-Transformer 用于全局信息的編碼。對于二者在四個階段產生的特征,本文將特征相互融合,以此達到水體特征相互補充的目的。

1.1 殘差網絡結構

殘差網絡（ResNet）作為卷積神經網絡的重要分支,被認為具有較強的局部信息提取能力。該模型利用殘差連接,連接不同的卷積層,從而將淺層的特征信息傳播到深層。目前,殘差網絡主要有ResNet-18、ResNet-34、ResNet-50和ResNet-101 四類模型,考慮到準確性與參數量的權衡,選用ResNet50 用于水體提取,具體結構見圖2。給定輸入H×W×3（3 代表RGB 通道）,經過卷積（Conv）、批量歸一化（BN）、激活函數（ReLU）和最大池化（Max Pool）后,分辨率降低到H/4×H/4,其中通道維度變為64。然后,特征經過四個階段生成C1、C2、C3 和C4 特征,這四個特征包含了大量的水體局部信息,適用于水體這類的多尺度對象。另外,四個特征的分辨率依次降低一半,分別為4、8、16、32,通道數依次增加到C、2C、4C、8C。在該模型中,每個階段有3、4、6 和3 個殘差模塊,殘差模塊（ResNet Block）具體結構見圖2。

圖2 ResNet50 網絡結構

1.2 Swin-Transformer

Transformer 由于自注意力機制與加權融合策略使其能夠更好地捕獲全局信息,這有助于改善水體提取結果的斷裂缺陷。目前,Swin-Transformer 是一種新型視覺主干,由Patch Partition 層、Linear Embedding 層、Patch Merging 層 以及Transformer Block 層組成。其中,Patch Partition 層將輸入水體影像分塊降維,Linear Embedding 層用于線性變換,Patch Merging 層則起到了下采樣的作用,核心模塊Swin Transformer Block 采用移位窗口計算自注意力,見圖3,該方法將自注意力限制在非重疊的局部窗口上,并允許特征之間的跨窗口連接,這使得該模型在降低復雜度的同時提搞了特征提取效率,注意力計算如下所示：

圖3 Swin-Transformer 網絡結構

式中：Q、K、V 分別為查詢、鍵、值矩陣；d 為向量維度；B 為偏置矩陣；SoftMax 為激活函數。

通過公式（1）的特征響應,即可捕獲水體的全局信息。

1.3 特征融合

特征融合目的是將圖像中不同分支的特征進行合并,從而形成相比于先前特征更具有判別能力的水體特征圖。在本文方法中,卷積神經網絡由于編碼局部特征的優勢,包含更多水體的位置、邊緣等細節信息。而Swin-Transformer 中則包含更多的全局信息,因此二者的相互融合可實現局部特性與全局特性的互補。本文選擇逐像素相加的方式將二者進行融合,并使用雙線性插值法進行上采樣,以便進行接下來特征階段間的特征融合。這一過程可公式化為式（2）：

式中：Add 表示逐像素相加方法；Upsample 則表示雙線性上采樣插值方法；cnn′_x 表示Resnet50 輸出特征；trans_x 表示Swin-Transformer 輸出特征。

從公式（2）可以看出,特征融合可分為兩部分,第一部分在第一階段,此部分只有兩種網絡結構的第一階段輸入,在2～4 階段則為三種輸入,分別為上一階段輸入featurei-1,當前階段的resnet50 特征與Swin-transformer 特征,以此完成特征融合。

2 實驗結果與討論

2.1 評價指標

選取精確率（Precision）、召回率（Recall）、IoU 和 F1對本文方法與對比方法進行評價,四種評價指標計算公式如下：

式中：TP 為正確提取水體像素；FP 為誤提取水體像素；FN為漏提取像素數。

精確率表示所有預測為水體像素中正確分類的水體像素的百分比,體現了模型對負樣本的區分能力,精確率越高,模型對負樣本的區分能力越強；召回率表示所有實際水體像素中正確分類的水體像素的百分比,體現了模型對正樣本的識別能力,召回率越高,模型對正樣本的識別能力越強。F1值是兩者的綜合,F1值越高,說明模型越穩健。交并比和均交比是綜合性的指標,前者表示GroundTruth 和預測圖的重疊面積與聯合面積的比率,后者表示所有類別的IOU 的平均值。上述四個評估指標都是逐像素計算的,計算通式（3）～式（6）是這些評估指標的定義。

2.2 訓練策略

數據集。在實驗數據方面,選用高分二號上海地區影像進行實驗,該影像空間分辨率為0.8 m/像素。本文初次裁剪圖像1050 張,每張大小為512×512 像素大小,代表實地面積為0.17 km2。使用數據增強方式增加至6300 張將其作為訓練集,數據增強方法包括：亮度變化、對比度變化、色度變化、圖像鏡像、圖像旋轉以及銳度變化,以上方法已被證明可加強水體目標表達。另外,本文選用測試集為100 張,每張大小同樣為為512×512 像素。數據標注采用開源軟件Labelme。

本文超參數等相關設置見表1。

表1 超參數設置

實驗環境。為保證實驗對比的公平性,采用相同的硬件設備軟件環境進行實驗。計算機顯卡為NVIDIA GeForce RTX 3070 Ti,處理器為12 th Gen Intel（R）Core（TM）i7-12700 KF,64 內存?；诖擞布O備,使用Python 在Pytorch 環境下進行模型編寫。

2.3 對比方法選擇

為了驗證本文方法的有效性,本文選用語義分割經典網絡——全卷積網絡（Fully Convolutional Networks,FCN）進行對比分析。針對CNN 在像素級分割任務的局限性,Jonathan Long 等學者提出FCN 用于影像分割,FCN 可從抽象的特征中恢復單個像素的所屬類別,將圖像級別的分類延伸到像素級別分類,從而解決語義分割問題。首先,FCN 使用卷積層取代了經典CNN 中的全連接層。如圖4 所示,FCN 將傳統CNN最后三層全連接層替換為卷積層；其次,FCN 使用雙線性插值使特征圖恢復到輸入影像相同的尺寸,保留了原始影像的空間信息；最后,FCN 提出一種“跳躍”連接結構,該結構將深層特征與淺層特征進行結合,達到了可同時兼顧局部預測和全局預測的要求。

圖4 全卷積網絡結構示意圖

2.4 本文實驗及對比

本文及對比部分實驗結果見圖4,圖中從左到右展示結果依次為實驗影像、真值（GroundTruth）、對比方法結果及本文結果（白色像素即為水體信息）。

從圖中第一行紅色矩形框內可以看出,該區域存在大面積人工建造水體信息,此處水體信息由兩處相鄰矩形水體結構組成,邊緣較為規則和清晰。在計算機視覺中,物體邊緣信息屬局部信息,卷積神經網絡的滑動窗口策略可較好地編碼該圖像特征。從圖5 中可以看出,本文選用的ResNet50 結構與Transformer 相結合較為完整清晰地分離出相鄰水體。然而對比方法粘連現象較為嚴重,這對水體信息的面積評價是不利的。

圖5 實驗結果

在圖中第二行紅色矩形框內展示區域可以看出,自然水體結構具有彎曲、狹窄等特點。此類水體在圖像編碼過程中局部信息容易丟失,造成提取結果斷裂。解決斷裂問題的方法之一則為全局信息的約束。該方法通過建立遠距離水體像素之前的依賴關系,使得神經網絡在編碼水體信息過程中保證水體信息的正確性。Swin-Transformer 應用類卷積的滑動窗口策略與自注意力機制獲取水體信息的全局特征,與此同時,豐富的底層信息對于狹窄水體也很重要,本文使用Resnet50 結構保證了局部信息的豐富,因此本文提取結果沒有發生斷裂。然而,對比方法由于沒有建立遠程依賴關系,在狹窄處存在斷裂現象,這體現了本文方法的優越性。

為進一步對本文方法以及對比方法進行比較,定量化對比結果見表2,從評價結果中可以看出,本文各項評價指標均優于FCN 方法,Precision、Recall、F1、IoU 較對比方法分別高出13%、14%、1%、20%。其中,IoU 作為較為全面的評價指標,突出了本文方法在精度上的優勢,體現了本文模型將水體局部信息與全局信息考慮在內的必要性與可靠性?？傊?本文方法優勢在于,一方面,本文考慮到局部信息與水體的邊界、形狀密不可分,使用ResNet50 結構進行局部信息的提??；另一方面,水體的全局信息對于水體提取結果的連續性也至關重要,因此本文使用Swin-Transformer 進行水體全局信息的表達。

表2 對比方法與本文方法定量對比結果

2.5 測量時間分析

針對水體面積與檢測時間進一步分析,結果見圖6。從圖中可以看出檢測時間隨水體面積增加呈線性增長趨勢,遵循上述硬件配置,當水體面積為6 km2時,檢測時間為11.5 s左右,水體面積為11 km2時,測量時間約為14 s。這證明本文方法可用于水體面積測量,且大大提升了工程效率。

圖6 水體面積與檢測時間關系折線

3 結語

本文提出了一種用于水體面積的智能測量方法,經實驗對比分析論證了卷積神經網絡與Transformer 網絡結構的結合是提升水體測量精度與效率的關鍵所在,該方法可在實際工程中展開應用。