基于改進特征金字塔的遙感圖像全景分割*

幸 羚 朱雯婕 徐 昇

（南京林業大學信息科學技術學院 南京 210037）

1 引言

遙感圖像解析的關鍵內容之一是目標的分類和識別。近年來，出現了更具挑戰性的遙感場景圖像，該類問題有著更小的類間差異和更大的類內變化，而圖像分辨率和尺度也復雜多變［1～2］。全景分割［3］是語義分割和實例分割的融合，預測的信息最全面，不僅包括語義分割為每個像素分配預先定義好的語義類別標簽，還包括實例分割為同一類別不同物體預測的實例ID。把全景分割技術應用于遙感圖像實現快速精準地分類遙感圖像，將直接促進遙感相關技術發展。然而，當前很少有工作利用全景分割實現遙感圖像的分類和識別。

語義分割為圖像每一個像素點進行類別預測。近年來，硬件計算能力逐漸提高，受深度學習網絡研究驅動，語義分割任務常建立在全卷積神經網絡（FCN）［13］上。FCN 采用跨層方法同時兼顧局部位置信息和全局語義信息，從抽象特征中恢復像素所屬類別。但是對圖像進行池化操作后，降低了特征圖的分辨率，丟失了空間位置信息，又沒有充分考慮像素與像素之間的關系，致使分割邊界不連續，結果粗糙。之后Chen 等提出DeepLab4［4］網絡，將輸入圖像經過空洞卷積得到特征圖，擴大感受野，縮小步長，解決了反復池化和下采樣導致分辨率下降的問題。但空洞卷積導致占用過多內存，計算過于復雜。FCN的變體U-Net［5］，采用編碼器-解碼器結構，利用擴張路徑將空間信息和特征融合，產生精準分割。但是塊交疊導致部分預算多余，耗費內存大，運行速度慢。

實例分割不僅檢測輸入圖像的目標，而且把類別標簽分配給目標的每個像素。與語義分割的最大區別是實例分割能區分相同前景語義類別中的不同實例。實例分割可分為單階段的實例分割和兩階段的實例分割。單階段方法包括TensorMask［17］等，沒有區域提議步驟，計算速度快，滿足實時性需求，但是精度稍低，邊緣信息模糊。經典的雙階段方法Mask R-CNN［6］，有區域提議步驟，分割精度高，但是推理速度緩慢，結果依賴于候選框提取的質量。

實例分割和語義分割屬于不同的視覺預測任務，其數據增強方式、訓練優化策略和網絡結構具有較大的不同。全景分割任務關鍵在于融合子任務及統一網絡和訓練策略。迄今全景分割方法AUNet［8］、JSIS-Net［9］、OANet［7］、Single network［10］等分別用兩個相互獨立的模型實現語義和實例分割任務，不共享網絡參數或圖像特征，導致計算開銷大，迫使算法需要將兩分支結果通過適當策略進行融合。但由此又產生了額外的問題，融合時存在像素分配沖突的問題，降低全景預測質量。對于語義或實例分支，添加輔助任務會降低與單任務基線相比的準確性，所以該類方法同時訓練兩個分支但基準測試各自獨立的特性，沒有充分探究兩個分支之間的相互聯系與影響。而Kirillov 等提出的Panoptic FPN［20］網絡是一個端到端的圖像全景分割網絡，實現了以統一的方式來表示和預測前景實例對象和背景未定型區域。但對于全景分割任務中前景實例對象特別是遠距離小目標分割精度低的現象，仍然無法有效改善，邊緣信息依舊比較模糊，背景未定型區域的分割效果也有待進一步優化。

針對上述全景分割方法所存在的問題，本文以Panoptic FPN 網絡為基準進行改進優化，提出了自頂向下進行全景分割的方法。與前述方法相比，本文方法具有如下特點：

1）在ResNet 特征提取網絡的基礎上添加特征金字塔網絡FPN，將高層的高語義信息和底層的高分辨率信息結合，融合多尺度特征，解決深層特征圖小且目標細節丟失的問題，提高遙感圖像的全景分割的準確率。

2）在語義分割分支進行上采樣時，利用雙線性插值法讓物體的邊緣特征更加清晰，這樣有利于更加準確地恢復圖像細節信息，提高遙感圖像的全景分割準確率。

3）在聯合訓練兩個分支時，調整損失函數權重，重新加權，在不增加過多計算量的同時，使得兩個分支的子任務相互增益，更加有利于神經網絡的訓練及優化。

2 算法設計

本文全景分割網絡以FPN作為骨干網絡，提取多尺度信息，而后續接實例分割分支用于預測實例對象。再在實例分割分支的基礎上增加語義分割分支，預測背景未定型區域，實現只通過單一網絡同時預測語義分割和實例分割任務。

2.1 實例分割分支

實例分割分支主要由骨干網絡模塊、RPN 模塊、ROI Align 模塊和全連接層模塊組成，基本結構如圖1 所示。算法不僅可以高效檢測圖像目標，而且在不增加太多額外計算量的情況下同時為每個實例生成一個分割掩碼，最終得到實例分割和目標檢測的結果。

圖1 實例分割分支的基本結構

1）骨干網絡模塊。多種R-CNN 框架可作為實例分割分支的骨干網絡，為了提高結果的精度同時保證易于訓練和計算復雜度低，本文選擇殘差網絡ResNet101 和ResNet50 作為主干網絡，提取遙感圖像的特征。ResNet 網絡不僅解決了因為網絡層數的增加而發生網絡退化的問題，而且讓網絡的優化更容易實現。為了提取圖像的不同尺度的特征，常用的經典方法是采用圖像金字塔的方式對圖片進行多尺度變化增強。但是該方法的內存需求大，計算量大。而Feature Pyramid Network（FPN）［11］的提出緩解了圖像金字塔方式需要占用大量內存計算圖像特征的問題。所以本文選擇把FPN 應用到ResNet 網絡上來融合深度卷積網絡各個層次的特征，并讓每一個尺度的特征都有較強的語義信息。融合特征Fo可由式（1）獲得，其中F?表示淺層高分辨率特征，Fl表示深層低分辨率特征。

FPN 基本模塊如圖2 所示。將ResNet 網絡中卷積層提取的不同分辨率的特征作為FPN的輸入，感知多尺度物體，通過連續上采樣和自下而上、自上而下和橫向連接得到同時具有高層語義信息和低層視覺信息特征的輸出。FPN的基本架構如圖3所示。其中上采樣把不同特征尺寸轉換為對應大小，以ResNet101 為例，自下而上是ResNet101 特征從低層向高層傳播，特征尺寸逐漸變小，抽象程度逐漸變高即語義信息逐漸變強，如圖3 左半部分。自上而下就是通過上采樣放大高層特征并與當前ResNet101 中的特征相加，把高層特征映射到低層特征，如圖3 右半部分。橫向連接通過1×1 的卷積核提取ResNet101 模型輸出的特征，在滿足生成特征更有效的條件下，中間層的通道數被減少，保證每一個維度的特征的通道數相同。具體來說，給定一系列不同尺度的輸入特征｛C2，C3，C4，C5｝，特征金字塔模塊將其作為輸入，輸出聚合過的特征｛P2，P3，P4，P5｝。FPN 模塊的工作原理可以大致概括為如下：

圖2 FPN基本模塊

圖3 FPN基本架構

其中，l表示金字塔的層級，R是上采樣操作，fl是1×1 的卷積操作。實例分割分支的骨干網絡分別修正為ResNet101-FPN和ResNet50-FPN。

2）RPN 模塊。RPN 本質是基于滑窗的無類別目標檢測器，而滑動窗口會遍歷圖像的每一個像素點。因為在目標檢測之前，網絡不被告知圖片的目標物體數量，所以RPN 模塊會預先生成多個邊界框，在訓練階段不斷調整位置，使得和真實物體框的偏差最小，最后輸出最可能包含目標的區域候選，也叫Anchor。Anchor 是包含四個坐標的矩形框。骨干網絡輸出的特征圖經過定位層即一個3×3 卷積，使得提取出來的特征更加魯棒，并輸出Anchor的四個坐標偏移。之后進入分類層，對應不同的1×1 卷積，得到真實檢測框、預測檢測框和交叉熵值，輸出Anchor 的前景和背景的概率。RPN 的模型結構如圖4 所示。如果真實檢測框和得到的檢測框之間的重疊度大于0.7，則推斷出此部分像素是前景；如果與真實檢測框的重疊度小于0.3，則推斷出是背景。

圖4 RPN模型

3）ROI Align 模塊。ROI Align［6］是一種區域特征聚集方式，解決ROI Pooling 操作中兩次量化造成的區域不匹配問題。ROI Align 取消量化操作，遍歷候選區域的時候保持浮點數邊界不做量化，分割候選區域的時候對每個單元的邊界也不做量化，最大限度保證信息完整。本文實驗設定采樣點為4，對每一個候選區域平分為四份，每一份都用雙線性插值法計算中心點位置像素，得到四個點像素值。雙線性插值法的具體計算方法如下：設四個像素點為Q11（x1，y1），Q12（x1，y2），Q21（x2，y1），Q22（x2，y2），像素值分別是f（Q11），f（Q12），f（Q21），f（Q22），橫向插值插入兩個點R1（x，y1），R2（x，y2），縱向插值插入一個點P（x，y），其像素值為f（P）如式（6）。先計算橫向插值，由Q12和Q22得f（R2），由Q11和Q21得f（R1），如式（4）和式（5）所示，再結合R1和R2像素值如式（7）和式（8）所示，最終縱向插值得點P（x，y）像素值f（x，y），如式（9）所示。

4）全連接層模塊。高層的抽象級別高，有較強的語義信息，易于從中獲得類別信息。而底層有著高分辨率，易于從中獲取圖像的顏色和紋理等。全連接層把特征映射到標記空間中，減少特征位置對分類造成的影響，得到圖像的語義信息。全連接層還把特征向量映射成一維特征向量，為計算損失函數而準備。

2.2 基于FPN的語義分割分支

語義分割任務是為輸入圖像的每一個像素點都預測一個語義類別。為了使生成的結果是高精度的，有必要提高特征分辨率，近年來頂級的方法有FCNs［13，21］等，但是這些方法往往使用擴張的卷積，也稱為Atrous Convolution。盡管很有效，但是需要大量內存和計算量，這無疑限制了骨干網絡的類型，不利于網絡的靈活性。最為重要的是，這與實例分割分支不夠兼容。因此我們選擇使用FPN。與對稱編碼器-解碼器［12］相反，FPN 使用的是輕量級的解碼器，能識別多尺度特征，捕獲精細結構。雖然FPN是為目標檢測設計的，但是運用在語義分割上也是有效的。因此本文通過在語義分割分支的FPN 骨干網絡上附加一個簡單快速的語義分割分支實現語義分割任務。

語義分割分支把來自FPN 的所有級別的信息合并為單一輸出。具體合并的辦法是從最高級別特征層也就是語義信息最豐富的一層開始至最低級別特征層也就是分辨率最高的一層，每一級別的層次都執行三個上采樣階段，每一個上采樣階段是由3×3 卷積、組歸一化、ReLU 和2 個雙線性上采樣組成，產生一系列1/4 比例的特征圖。最后再經過1×1 的卷積核、4 個雙線性上采樣和軟最大為原始圖像上的每一個像素生成一個類標簽。

2.3 訓練及優化

全景分割輸出結果包括每個像素的類別標簽和實例ID，并將像素分為兩類stuff 和things。對于未定形的stuff 區域不分配實例ID，具有相同標簽和ID 的像素都屬于同一個對象，但是對于無法確定的像素，比如不在分類范圍內模糊的像素則會給一個void標簽。考慮到全景分割具有非重疊性，為了解決語義分割和實例分割的輸出結果部分重合的問題，采用與極大值抑制（NMS）思想類似的方法進行后處理。對于不同實例之間的重合，根據置信度得分進行消除。對于實例和語義分割之間的重合，按照實例優先的原則去重。同時去除標記為“其他”的未定型的stuff 區域和低于給定面積閾值的區域。

實例分支的損失函數包括分類損失函數Lc、檢測框回歸函數Lb和平均二進制交叉熵損失函數Lm，最終的損失函數為三者之和。分類損失函數區分圖像的背景和存在的各個類別。檢測框回歸函數用來得到最佳的檢測框。平均二進制交叉熵損失為不同類別的RoI 提供獨立的掩碼預測，解耦語義分割任務和分類。分類損失函數和檢測框回歸函數通過采樣RoI 的數量進行歸一化，平均二進制交叉熵損失函數通過RoI 判定為前景的數量進行歸一化。語義分支損失函數Ls計算每個像素的預測和真值標注之間的交叉熵損失，由已分類的像素點數量進行歸一化。鑒于實例分支和語義分支有不同的歸一化方法和尺度，簡單把兩者的損失函數相加會降低其中一個任務的最終性能。因此，通過重新加權來矯正損失函數如式（10）。不斷調整權重λi和λs，使得兩分支子任務相互增益，改善單任務基礎上的結果，提高預測質量。

3 實驗與分析

3.1 數據集和評價指標

本文模型在實驗時使用COCO［22］數據集進行預訓練。COCO 數據集以場景理解為目標，包括91類目標、80個物體類別，150萬物體實例，大于20萬張標注圖像。鑒于COCO 數據集過于龐大，本文實驗選取包括樹木、道路、建筑、小汽車等37 個常用數據項進行模型訓練。

為以統一方式對待所有未定型區域和實例對象，引入全景質量（PQ）［3］綜合衡量全景分割質量。計算方法為分割質量SQ 和識別質量RQ 相乘如式（11）。

其中SQ 表示匹配后的預測分割與標注分割的平均IoU，只有嚴格大于0.5時才認為兩個分割是匹配的，其計算公式如式（12）所示。其中IoU（p，g）是預測真值g 和預測對象p 之間的交并比（檢測相應物體準確率的一個測量標準）。

RQ反映全景分割中每個實例對象識別的準確性。可通過被預測模型的正類的正樣本TP、正類的負樣本FP、負類的正樣本FN 計算得到。計算公式如式（13）。

PQ 不是語義和實例分割度量的簡單結合，而是針對未定型區域和每一類實例對象按照式（12）和式（13）分別計算，得到單個類別的SQ、RQ、PQ值，再將所有類別的相應值分別取平均值。如式（14）所示，其中Nc是總的類別數，后續實驗中的SQ、RQ、PQ都是式（14）中的計算結果。

3.2 實驗設置

本文實驗環境為Linux 操作系統，顯卡型號為NVIDIA RTX 3070，使用的編譯環境為Python3.8和對應版本CUDA10.2，使用框架為PyTorch1.10，需下載對應版本的CUDA 和PyTorch［12］官方預構建的Detectron2框架。模型參數中的初始學習率設置為0.01，動量超參數設置為0.9，權重衰減超參數設為1×10-4，并進行50K次迭代訓練。

為有效防止GPU 內存溢出，把最長邊長度大于1400 的輸入圖像進行隨機裁剪，縮放至最小邊大小為800。對實例分割子任務，在候選框提取訓練階段，設置錨的大小為16，長寬比例設定在0.5、1、2 范圍內。對于語義分割子任務，與實例分割網絡并行處理，共享網絡參數。不同的是，主干網絡FPN 每個金字塔層級有256 個輸出通道，而在語義分割分支降為128個。

3.3 實驗定量分析

為驗證FPN 與ResNet 相結合的骨干網絡相對于單獨的ResNet 網絡的改進效果，保持使用相同的環境，設置相同的參數。分別使用ResNet50 和ResNet101 作為基礎網絡，在COCO 數據集上進行對比實驗，結果如表1 所示。經過FPN 算法改進的骨干網絡兼顧分辨率和特征語義，可獲得多尺度的特征圖，使得模型得到了優化和提升。在不同的網絡模型大小下，均能帶來1.2%左右的性能提升，證明FPN 算法的引入可以更好提升實例分割和語義分割的準確率乃至全景分割綜合性能。

表1 特征金字塔增益實驗

為比較模型R50-FPN、R101-FPN 自身的效果，在相同實驗環境以及相同參數下針對種全景分割模型性能與其他全景網絡對比。實驗結果如表2所示。相比于采用以Mask R-CNN 為實例分割分支的全景分割網絡OANet，R50-FPN、R101-FPN 模型在分割未定型區域上略為遜色，但對于前景實例分割對象表現更好，最終的全景質量分別提升0.2%和1.7%。而R101-FPN 模型相對R50-FPN 模型全景質量提高1.5%。

表2 與其他全景分割模型的實驗對比

3.4 實驗定性分析

圖5 直觀展示了R101-FPN 和R50-FPN 模型在遙感圖像（前三行）和街景圖像（第四行）上可視化全景分割效果對比。從前兩行可看出，兩者都成功識別圖像中的植被覆蓋區域。但從“屋頂”和“植被”識別情況看，R101-FPN 模型對于實例對象的識別精度更高。從第三行可發現，對于復雜邊界仍不能實現較好的分割效果，如兩模型都不能成功識別“道路”，還出現錯誤識別“窗戶”、“天空”的情況。因為圖像中的道路存在汽車或陰影等干擾，相鄰像素對應感受野內的圖像信息差別不大，而相鄰像素位于目標分割區域邊界，不利于分割。從第四行可以看出，兩個模型在處理平面街景中的全景分割效果相對遙感圖像更好，基本精準識別所有物體，全景分割精度更高。而從“車”和“花”的分割情況可以看出，R101-FPN 在實例分割邊緣處理上相比于R50-FPN 表現更佳，邊緣信息更加準確和清晰。因為R101-FPN 網絡的層數更多，提取到不同級別的抽象特征更加豐富，而越深的網絡提取的特征也越抽象。

圖5 全景分割效果對比實驗

4 結語

本文從單一網絡結構的全景分割網絡出發，提出以ResNet101-FPN 和ResNet50-FPN 為骨干網絡的全景分割網絡R101-FPN 和R50-FPN，對遙感圖像進行分類處理。通過引入FPN 算法對骨干網絡進行優化以及利用雙線性插值法進行上采樣，在保證計算復雜度低且內存需求小的情況下，提高模型識別和分割小尺度物體的精度以及邊緣處理的能力。模型R50-FPN 和R101-FPN 全景質量相對于OANet 模型分別提高0.2%、1.7%，而R101-FPN 相比于R50-FPN 全景質量提高1.5%，邊緣信息也更加清晰。但本文模型還有改進空間。實驗結果表明，模型在遙感圖像上表現不如街景圖像，因為遙感圖像中不可避免會出現如：道路上的汽車、房屋的陰影等干擾項。而模型抗干擾能力較弱，對復雜邊界分割效果不好，需改善。本文的評價指標沒有很好反映邊緣分割效果，后續研究可以提出邊緣友好型分割度量標準。