具有SE結構的改進的PSPNet用于紫菜養殖區識別

邵光輝，楊 坤，郭南南

（山東科技大學 計算機科學與工程學院，山東 青島 266590）

0 引言

中國是世界上最大的水產養殖國家，海岸線總長度達18000公里，海域總面積約為300萬公頃。我國的海水養殖約占世界海水養殖總產量的2/3[1]，其中筏式養殖就是一種重要的集約化的海水養殖方式。它主要是在淺海海域，通過利用浮子架，由浮子和繩索組成，并用纜繩固定于海底，將海藻（如海帶、紫菜）和固著動物（如貽貝）幼苗放在浮子架上，懸掛于浮筏的一種養殖方式。筏式養殖能夠帶來巨大的經濟效益，導致容易產生了非法水產養殖[2]，另外隨著養殖規模的擴大和集約化程度的提高，海水養殖病害問題突出，養殖環境的治理和污染防控形勢堪憂。因此掌握養殖區的空間分布和面積等信息具有重要意義。

遙感技術具有覆蓋范圍廣，獲取信息速度塊，周期短，數據綜合性強等優點[3]，因此適合筏式海水養殖區的提取工作。現階段國內外提出了許多基于遙感圖像的水產養殖提取的方法。通過專家經驗的目視解譯法[4]，紋理特征信息直方圖閾值分割的海上養殖區自動識別方法[5]，將處理的對象從像元過渡到了圖斑的對象層次的面向對象分割提取法[6]，無人機影像解譯法和 SAR影像解譯法[7-8]等。這些方法對于海水養殖區具有較高的識別精度，但只能應用在某些特定的小范圍內，并且需要手動的調節和分析，造成大量人力和時間的浪費。隨著軟硬件的不斷發展以及高性能計算水平的提高，深度學習逐漸嶄露頭角，深度學習方法為計算機視覺和機器學習帶來了革命性的進步。深度學習在圖像識別上的準確率已經超越了人類。受 ASPP[9]和 SE[10]結構的啟發，我們提出了具有SE結構的改進的PSPNet模型。本文的動機包括兩個方面。首先，我們通過使用 ASPP結構來捕獲同一特征層下的不同分辨率的空間信息，將局部信息和全局信息相結合，來更有效的識別小樣本類別。其次，更加可靠和合理的特征圖應具有更高的置信度[11,25]，我們將 PSPNet捕獲的多尺度特征圖放入到 SE模塊中來進行通道維度的整合，以自適應性地學習各個特征圖的重要程度，有效的減少誤分現象。該模型結合了 ASPP模塊和 SE模塊，以融合多尺度特征圖。通過利用改進的 ResNet50來進行編碼，獲得高層的語義特征，并利用ASPP模塊和SE模塊進行解碼。

本文通過利用GF1號分辨率為1.8 m的融合圖像在連云港筏式水產養殖區域進行了實驗，實驗結果表明，與經典的FCN，U-Net以及PSPNet模型相比，具有SE結構的改進的PSPNet在紫菜養殖區提取方面獲得了最高的F1分數值。

1 相關工作

1.1 CNN與FCN

CNN通常用于圖像級分類任務，因為它們都輸出不同類別上的概率分布[12]。它會在卷積層之后添加若干個全連接層，所以CNN輸入圖像的大小是固定的。通過 Softmax函數來得到圖像屬于每一類別的概率，將最高概率的一類作為該圖像的類別。與典型的 CNN相比，FCN是對圖像進行像素級別的分類，用卷積和上采樣代替全連接層來實現語義級別的圖像分割問題，在上采樣的特征圖上逐像素的計算Softmax分類損失進行逐像素分類，做到了端到端像素級學習任務。

1.2 編碼器-解碼器

編碼器-解碼器結構是常用的語義分割結構，UNet、PSPNet等模型均采用這種結構。編碼器-解碼器網絡首先通過執行卷積和下采樣來學習特征表示，然后執行卷積和下采樣運算來解碼這些特征表示。編碼器能夠自動的學習特征，并且可以學習到多個層次的特征：較淺的卷積層所獲得的感受野較小，學習到一些局部區域的特征；較深的卷積層具有較大的感受野，學習到的特征也更加抽象。能夠學習到更加抽象的特征。這些抽象特征對物體的大小、位置和方向等敏感性更低，從而有助于識別性能的提高。解碼器的作用是向上采樣編碼器的輸出，只微調細節，恢復圖像空間分辨率[13]。

1.3 空洞卷積

空洞卷積的空間金字塔結構能夠增加感受野對特征圖進行采樣。使用K個擴張卷積的空間金字塔，本文中的K=3，采樣率為rates = {6,12,18}的空洞卷積。采用不同的采樣率的空洞卷積對3 3×的卷積核并行重新采樣特征圖。這種金字塔卷積運算被稱為擴張卷積的空間金字塔，因為每個擴張卷積核都學習具有不同感受野的權重，因此類似于空間金字塔。

1.4 SE結構

學習一個高性能的網絡是十分困難的，現在許多的做法是在空間域上來提升網絡性能，而Squeezeand-Excitation（簡稱SE）結構是在通道域上顯式的建模特征通道的相互依賴關系，來進行特征的重定標工作[14]。SE結構的關鍵操作為 Squeeze以及Excitation。如圖 1所示，給定的特征圖 X，X ∈RH×W×C，其中H，W和C分別是指特征圖的高度，寬度和通道數。經過 Squeeze操作（全局平均池化[15]）生成 y ∈ RC×1，其中 ym是y的第m個元素，Xm是X的第m個特征圖：

Excitation操作通過使用兩個為參數 W1，W2全連接層和兩個激活函數來實現，生成 y? ∈RC×1，如下所示：

最后是Reweight 操作通過將Excitation操作得到的權重與先前的特征逐通道相乘，從而完成通道域上的特征的重定標工作，生成重定標后的特征圖簇個特征下圖所示：

圖1 SE結構Fig.1 SE structure

2 提出的方法

在本節中，我們首先介紹針對紫菜養殖區三分類提取的一般過程。然后，我們詳細描述了具有SE結構的改進的PSPNet網絡。

2.1 紫菜養殖區三分類提取的一般過程

紫菜養殖區三分類提取過程包括三個階段：數據預處理階段，訓練階段和測試階段。在遙感數據預處理階段，我們利用 labelme進行手動標記，三個類別分別為養殖區，海水，和其他類（包括陸地，島嶼，碼頭等）。通過裁切研究區域生成訓練數據和測試數據，其中訓練數據包括訓練集和驗證集，利用K折交叉驗證來實現訓練集和驗證集的自動劃分。在訓練階段，將預處理訓練樣本喂到具有 SE結構的改進的PSPNet網絡，該網絡模型架構如圖2所示。使用小批量梯度下降算法進行迭代優化。當損失不再下降時，結束迭代任務。在測試階段，將訓練好的最優的模型應用于測試圖像，進行紫菜養殖區三分類提取工作。

圖2 具有SE結構的改進的PSPNet架構圖Fig.2 Improved PSPNet architecture diagram with SE structure

圖 2展示了本文提出的具有 SE結構的改進的PSPNet模型結構。該模型采用編碼器-解碼器結構，編碼器使用常規卷積和帶有空洞卷積的殘差結構來提取高級語義特征，在每一層卷積之后都跟有 BN和Relu激活函數。解碼器中的主要操作是，首先將編碼得到的高階語義特征通過金字塔池化來獲取不同尺度的信息，在通過線性插值來擴大特征圖分辨率，然后在經過 SE模塊來自動學習每個通道的重要程度來更好地進行語義分割任務。接著通過線性插值使特征圖恢復原圖像大小，最后使用 Softmax激活函數和 Argmax函數[17]得到最后的預測結果，從而實現了端到端的分類任務。

2.2 模型參數

本文使用的殘差網絡都是由兩部分組成，一組是恒等映射上加1 1×卷積的殘差模塊，另一組直接恒等映射的殘差模塊。其中Res3是步長為2填充為2的卷積，Res4是填充為4的卷積，Res5是填充為8的卷積，利用空洞卷積在不增加模型參數下獲取更多的上下文信息使用BN進行歸一化，ReLU作為激活函數。模型具體參數見表1。為了防止過擬合，本文在Conv11后使用了Dropout[18]，比率為0.1。

表1是具有SE結構的改進的PSPNet完整的網絡結構。Res，AtrousRes，ConvInterp分別表示殘差模塊，帶有空洞卷積的殘差模塊，線性插值模塊。

表1 網絡模型參數Tab.1 Network model parameters

3 實驗與評估

3.1 研究區域概況

研究區為江蘇連云港近岸海域，是2017年2月10日分辨率為1.8m的融合后的GF1號影像。其坐標為 34°43′22″～35°5′34″N，119°8′15″～119°37′43″E。研究區域的圖像如下圖所示，訓練集和測試集圖像大小都是 7168×7168，通道數為 3，下圖中綠色框的3塊圖像作為訓練集，紅色框的1塊圖像作為測試集用來驗證模型的性能。

圖3 研究區示意圖Fig.3 Schematic diagram of the study area

3.2 訓練數據集

本文通過選取研究區域的數據進行三分類的實驗，包括養殖區、海水以及其他類別（包括陸地，島嶼，碼頭等），研究區域如圖3所示。本文隨機選取了研究區域中的3塊圖像（圖3中的綠色小框）作為訓練集，并將每塊圖像切割成128×128大小，切割步長為128，分別得到9408個訓練樣本和9408個訓練標簽。

3.3 模型訓練

本文實驗使用TensorFlow作為后端引擎，均采用 Keras框架來進行模型的實現工作，在 NVIDIA P100 GPU上迭代100個周期，利用Adam作為模型的優化器，動量為0.95，學習率為0.0001，batch size設置為 2，使用交叉驗證的方式來進行訓練集和驗證集的自動劃分，共進行了10折交叉驗證，即90%的樣本作為訓練，10%樣本用來驗證。

3.4 實驗結果與分析

為了驗證我們提出的紫菜養殖區提取方法的實用性，在我們的數據集上我們與經典的用于醫學圖像處理的Unet以及傳統的PSPNet網絡模型進行了比較，并且我們通過使用三種評價指標來檢驗我們提出的模型的有效性，即Precision，Recall以及F1分數來進行最終的評測。F1分數，又稱為平衡F分數（balanced F Score），它被定義為精準率和召回率的調和平均數，Precision，Recall以及F1分數的公式如下所示：

其中，TP代表樣本為正，預測結果為正；FP代表樣本為負，預測結果為正；FN代表樣本為正，預測結果為負。本文實驗分別計算了各個類別的Precision，recall以及 F1分數。此外，該模型的魯棒性通過十次K折交叉驗證實驗得到了認可。最終結果的Precision，recall以及F1分數如表2所示。

表2 Precision，recall以及F1分數對比結果Tab.2 Comparison results of precision,recall and F1 scores

表2中我們對實驗的方法進行了對比，從上表中可以看出，養殖區準確率，召回率最高的分別是OurNet，PSPNet，海水的準確率，召回率最高的分別是FCN和OurNet，其他類的

準確率，召回率最高的分別是OurNet和FCN，三個類別的F1分數最高的都是我們提出的網絡。通過實驗結果證明了我們提出的網絡模型具有更好地泛化能力和魯棒性。

下圖中的圖4顯示了測試集的圖像，真值圖以及用于提取紫菜養殖區域的不同方法的結果圖，其中紫色代表紫菜養殖區域，黑色代表海水，綠色代表其他類別。

圖4 實驗結果對比圖Fig.4 Comparison of experimental results

根據圖4我們可以得知，因為FCN將一部分海水和養殖區誤分為其他類，并且島嶼這個其他類別基本全部識別出來了，所以可以解釋表2中FCN模型的其他類的召回率最高的原因。U-Net模型島嶼這個其他類識別出來了一部分，而且與海水紋理特征相近的養殖區域識別的不是很好。PSPNet模型由于整合了不同分辨率的特征，對于島嶼的識別效果明顯，但是誤分了部分養殖區變成了其他類別。我們提出的網絡模型在 PSPNet的基礎上改進膨脹率并且加上了 SE結構，既在他空間上整合了不同分辨率的特征，又在通道上自適應的學習通道之間的重要程度，實驗結果表明，我們提出的網絡模型對于紫菜養殖區的三分類任務有更好的效果。

4 結論

在本文中，我們針對于高分遙感影像通過深度學習實現了對于紫菜養殖區三分類的語義分割任務，并且提出了具有SE結構的改進的PSPNet，有效的實現了對于紫菜養殖區的識別工作。通過更大的膨脹率在不增加模型參數下獲得了更大的感受野，利用金字塔池化來獲取空間上的不同分辨率的特征，來更好的實現對于小樣本的識別任務，最后加入 SE結構在通道上自適應的學習各通道之間的重要程度，有效的減少了誤分現象。但我們的模型仍然存在小樣本識別問題，在未來我們需要繼續改進我們的模型，并且考慮不同衛星拍攝的影像，來更加適應相關部門的需要。