基于SPRRD-ShuffleNetV2的GF-2圖像茶種植區快速提取方法

張世超，王常穎，李勁華，張志梅

(青島大學 計算機科學技術學院，山東 青島 266071)

0 引言

茶作為一種植物飲料，因含有多種營養物質，已經成為世界上最大眾化、最健康的綠色飲料。改革開放40年來，我國茶產業規模、效益、質量均顯著提高[1]，因此，茶種植區的監測工作對我國經濟發展具有重要意義。

對于茶種植區的大范圍監測，現在依然以人工野外勘測方法為主，然而這種方法不能及時有效地獲取茶種植區空間分布信息。遙感技術可以準確、及時獲取信息，因此使用遙感監測的方法實現對茶種植區的自動提取是可行的。然而，由于茶樹在光譜特征上與其他農作物種植區的相似性，導致茶種植區的遙感識別工作具有比較大的難度。目前，基于遙感影像的農作物提取方法的研究多以常規作物為主，例如水稻、小麥、棉花、玉米等，而對茶種植區的提取研究卻比較少。因此，利用遙感技術實現對茶種植區的高精度提取，實現對茶種植區域的大范圍監測，具有一定的價值與意義。

遙感技術已經被廣泛應用于大量常規農作物的提取研究中。按照分類單元的不同，目前的研究成果主要可以分為兩種：基于像元的提取方法和面向對象的提取方法。基于像元的提取方法以每個像素點為單位，然后結合像素點的光譜特征，判斷每個像素點是否屬于目標區域。任傳帥等[2]使用隨機森林算法對香蕉林進行提取；黃健熙等[3]利用GF-1 WFV數據實現了玉米與大豆的提取；Ma等[4]提出了一種基于主成分等距分塊的無監督農作物分類方法。面向對象的方法首先需要對遙感影像進行分割，形成影像對象，然后以這些影像對象作為分類單元進行分類識別。姬旭升等[5]探究了面向對象技術結合不同算法的作物識別精度；周靜平等[6]采用面向對象和決策樹相結合的方法提取了作物分布信息。以上方法大都先需要人工提取像元或者影像對象的特征，再使用機器學習分類器進行分類識別。

隨著深度學習技術的日益成熟，越來越多的研究人員開始探索使用神經網絡進行遙感圖像農作物提取。Zhou等[7]提出了一種基于深度學習的時間序列分析方法；Jiang等[8]利用卷積神經網絡模型提取增強植被指數時間序列曲線的特征進行水稻識別。這些基于深度學習的方法在對農作物進行大面積的監測與管理方面做出了卓越的貢獻。

也存在少量研究人員對遙感圖像茶種植區的提取進行了研究。徐偉燕等[9]使用ZY-3遙感數據，同時提取多種特征，使用決策樹和NN分類器實現了茶種植區的提取；馬超等[10]提取了中尺度光譜和時序物候特征，并結合決策樹模型實現茶園提取。這些茶提取方法通過人工設計特征，然后使用傳統的機器學習分類器進行分類識別，取得了一定的成效，但精度方面依舊無法達到令人滿意的結果，并且提取速度也比較慢。

本文針對茶種植區離散分布的特點，以及不同茶種植區之間的尺寸差異(小面積的茶種植區一般低于0.001 km2，大面積的茶種植區一般高于0.08 km2)，提出一種新穎的語義分割模型SPRRD-ShuffleNetV2用于高分辨率遙感圖像茶種植區快速提取。實驗結果表明，SPRRD-ShuffleNetV2在推理速度具有明顯提高的情況下，依然較為精確地識別了茶種植區，甚至與部分對比算法相比，在精度上也有所提高。

1 研究方法

1.1 網絡總體結構

本文以提高高分辨率遙感圖像上茶種植區提取速度為主要目的，提出一種新穎的語義分割模型SPRRD-ShuffleNetV2，其總體結構如圖1所示。

圖1 網絡總體結構

首先，以去除了最后1×1卷積層、全局池化層和全連接層的ShuffleNetV2[11]網絡作為編碼器，并增加解碼器以實現像素級分類。然后，將高層特征送入混合池化模塊(mixed pooling module，MPM)，將低層特征送入增強條紋池化模塊(improved stripe pooling module，I-SPM)。接著，在處理后的高低層特征逐點相加后，將其送入殘差優化塊(residual refinement block，RRB)。最后，進行8倍上采樣，將特征圖恢復到與輸入圖像相同尺寸，獲得最終預測結果。

1.2 ShuffleNetV2主干網絡

ShuffleNetV2是一種推理速度極快的輕量級網絡，其考慮了4個影響速度的因素：①卷積層輸入通道數和輸出通道數相同時，模型速度最快；②過多的組卷積會使模型變慢，應避免使用組卷積；③模型分支越少，速度越快；④逐點相加會使模型速度變慢，應減少逐點相加操作。

ShuffleNetV2設計了兩種構建塊。當不改變特征圖尺寸時，首先，使用通道分離操作將特征圖均分成兩組，其中一組特征圖依次經過1×1卷積、3×3深度卷積和1×1卷積；然后，與另外一組特征圖沿著通道維度進行拼接；最后，進行通道混洗加強不同組間的信息交流。當縮小特征圖尺寸時，首先，輸入特征圖被送入兩個分支，一個分支包含1個步長為2的3×3深度卷積和1個1×1卷積，另一個分支包含2個1×1卷積和1個3×3深度卷積；然后，兩個分支輸出沿著通道維度進行拼接；最后，進行通道混洗加強不同組間的信息交流。

SPRRD-ShuffleNetV2的主干網絡為去除了原始ShuffleNetV2中最后的1×1卷積層、全局平均池化層和全連接層后的剩余部分，其結構如表1所示，其中stage2、stage3和stage4中使用的均為上述兩種構建塊。

表1 ShuffleNetV2結構

1.3 條紋池化

考慮到高分辨率遙感影像中茶種植區域離散分布的特點，本文引入條紋池化(strip pooling，SP)，并基于條紋池化的思想引入了I-SPM和MPM用于改善模型性能，由于二者的輕量化設計，因此不會帶來過多的參數量增加。與普通的空間池化采用正方形的池化核形狀不同，SP采用1×N或者N×1的池化核形狀，因此，可以在一個空間維度上聚合全局上下文信息，而在另一個空間維度上聚合局部上下文信息，避免了空間池化可能帶來的不相關區域影響最終預測結果的問題。

水平方向的平均條紋池化(average strip pooling，ASP)和最大條紋池化(max strip pooling，MSP)輸出表達如式(1)和式(2)所示。

(1)

(2)

式中：Fi，j為特征圖上位置(i，j)處的值；W為特征圖的寬。

豎直方向的ASP和MSP輸出表達如式(3)和式(4)所示。

(3)

(4)

式中：H為特征圖的高。

1.4 增強條紋池化模塊

I-SPM用于捕獲長距離依賴關系，其結構如圖2所示。與條紋池化網絡(strip pooling network，SPNet)[12]中的條紋池化模塊僅采用水平和豎直方向上的ASP不同，I-SPM同時采用了ASP和MSP兩種操作。具體操作過程如下：輸入F為形狀為H×W×C的張量，對其進行水平方向和豎直方向的ASP和MSP操作后，獲得2個形狀為H×1×C和2個形狀為1×W×C的張量，即Fh-asp、Fh-msp、Fv-asp和Fv-msp。將Fh-asp和Fh-msp送入3×1卷積，將Fv-asp和Fv-msp送入1×3卷積，對4個輸出進行上采樣后獲得4個形狀為H×W×C的張量。進行逐點相加后，依次經過1×1卷積和sigmoid激活后得到的輸出與模塊的輸入F進行逐點相乘，獲得I-SPM的最終輸出Foutput，表達如式(5)所示。

Foutput=F?σ(f1×1(fu(f3×1(Fh-asp))+
fu(f3×1(Fh-msp))+fu(f1×3(Fv-asp))+
fu(f1×3(Fv-msp))))

(5)

式中：σ代表sigmoid函數；f3×1代表3×1卷積；f1×3代表1×3卷積；f1×1代表1×1卷積；fu代表上采樣操作；⊕代表逐點相乘。

圖2 I-SPM結構

1.5 混合池化模塊

MPM進行全局和局部上下文信息聚合，其結構如圖3所示。

圖3 MPM結構

對于全局上下文信息，MPM通過使用水平方向和豎直方向的ASP捕獲全局上下文信息。首先，對于給定的輸入F，對其進行水平方向和豎直方向的ASP；然后，對兩個輸出分別進行3×1卷積和上采樣操作、1×3卷積和上采樣操作；最后，將兩個分支的輸出進行逐點相加組合在一起獲得該子模塊的輸出F1，表達如式(6)所示。

F1=fu(f3×1(fh-asp(F)))+fu(f1×3(fv-asp(F)))

(6)

式中：f3×1代表3×1卷積；f1×3代表1×3卷積；fu代表上采樣操作；fh-asp代表水平方向的ASP；fv-asp代表豎直方向的ASP。

對于局部上下文信息，采用普通的空間池化是必不可少的，因此采用一個輕量級的金字塔池化子模塊對局部上下文信息進行聚合。其共有3個分支，其中前兩個分支分別含有一個平均池化操作(采用不同池化核大小)、一個3×3卷積操作和一個上采樣操作；第3個分支包含一個3×3卷積操作。將3個分支的輸出進行逐點相加組合在一起獲得該子模塊的輸出F2，表達如式(7)所示。

F2=fu(f3×3(fap(F)))+fu(f3×3(fap(F)))+
f3×3(fap(F))

(7)

式中：fap代表平均池化；fu代表上采樣操作；f3×3代表3×3卷積。

兩個子模塊的輸出分別經過3×3卷積后拼接在一起，然后采用1×1卷積恢復通道數，最后與輸入張量F進行逐點相加后，獲得MPM最終輸出Foutput，表達如式(8)所示。

Foutput=F+f1×1(f3×3(F1)⊕f3×3(F2))

(8)

式中：?代表拼接操作；f1×1代表1×1卷積；f3×3代表3×3卷積。

1.6 殘差優化塊

許多研究工作通過增加殘差單元增強語義分割網絡的性能，例如全局卷積網絡(global convolutional network，GCN)[13]采用殘差單元細化邊界，進而獲得更為精細的輪廓，這些模型中的殘差單元本質上就是ResNet[14]中的殘差塊。SPRRD-ShuffleNetV2中同樣加入RRB用于細化輸出特征，其結構如圖4所示。

對于給定的輸入F，采用1×1卷積減少通道數后進行批量歸一化，后面跟有一個標準的ResNet中的殘差塊結構。

2 數據描述與實現設置

2.1 數據集及預處理

本文選用GF-2圖像作為實驗數據源。首先，對圖像進行預處理，預處理內容包括輻射定標、大氣校正、幾何校正、正射校正和圖像融合，最終獲得空間分辨率為1 m的多光譜圖像，并使用ENVI 5.3軟件進行標簽的制作。為了防止空間結構的損失以及計算資源的限制，實驗中選用256像素×256像素大小的圖像塊來訓練網絡，原始圖像塊數量為1 240個，并采用旋轉、水平、垂直、翻轉等操作進行數據增強，最終獲得10 400張訓練圖像和2 000張驗證圖像。

2.2 實現設置

實驗使用TensorFlow+Keras深度學習框架。硬件設備為Intel(R)Xeon(R)Gold 6130 CPU 2.10 GHz，384 GB內存，同時使用一塊顯存為32 GB的Nvidia Tesla V100-PCIE GPU進行加速。

實驗中，批量大小被設置為8，迭代輪數被設置為60。在模型訓練過程中，采用Adam優化器，β1為0.9，β2為0.999，并采用“poly”學習率衰減策略在訓練過程中動態調整學習率，當前學習率currentLR的計算如式(9)所示。

(9)

式中：baseLR為初始學習率，設為0.001；power為衰減參數，設為0.9；iter為當前迭代次數；max_iter為最大迭代次數。

使用的損失函數為交叉熵函數，其表達如式(10)所示。

(10)

式中：li為像素點i的one-hot編碼后的真實標簽；li[k]為li中的第k個元素值；pk，i為像素點i屬于第k類的輸出概率；K為類別總數；N為批量圖像中所有像素點的總數。

3 實驗結果與分析

3.1 消融實驗

為驗證RRB、MPM和I-SPM的有效性，本文進行了消融實驗。結果顯示，當同時使用3個特殊處理模塊時，能夠更加精準地識別茶種植區域，表2提供了消融實驗結果。當3個處理模塊均不使用時，去除了最后1×1卷積層、全局池化層和全連接層的ShuffleNetV2被用作基礎網絡，然后將高層特征圖進行4倍上采樣后與低層特征圖相加，再進行8倍上采樣輸出最終分割結果。首先，評估了基礎模型的性能，F1分數可以達到91．7%；然后，增加RRB對輸出特征進行優化后，F1分數提高了0.8%；接著，增加I-SPM捕獲長距離依賴關系后，F1分數再次從92.5%提高到93.3%；最后，增加MPM用于全局和局部上下文信息聚合后，F1分數提高了0.7%。這些數據充分說明了3個輕量級模塊提高模型性能的有效性。

表2 消融實驗結果

3.2 茶種植區提取對比實驗

本文使用SPRRD-ShuffleNetV2、FCN8s[15]、SegNet[16]、UNet[17]、DeepLabV3+[18]、BiSeNet[19]和DANet[20]進行茶種植區取提取實驗，其中DeepLabV3+主干網絡采用Xception，BiSeNet上下文路徑采用的網絡為ResNet101，茶種植區提取實驗結果如圖5所示。

圖5 茶種植區提取實驗結果

表3展示了所有方法的細節配置，包括參數量、訓練時間和推理時間，表4提供了所有方法茶種植區提取的精度評價結果。通過分析表3、表4得到以下結論：SegNet僅僅簡單地利用低分辨率的特征圖，通過上采樣操作將其恢復到與輸入圖像相同尺寸后，產生最終的預測結果；FCN8s和UNet則僅采用跳躍連接的方式將不同層級的特征進行融合；這3種模型相對于其他模型而言，結構比較簡單，精度和提取速度均低于SPRRD-ShuffleNetV2。DeepLabV3+使用空洞空間金字塔池化(atrous spatial pyramid pooling，ASPP)模塊來聚合多尺度上下文特征，并采用跳躍連接的方式將高低層特征進行融合，但面對高分辨率遙感影像中復雜的場景，依然存在較多的錯分，提取精度方面相較于FCN8s、UNet和SegNet提升不多，精度和提取速度依然低于SPRRD-ShuffleNetV2。DANet基于自注意力機制設計了雙注意力模塊，有效地對空間依賴關系和通道依賴關系進行捕獲；DANet擁有較高的提取精度，但訓練時間和推理時間均比較高，難以達到快速提取茶種植區的效果。BiSeNet設計了一個雙邊網絡結構，其包括空間路徑和上下文路徑，分別用于提取空間細節信息和上下文信息，并且在上下文路徑中使用了通道注意力模塊用于優化輸出特征，最后通過一個特殊的特征融合模塊將兩個路徑最終的輸出特征整合在一起；BiSeNet在提取精度方面同樣取得了不錯的效果，提取速度也要快于DANet，但與SPRRD-ShufflNetV2相比，提取速度方面依舊有較大差距。綜上所述，SPRRD-ShuffleNetV2在所有算法中提取速度是最快的，并且精度方面也要優于FCN8s、UNet、SegNet和DeepLabV3+，實現了提取精度和速度兼具的效果。

表3 所有方法的細節配置

表4 所有方法茶種植區提取的精度評價結果 %

4 結束語

本文為了在保證提取精度能達到基本實際需求的前提下有效提高高分辨率遙感圖像茶區提取速度，提出一種基于SPRRD-ShuffleNetV2的GF-2圖像茶種植區快速提取方法。該模型針對茶種植區離散分布的特點，以及不同茶種植區之間的尺寸差異，首先，以去除了最后1×1卷積層、全局池化層和全連接層的ShuffleNetV2網絡作為編碼器，并增加解碼器以實現像素級分類；然后，在幾乎不增加參數量、不影響推理速度的前提下，在編碼器部分增加I-SPM和MPM，用于捕獲全局和局部依賴關系；最后，在解碼器部分增加RRB，用于優化輸出特征。實驗結果表明，該方法能夠實現提取精度和速度兼具的效果。