一種自適應(yīng)上采樣的光伏面板分割算法研究

宋 燦，吳 謹(jǐn)，朱 磊，鄧慧萍

(武漢科技大學(xué) 信息科學(xué)與工程學(xué)院，武漢 430081) (冶金自動(dòng)化與檢測(cè)技術(shù)教育部工程中心，武漢 430000)

1 引 言

國(guó)民經(jīng)濟(jì)的高速可持續(xù)發(fā)展，離不開(kāi)能源這種基礎(chǔ)物質(zhì).目前，人類(lèi)獲取能源的基本來(lái)源主要是化石，比如天然氣、石油和煤炭等[1].因?yàn)榛茉吹牟豢稍偕途薮蟮奈廴拘?，改善能源結(jié)構(gòu)就成了亟待解決的問(wèn)題.太陽(yáng)能因其環(huán)保安全可再生的特點(diǎn)，成為了優(yōu)化能源結(jié)構(gòu)和改善環(huán)境問(wèn)題的一種可行辦法[2].近年來(lái)，國(guó)民經(jīng)濟(jì)越來(lái)越大的能源需求，引起光伏產(chǎn)業(yè)的迅猛發(fā)展.太陽(yáng)能光伏越來(lái)越廣泛的應(yīng)用，帶來(lái)了統(tǒng)計(jì)和規(guī)劃管理上的巨大挑戰(zhàn).由此，如何快速、準(zhǔn)確地獲取光伏面板的數(shù)量和分布狀況，成為了一個(gè)極具經(jīng)濟(jì)價(jià)值的問(wèn)題.

目前，通過(guò)遙感圖像來(lái)獲取光伏面板的面積是一個(gè)可行的方案.主要的解決思路是首先從遙感圖像里分割出光伏面板，然后根據(jù)遙感圖像的相關(guān)參數(shù)計(jì)算光伏面板的面積.現(xiàn)今，一些研究者已經(jīng)提出了部分光伏面板[2-4]的分割算法.根據(jù)算法種類(lèi)分，包含閾值[5]、邊緣[6]、區(qū)域[7]和聚類(lèi)[8]等方法.而根據(jù)圖像種類(lèi)分，目前的算法包含紅外[9，10]和航空影像[11].這些方法大多是基于傳統(tǒng)圖像處理方法和非遙感圖像的研究，而基于深度學(xué)習(xí)和遙感圖像的光伏面板分割研究很少.

雖然光伏面板分割在深度學(xué)習(xí)方面的研究非常少，但是該任務(wù)作為語(yǔ)義分割的一種應(yīng)用對(duì)象，可以將相關(guān)的算法[12-17]遷移過(guò)來(lái).語(yǔ)義分割作為基本的圖像處理任務(wù)之一，許多科研工作者已經(jīng)對(duì)其進(jìn)行了大量的研究.相關(guān)的研究包含以下幾類(lèi)：

1)通過(guò)金字塔的方式增強(qiáng)模型的多尺度分割能力[18]；

2)通過(guò)帶孔卷積或者跳躍連接增加網(wǎng)絡(luò)的空間分辨率[19-21]；

3)通過(guò)上下文相關(guān)性提升網(wǎng)絡(luò)的分割性能[22-26].

這些相關(guān)工作都是針對(duì)卷積網(wǎng)絡(luò)在語(yǔ)義分割上的相關(guān)問(wèn)題來(lái)研究的.不同于圖像分類(lèi)，目標(biāo)檢測(cè)和語(yǔ)義分割所處理的目標(biāo)在尺度上存在著很大的跨度，這種尺度上的差異性會(huì)影響網(wǎng)絡(luò)的性能，因此準(zhǔn)確檢測(cè)多尺度目標(biāo)可以有效提升網(wǎng)絡(luò)性能，典型的研究比如PSPNet[18].語(yǔ)義分割可以看成是一個(gè)密集型的分類(lèi)任務(wù)，既需要豐富的高層語(yǔ)義信息來(lái)進(jìn)行像素分類(lèi)，也需要足夠的空間信息來(lái)達(dá)到逐像素的分割精度.卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)能夠提取魯棒性非常好的高層語(yǔ)義特征，但是存在兩個(gè)問(wèn)題：1)經(jīng)過(guò)多次卷積后，隱層特征容易出現(xiàn)擴(kuò)散效應(yīng)，導(dǎo)致目標(biāo)邊緣平滑，造成分割結(jié)果邊緣模糊；2)在經(jīng)過(guò)池化這種下采樣操作后，通過(guò)簡(jiǎn)單的雙線性插值進(jìn)行上采樣會(huì)丟失空間信息，影響像素級(jí)的分割精度，并且存在小目標(biāo)丟失的風(fēng)險(xiǎn).因此，很多科研工作者對(duì)此進(jìn)行了研究.例如，CRFasRNN[22]通過(guò)遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks，RNN)的方式把條件隨機(jī)場(chǎng)(Conditional Random Fields，CRFs)嵌入到CNN的末端，引入像素間的相關(guān)性來(lái)緩解目標(biāo)邊界模糊的問(wèn)題.HRNet[27]通過(guò)不斷融合高低層特征的方式，獲取具有高層語(yǔ)義特征的高分辨率網(wǎng)絡(luò)來(lái)提升分割精度.UNet[28]通過(guò)跳躍連接直接把低層特征引入高層進(jìn)行融合，以此補(bǔ)充高層特征的空間信息來(lái)提升網(wǎng)絡(luò)性能.Deeplabv3[20]則是通過(guò)帶孔卷積來(lái)替換池化層，以此避免池化層丟失空間分辨率的問(wèn)題.此外，目前主流的CNN使用局部卷積作為基本模塊，這種局部響應(yīng)的方式雖然節(jié)省了計(jì)算量和存儲(chǔ)空間，以及有效提升了網(wǎng)絡(luò)性能，但是破壞了目標(biāo)之間空間上的長(zhǎng)依賴(lài)關(guān)系，難以獲取長(zhǎng)距離的上下文信息.因此，Wang等人[21]提出了非局部神經(jīng)網(wǎng)絡(luò)(Non-local Neural Networks)，通過(guò)非局部的網(wǎng)絡(luò)處理來(lái)獲取長(zhǎng)距離的依賴(lài)關(guān)系.此后，異步非局部神經(jīng)網(wǎng)絡(luò)(Asymmetric Non-local Neural Networks)[20]對(duì)此進(jìn)行了改進(jìn)，通過(guò)非對(duì)稱(chēng)的方式來(lái)降低計(jì)算量.DANet[25]則可以看做是非局部網(wǎng)絡(luò)的一個(gè)特例，通過(guò)融合空間和通道維的依賴(lài)關(guān)系來(lái)提升網(wǎng)絡(luò)性能.

針對(duì)以上3個(gè)方面的相關(guān)研究，本文設(shè)計(jì)了一個(gè)分割光伏面板的卷積神經(jīng)網(wǎng)絡(luò).首先，以ResNet[29]作為骨干網(wǎng)絡(luò)，抽取相對(duì)于輸入圖像原始分辨率的1/8、1/16和1/32這3個(gè)尺度的特征圖，分別使用金字塔池化模塊(Pyramid Pooling Module，PPM)[18]提取多尺度的特征，以此提升網(wǎng)絡(luò)的多尺度性能.然后，使用異步融合非局部模塊(Asymmetric Fusion Non-local Block，AFNB)融合長(zhǎng)距離的依賴(lài)關(guān)系，獲取上下文相關(guān)性信息來(lái)提升網(wǎng)絡(luò)性能.最后，本文提出了一種自適應(yīng)的上采樣模塊(Adaptive Upsample Module)和模糊融合策略.通過(guò)高分辨率的低層特征來(lái)自適應(yīng)地學(xué)習(xí)采樣系數(shù)，以此緩解池化操作帶來(lái)的空間信息丟失現(xiàn)象，解決目標(biāo)邊緣模糊問(wèn)題.

2 系統(tǒng)框架

光伏面板分割作為一個(gè)二分類(lèi)的語(yǔ)義分割任務(wù)，其模型設(shè)計(jì)可以借鑒常見(jiàn)的語(yǔ)義分割模型.由于衛(wèi)星的高度變化范圍廣，容易導(dǎo)致光伏面板的尺度不一.因此，使用多尺度模型可以提升檢測(cè)效果.受到PSPNet的啟發(fā)，本文采用PPM模塊來(lái)提取多尺度的特征，分別作用在ResNet50骨干網(wǎng)絡(luò)的1/8、1/16和/1/32分辨率的特征層(如圖 1所示).此外，目標(biāo)之間存在著一定的相互關(guān)系，比如，密集的市區(qū)不可能出現(xiàn)大量的光伏面板，因此，融合全局的場(chǎng)景依賴(lài)關(guān)系能更準(zhǔn)確的檢測(cè)目標(biāo).為了降低計(jì)算量，將1/32分辨率的特征圖作為全局場(chǎng)景信息，并使用AFNB模塊分別融合到1/8、1/16和/1/32的特征圖上.AFNB模塊是一種局部和全局信息非對(duì)稱(chēng)處理的方式，全局信息通過(guò)金字塔池化進(jìn)行降分辨率，而局部信息仍然使用高分辨率的特征圖.這種方式在減少計(jì)算量的情況下也能保持不錯(cuò)的性能.

圖1 系統(tǒng)框架圖Fig.1 System framework diagram

神經(jīng)網(wǎng)絡(luò)在經(jīng)過(guò)多次卷積和池化后會(huì)丟失空間信息.通過(guò)簡(jiǎn)單的雙線性插值或者反卷積重構(gòu)原始分辨率，并不能完全恢復(fù)原有信息.雙線性插值可以看作是使用固定采樣系數(shù)進(jìn)行加權(quán)求和，而反卷積則是使用可學(xué)習(xí)的采樣系數(shù)進(jìn)行加權(quán)求和，這兩種方式在每個(gè)像素點(diǎn)的采樣系數(shù)都是相同的.而理想的情況是采樣系數(shù)隨著輸入圖像自適應(yīng)的變化，當(dāng)像素落在目標(biāo)邊緣時(shí)，如果該輸入圖像的像素與目標(biāo)的特征更相似，則在目標(biāo)一側(cè)的采樣系數(shù)應(yīng)該要更大.而當(dāng)像素落在目標(biāo)中間或者是背景區(qū)域，則需要采樣系數(shù)均衡一點(diǎn).因此，使用雙線性這種位置平均或者反卷積這種固定系數(shù)是不太合適的.為了解決這個(gè)問(wèn)題本文提出了一種自適應(yīng)上采樣的方法，使用輸入圖像的函數(shù)來(lái)生成采樣系數(shù)，通過(guò)像素特征間的相似性調(diào)整權(quán)重.

此外，在自適應(yīng)上采樣后，對(duì)跨尺度融合的方式進(jìn)行了改進(jìn)，即不采用常規(guī)的加權(quán)平均融合而采取最大值融合的方式.大多數(shù)的網(wǎng)絡(luò)做跨尺度融合時(shí)，要么簡(jiǎn)單的直接相加，要么使用卷積融合，這兩種方式都可以理解為加權(quán)求和.與此不同的是，本文直接取兩者的最大值.使用這種融合方式的原因是：文中使用的模型會(huì)在3個(gè)尺度輸出結(jié)果，可能在某個(gè)尺度上，模型無(wú)法判斷某個(gè)區(qū)域是否屬于前景還是背景.這種情況下，在該尺度上只要在前景和背景上都輸出較小的值，就會(huì)被抑制.后續(xù)的網(wǎng)絡(luò)和反向傳播都不會(huì)產(chǎn)生影響，因此，這種模糊處理的方式可以避免網(wǎng)絡(luò)發(fā)生無(wú)法判斷時(shí)必須進(jìn)行響應(yīng)的現(xiàn)象.需要注意的是，為了訓(xùn)練更平穩(wěn)，網(wǎng)絡(luò)收斂更快，本文在AFNB的輸出結(jié)果上添加了輔助損失.后續(xù)章節(jié)中，本文將對(duì)每個(gè)模塊做詳細(xì)的介紹.

3 金字塔池化

遙感圖像拍攝面積廣，場(chǎng)景豐富，內(nèi)容繁雜，林區(qū)，農(nóng)田，城市，湖泊和山川等都囊括其中.衛(wèi)星的高度變化和場(chǎng)景的多樣性造成了目標(biāo)和背景的尺度變化較大，需要網(wǎng)絡(luò)具有良好的多尺度特征檢測(cè)能力.因此，本文在模型設(shè)計(jì)中增加了多尺度結(jié)構(gòu)，并且在每個(gè)尺度的特征圖上使用金字塔池化[16]來(lái)進(jìn)一步增強(qiáng)網(wǎng)絡(luò)的多尺度性能.

池化操作能夠增加網(wǎng)絡(luò)的感受野，有利于檢測(cè)大尺度的場(chǎng)景信息，但是會(huì)降低圖像的空間分辨率，丟失圖像的位置信息.因此本文使用PSPNet網(wǎng)絡(luò)模型中金字塔池化的方式，融合多種尺度的池化操作進(jìn)行處理.小尺度的池化能獲取小場(chǎng)景和小目標(biāo)的信息，具有較高的分辨率，大尺度的池化獲取大尺度或者全局的場(chǎng)景信息，但分辨率較低.通過(guò)這種金字塔池化的方式，可以平衡處理尺度和分辨率，獲取更好的分割結(jié)果.

本文的金字塔池化模塊如圖 2所示，與PSPNet原有結(jié)構(gòu)不同的是，本文并不是輸出固定尺寸的特征圖，而是固定池化層的感受野生成對(duì)應(yīng)尺寸的特征圖.4個(gè)尺度的大小依次為9×9，7×7，5×5和3×3，而步長(zhǎng)依次為5，4，3和2.這樣設(shè)置的原因是在PSPNet中，只抽取了ResNet網(wǎng)絡(luò)模型中1/32分辨率的特征圖，而本文抽取了3個(gè)尺度的特征圖，每個(gè)特征圖負(fù)責(zé)對(duì)應(yīng)尺度的結(jié)果預(yù)測(cè).如果采用PSPNet的方式，在1/8和1/16分辨率這兩個(gè)尺度上，與1/32分辨率相比，原始特征圖和池化后的特征圖之間會(huì)出現(xiàn)4倍的分辨率差異，這會(huì)導(dǎo)致在網(wǎng)絡(luò)設(shè)計(jì)上尺度過(guò)渡不平滑.

圖2 金字塔池化模塊Fig.2 Pyramid pooling module

4 異步融合非局部模塊

深度卷積神經(jīng)網(wǎng)絡(luò)是通過(guò)許多個(gè)局部卷積操作疊加而成的.在網(wǎng)絡(luò)的最后一層使用全連接層或者是平均池化層來(lái)匯聚全局信息，這是一般分類(lèi)網(wǎng)絡(luò)的模型搭建方法.這類(lèi)網(wǎng)絡(luò)最后輸出的特征圖為1×1，也就是說(shuō)，所有的特征都匯聚到了一點(diǎn)上.這種方式能有效地融合全局的信息，而語(yǔ)義分割網(wǎng)絡(luò)通常會(huì)移除全連接層，或者將全連接層替換成參數(shù)相同的局部卷積[30].雖然這種處理方式成功地將分類(lèi)網(wǎng)絡(luò)轉(zhuǎn)換成了可以做逐像素密集預(yù)測(cè)的語(yǔ)義分割網(wǎng)絡(luò)，但是破壞了網(wǎng)絡(luò)的全局特性，可能會(huì)使得網(wǎng)絡(luò)丟失某些長(zhǎng)距離的依賴(lài)關(guān)系[24，26].比如當(dāng)兩個(gè)目標(biāo)分別位于左上角和右下角時(shí)，距離過(guò)遠(yuǎn)，網(wǎng)絡(luò)的感受野不夠就無(wú)法捕獲到這種長(zhǎng)距離的依賴(lài)關(guān)系，造成信息丟失.

在深度神經(jīng)網(wǎng)絡(luò)中，如何捕獲長(zhǎng)距離的依賴(lài)關(guān)系一直是一個(gè)比較重要的問(wèn)題.對(duì)于序列數(shù)據(jù)，比如語(yǔ)音，文本和視頻數(shù)據(jù)，通常使用遞歸操作來(lái)進(jìn)行長(zhǎng)距離的依賴(lài)關(guān)系建模.在此方面也出現(xiàn)了很多優(yōu)秀的模型，如：遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，CNN)[30]，長(zhǎng)短時(shí)記憶(Long Short Term Memory，LSTM)[31]，門(mén)控遞歸單元(Gated Recurrent Units，GRU)[32].對(duì)于圖像數(shù)據(jù)，長(zhǎng)距離的依賴(lài)關(guān)系通過(guò)增大感受野來(lái)獲取，常見(jiàn)的結(jié)構(gòu)是通過(guò)深度網(wǎng)絡(luò)來(lái)反復(fù)疊加卷積操作[33].卷積和遞歸操作都是用于處理局部信息的，因此，需要反復(fù)疊加才能增大網(wǎng)絡(luò)的感受野，通過(guò)不斷匯聚的方式融合長(zhǎng)距離的信息.在語(yǔ)義分割網(wǎng)絡(luò)中，由于沒(méi)有全連接層匯聚全局信息，可能會(huì)造成網(wǎng)絡(luò)的感受野不足以覆蓋整個(gè)圖像的問(wèn)題.此外，當(dāng)感受野足夠大時(shí)，在距離較遠(yuǎn)的情況下，這種不斷疊加匯聚的方式也會(huì)出現(xiàn)信息衰減和丟失的問(wèn)題.因此，獲取長(zhǎng)距離的依賴(lài)關(guān)系，最好的方式是通過(guò)非局部操作，直接融入長(zhǎng)距離的全局信息.

由于圖像中經(jīng)常會(huì)遇到這種場(chǎng)景之間的依賴(lài)關(guān)系，比如周?chē)懈叽蟮臉?shù)木，會(huì)影響光照，附近就不太可能出現(xiàn)光伏面板.因此本文引入了非局部操作[24，34]來(lái)融合這種依賴(lài)關(guān)系，非局部操作可以抽象為：

(1)

這里x表示輸入數(shù)據(jù)，可以是語(yǔ)音，文本，圖像和視頻等，y表示輸出結(jié)果，數(shù)據(jù)維度與x相同.i和j表示數(shù)據(jù)的位置索引，可以為時(shí)間或者空間.如果輸入數(shù)據(jù)是時(shí)間序列，則表示時(shí)間的索引，如果是圖像，則表示二維平面上的空間位置.二元函數(shù)f用來(lái)計(jì)算輸入數(shù)據(jù)x在位置i和j處的相關(guān)性，函數(shù)g則是輸入數(shù)據(jù)x在i處的一個(gè)變換.通常來(lái)說(shuō)，在圖像數(shù)據(jù)里函數(shù)g被設(shè)置為一個(gè)1×1的卷積操作用來(lái)做線性變換.簡(jiǎn)單的講，公式(1)可以看成對(duì)輸入數(shù)據(jù)使用函數(shù)g處理后，在所有位置進(jìn)行加權(quán)求和，加權(quán)系數(shù)為f(xi,xj).函數(shù)c(x)用于對(duì)處理后數(shù)據(jù)進(jìn)行歸一化.這個(gè)操作的非局部性體現(xiàn)在其對(duì)所有位置的輸入數(shù)據(jù)都進(jìn)行響應(yīng)，而不是像卷積層只對(duì)鄰近的局部數(shù)據(jù)進(jìn)行響應(yīng).

值得注意的是，這種非局部操作與全連接層是不同的，全連接層的權(quán)值不依賴(lài)于輸入數(shù)據(jù)，無(wú)法反應(yīng)數(shù)據(jù)之間的相關(guān)性.而非局部操作的權(quán)值f(xi,xj)是輸入數(shù)據(jù)x的函數(shù)，它的大小依賴(lài)于數(shù)據(jù)xi和xj之間的相關(guān)性，這種方式效果更好.一個(gè)典型的例子是，假定位置i處是光伏面板，而位置j處是城區(qū)，則兩者之間的關(guān)系弱，權(quán)值就應(yīng)該小一點(diǎn)，這種方式能體現(xiàn)處城區(qū)附近出現(xiàn)光伏面板的可能性低的特點(diǎn).反之，如果位置i處是光伏面板，位置j處是鄉(xiāng)村，則兩者之間的相關(guān)性會(huì)比較大，鄉(xiāng)村出現(xiàn)光伏面板的可能性比城區(qū)高，權(quán)值就應(yīng)該更大些.因此，非全局操作能更準(zhǔn)確地描述數(shù)據(jù)之間的依賴(lài)關(guān)系.

在實(shí)際的建模中，函數(shù)g一般設(shè)置為一個(gè)線性卷積，如式(2)所示：

g(xj)=Wgxj

(2)

上式中Wg是一個(gè)用于學(xué)習(xí)的權(quán)值矩陣.而函數(shù)f可以簡(jiǎn)單地選為一個(gè)高斯函數(shù)：

(3)

f(xi,xj)=eθ(xi)Tφ(xj)

(4)

上式中的核函數(shù)簡(jiǎn)單的取θ(xi)=Wθxi，φ(xj)=Wfxj，使用卷積操作來(lái)實(shí)現(xiàn).此外，歸一化函數(shù)C可以簡(jiǎn)單的表示為：

(5)

根據(jù)式(2)，式(4)和式(5)，式(1)可以表示為：

(6)

根據(jù)以上理論，可以得到圖 3中的模型.函數(shù)θ，φ和g可以看做三個(gè)卷積(Conv模塊)，輸出尺寸為C×H×W的特征圖，C，H和W分別為特征圖的通道數(shù)，高和寬.Reshape模塊用于對(duì)特征圖進(jìn)行變形，其中N=H×C.整個(gè)結(jié)構(gòu)中只有卷積模塊，也就是函數(shù)θ，φ和g是可以進(jìn)行學(xué)習(xí)的.

圖3 非局部模塊結(jié)構(gòu)圖Fig.3 Non-local block framework

圖 3中的非局部模塊有一個(gè)顯著的缺點(diǎn)就是計(jì)算量大，主要原因是需要計(jì)算所有位置之間的相似度，這個(gè)時(shí)間復(fù)雜度是O(CN2).當(dāng)特征圖的尺寸較大時(shí)，N=H×W就會(huì)很大.因此異步融合非局部模塊(AFNB)[26]對(duì)此進(jìn)行了改進(jìn)，使用金字塔池化對(duì)特征圖進(jìn)行了下采樣.如圖 4所示，在經(jīng)過(guò)下采樣進(jìn)行降維后，時(shí)間復(fù)雜度變?yōu)榱薕(CNS)，當(dāng)S?N時(shí)，就可以將計(jì)算量降為圖像大小的線性級(jí)別.這種降低計(jì)算量的策略可以簡(jiǎn)單的理解為，使用低分辨率的特征圖來(lái)融合長(zhǎng)距離的依賴(lài)關(guān)系.這種處理方式是和人眼的視覺(jué)特性一致的，長(zhǎng)距離的依賴(lài)關(guān)系可以看做是全局的信息，通過(guò)低分辨率的圖像來(lái)獲取.而在處理局部信息時(shí)，則會(huì)把目光聚集在關(guān)注的物體上，此時(shí)等價(jià)于對(duì)圖像進(jìn)行放大，高分辨率圖像可以獲取更豐富的細(xì)節(jié)信息.

圖4 異步融合非局部模塊Fig.4 Asymmetric fusion non-local block

在使用異步融合非局部模塊時(shí)，本文結(jié)合所提出的模型，對(duì)融合結(jié)構(gòu)進(jìn)行了改進(jìn).如圖 1所示，本文使用高層1/32分辨率的特征提供全局信息，而不是用對(duì)應(yīng)分辨率的特征經(jīng)過(guò)金字塔采樣后作為全局信息.這樣做的原因有兩點(diǎn)，其一是1/32分辨率的特征圖相比1/8和1/16特征圖要小，計(jì)算量低，其二是1/32分辨率的特征圖網(wǎng)絡(luò)更深，語(yǔ)義更豐富.

5 自適應(yīng)上采樣模塊

光伏面板分割本質(zhì)上是一個(gè)語(yǔ)義分割任務(wù)，它需要給圖像的每一個(gè)像素預(yù)測(cè)一個(gè)標(biāo)簽.也就是說(shuō)，這是一個(gè)逐像素的密集性預(yù)測(cè)任務(wù).這種密集性預(yù)測(cè)任務(wù)相比于圖像分類(lèi)和目標(biāo)檢測(cè)更難，它對(duì)像素級(jí)的誤差非常敏感，每一個(gè)像素預(yù)測(cè)錯(cuò)誤都會(huì)直接影響到最終的分割精度.因此模型的設(shè)計(jì)要盡可能地減少各種操作產(chǎn)生的像素級(jí)誤差.在這方面的工作有很多，典型的有CRFasRNN[22]，將條件隨機(jī)場(chǎng)概率圖模型以遞歸神經(jīng)網(wǎng)絡(luò)的形式嵌入到深度學(xué)習(xí)網(wǎng)絡(luò)中，獲取圖像像素之間的相關(guān)性來(lái)提升像素精度.UnpoolingNet[35]則是將上采樣操作換成了Unpooling 操作，在前向傳播過(guò)程中記錄最大值池化操作中激活值的位置，以便在后續(xù)的上采樣過(guò)程中，在對(duì)應(yīng)位置激活，通過(guò)對(duì)齊激活值來(lái)提升網(wǎng)絡(luò)精度.Deeplab[36]則是在網(wǎng)絡(luò)的高層使用帶孔卷積替換池化操作，避免池化操作造成的空間信息丟失的問(wèn)題.

這些文章都是在解決CNN結(jié)構(gòu)在語(yǔ)義分割任務(wù)中的固有問(wèn)題.在語(yǔ)義分割網(wǎng)絡(luò)中，想要對(duì)像素進(jìn)行準(zhǔn)確的分類(lèi)，就需要大感受野的高層語(yǔ)義信息.但是，在感受野增加的過(guò)程中給像素級(jí)的精度帶來(lái)了巨大的挑戰(zhàn).通常情況下，增大感受野方式有兩種，卷積和池化.這兩種方式都會(huì)增加像素分割的難度，卷積的擴(kuò)散效應(yīng)會(huì)造成特征圖過(guò)于平滑，池化則在下采樣過(guò)程中丟失了空間分辨率.不同于圖像分類(lèi)的是，語(yǔ)義分割這種逐像素預(yù)測(cè)問(wèn)題，必然有一個(gè)上采樣的過(guò)程.這種先下采樣再上采樣的結(jié)構(gòu)必然會(huì)丟失空間信息，從而影響最終的像素級(jí)分割結(jié)果.

總的來(lái)說(shuō)，語(yǔ)義分割網(wǎng)絡(luò)分為兩步，第一步是從高分辨率的輸入圖像提取低分辨率的高層信息，第二步是從低分辨率的高層信息中重構(gòu)出高分辨率的分割結(jié)果.這也是大多數(shù)語(yǔ)義分割網(wǎng)絡(luò)都由編碼器(Encoder)和解碼器(Decoder)構(gòu)成的原因.編碼器負(fù)責(zé)提取高層的語(yǔ)義信息，解碼器重構(gòu)逐像素的分割結(jié)果.對(duì)于卷積神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，提取高層的語(yǔ)義信息是相對(duì)容易的，比如圖像分類(lèi).但是在編碼器部分丟失了空間信息，難以生成高質(zhì)量的、高分辨率的分割結(jié)果，這也是大多數(shù)語(yǔ)義分割網(wǎng)絡(luò)目標(biāo)邊緣分割結(jié)果不好的原因.想要網(wǎng)絡(luò)不丟失空間信息，最直觀的做法是不進(jìn)行下采樣，但是這樣會(huì)極大的增加計(jì)算量，使得計(jì)算資源難受承受.比如Deeplabv3模型，也只能在1/8分辨率以下的卷積層使用帶孔卷積替換下采樣操作.如果在整個(gè)網(wǎng)絡(luò)都不使用下采樣操作，計(jì)算量是難以承受的.

在無(wú)法避免下采樣操作的情況下，提升分割精度就只能通過(guò)改進(jìn)上采樣操作.目前關(guān)于上采樣的研究有很多，研究者們提出了很多超分辨率重構(gòu)(Super-Resolution Reconstruction)[12，37，38]的方法.超分辨率重構(gòu)用于將一幅低分辨率的圖像轉(zhuǎn)換的一幅高分辨率的圖像.這種圖像處理任務(wù)的輸入數(shù)據(jù)只有低分辨率的圖像.而語(yǔ)義分割任務(wù)輸入的是高分辨率的圖像，只是在提取高層語(yǔ)義信息的時(shí)候進(jìn)行了降采樣.因此，可以充分利用高分辨率的輸入圖像信息，自適應(yīng)的生成采樣系數(shù)，對(duì)低分辨率的高層語(yǔ)義信息進(jìn)行上采樣.這個(gè)處理策略可以抽象為：

(7)

式(7)中，x為輸入圖像，z為高層的語(yǔ)義信息，y為輸出的采樣結(jié)果，Tj(x)表示輸入圖像在x在位置j處的采樣值.函數(shù)φ用于計(jì)算采樣系數(shù)，表示的是輸入圖像中在i和j處像素之間的相似性，R(xi,x)用于歸一化，取R(xi,x)=∑jφ(xi,Tj(x)).需要注意的是，x和z的分辨率不同，為了保證一致性，i和j的值都?xì)w一化到區(qū)間[0,1].公式(7)可以簡(jiǎn)單的理解為，根據(jù)輸入圖像的高分辨率結(jié)構(gòu)信息提取采樣系數(shù)，對(duì)低分辨率的語(yǔ)義信息進(jìn)行上采樣，也就是加權(quán)求和.模型中的采樣系數(shù)是輸入圖像的函數(shù)，根據(jù)像素特征之間的相關(guān)性來(lái)生成采樣系數(shù).而雙線性插值和反卷積的采樣系數(shù)與輸入圖像無(wú)關(guān)，無(wú)法提取到高分辨率輸入圖像的結(jié)構(gòu)信息，在任何位置的采樣系數(shù)都是固定的.典型的缺點(diǎn)如雙線性插值是一種對(duì)位置平均的結(jié)果，在目標(biāo)邊緣處會(huì)出現(xiàn)模糊現(xiàn)象.而自適應(yīng)上采樣是根據(jù)像素間的相似度求平均，相似度越高，權(quán)值越大.這種方式能更準(zhǔn)確地體現(xiàn)像素間的相關(guān)性，讓上采樣的結(jié)果和輸入圖像在像素間的相關(guān)性保持一致.

根據(jù)上面的分析，具體的自適應(yīng)上采樣算法按如下的參數(shù)搭建模型.為了減少計(jì)算量，實(shí)際模型中并不對(duì)語(yǔ)義信息z在全圖做加權(quán)平均，而是選取以位置i為中心的一個(gè)小窗口Wi.那么式(7)可以簡(jiǎn)化為：

(8)

對(duì)應(yīng)的，R(xi,x)=∑j∈Wiφ(xi,Tj(x)).需要注意的是，Tj(x)并不是直接在輸入圖像x上進(jìn)行采樣，而是先對(duì)x做高斯平滑.這樣做的目的是避免在圖像相鄰像素的值變化很大時(shí)，出現(xiàn)較大的采樣誤差.事實(shí)上，語(yǔ)義信息z的每個(gè)像素對(duì)應(yīng)的是輸入圖像x中的一個(gè)區(qū)域，而不是單個(gè)像素，當(dāng)兩者分辨率相差越大時(shí)，區(qū)域的面積就越大.相比于使用單個(gè)像素的特征值作為該區(qū)域的特征，使用平均值更好.因此，在實(shí)際的計(jì)算中使用了高斯濾波來(lái)進(jìn)行滑動(dòng)平均.

φ用于計(jì)算兩個(gè)像素之間的相似性，這個(gè)相似性度量采用雙邊濾波(Bilateral Filters)[39]類(lèi)似的方法，使用高斯核函數(shù)進(jìn)行計(jì)算：

φ(xi,xj)=e-‖xi-xj‖2

(9)

此外，為了體現(xiàn)各個(gè)特征的相對(duì)重要性，在式(9)中引入了對(duì)角矩陣Wφ作為一組可學(xué)習(xí)的參數(shù)：

φ(xi,xj)=e-(xi-xj)TWφ(xi-xj)

(10)

根據(jù)以上分析過(guò)程，自適應(yīng)上采樣模塊可以有如下幾部分組成(如圖 5所示).Downsample表示高斯平滑和下采樣，Unfold表示按照窗口W展開(kāi)，SimilarityComputer代表相似度計(jì)算函數(shù)φ，F(xiàn)old表示按照窗口W重構(gòu)成大小為x的高分辨率語(yǔ)義信息特征圖.

圖5 自適應(yīng)上采樣模塊Fig.5 Adaptive upsample module

6 實(shí)驗(yàn)結(jié)果

6.1 實(shí)驗(yàn)數(shù)據(jù)

本文的實(shí)驗(yàn)數(shù)據(jù)為資源3號(hào)(ZY-3)和高分1號(hào)(GF-1)衛(wèi)星拍攝的遙感圖片.這兩顆衛(wèi)星是我國(guó)的高分圖像獲取衛(wèi)星，精度約為2m.由于遙感圖像的大量區(qū)域都是背景，因此，在訓(xùn)練之前對(duì)標(biāo)記數(shù)據(jù)做了簡(jiǎn)單的清洗：根據(jù)光伏面板和背景的分布情況進(jìn)行了簡(jiǎn)單的篩選，保證前景和背景的比例約為1：3，以此避免訓(xùn)練失衡.此外，為了方便訓(xùn)練，將遙感圖像裁剪成了768×768的小圖片，訓(xùn)練時(shí)每次從小圖片中隨機(jī)裁剪出256×256的小塊作為輸入數(shù)據(jù).

6.2 實(shí)驗(yàn)設(shè)置

為了驗(yàn)證本文算法的有效性，與3種較新的算法(UNet[26]，PSPNet[16]，Deeplabv3[27])進(jìn)行了比較.優(yōu)化方法使用Adam[40]，batchsize設(shè)為4.訓(xùn)練過(guò)程中對(duì)數(shù)據(jù)做了增強(qiáng)處理，包括平滑，添加高斯噪聲，在HSV空間對(duì)亮度和飽和度添加隨機(jī)噪聲等.

6.3 結(jié)果比較

6.3.1 交并比(IoU)

交并比是一個(gè)在語(yǔ)義分割任務(wù)中廣泛使用的評(píng)價(jià)指標(biāo)，描述的是分割正確的像素所占的比例.該評(píng)價(jià)指標(biāo)是一個(gè)尺度不變的評(píng)價(jià)指標(biāo)[41]，不同尺度的目標(biāo)在最終的評(píng)估中所占的比例是相同的.交并比定義為是前景目標(biāo)的預(yù)測(cè)值和真實(shí)值的交集與并集之比：

(11)

6.3.2 準(zhǔn)確率，召回率和F-Measure

準(zhǔn)確率和召回率衡量的是模型的查準(zhǔn)率和查全率.在常見(jiàn)的語(yǔ)義分割評(píng)價(jià)指標(biāo)中，常用交并比來(lái)進(jìn)行評(píng)價(jià).比如道路場(chǎng)景分割，評(píng)價(jià)指標(biāo)能較好的描述目標(biāo)分割的準(zhǔn)確程度，因此使用IoU是比較好的一種選擇.但是在光伏面板分割的任務(wù)中，同一塊前景區(qū)域可能被分割到幾個(gè)小圖像，使用交并比就不是很準(zhǔn)確.因此，在對(duì)比結(jié)果中增加了準(zhǔn)確率，召回率和F-Measure這3個(gè)評(píng)價(jià)指標(biāo).F-Measure表示的是準(zhǔn)確率和召回率的加權(quán)調(diào)和，衡量的是兩者的綜合影響.計(jì)算方法如式(12)-式(14)所示：

(12)

(13)

(14)

式中Precision,Recall和Fα分別代表準(zhǔn)確率，召回率和F-Measure.α表示調(diào)和系數(shù)，用于平衡準(zhǔn)確率和召回率，一般取α2=0.3.

實(shí)驗(yàn)結(jié)果如表1所示，本文提出的方法在IoU，Precision和F-Measure上都取得了最優(yōu)的結(jié)果.僅在Recall指標(biāo)上略低于Unet，但是Unet的精度偏低，說(shuō)明Unet將更多的背景誤判成了前景，誤檢率高.F-Measure作為一個(gè)平衡精度和召回率的方法，能更好的描述模型的性能.而本文提出的方法在F-Measure這一指標(biāo)上比UNet更好，總的來(lái)說(shuō)，本文的方法取得了更好的結(jié)果.IoU作為一種尺度不變的衡量指標(biāo)，對(duì)于各種尺度目標(biāo)的評(píng)價(jià)都具有一定穩(wěn)定性.而本文的模型在IoU指標(biāo)上表現(xiàn)的更好，說(shuō)明模型對(duì)所有尺度的目標(biāo)整體檢測(cè)效果更好.

表1 實(shí)驗(yàn)結(jié)果對(duì)比Table 1 Comparison of experiments results

7 結(jié) 語(yǔ)

本文設(shè)計(jì)了一個(gè)多尺度的光伏面板分割模型，引入了非局部模塊來(lái)融合全局信息進(jìn)行預(yù)測(cè)，并提出了一種自適應(yīng)上采樣的方法來(lái)優(yōu)化目標(biāo)的邊緣.實(shí)驗(yàn)結(jié)果表明，相比于一些較新的算法，本文的模型取得了更好的分割結(jié)果.在IoU，精度和F-Measure指標(biāo)都取得了最優(yōu)的結(jié)果.