融合鄰域色差的PSPNet對(duì)遙感影像的分割

袁偉，許文波，周甜

1. 成都大學(xué) 建筑與土木工程學(xué)院，成都 610106 2. 電子科技大學(xué) 資源與環(huán)境學(xué)院，成都 610097

1 引言

傳統(tǒng)的遙感影像語(yǔ)義分割是利用影像的光譜特性，依靠某種算法進(jìn)行變換后，設(shè)定一個(gè)閾值，將具有相似值的像素進(jìn)行歸類(lèi)[1-5],但由于同物異譜現(xiàn)象的存在，提取效果不夠理想。深度學(xué)習(xí)出現(xiàn)以后，因其可以自動(dòng)提取特征等優(yōu)勢(shì),現(xiàn)已成為遙感圖像語(yǔ)義分割的主流方法，如文獻(xiàn)[6]將建筑物的輪廓信息、區(qū)域信息和建筑物區(qū)域內(nèi)至邊緣的距離信息作為標(biāo)簽內(nèi)容進(jìn)行多任務(wù)訓(xùn)練，提高了建筑物的分割精度。文獻(xiàn)[7]對(duì)UNet++進(jìn)行了改進(jìn)，在房屋提取上取得了更好的效果。文獻(xiàn)[8]將DSM作為輔助信息進(jìn)行學(xué)習(xí),效果比SVM、GBDT、FCN-8s模型更好。文獻(xiàn)[9]將注意力機(jī)制引入深度學(xué)習(xí)網(wǎng)絡(luò)，在ISPRS的在線競(jìng)賽中總體精度排名第一。文獻(xiàn)[10]聯(lián)合深度學(xué)習(xí)和條件隨機(jī)場(chǎng)進(jìn)行遙感影像的云檢測(cè)，取得了不錯(cuò)的效果。

有時(shí)，輔助信息難以獲得。本文通過(guò)挖掘圖片自身的信息，提出一種融合色差的方法，將像素與鄰域的色差信息作為第4通道，共同輸入到PSPnet[11]網(wǎng)絡(luò)中進(jìn)行特征提取。

2 鄰域的色差計(jì)算

對(duì)于一幅圖像而言，鄰近的像素如果顏色不同不一定是不同的物體；然而鄰近的像素如果顏色相似，則往往是同一物體。根據(jù)這一原則，可以將圖像中的每個(gè)像素與鄰域像素之間的顏色相似程度，作為已完成預(yù)處理的特征，以第4通道的形式融合到原始圖像中，以彌補(bǔ)卷積運(yùn)算無(wú)法進(jìn)行平方和開(kāi)方這類(lèi)復(fù)雜運(yùn)算的缺點(diǎn)，增強(qiáng)深度學(xué)習(xí)網(wǎng)絡(luò)提取特征的能力。為此，需要計(jì)算出每個(gè)像素的鄰域色差。

RGB是使用最為普遍的顏色空間,分為紅色、綠色、藍(lán)色3個(gè)通道，每個(gè)通道的值是0～255的整數(shù)。將這3個(gè)通道以不同的值進(jìn)行組合，共有約1 678萬(wàn)個(gè)值，幾乎可以表達(dá)現(xiàn)實(shí)世界所有的顏色。然而RGB顏色空間卻無(wú)法通過(guò)計(jì)算各個(gè)通道的歐氏距離來(lái)衡量顏色的相似程度，因?yàn)镽GB中一個(gè)通道的一點(diǎn)改變,會(huì)導(dǎo)致顏色發(fā)生巨大變化,而如果3個(gè)通道同時(shí)改變,卻只會(huì)使最后的明暗發(fā)生變化,色調(diào)并不會(huì)產(chǎn)生巨大變化。1976 年，國(guó)際照明委員會(huì)(CIE) 推薦基于LAB顏色空間建立的 CIELAB色差公式[12],后來(lái)又先后推出了改進(jìn)的公式CIE94[13]、CIEDE2000[14]等。除CIE推薦的公式以外，還有一些其他公式，如CMC[15]、IP[16]等。但這些公式普遍計(jì)算較為復(fù)雜，為了簡(jiǎn)化計(jì)算，采用CIELAB色差公式：

(1)

式中：ΔE為色差；ΔL為兩個(gè)顏色的明度差值；ΔA為兩個(gè)顏色的紅綠差值；ΔB為兩個(gè)顏色的黃藍(lán)差值。

將每個(gè)像素與其周?chē)?個(gè)鄰域像素之間求出色差，然后取其平均值作為該像素的鄰域色差值：

(2)

將圖像的每個(gè)像素求出鄰域色差，再映射到0～255，形成一個(gè)單通道的灰度圖像，如圖1所示。將該通道與原始圖像的RGB通過(guò)進(jìn)行拼接，形成4通道的圖像，輸入到PSPNet進(jìn)行訓(xùn)練。

圖1 原始圖像和對(duì)應(yīng)的色差灰度圖像Fig.1 The original image and the corresponding color difference gray image

3 PSPNet

PSPNet是2017年提出的深度學(xué)習(xí)網(wǎng)絡(luò)模型，該模型結(jié)構(gòu)如圖2所示。首先，利用經(jīng)典的特征提取網(wǎng)絡(luò)，如VGG16、ResNet101，對(duì)輸入圖像進(jìn)行特征提取，然后將得到的特征進(jìn)行不同尺度的池化，以增強(qiáng)每個(gè)像素的實(shí)際感受野。圖2中，紅色模塊是將整個(gè)特征圖整體池化成1個(gè)像素，再卷積運(yùn)算成深度為原來(lái)的1/4；黃色模塊是將整個(gè)特征圖等分為4塊，分別池化為1個(gè)像素，得到2×2像素大小的特征之后再卷積運(yùn)算成深度為原來(lái)的1/4；藍(lán)色模塊是將整個(gè)特征圖等分為9塊，分別池化為1個(gè)像素，得到3×3像素大小的特征之后再卷積運(yùn)算成深度為原來(lái)的1/4；綠色模塊是將整個(gè)特征圖等分為36塊，分別池化為1個(gè)像素，得到6×6像素大小的特征之后再卷積運(yùn)算成深度為原來(lái)的1/4。最后將4個(gè)不同尺度池化后的結(jié)果上采樣到輸入特征圖的大小，然后與輸入特征圖拼接在一起，再進(jìn)行卷積運(yùn)算，得到預(yù)測(cè)結(jié)果。

圖2 PSPNet網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.2 Structure of PSPNet network model

通過(guò)以上網(wǎng)絡(luò)結(jié)構(gòu)的運(yùn)算之后，輸出的每個(gè)像素就包含了全局、1/4、1/9、1/36的池化特征，感受野大大增強(qiáng)，從而獲得更好的預(yù)測(cè)效果。

4 試驗(yàn)數(shù)據(jù)與評(píng)價(jià)指標(biāo)

為了避免因數(shù)據(jù)集的獨(dú)特性給網(wǎng)絡(luò)的對(duì)比結(jié)果帶來(lái)偶然性的影響，本文采用兩個(gè)公開(kāi)的遙感影像語(yǔ)義分割數(shù)據(jù)集進(jìn)行試驗(yàn)。兩個(gè)數(shù)據(jù)集的標(biāo)注精度、地面分辨率都不相同，可以在各種情況下對(duì)模型進(jìn)行對(duì)比，得出的結(jié)論也更有說(shuō)服力。

4.1 WHU building dataset

WHU building dataset[17]是由武漢大學(xué)季順平教授團(tuán)隊(duì)用時(shí)近1年時(shí)間，人工制作的一套大場(chǎng)景、高分辨率的建筑物數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)分為航空建筑物數(shù)據(jù)庫(kù)和衛(wèi)星建筑物數(shù)據(jù)庫(kù)。如圖3所示，本文選用的航空建筑物數(shù)據(jù)庫(kù)影像來(lái)自新西蘭Christchurch市，涵蓋22萬(wàn)棟形式各異的建筑，覆蓋面積約450 km2，地面分辨率0.075 m。原始影像大小為512×512像素,格式為tif,通道數(shù)為3,對(duì)應(yīng)的標(biāo)注影像為單通道tif格式數(shù)據(jù)。訓(xùn)練數(shù)據(jù)集為4 736幅分辨率為512×512像素的航空影像，測(cè)試數(shù)據(jù)集為1 036幅512×512像素的航空影像。

圖3 WHU building datasetFig.3 WHU building dataset

4.2 Massachusetts building dataset

Massachusetts building dataset數(shù)據(jù)集也是航空影像，位于美國(guó)的麻省，覆蓋面積約340 km2，地面分辨率為1 m 。原始影像大小為1 500×1 500像素，格式為tif，通道數(shù)為3，對(duì)應(yīng)的標(biāo)注影像為單通道tif格式數(shù)據(jù)。其中訓(xùn)練數(shù)據(jù)集包含137幅1 500×1 500像素的航空影像，按512×512像素的瓦片大小切割成1 233幅圖像。測(cè)試數(shù)據(jù)集包含14幅1 500×1 500像素的航空影像，按512×512像素的瓦片大小切割成126幅圖像。

4.3 評(píng)價(jià)指標(biāo)

為了更客觀地驗(yàn)證本文方法的優(yōu)勢(shì)，采用平均交并比(MIoU)、準(zhǔn)確度(ACC)、F1-score三個(gè)評(píng)價(jià)指標(biāo)進(jìn)行對(duì)比分析。

(3)

(4)

(5)

其中precision和recall的計(jì)算如下：

(6)

式中：n為前景分類(lèi)數(shù)量，加上背景總共為n+1類(lèi)；TP為真正，表示正確分為該類(lèi)的像素個(gè)數(shù)；FP為假正，表示他類(lèi)被分為該類(lèi)的像素個(gè)數(shù)；TN為真負(fù)，表示正確分為他類(lèi)的像素個(gè)數(shù)；FN為假負(fù)，表示該類(lèi)被誤分為他類(lèi)的像素個(gè)數(shù)。式(3)先將背景和建筑物分別作為正樣本求出的評(píng)價(jià)指標(biāo)后，再取平均值便可得到所有類(lèi)的平均評(píng)價(jià)指標(biāo)。式(4)～(6)中正樣本為建筑物。

5 試驗(yàn)與分析

本文試驗(yàn)的CPU型號(hào)是Intel I5-9400F，顯卡為 NVIDIA GeForce RTX 2060 Super 8G，GPU 加速庫(kù)采用 CUDA10.0。深度學(xué)習(xí)框架是TensorFlow和官方的高級(jí)封裝庫(kù)Estimator。

采用AdamOptimizer算法[18]尋找最優(yōu)解，學(xué)習(xí)率為0.000 1。此外，采用文獻(xiàn)[19]方法，對(duì)權(quán)重采用L2正則化，以防止過(guò)擬合，提高泛化能力。損失函數(shù)為交叉熵。迭代訓(xùn)練周期epoch最大值為100，每個(gè)epoch之后在測(cè)試集上進(jìn)行評(píng)估，若連續(xù)10個(gè)epoch的評(píng)價(jià)指標(biāo)都不再升高，則采用提前終止模型訓(xùn)練的策略(early stopping)結(jié)束模型訓(xùn)練[20]。

從評(píng)價(jià)指標(biāo)來(lái)看，融入了鄰域色差后的預(yù)測(cè)結(jié)果在兩個(gè)數(shù)據(jù)集上的表現(xiàn)都更好一些，如表1所示。在WHU building dataset數(shù)據(jù)集上MIoU提高了2.1個(gè)百分點(diǎn)， ACC提高了0.5個(gè)百分點(diǎn)，F(xiàn)1-score提高了2.4個(gè)百分點(diǎn)。在Massachusetts building dataset數(shù)據(jù)集上，MIoU提高了1.4個(gè)百分點(diǎn)，ACC提高了1.2個(gè)百分點(diǎn), F1-score提高了1.1個(gè)百分點(diǎn)。

表1 各數(shù)據(jù)集上網(wǎng)絡(luò)模型評(píng)價(jià)指標(biāo)對(duì)比Table 1 Comparison of network model evaluation indexes on each dataset

從兩個(gè)數(shù)據(jù)集的測(cè)試數(shù)據(jù)上的預(yù)測(cè)圖像來(lái)看，融入了鄰域色差的預(yù)測(cè)結(jié)果效果更好，更接近于真實(shí)標(biāo)簽值。在具有相近顏色的像素上，融入了鄰域色差預(yù)測(cè)結(jié)果更為一致，尤其在WHU building dataset的第2行圖上更為明顯,如圖4第2行所示，原始圖像中最右下角的房屋顏色都為灰白色，融入鄰域色差后的預(yù)測(cè)像素大多預(yù)測(cè)為了房屋，只有中間個(gè)別像素預(yù)測(cè)為了背景，但是效果明顯要好于沒(méi)有融合鄰域色差的預(yù)測(cè)結(jié)果。同時(shí)，在Massachusetts building dataset數(shù)據(jù)集上融入鄰域色差前后的效果雖然說(shuō)沒(méi)有在WHU building dataset上區(qū)別這么大，但也可以看出，建筑物的訓(xùn)判情況要好很多，如圖5第1行所示，水泥地被誤判為建筑的情況大大減少。

圖4 在WHU building dataset上的效果對(duì)比Fig.4 Effect comparison on WHU building dataset

圖5 在Massachusetts building dataset上的效果對(duì)比Fig.5 Effect comparison on Massachusetts building dataset

6 結(jié)論

為了提高PSPNet網(wǎng)絡(luò)的分割精度，本文提出一種融合鄰域的色差信息的方法，先將整個(gè)圖像RGB轉(zhuǎn)換為L(zhǎng)AB空間，然后分別計(jì)算每個(gè)像素與鄰域8像素的色差值，最后取平均值作為該像素的色差信息。將色差信息與RGB值進(jìn)行拼接形成4通過(guò)的圖像，輸入到PSPNet中進(jìn)行訓(xùn)練和預(yù)測(cè)。

通過(guò)在兩個(gè)公開(kāi)的遙感語(yǔ)義分割數(shù)據(jù)集上進(jìn)行對(duì)比試驗(yàn)，可以看出融合了色差信息值以后，在每個(gè)數(shù)據(jù)集上，幾乎所有的指標(biāo)均有所提高。并且從預(yù)測(cè)的圖形上看，具有相似光譜信息的像素被預(yù)測(cè)成同一類(lèi)地物的概率大大提高。

因此，本文提出的融合色差的方法，在一定程度上彌補(bǔ)了卷積運(yùn)算的不足，是一種有效提高PSPNet預(yù)測(cè)精度的方法。