基于實(shí)例分割的城中村建筑物矢量輪廓提取

陳穎敏，高建

(南京郵電大學(xué) 地理與生物信息學(xué)院，南京 210023)

0 引言

城中村是中國快速城市化進(jìn)程中的產(chǎn)物，以低矮擁擠的建筑物為主，存在環(huán)境質(zhì)量差、土地管理混亂、市政配套設(shè)施落后等問題。因此，不少學(xué)者[1-4]利用高分辨率遙感影像對城中村建筑物進(jìn)行提取，從而為城中村改造業(yè)務(wù)提供地理參考資料。當(dāng)前，基于深度學(xué)習(xí)的實(shí)例分割技術(shù)如兩階段算法MaskR-CNN[5]等，因?yàn)榭梢酝瑫r(shí)獲得待檢測目標(biāo)的位置、數(shù)量等信息，被廣泛應(yīng)用于高分辨率遙感影像的目標(biāo)實(shí)例識別并取得不少成果。Zhao等[6]使用MaskR-CNN算法，通過設(shè)置合理的錨框尺寸，準(zhǔn)確地提取出遙感圖像中小而密集的飛機(jī)目標(biāo)；Nie等[7]使用帶注意力機(jī)制的MaskR-CNN算法對高分辨率遙感影像中的近岸船舶進(jìn)行提取，提升了區(qū)分船舶單體的精度；Ocer等[8]在MaskR-CNN中嵌入特征金字塔網(wǎng)絡(luò)(feature pyramid network，F(xiàn)PN)[9]，實(shí)現(xiàn)了多尺度無人機(jī)航拍影像中的林木提取和計(jì)數(shù)；惠健等[10]將深度神經(jīng)網(wǎng)絡(luò)方法與多任務(wù)學(xué)習(xí)方法相結(jié)合進(jìn)行建筑物實(shí)例分割，在提升建筑物像素掩膜二分類精度的同時(shí)，區(qū)分不同建筑物個體；瑚敏君等[11]在MaskR-CNN的掩膜預(yù)測結(jié)構(gòu)中添加額外分支，可以準(zhǔn)確獨(dú)立地預(yù)測高分辨率遙感影像中的建筑物掩膜，減少了目標(biāo)粘連的現(xiàn)象。然而，兩階段實(shí)例分割算法將處理流程割裂為先檢測后分割兩個步驟，算法效率較低，且輸出結(jié)果是遙感目標(biāo)的像素掩膜，難以直接獲取矢量多邊形輪廓。

對此，以杭州市2017年的高分二號遙感影像為實(shí)驗(yàn)數(shù)據(jù)，設(shè)計(jì)了一個基于極軸建模的城中村建筑物矢量輪廓提取模型PolarMask-UV，探討算法適用的參數(shù)設(shè)置和結(jié)構(gòu)配置及其相比其他算法的優(yōu)劣，以獲得最佳的提取效果。

1 PolarMask-UV城中村建筑物輪廓提取算法

1.1 矢量輪廓的建模方式

傳統(tǒng)的實(shí)例分割模型通常是在邊界框包圍的空間布局中通過逐像素二分類來完成目標(biāo)實(shí)例的分類和定位，比如MaskR-CNN先使用目標(biāo)檢測器得到每個實(shí)例的類別和候選框，然后通過外接獨(dú)立的全卷積網(wǎng)絡(luò)分支對備選框內(nèi)的前景像素進(jìn)行分割。該類方法對實(shí)例對象采用圖1(a)中的逐像素表示，由于力求恢復(fù)像素級的細(xì)節(jié)，需要處理繁重的密集預(yù)測任務(wù)，且生成的像素掩膜容易混入雜亂的偽影，難以生成后續(xù)可用的矢量邊界。而PolarMask-UV采用PolarMask[12]的實(shí)例建模方式，在極坐標(biāo)中憑借角度和距離定位邊界點(diǎn)，如圖1(b)所示。相比圖1(a)傳統(tǒng)的像素建模方式，它有如下優(yōu)點(diǎn)：極坐標(biāo)原點(diǎn)視作目標(biāo)中心，邊界點(diǎn)位置由距離和角度確定，可以簡潔直觀地描述目標(biāo)的矢量形狀，特別適用于城中村建筑物這種小型塊狀規(guī)整目標(biāo)的提取；使用固定先驗(yàn)角度，只需回歸已知方向上的距離即可，無需進(jìn)行繁重的逐像素密集預(yù)測，簡化了分割問題的處理；生成的矢量輪廓也可方便地轉(zhuǎn)化為柵格掩膜，滿足不同應(yīng)用場景下的輸出格式要求。

1.2 算法架構(gòu)

PolarMask-UV算法的總體架構(gòu)如圖2所示，其具體流程是：首先，將圖片輸入深度殘差網(wǎng)絡(luò)(deep residual network，ResNet)[13]和四層FPN得到用于檢測不同尺度目標(biāo)的特征圖；然后，通過分類和定位分支預(yù)測出中心點(diǎn)類別和每個先驗(yàn)角度上中心點(diǎn)到邊界點(diǎn)的距離；最后，對預(yù)測結(jié)果進(jìn)行簡單轉(zhuǎn)換即可得到目標(biāo)的矢量輪廓。可見，由于對實(shí)例掩膜采用極坐標(biāo)表示，算法回避了繁重的逐像素密集預(yù)測問題，僅需處理實(shí)例中心點(diǎn)分類和稀疏距離回歸任務(wù)。其中，H、W、C分別是指輸出特征圖的高度、寬度和通道數(shù)；n是實(shí)例建模所用射線的根數(shù)。

圖2 PolarMask-UV算法總體架構(gòu)

1)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)。由于城中村建筑物在遙感影像中大小各異，一些樓房尺寸極小且往往密集排布，這對網(wǎng)絡(luò)檢測小型密集目標(biāo)的能力提出了較高的要求。PolarMask-UV的主干網(wǎng)絡(luò)采用ResNet-18，不同的是在FPN中加入了一個額外的淺層特征圖C2，即使用四層FPN進(jìn)行多尺度信息融合，使得底層空間信息更加豐富，提升對小尺寸密集城中村建筑物目標(biāo)的提取能力。主干網(wǎng)絡(luò)和特征金字塔網(wǎng)絡(luò)的具體內(nèi)部結(jié)構(gòu)如圖3所示。

圖3 Backbone和FPN的具體內(nèi)部結(jié)構(gòu)

2)實(shí)例中心點(diǎn)分類。遙感影像中的建筑物常以其他城市建筑物為主，如商業(yè)樓房、小區(qū)樓房等，即城中村建筑物較背景負(fù)樣本存在類別不均衡的現(xiàn)象。為強(qiáng)化網(wǎng)絡(luò)對正樣本的學(xué)習(xí)能力，在分類分支中采用焦點(diǎn)損失[14]替代原先的二分交叉熵?fù)p失進(jìn)行訓(xùn)練。輸入圖片經(jīng)過特征提取網(wǎng)絡(luò)和FPN，再經(jīng)過分類分支，輸出大小H×W×1的特征圖后應(yīng)用sigmoid函數(shù)得到預(yù)測的類別概率。假設(shè)真實(shí)類別為p，分類分支得到的預(yù)測概率為p′，則分類分支的焦點(diǎn)損失計(jì)算如式(1)所示。

lossconf=-αp(1-p′)γlnp′-(1-α)(1-p)p′γln(1-p′)

(1)

式中：參數(shù)α用于對正負(fù)樣本進(jìn)行平衡；參數(shù)γ用于引導(dǎo)網(wǎng)絡(luò)對難易樣本的選擇性學(xué)習(xí)。在實(shí)驗(yàn)中，γ取2，α取0.25。

另一方面，位置(x，y)如果落入實(shí)例重心的附近區(qū)域，就被視為正樣本中心點(diǎn)，反之則為負(fù)樣本點(diǎn)。基于增加正樣本以緩解類別不平衡現(xiàn)象的考慮，本文將正樣本采樣區(qū)域定義為實(shí)例重心點(diǎn)向左右上下延伸1.5倍特征圖下采樣步幅的范圍。為了獲得高質(zhì)量的正樣本點(diǎn)，分類分支輸出距離中心度，用于對低質(zhì)量的實(shí)例中心點(diǎn)降低權(quán)重。給定實(shí)例對象的n條射線長度{d1，d2，…，dn}以及預(yù)測中心度Cpred，則距離中心度C′與中心度損失losscen的計(jì)算如式(2)至式(3)所示。

(2)

losscen=-C′lnCpred-(1-C′)ln(1-Cpred)

(3)

3)稀疏距離回歸。經(jīng)過定位分支，網(wǎng)絡(luò)輸出尺寸為H×W×n的距離預(yù)測圖，之后應(yīng)用指數(shù)函數(shù)將數(shù)值大小轉(zhuǎn)換到區(qū)間[0，+∞]。對于極坐標(biāo)系上的距離回歸，定位損失計(jì)算采用極軸交并比損失，將n根射線作為一個相關(guān)的整體，聯(lián)合優(yōu)化，同時(shí)兼顧了定位精度和訓(xùn)練速度。圖4直觀展示了其在極坐標(biāo)系中的計(jì)算原理。

圖4 極軸交并比損失的計(jì)算原理

(4)

式中，觀察到極軸交并比的最佳取值為1，則極軸交并比損失可以定義為極軸交并比的負(fù)對數(shù)，表達(dá)如式(5)所示。

losspolar=-ln IoUpolar

(5)

4)矢量輪廓的生成。在推理過程中，將網(wǎng)絡(luò)輸出的分類得分和距離中心度相乘可得到每個點(diǎn)的最終置信度。接著使用0.4閾值初步過濾預(yù)測點(diǎn)集合，并應(yīng)用非極大抑制算法Fast-NMS[15]去除冗余的預(yù)測結(jié)果。給定實(shí)例中心點(diǎn)坐標(biāo)(xc，yc)、固定先驗(yàn)角度{θ1，θ2，…，θn}以及預(yù)測的n條射線距離{d1，d2，…，dn}，使用式(6)、式(7)計(jì)算得到每個對應(yīng)邊界點(diǎn)的坐標(biāo)(xi，yi)。最后，從0°開始，順次連接邊界點(diǎn)，形成城中村建筑物的矢量輪廓。

xi=xc+dicosθi

(6)

yi=yc+disinθi

(7)

2 實(shí)驗(yàn)評估

2.1 研究區(qū)域與實(shí)驗(yàn)數(shù)據(jù)集

從2018年開始，杭州市開始了大規(guī)模的城市改造，即實(shí)現(xiàn)由“征遷為主”向“拆建并舉”的轉(zhuǎn)變，主要致力于城中村的拆除和改造。其中杭州市下城區(qū)、拱墅區(qū)和江干區(qū)作為主城區(qū)中改造項(xiàng)目個數(shù)最多的區(qū)域之一，預(yù)計(jì)有8 657 座建筑將被改造。因此有必要對該區(qū)域建立高效的城中村建筑物矢量輪廓提取模型以服務(wù)于有關(guān)部門的規(guī)劃管理業(yè)務(wù)。

數(shù)據(jù)來源是2017年12月獲得的國產(chǎn)高分二號衛(wèi)星圖像，圖像場景覆蓋杭州市城區(qū)范圍。對于原始圖像，先進(jìn)行大氣校正得到光譜反射率值，接著使用最近鄰擴(kuò)散泛銳化算法進(jìn)行波段融合，得到0.8 m空間分辨率的多光譜影像。

模型訓(xùn)練階段，使用LabelMe[16]軟件對完成預(yù)處理影像中城中村數(shù)量較多的區(qū)域進(jìn)行標(biāo)注，總共勾繪了9 853棟城中村建筑物矢量多邊形。最后以608像素×608像素大小的滑動窗口對各個區(qū)域的影像進(jìn)行裁剪，并進(jìn)行隨機(jī)縮放、旋轉(zhuǎn)、亮度處理的數(shù)據(jù)增強(qiáng)操作，得到5 394幅用于訓(xùn)練的影像。

在模型測試階段，為了對不同具體配置下的算法檢測效果進(jìn)行合理評估，并驗(yàn)證本文所設(shè)計(jì)的網(wǎng)絡(luò)的泛化能力，從城區(qū)影像中的下城區(qū)、拱墅區(qū)和江干區(qū)各選取一個局部區(qū)域作為測試樣本，選取原則是該區(qū)域沒有參與訓(xùn)練，分別記為測試集A、B、C。其中，測試集A位于城區(qū)中心城中村建筑物成片混雜于其他城市建筑的間隙，呈密集排布；測試集B位于城區(qū)邊緣，城中村建筑物與裸地、工業(yè)廠房等相傍出現(xiàn)，地物分明；測試集C的某些區(qū)域有薄云遮擋，不少地方建筑物陰影較多，對目標(biāo)提取造成一些干擾。每個測試區(qū)域大小均為1 500 m×1 500 m，總共裁剪得到2 345幅用于測試的影像。本文制作的城中村建筑物實(shí)例分割遙感數(shù)據(jù)集如圖5所示。

圖5 實(shí)驗(yàn)數(shù)據(jù)集示例

2.2 實(shí)驗(yàn)條件與基礎(chǔ)設(shè)置

PolarMask-UV模型采用五折交叉驗(yàn)證法進(jìn)行訓(xùn)練，初始學(xué)習(xí)率為0.001，每個訓(xùn)練批大小設(shè)置為8，總共進(jìn)行了160個周期的多尺度訓(xùn)練。所有卷積神經(jīng)網(wǎng)絡(luò)模型均基于Pytorch框架實(shí)現(xiàn)，開發(fā)語言為Python3.6，數(shù)據(jù)讀取軟件包為OpenCV2.4，GPU為Tesla K40c。

2.3 精度評價(jià)指標(biāo)

實(shí)例分割算法的精度評定指標(biāo)采用掩膜平均精度(average precision，AP)。給定一個召回率序列r∈{0，0.01，…，1}，以及對應(yīng)的查準(zhǔn)率p(r)，某IoU閾值下的平均精度計(jì)算如式(5)所示。

(8)

綜合考量多個IoU閾值{0.5，0.6，0.7，0.8}，平均精度的最終計(jì)算如式(9)所示。

(9)

2.4 極軸數(shù)量評估

表1探討了PolarMask-UV中的極軸數(shù)量對模型性能的影響。觀察模型在測試集A、B、C上的評估結(jié)果，可以看到，使用24根射線的模型相比使用12根射線的模型AP提升了2.7%左右，在更嚴(yán)格的精度指標(biāo)AP80下提升則超過了3%，說明更多的射線即更精細(xì)的建模確實(shí)可以獲得更好的精度。然而，設(shè)置太多的射線比如30根時(shí)，模型的性能趨于飽和，因?yàn)榇藭r(shí)射線的數(shù)量已經(jīng)可以很好地?cái)M合城中村建筑物的輪廓，不再是限制模型性能的因素。另外，測試集B由于地物較為分明而取得了最高的平均精度，測試集A次之，而測試集C因存在薄云遮擋造成的模糊現(xiàn)象使得算法在其上的平均精度AP稍差于測試集A和B，但使用24根射線的模型都在三個測試集中取得了超過89%AP的最佳平均精度。這說明，無論是城區(qū)中與其他城市建筑物混雜的密集城中村建筑物，還是城區(qū)邊緣較易區(qū)分的城中村建筑物，采用24根極軸的PolarMask-UV都可以實(shí)現(xiàn)這些目標(biāo)矢量多邊形最準(zhǔn)確的建模和提取，并且在干擾較多的情況下同樣具有較好的檢測效果。故采用24根射線作為PolarMask-UV算法的極軸建模參數(shù)。

表1 不同極軸數(shù)量下各個測試集的模型精度

2.5 網(wǎng)絡(luò)結(jié)構(gòu)評估

表2展示了使用不同的網(wǎng)絡(luò)結(jié)構(gòu)配置的各個測試集模型精度，圖6是使用四層FPN與三層FPN模型的提取結(jié)果對比示例。

表2 不同網(wǎng)絡(luò)結(jié)構(gòu)配置下各個測試集的模型精度

觀察表2，在測試集A、B、C上，四層FPN網(wǎng)絡(luò)相比原來可以取得1.8%AP左右的精度提升，并且在嚴(yán)格的精度指標(biāo)AP80下保持了最高的精度；圖6中，四層FPN網(wǎng)絡(luò)可以更加完整精細(xì)地恢復(fù)小尺寸密集城中村建筑物的邊界輪廓。這應(yīng)該得益于加入的淺層特征圖使得網(wǎng)絡(luò)學(xué)到了更豐富的低層特征，提升了網(wǎng)絡(luò)對小尺寸的密集城中村建筑物的提取能力。此外，采用ResNet-18加四層FPN的PolarMask-UV算法在測試集A、B、C上均取得了最佳平均精度，說明該算法可同時(shí)適用于城區(qū)及城區(qū)邊緣的城中村建筑物矢量多邊形精準(zhǔn)提取，且對于薄云遮擋、陰影等干擾具有不錯的魯棒性。另一方面，使用更深的特征提取網(wǎng)絡(luò)并沒有帶來明顯的精度提升，甚至當(dāng)網(wǎng)絡(luò)層數(shù)達(dá)到50層時(shí)精度反而有些許下降。所以，基于模型精度和輕量化的考慮，將ResNet-18加四層FPN作為最佳網(wǎng)絡(luò)結(jié)構(gòu)配置。

圖6 三層FPN和四層FPN的提取結(jié)果對比

2.6 分類損失函數(shù)評估

表3和圖7分別展示了分類分支采用不同損失函數(shù)的各個測試集模型精度和可視化提取結(jié)果。

在圖7中，使用由二分交叉熵?fù)p失訓(xùn)練的模型進(jìn)行檢測，對混雜于其他城市建筑物中的城中村建筑物容易漏檢，對外觀與城中村建筑物相似的其他城市建筑物則容易錯檢，而焦點(diǎn)損失可以很好地解決上述問題。觀察表3，在測試集A、B、C上，使用焦點(diǎn)損失后可取得1.7%左右的精度提升，這說明使用焦點(diǎn)損失確實(shí)可以緩解正負(fù)類別不平衡的問題，讓模型選擇性地學(xué)習(xí)城中村建筑物類別的有用特征。此外，采用焦點(diǎn)損失的PolarMask-UV算法在測試集A、B、C上均取得了最佳平均精度，說明該算法可在各種城區(qū)場景中準(zhǔn)確識別城中村建筑物與非城中村建筑物，有效減少錯檢漏檢，具有較強(qiáng)的泛化能力。

表3 采用不同分類損失函數(shù)的各個測試集模型精度

圖7 采用二分交叉熵和焦點(diǎn)損失的提取結(jié)果對比

2.7 與其他算法的比較

本節(jié)將PolarMask-UV同基于像素建模的單階段模型SOLO[17]以及兩階段模型MaskR-CNN在測試集上的性能進(jìn)行比較，實(shí)驗(yàn)結(jié)果取各個模型在測試集A、B、C上檢測結(jié)果的平均值。不同算法訓(xùn)練過程的驗(yàn)證精度曲線、最終測試精度和部分提取可視化結(jié)果分別詳見圖8、表4和圖9。

圖8 各模型訓(xùn)練過程中的驗(yàn)證精度曲線

由圖8可以得到，在收斂速度方面，PolarMask-UV明顯快于像素建模模型，其在訓(xùn)練了32周期左右后驗(yàn)證精度AP50即可達(dá)到85%，而SOLO和MaskR-CNN則分別于第56周期和第85周期后才達(dá)到相等的數(shù)值；觀察表1和表4，在測試精度方面，采用12根極軸的PolarMask-UV可以取得和像素建模模型相似甚至更優(yōu)的結(jié)果，極軸數(shù)量達(dá)到24根時(shí)相比MaskR-CNN則超越了4.6%AP；觀察圖9中SOLO、MaskR-CNN與本文模型的提取結(jié)果，可見示例1和示例3中SOLO算法產(chǎn)生了一些散布在目標(biāo)外的像素偽影和粘連現(xiàn)象，示例2和示例4中MaskR-CNN算法則容易錯誤地檢測出一些無關(guān)建筑物，而PolarMask-UV在正確提取的基礎(chǔ)上保持了平滑且精確的目標(biāo)輪廓，避免了各目標(biāo)間的粘連。這是由于卷積網(wǎng)絡(luò)的下采樣操作會導(dǎo)致信息丟失，其中很多低層位置信息基于像素建模方法其實(shí)也難以恢復(fù)，而極軸分割的方式回避了繁重的逐像素預(yù)測問題，使用實(shí)例中心點(diǎn)分類和密集距離回歸進(jìn)行替代，以降低學(xué)習(xí)難度的方式在本研究中取得了性能提升。這表明PolarMask-UV模型采用的極軸分割能夠很好地模擬城中村建筑物的形狀掩膜，不必?fù)?dān)心極軸建模方式會限制其在本文任務(wù)中的性能。

圖9 各模型的城中村建筑物實(shí)例掩膜提取結(jié)果

PolarMask-UV在測試集部分區(qū)域上的城中村建筑物矢量輪廓繪制結(jié)果如圖10所示。從圖中可見，雖然真實(shí)標(biāo)簽注釋存在少數(shù)遺漏和勾繪不準(zhǔn)確的問題，但是PolarMask-UV仍將大部分城中村建筑物的多邊形邊界精確地提取出來，展現(xiàn)出良好的整體視覺感知效果，表明算法具有較好的魯棒性。

圖10 測試集區(qū)域的城中村建筑物矢量邊界提取結(jié)果

3 結(jié)束語

城市環(huán)境中城中村建筑物的高密度、復(fù)雜的背景環(huán)境和形狀的多樣性給城中村建筑物的自動提取帶來了很大的挑戰(zhàn)。為了直接獲得城中村建筑物的位置、形狀以及數(shù)量信息以服務(wù)于城中村改造業(yè)務(wù)的開展，本文基于深度學(xué)習(xí)實(shí)例分割算法，探討了如何實(shí)現(xiàn)高分辨率遙感影像中的城中村建筑物矢量多邊形準(zhǔn)確提取。首先，使用杭州市2017年的高分二號遙感影像數(shù)據(jù)，制作了城中村建筑物高分辨率遙感數(shù)據(jù)集；接著，從優(yōu)化小尺寸密集目標(biāo)檢測效果、保持模型輕量化以及正樣本學(xué)習(xí)能力等方面入手對已有模型進(jìn)行改進(jìn)，設(shè)計(jì)了一個基于極軸建模的實(shí)例分割模型PolarMask-UV，將繁重的逐像素密集預(yù)測問題簡化為實(shí)例中心點(diǎn)分類和稀疏距離回歸問題，實(shí)現(xiàn)對遙感圖像中城中村建筑物的端到端矢量多邊形提取；最后，對算法進(jìn)行了精度評估。結(jié)果表明，當(dāng)極軸數(shù)量設(shè)置為24、網(wǎng)絡(luò)結(jié)構(gòu)采用ResNet-18和四層FPN的配置且分類分支的訓(xùn)練采用焦點(diǎn)損失時(shí)，算法可在維持輕量化的同時(shí)有效地減少錯檢漏檢的情況，并且完整精細(xì)地恢復(fù)小尺寸目標(biāo)的邊界輪廓，可同時(shí)適用于城區(qū)及城區(qū)邊緣的城中村建筑物矢量多邊形精準(zhǔn)提取，具有良好的泛化性能；相比其他逐像素建模的方法具有處理簡潔、分類準(zhǔn)確且定位精準(zhǔn)的優(yōu)點(diǎn)，可直接獲得城中村建筑物的矢量多邊形，平均精度接近90%。本文研究成果可為城中村的規(guī)劃管理業(yè)務(wù)提供詳盡的建筑物位置、形狀及數(shù)量信息，具有一定應(yīng)用價(jià)值。