一種高分辨率衛星圖像道路提取方法

晏美娟, 魏 敏, 文 武

(成都信息工程大學計算機學院,四川 成都 610225)

0 引言

在處理廣泛的計算機視覺問題時,卷積神經網絡都可以作為有用的模型[1]。高分辨率的衛星圖像為線性特征的提取提供了新的可能性,道路就是一個例子[2]。作為遙感領域的一個基礎任務,近年來,道路提取已經成了一個研究的熱門話題,盡管得到了廣泛研究,但由于道路結構的特殊性,從高分辨率的衛星圖像中精確提取道路特征仍然是一個具有挑戰性的任務[3]。在衛星圖像中,道路通常是細長的復雜結構,在整張圖片中占比很小,因此保存好詳細的空間特征是意義重大的。

在計算機視覺領域中,對圖像中的感興趣區域進行有效分割,即對圖像中的每一個像素點進行精確的類別劃分,是一個具有挑戰性的研究任務,而針對衛星圖像的分割難度更大。對高分辨率的衛星圖像進行分析已經成為當下的一個研究熱點,而從衛星圖像中提取道路具有重要的研究價值,可以應用于城市規劃、路線圖更新、車輛導航、地理信息更新等領域。最直接的提取方法就是人工分割,但這種方法費時費力。現在,很多計算機視覺相關的研究任務都在嘗試利用深度學習技術來對傳統方法進行改進[4]。

1 研究現狀

通過一代代航天科技工作者的不懈努力,衛星發射技術飛速發展,衛星上安裝的設備也越來越先進,將道路特征提取的深度學習方法運用于高分辨率的衛星圖像中越來越具有高效性和經濟性[5]。在衛星圖像道路提取領域,研究者提出了各種方法,主要可以歸結為3類:(1)像素級的分割方法[6-8];(2)道路中心線提取[9-10];(3)前兩類方法的結合[11-12]。

Volodymyr Mnih等[13]將限制玻爾茲曼機用于分割高分辨率的航空圖像中的道路區域,通過使用無監督學習方法及利用輸出標簽的局部空間一致性來初始化特征檢測器,引入后處理程序用于顯著提升神經網絡的預測結果,但模型不能處理大型建筑造成的陰影和遮擋。Tao Sun等[14]連接兩個U-Net,實現多輸出,第一個U-Net輸出輔助信息,如道路拓撲圖,第二個U-Net產生道路掩碼,另外使用了后處理方法,包含路線圖向量化和具有層次閾值的最短路徑搜索,可以連接損壞的道路區域,但最大的問題就是鄉村地區的預測效果不佳。

本文使用PaddlePaddle深度學習框架進行實驗,基于U-Net網絡結構對道路提取的方法進行研究,使用VGG13作為編碼器,并對解碼器結構做相應的改進。將dice_loss和 bce_loss作為損失函數。將道路提取任務視為一個二分類的圖像分割任務,從而生成像素級的道路預測結果圖,對于鄉村地區比較狹窄的泥路也有較好的識別性,對陰影區域的道路及被樹木、房屋遮擋的道路進行提取時,本文方法也具有魯棒性。

2 研究方法

受自編碼器的啟發,現有的很多語義分割技術都使用編碼器-解碼器結構作為其網絡架構的核心[15]。道路識別任務就是一種語義分割任務,研究者基于此方向進行了大量的實驗。Oleksandr Filin等[16]認為編碼器-解碼器結構的神經網絡更可取,其中最具代表性的是U-Net和SegNet。更深的網絡層通常包含高級別的特征,淺層則攜帶更多細節和位置信息。U-Net可以使用非常少的圖片進行端到端的訓練[17],利用跳躍連接將低層特征和高層特征相融合,使解碼器可以利用淺層網絡層的信息,實現精確的像素級別的定位功能,同時,也有利于訓練的收斂,因為梯度可以直接向網絡淺層傳遞。

經典U-Net模型結構簡單,且具有良好的分割效果,故本文基于U-Net網絡結構進行改進,編碼器部分使用VGG13作為骨干網絡,使網絡對道路特征進行提取的能力有所提高。用卷積層代替全連接層,將卷積神經網絡視為一個強有力的特征提取器,使網絡輸出空間特征圖,而不是輸出分類得分。編碼器部分兩次卷積操作和一次最大池化操作交替進行,第一次卷積操作之后增大特征圖的通道數,池化操作之后特征圖的尺寸減小,去除冗余信息,實現對特征的壓縮。在解碼器部分,上采樣操作之后進行兩次卷積操作。將上采樣之后的特征與編碼器部分高分辨率的特征通過跳躍連接相結合,以實現精確的定位功能。解碼器部分上采樣方式為雙線性插值,目的是逐步增大特征圖的分辨率,使其最后與原圖大小一致。

如圖1所示,使用不包含全連接層的VGG13網絡作為本文網絡結構的編碼器部分的骨干網絡,一條矩形塊代表著一個特征圖,特征圖的尺寸與矩形塊的寬度相關,該特征圖擁有多通道數,矩形塊的高度則與通道數相關,數字為具體的通道數信息。與編碼器部分相反,解碼器部分特征圖的通道數逐漸減小。網絡中間部分的箭頭代表從指定編碼層連接到相應解碼層的信息傳輸。在卷積操作之后、激活函數之前使用batch normalization(BN)。

圖1 本文網絡結構

以一個通道數為512的特征圖作為網絡的中間部分,從視覺上有效分隔網絡的編碼器部分和解碼器部分。上采樣操作之后特征圖的通道數維持不變,且上采樣之后的特征圖將與對應編碼器部分的特征圖相融合。與池化操作對應,網絡包含5次上采樣操作,使輸出的提取結果圖尺寸和輸入圖像的尺寸一致。

Karen Simonyan等[18]將3×3的卷積核貫穿整個網絡,使VGG系列網絡需要的參數量更少。簡單來說,采用兩層3×3的卷積核可以使特征圖的感受野大小為5,而比直接采用5×5的卷積核需要的參數量更少。VGG13網絡包含10層3×3的卷積核,外加3層全連接層,每兩個卷積層之后進行一次最大池化操作,此操作之后特征圖的寬度和高度都會減半,而通道數則會成倍增加,即由64增至128,再增至256,最后增加至512,并維持不變。

本文使用dice coefficient loss(dice_loss)和binary cross entropy loss(bce_loss)作為損失函數。在二分類圖像分割任務中,經常出現類別分布不均的情況,即此類分割任務一般背景所占的比例遠大于前景所占的比例,而dice_loss通過預測像素和標注像素的交集除以它們的總體像素進行計算,將一個類別的全部像素作為一個整體進行考量,因而不受大量背景像素的影響,如式(1)所示。在實際應用中,dice_loss通常與bce_loss組合使用,從而提高模型訓練的穩定性。

其中,GT表示輸入圖像的ground truth,P代表網絡輸出的預測結果。||表示矩陣元素之和。|GT∩P|表示GT和P共有的元素數目,在實際運算時,通過求兩者的逐像素乘積之和進行計算。

3 實驗與結果分析

3.1 評價指標

在圖像分割領域中,可以通過準確率(acc)、平均交并比(mean intersection over union,mIoU)和 Kappa系數這3個指標對模型質量進行評估。acc為類別(在本文中有道路類和背景類)預測正確的像素數目占圖像總體像素的比例。求mIoU時對每個類別單獨進行推理計算,如式(2)所示,然后取所有類別結果的平均值,可以比較準確地反映模型總體的預測性能。

其中,P表示類別的預測區域,GT表示類別的實際區域。

在實踐中通常表示為

其中,TP即true positive,FP即false positive,FN即false negative。

Kappa系數基于混淆矩陣進行運算,如式(4)所示,其取值在-1～1,通常情況下大于0。

其中Pc代表分類器的準確率,Pr代表隨機分類器的準確率。Kappa系數的值越高意味著模型的質量越好。

3.2 實驗設計

實驗使用了6226張3通道的衛星圖像,即圖像格式為RGB,這些圖像來自DeepGlobe道路提取數據集,每張圖片為1024×1024像素,地面分辨率為每像素對應50 cm×50 cm[19],每張圖像對應著一張黑白的標注圖,黑色代表背景,白色代表道路。本文將衛星圖像和其相應的標注圖像按比例進行子集的劃分,使訓練集包含4360張衛星圖像,驗證集和測試集各包含933張衛星圖像。為防止訓練數據過擬合[20],本文采用鏡像的數據增強方式來適當增加訓練集的大小。訓練時將輸入圖像大小設置為512×512像素,驗證時亦然。

實驗電腦的CPU為AMD Ryzen 5 3600X 6-Core Processor;內存為16.0 GB;GPU為NVIDIA GeForce RTX 2070 SUPER,包含8.0 GB專用GPU內存。采用Adam[21]優化器,設置初始學習率的值為0.001。實驗采用Jupyter Notebook集成開發環境,選擇PaddlePaddle深度學習框架。由于在此框架中255為忽略的像素標簽值,故對原始標注圖進行預處理,使背景的像素值為0,前景的像素值為1,此時道路顯示為紅色,背景為黑色。

使用不同的BATCH_SIZE對本文網絡進行訓練,結果如表1所示。

表1 不同BATCH_SIZE下本文方法的評價指標對比

在道路提取任務中,分類類別僅有兩類,即道路類和非道路類,故在文中使用道路類的IoU作為模型的評價指標,根據表1的實驗結果,在對網絡進行訓練時,將一次選取的樣本數(BATCH_SIZE)設置為4。

3.3 結果與分析

如圖2所示,第一列為輸入網絡的衛星圖像,第二列為經過處理的相應的標注圖,第三列為使用本文網絡提取的道路結果圖,第四列為使用U-Net模型提取的道路結果圖,最后一列為使用DeepLabv3+模型提取的道路結果圖,網絡輸出的預測結果圖尺寸和輸入圖像的尺寸一致。

可以看出,經過100輪的訓練之后,3種模型的預測質量有所區別,使用本文方法進行道路提取,能夠有效提升道路分割結果的精確度和完整度。針對鄉村地區,如第一行圖像所示,本文方法可以有效提取樹木遮擋的道路區域,對于比較狹窄的泥路也有較好的識別性;在道路網絡復雜的城鎮區域,如第二行白色方框選中的區域所示,對樹木、房屋遮擋的道路進行提取時,本文方法也具有魯棒性。在有大型建筑、高大樹木的區域,如第三行白色方框選中的區域所示,對于建筑、樹木造成的陰影區域的道路也可以進行有效的提取。

如表2所示,本文道路提取方法與另外兩種方法相比,具有顯著的優勢。使用本文方法進行道路提取時,IoU值比使用U-Net模型提升了0.0212,相比使用DeepLabv3+模型提升了0.0644;Kappa值比使用UNet模型提升了0.0162,相比使用DeepLabv3+模型提升了0.0530;acc值和使用U-Net模型時相同,相比使用DeepLabv3+模型提升了0.0037。實驗證明,本文方法可以有效提高道路提取的質量,且網絡的訓練耗時大大減少,使用 U-Net方法進行訓練時,耗時14h 28m,而本文網絡訓練僅耗時8h 16m。

4 結束語

本文使用具有跳躍連接的編碼器-解碼器結構對衛星圖像中的道路進行自動提取,編碼器部分將無全連接層的VGG13作為骨干網絡,并對解碼器部分進行設計。網絡使用dice_loss和bce_loss作為損失函數。未來可嘗試使用其他骨干網絡,進一步提高道路提取的精度、IoU和速度。Volodymyr Mnih等證明無監督預訓練方法和監督后處理方法可以在很大程度上提升道路檢測器的性能,未來也可以對相關方法進行研究。針對樹木遮擋導致的特征信息缺失問題,將道路的幾何特征信息作為補充以確保道路提取的完整性也是未來的一個發展趨勢[22]。在未來的研究中,也可以在道路區域提取的基礎上增加對道路中心線的提取。