結合PU學習的遙感影像建筑物自動提取方法

王理根,張永忠,3

(1.蘭州交通大學 測繪與地理信息學院,蘭州 730070;2.蘭州市勘察測繪研究院,蘭州 730070;3.甘肅大禹九州空間信息科技有限公司 院士專家工作站,蘭州 730070)

0 引言

近年來,衛星和無人機遙感技術發展迅猛,海量的遙感影像資源堆積在人們面前,但需要通過遙感影像去獲取特定信息的時候,往往由于缺少專業知識或人工工作量過大,使得遙感資源包含的信息無法被充分利用。建筑物是人類活動的重要載體,其分布能夠反映城市發展狀況,建筑物信息可以廣泛應用于城市規劃、區域變化檢測、城市人口估計等眾多領域[1],因此建筑物自動提取成為了遙感影像應用研究的熱點方向。

遙感影像建筑物的自動提取往往需要結合多個領域的知識,是計算機視覺、人工智能和遙感信息處理與分析等領域的重要研究內容[2]。基于建筑物典型的形狀、光譜等特征的檢測方法較早被研究,如Wang等[3]利用直線和角點提取建筑物輪廓,這種方法在建筑物輪廓較為規則的情況下能夠獲得比較好的提取效果,但其難以適應復雜形狀的建筑物;Sun等[4]利用多種規則形狀相似性指數提取建筑物,該方法能夠處理多種形狀的建筑物,但其正確工作的前提是圖像分割不存在欠分割和過分割。這些方法在建筑物典型特征易于提取時表現良好,但實際遙感影像中的建筑物形態復雜,典型特征可能被破壞,導致方法提取精度下降。相較之下,機器學習的方法對各種環境和數據適應性更強,Dilek等[5]基于已有建筑物數據庫,利用SVM分類器提取建筑物;Li等[6]利用條件隨機場模型獲取建筑物初始檢測,隨后融合顯著性線索最終提取出建筑物;張仕山等[7]利用模糊集方法,為多種建筑物特征定義概率分布函數,并使用DS(dempster shafer)證據理論綜合多特征,得到建筑物檢測結果;何直蒙等[8]利用改進的U-Net卷積神經網絡來提取建筑物。但這些機器學習模型的訓練依賴大量標注數據,而目前標注數據的獲取仍主要依靠目視解譯。降低模型對標注數據的需求就意味著節省大量人工勞動,許多研究在此方向做出了努力:Wang等[9]通過陰影和形狀約束檢測到部分建筑物區域后,將陰影、樹木和低矩形擬合值的區域作為負樣本,與檢測出的建筑物區域一起訓練監督分類器,但為保證建筑物不會被過分割,其圖像的分割過程需要人工修正;Gao等[10]通過陰影、植被、建筑物和裸地樣本訓練SVM分類器,并實現了陰影、植被和建筑物樣本的自動提取,但成分復雜的裸地樣本仍然需要依靠人工提取。

如何減少建筑物提取過程的人工工作是本文研究的重點。針對建筑物樣本獲取的問題,本文提出了一種結合陰影與建筑物空間關系的正樣本自動提取模型,通過直線特征和與陰影方位關系的雙重限制,自動獲取到高精度的正樣本。在建筑物提取任務中負樣本包含的地物種類過多,難以自動獲取[11],所以本文采用了基于PU學習[12](positive-unlabeled learning)的Bagging-PU分類器[13],這種分類器只需要正樣本和未標記樣本就能完成分類任務,免去了負樣本提取的工作。最后,根據建筑物的形態,本文提出了一種基于鄰域統計的二值化方法,從分類器輸出的概率標簽中獲取建筑物區域。

1 研究方法

本文采用了面向地理對象圖像分析(geospatial object-based image analysis,GOBIA)方法。GOBIA方法主要研究如何分割遙感影像并產生有意義的地理影像對象,然后基于分割結果對影像進行分析,是遙感與地理信息科學重要的研究領域[14]。相較于基于像素的分析方法,GOBIA方法能夠減少分析單元的數量,更貼近人視覺認知模式,能夠在一定程度上克服“語義鴻溝”。由于GOBIA方法分析基本單元為分割對象,分割對象的特征是由分割對象內部像素共同決定的,少量噪聲像素對整體特征影響不大,所以GOBIA方法具有一定的抵抗噪聲的能力[15]。本文提出的方法首先對遙感影像進行分割,然后利用陰影與建筑物的空間關系提取出部分建筑物區域,結合分割結果生成面向對象的正樣本,隨后利用提取出的樣本訓練Bagging-PU分類器,獲取分割對象的概率標簽,然后經過二值化處理得到最終建筑物提取結果。方法流程如圖1所示。

圖1 建筑物自動提取流程圖

1.1 圖像分割

GOBIA方法首先需要對圖像進行分割,圖像分割質量會很大程度上影響最終的分類結果[16]。圖像分割難以同時避免過、欠分割錯誤,欠分割會使分割出的對象包含多種地物,使得該對象無法被歸類,而過分割會使得地物的局部特征被分離出來,使分割對象的分布更加復雜。對比分割方法中存在的過和欠的問題,本文選取分割方法時,采用了“寧過不欠”原則。本文采用簡單線性迭代聚類分割算法(simple linear iterative clustering,SLIC)[17],在實驗了多種分割參數后確定分割區塊尺度參數為20像素,緊致度參數m為20,此時分割結果的邊緣擬合度較好,且能夠保證建筑物不會與其他地物混淆。

1.2 建筑物樣本自動提取

大部分建筑物擁有規則的輪廓特征,邊界多數由直線段構成。建筑物有一定高度,在陽光下投射出的陰影也是建筑物存在的明顯證據[18-19]。根據建筑物的這些特征,本文提出了一種基于方向自適應陰影景觀的建筑物樣本提取方法。

1)陰影檢測。首先將多波段圖像轉換為亮度圖,根據閾值對亮度圖進行二值化提取陰影,然后通過形態學開閉操作排除噪聲,使陰影形態更完整。為進一步排除其他低矮地物產生的陰影,設置建筑物陰影最短閾值L,排除在光照方向寬度小于L的陰影。本文根據實際情況,選取了閾值L為5 m。

2)建筑物與陰影邊界檢測。首先,采用LSD(line segment detector)[20]算法提取陰影邊界的直線段,剔除長度過短的,剩余的為備選線段。如圖2所示,根據與陰影的方位關系,備選線段可以分為3種:線段方向與光照方向一致的為陰影側邊(圖2中的藍色直線段)、背向光源的一側的邊界是陰影的末端(圖2中的黃色直線段)、朝向光源的一側的邊界才是尋找的建筑物與陰影的邊界(圖2中的紅色直線段)。

圖2 建筑物與陰影的邊界

3)方向自適應陰影景觀法。為了獲取建筑物區域,對ALI[21]采用的陰影景觀方法(shadow landscapes method) 進行改進,提出了一種自適應方向陰影景觀法(shadow landscapes method with adaptive direction)。自適應方向陰影景觀法對每一個建筑物邊界線段,構建垂直于此邊界線段且面向光照的方向的線性結構元素,根據建筑物實際尺寸和樣本提取的實際需求,線性結構元素的尺寸設為4 m。用此線性結構元素對線段做形態學膨脹操作,最后綜合所有線段的膨脹結果得到方向自適應陰影景觀,如圖3藍色區域所示。

圖3 自適應方向陰影景觀法提取結果

4)面向對象的建筑物樣本提取。自適應陰影景觀法提取的結果是基于像素的,為了將其轉換為基于對象的樣本,統計每個分割對象內像素總數Ni和陰影景觀像素數ni,按照比例ri=ni/Ni為分割對象分配標簽labeli,計算如式(1)所示。

(1)

式中:標簽為1代表建筑物樣本;標簽為0代表未標記樣本。

1.3 基于Bagging-PU分類器的建筑物提取

1) 樣本及特征提取。建筑物擁有區別于其他地物的光譜特征、紋理特征、高度特征。選擇以下幾種特征:計算分割對象各波段像素值的均值和方差作為光譜特征;生成具有旋轉不變性和灰度不變性的LBP紋理(local binary pattern)圖、與人類的視覺系統類似的gaber紋理圖,統計分割對象的兩種紋理直方圖作為紋理特征;采用分割對象的歸一化數字表面模型(normalized digital surface model,nDSM)的均值和方差作為高度特征。其中nDSM由DSM(digital surface model)數據自動生成,其獲取過程為:將原始DSM數據劃分為45 m×45 m的方格,選取區塊內DSM統計值的0.1分位數作為區塊中心的DEM高程值,然后再對DEM重采樣使其與DSM分辨率保持一致(圖4(b)),最后用DSM減去DEM便可得到歸一化DSM(圖4(c))。

圖4 nDSM數據處理

2)Bagging-PU分類器及樣本訓練。傳統分類器需要充足的正樣本和負樣本進行訓練,但是建筑物提取任務中負樣本包含的地物種類過多,難以自動獲取,在無法獲取負樣本的情況下使用PU-learning是更優的選擇[22],其能夠利用大量易于獲取的無標記樣本進行學習,相較于僅使用正樣本的單分類(one-class classification)方法,PU-learning方法效果往往更優。本文采用了Bagging-PU分類器,這種分類器采用了偽標簽方法,使得普通的二分類器也可用于PU-learning過程,但使用錯誤的標簽訓練會帶來學習偏差,所以這里引入了Bagging機制,通過隨機采樣使標簽誤差隨機化,最后對多個子分類器得到的結果求平均,從而減弱了不準確標簽帶來的誤差。

1.4 基于鄰域統計的二值化處理

本文采用的機器學習模型輸出是多個子分類器輸出的均值,需要進行二值化處理。考慮到建筑物的形態特征,本文提出了一種基于鄰域統計的二值化方法,先由分割對象生成鄰接圖,高于閾值T1的頂點值置為1,低于閾值T2的頂點值置為0,介于T1與T2之間的作為待判斷頂點,當待判斷頂點的鄰接頂點中為1的頂點數量大于為0的頂點數量時該頂點值置為1,否則值置為0。當閾值T1、T2分別設為0.2和0.5時二值化效果如圖5(c)所示。

圖5 基于鄰域統計的二值化

2 實驗與分析

2.1 實驗數據

采用國際攝影測量和遙感學會2D語義標注大賽提供的ISPRS Vaihingen 語義標記數據集,此數據集包含33張0.09 m分辨率的正射遙感影像,包含3個波段(NIR、R、G),并提供了相應的DSM數據和包括建筑物在內的地物覆蓋圖。

2.2 建筑物提取實驗

從數據集的33張影像上提取出7 981個建筑物樣本以及391 282個無標簽樣本,以此訓練Bagging-PU分類器。實驗中,Bagging-PU分類器抽樣次數T為100,每次未標記樣本抽樣數量K=0.5×|P|,其中 |P| 為正樣本數量。子分類器選擇決策樹分類器。采用信息熵為分枝標準,樹最大深度為30。實驗結果如圖6所示。

圖6 建筑物提取各步驟結果

圖6顯示了建筑物提取不同步驟的結果。從圖6(b)結果看到,自動提取的建筑物樣本其基于像素統計的精確率高達0.975,說明本文提出的自適應方向的陰影景觀方法可以提取出良好的建筑物樣本,這為Bagging-PU分類器的訓練提供了數據基礎。最終建筑物提取結果精確率和召回率分別能夠達到 0.850 和 0.886,表明該分類器可以應用于建筑物檢測任務。

表1列出了部分圖像基于像素的評價。可以看出本文方法在不同圖像上表現較為穩定,33張影像總體F1分數和IoU達到0.864和0.761,總體精度達到了0.928。

表1 建筑物提取結果評價

綜合目視結果和各評價指標來看,本文提出的建筑物提取方法對復雜環境有一定的適應能力,在圖6中可以看出許多建筑物在樣本提取階段由于自身形狀不規則或者陰影形態不完整并未被檢出,但在PU Learning提取階段仍然能被識別出來,獲得了較好的召回率。因為PU Learning分類器的輸入并不包含陰影或形狀特征,所以本文方法在樣本提取階段設置的較為嚴苛的陰影和形狀條件并不會使最終結果出現明顯偏差。

2.3 對照實驗

為了進一步分析本文方法的合理性,設計了如下實驗。(1)將本文方法中基于對象的分析方法替換為基于像素的方法。(2)采用固定方向的陰影景觀方法提取建筑物樣本。(3)使用Tian等[23]提出的高度閾值方法提取建筑物樣本(使用歸一化植被指數制作植被掩膜,排除植被覆蓋區域,然后指定建筑物高度閾值,使用nDSM數據初步提取建筑物樣本),然后將提取出的樣本作為PU Bagging分類器的輸入。對照實驗結果如表2和表3所示。

由表3可知,面向地理對象的分析方法對比面向像素的方法F1分數和IoU指標分別提升了0.054和0.081,說明在本文場景中面向地理對象的分析方法優于面向像素的方法,面向像素的分析方法不僅處理的數據量大大增加,提取結果也易受噪聲像素干擾。由表2可以看出,本文方法提取的樣本在數量和質量上都高于固定方向陰影景觀方法,而最終的提取結果上看本文方法在F1分數和IoU兩項指標上也分別有0.018和0.027的提升。

由表2可以看出,高度閾值方法提取的樣本數量遠高于本文方法,但樣本質量卻并不高,樣本精確率較本文方法低了0.178,且由于采用高度閾值提取樣本在高度特征上存在明顯偏差,不符合PU Learning的隨機采樣假設,所以此時PU Learning分類器無法再采用高度特征作為輸入,從而影響了最終的建筑物提取結果。

3 結束語

為了減少建筑物檢測任務所需的人工工作量,本文提出了一種不需要樣本輸入的建筑物自動檢測方法。在ISPRS Vaihingen數據集上的實驗表明方法在復雜環境下獲得了較為準確的提取效果。本文建筑物提取方法對于陰影關系這種難以量化的特征采用了人工設計方法提取分析,而光譜、DSM等機器學習模型擅長處理的量化特征由分類器處理。根據數據的不同特性分別處理,能夠更好地利用遙感數據包含的豐富信息,提升數據自動化解譯效果。但本文方法也存在一些問題:檢測出的建筑物在邊緣仍然容易出現漏檢和錯檢,進一步提高檢測效果可以結合建筑物的邊緣和形狀特征優化檢測結果;對影像數據特征提取不夠深入,引入神經網絡技術提取影像更深層次的特征信息可能是未來改進的方向。