傳統(tǒng)村落航拍圖像中民族建筑識別的DeepLabV3+改進(jìn)算法

蔡 軍,溫日強(qiáng),江 偉,嚴(yán) 嬌,盧麗娟

(1. 賀州學(xué)院建筑與電氣工程學(xué)院,廣西 賀州 542899; 2. 貴州云圖瞰景地理信息技術(shù)有限公司,貴州 貴陽 550081)

2021年3月,自然資源部和國家文物局共同印發(fā)的《關(guān)于在國土空間規(guī)劃編制和實(shí)施中加強(qiáng)歷史文化遺產(chǎn)保護(hù)管理的指導(dǎo)意見》指出,將歷史文化遺產(chǎn)空間信息進(jìn)行統(tǒng)一管理和對歷史文化遺產(chǎn)進(jìn)行嚴(yán)格管控[1],因此有必要對我國歷史文化遺產(chǎn)進(jìn)行識別,并確定歷史文化遺產(chǎn)的保護(hù)區(qū)域。民族建筑作為我國優(yōu)秀的建筑歷史文化遺產(chǎn),承載著我國優(yōu)秀的民族建筑文化。現(xiàn)如今,民族建筑主要集中于線性文化沿線的傳統(tǒng)村落中,然而由于自然因素或人為因素,傳統(tǒng)村落的民族建筑數(shù)量也在逐漸銳減,甚至部分民族建筑面臨瀕危滅絕的風(fēng)險(xiǎn)[2],因此有必要在傳統(tǒng)村落識別民族建筑,從而確定傳統(tǒng)村落的民族建筑保護(hù)核心區(qū)域。我國現(xiàn)有6819個(gè)村落被列入中國傳統(tǒng)村落保護(hù)名錄[3-4],而傳統(tǒng)村落的民族建筑數(shù)量多、分布廣,從而導(dǎo)致實(shí)地考察確定傳統(tǒng)村落的民族建筑保護(hù)核心區(qū)域的工作量巨大,將深度學(xué)習(xí)技術(shù)應(yīng)用于傳統(tǒng)村落影像的民族建筑識別與分類中,可快速識別民族建筑目標(biāo)并有效確定傳統(tǒng)村落民族建筑保護(hù)核心區(qū)域。

深度學(xué)習(xí)在航拍影像中建筑識別與分類中的主要算法:U-Net、PSP-Net、DeepLabV3+、實(shí)例分割等。文獻(xiàn)[5]提出了結(jié)合U-Net神經(jīng)網(wǎng)絡(luò)和全連接CRFs模型的遙感影像建筑物提取方法,解決了傳統(tǒng)建筑物提取法的分割精度低、分割邊界模糊等實(shí)際難題。文獻(xiàn)[6]為解決遙感影像數(shù)據(jù)訓(xùn)練模型少的實(shí)際問題,提出了一種改進(jìn)的U-Net語義分割網(wǎng)絡(luò),實(shí)現(xiàn)了模型訓(xùn)練數(shù)據(jù)少但能高準(zhǔn)確率識別檢測線路走廊存在的隱患。在實(shí)例分割方面,文獻(xiàn)[7]提出了將語義分割模塊引入至實(shí)例分割網(wǎng)絡(luò)結(jié)構(gòu),形成了建筑實(shí)例分割精度更高的多任務(wù)學(xué)習(xí)的建筑提取算法。文獻(xiàn)[8—9]將NNDiffuse算法與DeepLabV3+網(wǎng)絡(luò)模型結(jié)合實(shí)現(xiàn)了高精度識別遙感影像中的建筑垃圾堆放點(diǎn)。深度學(xué)習(xí)算法根據(jù)遙感影像中建筑的光譜、紋理等特征,在遙感影像的建筑識別中取得了較好的成果。然而,深度學(xué)習(xí)在傳統(tǒng)村落中民族建筑的識別與分割方面的研究較少。

傳統(tǒng)村落中民族建筑識別的難度主要表現(xiàn)在民族建筑與鄰近道路的RGB較為接近;民族建筑與現(xiàn)代修繕的建筑屋頂紋理類似;民族建筑受樹木、新建建筑的遮擋,難以完整識別民族建筑輪廓;民族建筑因年久失修,破損嚴(yán)重,民族建筑識別難度大等方面,本文針對瀟賀古道線性文化沿線傳統(tǒng)村落民族建筑的特點(diǎn),利用無人機(jī)對傳統(tǒng)村落進(jìn)行高分辨率航拍影像數(shù)據(jù)采集,對DeepLabV3+語義分割網(wǎng)格進(jìn)行改進(jìn),實(shí)現(xiàn)傳統(tǒng)村落民族建筑的識別,并將識別結(jié)果與U-Net、PSP-Net、DeepLabV3+等算法進(jìn)行對比,分析改進(jìn)DeepLabV3+算法的可行性,以幫助傳統(tǒng)村落民族建筑規(guī)劃保護(hù)區(qū)。

1 研究區(qū)域概況與航拍圖像采集

區(qū)域位于瀟賀古道賀州段的傳統(tǒng)村落賀街鎮(zhèn)河西村,賀街鎮(zhèn)河西村收錄在第五批中國傳統(tǒng)村落名錄中。其建筑類型包括秦朝時(shí)期城墻、明清時(shí)期的嶺南民族建筑、民國時(shí)期的磚混結(jié)構(gòu)及具有民族建筑元素新建建筑,研究目的主要是識別明清時(shí)期嶺南民族建筑,但其具備的建筑屋頂色彩與道路色彩較為接近,屋頂紋理與新建筑屋頂相似等特點(diǎn)增加了傳統(tǒng)村落的民族建筑圖像識別與提取的難度。

為采集高分辨率的傳統(tǒng)村落影像數(shù)據(jù),利用四旋翼無人機(jī)大疆經(jīng)緯M300 RTK搭載高清相機(jī)對傳統(tǒng)村落采集區(qū)域進(jìn)行高空“S”形航拍圖像數(shù)據(jù)采集[10],飛行過程中航向重疊度為75%～85%,旁向重疊度為60%～75%;使用正射拼接軟件 Global Mapper對航拍圖像TIFF文件進(jìn)行拼接,并選擇輸出圖像數(shù)據(jù),圖像參數(shù)為24 bit RGB,傳統(tǒng)村落航拍拼接影像如圖1所示。

圖1 傳統(tǒng)村落航拍數(shù)據(jù)局部區(qū)域

2 深度學(xué)習(xí)的民族建筑識別評價(jià)

深度學(xué)習(xí)在各行業(yè)的應(yīng)用日益成熟,而其在傳統(tǒng)村落中對民族建筑識別的應(yīng)用方面較少,深度學(xué)習(xí)可在傳統(tǒng)村落眾多建筑物中快速識別出民族建筑,從而有效地確定傳統(tǒng)村落民族建筑保護(hù)有效區(qū)域。深度學(xué)習(xí)主要包括:對象分類、目標(biāo)檢測、像素分類及三維點(diǎn)云等類型,其中目標(biāo)檢測、像素分類在實(shí)際應(yīng)用中較為廣泛。目標(biāo)檢測和像素分類在傳統(tǒng)村落中民族建筑識別的主要流程包括:①傳統(tǒng)村落航拍圖像數(shù)據(jù)采集;②民族建筑特征提取,傳統(tǒng)村落的民族建筑的主要特征包括民族建筑屋頂顏色與紋理;③民族建筑樣本標(biāo)記,選取傳統(tǒng)村落民族建筑所在的典型區(qū)域,抽取部分民族建筑進(jìn)行樣本標(biāo)記,標(biāo)記樣本數(shù)量為210個(gè),未標(biāo)記550個(gè);④深度學(xué)習(xí)算法模型訓(xùn)練,利用Python軟件進(jìn)行深度學(xué)習(xí)算法的編輯;⑤深度學(xué)習(xí)算法評估,將精確率、召回率、調(diào)和均值(F值)等指標(biāo)作為深度學(xué)習(xí)的算法的評估指標(biāo);⑥傳統(tǒng)村落民族建筑預(yù)測與識別。

2.1 訓(xùn)練模型評估指標(biāo)對比評價(jià)

本文選取了深度學(xué)習(xí)算法中常用的U-Net、PSP-Net、DeepLabV3+算法對傳統(tǒng)村落航拍圖像中標(biāo)記民族建筑樣本進(jìn)行目標(biāo)識別和對比分析,對比分析過程中以精確率、召回率和F值作為評估指標(biāo)[11-12],3種深度學(xué)習(xí)算法的民族建筑識別結(jié)果評估指標(biāo)見表1。

表1 深度學(xué)習(xí)訓(xùn)練模型評估指標(biāo)對比

綜合對比3種深度學(xué)習(xí)算法的結(jié)果可知,在準(zhǔn)確率方面,DeepLabV3+算法在識別傳統(tǒng)村落民族建筑的精確率達(dá)到0.957,精確率與U-Net算法、PSP-Net算法相比,分別高于2.8%、1.4%;在召回率方面,3種算法的召回率計(jì)算結(jié)果在0.951～0.969之間,三者的計(jì)算結(jié)果差別較小;在精確率與召回率的調(diào)和均值(F值)方面,DeepLabV3+算法的F值在3種算法中最大達(dá)到0.963,U-Net算法與 PSP-Net算法的F值之間的差別較小,其值分別為0.948和0.947。綜合分析,在傳統(tǒng)村落民族建筑識別方面具有較大優(yōu)勢的算法為Deep-LabV3+算法。

2.2 圖像識別性能評價(jià)

從圖像識別結(jié)果方面,對比分析U-Net、PSP-Net、DeepLabV3+在傳統(tǒng)村落民族建筑識別結(jié)果方面的優(yōu)劣程度。選取傳統(tǒng)村落圖像中的典型區(qū)域作為識別結(jié)果的比較對象,傳統(tǒng)村落的民族建筑識別結(jié)果如圖2所示。

圖2 深度學(xué)習(xí)的民族建筑識別結(jié)果對比

對比圖2的3種算法可知,在傳統(tǒng)村落航拍圖像中民族建筑識別效果最好的算法為DeepLabV3+,其次為U-Net算法,PSP-Net算法的識別效果最差。U-Net算法與PSP-Net算法相對于DeepLabV3+而言,其差距主要表現(xiàn)在民族建筑分割后的邊緣部位呈鋸齒狀,以及U-Net算法與PSP-Net算法將與民族建筑的顏色與紋理較為接近的傳統(tǒng)村落道路或場地作為民族建筑進(jìn)行標(biāo)記,致使兩者識別結(jié)果相對于DeepLabV3+顯示出較多不規(guī)則的標(biāo)記區(qū)域。

為進(jìn)一步分析DeepLabV3+算法對傳統(tǒng)村落民族建筑的識別與分割效果,選擇傳統(tǒng)村落航拍圖像的6個(gè)典型區(qū)域進(jìn)行民族建筑識別測試工作,圖像區(qū)域的實(shí)際尺寸為100 m×100 m,各個(gè)測試區(qū)的測試結(jié)果如圖3所示。

圖3 DeepLabV3+的傳統(tǒng)村落民族建筑測試結(jié)果

由圖3中DeepLabV3+算法對傳統(tǒng)村落中民族建筑的測試結(jié)果可知,由于非民族建筑屋頂紋理與民族建筑屋頂較為接近,致使6個(gè)典型的測試區(qū)的非民族建筑屋頂均有少量不規(guī)則的區(qū)域被標(biāo)記為民族建筑;此外,道路的色彩與民族建筑相似,使得測試區(qū)1、測試區(qū)2和測試區(qū)5中的傳統(tǒng)村落道路少量散點(diǎn)區(qū)域被錯(cuò)誤地標(biāo)記為民族建筑圖像;民族建筑的建筑高度普遍較低,易受到傳統(tǒng)村落中古樹的影響,使得測試區(qū)2、5、6中的民族建筑邊緣呈現(xiàn)較大區(qū)域的凹陷。綜上所述,傳統(tǒng)村落因年代久遠(yuǎn)、環(huán)境復(fù)雜等原因?qū)е翫eepLabV3+算法在傳統(tǒng)村落民族建筑的識別結(jié)果存在一定的偏差,因此需要對DeepLabV3+算法進(jìn)行改進(jìn)后處理[13-15]。

2.3 DeepLabV3+的改進(jìn)方式

根據(jù)測試區(qū)DeepLabV3+算法的測試結(jié)果(如圖3所示),有必要對DeepLabV3+算法進(jìn)行改進(jìn)和后處理,其改進(jìn)和后處理的思路:①利用測試區(qū)小范圍和局部散點(diǎn)被標(biāo)記民族建筑區(qū)域的面積較小的特點(diǎn),對標(biāo)記的面積較小的民族建筑區(qū)域進(jìn)行過濾,解決測試區(qū)均有少量不規(guī)則的區(qū)域被標(biāo)記的問題;②利用邊界清理或眾數(shù)濾波的方式對標(biāo)記的民族建筑區(qū)域邊緣進(jìn)行平滑處理,以解決測試區(qū)標(biāo)記的民族建筑區(qū)域民族建筑邊緣呈現(xiàn)鋸齒狀的問題。

3 DeepLabV3+后處理測試效果

3.1 DeepLabV3+后處理的過濾處理

根據(jù)圖3中的DeepLabV3+在傳統(tǒng)村落民族建筑測試結(jié)果可知,非民族建筑標(biāo)記區(qū)域具有離散性、不規(guī)則性、面積較小等特性,依據(jù)其中面積較小的特點(diǎn),將圖3的測試結(jié)果導(dǎo)入ArcGIS Pro軟件進(jìn)行后處理。利用ArcGIS Pro軟件快速計(jì)算圖形面積,并按圖形面積大小排序后對標(biāo)記區(qū)域進(jìn)行過濾處理。根據(jù)傳統(tǒng)村落實(shí)地調(diào)研統(tǒng)計(jì)可知,最小的民族建筑面積為5 m2,因此在過濾非民族建筑區(qū)域時(shí),主要過濾標(biāo)記面積小于5 m2的區(qū)域,過濾處理結(jié)果如圖4所示。

圖4 傳統(tǒng)村落民族建筑標(biāo)記圖形過濾處理結(jié)果

由圖4可知,在保證原有民族建筑未被處理的條件和原有民族建筑保持原狀的基礎(chǔ)上,能最大限度地過濾傳統(tǒng)村落的非民族建筑的錯(cuò)誤標(biāo)記區(qū)域。

3.2 DeepLabV3+后處理的邊緣平滑處理

由于部分民族建筑屋頂破損程度較大,以及民族建筑受傳統(tǒng)村落樹木的遮擋等實(shí)際情況,圖4中DeepLabV3+算法的民族建筑識別結(jié)果中部分標(biāo)記的民族建筑邊緣呈現(xiàn)鋸齒的不規(guī)則形狀。為對標(biāo)記的民族建筑鋸齒邊緣進(jìn)行平滑處理,將圖4的處理結(jié)果在ArcGIS Pro軟件中進(jìn)行邊界清理[16]。邊界清理的主要功能是通過擴(kuò)展和收縮的方式對民族建筑鋸齒邊緣區(qū)域進(jìn)行邊界清理。首先將優(yōu)先級別較高的標(biāo)記區(qū)域覆蓋其周圍級別低的標(biāo)記區(qū),覆蓋大小為一個(gè)像元;然后收縮回沒有完全被相同值的像元包圍的像元。民族建筑標(biāo)記區(qū)域邊界清理的原理如圖5所示,將圖4的傳統(tǒng)村落民族建筑標(biāo)記圖形過濾結(jié)果進(jìn)行邊界清理,實(shí)現(xiàn)民族建筑鋸齒邊緣平滑處理,處理結(jié)果如圖6所示。

圖5 邊界清理的像元演變原理

圖6 傳統(tǒng)村落民族建筑邊界清理處理結(jié)果

對比圖4和圖6可知,利用邊界清理的方式對標(biāo)記的民族建筑邊緣進(jìn)行平滑處理,處理結(jié)果顯示,邊界清理的方式對民族建筑鋸齒邊緣規(guī)整化、平滑化的效果較為明顯,但部分民族建筑被樹木大面積遮擋,民族建筑標(biāo)記區(qū)域的凹陷邊緣規(guī)整化、平滑化處理效果相對較差。

4 結(jié) 論

針對傳統(tǒng)村落民族建筑快速、準(zhǔn)確地識別,進(jìn)而有效確定傳統(tǒng)村落民族建筑保護(hù)區(qū)域的需求,本文通過無人機(jī)機(jī)載高清攝像機(jī)對傳統(tǒng)村落進(jìn)行了航拍數(shù)據(jù)采集,分析了3種像素分類算法在民族建筑識別的性能。根據(jù)標(biāo)記的圖形區(qū)域特性,通過過濾面積較小的標(biāo)記區(qū)域及邊界清理的處理方式,對標(biāo)記的民族建筑鋸齒邊緣進(jìn)行平滑處理。結(jié)果表明:

(1)DeepLabV3+像素分類的算法在識別民族建筑的準(zhǔn)確率方面達(dá)0.957,優(yōu)于U-Net算法2.8%;此外在圖像識別結(jié)果方面具有較好的特性,其主要表現(xiàn)在民族建筑邊緣更加平整,以及民族建筑區(qū)域標(biāo)記樣本錯(cuò)誤率少。

(2)利用DeepLabV3+算法對傳統(tǒng)村落6個(gè)典型區(qū)域進(jìn)行測試,依托于ArcGIS平臺對標(biāo)記的非民族建筑區(qū)域進(jìn)行面積計(jì)算,并過濾面積較小的標(biāo)記區(qū)域,確保DeepLabV3+算法對民族建筑目標(biāo)識別的準(zhǔn)確性。

(3)依托于ArcGIS平臺完成民族建筑區(qū)域邊界清理的后處理工作。基于DeepLabV3+算法與相關(guān)后處理識別民族建筑,能夠在確保民族建筑識別準(zhǔn)確率的基礎(chǔ)上,提高民族建筑邊緣規(guī)整度與平滑度。