基于航空傾斜攝影影像的建筑物提取方法研究

焦云清

摘 要：傳統(tǒng)的建筑物遙感提取主要是基于人工設(shè)計(jì)特征在滑窗內(nèi)提取建筑物信息，具有特征魯棒性差、檢測(cè)率不穩(wěn)定等缺點(diǎn)。本文通過(guò)分析航空傾斜攝影影像中建筑物的特點(diǎn)，提出傾斜攝影影像中的建筑物提取必須將建筑物屋頂與建筑物墻體分別提取的觀點(diǎn)，在此基礎(chǔ)上，引入計(jì)算機(jī)視覺(jué)領(lǐng)域主流的Faster R-CNN目標(biāo)檢測(cè)模型，采用改進(jìn)的Faster RCNN分別對(duì)屋頂與墻體進(jìn)行檢測(cè)。本文以武漢市航空傾斜攝影影像作為數(shù)據(jù)集開(kāi)展實(shí)驗(yàn)，將圖像中單體建筑作為一類的平均精度均值為89.8%，將建筑物屋頂與墻體分開(kāi)檢測(cè)的mAP值為93.5%，表明該方法可有效提高航空傾斜攝影影像中建筑物提取的精度，下一步研究方向?yàn)榻档蛪w的漏檢率。

關(guān)鍵詞： 航空傾斜攝影? 建筑物提取? 深度學(xué)習(xí)? 目標(biāo)檢測(cè)

中圖分類號(hào)：P231

Abstract： Traditional building remote sensing extraction is mainly based on artificial design features to extract building information in sliding Windows， which has disadvantages such as poor feature robustness and unstable detection rate. Based on the analysis of the characteristics of buildings in aerial oblique photography images， this paper proposes that buildings must be extracted from roof and wall separately. On this basis， the mainstream Faster R-CNN target detection model in the field of computer vision is introduced， and the improved Faster RCNN is used to detect roof and wall respectively. In this paper， Wuhan aerial oblique photography image is used as the data set to carry out the experiment. The average accuracy of taking the single building in the image as a class is 89.8%， and the mAP value of detecting the building roof and wall separately is 93.5%. It shows that this method can effectively improve the accuracy of building extraction in aerial oblique photography image. The next research direction is to reduce the missed detection rate of wall.

Key Words： Aerial oblique photography; Building extraction; Deep learning; Target detection

建筑物是反映人類活動(dòng)的主要標(biāo)志，建筑物提取是遙感目標(biāo)檢測(cè)與識(shí)別領(lǐng)域中的重要方向，該方向的研究成果在災(zāi)害應(yīng)急、軍事偵察、城市規(guī)劃等方面具有廣闊的應(yīng)用前景[1]。建筑物根據(jù)其用途有娛樂(lè)、居住、觀賞、存儲(chǔ)、辦公等不同類型，外形多種多樣，更新速度快，這使得建筑物的提取和檢測(cè)難度很大。

傳統(tǒng)的建筑物提取主要基于光譜、形狀、紋理、等影像特征檢測(cè)建筑物。建筑物提取的研究思路主要有兩種——數(shù)據(jù)驅(qū)動(dòng)型和模型驅(qū)動(dòng)型。前者把目標(biāo)看作眾多低層特征結(jié)構(gòu)的組合，通過(guò)某種規(guī)則將這些結(jié)構(gòu)合并成為目標(biāo)整體;后者把建筑物目標(biāo)抽象為一個(gè)整體模型，從全局特征出發(fā)基于模型將其從圖像背景中提取出來(lái)[2]。

為解決傳統(tǒng)建筑物提取方法計(jì)算量大，魯棒性差等問(wèn)題，以及建筑物在航空影像上的變化多樣性，遮擋多，航空影像在深度學(xué)習(xí)上的應(yīng)用難點(diǎn)，本文在深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上研究了一種航空傾斜攝影影像建筑物提取方法，這種方法在實(shí)驗(yàn)數(shù)據(jù)上針對(duì)航空攝影影像構(gòu)建樣本庫(kù)，從建筑物的結(jié)構(gòu)出發(fā)，結(jié)合建筑物在影像上的特點(diǎn)對(duì)建筑物進(jìn)行分結(jié)構(gòu)檢測(cè)。經(jīng)實(shí)驗(yàn)證實(shí)，該方法可有效提升建筑物在航空影像上的檢測(cè)精度。

1 實(shí)驗(yàn)數(shù)據(jù)

1.1 傾斜攝影樣本構(gòu)建方法

深度學(xué)習(xí)通過(guò)對(duì)大量樣本進(jìn)行特征學(xué)習(xí)，根據(jù)特征映射圖進(jìn)行判斷來(lái)完成目標(biāo)的識(shí)別與提取，一般需要高質(zhì)量、大量、多樣性的樣本集，以應(yīng)對(duì)不同情況下對(duì)目標(biāo)的提取任務(wù)[3]。針對(duì)航空傾斜攝影影像特殊性，在構(gòu)建樣本集時(shí)需要對(duì)圖像進(jìn)行預(yù)處理，明確影像的拍攝高度、角度、相機(jī)型號(hào)等影響目標(biāo)檢測(cè)的因素，記錄樣本信息。

實(shí)驗(yàn)數(shù)據(jù)選取新疆城鎮(zhèn)地區(qū)拍攝的航空傾斜攝影影像作為數(shù)據(jù)源，影像空間分辨率為10cm，包括接近垂直方向的影像和45度傾角的影像，垂直攝影的相機(jī)采用的是Canon EOS 5DS。45度角攝影采用的相機(jī)是Canon EOS 5DS。影像為真彩色（RGB），單幅影像尺寸為8688×5792。本實(shí)驗(yàn)使用LabelImage對(duì)樣本圖片進(jìn)行人工標(biāo)記，用生成的XML文件記錄樣本信息——目標(biāo)建筑物的地理坐標(biāo)、圖像來(lái)源、圖像尺寸等信息。

1.2數(shù)據(jù)處理

Faster R-CNN，根據(jù)輸入層的設(shè)置，輸入的影像在正式進(jìn)入網(wǎng)絡(luò)前會(huì)經(jīng)歷拉伸過(guò)程，統(tǒng)一尺寸為600×1000。為了得到有效的訓(xùn)練數(shù)據(jù)，最大限度地減小拉伸形變，將原始圖像切分為同等大小圖片與對(duì)應(yīng)切分的XML文件一起作為實(shí)驗(yàn)數(shù)據(jù)。本實(shí)驗(yàn)共使用圖片707張訓(xùn)練數(shù)據(jù)。XML切分過(guò)程中需考慮的技術(shù)細(xì)節(jié)包括。

（1）考慮到XML記錄的目標(biāo)框坐標(biāo)是以圖片左上角點(diǎn)為原點(diǎn)的相對(duì)坐標(biāo)值，要考慮到圖像切分后坐標(biāo)變換問(wèn)題，因此，在圖像切分時(shí)記錄切分處左上角點(diǎn)在原圖中的坐標(biāo)[4]。

（2）在切分時(shí)會(huì)產(chǎn)生被切分開(kāi)的目標(biāo)框，即要解決切分時(shí)在邊緣的目標(biāo)框的問(wèn)題。根據(jù)目標(biāo)框在切分邊緣位置的情況可以具體分為6種情況，分步解決。

（3）XML在刪除節(jié)點(diǎn)時(shí)導(dǎo)致的節(jié)點(diǎn)序號(hào)變化的問(wèn)題，可以利用指針的思想解決[5]。

最后將整個(gè)樣本集分為3個(gè)部分：訓(xùn)練集、驗(yàn)證集、檢測(cè)集。其中訓(xùn)練集占總樣本數(shù)的60%，測(cè)試集占40%。

2 方法描述

本文使用Faster R-CNN作為實(shí)驗(yàn)應(yīng)用基礎(chǔ)，并在此基礎(chǔ)上進(jìn)行改進(jìn)，將建筑物按屋頂、墻體結(jié)構(gòu)分開(kāi)檢測(cè)。

經(jīng)過(guò)多次測(cè)試證明對(duì)建筑物進(jìn)行提取，迭代7萬(wàn)次就可以loss曲線達(dá)到要求，經(jīng)過(guò)再多的迭代，在耗費(fèi)時(shí)間的情況下，精度基本保持不變。根據(jù)測(cè)試結(jié)果將IOU（Intersection over Union）正樣本閾值改為0.7，負(fù)樣本閾值為0.3。因?yàn)榻ㄖ镎趽踺^多[6]，將NMS（最大值抑制）算法改為Soft-NMS（Bodla N等，2017）。

本節(jié)主要介紹實(shí)驗(yàn)中所使用的技術(shù)方法。具體方法流程如圖1所示。

本實(shí)驗(yàn)主要有3個(gè)部分：標(biāo)記樣本，制作樣本集（見(jiàn)第二節(jié)實(shí)驗(yàn)數(shù)據(jù)所述）;通過(guò)改進(jìn)的Faster R-CNN對(duì)建筑物分結(jié)構(gòu)檢測(cè);對(duì)檢測(cè)結(jié)果做精度評(píng)價(jià)。

建筑物作為一個(gè)整體主要由兩部分結(jié)構(gòu)構(gòu)成——屋頂和墻體。屋頂多為瓦片或涂有防曬層，墻體多刷有漆層，這兩者在結(jié)構(gòu)上、使用材料上完全不同，紋理信息不一致，因此，分為兩種類別檢測(cè)是十分自然合理的。

航空傾斜圖像在拍攝時(shí)跟傳統(tǒng)自然圖像相比房屋在圖像中并不是絕對(duì)垂直的，會(huì)出現(xiàn)多角度、多方向的建筑物，因此屋頂和墻體作為整體，即以單體建筑分為一類進(jìn)行檢測(cè)時(shí)特征的同一性，相較于傳統(tǒng)自然圖像較低，屋頂與墻體的方向性也不一致，同時(shí)因?yàn)樵谥谱鳂颖炯^(guò)程中需要對(duì)圖片進(jìn)行切分，在切分時(shí)只考慮圖像大小會(huì)導(dǎo)致部分墻體和屋頂“分家”的情況出現(xiàn)，在這種情況下經(jīng)常會(huì)出現(xiàn)漏檢與錯(cuò)檢情況。將墻體與屋頂分開(kāi)，作為兩類進(jìn)行目標(biāo)識(shí)別可以有效避免此類問(wèn)題。

為了更好地了解分結(jié)構(gòu)檢測(cè)建筑物的優(yōu)勢(shì)，本文采取兩種標(biāo)注方式并進(jìn)行對(duì)比：（1）對(duì)整個(gè)建筑物整體進(jìn)行標(biāo)記;（2）對(duì)建筑物屋頂與墻體進(jìn)行分開(kāi)標(biāo)記。通過(guò)Faster R-CNN算法獲取檢測(cè)精度，對(duì)比驗(yàn)證最優(yōu)樣本標(biāo)記方式。

3 實(shí)驗(yàn)與分析

本文首先將建筑物屋頂與墻體分結(jié)構(gòu)標(biāo)注的樣本放入網(wǎng)絡(luò)訓(xùn)練，經(jīng)過(guò)多次迭代保存訓(xùn)練好的參數(shù)，再將樣本送入網(wǎng)絡(luò)檢測(cè)對(duì)建筑物整體檢測(cè)效果如圖2所示。

通過(guò)圖2可以看出建筑物整體作為一類檢測(cè)時(shí)圖像上單獨(dú)的墻體和屋頂都不能檢測(cè)出來(lái)，導(dǎo)致了很多的漏檢，并且對(duì)陰影鑒別能力差，導(dǎo)致很多錯(cuò)檢。而建筑物分結(jié)構(gòu)檢測(cè)不僅可以檢測(cè)出只有部分結(jié)構(gòu)的建筑物，對(duì)陰影的敏感度也有了一定的提高。

為了更好地驗(yàn)證建筑物分結(jié)構(gòu)檢測(cè)的優(yōu)勢(shì)，本文選取mAP作為衡量標(biāo)準(zhǔn)，對(duì)建筑物整體與建筑物分結(jié)構(gòu)檢測(cè)的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比。結(jié)果表明建筑物分結(jié)構(gòu)檢測(cè)效果更優(yōu)。

綜合得出整體對(duì)建筑物的檢測(cè)精度定量評(píng)價(jià)——mAP，如表1所示。

根據(jù)表1可以明顯看出建筑物分結(jié)構(gòu)檢測(cè)后檢測(cè)精度有了很大的提升，經(jīng)試驗(yàn)表明將屋頂與墻體分開(kāi)標(biāo)記的方式有效提高了檢測(cè)精度。

4 結(jié)語(yǔ)

本文利用深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)了建筑物在航空傾斜影像上的自動(dòng)化提取，通過(guò)分結(jié)構(gòu)檢測(cè)提高了建筑物的檢測(cè)精度。

本次使用的Faster R-CNN利用遷移學(xué)習(xí)思想有效實(shí)現(xiàn)小樣本建筑物提取任務(wù)，相比于大多傳統(tǒng)檢測(cè)方式精度有顯著提升，由于建筑物在圖像上多有遮擋情況，本文在Faster R-CNN最終測(cè)試時(shí)將NMS替換為Soft-NMS，用以降低因遮擋引起的漏檢。在此基礎(chǔ)上將建筑物屋頂與墻體進(jìn)行分開(kāi)標(biāo)記也有效地提高了檢測(cè)精度。目前對(duì)建筑物的誤檢多為將大棚檢測(cè)為了建筑物，下一步會(huì)在此基礎(chǔ)上進(jìn)行改進(jìn)，之后利用多層特征融合等方式，相信檢測(cè)精度也會(huì)達(dá)到更好的效果。

目前，對(duì)墻體檢測(cè)的P-R曲線表現(xiàn)不如屋頂穩(wěn)定，在接下來(lái)的研究中將首要分析并改善此問(wèn)題。在更深入的研究里將會(huì)更傾向于網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化和調(diào)整，為目標(biāo)檢測(cè)加入先驗(yàn)知識(shí)，希望可以在提高檢測(cè)精度的同時(shí)提高并驗(yàn)證方法的普適性。

參考文獻(xiàn)

[1]馬茜芮，黃振華.無(wú)人機(jī)傾斜攝影測(cè)量技術(shù)在地籍調(diào)查中的應(yīng)用[J].測(cè)繪通報(bào)，2020（S1）：118-121.

[2]于大鵬，梁玉斌，馮晨陽(yáng)，等.模擬地形輔助的無(wú)人機(jī)傾斜攝影測(cè)量圖像匹配[J].天津師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2020，40（4）：64-70.

[3]俞建康.無(wú)人機(jī)傾斜攝影測(cè)量在立交橋三維重建中的應(yīng)用[J].測(cè)繪通報(bào)，2020（10）：106-109.

[4]杜芙蓉. 基于無(wú)人機(jī)傾斜攝影測(cè)量的違章建筑探測(cè)技術(shù)研究[D].西安科技大學(xué)，2020.

[5]符鐘壬. 基于傾斜攝影測(cè)量與激光雷達(dá)點(diǎn)云匹配的建筑物三維模型研究[D].昆明：云南大學(xué)，2020.

[6]陳明杰.無(wú)人機(jī)傾斜攝影測(cè)量三維建模及模型可視化研究[D].西安：西安科技大學(xué)，2019.

3421500338252