基于深度學(xué)習(xí)的高分辨率遙感影像建筑物提取方法

藍(lán)健均 李銳 李干 尉濤 劉健巧 胡敏

1.國(guó)網(wǎng)四川省電力公司；2.國(guó)網(wǎng)四川省電力公司建設(shè)分公司；3.國(guó)網(wǎng)四川電力送變電建設(shè)有限公司；4.北京洛斯達(dá)科技發(fā)展有限公司

特高壓工程建設(shè)以往存在部分頑疾；“新三直”工程全線拆遷數(shù)量大、涉及人口多；工程途經(jīng)長(zhǎng)距離少數(shù)民族聚居區(qū)域，電力通道內(nèi)的建筑物拆遷外部協(xié)調(diào)任務(wù)繁重。及時(shí)掌握電力道內(nèi)的拆遷信息對(duì)工程順利開展實(shí)施至關(guān)重要，因此本文中利用通道內(nèi)的高分辨率航飛影像，通過(guò)充分利用影像中建筑物的全局信息和局部信息以更準(zhǔn)確地對(duì)需拆遷建筑物輪廓進(jìn)行分割和提取，提出了基于全卷積神經(jīng)網(wǎng)絡(luò)針對(duì)邊界約束的校正神經(jīng)網(wǎng)絡(luò)模型。在建筑物數(shù)據(jù)庫(kù)上的試驗(yàn)結(jié)果證明，邊界校正網(wǎng)絡(luò)模型對(duì)通道內(nèi)拆遷建筑物的輪廓提取結(jié)果精度都在83%以上，高于U-net模型的建筑物提取，將此建筑提取技術(shù)運(yùn)用到全國(guó)輸電線路建筑通道情理中，可在一定程度上提高建筑的提取效果，有效服務(wù)工程進(jìn)度，對(duì)于推進(jìn)先簽后建、依法合規(guī)的施工管理和促進(jìn)高效施工服務(wù)全國(guó)電網(wǎng)建設(shè)有著重大意義。

為貫徹我國(guó)的綠色生態(tài)經(jīng)濟(jì)發(fā)展宗旨，進(jìn)一步加強(qiáng)在基建應(yīng)用領(lǐng)域的補(bǔ)短板力量，充分發(fā)揮中國(guó)重大電網(wǎng)建設(shè)在優(yōu)化投資結(jié)構(gòu)、清潔電力消納、大電網(wǎng)精準(zhǔn)扶貧等方面的重大功能，建設(shè)適應(yīng)中國(guó)中東部經(jīng)濟(jì)發(fā)展需要的重大項(xiàng)目,對(duì)促進(jìn)四川省資源優(yōu)勢(shì)轉(zhuǎn)化為經(jīng)濟(jì)優(yōu)勢(shì)、解決四川棄水、棄風(fēng)、棄光等重大問(wèn)題，助力脫貧攻堅(jiān)、助推涼山地區(qū)建成世界級(jí)清潔能源產(chǎn)業(yè)基地示范區(qū)具有重要意義。

隨著中國(guó)國(guó)民經(jīng)濟(jì)的持續(xù)發(fā)展,輸電廊道輸電線路輸送容量和運(yùn)輸距離逐日增加,使輸電走廊的通道供應(yīng)越來(lái)越緊張[1]。同時(shí)通道內(nèi)建筑物拆遷一直以來(lái)都是電力工程通道清理中較為棘手的問(wèn)題，管理機(jī)關(guān)對(duì)拆遷管理工作職責(zé)的界定并不清晰，在建筑物拆除處理過(guò)程中經(jīng)常出現(xiàn)“越位”及“缺位”的現(xiàn)象；在法規(guī)層次上，有關(guān)拆除法律、規(guī)章不健全，拆除補(bǔ)助標(biāo)準(zhǔn)不明晰、拆除補(bǔ)償出現(xiàn)了隱性不公的現(xiàn)象、拆除評(píng)估市場(chǎng)雜亂不規(guī)范；從認(rèn)識(shí)層次上，被拆建筑物住戶對(duì)拆遷的理解和政府部門的搬遷要求之間出現(xiàn)明顯反差，房屋補(bǔ)償需求與供應(yīng)出現(xiàn)問(wèn)題。各種因素造成通道內(nèi)建筑物拆遷執(zhí)行階段阻力重重。

近年來(lái)，伴隨“云計(jì)算+大數(shù)據(jù)+物聯(lián)網(wǎng)+移動(dòng)互聯(lián)+人工智能”[2]以及地理信息技術(shù)、無(wú)人機(jī)技術(shù)、激光測(cè)量、傾斜攝影等新技術(shù)的發(fā)展及在工程建設(shè)的精細(xì)化管理、生產(chǎn)流程優(yōu)化等方面應(yīng)用的逐步深入，已證明其在輔助工程建設(shè)及提升管理水平上具有顯著優(yōu)勢(shì)。

1 技術(shù)方案

神經(jīng)網(wǎng)絡(luò)計(jì)算可以通過(guò)對(duì)圖像進(jìn)行分類以完成圖像分割,先基于圖像的地表真實(shí)數(shù)據(jù)進(jìn)行模式學(xué)習(xí),然后再將學(xué)習(xí)結(jié)果模式應(yīng)用于新圖像中。其建模方法可以在學(xué)習(xí)過(guò)程中不斷基于圖像中地表真實(shí)數(shù)據(jù)進(jìn)行調(diào)整,因此基于學(xué)習(xí)的方法在泛化和精確度方面取得了更優(yōu)異的性能。全卷積神經(jīng)網(wǎng)絡(luò)模型利用全卷積層來(lái)執(zhí)行從輸入到輸出的圖像到圖像之間的轉(zhuǎn)換[3]。通過(guò)刪除全卷積神經(jīng)網(wǎng)絡(luò)中全連接層的數(shù)量，可在計(jì)算過(guò)程有效減少模型的參數(shù)量，提升算法時(shí)間。基于全卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)的模型有通過(guò)利用非抽樣模式[4]、反卷積算法[5]、跳躍鏈接算法[6]和多約束算法[7]等方式以提升神經(jīng)網(wǎng)絡(luò)模型的算法性能；但在以上算法中也僅基于局部信息(3×3或者5×5)的特征對(duì)圖像像素值進(jìn)行預(yù)測(cè)，并未完全利用建筑物的邊界輪廓信息。在獲取電力通道內(nèi)的影像過(guò)程中，不可避免會(huì)產(chǎn)生大量噪聲數(shù)據(jù)(植被遮擋建筑物、建筑物之間相互遮擋、其他地物陰影遮擋等)以造成圖像數(shù)據(jù)誤差。神經(jīng)網(wǎng)絡(luò)模型算法如果僅僅根據(jù)目標(biāo)像素和周圍像素之間的差異來(lái)劃分，會(huì)在提取結(jié)果中對(duì)建筑的分類提取造成大量漏分誤差，同時(shí)浪費(fèi)建筑物的幾何邊界信息。為盡可能的提取建筑物的光譜和幾何信息，增加圖像中各類信息的使用率，本次采用圖像的局部特征和全局特征的多任務(wù)學(xué)習(xí)方法，通過(guò)利用邊界矯正網(wǎng)絡(luò)模擬學(xué)習(xí)圖像信息建筑物進(jìn)行分割和矯正輪廓提取。在神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練階段，用優(yōu)化器以使分割的輪廓提取預(yù)測(cè)信息和對(duì)應(yīng)的建筑物標(biāo)簽信息相匹配。在每次迭代過(guò)程中，以建筑物的邊界標(biāo)簽信息對(duì)學(xué)習(xí)參數(shù)進(jìn)行調(diào)節(jié)，以避免映射模式過(guò)程中目標(biāo)像素被建筑物標(biāo)簽邊界以外的像素影響。邊界矯正網(wǎng)絡(luò)模型由共享后端為優(yōu)化的U-net型全卷積神經(jīng)網(wǎng)絡(luò)，和通過(guò)雙預(yù)測(cè)框架生成建筑物分割和輪廓提取組成。如圖1所示。

共享后端的組成結(jié)構(gòu)為4個(gè)下采樣層，1個(gè)中央轉(zhuǎn)換層和4個(gè)上采樣層。中央層采用的是內(nèi)核為3×3的卷積層，后接LeakyReLU激活函數(shù)和BN層。在下采樣層間的第二BN層和上采樣層間的相應(yīng)上采樣層之間采用跳躍連接。卷積運(yùn)算是通過(guò)內(nèi)核執(zhí)行的逐元素乘法，內(nèi)核的大小決定了接收領(lǐng)域的范圍。與整數(shù)線性單位（ReLU）相比，它將所有小于零的值設(shè)置為零，輸出將由LeakyReLU激活函數(shù)處理，其中α的值設(shè)置為0.1。為了加速深度網(wǎng)絡(luò)訓(xùn)練，避免偏差并防止梯度消失，在卷積層之后大量應(yīng)用BN層。在這項(xiàng)研究中，選擇Max-pooling來(lái)對(duì)中間特征的高度和寬度進(jìn)行二次采樣。同時(shí)選取雙線性上采樣和跳躍連接，使輸入和輸出的圖像大小保持一致。最后選擇Sigmoid激活函數(shù)生成分割預(yù)測(cè)結(jié)果。同時(shí)通過(guò)網(wǎng)絡(luò)訓(xùn)練和交叉驗(yàn)證，以優(yōu)化并確定超參數(shù)學(xué)習(xí)率和迭代次數(shù)。再根據(jù)由優(yōu)化的超參數(shù)訓(xùn)練得到的網(wǎng)絡(luò)模型對(duì)測(cè)試集進(jìn)行測(cè)試，最終生成測(cè)試集的建筑物結(jié)果。

下采樣層中：h、w和d分別代表輸入的高度、寬度和深度。y表示用于卷積的內(nèi)核數(shù)。含兩個(gè)卷積層，兩個(gè)LeakyReLU激活函數(shù)，兩個(gè)BN層和一個(gè)最大池化層。 對(duì)于每個(gè)輸入，下行層會(huì)生成寬度和高度減半的輸出。四個(gè)層中的內(nèi)核數(shù)對(duì)應(yīng)為：24、48、96、192。

上采樣層中：h、w和d分別代表輸入的高度、寬度和深度。Y和y分別表示下行層中相應(yīng)BN層的尺寸和用于卷積運(yùn)算的內(nèi)核數(shù)。含一個(gè)雙線性上采樣層，一個(gè)跳躍連接層和三個(gè)卷積層，后接LeakyReLU激活函數(shù)和BN層。上行層將輸入的寬度和高度加倍。四個(gè)層中的內(nèi)核數(shù)分對(duì)應(yīng)為：192、96、48、24。

共享后端的輸出是具有與輸入圖像一致寬度和高度的3D矩陣。將單個(gè)1×1卷積核后跟Sigmoid激活函數(shù)應(yīng)用于輸出分割結(jié)果圖的預(yù)測(cè)。類似采用具有S形激活函數(shù)的單個(gè)3×3卷積核用于生成建筑物輪廓。然后選取預(yù)測(cè)值和相應(yīng)的地面真值之間的二元交叉熵對(duì)分割損失和輪廓損失進(jìn)行計(jì)算。

2 實(shí)驗(yàn)環(huán)境

本次工具采用來(lái)自由谷歌智能團(tuán)隊(duì)谷歌大腦開發(fā)和維護(hù)的第二代人工智能計(jì)算框架——TensorFlow開源深度學(xué)習(xí)系統(tǒng)，它具備高度的靈敏度、可移植性、多語(yǔ)言功能等特點(diǎn)。平臺(tái)采用Windows，語(yǔ)言采用Python。兩種深度學(xué)習(xí)網(wǎng)絡(luò)模型中采用的所有的訓(xùn)練樣本、測(cè)試樣本、驗(yàn)證樣本均為同樣規(guī)模圖片和標(biāo)注數(shù)據(jù)集。

Python具有易學(xué)習(xí)和閱讀并且使用于各個(gè)場(chǎng)景，最重要的是其中具有大量可用于任何目的軟件包，從而使其在深度學(xué)習(xí)算法編寫上具有獨(dú)特優(yōu)勢(shì)。運(yùn)算平臺(tái)為Cuda，其加速框架的訓(xùn)練速度足夠快，而使得能在合理的時(shí)間內(nèi)得到結(jié)果，深度機(jī)器學(xué)習(xí)框架為Tensorflow。本實(shí)驗(yàn)的硬件和軟件環(huán)境如表1所示。

表1 硬件和軟件環(huán)境Tab.1 Hardware and software environment

3 電力通道建筑物提取

本次使用GF-2影像以及工程電力通道的0.5m航空影像作為訓(xùn)練樣本，只將通道內(nèi)航飛影像的25%列為訓(xùn)練樣本中。將預(yù)處理后的影像裁剪為512×512像素大小的圖片。同時(shí)為進(jìn)一步擴(kuò)充神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本，充分提取圖片中的建筑物邊界特征，對(duì)制作完成的樣本圖片進(jìn)行順時(shí)針45°、90°和135°的旋轉(zhuǎn)，及水瓶鏡像、垂直鏡像和水瓶垂直的鏡像翻轉(zhuǎn)以7倍擴(kuò)充訓(xùn)練樣本。并對(duì)制作樣本對(duì)應(yīng)的標(biāo)簽，再采用Soble濾波對(duì)建筑物標(biāo)簽進(jìn)行處理以提取建筑物的邊界信息，旋轉(zhuǎn)后儲(chǔ)存結(jié)果圖像的數(shù)據(jù)組的尺寸會(huì)大于原圖像尺寸，此時(shí)采用重采樣對(duì)數(shù)據(jù)進(jìn)行處理以恢復(fù)原始尺寸大小，其中四周多余的像素賦值為0，同時(shí)擴(kuò)充建筑物的尺度多樣性。如表2所示。

表2 樣本擴(kuò)充Tab.2 Sample expansion

采用經(jīng)典的U-net模型與邊界矯正網(wǎng)絡(luò)模型結(jié)果進(jìn)行橫向比較，對(duì)兩種神經(jīng)網(wǎng)絡(luò)模型采用相同的數(shù)據(jù)集樣本與工作平臺(tái)進(jìn)行建筑物提取。從建筑物頂輪廓提取結(jié)果的定性判別中對(duì)照?qǐng)D，其中，綠色對(duì)應(yīng)代表區(qū)為正確提取對(duì)象；藍(lán)色對(duì)應(yīng)代表區(qū)為欠分割提取對(duì)象；紅色對(duì)應(yīng)代表區(qū)為過(guò)分割提取對(duì)象；白色對(duì)應(yīng)代表區(qū)為非建筑物區(qū)域。根據(jù)建筑物頂提取結(jié)果，邊界矯正網(wǎng)絡(luò)模型的提取結(jié)果精度明顯優(yōu)于傳統(tǒng)U-net模型的提取結(jié)果精度。根據(jù)屋頂輪廓的提取結(jié)果表現(xiàn)出邊界矯正模型所提取的建筑物頂輪廓，與實(shí)際建筑物頂?shù)妮喞瞧ヅ涑潭雀撸渲性俳ㄖ锏捻數(shù)墓战翘帲瑐鹘y(tǒng)U-net模型的提取結(jié)果中大部分出現(xiàn)了過(guò)度分類，主要因?yàn)樵诰W(wǎng)絡(luò)中沒(méi)有加入邊界校正全卷積網(wǎng)絡(luò)的誤差限制條件；同時(shí)在負(fù)樣本（不存在建筑物的樣本）中，U-net模型誤將在圖像上顯示為高亮的道路提取為房屋，誤差明顯。通過(guò)通道內(nèi)測(cè)試影像的建筑物頂提取結(jié)果上顯示：在占地面積較大的建筑物區(qū)域中，U-net模型提取結(jié)果與地表真實(shí)建筑區(qū)域相比都出現(xiàn)了過(guò)分類情況；在占地面積較小的建筑物區(qū)域中，U-net模型提取結(jié)果與地表真實(shí)建筑區(qū)域相比都出現(xiàn)了欠分類情況。如表3所示。

表3 提取結(jié)果Tab.3 Extract results

為充分體現(xiàn)改進(jìn)后的邊界校正全卷積網(wǎng)絡(luò)對(duì)于樣本分割能力，對(duì)建筑物頂?shù)奶崛〗Y(jié)果分別計(jì)算準(zhǔn)確率、精確率、召回率、Kappa系數(shù)以及平均交并比（mIoU）5類指標(biāo)。mIoU表示目標(biāo)建筑物和預(yù)測(cè)建筑物之間的像素面積重疊程度，是用來(lái)表達(dá)在某類標(biāo)簽的目標(biāo)圖像集與預(yù)期結(jié)果圖像集間的交集比上并集。實(shí)驗(yàn)結(jié)果如表4所示。

表4 U-net模型和邊界矯正模型建筑物提取結(jié)果精度統(tǒng)計(jì)Tab.4 U-net model and boundary correction model building extraction accuracy statistics

定量提取的建筑物頂結(jié)果顯示了U-net模型和邊界矯正模型建筑物提取結(jié)果精度統(tǒng)計(jì)的5中提取結(jié)果精度比較，通過(guò)提取結(jié)果精度分析，邊界矯正網(wǎng)絡(luò)模型的精度結(jié)果均顯著高于U-net模型的建筑物提取精度。其中，準(zhǔn)確率、精確率、召回率、Kappa系數(shù)以及平均交并比上，BR-net的總體精度分別提升了25.5%、22.8%、25.3%、35%和23.3%，且在5類精度中BR-net模型的建筑物提取精度均達(dá)到83%以上。實(shí)驗(yàn)結(jié)果證明將加入邊界信息約束的矯正網(wǎng)絡(luò)模型用于具有幾何信息的建筑物提取上可以有效增加提取效率，提升建筑物提取進(jìn)度，并將此應(yīng)用于實(shí)際建設(shè)工程中，以輔助工程建設(shè)前期信息獲取渠道。

4 結(jié)語(yǔ)

在計(jì)算機(jī)視覺領(lǐng)域中，算法的性能與數(shù)據(jù)集的規(guī)模和質(zhì)量有直接的關(guān)系，大量的高質(zhì)量航飛數(shù)據(jù)集能為算法的訓(xùn)練和驗(yàn)證提供保證。本研究依據(jù)航飛高分影像采用邊界矯正網(wǎng)絡(luò)模型提取通道內(nèi)建筑物，實(shí)現(xiàn)通道內(nèi)建筑物精細(xì)化管理，減少管理成本。相對(duì)于傳統(tǒng)的電力通道清理工作模式中的建筑物拆遷人工參與多、效率低，提前將通道內(nèi)建筑物進(jìn)行識(shí)別提取，可以快速獲取建筑物位置和面積等基礎(chǔ)信息，并制作對(duì)應(yīng)臺(tái)賬對(duì)信息統(tǒng)計(jì)展示，方便管理人員實(shí)時(shí)查看。“新三直”工程全線需拆遷房屋近2000余戶、拆遷面積約50余萬(wàn)平方米，拆遷數(shù)量大、涉及人口多；途經(jīng)的涼山彝族自治州、樂(lè)山馬邊彝族自治縣等民族聚居區(qū)域風(fēng)俗習(xí)慣、文化信仰與漢族存在較大差異，外部協(xié)調(diào)任務(wù)繁重，同時(shí)工程建設(shè)工期緊張。針對(duì)以上管控難點(diǎn)，結(jié)合本文提出的模型進(jìn)行建筑物識(shí)別提取可有針對(duì)性直接確定需拆遷建筑物，對(duì)全線拆遷房屋進(jìn)行逐檔梳理、統(tǒng)一標(biāo)繪；同時(shí)貫通房屋拆遷網(wǎng)絡(luò)數(shù)據(jù)庫(kù)，根據(jù)跨房屬性和同一檔內(nèi)跨房數(shù)量、跨房總面積等拆遷放線量化指標(biāo)對(duì)全線拆遷房屋進(jìn)行敏感等級(jí)判斷分類，重點(diǎn)識(shí)別檔內(nèi)多戶聚集的連片房屋和位于塔基、影響進(jìn)場(chǎng)的房屋，分析處理為可能存在較大協(xié)調(diào)難度或較高遲滯施工風(fēng)險(xiǎn)的高敏感房屋和一般性低敏感房屋兩類拆遷敏感點(diǎn)。對(duì)項(xiàng)目識(shí)別的高敏感拆遷點(diǎn)結(jié)合航攝影像進(jìn)行梳理復(fù)查，針對(duì)跨房數(shù)量較多、拆遷面積較大的區(qū)段，組織拆遷與避讓方案造價(jià)對(duì)比分析，采取優(yōu)化路徑避讓、鎖定房屋拆遷量、提前簽訂原則協(xié)議、多渠道協(xié)調(diào)等方式防范重大造價(jià)和阻工風(fēng)險(xiǎn)。