基于小樣本的無人機影像城市工地環(huán)境要素提取

徐如意 王蘭洲

（1.河南理工大學 測繪與國土信息工程學院，河南 焦作 454003；2.河南省數(shù)聯(lián)測繪科技有限公司，河南 鄭州 450052）

1 引言

隨著城市化進程的加快，我國城市建設(shè)高速發(fā)展，城市及城市周邊的建筑工地大量增加，由建筑工地施工造成的環(huán)境污染，已經(jīng)成為霧霾現(xiàn)象加重、PM2.5指數(shù)超標的主要原因[1,2]。因此，建筑工地的環(huán)境管理對治理大氣揚塵污染有著決定性影響。目前工地環(huán)境治理，主要通過噴淋設(shè)施和安裝防塵網(wǎng)等方式進行預防和改善。由于工地環(huán)境復雜、工作量大等問題，對于防塵網(wǎng)的鋪設(shè)具有局限，對于堆積的建筑材料無法提供及時有效的防塵措施。

無人機遙感影像具有快速獲取、高精度、廣視角等特點，利用相關(guān)方法能夠獲取關(guān)鍵信息，結(jié)合地理信息平臺，提供精準的位置服務。近年來，深度學習方法由于能夠自動提取深層抽象特征，在計算機視覺相關(guān)領(lǐng)域得到廣泛研究和應用，極大推動了遙感圖像智能解譯[3]。目前，在遙感圖像密集預測、目標檢測、實例分割等細分領(lǐng)域，均有廣泛研究的成熟深度學習模型。例如面向密集預測任務的U-Net[4,5]、DeeplabV3+[6]，面向目標檢測的R-CNN[7]，面向?qū)嵗指畹腗ask R-CNN[8,9]等。以上模型均可應用于遙感圖像地物提取，取得優(yōu)于傳統(tǒng)方法的效果。

近年來，利用生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）進行對抗學習擴充訓練樣本的思路在遙感圖像解譯領(lǐng)域有著很大潛力[10,11]。GAN 通過深層神經(jīng)網(wǎng)絡(luò)學習圖像本質(zhì)特征，結(jié)合生成器和判別器對抗的博弈過程，可產(chǎn)生和原始標記樣本分布接近的虛擬樣本，這種研究思路給小樣本遙感圖像地物提取問題提供了解決方案。

本文基于城市無人機影像、環(huán)保信息、關(guān)聯(lián)時間和地理位置，采集試驗區(qū)工地區(qū)域的黃土裸露、建筑材料堆積等多種影響環(huán)境的樣本。利用以上方法采集到少量樣本，基于GAN 和SAN 擴充形成樣本數(shù)據(jù)集，建立工地環(huán)境要素的特征模型庫；然后用深層殘差網(wǎng)絡(luò)進行特征提取；最后在Mask R-CNN 的基礎(chǔ)上建立能夠準確識別工地環(huán)境要素的網(wǎng)絡(luò)模型SE R-CNN，實現(xiàn)工地要素提取。本文以河南省某市為例利用無人機巡查采集數(shù)據(jù)，開展工地環(huán)境要素分析，為城市環(huán)保的規(guī)劃和管理、大氣治理提供幫助。

2 環(huán)境要素樣本庫建立

2.1 試驗區(qū)域的確定

本文試驗區(qū)域為河南省某市，測試數(shù)據(jù)按照時相信息，選擇兩個不同年份的3 月、6 月、8 月、11 月數(shù)據(jù)為整個研究的數(shù)據(jù)集。樣本實際應用效果如圖1所示。

圖1 樣本實際應用效果

城市環(huán)境中，基于小樣本的城市工地環(huán)境要素提取的主要工作內(nèi)容包括3 個部分：基礎(chǔ)工地環(huán)境要素的定義和樣本標注、基于GAN 網(wǎng)絡(luò)的樣本生成、無人機影像工地環(huán)境要素提取，提取框架如圖2所示。

圖2 工地環(huán)境要素提取框架

2.2 工地環(huán)境要素定義與樣本庫建立

（1）工地環(huán)境要素。工地環(huán)境要素是指在工地建設(shè)過程中，通過圖像分析可以獲取的對環(huán)境質(zhì)量具有負面影響的圖像信息。本文利用高精度、多時相的無人機數(shù)據(jù)，將黃土裸露、建筑材料堆積、建筑垃圾堆積定義為本研究的環(huán)境要素。

（2）樣本庫建立。結(jié)合數(shù)據(jù)標簽工具，對城市數(shù)據(jù)進行全面標簽化。在識別階段，用以消除建筑物、道路、綠地植被等信息的干擾，提高識別精度。城市全要素定義如表1 所示，其中分類8、分類9 為本研究中定義的工地環(huán)境要素。人工標記初始樣本集每個類別不超過50個標簽。樣本標注效果如圖3所示。

表1 城市全要素定義

圖3 樣本標注效果

3 樣本庫擴充和環(huán)境要素提取方法

3.1 基于GAN 和SAN 的樣本擴充

利用工地環(huán)境要素的不規(guī)則形狀，在圖像中表現(xiàn)出的顏色和紋理，結(jié)合圖像視覺基礎(chǔ)及工地環(huán)境的目標特征，采用GAN 網(wǎng)絡(luò)方法對工地環(huán)境要素的樣本數(shù)量進行擴充，數(shù)據(jù)擴充過程如圖4 所示。

圖4 數(shù)據(jù)擴充示意圖

3.1.1 GAN 模型

GAN 由兩個網(wǎng)絡(luò)組成，生成網(wǎng)絡(luò)Generator 和判別網(wǎng)絡(luò)Discriminator Generator 負責接收隨機的噪聲z，通過噪聲生成樣本，記為G(z)；Discriminator判定生成的樣本是否真實，接收輸入x，輸出D(x)代表x為真實樣本的概率。其數(shù)學表達為公式（1）：

3.1.2 選擇性GAN 模型（SAN）

本研究中，在標注樣本數(shù)據(jù)集中，由于標注的類別全面，為突出工地環(huán)境要素，將分類8、分類9 定義為工地環(huán)境要素Gf，利用選擇性對抗網(wǎng)絡(luò)Selective Adversarial Networks（SAN），增強其紋理特性。其主體框架如圖5 所示。

圖5 SAN示意圖

本研究定義全要素類別標簽集為全域數(shù)據(jù)集，類別8、類別9 為子集。Gf是以工地要素的顏色特征、灰度共生矩陣、圖像深度特征構(gòu)建的特征提取器，用以約束遷移學習的結(jié)果表達。

3.2 工地環(huán)境要素提取方法

本文在候選區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（mask regionbased convolutional neural network，Mask R-CNN）[12]基礎(chǔ)上，建立能準確識別工地環(huán)境要素的網(wǎng)絡(luò)模型（Site environment region-based convolutional neural network，SE R-CNN）。 將 深 度 殘 差 網(wǎng) 絡(luò)（ResNet50）[3]作為底層的特征提取網(wǎng)絡(luò)，并以人工標注3000 張數(shù)據(jù)集作為目標識別的基礎(chǔ)訓練權(quán)重。對于工地環(huán)境要素檢測和分割，交并比（Intersection over Union，IoU）＞0.5 為有效分割。依賴Mask R-CNN定位精度高的特性，提升工地要素識別的精準度。本研究設(shè)定IoU 為0.7。通過GAN、SAN 增強樣本后，經(jīng)過遷移訓練得到SE R-CNN 模型的平均精度均值mAP（mean average precision）為85.6%，充分肯定了SE R-CNN 模型對工地環(huán)境要素提取的有效性。

4 試驗結(jié)果分析

本研究在通過小樣本標注后，利用樣本擴充的方式，結(jié)合SE R-CNN 的目標提取驗證。對研究采用的兩種樣本庫擴充方法，進行特征庫構(gòu)建，然后將人工標定的工地數(shù)據(jù)集作為真實樣本集，對兩種特征庫提取的工地環(huán)境要素結(jié)果進行統(tǒng)計和對比，用以評定樣本擴充的有效性和準確性。設(shè)Nc為采用本研究算法被正確分類為工地環(huán)境要素數(shù)量，Nf為被誤檢為工地環(huán)境要素數(shù)量；Nt為人工標注的工地環(huán)境要素數(shù)量，因此工地環(huán)境要素檢測的定量指標為正確率和虛警率，計算方式如公式（2）和公式（3）：

根據(jù)上述評定方法，采用給出的兩種特征庫進行同一方法識別的評定結(jié)果，如表2 所示，通過選擇性樣本擴充的工地環(huán)境要素特征庫，具有更好的適應性，檢出精度較高。

表2 檢出結(jié)果分析

5 結(jié)語

針對城市工地環(huán)境要素提取，本文建立了小樣本工地環(huán)境特征庫，首先利用GAN 和SAN 補充訓練樣本，并增強樣本紋理特性；然后利用ResNet-50 提取深度特征，最后用Mask R-CNN 改進的SE R-CNN 實現(xiàn)要素提取。試驗表明，該方法有效提高了對無人機巡查數(shù)據(jù)的利用率，增強了環(huán)保巡查的精準性和高效性，可為城市環(huán)境建設(shè)提供參考。后續(xù)研究計劃增強工地環(huán)境要素的相關(guān)特征，提高工地環(huán)境要素分割模型SE R-CNN 的泛化能力,利用多時相數(shù)據(jù)擴展其在變化檢測方向的應用，使工地環(huán)境要素特征庫更具實用意義。