基于微調(diào)語義分割模型的街景影像變化檢測方法

李文國，黃 亮，2，左小清，王譯著

（1.昆明理工大學(xué)國土資源工程學(xué)院；2.云南省高校高原山區(qū)空間信息測繪技術(shù)應(yīng)用工程研究中心，云南昆明 650093）

0 引言

街景是沿著城市道路拍攝的序列全景影像，記錄了房屋建筑、市政設(shè)施以及交通標(biāo)志等豐富內(nèi)容［1］。信息技術(shù)的發(fā)展使數(shù)碼相機(jī)、手機(jī)相機(jī)等圖像采集設(shè)備得以廣泛使用，積累了海量的街景影像。車載移動式街景測繪系統(tǒng)或固定的街景測繪系統(tǒng)使街景影像采集更加方便、快捷。街景影像不僅覆蓋城市絕大部分區(qū)域，而且包含豐富的城市特征，能提供真實(shí)的三維城市場景，具有極高的應(yīng)用價(jià)值。2007 年谷歌推出了街景影像服務(wù)，服務(wù)范圍不斷擴(kuò)大，應(yīng)用實(shí)例愈加豐富，推動了街景影像與地理空間信息的整合發(fā)展，隨后百度和高德也相繼開發(fā)出全景地圖。全景地圖由真實(shí)場景構(gòu)建生成，通過圖像繪制技術(shù)提供360°觀察視角，從而增強(qiáng)沉浸感，使用戶如同置身于真實(shí)場景一般［2］。全景地圖由街景影像構(gòu)建而成，由于近距離拍攝能真實(shí)還原拍攝街景場景，所以具有拍攝速度快、數(shù)據(jù)量小、容易存儲和傳輸?shù)葍?yōu)點(diǎn)。在交通管理、城市規(guī)劃建設(shè)、商業(yè)廣告、旅游等領(lǐng)域全景地圖應(yīng)用較多。相對于傳統(tǒng)電子地圖，全景地圖不僅能全方位展示真實(shí)地圖場景，而且能實(shí)現(xiàn)更快速和更精度的定位。物聯(lián)網(wǎng)、云計(jì)算等新一代信息技術(shù)發(fā)展不斷推動智慧城市形成，智慧城市需要三維立體地表達(dá)城市場景，單純使用立體線框模型和貼圖難以表達(dá)真實(shí)城市場景。街景影像可以全方位、連續(xù)地呈現(xiàn)真實(shí)城市環(huán)境，形成全新的三維空間立體效果，因此在智慧城市地理信息公共服務(wù)中應(yīng)用廣泛。

影像變化檢測研究目的是根據(jù)對同一物體或現(xiàn)象在不同時(shí)間的觀測，確定不同的處理過程，即找出感興趣的變化信息，濾除不相干變化信息［3-4］。遙感影像具有宏觀性、客觀性、周期性、便捷性等特點(diǎn)，常作為變化檢測的主要數(shù)據(jù)來源。自動和半自動化的多時(shí)像遙感影像變化檢測技術(shù)已廣泛應(yīng)用于土地調(diào)查、城市研究、生態(tài)系統(tǒng)檢測、災(zāi)害檢測評估以及軍事偵查等領(lǐng)域［5-11］。

國際攝影測量與遙感學(xué)會（The International Society for Photogrammetry and Remote Sensing，ISPRS）為遙感影像變化檢測研究設(shè)置專項(xiàng)工作組，致力于推動利用遙感技術(shù)手段進(jìn)行多領(lǐng)域變化檢測發(fā)展［12］。我國政府也高度重視遙感變化檢測技術(shù)在地理國情監(jiān)測中的應(yīng)用，從2010 年開始國土資源部每年開展全國土地遙感監(jiān)測工作，利用多時(shí)相遙感影像變化檢測技術(shù)持續(xù)更新全國土地調(diào)查成果［13］。雖然遙感變化檢測技術(shù)研究已取得豐碩成果，但許多變化檢測方法依賴于人工參與，如幾何配準(zhǔn)、輻射校正和遙感目視解譯等均需人工參與才能達(dá)到較高精度。相比遙感影像，街景影像具有以下特點(diǎn)：①街景影像在地面成像，受大氣干擾較小，與遙感影像相比，無需輻射校正；②街景影像成像距離短，街景影像分辨率高，同時(shí)地物邊界清晰，因此相比遙感影像更加容易配準(zhǔn)；③街景影像視角與人類視角類似，目視解譯難度低甚至無需目視解譯；④遙感影像從空中對地表觀測，因此遙感影像以平面的方式觀測地物信息，而街景影像則從地面成像，能立面觀測地物信息；⑤街景影像采集設(shè)備和方式多種多樣，使街景影像成像方式更加方便、快捷。綜合而言，街景影像可提供新視角、更為詳盡的信息和更便捷的預(yù)處理方式。

街景語義分割研究較為豐富，但對多時(shí)相街景影像進(jìn)行變化檢測的研究則相對較少。文獻(xiàn)［14］提出了基于BOVW 模型的場景變化檢測方法，并對比分析了不同字典構(gòu)建方法對最終結(jié)果的影響；為了解決獨(dú)立分析引起的誤差累計(jì)問題，文獻(xiàn)［15］提出核化慢特征分析方法，并通過貝葉斯理論融合場景變化概率和場景分類概率；文獻(xiàn)［16-17］提出利用二維圖像進(jìn)行場景變化檢測。該方法根據(jù)不同時(shí)間段獲取的圖像對場景進(jìn)行建模，然后與基于其他時(shí)間段圖像建立的模型進(jìn)行差異對比。但該類方法僅針對拍攝視角一致的圖像，不同視角拍攝的圖像則無法處理；文獻(xiàn)［18-21］將場景變化檢測轉(zhuǎn)換為三維領(lǐng)域的問題。這類方法首先建立穩(wěn)定持續(xù)的目標(biāo)場景模型，然后將查詢圖像與目標(biāo)圖像進(jìn)行比較以檢測變化。但不同區(qū)域城市環(huán)境差異較大，因此場景模型并不適合其他地區(qū)。近年來，深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域表現(xiàn)優(yōu)異，在自動駕駛、人機(jī)交互、醫(yī)學(xué)等方面有諸多應(yīng)用，也有學(xué)者利用深度學(xué)習(xí)進(jìn)行場景變化檢測。文獻(xiàn)［22］提出結(jié)合CNN 和超像素方法對街景進(jìn)行變化檢測。該方法利用CNN 網(wǎng)絡(luò)提取多時(shí)像影像特征，然后將不同時(shí)像的特征圖進(jìn)行對比形成差異圖，再結(jié)合超像素形成的差異圖構(gòu)建整幅圖像的差異圖，最后去除天空和建筑，得到建筑物變化檢測結(jié)果。但CNN網(wǎng)絡(luò)由于不斷將特征圖下采樣，導(dǎo)致小尺度地物特征丟失，因此CNN 網(wǎng)絡(luò)不適合街景影像特征提取。

綜上所述，三維建模方法不具有普適性，而傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)由于特征圖分辨率不斷變小的原因，會丟失小尺度地物。近年來，在CNN 網(wǎng)絡(luò)的基礎(chǔ)上衍生出許多性能優(yōu)秀的神經(jīng)網(wǎng)絡(luò)，本文針對街景影像特點(diǎn)，研究適用于街景影像變化檢測的神經(jīng)網(wǎng)絡(luò)。首先引入對小尺度地物具有很好識別能力的DeeplabV3+網(wǎng)絡(luò)模型，并對該網(wǎng)絡(luò)進(jìn)行微調(diào)，然后將其用于街景影像分類，接著對分類結(jié)果進(jìn)行CVA 運(yùn)算得到差異影像，最后對差異影像進(jìn)行二值化與精度評價(jià)。

1 研究方法

本文提出基于Deeplabv3+的街景影像變化檢測方法。方法架構(gòu)包括3 個部分：①采用微調(diào)的DeeplabV3+訓(xùn)練模型分類；②采用CVA 獲取差異影像；③差異影像二值化和精度評價(jià)。具體而言，首先將兩幅不同時(shí)像的街景數(shù)據(jù)輸入到微調(diào)的DeeplabV3+訓(xùn)練模型得到分類圖，然后將此分類圖進(jìn)行CVA 運(yùn)算得到差異圖，最后將差異圖二值化并進(jìn)行精度評價(jià)，流程如圖1 所示。

Fig.1 Change detection process圖1 變化檢測流程

1.1 街景影像語義分割

現(xiàn)有語義分割網(wǎng)絡(luò)較為豐富，如U-Net、ICNet、PSPNet、HRNet、Segnet、Deeplab 系列。其 中，于2018 年提出的DeeplabV3+網(wǎng)絡(luò)是目前Deeplab 網(wǎng)絡(luò)系列中性能最優(yōu)的網(wǎng)絡(luò)，DeeplabV3+結(jié)合了空洞卷積與ASPP（Atrous Spa?tial Pyramid Pooling），與傳統(tǒng)卷積相比，DeeplabV3+網(wǎng)絡(luò)可保持特征圖分辨率不變，對尺寸小的地物具有很好的識別能力，且能夠較好地保留邊緣細(xì)節(jié)信息。DeeplabV3+網(wǎng)絡(luò)在PASCAL VOC 2012 數(shù)據(jù)集上取得新的最佳表現(xiàn)，mIoU=89.0，驗(yàn)證了Deeplabv3+的優(yōu)秀性能［23］。

DeeplabV3+網(wǎng)絡(luò)由編碼和解碼兩部分組成，編碼模塊由特征提取網(wǎng)絡(luò)與ASPP 組成。其中特征提取網(wǎng)絡(luò)可以選用目前特征提取效果優(yōu)秀的網(wǎng)絡(luò)，特征提取網(wǎng)絡(luò)性能決定了DeeplabV3+網(wǎng)絡(luò)分類精度，因此選取性能優(yōu)秀的特征提取網(wǎng)絡(luò)至關(guān)重要。本文設(shè)計(jì)不同特征網(wǎng)絡(luò)下DeeplabV3+網(wǎng)絡(luò)性能對比實(shí)驗(yàn)，將特征網(wǎng)絡(luò)為VGG 的DeeplabV3+網(wǎng)絡(luò)和Xception 的DeeplabV3+網(wǎng)絡(luò)進(jìn)行對比，實(shí)驗(yàn)采用相同的訓(xùn)練方式，訓(xùn)練完成后將訓(xùn)練模型用于街景影像分類，分類結(jié)果如圖2 所示，從分類結(jié)果可以看出特征提取網(wǎng)絡(luò)為Xception 的DeeplabV3+網(wǎng)絡(luò)具有更優(yōu)秀的性能，因此本文選取Xception 網(wǎng)絡(luò)為特征提取網(wǎng)絡(luò)。

Fig.2 Classification results of Deep lab V3+networks with different feature extraction networks圖2 不同特征提取網(wǎng)絡(luò)的DeeplabV3+網(wǎng)絡(luò)分類結(jié)果

ASPP 由4 種不同空洞率的卷積層和全局平均池化層組成，將4 種卷積后的特征圖和全局平均池化后的特征圖合并作為ASPP 的輸出。空洞卷積用于擴(kuò)大特征圖的感受野，提高小尺寸地物識別能力。全局平均池化層則防止過擬合，同時(shí)提取魯棒性強(qiáng)的特征。由于空洞卷積對小尺寸地物無法重建，同時(shí)會丟失空間層級信息，因此對ASPP 結(jié)構(gòu)進(jìn)行微調(diào)，將Xception 輸出的特征圖與ASPP 輸出的特征圖進(jìn)行合并，這樣做有利于小尺寸地物重建，并加入空間層級信息，微調(diào)后的DeeplabV3+網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

本文首先制作39 幅街景影像標(biāo)簽用于微調(diào)后的Deep?labV3+網(wǎng)絡(luò)訓(xùn)練，然后將訓(xùn)練模型用于街景影像分類，分類結(jié)果如圖4（a）所示，可看出訓(xùn)練模型分類性能極差，原因在于深度學(xué)習(xí)需要大量優(yōu)質(zhì)的標(biāo)簽，但制作標(biāo)簽需要大量時(shí)間。考慮到時(shí)間成本，同時(shí)目前有許多公開的街景數(shù)據(jù)可供使用，如Cityspaces 數(shù)據(jù)集和Camvid 數(shù)據(jù)集，Camvid 數(shù)據(jù)集場景與本文使用的街景數(shù)據(jù)場景類似，因此本文將街景數(shù)據(jù)與Camvid 數(shù)據(jù)集聯(lián)合用于DeeplabV3+網(wǎng)絡(luò)訓(xùn)練，然后將訓(xùn)練模型用于街景影像分類，分類結(jié)果如圖4（b）所示，從分類結(jié)果可以看出混合數(shù)據(jù)訓(xùn)練得到的訓(xùn)練模型分類性能遠(yuǎn)優(yōu)于街景數(shù)據(jù)訓(xùn)練得到的訓(xùn)練模型。

1.2 差異影像獲取與二值化

為了獲取兩期街景影像語義分割結(jié)果的變化區(qū)域，本文采用CVA 方法。CVA 是一種常用的多波段影像差異分析方法，每個像元特征采用向量的方式表示，對應(yīng)為每個波段的一維列向量。由于本文數(shù)據(jù)集為3 個波段，初始化n=3。設(shè)時(shí)相t1和時(shí)相t2中像元灰度矢量為G=，其中g(shù)1,2,3和h1,2,3對應(yīng)圖像的3 個通道，(t1)和(t2)分別是時(shí)相t1和時(shí)相t2第1 波段中第i行、第j列像元灰度。

對時(shí)相t1和時(shí)相t2進(jìn)行差值計(jì)算，得到每個像元變化值，即為變化矢量Δ，公式為：

Δ包含兩期圖像中所有像元變化信息，其變化強(qiáng)度用歐式距離‖Δ‖表示，以此可以生成兩期影像變化強(qiáng)度圖。

Fig.3 DeeplabV3+network structure圖3 DeeplabV3+網(wǎng)絡(luò)結(jié)構(gòu)

Fig.4 Training model classification results of street view image data set and joint data set圖4 街景影像數(shù)據(jù)集與聯(lián)合數(shù)據(jù)集訓(xùn)練模型分類結(jié)果

其中，‖Δ‖表示是全部像元灰度差異，當(dāng)‖Δ‖越大，變化可能性越大。因此可通過確定變化強(qiáng)度大小選擇分割最佳閾值，從而分割變化像元和非變化像元。

實(shí)驗(yàn)在獲取差異影像后，將差異影像像素分為兩種類型：一種為0 值，代表未變化區(qū)域；另一種為非0 值，代表變化區(qū)域。然后將差異影像中為0 值的像素更改為255，將差異影像中非0 值像素更改為0，該過程即為二值化。二值化后黑色像素代表變化區(qū)域，白色像素代表未變化區(qū)域。

1.3 精度評價(jià)

本文采用3 種客觀評價(jià)指標(biāo)：錯檢率（False Negatives Rate，F(xiàn)PR）、漏檢率（False Positives Rate，F(xiàn)PR）和正確率（Percentage Correct Classification，PCC），其中錯檢率計(jì)算公式為：

其中，TN 代表非變化區(qū)域正確的分類個數(shù)，TP 代表變化區(qū)域正確的分類個數(shù)，F(xiàn)N 代表漏檢數(shù)，F(xiàn)P 代表錯檢數(shù)。漏檢率計(jì)算公式為：

正確率計(jì)算公式為：

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)介紹

本文采用的街景數(shù)據(jù)集為TSUNAMI 數(shù)據(jù)集，TSUNA?MI 數(shù)據(jù)集來源于文獻(xiàn)［24］，是日本某地區(qū)海嘯前后的全景街區(qū)影像。實(shí)驗(yàn)選取的兩組街景影像及參考圖如圖5 所示，兩組影像均為1 024 像素×224 像素，對兩組街景影像分別命名為G1 和G2，其中t0 代表變化前影像，t1 代表變化后影像，G1 組t0 和t1 影像分別如圖5（a）、（b）所示，G2 組t0 和t1 影像分別如圖5（c）、（d）所示，G1 和G2 參考圖分別如圖5（e）、（f）。G1 組影像的變化區(qū)域像素為50 242，非變化區(qū)域像素為179 134；G2 組影像變化區(qū)域像素為55 052，非變化區(qū)域像素為174 324。從每組數(shù)據(jù)兩幅不同時(shí)刻的影像中看出建筑物尺度變化范圍大，遠(yuǎn)處建筑物邊界十分模糊，在陰影地方建筑物與植被界限混淆在一起；同時(shí)車輛及電桿等地物也存在尺度范圍變化大、與周圍地物界限模糊的問題，因?yàn)椴煌鞖獾脑蛱炜障袼夭痪吡羺^(qū)域和灰暗區(qū)域同時(shí)存在。

Fig.5 Street images and reference figures of G1 and G2圖5 G1 和G2 街景影像及參考圖

2.2 實(shí)驗(yàn)設(shè)計(jì)

為驗(yàn)證本文方法在街景影像變化檢測中的有效性，將該方法與OTSU［25］和K 均值［26］進(jìn)行對比。實(shí)驗(yàn)分別對G1和G2 兩組影像進(jìn)行變化檢測。G1 和G2 兩組影像采用OT?SU 方法得到的結(jié)果如圖6（a）、（b）所示，采用K 均值方法得到結(jié)果圖如圖6（c）、（d）所示，本文方法結(jié)果圖如圖6（e）、（f）所示。實(shí)驗(yàn)結(jié)果精度如表1 所示。

Fig.6 Experiment results of the first group圖6 第一組對比實(shí)驗(yàn)結(jié)果

Table 1 Accuracy comparison of experimental results表1 實(shí)驗(yàn)結(jié)果精度對比

OTSU 將圖像分割為兩類，閾值由類間方差求出，因此OTSU 不適用于地物類別豐富的影像。影像光譜信息越簡單，分辨率越低，OTSU 得到的效果越好。從差異圖可以看出，OTSU 在天空、道路和植被等區(qū)域均存在大量錯檢，由此可以看出OTSU 不能處理光譜信息多樣的街景影像。K均值錯檢區(qū)域少于OTSU，但依舊在天空和道路等區(qū)域存在大量錯檢，這源于K 均值聚類時(shí)，同物異譜的地物會聚類形成多種類別，因此造成錯檢。由此可以看出K 均值不適合高分辨率的街景影像。相比OTSU 和K 均值，本文方法對天空和道路的錯檢遠(yuǎn)少于這兩種方法，本文方法可針對同物異譜現(xiàn)象，有效提取地物特征和影像空間信息。從G1和G2 兩組數(shù)據(jù)的差異圖中可以看出天空和道路等類別錯檢區(qū)域很少，這是因?yàn)楸疚姆椒ㄌ崛〉牡匚镱悇e特征具有很好的魯棒性，在具有相同地物的影像上能產(chǎn)生相似的分類效果，這是OTSU 和K 均值不具有的優(yōu)點(diǎn)。

本文方法由Camvid 數(shù)據(jù)集和街景數(shù)據(jù)集混合訓(xùn)練得到，這兩個數(shù)據(jù)集雖然都是拍攝于城市場景，但屬于不同國家的城市，因此兩個數(shù)據(jù)集存在差異，如街景數(shù)據(jù)級天空在影像中占比大，而Camvid 數(shù)據(jù)集建筑占比大。本文方法在兩個數(shù)據(jù)集上都表現(xiàn)出良好的分類性能，因此說明本文方法具有很好的泛化能力。

從精度評價(jià)結(jié)果來看，本文方法得到的總體精度比OTSU 分別高39%和41%，比K 均值分別高32%和29%。但由于訓(xùn)練數(shù)據(jù)中街景樣本只有39 幅，而Camvid 數(shù)據(jù)集總有701 幅，樣本不平衡導(dǎo)致街景樣本訓(xùn)練不充分，本文方法得到的精度僅大于70%，精度還有待提升。加入更多的街景訓(xùn)練樣本，或改善DeeplabV3+網(wǎng)絡(luò)損失函數(shù)平衡樣本，會得到更好的訓(xùn)練結(jié)果及精度。

綜上所述，本文方法相比OTSU 和K 均值，可適用于高分辨率、地物多樣和光譜信息復(fù)雜的街景影像變化檢測，同時(shí)本文方法具有較強(qiáng)的魯棒性和泛化能力。

3 結(jié)語

本文針對多時(shí)相街景影像變化檢測，提出了一種微調(diào)的DeeplabV3+網(wǎng)絡(luò)模型變化檢測方法。設(shè)計(jì)兩組對比實(shí)驗(yàn)驗(yàn)證該方法，實(shí)驗(yàn)結(jié)果表明，本文方法精度比傳統(tǒng)統(tǒng)計(jì)方法、機(jī)器學(xué)習(xí)方法提升25%以上。實(shí)驗(yàn)利用混合樣本訓(xùn)練方法對街景數(shù)據(jù)進(jìn)行分類，但這種未經(jīng)過大量街景樣本訓(xùn)練的神經(jīng)網(wǎng)絡(luò)分類和泛化能力有待加強(qiáng)，后續(xù)可對數(shù)據(jù)集街景數(shù)據(jù)加入大量標(biāo)注樣本，重新測試從而改進(jìn)網(wǎng)絡(luò)。