基于群智感知的街景變化檢測方法

摘要：移動群智感知數據包含的圖像和時空情境信息可用于檢測街景圖像變化，但是群智感知數據通常是低質和不規范的。為了準確檢測街景發生的變化，主要解決由拍攝視角差異引起的數據低質問題。首先，針對大視差問題采用圖像配準方法初步對齊圖像并提取出配準特征點；然后，基于配準特征點分布從圖像中提取感興趣區域；隨后，針對差值圖像的誤檢內容，提出基于面積和多特征點的篩選法去除誤檢區域；最后，結合邊緣檢測和超像素分割算法提取完整的變化對象。與MDFNet方法進行比較，實驗結果顯示：當街景發生變化時，該方法的F1-measure值為55.8%，增長6%，錯誤率為10.8%，降低24%；當街景無變化時，該方法的錯誤率為2.8%，下降28%。

關鍵詞：移動群智感知； 圖像配準； 變化檢測； 街景； 電子地圖

中圖分類號：TP381文獻標志碼：A

文章編號：1001-3695（2022）10-049-3186-05

doi：10.19734/j.issn.1001-3695.2022.02.0082

Change detection method of street view image based on crowdsensing

Zhong Weizhaoa， Chen Huihuib

（a.Dept. of Electromechanical Engineering amp; Automation， b.Dept.of Electronics amp; Information Engineering， Foshan University， Foshan Guangdong 528225， China）

Abstract：The images and spatiotemporal contextual information contained in mobile crowdsensing data can be used to detect changes in street view images， but crowdsensing data is usually low-quality and non-standard. In order to accurately detect the changes in the street view， this paper mainly solved the problem caused by low-quality datum which had been collected from different shooting perspectives. Firstly， for the problem of large parallax， it used the image registration method to initially align the images and extract the registration feature points. Then， it extracted the region of interest from the image based on the distribution of the registration feature points. Thirdly， aiming at the error detection content of the difference image， it proposed a screening method based on area and multi-feature points to remove the error detection region. Finally， it extracted the complete changing object by combining edge detection and superpixel segmentation algorithm. Compared with MDFNet method， when the image pairs change， the F1-measure value and error rate of this method are 55.8% and 10.8%， and they have increased by 6% and decreased by 24% respectively. When there are no changes， the error rate of this method is only 2.8% and it is reduced by about 28%.

Key words：mobile crowdsensing; image registration; change detection; street view; electronic map

隨著我國城鄉建設的發展，道路建設日新月異，人們對于出行輔助工具軟件的需求越來越豐富，各類電子地圖給人們的出行帶來了便捷。目前人們的出行已經基本依賴于電子地圖。在電子地圖的基礎上，谷歌街景、百度街景等利用虛擬現實技術將街道全景照片映射到電子地圖，讓人們足不出戶便可以通過電子地圖和街景游遍全球。街景不但為人們的出行提供了便利和安全保障，如路面缺陷預警［1，2］，也為城市化建設提供了展示平臺［3］。專業街景車是街景圖像采集和更新的主要工具，但定時更新街景的工作量非常大。移動群智感知使用人們攜帶的移動智能設備（如智能手機）來感知和收集信息，數據采集成本低且覆蓋度廣，可用于街景圖像更新［4］、路況監測［5，6］、環境質量檢測［7］等。基于移動群智感知的街景變化檢測具備很好的時空優勢，圖像采集成本低、更新快且范圍廣［8，9］，能夠實現街景地圖的短周期更新，但是群智感知數據存在低質、冗余、差異大、不規范等缺點［8］。

街景變化情況通常通過對比拍攝于不同時間的街景照片的差異進行檢測。基于群智感知手段收集街景數據比街景車更靈活，但是照片受角度差別、光線差別等因素影響，導致數據集質量比較低，因此根據圖像差異判斷街景圖像的變化比較困難。首先，由于采集人位置不固定，兩張不同的街景圖像可能是由于視角差異引起的圖像差異，從而導致判斷失效；其次，圖像的差異具體表現在像素上，而街景變化以物體（對象）為單位出現或者消失，需要從像素級別的差異信息中擴展并獲取具體的變化對象。為了解決以上兩個問題，本文的貢獻包括：a）提出端到端的針對大視差街景圖像對變化對象檢測的算法框架，通過引入圖像配準方法解決視差問題，并提出基于多特征點空間分布信息的消除錯誤檢測信息的算法；b）根據物體邊界的連續性，結合邊緣檢測和超像素分割算法提取具體的變化對象；c）以校園為測試場景，采集并構建了校園街景圖像數據集，通過對比最新的相關工作，證明方法的有效性。

1相關工作

街景變化的檢測方法已有大量的研究［10～24］。根據街景變化類型、方法和用途，可以將它們分類為二維圖像變化檢測和三維場景建模檢測。二維圖像變化檢測是主要的街景變化檢測方法［10～19］。街景變化的傳統檢測方法是根據在不同時間捕獲的一組圖像創建街景的外觀模型，并將其與新捕獲的查詢圖像進行比較以檢測變化。這類研究的主要關注點是如何處理不相關的外觀變化，如光照差異［10］。為了能從不相關的外觀變化中更準確地檢測出真實的變化，Zhao等人［11］提出了一種孿生編碼器—解碼器的網絡結構，實現語義級別的變化檢測；Chen等人［12］ 在編碼器—解碼器的網絡結構上添加了動態感知時間注意模塊，并結合水平和垂直的并發注意模塊對檢測結果進行精細化；文獻[13]提出從不同的網絡層中提取特征進行融合，檢測從整體到局部的變化區域。

在視角差異的問題上，也有大量研究。Sakurada等人［14］提出了一種利用卷積神經網絡特征與超像素分割相結合的變化檢測方法。其他基于神經網絡的檢測方法還有結合卷積網絡和反卷積網絡的多層特征融合實現不同尺度變化信息獲取的ChangeNet［15］；結合語義分割模型和圖割的街景影像變化檢測方法［16］；通過融合多重差異特征以獲得不同尺度變化信息的MDFNet（multiple difference features network）［17］ 方法；使用光流估計法配準圖像對得到掩碼圖像，再結合原圖像結構信息得到變化區域的Mask-CDNet（mask based pixel change detection network）［18］。除了視角差異外，為了處理放縮、旋轉引起的圖像差異，Guo等人［19］提出了全卷積孿生度量網絡CosimNet（fully convolutional Siamese metric network），并加入了閾值對比損失懲罰噪聲變化。在三維領域中也有很多解決方法［20～22］。它們采集多組街景圖像構建多視圖立體（multi view stereo，MVS）。通過對比新模型和原始模型之間的差異來檢測MVS的變化，并局部更新MVS。這種比較的準確性取決于可獲得的MVS重建質量。場景的三維模型通常通過使用三維傳感器而不是普通相機來創建。有的研究將多傳感器融合的即時定位與地圖構建（simultaneous localization and mapping，SLAM）和快速密集三維重建流水線連接起來，將粗配準的圖像對提供給DN（deconvolutional network），用于像素方向的變化檢測［20］。有的研究通過3D模型將圖像重新投影到另一個圖像上來發現圖像對之間的變化，并使用多個圖像組合解決檢測過程中產生的歧義，以便估計變化的3D位置［21］。這些方法是為維護/更新現有的三維城市模型而設計的。

還有另一種類型的研究，使用大量街景的多視圖圖像并通過運動結構的方法創建其時空模型。有研究利用幾十年來拍攝的大量城市圖像，實現特定類型的時間推斷，如估計建筑的建造時間［23，24］。在思想上，他們的方法都是通過使用互聯網圖像數據集來檢測場景的變化，如廣告和建筑墻上繪畫的變化。假設有足夠數量的場景多視圖圖像可用，該方法可以使用SFM（structure from motion）來重建場景的三維模型。

基于群智感知的城市街景圖像更新主要通過手機拍攝的照片差異識別街景的變化，也是通過比較由參與者在不同時間拍攝的街景圖像來檢測街景變化。本文方法屬于二維圖像變化檢測方法，區別于傳統的檢測方法和現有的神經網絡方法，本文方法在不進行大量的數據訓練和語義分割的情況下，通過多個圖像處理模塊，檢測視差街景圖像對的變化內容，并從中提取具體的變化對象。

2街景變化檢測算法

2.1算法框架

街景變化的檢測主要通過對拍照情境（包括位置和拍照角度）相似的兩張照片進行差異檢測，包括四個步驟，分別是圖像預處理、變化區域提取、變化區域篩選和變化區域擴展，流程如圖1所示。

a）圖像預處理。包括使用尺寸重構把圖像對轉換為同一尺寸；使用直方圖規定化［25］使圖像對的灰度直方圖一致；使用圖像配準算法對齊街景圖像對，本文以基于SIFT（scale-invariant feature transform）特征點的APAP算法［26］為例；提取涵蓋所有配準特征點的最小矩形區域作為感興趣區域（region of interest，RoI）進行研究，減少不必要的計算量。

b）在RoI中提取變化區域。包括使用圖像減法得到二值差異圖；使用基于閾值的多種子生長法提取天空區域，解決天空區域多變的問題［27］；使用孔洞填充法解決配準造成的像素缺失問題；使用形態學操作把變化內容分成多個子區域提取出來。

c）對變化區域進行篩選。包括使用面積篩選法濾除變化內容像素面積過小的變化子區域；使用多特征點篩選法濾除較多特征點分布的變化子區域。

d）擴展變化區域，并提取完整的變化對象。包括使用邊緣檢測法提取變化區域中物體的輪廓；使用邊緣擴展法對輪廓進行四鄰域延伸，得到完整的物體輪廓；最后結合超像素分割法［28］提取出完整的變化對象。

2.2RoI圖像提取

RoI圖像提取的目的在于從圖像中分割出用于識別街景變化的圖像區域，并剔除其余區域。因為沒有特征點分布的區域是不重合的或者沒有經過配準的，所以對這種區域操作會產生大量不必要且錯誤的運算。

記原街景圖像為It，新提交圖像為I。配準街景圖像I和It后，得到圖像It映射變換后的I′。由于APAP算法是一種單向配準算法，目標圖像I在配準過程中不發生形變，所以使用圖像I中涵蓋所有配準特征點的最小矩形區域來提取圖像I′和I的RoI，記做Rt和R。Rt和R分別是I′和I的子圖像。配準特征點指的是在APAP算法中用于估計單應矩陣H的SIFT特征點。

2.3街景變化區域提取

街景變化區域的提取過程分為圖像求差、天空消除、修補邊緣和區域連通四部分。經過配準后，圖像Rt和R在相同位置的像素信息可視為是對應的，求得的差值圖像即為變化圖像。為了簡化計算，使用式（1）把彩色圖像Rt和R灰度化，再對灰度化后的兩幅圖像求差，得到差值圖像D。使用大津法［29］找到最佳閾值將圖像D轉換為二值圖像D′，像素值為1的區域是兩幅圖像的差別區域，值為0的區域是相同區域。

gy=0.299×r+0.578×g+0.114×b（1）

其中：r、g、b分別表示紅、綠、藍三通道值；gy表示灰度值。

通常，兩張照片采集的時間是不同的，不同的天氣和云彩可能被誤檢為差別區域，因此，消除天空區域也是街景差別檢測的重要工作。基于閾值分割的種子生長法是提取天空區域的常用方法，但是使用單一種子點容易導致分割出來的天空區域不完整，所以本文引用多種子生長法來提取天空區域［21］。

從圖像Rt和R中提取出天空區域的二值化掩膜圖像分別記為Mt和M，其中，像素值為1的區域是天空區域，像素值為0的區域是非天空區域。對圖像Mt和M使用孔洞填充法后，使用式（2）更新差異圖D′天空部分的像素。

D′x，y←|Mtx，y－Mx，y|if Mtx，y∨Mx，y=1（2）

其中：Mx，y表示圖像M在（x， y）處的像素值。網格配準的圖像邊緣區域可能由于大形變后邊界像素缺失導致出現1值像素塊，而這種黑色像素塊在圖像相減后可能被當做變化區域提取出來，所以需要在差異圖D′中提取變化內容前填充像素缺失的區域。填充方法如式（3）所示。

D′x，y←0if（D′x，y=1）∧（Rtx，y∨Rx，y=0）（3）

其中：Dx，y表示D在（x， y）處的像素值。在二值差異圖像D′中，可能出現變化對象的輪廓并不清晰，內部存在孔洞區域，相鄰對象存在牽連的問題，因此，存在黑點噪聲和白點噪聲。在分別使用開運算和閉運算后，消除圖像中的黑白噪聲，得到多個無噪聲的連通區域。最后，通過二值差異圖像像素的四鄰域得到連通區域，此連通區域即為初始的變化區域，連通區域的個數為變化區域的個數，這些變化區域集合記為C1。

2.4變化區域篩選

C1中存在部分由于圖像配準不精確造成的誤檢變化區域，需要消除這些錯誤檢測區域。

誤檢變化區域類型主要包括：a）由于微小形變帶來的小面積誤檢變化區域；b）由視角差導致遮掩問題所帶來的誤檢變化區域。針對類型a），使用變化區域面積過濾法；針對類型b），使用基于多特征點的網格篩選法。變化區域提取流程如圖2所示。

2.4.1面積篩選法

本文關注的是街景圖像上發生較大變化區域的情況，未嚴格對齊的差異像素點組成的細小面積區域是可以忽略的。面積過小的變化區域可以濾除，過濾閾值記做th（本文th=0.03），使用式（4）把小面積候選區域濾除后，得到新的變化區域集合C2。

C2←C1－cifS（c）S（R）lt;th，c∈C1（4）

其中：S（k）表示變化區域k的面積。

2.4.2多特征點篩選法

變化區域內的圖像匹配特征點數量較少，因此，匹配特征點數量可以用來判斷變化區域是否為真。但是，變化區域內的物體缺少匹配特征點，僅使用SIFT特征點在數量上是不足夠的。并且由于視角差異的存在，在特征描述上要求特征描述子需具有尺寸不變性，所以，本文使用SIFT和ORB（oriented FAST and rotated BRIEF）相結合的多特征點。多特征點方法在特征點數量增多的同時，能增加特征點的多樣性。為了保證匹配特征點的質量，使用RANSAC算法濾除錯誤匹配的特征點對。以下特征點提取默認使用RANSAC算法。

由于匹配特征點在圖像中的空間分布是不均勻的，如果大量匹配特征點聚集，那么一個包含這些聚集特征點的較大區域內的匹配特征點數量仍然非常多。所以，直接使用匹配特征點數量容易造成誤判，故本文采用基于網格劃分的特征點數量比對方法。由于多特征點匹配過程中不可避免地受到視角差的影響，所以本文提出分別提取圖像Rt和R、It和I的SIFT特征和ORB特征并組成新的多特征集合，在保證特征點數量的同時增大了特征匹配的視野。變化區域集C2中可能包含了未真實發生變化的區域。針對C2中的任一區域，提取該區域在圖像Rt和R上的子圖像，記為I1和I2。將子圖像劃分為5×5的網格，用能夠覆蓋到匹配特征點網格數量的倒數表示圖像的相似指數d，如式（5）所示。

dI1=1gn1，dI2=1gn2（5）

其中：gni表示能夠覆蓋圖像Ii的匹配特征點的網格數量。一幅圖像的相似指數越大，說明它與另一幅圖像越相似。

thr=max1000S（c），112c∈C2（6）

其中：S（k）表示子圖像k的面積。如果相似指數小于閾值thr，從C2移除該區域，最后得到過濾后的變化區域集C3。

2.5變化區域擴展

變化區域篩選后，需要通過區域連通和擴展方法獲取完整的變化區域才能提取到發生變化的物體。同一物體的邊緣像素點通常具有連續性和相似性，因此，從邊緣對圖像進行連通區域擴展，先檢測邊緣，提取到圖像中發生變化物體的區域后，采用超像素法分割圖像。

a）使用Sobel算子對C3變化區域的子圖像進行邊緣檢測，得到梯度值圖。去除梯度值過小的點后（閾值為80），梯度值不等于0的像素點作為初始邊緣點，放入集合G中。然后，在原圖像中分別遍歷G中的點，將G中各點的連通點分別逐步放入G中。點A是點B的連通點需滿足三個條件：（a）點A與點B相鄰；（b）在梯度值圖中，點A處與點B處的梯度值之差小于閾值thg（本文thg=50）；（c）以A為中心的21×21個像素內沒有匹配特征點。最后，G中的點組成的區域即為連通區域。

b）基于超像素分割法［22］獲取完整的變化圖像內容。首先，隨機選取ns個種子點，使用超像素法把原圖像分割成ns個形狀不規則的像素塊。然后，針對集合G中的每一個像素點gi，使用式（7）計算gi與半徑為q（本文q=10）像素范圍內的種子點的距離，找到距離其最近的種子點sj，將點gi和sj所在像素塊合并。最后以合并后的像素塊的中心點作為新的種子點，進行下一輪迭代。

sj=argmin（|bgi－bsj|+|lgi－lsj|×k）|lgi－lsj|≤q（7）

其中：bp表示p的RGB顏色向量;lp表示像素點p的位置向量;k為權重系數。迭代n次后，集合G中每個像素點對應的像素塊即為最終標注的街景變化區域。

3實驗結果

3.1數據集

實驗以校園為街景變化檢測對象，招募五名志愿者按照拍攝地點和拍攝姿態采集數據。拍攝姿態包括方位角和俯仰角。通過利用手機傳感器，數據采樣App能夠基本保證拍攝過程中方位角和俯仰角的偏差角度不大于3，GPS定位距離不大于1 m。圖像采集時間跨度不超過3個月。實驗總共采集了100組校園街景圖像，包含了15個場景，用于實驗的照片尺寸統一壓縮為640×480。在實驗中，100組街景圖像被分為兩組：a）街景發生變化的圖像，共60對照片，記為G1；b）街景未發生變化的圖像，共40對照片，記為G2。為評估和對比方法的效果，實驗還對數據集進行了標注，0（黑色區域）表示非變化區域，而變化區域則保留原有的顏色信息。檢測數據主要采集了路面和樓面物品的改變，如樓面裝飾、障礙物、汽車的出現/消失。

3.2實驗參數

經過多次實驗，本文選擇了實驗結果最好的一組參數作為文本的實驗參數。部分參數已在文中直接給出，這里不再闡述。在街景變化區域提取中，開運算的卷積核大小為5×5，閉運算的卷積核大小為15×15。在變化區域篩選中，SIFT特征點匹配參數與文獻［26］中一致；ORB相似特征點匹配的距離閾值設為0.9；APAP算法匹配的比率閾值設為0.8，即最優匹配特征向量距離和次優匹配特征向量距離的比值≤0.8；除此之外，RANSAC中數量最大值的可信度設為90，投影位置和相應位置之間的最大像素距離設為60。在變化區域擴展中，超像素分割法的初始種子點數ns為3 000，權重系數k為1.5，種子點的迭代次數n為10。

3.3評價指標和基準方法

實驗評價采用了四個評價指標，分別是精確率、召回率、F1-measure和錯誤率。

精確率指從RoI圖像（有效檢測區域，即兩幅輸入圖像的重疊區域）中實驗檢測到的正確變化區域面積占檢測到的變化區域總面積的比例；召回率指從RoI圖像中檢測到的正確變化區域面積占真實變化區域面積的比例；F1-measure值根據精確率和召回率計算；錯誤率指從RoI圖像中提取的錯誤變化區域面積占真實的非變化區域面積的比例。為了驗證本文算法的有效性，使用大津法［29］結合圖像差值法作為基準方法，并與工作相近的文獻［15～17］方法進行比較。

3.4實驗結果分析

本文在訓練文獻［15］的ChangeNet模型和文獻［17］的MDFNet模型時，除了使用文獻［17］中提到的PCD數據集，還添加了70對本文采集的圖像，其中G1組圖像42對，G2組圖像28對，并對圖像進行了數據增廣。而文獻［16］的DeeplabV3+網絡使用Camvid數據集進行訓練。以下可視化結果從50 epoch的訓練中取測試集損失最小的模型所得。

本文方法在數據集G1和G2下的平均精確率、召回率、F1-measure值和錯誤率的實驗結果統計如表1所示。數據集G2中的圖像對未發生變化，精確率、召回率和F1-measure無效，不予評價。

結果顯示，G1組數據采用本文方法得到了55.8%的F1-measure值，比基準方法、文獻［15～17］方法得到的分別增長了約38%、24%、7%和6%；本文方法獲得的平均錯誤率為10.8%，較基準方法、文獻［16，17］方法分別下降了約35%、20%和24%，而較文獻［15］方法增長了約9%。G2組數據采用本文方法得到了2.8%的平均錯誤率，比基準方法、文獻［16，17］方法得到的分別下降了約46%、29%和28%，而較文獻［15］方法增長了約2%。為了更直接地比較，圖3～5在數據統計過程中隨機選取未參與訓練的三個圖像對作為案例進行可視化比較。當圖像對中存在變化內容時，如圖3和4所示，分別把方法檢測結果（c）～（g）和真實結果標注（h）進行比較，可知本文方法較對比方法能更精確地檢測出兩幅街景圖像中的變化對象。當圖像對中不存在變化內容時，如圖5所示，本文方法無錯檢內容，除文獻［15］外的其他對比方法的檢測結果仍存在大片錯檢區域。

結合指標和可視化結果可得，本文方法整體上優于對比方法，且能更精確地提取變化對象。文獻［15］方法在兩個數據集上獲得了最低的錯誤率和較低的召回率，對局部的變化檢測比較準確，但對較大變化對象的提取能力較弱。文獻［16］方法雖然通過語義分割對視差具有一定的魯棒性，但對于圖像配準后產生的扭曲，其逐像素比較得到變化結果的方法無法得到較好的檢測結果，而且錯誤率會更高，在復雜的街景環境下，語義分割的效果不完全正確也是原因之一。文獻［17］方法效果僅次于本文方法，其提取的多層不同尺寸的差異特征能較好地處理視差問題，但是細節部分的處理能力欠佳，且誤檢率較高。而本文借助配準特征點對的分布信息，能較好地處理由于像素未能精確對齊而產生的差異問題。最后基于物體邊緣的連續性這一特性，以提取出具體的變化對象為導向，提高精確率、召回率和F1-measure，并減少錯誤率。

4結束語

本文提出了一種基于群智感知數據檢測街景變化的框架和方法。實驗采用由志愿者拍攝的校園街景圖像數據集，實驗指標值和實驗結果顯示，該方法目前能夠較準確地檢測出街景變化的內容。本文方法比較依賴于圖像配準特征點對的分布信息，通過多特征點組合的方法來提高配準精度，但是增加了計算消耗，因此本文使用的APAP圖像配準算法還有待改進。未來，筆者將研究如何結合特征點的空間分布信息和輕量級的神經網絡，更好地完成基于群智感知的街景圖像變化檢測任務。

參考文獻：

[1]Huang Jiong， Hu Sheng， Wang Yun， et al. GrabView：a scalable street view system for images taken from different devices［C］//Proc of the 5th International Conference on Multimedia Big Data.Pisca-taway，NJ：IEEE Press，2019：302-304.

［2]Vishnani V， Adhya A， Bajpai C， et al. Manhole detection using ima-ge processing on Google Street View imagery［C］//Proc of the 3rd International Conference on Smart Systems and Inventive Technology.Piscataway，NJ：IEEE Press，2020：684-688.

［3]Xu Chi， Chen Qiao， Liu Jiangchuan， et al. Smartphone-based crowdsourcing for panoramic virtual tour construction［C］//Proc of IEEE International Conference on Multimedia amp; Expo Workshops.Piscataway，NJ：IEEE Press，2018：1-4.

［4]Peng Zhe， Gao Shang， Xiao Bin， et al. CrowdGIS： updating digital maps via mobile crowdsensing［J］.IEEE Trans on Automation Science and Engineering，2017，15（1）：369-380.

［5]Wang Qianru， Guo Bin， Wang Leye， et al. Crowdwatch： dynamic sidewalk obstacle detection using mobile crowd sensing［J］.IEEE Internet of Things Journal，2017，4（6）：2159-2171.

［6]Kong Yingying， Yu Zhiwen， Chen Huihui， et al. Detecting type and size of road crack with the smartphone［C］//Proc of IEEE International Conference on Computational Science and Engineering and IEEE International Conference on Embedded and Ubiquitous Computing.Piscataway，NJ：IEEE Press，2017：572-579.

［7]Leonardi C， Cappellotto A， Caraviello M， et al. SecondNose： an air quality mobile crowdsensing system［C］//Proc of the 8th Nordic Conference on Human-Computer Interaction：Fun，Fast，Foundational.2014：1051-1054.

［8]Chen Huihui， Guo Bin， Yu Zhiwen. Measures to improve outdoor crowdsourcing photo collection on smart phones［C］//Proc of IEEE SmartWorld， Ubiquitous Intelligence amp; Computing， Advanced amp; Trusted Computing， Scalable Computing amp; Communications，Cloud amp; Big Data Computing，Internet of People and Smart City Innovation.Piscataway，NJ：IEEE Press，2019：907-915.

［9]Chen Huihui， Cao Yangjie， Guo Bin， et al. LuckyPhoto： multi-facet photographing with mobile crowdsensing［C］//Proc of ACM International Joint Conference and International Symposium on Pervasive and Ubiquitous Computing and Wearable Computers.2018：29-32.

［10]Radke R J， Andra S， Al-Kofahi O， et al. Image change detection algorithms：a systematic survey［J］.IEEE Trans on Image Proces-sing，2005，14（3）：294-307.

［11]Zhao Xinwei， Li Haichang， Wang Rui， et al. Street-view change detection via Siamese encoder-decoder structured convolutional neural networks［C］//Proc of VISIGRAPP.2019：525-532.

［12]Chen Shuo， Yang Kailun， Stiefelhagen R. DR-TANet： dynamic receptive temporal attention network for street scene change detection［C］//Proc of IEEE Intelligent Vehicles Symposium.Piscataway，NJ：IEEE Press，2021：502-509.

［13]Lei Yinjie， Peng Duo， Zhang Pingping， et al. Hierarchical paired channel fusion network for street scene change detection［J］.IEEE Trans on Image Processing，2020，30：55-67.

［14]Sakurada K， Okatani T. Change detection from a street image pair using CNN features and superpixel segmentation［C］//Proc of BMVC.2015：1-12.

［15]Varghese A， Gubbi J， Ramaswamy A， et al. ChangeNet： a deep learning architecture for visual change detection［C］//Proc of European Conference on Computer Vision Workshops.2018.

［16]李文國，黃亮，左小清，等.一種結合語義分割模型和圖割的街景影像變化檢測方法［J］.全球定位系統，2021，46（1）：98-104.（Li Wenguo， Huang Liang， Zuo Xiaoqing， et al. A street view image change detection method combining semantic segmentation model and graph cuts［J］.GNSS World of China，2021，46（1）：98-104.）

［17]詹瑞，雷印杰，陳訓敏，等.基于多重差異特征網絡的街景變化檢測［J］.計算機科學，2021，48（2）：142-147.（Zhan Rui， Lei Yinjie， Chen Xunmin， et al. Street-view change detection based on multiple difference feature network［J］.Computer Science，2021，48（2）：142-147.）

［18]Bu Shuhui， Li Qing， Han Pengcheng， et al. Mask-CDNet： a mask based pixel change detection network［J］.Neurocomputing，2020，378：166-178.

［19]Guo Enqiang， Fu Xinsha， Zhu Jiawei， et al. Learning to measure change： fully convolutional Siamese metric networks for scene change detection［EB/OL］.（2018-10-22）.https：//arxiv.org/abs/1810.09111.

［20]Alcantarilla P F， Stent S， Ros G， et al. Street-view change detection with deconvolutional networks［J］.Autonomous Robots，2018，42（7）：1301-1322.

［21]Ku Tao， Galanakis S， Boom B， et al. SHREC 2021： 3D point cloud change detection for street scenes［J］.Computers amp; Graphics，2021，99：192-200.

［22]Taneja A， Ballan L， Pollefeys M. City-scale change detection in cadastral 3D models using images［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2013：113-120.

［23]Schindler G， Dellaert F. Probabilistic temporal inference on reconstructed 3D scenes［C］//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2010：1410-1417.

［24]Matzen K， Snavely N. Scene chronology［C］//Proc of European Conference on Computer Vision.Cham：Springer，2014：615-630.

［25]Coltuc D， Bolon P， Chassery J M. Exact histogram specification［J］.IEEE Trans on Image Processing，2006，15（5）：1143-1152.

［26]Zaragoza J， Chin T J， Brown M S， et al. As-projective-as-possible image stitching with moving DLT［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2013：2339-2346.

［27]張燕麗，柯旭.結合天空區域檢測的圖像去霧算法研究與實現［J］.重慶工商大學學報：自然科學版，2017，34（5）：37-42.（Zhang Yanli， Ke Xu. Research and implementation of image defogging algorithm combined with sky area detection［J］.Journal of Chongqing Technology and Business University：Natural Science Edition，2017，34（5）：37-42.）

［28]Stutz D， Hermans A， Leibe B. Superpixels： an evaluation of the state-of-the-art［J］.Computer Vision and Image Understanding，2018，166：1-27.

［29]Otsu N. A threshold selection method from gray-level histograms［J］.IEEE Trans on Systems，Man，and Cybernetics，1979，9（1）：62-66.

收稿日期：2022-02-21；

修回日期：2022-04-19

基金項目：國家自然科學基金資助項目（61972092，61902068）

作者簡介：鐘委釗（1997-），男，廣東茂名人，碩士，主要研究方向為智能感知、圖像處理；陳薈慧（1978-），女（通信作者），河南洛陽人，教授，碩導，博士，主要研究方向為智能感知、城市大數據（hhchen@fosu.edu.cn）.