基于神經網絡的遙感圖像變化檢測系統

摘要：變化檢測是計算機視覺領域極具研究價值的技術分支。為提高長江沿岸生產建設活動的監管效率，以影像配準為基礎，結合自注意力與特征信息提取，提出了長江沿岸建筑物變化檢測系統。該系統集影像處理、影像配準、變化檢測為一體，實現了全流程自動化處理的功能。結果表明：① 設計的系統在影像配準上將精度誤差控制在2個像素內，達到了像素級精度。② 該系統在變化檢測測試數據集上的F1值取得了優于75%的結果，證明該系統的精度較高。研究成果也可應用于大型水庫岸線保護監測等場景中，提升庫區治理管理的效率。

關 鍵 詞：遙感圖像； 人工智能； 影像配準； 變化檢測； 岸線監測

中圖法分類號： TP183

文獻標志碼： A

DOI：10.16232/j.cnki.1001-4179.2024.09.031

0 引 言

近年來，隨著社會經濟的快速發展，人類活動日益增多，土地利用與生產建設需求愈發強烈，隨之帶來的監管難度越來越大。因此，發展土地利用監測技術，及時準確掌握地表建筑物變化對國家經濟建設、生態建設和可持續發展起著至關重要的作用。

互聯網、人工智能、遙感大數據等現代新興技術發展迅速，驅動遙感智能監測、監控技術迅速崛起。深度學習等人工智能技術的引入進一步促進了遙感領域的蓬勃發展。依托人工智能、計算機視覺的相關研究，一大批基于遙感影像的智能應用如遙感圖像配準、變化檢測等取得了巨大的進步［1-2］。

遙感圖像配準算法分為手動、自動、半自動3種不同方式，可見光傳感器圖像通常使用基于特征的圖像配準算法。該算法需要提取穩定一致的特征，在遙感圖像中，河流、湖泊、道路、標志性建筑物在不同成像分辨率和成像模式下均能保持穩定，且可以輕易區分。傳統的圖像配準算法通常采用基于SIFT、SURF、FAST等特征點描述子的特征點提取方法，這些描述符提取簡單，易于使用，但對于圖像源的差異變化不敏感，魯棒性不強。而隨著卷積神經網絡的發展，基于卷積神經網絡的特征提取與配準方法開始逐漸應用于圖像配準中，如Alexey等［3］提出通用特征學習方法訓練卷積神經網絡，增強了特征的泛化屬性與魯棒性，在匹配任務中優于SIFT描述子；Yang等［4］使用預訓練的VGG網絡提取特征，在遙感領域取得了較好的效果；Ma等［5］提出基于DocUNet的配準方法，使用兩層堆疊的Unet進行特征學習。然而，現有研究所使用的數據集尺寸較?。▽?、高均小于1 000像素），無法適應如高分二號遙感圖像等大尺寸數據的輸入，因而限制了這些方法的實際場景使用。

近些年來，基于深度學習的多時相遙感圖像變化檢測方法也取得了長足的發展，它基于多層結構組成的模型能夠學習具有多個抽象級別范圍的數據樣本的表示層次［6-7］。從方法上來說，應用于變化檢測的深度學習方法可以分為4類：全監督、半監督、無監督和遷移學習。全監督方法通過從標記的訓練數據集中學習輸入圖像與二值變化結果的映射關系來獲得一個精度較高的模型［8-9］；半監督與無監督方法主要用來處理大量可用于變化檢測的成對數據無標注的問題［10-11］；遷移學習則支持使用一種數據類型的訓練模型去推理另一種數據類型的輸出。以此3種方法為基礎，模型一般選擇孿生結構或基于U-Net結構處理數據［12-13］，生成特征，輸出結果。

然而，基于深度學習的變化檢測方法都是針對已經預處理與配對完成的遙感影像，針對大尺寸影像的端到端變化檢測的研究還處于起步階段。當前各類針對遙感圖像的處理模型，不論是基于傳統方法還是基于深度學習方法，都只關注某一角度的問題。如果想要實現端到端一步到位地處理原始輸入圖像，并獲取帶有準確地理位置信息的最終變化檢測結果，必須花費大量的時間進行模型篩選匹配、參數調優、中間流程數據處理等工作，不利于各類模型的落地應用。

針對上述問題，本文建立了端到端的遙感圖像變化檢測系統，以長江沿岸建筑物為研究對象，實現了集影像預處理、影像配準與變化檢測的全流程自動化的功能。此外，在圖像配準部分，將網格配準法與深度學習的方法結合，提出了適用于大尺寸遙感圖像配準的深度學習方法，以期提升河湖岸線動態監測的效率。

1 遙感圖像變化檢測系統原理

本文提出的遙感圖像變化檢測系統整體框架如圖1所示，整個系統共分為3個部分：影像預處理、影像配準和變化檢測。各部分以依次級聯的方式形成端到端的處理流程，有效地提高了系統的處理效率。首先，系統以L1級遙感影像對作為輸入，經過影像預處理得到用于影像配準的影像對；其次，該影像對通過網格配準、圖像裁剪輸出地理位置信息精準匹配、滿足變化檢測模型輸入尺寸要求的影像對；最后，針對每一個裁剪的影像對輸入到變化檢測模型后產生的輸出結果，按照裁剪方式拼接回原圖即可得到二值化的變化檢測結果。

1.1 影像預處理

該模型將兩個包含MSS與PAN遙感圖像的壓縮文件作為整個系統的輸入，經過解壓、正射校正、圖像融合這3個步驟的處理后生成一對遙感圖像作為后續操作的輸入。

其中，正射校正通過在圖像中選取地面控制點，利用原來已經獲取的該圖像范圍內的數字高程模型（DEM）數據，對圖像同時進行傾斜修正和投影差修正，將影像重采樣成正射影像［14］。本文使用的GF2數據中包含兩類數據源：① 低分辨率的多光譜MSS圖像，分辨率為3.2 m；② 高分辨率單波段PAN圖像，分辨率為0.8 m。在經過正射校正后，這兩類數據源的分辨率分別被調整為4.0 m與0.8 m。

圖像融合操作是將低分辨率的多光譜圖像與高分辨率的單波段圖像重采樣生成一幅高分辨率多光譜圖像［15］。使用Gram-Schmidt Pan Sharpening（GS）方法來完成此操作，GS改進了PCA中信息過分集中的問題，不受波段限制，可較好地保持空間紋理信息，尤其是能高保真保持光譜特征。這個方法將分辨率為4.0 m的MSS圖像與分辨率為0.8 m的PAN圖像融合為分辨率為0.8 m的重采樣結果圖像，具體過程如下：

（1） 將多光譜影像的每個波段視為一個向量，將全色影像視為一個參考向量。

（2） 將全色影像的參考向量與第一個多光譜波段向量進行內積運算，得到一個標量。

（3） 將這個標量乘以第一個多光譜波段向量，得到一個新的向量。

（4） 將新的向量從多光譜影像中減去，得到一個新的多光譜波段向量。

（5） 重復以上步驟，將全色影像的參考向量與剩余的多光譜波段向量進行內積運算，并將得到的標量乘以相應的多光譜波段向量，然后從多光譜影像中減去，得到新的多光譜波段向量。

重復以上步驟，直到處理完所有的多光譜波段向量，即可得到全色波段和多光譜波段融合后的影像。圖像預處理前后的輸入與輸出結果如圖2所示。

1.2 影像配準

影像配準是變化檢測模型的前提與基礎。為適應遙感圖像分辨率高、圖像尺寸大的特點，本文提出基于網格的深度學習圖像配準方法，在滿足遙感圖像數據輸入需求的同時利用深度學習網絡改善模型性能［16］。

影像配準的整體結構可分為特征點提取、特征點匹配、單應性矩陣計算、圖像變換等4個部分。整體流程如圖3所示。

首先使用SuperPoint深度學習網絡代替傳統的SIFT特征提取器，對圖像的特征點進行提?。?7］。SuperPoint網絡分為編碼器與解碼器兩部分，其中解碼器又分為特征點提取與描述符計算2個子網絡，子網絡共享編碼器特征，分別輸出特征點位置及其描述符。

其次，將得到的兩組特征點集合及其描述符輸入SuperGlue深度學習網絡進行特征點匹配［18］，SuperGlue網絡將特征信息映射到高維空間，通過圖神經網絡中交替的自注意力與交叉注意力模塊創建更強的描述信息，隨后使用Sinkhorn算法獲得匹配得分矩陣，對不能匹配的特征點進行剔除。

最后，由于圖像對之間的仿射變換可以由單應性矩陣獲得，使用RANSAC（隨機一致性采樣）算法通過所得的特征點對擬合單應性矩陣［19］。RANSAC算法是從一組含有噪聲的數據中正確估計數學模型參數的迭代算法。RANSAC算法首先選擇出可以估計模型的最小數據集，隨機截取特征點子集計算數據模型（即擬合單應性矩陣結果），隨后將其他特征點代入模型，評估剩余的特征點是否符合所得模型，以內點（即符合模型的特征點數量）作為模型評價指標，重復上述過程直至迭代結束并選擇最優結果。得到最優單應性矩陣后，通過單應性矩陣與原始圖像矩陣相乘，即可對原始圖像進行變換，獲得配準結果。

在配準流程中，為適應高分2號遙感圖像分辨率高、尺寸大的特點，首先對圖像進行縮放并使用SuperGlue算法進行粗配準，粗配準誤差控制在20個像素以內。隨后，使用網格法將一組景圖像按區域進行劃分，區域大小為1024×1024，圖像尺寸不足的部分以0像素進行填充，以進行逐區域的圖像配準。在經過區域的特征點匹配后，將特征點對映射到景圖像并存儲，最終以景圖像的特征點對集合進行單應性矩陣的擬合。本文提出的圖像配準算法在一景高分2號遙感圖像上達到了2個像素以內的誤差。

1.3 變化檢測

為適應變化檢測模型需求，將配準所得圖像進行裁剪。同時，為防止圖像中的部分建筑因裁剪而無法被檢測，導致模型精度降低，在裁剪過程中加入了20%的區域重疊。

該模型的變化檢測部分將剪裁為固定大小的一組圖像對作為輸入，每對輸入是同一位置不同時間拍攝的經過一系列預處理的遙感視角圖像，其對應結果為一張與輸入圖像對大小相同的二值圖，1表示對應像素位置發生了變化，0表示未變化。為了完成上述任務，使用一種雙時圖像轉換模塊，通過高效建模上下文時空域信息，生成更加準確的變化檢測結果。

在模型內部，將輸入圖像對表示為幾個令牌，并使用轉換編碼器在基于令牌的緊湊時空中建模上下文，然后將學習到豐富信息的令牌通過轉換解碼器反饋給像元間隔以精煉原始特征［20］。

整個變化檢測模型的結構如圖4所示。

模型通過主干網絡的卷積模塊，得到每個輸入圖像的特征圖，然后將它們送入特征增強部分生成增強的雙時態特征。最后，將得到的雙時態特征送入預測頭以產生像素級的變化檢測預測結果。整個網絡有3個主要組成部分：第一是孿生語義標記器，將像素分組并為每個時間輸入生成一個緊湊的語義令牌集；第二部分是變換編碼器，對基于令牌的時空中的語義概念進行上下文建模；最后一個部分是孿生變換解碼器，將對應的語義標記投影回像元間隔，得到每個時態的精細化特征圖。

在獲取到每張輸入圖像的特征圖后，對于其上的每個像素點，使用逐點卷積得到L個語義組，每個組表示一個語義概念。然后通過對每個語義組沿長寬維度使用歸一化指數函數進行操作后獲取到空間注意力圖，并在最后計算其加權平均值，獲取到語義令牌集，公式如下：

Ti=（S（C（Xi，K）））TXi（1）

式中：Xi表示輸入圖像；i為圖像序號；C（·）表示可學習的內核K∈Rc×l的點卷積；S（·）是針對點卷積結果的指數歸一化操作；Ti是最終得到的令牌集。

獲得語義令牌集后，使用自注意力［21］的方式更新特征，每一個自注意力層包含3個輸入：查詢Q，鍵K，值V。對于第l層的自注意力計算，使用如下公式生成上述值：

Q=Tl-1Wq（2）

K=Tl-1Wk（3）

V=Tl-1Wv（4）

式中：Wq、Wk、Wv為可學習參數，Tl-1為上一個自注意力層輸出，每一個自注意力頭的計算公式為

At（Q，K，V）=S（QKTd）V（5）

式中：d為特征向量長度。

最后的解碼器部分負責將表示概念的令牌集投影回像元間隔，以獲得像素級別的特征。

2 數據集

2.1 數據集標注

參考數據集標注軟件LabelMe［22］及相關軟件，使用適用于變化檢測數據集標注的自制標注軟件Labelme_cd進行樣本標注（圖5）。該軟件基于Python語言的PyQt框架開發，通過多窗口同步標注的方式實現了一組變化圖像中變化區域的聯合標注。

2.2 變化檢測數據集

基于高分2號衛星遙感圖像，共標注大小為512×512的變化檢測數據集5 000對，并生成了相關掩模結果，以.png格式保存，部分數據樣例如圖6所示。

本文選擇的圖像時間從2016年到2022年不等，時間跨度從2 a到6 a不等，整個數據集中變化實例像素分布如圖7所示。

3 結果分析

3.1 影像配準結果

第i行第j列像素的影像配準效果使用下述公式進行衡量：

TEST（i，j）=P（i，j）×h（6）

Error=1M1NMi=1Nj=1（Norm（GT（i，j），TEST（i，j）））（7）

式中：N表示圖像數量；M表示圖像中控制點數量；Norm表示2-范數；GT表示真實結果；P表示待配準圖像控制點；h表示單應性矩陣。

該公式表示取全部圖像的全部控制點對，將其中一組圖像的控制點對按照圖3所述配準流程進行變化，將所得結果與另一組圖像的控制點計算平均歐氏距離，作為最終的衡量指標。

本文共選取了3景圖像150對控制點進行指標計算，分別計算粗配準與最終配準精度，結果如表1～2所列。

可以看到，最終配準結果相較于粗配準誤差減少了90%以上，平均相對誤差在4.5×10-5左右，使得遙感景圖像配準精度在2個像素以內。配準的樣例影像如圖8所示。

3.2 變化檢測結果

變化檢測通常使用3個指標來度量模型的整體精度，即Precision、Recall和F1-score。Precision是正確預測的變化像素個數占所有預測的變化像素個數比例；Recall是正確預測的變化像素個數占標注的變化像素個數比例；F1-score是對于變化檢測結果的總體評估，其公式如下：

Precision=TPTP+FP（8）

Recall=TPTP+FN（9）

F1-score=2×Precision×RecallPrecision+Recall（10）

其中，TP為正確預測正類樣本數，TN為正確預測負類樣本數，FP錯誤預測正類樣本數，FN為錯誤預測為負類樣本數。最終，變化檢測模型在提出的數據集上的測試指標如表3所列?？梢钥闯觯疚奶岢龅淖兓瘷z測模型在訓練集上F1值達到了接近90%的效果，在測試集上F1值取得了優于75%的效果，模型整體精度較好。

以一對大小為2048×2048的遙感圖像作為輸入，最終的變化檢測結果如圖9所示。

4 結 論

本次研究基于長江沿岸遙感影像，設計并實現了包含影像預處理、影像配準、變化檢測的長江流域沿岸建筑物變換檢測系統，以監控長江沿岸大型工程建設的合理化、規范化，為長江流域岸線保護監測工作提供技術支撐，提高管理效率。實例研究表明，本文所提方法中影像配準方法的誤差在2個像素以內，變化檢測模型的F1值在測試集上達到了優于75%的效果。此外，該系統還可以進一步與數字孿生技術結合，為國家用地規劃與建設保駕護航。

隨著云計算、大數據、人工智能、虛擬現實與分布式計算的創新與發展，未來將更多地將新技術與本文所提出的變化檢測系統進行融合，進一步優化系統效率，擴展應用范圍［23］，強化技術應用廣度與深度，為全面實施“共抓大保護，不搞大開發”戰略提供決策支持。

參考文獻：

［1］ 隆星宇，李輝，白雪山，等.基于深度學習的人工滑坡隱患自動識別新方法［J］.人民長江，2023，54（7）：113-120.

［2］ ZHOU K，ZHANG Z，GAO C，et al.Rotated feature network formultiorientation object detection of remote-sensing images［J］.IEEE Geoscience and Remote Sensing Letters，2020，18（1）：33-37.

［3］ ALEXEY D，FISCHER P，TOBIAS J，et al.Discriminative unsupervised feature learning with exemplar convolutional neural networks［J］.IEEE TPAMI，2016，38（9）：1734-1747.

［4］ YANG Z，DAN T，YANG Y.Multi-temporal remote sensing image registration using deep convolutional features［J］.IEEE Access，2018，6：38544-38555.

［5］ MA K，SHU Z，BAI X，et al.Docunet：document image unwarping via a stacked u-net［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2018：4700-4709.

［6］ LECUN Y，BENGIO Y，HINTON G.Deep learning［J］.Nature，2015，521：436-444.

［7］ GONG M，YANG H，ZHENG P.Feature learning and change feature classification based on deep learning for ternary change detection in SAR images［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2017，129：212-225.

［8］ DAUDT R C，LE SAUX B，BOULCH A，et al.Urban change detection for multispectral earth observation using convolutional neural networks［C］∥IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium.IEEE，2018：2115-2118.

［9］ LEBEDEV M A，VIZILTER Y V，VYGOLOV O V，et al.Change detection in remote sensing images using conditional adversarial networks［J］.The International Archives of the Photogrammetry，Remote Sensing and Spatial Information Sciences，2018，42：565-571.

［10］SAKURADA K，SHIBUYA M，WANG W.Weakly supervised silhouette-based semantic scene change detection［C］∥2020 IEEE International Conference on Robotics and Automation （ICRA）.IEEE，2020：6861-6867.

［11］ZHENG Z，MA A，ZHANG L，et al.Change is everywhere：Single-temporal supervised object change detection in remote sensing imagery［C］∥Proceedings of the IEEE/CVF International Conference on Computer Vision，2021：15193-15202.

［12］ZAGORUYKO S，KOMODAKIS N.Learning to compare image patches via convolutional neural networks［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：4353-4361.

［13］DAUDT R C，LE S B，BOULCH A.Fully convolutional siamese networks for change detection［C］∥2018 25th IEEE International Conference on Image Processing （ICIP）.IEEE，2018：4063-4067.

［14］李俊杰，傅俏燕.DEM對高景衛星影像正射校正的影響分析［J］.地理空間信息，2021，19（9）：50-52，60，7.

［15］張智華，余錦佩，李軍偉，等.高分二號遙感影像融合方法比較分析［J］.江西測繪，2022（4）：31-34.

［16］李維，王瑞，鄧傳斌.基于SURF算子的遙感圖像配準方法研究［J］.單片機與嵌入式系統應用，2023，23（6）：61-64，69.

［17］DE T D，MALISIEWICZ T，RABINOVICH A.Superpoint：self-supervised interest point detection and description［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops，2018：224-236.

［18］SARLIN P E，DE T D，MALISIEWICZ T，et al.Superglue：learning feature matching with graph neural networks［C］∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2020：4938-4947.

［19］FISCHLER M A，BOLLES R C.Random sample consensus：a paradigm for model fitting with applications to image analysis and automated cartography［J］.Communications of the ACM，1981，24（6）：381-395.

［20］CHEN H，QI Z，SHI Z.Remote sensing image change detection with transformers［J］.IEEE Transactions on Geoscience and Remote Sensing，2021，60：1-14.

［21］VASWANI A，SHAZEER N，PARMAR N，et al.Attention is all you need［C］∥31st Annual Conterence on Neural Information Processing Systems，Long Beach，CA USA，2017，30：5998-6008.

［22］RUSSELL B C，TORRALBA A，MURPHY K P，et al.LabelMe：a database and web-based tool for image annotation［J］.International Journal of Computer Vision，2008，77：157-173.

［23］祁蘭蘭，王金亮，農蘭萍，等.基于GF-1衛星數據的洱海干季水質時空變化監測［J］.人民長江，2021，52（9）：24-31.

（編輯：郭甜甜）

Change detection system of remote sensing images based on neural network

WANG Xiang1，ZHANG Zhixin2，3，4，MOU Haodong5，LIU Tianhang5，ZHANG Yusong1，ZHANG Yuzhu1

（1.China Yangtze Power Co.，Ltd.，Wuhan 443000，China； 2.Network & Information Center，Changjiang Water Resources Commission，Wuhan 430010，China； 3.Center of Technology Innovation for Digital Enablement of River Basin Management，Wuhan 430010，China； 4.Smart Changjiang Innovation Team of Changjiang Water Resources Commission，Wuhan 430010，China； 5.School of Artificial Intelligence and Automation，Huazhong University of Science and Technology，Wuhan 430074，China）

Abstract：

Change detection is a highly valuable research branch in the field of computer vision.In order to improve the monitoring efficiency of production and construction activities along the Changjaing River，a building change detection system along the Chanjiang River was proposed on the basis of image registration，combined with self-attention and feature extraction.It integrated image processing，image registration and change detection，achieving automatic operation across overall processes.The results show that the designed system minimizes the registration accuracy error within two pixels，achieving pixel-level accuracy.Moreover，the system achieves a result of more than 75% in terms of F1 score on the proposed change detection test dataset，demonstrating its high accuracy.The research can be further applied in the shoreline management of large reservoirs，improving the efficiency of governance of reservoirs.

Key words：

remote sensing images； artificial intelligence； image registration； change detection； shoreline mornitoring