基于深度學習算法的衛星影像變化監測①

王志有,李 歡,劉自增,吳加敏,施祖賢

1(寧夏回族自治區遙感測繪勘查院,銀川 750021)

2(北京科技大學 計算機與通信工程學院,北京 100083)

3(北京科技大學 材料領域知識工程北京市重點實驗室,北京 100083)

地表生態系統和人類社會活動都是動態發展和不斷演變的.實時精確地獲取地表變化信息對于更好地保護生態環境、管理自然資源、研究社會發展,以及理解人類活動與自然環境之間的關系和交互作用有著重要的意義[1].目前,國內外提出變化檢測方法基本上分為兩類:面向像素的變化檢測[2–4]和面向對象的變化檢測[5].

面向像素的變化檢測的優點是可以將對應像素間的特征直接進行運算和比較,得到最終變化結果,簡單易懂,但缺點是變化結果充斥著大量的噪聲,常常包含了由影像成像色調不同等造成的偽變化[6].面向對象的變化檢測的優點是獲得的變化結果噪聲少,并且可以獲得更為詳細的由何種地類變為何種地類信息,但缺點是存在誤差累計造成的變化檢測精度不高的問題,最終的變化檢測結果很大程度上依賴于分割或分類的準確程度.

對比面向像素和面向對象的變化檢測方法,本文認為面向像素的變化檢測方法因為直接對影像特征進行分析,得出變化檢測結果,不存在中間環節誤差累計,所以在效果提升方面可控性更強.由于無監督的面向像素變化檢測方法會將影像上灰度差異較大的像素均檢測為變化像素,實用性不高.所以本文使用了深度學習網絡對影像逐像素進行了有監督二分類,即變化類和非變化類.通過人工標簽規定,將一些灰度差異較大但無實際意義的變化,如不同時相中耕地植被覆蓋情況的變化,記為未變化.但以上方法的變化檢測結果仍然存在大量的不同時相陰影長短不同造成的變化、噪聲以及漏檢情況,這也是面向像素變化檢測方法的通病.

為了解決陰影干擾、噪聲以及部分漏檢的情況,本文使用了陰影指數閾值分割法去除陰影干擾,并借鑒面向對象變化檢測方法中圖像分割的思想,設計了面向對象的去噪增強算法.去除陰影干擾算法先對兩時相影像的陰影像素進行提取,然后在預測結果中減去這些區域的變化情況.面向對象的去噪增強算法先對圖像進行分割,將同一地類的像素進行聚類,然后通過判斷預測結果中變化像素占每個地類的面積占比,若大于某個閾值則認為當前地類的所有像素均為變化像素,否則認為當前地類的所有像素均為未變化像素,達到去除噪聲并補全漏檢區域的目的.

本文整體的處理流程如圖1所示.

圖1 整體處理流程

1)我們首先進行數據預處理操作:采用直方圖匹配的相對輻射校正方法,使一幅圖像與另一幅待匹配圖像的色調盡可能保持一致,消除成像條件不同造成的不利影響,見2.1節;

2)然后通過鄰域矩陣拼接操作得到兩時相目標像素的鄰域特征V,見2.2節;

3)接下來我們提出了基于堆棧降噪自動編碼器網絡的變化檢測方法,將應用于SAR (Synthetic Aperture Radar,合成孔徑雷達)衛星圖像變化檢測的深度學習算法改進,使之適用于高分光學衛星圖像,見2.3.1節;

4)然后在孿生網絡的結構上進行改進,提出了基于分支卷積神經網絡的變化檢測方法,見2.3.2節;

5)最后設計算法去除了陰影干擾和噪聲等偽變化,見2.4節.

1 相關工作

過去,大量變化檢測算法均是基于SAR雷達影像實現的.高分光學影像具有多通道和高分辨率的特點,目前,采用深度學習對其進行地物分割和識別取得了不錯的進展,對變化檢測方向研究還比較欠缺.

Chen等人[3]使用了變化矢量分析法(Change Vector Analysis,CVA)計算兩時相影像對應像素的歐氏距離作為變化強度信息,然后在RGB空間計算兩時相影像變化方向與RGB軸夾角的余弦值作為變化方向信息.通過最大類間方差法閾值分割變化強度,得到變化檢測結果,然后通過對變化方向信息進行分類,得到由何種地類變化為何種地類的from-to信息.變化矢量分析法簡單易實施,是傳統變化檢測方法的代表,但采用閾值分割作為變化檢測的決策手段具有較大的局限性.

Liu等人[7]使用了堆疊限制玻爾茲曼機(深度信念網絡,Deep Belief Nets,DBN)來分析多時相SAR影像間的差異圖像,并對兩時相影像的鄰域特征進行分類,通過運用深度學習算法將影像進行逐像素分類,達到變化檢測的目的.基于深度信念網絡的變化檢測方法將變化檢測問題轉化為了對圖像中每個像素的分類問題,即變化類和未變化類.但鄰域特征的提取方法是針對單通道的SAR影像設計的,且使用傳統算法的變化檢測結果作為標簽,雖然增加了算法的無監督自動化能力,但是卻失去了實用性.

Liu等人[8]使用了雙通道的CNN接收兩時相SAR影像的鄰域圖像,在全連接層將兩個影像的降維特征合并,輸入到分類器中,避免了堆疊限制玻爾茲曼機先無監督預訓練再有監督微調的復雜訓練過程.但將兩時相影像疊加為雙通道圖像輸入進CNN提取更為抽象的卷積特征,得到的變化檢測結果邊界信息不準確,對于微小面積或狹長的變化容易發生漏檢現象.

寧夏地處黃土高原與內蒙古高原的過渡地帶,地形南北狹長,地勢南高北低;自然植被有森林、灌叢、草甸、草原、沼澤等類型;耕地鹽漬化、沙化等問題突出.遙感影像的應用與其觀測精度、時空尺度密切關聯.一方面,隨著衛星技術的發展,影像獲取成本持續下降,影像的時間分辨率、空間分辨率、頻段分辨率越來越高;另一方面,能夠處理的問題也從局部目標識別、土地利用分類擴充到精細目標識別、狀態判斷、關聯分析、趨勢分析等應用領域.

本文針對寧夏地區存在的問題設計了一套完整的方法進行變化監測.基于深度信念網絡的變化檢測方法是為單通道的SAR衛星影像設計的,如果直接將多通道的高分遙感影像轉化為單通道灰度圖像,然后應用基于深度信念網絡的變化檢測,會損失原影像中豐富的多通道光譜信息.為了使基于深度信念網絡的變化檢測方法適用于高分遙感影像,我們重新設計了多通道影像的鄰域特征提取方法,希望能夠將多通道的光譜信息都制作成鄰域特征,用于后續的深度學習網絡分類.

之后我們使用了與深度信念網絡原理不同但效果類似的自動編碼器網絡,由于自動編碼器網絡具有很多不同的變種,其中降噪自動編碼器網絡可以在輸入數據中摻雜噪聲數據,但在重構輸出中將噪聲去除,可以提高網絡模型的泛化性,所以我們決定使用堆棧降噪自動編碼器網絡作為面向像素變化檢測的深度學習網絡.

2 本文方法

2.1 數據預處理

高分光學影像中不同時相的影像由于成像季節、成像角度和影像配準上的差異,常常會有很大的不同.這很不利于面向像素的變化檢測,為了減輕這種差異帶來的影響,我們需要對圖像進行預處理.

如圖2所示,由于我們使用的高分二號遙感影像已經經過了配準和絕對輻射校正,所以可以看出同一地區的影像像素基本對應,但由于成像季節不同造成影像的色溫不同,我們采用了直方圖匹配算法進行處理.

圖2 直方圖匹配((a)為時相1原圖,(b)為時相1相對于時相2做直方圖匹配輻射校正結果,(c)為時相2原圖)

采用直方圖匹配的相對輻射校正方法,使一幅圖像與另一幅待匹配圖像的色調盡可能保持一致,消除成像條件不同造成的不利影響.分析結果證明,直方圖匹配后的圖像與圖像校正之前有了較大的質的提高,說明使用該方法進行相對輻射校正效果是比較好的[9].

2.2 特征提取

鄰域矩陣特征充分考慮了目標像素周圍的鄰接像素的光譜信息,可以表征目標像素周圍的紋理、顏色和上下文信息.

如圖3所示,本文先對高分光學影像目標像素的每個通道的鄰接像素構造鄰域矩陣MR、MG和MB,然后將他們展開為向量VR、VG和VB,再將3個向量按照RGB的順序拼接在一起,得到鄰域特征VRGB.考慮到兩個時相的高分光學影像,再將時相2對應像素的鄰域特征V'RGB拼接在時相1的鄰域特征后面,最終可以得到兩時相目標像素的鄰域特征V.

2.3 變化檢測

2.3.1 基于堆棧降噪自動編碼器的變化檢測

自動編碼器由Rumelhart提出[10],包含了編碼器和解碼器兩個部分:編碼器對數據進行降維,解碼器還原降維后的數據成原始維度.

堆棧降噪自動編碼器網絡(Stacked Denoising Auto-Encoders,SDAE)[11,12]是一種利用經過無監督逐層貪心預訓練和系統性參數優化的多層非線性網絡從無類標數據中提取高維復雜輸入數據的分層特征,并得到原始數據的分布式特征表示的深度學習神經網絡結構[12].一般為了可以使網絡完成分類的任務,會在網絡的最后加入Softmax分類器,將整個網絡分為分層特征提取和數據分類兩個階段.

圖3 適用于高分光學影像的鄰域特征構造流程

在分層特征提取階段通常需要堆疊多個自動編碼器,完成從前往后的編碼和從后往前的解碼,其中每一層的編碼工作可以用式(1)表示,解碼工作可以由式(2)表示.

其中,a(n)表示最后一個隱含層單元的激活值,l表示當前的層數,W(l,1)、b(l,1)表示第l層編碼器的編碼階段權值和偏移量,W(l,2)、b(l,2)表示第l層編碼器的解碼階段權值和偏移量,z表示當前層的輸出也是下一層的輸入.

SDAE的訓練也分為兩個階段,一個是無監督的預訓練,另一個是有監督的微調階段.該算法的核心是:

① 先以無監督的方式訓練網絡的第一層,通過重構輸入的數據,并用自身作為標簽,不斷訓練減小重構損失;

② 然后將每一層的輸出作為下一層的輸入,并按照步驟①的方式對每一層進行無監督訓練;

③ 重復步驟②直至除分類層的最后一層;

④ 將最后一個隱含層的輸出作為有監督Softmax分類層的輸入,并初始化有監督層的所有參數.

在進行變化檢測任務時,先使用兩時相高分光學影像的鄰域特征進行訓練,將每個像素的鄰域特征作為堆棧降噪自動編碼器的輸入,然后進行逐層預訓練,直到重構損失降低到收斂,完成無監督預訓練的工作.然后將人工標簽參考圖按照每個對應像素是否發生變化,用0表示未發生變化,1表示變化作為類別標識.如果使用Softmax分類器還需要將標簽轉化為one-hot形式,即[0,1]表示未發生變化類別,[1,0]表示發生變化類別.經過以上處理可以將人工標簽參考圖像轉化為二進制標簽數據.

將標簽數據和訓練數據同時輸入到堆棧降噪自動編碼器網絡中,包括分類層,進行有監督微調,直到完成訓練.訓練完畢后將鄰域特征兩時相前后拼接順序互換再訓練一遍,達到擴充訓練集的目的.訓練后的模型可以接收測試集的鄰域特征,并預測出與標簽數據維度一致的預測結果.如果是one-hot形式,則認為預測結果[x,y]中,若x大于y則認為是變化類別,若x小于y則認為是未變化類別,通過這樣的方法可以將預測結果還原為黑白二值圖像的形式,便于觀察預測結果圖像進行主觀視覺分析和指標計算.基于堆棧降噪自動編碼器的變化檢測原理示意圖如圖4所示.

圖4 基于堆棧降噪自動編碼器的變化檢測原理示意圖

2.3.2 基于分支卷積神經網絡的變化檢測

孿生神經網絡(Siamese Network)[13]使用兩個分支,是分支卷積神經網絡的一種.兩分支之間權值共享,通過兩分支對輸入影像進行特征提取后,展平接入全連接層,然后使用對比損失函數對結果進行相似度計算,對比損失函數的公式如式(3)所示.

對比損失函數的表達式中,|d|表示兩個分支的輸入經過分支網絡的提取得到的特征的歐氏距離,y表示人工標注的二值參考信息,m是常量.當y為1時表示相似度高,此時1–y為0,則不用考慮后半表達式的情況,只考慮類內情況,損失等于對相似度高的特征距離計算平均距離;當y為0時表示相似度低,此時1–y為1,則不考慮前半表達式的情況,只考慮后半表達式的情況,即類間情況,損失等于計算在一定閾值m范圍內的特征距離的平均距離,超過閾值的距離,損失直接記為0.

本文基于孿生神經網絡的結構,將最后的輸出層用Softmax分類層代替,并使用最小交叉熵損失作為損失函數.兩個時相的輸入數據分別對應兩個分支,兩個分支的網絡結構一致且參數共享,輸入數據在兩個分支中經過卷積和反卷積提取特征,然后將提取到的特征輸入到聯接層,然后進入全連接層,最后進行分類,構建了本文的分支卷積神經網絡,網絡結構如圖5所示.

圖5 分支卷積神經網絡的模型結構

圖5中左側展示了分支網絡的結構,當分支網絡接收輸入圖像時,先使用卷積層①進行卷積,卷積核數量為64,卷積模式為same;然后不經過池化層,再進行卷積層②,卷積核數量為32,卷積模式為same;為了防止過擬合,接下來引入了Dropout層;然后輸入到反卷積層①,卷積核數量為32,卷積模式為same;接下來經過反卷積層②,卷積核數量為64,卷積模式為same;最后接入到輸出層,輸出的數據維度與輸入的數據保持一致.卷積核的尺寸全部設置為3×3大小.卷積模式采用same和不使用池化層的原因是輸入鄰域矩陣的尺寸本來就比較小了,不需要進一步降維.經過卷積和反卷積,輸入和輸出的維度是一致的,所以分支網絡其實就是基于卷積神經網絡構造了一個自動編碼器網絡.

在圖5下側的分支網絡的無監督預訓練中可以看出,輸入層經過卷積層①和卷積層②獲得了卷積特征,這個過程其實是自動編碼器的編碼階段.而丟棄層后,經過反卷積層①和反卷積層②,將輸出的維度還原成輸入的維度,這是自動編碼器的解碼階段.其實真正用于后面全連接層降維和分類層分類的是卷積層②得到的卷積特征.

在訓練過程中,按照堆棧自動編碼器網絡的訓練方式,先將輸入圖像輸入到分支網絡中,以輸入圖像自身作為標簽進行無監督預訓練,使得兩分支網絡的權值進行初始化;然后將分支網絡卷積層②的輸出,展平輸入到全連接層中,接下來使用人工標簽對分類器進行訓練,調整整個網絡模型的參數,最終得到訓練好的網絡模型.

本節提出的方法基于孿生神經網絡的整體結構和堆棧自動編碼器的訓練方式,希望能通過網絡自動提取鄰域矩陣圖像塊中的卷積特征,利用這些更為抽象的卷積特征進行分類,獲得更好的分類效果.

2.4 后處理

面向像素的變化檢測方法由于是基于每個像素進行運算或分析,然后得出結果,所以變化結果中具有大量的椒鹽噪聲,本文對陰影干擾和椒鹽噪聲的去除進行了研究.

2.4.1 去除陰影干擾

城鎮地區每個時相樓房被太陽照射會產生陰影,從而導致偽變化,我們稱之為“描邊效應”.

如圖6所示,兩時相圖中3個樓的影子長短不一造成了變化檢測時的描邊效應.為了減輕這種描邊效應,我們使用了主成分分析[14](Principal Component Analysis,PCA)和RGB轉換成HIS顏色模型,并計算陰影指數[15](Shadow Index,SI)的方法提取并去除陰影.

圖6 不同時相影像中建筑物陰影干擾造成的偽變化

主成分分析是一種降維方法,它將RGB三通道圖像降維成單通道灰度圖像,記為LPCA.它可以在提取陰影的過程中忽略我們不感興趣的顏色信息,并保留盡可能多的陰影信息.

HIS是一種被廣泛采用的顏色模型.與RGB顏色模型不同的是,RGB顏色模型是以紅綠藍三基色通道灰度值來表征每個像素,而HIS使用亮度(I)、飽和度(S)和色調值(H)3個分量來表征每個像素.通過RGB轉換成HIS顏色模型,我們得到了每個時相的亮度、飽和度和色調值分量.

最后我們可以使用上述的數據,計算陰影指數SI:

陰影指數高的地方被認為是陰影地區,而陰影指數低的地方則表示不是陰影地區.使用最大類間方差法[16]分割陰影指數圖像,可以得到二值圖,即為提取到的陰影圖像.在預測的變化圖像中減去這些提取到的陰影,即為去除描邊效應的最終結果.

2.4.2 面向對象的去噪增強

經過去除陰影的干擾后我們發現變化檢測結果中依然充斥著大量噪聲,而且變化檢測結果的邊緣信息與原圖像相比較并不是很準確.若使用簡單的中值濾波去噪,則會損失大量的邊界信息,讓去噪結果邊緣變得圓滑,為了讓最終的變化檢測結果更加純凈,也為了能夠獲得更加精準的邊界信息,本文提出了一種去噪增強算法.

去噪增強算法基于面向對象變化檢測的圖像分割思想,首先使用均值漂移(Mean Shift)算法[17]分割兩時相圖像.然后統計上一步的變化檢測預測結果中變化像素占每個類別總像素數的比值,若比值超過某一閾值,即認為當前類別的所有像素均為變化像素,若未超過,則認為當前類別的所有像素均為未變化像素.具體的算法流程算法1所示.

算法1.去噪增強算法偽代碼輸入:兩時相高分光學圖像Ims1和Ims2、變化檢測預測結果P對兩時相影像進行分割Ims1,Ims2=MeanShift(I1,I2)初始化Result為0矩陣用于存放Ims1和Ims2的處理結果Result=Init(P)遍歷每個像素for i in range(0,P.row):for j in range(0,P.col):若當前像素在預測結果中為變化像素 if P[i][j]==255:檢查當前像素是否已經在結果中被分類過了,若沒 有則繼續 if Result[i][j]==0:尋找當前像素在兩時相影像Img中所在的圖斑 Patch1,Patch2 Patch1,Patch2=getPatch(Ims1[i][j],Ims2[i][j])獲得Patch1和Patch2中所有預測為變化的像素 集合ChangedPatch1,ChangedPatch2 ChangedPatch1=Patch1∩P ChangedPatch2=Patch2∩P 計算當前圖斑的變化面積占比 Rate1=ChangedPatch1.area/Patch1.area Rate2=ChangedPatch2.area/Patch2.area if Rate1>=th:Result=Result+Patch1 if Rate2>=th:

esult[ Result=Result+Patch2 RResult!=0]=1輸出:結果圖像Result

通過這種方法,可以將細小的噪聲像素去除,還可以將本來預測結果中邊界信息不完整的部分補全,使得最終結果的準確率進一步提升,圖7展示了去噪增強算法的示例圖像.從圖中可以看出,時相1圖像(a)和時相2圖像(b)相比較發生了變化.然而預測圖像(c)并不理想,出現了漏檢和誤檢(噪聲)情況,其中左上角出現了噪聲,而畫面中央真實變化的部分并未完全檢測出來.經過上述去噪增強算法分別對兩時相圖像進行處理,并將兩時相的處理結果取并集,最終得到去噪增強的最終結果圖7(d).

圖7 去噪增強算法的示例圖像((a)時相1圖像,(b)時相2圖像,(c)變化檢測預測結果,(d)去噪增強結果)

3 實驗過程及結果分析

本文使用高分二號遙感影像數據集對基于堆棧去噪自動編碼器網絡的變化檢測方法進行實驗.數據集包括10張1000×1000的三通道圖像,其中8張作為訓練和驗證集,2張作為測試集.本文使用了變化向量分析法和基于深度信念網絡的無監督變化檢測方法作為對比.

本章實驗階段堆棧降噪自動編碼器模型參數選取了深度信念網絡的網絡結構,即輸入層、隱含層①(250節點)、隱含層② (150節點)、隱含層③ (100節點)和分類層.

實驗平臺為Ubuntu 16.04、64 GB內存、Intel E5處理器、Nvidia GTX1080ti 12 GB顯卡.

本小節主要做了兩組實驗,第一組是通過實驗對鄰域矩陣尺度進行選取;第二組實驗評價兩種基于深度學習的變化檢測方法的性能.

3.1 鄰域矩陣尺度選取

鄰域特征尺度的選取與高分光學影像的分辨率有關,也與待檢測地區存在的主要變化有關,理論上更大的鄰域尺度具有更大的范圍,對于大規模的變化可以表達的更為準確,同時降噪能力更強;較小尺寸的鄰域尺寸對較小規模的變化更為敏感,但也會伴隨著噪聲多的情況.

3.1.1 基于堆棧降噪自動編碼器的變化檢測

本節實驗了3×3、5×5、7×7和9×9尺寸的鄰域矩陣構造鄰域特征用于網絡模型的訓練和測試,最終得到的指標對比如圖8.

圖8 不同尺度鄰域矩陣特征對基于堆棧降噪自動編碼器變化檢測結果指標的影響

由圖8可以看出不同尺度的鄰域特征中除3×3外,其他3個在綜合指標F1值上差距不大.但分析精確率和召回率來看,可以看出召回率隨尺度增大保持上升趨勢,這是因為檢測出來的變化面積會隨之增加.但這些增加的變化檢測結果并非都是真實發生變化的,從5×5以后,誤檢的增多造成了精確率的降低.

為了更加充分考慮更大范圍鄰域信息,保證最終變化檢測結果的純凈度而且避免增加數據量增大帶來的計算時間增長和占用存儲空間增長的問題,綜合考慮變化檢測效果和整個流程的硬件開銷等因素,本節選取了5×5鄰域矩陣作為最終特征提取的標準.

3.1.2 性能對比測試

本節試驗了從3×3、5×5一直到17×17尺寸的鄰域矩陣尺寸進行了模型的訓練,通過分析結果得出了最佳尺寸的結論.

圖9展示了不同尺寸的鄰域矩陣尺寸對分支卷積神經網絡的影響,可以看出,精確率在7×7尺寸的時候到達頂峰,但到達11×11的時候有個斷崖式下降,相反在召回率方面11×11獲得了較大的提高,在最終的綜合指標上,11×11比7×7和17×17高出了不到0.005,以微弱的指標優勢成為了最佳的鄰域矩陣尺寸.

事實上,我們發現根據鄰域矩陣尺寸選取的不同,該方法的F1值波動比較大,不存在一個明顯的變化趨勢,這也是這種方法的缺點所在.在對鄰域圖像塊進行卷積特征選取的時候,過小的圖像塊得到的特征太過簡單,隨著圖像塊尺寸的逐步提高,總有最適合這種尺寸的變化區域被完美檢測出來,而不太適合這種尺寸的變化區域則獲得的指標會差一些,所以目前只能選取一個全局較好的尺寸作為鄰域矩陣圖像塊的尺寸,而后續的研究中應當研究多尺度變化檢測結果融合的方法.

圖9 不同尺度鄰域矩陣特征對基于分支卷積神經網絡變化檢測結果指標的影響

3.2 性能對比測試

本節對比的變化矢量分析法(CVA)通過計算各通道灰度值的歐氏距離,再進行閾值分割,即可獲得變化檢測結果.而基于深度信念網絡的變化檢測方法(DBN)在之前的論文中適用于SAR單通道圖像,所以本節先將測試圖像從三通道轉成了單通道的灰度圖像,然后使用了上述算法.然后將基于堆棧降噪自動編碼器的變化檢測方法(SDAE)和基于分支卷積神經網絡的變化檢測方法(BCNN)應用最佳的鄰域矩陣特征尺寸進行實驗.

4種方法在工業區域的變化檢測結果如圖10,評價指標如表1,可以看出由于兩時相影像道路路面反光程度不一致,CVA和DBN均將這種偽變化檢測出來了,而本文所提兩種方法可以忽略這種偽變化.而且由于CVA和DBN是無監督算法,所以在荒地和開發保留地上的微小植被覆蓋變化也被檢測出來了,這造成了變化檢測結果含有大量的椒鹽噪聲,而本文方法由于在制作標簽時將這種植被覆蓋變化認為是不變的,所以本文的方法得到的結果噪聲更少.分析指標,由于偽變化和噪聲影響,CVA和DBN的精確率都比較低,DBN相比傳統的CVA方法有一點點提升.SDAE方法在精確率上大幅提高,召回率相比前兩種方法相差不多,只提高1個百分點左右,這說明SDAE方法在提升畫面純凈度的同時,并沒有犧牲對變化監測區域的覆蓋程度.最終在綜合指標F1值上,可以看出SDAE方法比CVA方法提升了0.127 802,比DBN方法提升了0.073 54.而BCNN方法處理的變化檢測結果相比其他的變化檢測結果圖像,噪聲更少,而且在道路兩旁和建筑保留地上去除了大量的偽變化,極大的提高了畫面的純凈度,這是因為BCNN方法使用的是更為抽象的卷積特征進行分類,使得變化檢測結果中椒鹽噪聲被很大程度的抑制.BCNN方法在精確率、召回率和F1值方面均領先其他三種變化檢測方法,主要和SDAE方法進行對比,在精確率提升了0.17的情況下,召回率也提升了0.07,與召回率提升不大的前3種算法拉開了差距,證明了BCNN方法具有更好的性能.

圖10 工業區域變化各算法性能對比測試結果((a)CVA方法,(b)DBN方法,(c)SDAE方法,(d)BCNN方法,(e)變化參考圖)

表1 工業區域變化各算法性能對比測試指標

在農業區域的變化檢測差距較大,4種方法的變化檢測結果如圖11,評價指標如表2.可以看出CVA的變化檢測結果非常雜亂,充斥了耕地植被覆蓋的變化、房屋變化、道路變化、房屋周圍的植被覆蓋變化和大量噪聲;相比之下,DBN方法避免了大部分的偽變化,但由于是無監督算法,依然具有大面積的耕地植被覆蓋變化等,房屋周圍的植被覆蓋變化也很明顯;SDAE方法得到的變化檢測結果畫面純凈,而且可以將農村微小的房屋變化檢測出來.從指標分析上看CVA由于檢測出的變化面積大,所以對真實變化情況的覆蓋效果最好,召回率達到了83.44%,但大量的偽變化和噪聲使他的精確率只有1.37%,不具備實用價值.DBN的變化檢測結果由于包含了過多的植被覆蓋變化,使得精確率也只有3.63%,但從畫面的純凈程度上觀察,已經比CVA方法提升了很多,具備一定的實用價值.BCNN方法由于是有監督的分類算法,所以也可以去除耕地變化的影響,得到我們更感興趣的房屋和道路變化.BCNN方法可以在去除椒鹽噪聲的同時,保留農業地區細小真實變化.從指標上看,BCNN方法與SDAE方法指標基本持平,證明了BCNN方法在細小房屋的變化檢測上也有不錯的效果.

圖11 農業區域變化各算法性能對比測試結果((a)CVA方法,(b)DBN方法,(c)SDAE方法,(d)BCNN方法,(e)變化參考圖)

表2 農業區域變化各算法性能對比測試指標

本節通過設計實驗,將基于堆棧降噪自動編碼器網絡的變化檢測方法與傳統的變化矢量分析法和基于深度信念網絡的變化檢測方法相比較,從變化檢測結果圖像觀感和變化檢測指標兩個角度給出了對比.在具有大規模變化的工業區域,本文提出的算法能夠明顯減少大量的偽變化,在一定程度上減少噪聲信息,突出真實變化的部分,讓變化檢測結果更加直觀;在具有微小房屋變化的農業區域,由于本文方法是有監督訓練的分類方法,得到的結果中可以將大量的耕地植被覆蓋變化等實際利用價值不大的變化省略,并在抑制噪聲信息的同時檢測出微小規模的房屋變化.綜合來看,本文方法可以在保持一定召回率的情況下,減少大量的偽變化和噪聲,具有一定的實用價值.

4 結論與展望

本文針對基于深度學習算法的高分衛星遙感(寧夏地區)影像變化檢測方法進行了研究,在已有的SAR雷達影像變化檢測方法的基礎上提出了改進方法,并提出了自己的創新算法,最后在變化檢測結果的修正改善上使用了去除陰影干擾算法,并自己設計了面向對象的去噪增強算法,對變化檢測結果和指標進行了改善與提高.

基于堆棧去噪自動編碼器網絡的變化檢測方法是基于深度信念網絡的SAR雷達影像變化檢測方法的改進.在特征提取階段設計了適用于高分光學影像的鄰域特征提取方法,然后改用泛化性更好的去噪自動編碼器網絡,經過無監督預訓練和有監督微調,最終獲得一個二分類網絡,可以將兩時相的每個對應像素分為變化類和未變化類.該算法避免了傳統變化檢測算法的閾值分割階段,將變化檢測問題轉化成為面向像素的二分類問題,經過實驗對比,具有不錯的效果,且在不同地區的高分光學影像變化檢測方面,展現出了很強的泛化性.

隨后本文提出了基于分支卷積神經網絡的變化檢測方法.分支卷積神經網絡基于孿生神經網絡的結構,具有兩個輸入和分支網絡,分支網絡之間權值共享.分支網絡為了模型訓練更快的收斂,采用了基于卷積神經網絡的堆棧自編碼器設計.經過兩個分支網絡的特征提取后,展平接入全連接層,最后使用分類層得到輸出.訓練時也先對分支網絡進行無監督預訓練,目的是為了對網絡權值進行初始化,然后對整個網絡進行有監督微調,得到訓練好的網絡模型.該算法不用復雜的鄰域特征處理過程,直接將鄰域矩陣圖像塊作為輸入,提取更為抽象的卷積特征用于變化檢測.得到的變化檢測結果更加純凈,抑制了椒鹽噪聲,而且經過實驗在各項性能指標均比傳統方法和基于堆棧去噪自動編碼器網絡的變化檢測方法有所提升.分支卷積神經網絡在不同變化類型和不同時相的變化檢測效果也有一定的領先,適用于同一地區隨著時間推移不斷發生的各類變化檢測.

最后本文在變化檢測結果的后處理方面進行了研究,首先使用了陰影指數對兩時相影像陰影變化進行了提取,然后在變化檢測預測結果中去除了這些變化,提高了變化檢測結果的精確率.然后設計了面向對象的去噪增強算法,針對變化檢測結果中椒鹽噪聲多的問題和去除陰影干擾階段降低了召回率的情況進行了改善,與傳統的中值濾波去噪算法相比,在保留了變化檢測區域的邊界信息的同時,去除了噪聲的影響,具有一定的實用價值.