深度學習在遙感圖像處理中的應用

蔣 睿,楊靖欣,桂承熙

(西南科技大學城市學院,四川 綿陽 621000)

0 引言

現(xiàn)如今,遙感圖像在高時間分辨率、高空間分辨率和高光譜分辨率等方面有著巨大突破和創(chuàng)新[1],對地觀測網(wǎng)絡提供著PB級遙感數(shù)據(jù),具有高量級(volume)、多變性(velocity)、多樣化(variety)和不確定性(veracity)的特點[2]。遙感技術相較于傳統(tǒng)測量手段能更好地采集分析地球數(shù)據(jù)和地球變化,因此被廣泛用于資源調(diào)查、城鄉(xiāng)規(guī)劃等多個領域。目標的分類識別是遙感技術重要的研究方向。對于分類任務而言,遙感技術存在以下兩個問題:一是數(shù)據(jù)特征的可分性無法保證;二是被標記的實例數(shù)量是有限的。

遙感圖像的類型不同,其分類要求和特點也有差異,如像元在不同光譜中具有不同的波譜特征、有不同光譜的異物和現(xiàn)象等,因此分類任務面臨著巨大挑戰(zhàn),對于高分辨率遙感圖像而言,其空間特征的連續(xù)性和有效性對分類結果的好壞起著關鍵性影響[3]。僅靠人工對遙感圖像進行分類是非常困難的,而深度學習模型為遙感圖像的分類與識別提供了新的解決思路和方法,目前主流深度學習模型有卷積神經(jīng)網(wǎng)絡CNN、循環(huán)神經(jīng)網(wǎng)絡RNN、全卷積神經(jīng)網(wǎng)絡FCN等,將深度學習技術用于遙感圖像的處理能解決遙感識別與分類的問題,例如將卷積神經(jīng)網(wǎng)絡CNN應用于遙感圖像識別,能夠通過提取遙感圖像的豐富特征進行檢索,提高識別的精確度。

1 深度學習簡介

深度學習是結合低層特征,形成更抽象的高層表示類別或特征的過程。而在這些過程中,通過獲取大量的信息進行學習,例如圖像、聲音和文字等信息的學習,并將獲取的大量訓練數(shù)據(jù)加載進學習的模型中,然后模仿人的大腦進行分析和學習,最后進行測試[4]。

與傳統(tǒng)的淺層學習不同,深度學習具有以下優(yōu)點:第一,強調(diào)模型結構的深度,具有多隱層節(jié)點[5]。具備多隱層的人工神經(jīng)網(wǎng)絡具有優(yōu)異的特征學習能力,其學習得到的特征對數(shù)據(jù)有著更本質(zhì)的刻畫,有利于可視化或分類[6]。第二,明確特征學習的重要性。信息化時代的到來和高性能計算的發(fā)展使其能夠刻畫出數(shù)據(jù)豐富的內(nèi)在信息[7]。

遙感圖像相較于自然影像有著較大的差異,比如光照、視角、幾何畸變等。根據(jù)遙感圖像的特殊性質(zhì),要使深度學習更加友好地服務于遙感數(shù)據(jù)處理,需要解決以下問題:

(1)在遙感圖像處理領域,由于數(shù)據(jù)密度(空-光-時)和視場(惡劣天氣區(qū)域或外星行星)的特殊性,標記樣本的缺乏是一種常見現(xiàn)象,嚴重影響了深度學習模型的充分訓練。

(2)由于高維遙感數(shù)據(jù)的特點,普通自然圖像的深度學習模型并不是有效的,而如何設計一個高效的深度學習網(wǎng)絡來符合遙感數(shù)據(jù)的特點是目前研究的一個重要方向。

(3)遙感圖像記錄了地物的能輻射、電磁波強度等,其固有的光傳輸模型具有較強的物理意義,但難點是如何將深度學習模型與遙感的物理意義有效結合起來。

(4)深度學習模型在遙感圖像特征提取中的黑箱性質(zhì)難以解釋。

2 遙感技術與遙感圖像

2.1 遙感技術簡介

遙感技術就是通過相關手段進行遙遠感知,借助遙感儀器、運載工具以及識別設備探測物體的能輻射、電磁波等信息,然后再對獲得的數(shù)據(jù)進行相應的處理分析,就能達到對物體的感知認識。它是人們認識地球、探測地球乃至宇宙的重要手段。

遙感技術具有以下特點:(1)觀測面積大、數(shù)據(jù)采集快。遙感技術可以在很短的時間內(nèi)從天空乃至宇宙觀測大范圍區(qū)域;(2)可以動態(tài)地反映地區(qū)的變化。遙感具有周期性,對同一區(qū)域進行連續(xù)觀測,發(fā)現(xiàn)其變化情況,研究其變化規(guī)律;(3)受條件限制小,對于地球上的沙漠、沼澤等人類難以到達的惡劣環(huán)境,可以通過遙感的手段進行數(shù)據(jù)的采集;(4)獲取信息方式多,信息量大。根據(jù)相關要求,可以采用航空遙感、航天遙感,并且以不同波段來獲取信息,遙感技術所獲信息量極大,僅靠人力難以完成[8]。

2.2 遙感技術發(fā)展現(xiàn)狀

遙感技術可以獲得大范圍和精確的數(shù)據(jù)反饋資料,而我國在數(shù)據(jù)精確度及處理能力方面有很大程度的提高[9]。遙感技術目前的發(fā)展分析:第一,高空間分辨率的遙感觀測衛(wèi)星的應用。目前,大多數(shù)衛(wèi)星具有高分辨率,這對遙感影像圖的獲取起著重要作用。第二,小衛(wèi)星的應用發(fā)展。小型衛(wèi)星更新方式快捷方便,因此,小衛(wèi)星編隊已逐漸成為當今時代對大衛(wèi)星更有效的一種補充形式。第三,在智能傳感器上的應用[10]。

2.3 遙感圖像處理技術現(xiàn)狀

通過遙感記錄地物電磁波的相片稱為遙感圖像。遙感圖像的主要內(nèi)容是由影像構成,然后通過注記和地圖符號進行解釋說明。影像地圖相較于普通地圖有著直觀明了、信息量豐富、表現(xiàn)力強等優(yōu)點,彌補了單純用影像表現(xiàn)地物的不足,也體現(xiàn)了圖像與地圖的雙重優(yōu)勢。

何睿祺解讀了合作在“工業(yè)4.0”時代的意義，例如西門子與惠普企業(yè)（HPE）旗下安移通（Aruba）近日在通訊網(wǎng)絡領域達成合作，就一體化通訊網(wǎng)絡建立戰(zhàn)略合作伙伴關系。雙方將依托互補的產(chǎn)品組合優(yōu)勢，幫助客戶構建從工廠車間到公司辦公室的一體化通迅網(wǎng)絡。何睿祺還提到了西門子與Bentley Systems的長期合作。雙方近期宣布，將基于高度互補的軟件產(chǎn)品組合，聯(lián)合開發(fā)PlantSight云服務，以幫助用戶通過簡單的門戶網(wǎng)絡界面隨時訪問1D/2D/3D數(shù)據(jù)，從而為所有用戶提供不斷更新的“數(shù)字化雙胞胎”工廠。由于過程工廠和持續(xù)投資項目的服務時間較長，這項云服務將為工廠運營商帶來了巨大的利益。

隨著計算機技術的發(fā)展,遙感圖像處理從最初的人工處理圖像目標檢測,到現(xiàn)在人機交互的實現(xiàn)。遙感圖像的檢測效率有著極大的提高,目標檢測錯誤的概率也大幅降低,遙感圖像處理進入了自動化階段[11-12]。隨后出現(xiàn)基于機器學習理論的遙感圖像目標檢測方法,如輕量化網(wǎng)絡的遙感圖像目標檢測方法、深度深念網(wǎng)絡的遙感圖像目標檢測方法等,它們能獲得較優(yōu)的遙感圖像目標檢測結果,大大提高了工作效率[13-14]。

3 深度學習主要模型

3.1 CNN-卷積神經(jīng)網(wǎng)

CNN-卷積神經(jīng)網(wǎng)的特點主要是解決圖像識別問題。CNN主要應用在土地利用和土地覆蓋、植被、水體等。

(1)卷積核Kernel相當于傳統(tǒng)BP神經(jīng)網(wǎng)絡的權值空間化;

(2)權值共享機制可以減少參數(shù)數(shù)量;

(3)池化可以減少特征參數(shù)的數(shù)量,減少計算量;

(4)Dropout可以有效避免過擬合[15]。

3.2 FCN-全卷積神經(jīng)網(wǎng)絡

FCN-全卷積神經(jīng)網(wǎng)絡主要特點是解決圖像分割問題。FCN主要應用在道路、建筑、植被等[16]。

FCN支持任意尺寸的圖像輸入并輸出相同尺寸的圖像,能對輸入圖像進行像素級的分類,它采用反卷積層對最后一個卷積層的feature map進行上采樣,使它能恢復到與輸入圖像相同的尺寸,從而達到對每個像素都產(chǎn)生一個預測,同時還保留了原始輸入圖像中的空間信息,最后在上采樣的特征圖上進行逐像素分類[17-18],解決了語義級別的圖像分割問題[19]。

3.3 RNN-循環(huán)神經(jīng)網(wǎng)絡

循環(huán)神經(jīng)網(wǎng)絡已較為成熟并得到廣泛應用。循環(huán)神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡雖然都是數(shù)據(jù)的特征提取器,但兩者有很大區(qū)別,循環(huán)神經(jīng)網(wǎng)絡隱藏層之間的結點是有連接的,而卷積神經(jīng)網(wǎng)絡是無連接的,特別是在隱藏層的輸入不僅包括上一時刻隱藏層的輸出[21],還包括輸入層的輸出,即循環(huán)神經(jīng)網(wǎng)絡具備時序性關注的是時間維度的特征[22],并且RNN能對任何長度的序列數(shù)據(jù)進行處理[23-24]。

4 深度學習在遙感圖像處理中的應用

4.1 遙感圖像檢索

深度學習的多種模型對圖像的處理來說,卷積神經(jīng)網(wǎng)絡較其他網(wǎng)絡模型更具有優(yōu)勢。例如基于內(nèi)容的圖像檢索(CBIR)系統(tǒng)主要是以圖像低層視覺特征(顏色、紋理等)為線索進行檢索,并沒有獲取圖像高層語義特征的途徑,造成了人對圖像內(nèi)容的判別依據(jù)與計算機的判別依據(jù)存在較大差異,進而使得查詢圖像與候選圖像存在不匹配的情況[25]。例如春節(jié)圖像,人們能感受到其表達出的熱鬧、喜慶,這是一種較為抽象的概念,但計算機不能判別出來。

CNN在圖像檢索過程中通過多級網(wǎng)絡學提取到豐富的特征,并以此為依據(jù)進行檢索,極大地提高了檢索精度。

4.2 遙感圖像融合

為滿足用戶的使用需求,需要對傳感器的圖像信息進行融合以彌補單一傳感器所獲信息的不足,從而得到信息量更豐富和有用的遙感圖像[26]。判斷遙感圖像應用價值的指標主要有全色圖像的空間分辨率和多光譜圖像的光譜分辨率[27]。但就同一場景在不同的成像條件下用不同的傳感器得到的二維圖像會存在一定的差異[28]。因此既要保證物體的空間分辨率又要保證多光譜圖像豐富的光譜信息是比較困難的。如果將兩者的優(yōu)點結合在一起則會大大有利于數(shù)據(jù)檢測和分析工作。

傳統(tǒng)的多光譜和全色圖像融合方法主要有:(1)亮度、飽和度、色度變換(HIS)法;(2)主成分分析(PCA)法;(3)正交變換(GS)法[29]。上述3種方法雖能保持空間高分辨率和融合影像質(zhì)量,但存在嚴重的頻譜失真問題,這也是目前研究的難點之一[30]。近年來,一些學者提出了典型的基于小波變換的多分辨率分析方法,以獲得更好的多光譜圖像融合效果,但仍存在不能有效表示二維圖像信號的缺陷。

4.3 遙感圖像超分辨率重建

如何經(jīng)濟、方便地獲取高分辨率圖像一直是遙感領域的一大挑戰(zhàn),而超分辨率重建技術的出現(xiàn)則為解決這一問題指明了方向。

目前遙感圖像超分辨率重建方法主要有3種:插值法、學習法和重構法[31]。其中插值法是最早的SR重建方法,其復雜度最低,實時性好,但結果中的邊緣效應明顯,對細節(jié)的恢復較差[32]。而重構法是一種用時間寬度提高空間分辨率的方法,它操作復雜,效率低,通用性差。目前,遙感圖像的SR重建大多停留在這種方法上。學習法克服了傳統(tǒng)重建方法分辨率難以確定的缺點,可以直接面對單一圖像,這是SR改造的主要趨勢。學習法一般依賴于高分辨率和低分辨率圖像庫的構建,它們之間的內(nèi)部關系可以通過樣本學習獲得。目前常用的基于深度學習的SR重建方法有鄰域定位法、稀疏表示法和卷積神經(jīng)網(wǎng)絡重建法。

4.4 高光譜遙感圖像分類

高光譜遙感圖像有著較高的分辨率和更多的波段維數(shù),因此它包含著豐富的空間及光譜信息,但也增加了圖像處理的難度,如果使用傳統(tǒng)的圖像分類算法則不能較好地完成分類與識別[33]。在解決高光譜圖像的分類問題時,不僅要考慮分類模型的有效性,還要充分利用其豐富的空間和光譜信息[34]。

高光譜遙感圖像因其遙感機理和圖像特點包含了豐富的空間信息、光譜信息,但由于信號的高維特征、信息冗余以及成像過程中出現(xiàn)的“同物異譜”和“異物同譜”現(xiàn)象等因素,使得高光譜數(shù)據(jù)結構具有高度非線性[35]。與傳統(tǒng)手工設計特征相比,基于深度學習的圖像分類可以自動從底層到高層提取視覺特征和抽象語義特征,將圖像轉(zhuǎn)化為更容易識別的高級特征,并通過分類器實現(xiàn)圖像像素到標簽的映射[36]。3D-CNN(3D卷積神經(jīng)網(wǎng)絡)可以利用高光譜遙感圖像數(shù)據(jù)立方體的特征實現(xiàn)光譜與空間信息的融合。

4.5 高分辨率遙感圖像分類

目前,CNN模型已經(jīng)應用于高分辨率衛(wèi)星圖像分類領域,但仍存在以下問題:

首先,CNN模型的訓練需要大量的標注樣本;其次,標簽樣本數(shù)量不足導致的限制;最后,上述方法一般采用CNN特征堆疊或CNN模型堆疊和傳統(tǒng)分類器堆疊,增加了模型和計算的復雜性。因此如果使用卷積神經(jīng)網(wǎng)絡對高分辨率遙感圖像進行分類與識別時,應考慮上述問題[37-38]。

4.6 SAR圖像目標識別

合成孔徑雷達圖像自動目標識別廣泛應用于國民經(jīng)濟和國防建設,如自然資源監(jiān)測系統(tǒng)、軍事偵察、災害監(jiān)測等。

SAR技術的發(fā)展雖然可以提供高分辨率的圖像,但也相應地帶來了大量數(shù)據(jù)的處理任務。目標自動識別技術可以讓計算機通過樣本訓練來模擬人類的視覺、分析和分類過程,這就大大減輕了人工負擔,提高了工作效率以及識別精準性[39]。目前,合成孔徑雷達圖像目標識別算法對于圖像的分類有著較高的識別度和精準度,主要算法有基于模板的匹配、支持向量機、Boosting和稀疏表示等[40]。將基于卷積神經(jīng)網(wǎng)絡的深度模型應用在合成孔徑雷達圖像的目標識別中,通過對學習得到的特征來進行分類。

5 結語

深度學習技術的加入為遙感圖像處理開辟了一個新的領域,為遙感圖像的處理提供了許多神經(jīng)網(wǎng)絡模型,并基于這些神經(jīng)網(wǎng)絡模型產(chǎn)生了許多的處理方法。本文就目前較為成熟的深度學習網(wǎng)絡模型進行了簡要的介紹,對于深度學習在遙感圖像處理的應用進行了舉例分析,也提出了部分見解。云計算、大數(shù)據(jù)等高新技術的廣泛應用以及計算機芯片、遙感設備等重要硬件的創(chuàng)新升級都將促進遙感及其圖像處理技術的發(fā)展。而豐富的數(shù)據(jù)樣本也會促進深度學習的發(fā)展,出現(xiàn)越來越好的神經(jīng)網(wǎng)絡模型,更加方便地處理遙感圖像。