深度學習在遙感影像分類中的應用研究綜述

郭正山 馮放

摘要：目前，高分辨率數據已成為重要的信息存儲手段之一，其分類問題也成為了熱點。在分類過程中經歷了最初的極大似然法、K-均值聚類法、機器學習和傳統神經網絡等幾十年的探索和研究，最近才發現深度學習技術可以更好的應用。本文給出了深度學習的常用模型深度信念網絡（DBN）、支持向量機（SVM）和傳統神經網絡（NN）的三種分類方法，并結合其它相關文獻進行了對比分析，得出DBN模型在分類效果上更好。最后，展望了深度學習的理論和應用在遙感影像領域中的發展趨勢。

關鍵詞：遙感影像；深度學習；深度信念網絡；支持向量機；神經網絡；地物分類

中圖分類號：P237 文獻標識碼：A 文章編號：1672-9129（2018）07-0028-02

Abstract： At present， high-resolution data has become one of the important information storage methods. Its classification has also become a hot topic. During the classification process， it has experienced decades of exploration and research such as the initial maximum likelihood method， K-means clustering， machine learning， and traditional neural networks. It has only recently been discovered that deep learning technology can be applied better. This paper presents three classification methods of deep learning common models： deep belief network （DBN）， support vector machine （SVM） and traditional neural network （NN）， and compares them with other related literatures. The classification is better. Finally， the development trend of theories and applications of deep learning in the field of remote sensing images is forecasted.

Keywords： remote sensing imagery； deep learning； deep belief network； support vector machine； neural network； feature classification

引言

顧名思義，遙感影像是一種反映地面物體電磁輻射信息的圖像，通過強弱程度來進行存儲和表達[1]。遙感影像分類總體是指把影像中每個像元劃分到類別的過程，是遙感領域中最常遇到的問題。

在高分辨率數據分類的初期，引用最多的是基于光譜統計特征進行分類的傳統方法，但隨著影像中大量細節的出現和地物光譜特征的復雜化導致這些分類方法準確度降低。于是引入了機器學習算法，雖然在分類結果上有著更好結果，但是有一些局限：有限的計算單元、很難表達復雜函數、淺層的學習算法等[2]。

直到2006年深度學習算法的提出，緩解了機器學習算法的局部優化和過擬合問題，同時包含更多的層次，能夠很好的處理和發掘復雜無規律的數據，掀起了遙感影像分類問題上的深度學習算法的研究。

1 遙感影像分類方法簡介

1.1支持向量機

支持向量機 （Support Vector Machines， SVM ）是一種在統計學習理論上進行改進和升級的淺層學習的人工神經網絡算法，其數學模型簡單，理論基礎牢固，采用結構風險最小化準則。

SVM的目的在于找到一個最優分類超平面，適合于一組線性可分數據的分類問題，是一個二元分類器。給定一組已經被標記好的訓練實體，用空間中的點表示，于是得到準確實體的分布模型，就可以根據新的實體在該空間所落的地方來預測所屬類別[3]。

SVM的簡單實用發揮了很大的作用，并與多門學科融合發展，應用于許多領域。同時由于簡單，需要較強的計算速度和存儲容量等問題，需要進一步發展和進化。

1.4神經網絡

神經網絡是從我們人腦結構得到啟發設計出來的數學模型，基本組成單元是單個神經元[5]。神經元的堆疊有非常復雜的結構，能夠處理許多很智能的問題，結構如圖所示：

1.4.1 BP神經網絡

BP神經網絡是一種包括輸入、輸出和隱層的前饋神經網絡，與SVM相比能處理更多的分類問題，包括兩個過程：信號前向傳播和誤差反向調整。

前向傳播指的就是根據這四個等式從輸入層到隱層，從隱層到輸出層的參數計算和傳播。前向傳播使該模型初見成型，但是它還比較粗糙，需要下面的反向傳播來進行改進。

反向傳播是根據誤差梯度下降算法修改模型中的參數，誤差反向調整是BP網絡的特色所在，通過人為的調整參數與修改模型來定型，這就是BP神經網絡。

1.4.2 RBF神經網絡

RBF是另一類常用神經網絡，由兩階段組成：用無監督學習求解隱層基函數的方法與中心；用監督式學習求解隱含層到輸出層的權值。

首先要我們隨機選 個樣本點作為聚類中心 ，然后剩余的樣本分配到與之最近的聚類集合中，接著計算聚類集合的均值，把計算得到的均值作為新的聚類中心ci。這時會出現兩種狀況，若聚類中心沒有發生變化，則其就是RBF神經網絡最終的基函數中心，否則需要再進行樣本分類和之后的處理。沒有問題的話就求解方差，最后用最小二乘法計算隱含層和輸出層之間的權值。

這里，我們的兩種神經網絡已介紹完了，但是由于層次較淺，不能再適合于獨立處理當今復雜問題。伴隨著計算機具有了很強的數據處理能力，引發了人們對具有更深層次神經網絡的研究，DBN就是其中的代表。

1.5深度信念網絡（DBN）模型

深度信念網絡是由G.E.Hinton等在2006年提出，由若干個受限玻爾茲曼機模型疊加而成的有著層次較多的神經網絡，于是我們從受限玻爾茲曼機講起。

1.5.1 受限玻爾茲曼機（RBM）

受限玻爾茲曼機是由玻爾茲曼機（Boltzmann machine，BM）進行一些約束得到的。BM通過學習數據中的固有屬性，有很強的無監督學習能力與非常完美的理論基礎，但是需要很長的訓練時間并無法得到數據的準確分布。

這時受限玻茲曼機（RBM）的提出彌補了一些缺點，它規定層內節點獨立，層間節點相互連接，是有2層結構的馬爾可夫隨機場的特殊情況。這樣模型就得以簡化，能很容易地求得概率分布函數，也大大提高了學習效率[6]。

1.5.2 深度信念網絡

深度信念網絡（deep belief network，DBN）是由RBM堆疊而成的深層神經網絡模型，通過預訓練和反向微調來完成。預訓練采用分層訓練方法對無標簽的樣本來自我學習再用BP算法對其中的參數微調。它具有訓練速度快，特征提取更明顯的優勢，低層學習到的是表面特征，而頂層學習能夠得到細致的數據內部的一些特征[7]。

這時很有必要提另一種很典型的深度結構：深度玻爾茲曼機（deep Boltzmann machine，DBM），它與DBN在結構上非常相似。DBM是由單層RBM增加隱層數得到的，而DBN是在靠近可視層的部分使用有向圖模型，在輸出層處使用RBM。同時它們也很類似，都是具有自下而上的深層結構，在一些問題上能取得相同的結構。

2 深度學習的提出及應用

2.1 淺層方法的局限性

淺層學習方法是指具有隱層較少的網絡結構，上文所示的支持向量機、兩種常用神經網絡就屬于典型的淺層學習方法，接下來針對這兩種方法來展開論述。

支持向量機有著很好的理論基礎，但缺點也很嚴重：輸入數據必須是完全標記的、成員概率沒有進行校準和驗證和只能直接進行二值分類[8]。因此必須將初始問題刻板轉變為幾個二元問題。BP神經網絡具有簡單性、易行性、并行性；RBF神經網絡具有唯一逼近特性、沒有局部極小問題等優點。但兩類方法優點凸顯的同時，缺點也很嚴重：特征表達能力不足、特征維數過多、計算復雜等，往往在實際問題中缺點要遠遠大于其優點，所以不能很好的適應當前的需求。

總體來說，淺層結構需要借助人的經驗抽取適當的樣本特征，同時學習獲得的特征僅僅是單層。雖然在處理簡單數據時有明顯的速度優勢，但是對于復雜數據就凸顯出表征能力不足的問題，不再適用于高分辨率遙感影像的分類問題上。

2.2 深度學習算法的提出

深度學習是從樣本數據通過一定的算法得到有多個隱層的深度神經網絡的過程[9]。是一種從海量數據中不斷習得經驗的深層學習模型，它能發現更有力的人們看不出內部特征，最終提高分類的準確性，成功應用于處理具有高維稀疏特征的復雜的真實世界中的問題的數據。因此本文提出將深度學習的常用模型—深度信念網絡（DBN）應用于遙感影像的分類問題上，可以直接從中提取數據所包含的特征而不受具體模型的約束，從而有較高的泛化能力。

2.3 深度學習在遙感影像的應用案例

Krizhevsky等在2012年通過訓練一個深度神經網絡來對 ImageNet LSVRC2010中包含著1000個不同類別的1.2百萬個高分辨率圖像進行分類。在測試數據中，在第一和第五上的錯誤率分別為37.5% 和17.0%，刷新了這個數據集的記錄。

文獻[10]將深度網絡算法與可學習感受野相結合，學習用于池化的感受野和分類器，最終在Oxford flowers測試庫的圖像中進行了測試，并獲得良好的分類效果。

文獻[11]提出了一種基于DBN的譜域-空域分類方法，在高光譜數據條件下對DBN分類器進行實驗。在兩個高光譜數據集上進行了測試，證明了該方法比SVM方法具有更好的分類性能。

3 深度學習在遙感影像領域的理論和應用展望

目前，深度學習橫跨數學、計算機、工程技術等多個學科并應用于我們社會生活的各個領域[12]，但是將其應用于遙感影像解釋的研究工作相對較少。由于深度學習具有處理高稀疏數據的優良特性，所以未來它是遙感影像分類領域的技術前沿，有著很好的發展前景。

由于是新興技術，沒有完善的理論依據，大部分時候都是通過經驗或實驗來取自己認為的最優參數，由此影響了分類效率。所以下一步將以如何更加快速準確確定深度學習的網絡參數作為研究的方向。

參考文獻：

[1]王一達，沈熙玲，謝炯. 遙感圖像分類方法綜述[J].2006（5）： 67-71.

[2]劉大偉， 韓玲， 韓曉勇. 基于深度學習的高分辨率遙感影像分類研究[J]. 光學學報， 2016（4）：298-306.

[3]Lothar Hermes， Dieter Frieau， Jan Puzicha， et al. Support Vector Machines for Land U sage Classification in Landsat TM Imagery[J ]. In： Proc. IGARSS99， 1： 348—350.

[4]Huang C， Davis L S. Townshend J R G. An assessment of support vector machines for land cover classification [J]. International Journal of Remote Sensing，. 2002， 23： 725-749.

[5]張日升， 張燕琴. 基于深度學習的高分辨率遙感圖像識別與分類研究[J]. 信息通信， 2017（1）：110-111.

[6]李俊峰， 汪月樂， 胡升，等. 基于DBN，SVM和BP神經網絡的光譜分類比較[J]. 光譜學與光譜分析， 2016， 36（10）：3261-3264.

[7]尹寶才， 王文通， 王立春. 深度學習研究綜述[J]. 北京工業大學學報， 2015（1）：48-59.

[8]Hsu CW， L in C J. A comparison of methods for multi-class support vector machines [J]. IEEE Transactions on Neural Networks， 2002， 13 （2）： 415—425， 2002.

[9]劉建偉， 劉媛， 羅雄麟. 深度學習研究進展[J]. 計算機應用研究， 2014， 31（7）：1921-1930.

[10]王博，郭繼昌，張艷.基于深度網絡的可學習感受野算法在圖像分類中的應用[J].控制理論與應用，2015，32（8）：1114-1119.

[11]李鐵， 孫勁光， 張新君，等. 高光譜遙感圖像空譜聯合分類方法研究[J]. 儀器儀表學報， 2016， 37（6）：1379-1389.

[12]HARRINGTON P.Machine learning in action[ M ]. Shelter Island，N. Y.：Manning Publications Co， 2012.