改進的基于深度學習的遙感圖像分類算法

王鑫 李可 徐明君 寧晨

摘 要：針對傳統的基于深度學習的遙感圖像分類算法未能有效融合多種深度學習特征，且分類器性能欠佳的問題，提出一種改進的基于深度學習的高分辨率遙感圖像分類算法。首先，設計并搭建一個七層卷積神經網絡;其次，將高分辨率遙感圖像樣本輸入到該網絡中進行網絡訓練，得到最后兩個全連接層輸出作為遙感圖像兩種不同的高層特征;再次，針對該網絡第五層池化層輸出，采用主成分分析（PCA）進行降維，作為遙感圖像的第三種高層特征;然后，將上述三種高層特征通過串聯的形式進行融合，得到一種有效的基于深度學習的遙感圖像特征;最后，設計了一種基于邏輯回歸的遙感圖像分類器，可以對遙感圖像進行有效分類。與傳統基于深度學習的遙感圖像分類算法相比，所提算法分類準確率有較高提升。實驗結果表明，該算法在分類準確率、誤分類率和Kappa系數上表現優異，能實現良好的分類效果。

關鍵詞：高分辨率遙感圖像;圖像分類;深度學習;主成分分析;邏輯回歸

中圖分類號： TP391.41

文獻標志碼：A

Abstract： In order to solve the problem that the traditional deep learning based remote sensing image classification algorithms cannot effectively fuse multiple deep learning features and their classifiers have poor performance， an improved high-resolution remote sensing image classification algorithm based on deep learning was proposed. Firstly， a seven-layer convolutional neural network was designed and constructed. Secondly， the high-resolution remote sensing images were input into the network to train it， and the last two fully connected layer outputs were taken as two different high-level features for the remote sensing images. Thirdly， Principal Component Analysis （PCA） was applied to the output of the fifth pooling layer in the network， and the obtained dimensionality reduction result was taken as the third high-level features for the remote sensing images. Fourthly， the above three kinds of features were concatenated to get an effective deep learning based remote sensing image feature. Finally， a logical regression based classifier was designed for remote sensing image classification. Compared with the traditional deep learning algorithms， the accuracy of the proposed algorithm was increased. The experimental results show that the proposed algorithm performs excellent in terms of classification accuracy， misclassification rate and Kappa coefficient， and achieves good classification results.

Key words： high resolution remote sensing image; image classification; deep learning; Principal Component Analysis （PCA）; logistic regression

0 引言

遙感圖像分類是遙感領域的一個重要研究方向，被廣泛應用于精確制導、海情監控和交通監管等多個軍事和民用領域，因此，對其深入研究具有重要的理論意義和應用價值。近年來，隨著遙感技術的不斷發展，遙感圖像空間分辨率不斷提高，遙感圖像所包含的地物目標的細節更加明顯、地物的光譜特征更加復雜，這使得早期的遙感圖像分類算法分類性能較差[1-3]。

在高分辨率遙感圖像分類問題中，提取特征的有效性決定了分類結果的精度。傳統的遙感圖像分類算法需要借助不同的特征提取算法來提取遙感圖像各種類型的特征，如尺度不變特征變換（Scale-Invariant Feature Transform， SIFT）[4]、方向梯度直方圖（Histogram of Oriented Gradients， HOG）[5]、局部二值模式 （Local Binary Pattern， LBP）[6]等。這些特征提取的過程較為復雜，且提取的特征可能存在信息涵蓋不全面或存在冗余等現象，從而導致遙感圖像分類性能不高。2012年，卷積神經網絡（Convolutional Neural Network， CNN）在ImageNet數據集上取得了良好的圖像分類效果[7]，從而向全世界學者展現了卷積神經網絡強大的特征學習能力。與其他特征提取算法相比，深度學習卷積神經網絡可以自動提取圖像的各種類型特征，并且提取到的特征更有代表性和鑒別性，從而有效保證了圖像分類性能。

深度學習卷積神經網絡實際是一種深層次非線性的結構，它能實現針對復雜分類問題建模的功能。由于神經網絡的層數直接決定了其刻畫數據的能力，因此深度學習模型具有很強的特征表達能力[8]。而深度學習之所以采用層次網絡結構，是受到視覺系統信息處理機制的啟發。Deng等[7]指出，1981年諾貝爾醫學獎獲得者發現了人的視覺系統信息處理是分級處理：從視網膜出發，首先經過低級V1區提取目標邊緣特征，再經V2區提取形狀等局部特征，接著到V4區得到整個目標，最后經更高層前額葉皮層進行分類識別。由此可見，高層特征是低層特征的組合，從低層到高層的特征表達越來越抽象化和概念化。近年來，研究學者開始利用深度學習的優勢將其應用于圖像分類。例如，劉大偉等[9]提出了一種基于深度學習的遙感圖像分類算法，該算法首先通過非采樣Contourlet變換計算圖像的紋理特征，然后利用深度學習深層信念網絡（Deep Belief Network， DBN）對基于光譜和紋理特征的高空間分辨率遙感圖像進行分類。曲景影等[10]提出了一種基于卷積神經網絡的遙感圖像分類算法，該算法在傳統的LeNET-5網絡的基礎上利用ReLU激活函數代替Sigmoid和Tanh激活函數，對光學遙感圖像進行識別時，取得了一定的效果。周敏等[11]提出了一種將卷積神經網絡用于遙感圖像飛機目標分類問題的算法，該算法設計了一個五層卷積神經網絡進行分類。黃潔等[12]提出了一種將深度學習網絡應用于遙感圖像船艦目標檢測的算法，該算法將卷積神經網絡與支持向量機分類器相結合實現遙感圖像分類。 雖然現有基于深度學習的遙感圖像分類算法能有效提升分類性能，但是仍存在未能有效融合多種深度特征、分類器性能欠佳的問題。

針對上述問題，本文在傳統基于深度學習的遙感圖像分類算法的基礎上，提出了一種改進的基于深度學習的高分辨率遙感圖像分類算法。一方面，針對傳統基于深度學習的遙感圖像分類算法未能有效融合多種深度特征的問題，本文提出算法通過利用卷積神經網絡提取遙感圖像三種高層特征，并采用串聯的形式實現三種高層特征的融合，融合得到的特征涵蓋信息更完整且鑒別性更強;另一方面，針對傳統深度學習算法中分類器性能欠佳的問題，設計了基于邏輯回歸的遙感圖像分類器，將深度學習特征與淺層分類器相結合，能進一步提升分類性能。

與傳統遙感圖像分類算法相比，本文提出算法具有如下特性：1）該算法可直接將原始遙感圖像輸入到卷積神經網絡中，自動學習圖像特征，無需進行圖像預處理，避免了外部因素的干擾;2）該算法利用卷積神經網絡自動提取遙感圖像中具有較大差異的特征來表征圖像，可避免復雜的特征提取過程，減少了人為干預;3）該算法針對卷積神經網絡提取到的第五層池化層特征和兩個全連接層特征，用串聯的方式實現特征融合，最終融合的特征具有一定的平移不變性和旋轉不變性，且涵蓋信息豐富。實驗結果表明，本文提出的算法相比傳統基于深度學習的遙感圖像分類算法準確率有較大提升，優化了分類效果。

1 相關工作

卷積神經網絡是由LeCun等[13]提出的一種經典的深度學習模型，大量的實驗表明該模型在圖像分類方面具有顯著的優勢，它可以模擬生物視覺認知機制，通過學習直接從輸入圖像中得到原始圖像的良好表達，從而識別出圖像中符合視覺規律的特征。

一個CNN模型的基本組成部分包括：輸入層、卷積層、池化層、全連接層及輸出層。其中：輸入層輸入待處理圖像。卷積層包含多個卷積核（Convolution Kernel），用來計算該層輸出的特征圖（Feature Map）。每個特征圖由多個神經元組成，每個神經元的輸入通過卷積核與上一層特征圖的局部感受野相連接。卷積核是一個權值矩陣[14]，卷積層的作用是自動學習輸入圖像的特性表征。 池化（Pooling）層中池化的本質是采樣，池化層可以選擇某種方式對卷積層學習得到的特征圖進行壓縮。池化的意義一方面在于減少網絡參數，減少計算量;另一方面在于使訓練出的特征具有旋轉不變性，增強網絡魯棒性和抗干擾能力。典型的池化方式包括平均池化、最大化池化和隨機池化[15]等。輸入圖像經卷積層和池化層后會輸出多組特征圖，全連接層將多組特征圖依次組合為一組特征圖，并將卷積層和池化層學到的“分布式特征”映射到樣本標記空間。最后，輸出層輸出圖像分類結果。

訓練一個卷積神經網絡，實際意義上是在訓練該網絡每一個卷積層的卷積核，使這些卷積核能檢測到圖像中的特定特征，從而達到訓練整個卷積神經網絡的目的[16-19]。在開始訓練之前，隨機初始化卷積核，例如將一幅圖像輸入到卷積神經網絡中，隨機初始化的卷積神經網絡訓練結果表明這張圖像有8%的可能性屬于A類，但實際上卷積神經網絡已知這張圖像屬于B類，那么卷積神經網絡會借助一個反向傳播的處理過程，修正卷積核，以便下一次碰到相似圖像時會更可能地將其預測為B類。對訓練數據重復這一過程，卷積核就會逐漸調整到能夠提取圖像中益于分類的重要特征。

2 本文算法

為了克服傳統的高分辨率遙感圖像分類算法的缺陷，本文提出了一種改進的基于深度學習的遙感圖像分類算法，該算法的整體框架如圖1所示。

2.1 基于深度學習的卷積神經網絡設計

本文算法的第一步是設計和搭建一個七層卷積神經網絡，然后將高分辨率遙感圖像樣本輸入到該網絡中進行網絡的訓練。具體步驟如下：

4 結語

針對傳統基于深度學習的遙感圖像分類算法未能有效融合多種深度學習特征、且分類器性能欠佳的缺陷，本文提出了一種改進的基于深度學習的高分辨率遙感圖像分類算法，通過在UCMerced_LandUse公共數據集上進行評測，與現有基于深度學習的遙感圖像分類算法相比，結果表明，本文提出的算法能夠有效進行分類，并在混淆矩陣、準確率、誤分類率和Kappa系數等指標上明顯優于對比算法。由于本文算法基于深度學習理論，算法效率有待提高，這也是未來進一步要改進和研究的方向。

參考文獻：

[1] WANG X， SHEN S， NING C， et al. Multi-class remote sensing objects recognition based on discriminative sparse representation [J]. Applied Optics， 2016， 55（6）： 1381-1394.

[2] WANG X， XIONG X， NING C， et al. Integration of heterogeneous features for remote sensing scene classification [J]. Journal of Applied Remote Sensing， 2018， 12（1）： 015023.

[3] NING C， LIU W， ZHANG G， et al. Enhanced synthetic aperture radar automatic target recognition method based on novel features [J]. Applied Optics， 2016， 55（31）： 8893-8904.

[4] SIRMACEK B， UNSALAN C. Urban-area and building detection using SIFT keypoints and graph theory [J]. IEEE Transactions on Geoscience and Remote Sensing， 2009， 47（4）： 1156-1167.

[5] TUERMER S， KURZ F， REINARTZ P， et al. Airborne vehicle detection in dense urban areas using HoG features and disparity maps [J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing， 2013， 6（6）： 2327-2337.

[6] CHEN C， ZHANG B， SU H， et al. Land-use scene classification using multi-scale completed local binary patterns [J]. Signal， Image & Video Processing， 2016， 10（4）： 745-752.

[7] DENG J， DONG W， SOCHER R， et al. ImageNet： a large-scale hierarchical image database [C]// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2009： 248-255.

[8] HINTON G E， OSINDERO S， TEH Y-W. A fast learning algorithm for deep belief nets [J]. Neural Computation， 2006， 18（7）： 1527-1554.http：//dx.doi.org/10.1162/neco.2006.18.7.1527

[9] 劉大偉，韓玲，韓曉勇.基于深度學習的高分辨率遙感影像分類研究[J].光學學報， 2016， 36（4）： 0428001. （LIU D W， HAN L， HAN X Y. High spatial resolution remote sensing image classification based on deep learning[J]. Acta Optica Sinica， 2016， 36（4）： 0428001.）

[10] 曲景影，孫顯，高鑫.基于CNN模型的高分辨率遙感圖像目標識別[J].國外電子測量技術，2016，35（8）：45-50. （QU J Y， SUN X， GAO X. Remote sensing image target recognition based on CNN[J]. Foreign Electronic Measurement Technology， 2016， 35（8）： 45-50.）

[11] 周敏，史振威，丁火平.遙感圖像飛機目標分類的卷積神經網絡方法[J].中國圖象圖形學報，2017，22（5）：702-708. （ZHOU M， SHI Z W， DING H P. Aircraft classification in remote-sensing images using convolutional neural networks [J]. Journal of Image and Graphics， 2017， 22（5）： 702-708.）

[12] 黃潔，姜志國，張浩鵬，等.基于卷積神經網絡的遙感圖像艦船目標檢測[J].北京航空航天大學學報，2017，43（09）：1841-1848. （HUANG J， JIANG Z G， ZHANG H P，et al. Ship object detection in remote sensing images using convolutional neural networks[J]. Journal of Beijing University of Aeronautics and Astronsutics， 2017， 43（9）： 1841-1848.）

[13] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition [J]. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

[14] GAO L， CHEN P-Y， YU S. Demonstration of convolution kernel operation on resistive cross-point array [J]. IEEE Electron Device Letters， 2016， 37（7）： 870-873.

[15] GIRSHICK R， IANDOLAA F， DARRELL T， et al. Deformable part models are convolutional neural networks [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2015： 437-446.

[16] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks [C]// NIPS12Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe， NV： Curran Associates Inc.， 2012： 1097-1105.

[17] HINTON G E. How neural networks learn from experience [J]. Scientific American， 1992， 267（3）：145-151.

[18] BOUVRIE J. Notes on convolutional neural networks [EB/OL]. [2018-04-18]. http：//cogprints.org/5869/.

[R]. Massachusetts： Center for Biological and Computational Learning， 2006： 38-44.

[19] RUMELHART D E， HINTON G E， WILLAMS R J. Learning representations by back-propagating errors [J]. Nature， 1986， 323（6088）： 533-536.ACM的另一信息 [M]// Neurocomputing： Foundations of Research. Cambridge， MA： MIT Press， 1988： 696-699.

[20] HOTELLING H. Analysis of a complex of statistical variables into principal components [J]. Journal of Educational Psychology， 1933， 24（6）： 417-520.