一種自適應學習率的遙感影像分類方法

王研， 段琳琳， 楊玲

摘? 要： 在對遙感影像進行分類識別處理時，深度學習技術容易陷于局部最優，模型參數往往需要手動調整。提出一種基于模擬退火算法的自適應學習率方法，并建立層疊去噪自動編碼器模型。給模型添加一定學習率比例，以實現學習率在迭代中自動改變。通過對比實驗以及曲面擬合方法，驗證了該方法的有效性、實用性和可靠性。該方法能自動調整學習率參數且能夠避免局部最優解，分類精度和效率均有所提高。

關鍵詞： 模擬退火算法; 分類; 自適應; 學習率; 層疊去噪自動編碼器

中圖分類號：TP751? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2022）06-27-05

A remote sensing image classification method based on adaptive learning rate

Wang Yan1， Duan Linlin2， Yang Ling1

（1. Henan University， Kaifeng， Henan 475004， China; 2. No.1 Senior High School of Xiangcheng）

Abstract： When classifying and identifying remote sensing images， deep learning technologies are easy to fall into a local optimum， and model parameters are often adjusted manually. In this paper， a method of adaptive learning rate based on simulated annealing algorithm is proposed， and a stacked denoising auto encoder model is constructed. The learning rate is given a proportion so that it can change automatically in the iteration. The effectiveness， practicability and reliability of above algorithm are verified through comparative experiments and surface fitting methods. The results indicate that the proposed method can automatically adjust the learning rate and avoid local optimal solutions， which improves the classification accuracy and efficiency.

Key words： simulated annealing algorithm; classification; adaptive; learning rate; stacked denoising auto encoder

0 引言

在遙感影像分類領域，模型構建和參數取值對實驗結果有著很大影響。想要深入學習遙感影像特征，就需要依靠不時改變模型參數值來滿足[1]。

參數自適應方法的研究在一些領域內已有顯著成效，如米龍[2]將自適應調整算法用于改善紅豆的篩選分類結果;Shrestha等人[3]應用以權值收斂準則為基礎的自適應方法，顯著提高了收斂速度;楊德州等人[4]為解決訓練速度較慢的問題，建立了結合自適應學習率方法的光熱電場DNI預測模型;馬偉昌[5]在深度堆疊網絡的訓練算法中引用自適應學習率思想，改進了腦電信號識別方法。

在遙感影像處理領域，目前大多數研究依舊采用手動調整模型參數的方式，如宋廷強等人[6]根據訓練收斂速度，手動調整AA-SegNet網絡模型的學習率;雒培磊等人[7]應用超參數人工調優的方式提高影像配準和拼接精度;朱友君[8]使用手動調節超參數的方式進行城市影像道路分割模型訓練;鄭重等人[9]通過大量實驗得到合適的地面塌陷識別參數。雖然均取得了較好成果，但過程耗時耗力。因此面對遙感影像特征復雜的現狀，本文以研究較少、結構簡單、能夠進行特征自動提取的自動編碼器（Auto encoder，AE）[10]為研究基礎，基于模擬退火算法并結合層疊去噪自動編碼器模型，提出一種方便可行的學習率自適應方法，以適應學習過程中不斷變化的狀況，跳出局部最優解，進一步改善分類識別的精度和效率。

1 數據

本文實驗數據來源于數據集AID（Aerial image dataset），選擇其中部分內容作為實驗數據，以降低復雜度[11-13]。具體為：①抽選七類地物，其中二類的數量為收錄總量，其余五類的樣本數量均為100個;②用于訓練和測試的樣本各585個。表1為整體樣本信息。

影像尺寸過大，將導致數據復雜度增大，處理效率低。參考以往研究[14]、結合實驗設施性能，修改樣本尺寸大小為28pixel×28pixel。并使用最大最小值歸一化方法（Min-Max normalization，MMN）對影像數據進行預處理，從而減小數值之間差異[15]。另外，為了降低挑戰性，先前的分類研究中[16，17]大多均衡設置每個類別的樣本量，在本文中，每個類別的樣本量并不均衡，可以很好的驗證實驗方法的有效性。

2 學習率自適應模型

2.1 層疊去噪自動編碼器

層疊去噪自動編碼器（Stacked denoising auto encoder，SDAE），由能夠從注入噪聲的數據中重構出無噪聲數據的去噪自動編碼器（Denoising auto encoder，DAE）層疊構成，只需在其頂層加上分類器即可實現分類功能，圖1為其結構模型圖。

本文選用魯棒性較好的層疊去噪自動編碼器（SDAE）為主要模型，訓練過程主要分兩個階段。

⑴ 預訓練階段：運用逐層貪婪算法進行無監督訓練。依據樣本和SDAE結構的特點，分別設置各層DAE的參數值。之后，導入樣本數據進行第一個DAE的訓練，然后將結果向下一級傳遞并重復訓練過程，各層DAE都完成訓練后結束。

⑵ 微調階段：預訓練完成后，對整體模型做反向調優，以此微調模型參數。

2.2 模擬退火算法

模擬退火算法（Simulated annealing，SA），一種結合概率突跳特性的隨機尋優算法[18，19]。基本思想為：按照Metropolis準則判斷物體從狀態[A]進入[B]時，是否保持[B]為當前狀態。設狀態[A]、[B]下的能量分別為：[EA]、[EB]。

⑴ [EB≤EA]，則接受狀態向[B]的移動（能量最低的狀態對應于最優解）。

⑵ [EB>EA]，則以概率[PAB]接受[B]為當前狀態。

[PAB=exp?EKT]? ⑴

其中[?E]表示能量差，[K]表示Boltzmann常數，[T]表示溫度。

2.3 基于模擬退火算法的學習率自適應方法

本文基于模擬退火算法并結合SDAE模型提出的學習率自適應方法，主要過程如下。

⑴ 構建并初始化SDAE模型。依據參考文獻[20]將各層的單元數設置為：2352-2276-588-284-7。

⑵ 設迭代次數為[x]，學習率為[εx]。目標函數如式⑵所示。

[L=1mi=1mJai，li+λ2Ni=1Wi2]? ⑵

其中[ai]和[li]分別為含噪數據的輸入與重構信息，[Jai，li]表示[ai]與[li]之間的誤差絕對值，[λ]為正則系數，[Wi]為權值矩陣。

⑶ 設學習率比例為[R]，根據目標函數判斷學習率取值。若[Lx+1≤Lx]，則保留[εx+1]作為當前學習率;若[Lx+1>Lx]，則以[R?εx+1]作為當前學習率。

⑷ 判斷學習能否結束。若已達到終止條件，則停止學習;否則，依據條件循環上述步驟。這一過程有兩個依據：達到迭代上限或者得到所需精度時[21]。本文選用前者作為判斷條件以獲得實驗所能達到的最高精度。

根據該方法進行學習時，權值矩陣[W]和偏置量[b]的更新依據分別為：

[?W'n=κ??Wn+ε?Q?L?Wn]? ⑶

[?b'n=?bn+ε?Q?L?bn]? ?⑷

其中[κ]表示權值動量，[Q?L?Wn]、[Q?L?bn]分別表示[W]和[b]的偏導數均值。

3 實驗結果與分析

使用AID航空圖像數據集實驗以證實所提算法的有效性。此外，使用基于曲面擬合的方法驗證其分類結果的可靠性。

3.1 結果與分析

本文模型采用固定其他參數不變，分別變動加噪率、正則項和動量項的方法，依據參數最優原則得出相應的最優參數值分別為加噪率0.95、[L2]正則項0.1、動量項0.7，進而改變學習率取值以得到最佳實驗效果。為避免學習率取值過大導致無法收斂，故根據彈性間隔變動對學習率取0.01，0.05，0.1至0.9共11個取值。

添加自適應模型（方法1）與未添加學習率比例（方法2）的實驗結果如圖2所示。

觀察圖2可知：學習率在0.3處時，方法2的分類精度已經達到最高，為82.05%，而在0.01處時，方法1達到最高精度，為98.97%。這說明學習率自適應方法能跳出局部最優解。

實驗結果所對應的評價指標數據見表2、表3。

由表2、表3可知：

⑴ 方法1相較于方法2，Kappa系數提高了0.2146，整體分類精度（OA）提高了0.1692;

⑵ 添加自適應方法的實驗中，各類的生產精度（PA）與用戶精度（UA）也均有所提高，其中海灘的PA值增加了50%，教堂的UA值增加了39.31%。

圖3是在學習率為0.01的情況下，更改學習率比例得到的分類精度圖。

從圖3中可以看出，學習率比例取值0.01、0.05和0.1時，精度均是最大值98.97%。

本文計算機系統為Windows7（64Bit），4核，CPU 2.21GHZ，RAM 4GB;所使用軟件為Matlab（R2016a）。選取學習比例為0.1，進行自適應和手動賦予這兩種方法的實驗耗時對比。結果表明：當采用手動添加時，所用時間為1948.24s;運用學習率自適應方法時僅耗時1356.80s。說明自適應方法能夠明顯提高分類實驗效率。

綜合上述實驗結果可以看出，將本文方法應用到遙感影像分類實驗中，能夠避免陷入局部最優陷阱、緩解手動操作效率低的狀況，提高分類精度，縮減實驗時長。

3.2 基于曲面擬合的精度驗證

最小二乘算法（Least Square Algorithm，LS）[22]能夠解出具有最優參數的擬合曲線，使得各數據點與該曲線之間的距離和值達到最小。此外，依據相同的原理，LS還能夠處理最優函數匹配問題。

設所擬合的曲面模型為：

[f=a1+a2x21+a3x22+a4x1x2+a5x1+a6x2ω]? ⑸

其中[x1]為學習率，[x2]為學習率比例，[y]為結果精度，[ai]為系數，[ω]為隨機誤差項。

由[x1]、[x2]、[y]構成的三維空間點與擬合曲面之間的距離和值達到最小，便是本文需要求得目標函數的本質。由此能夠驗證實驗結果的可靠性。三維空間點的形式可以表示為[x11，x21，y1，x12，x22，y2，…，x1i，x2i，yi]。實驗中根據空間點可求得：

[f=-0.1313-0.9117x21+0.3991x22- 0.2919x1x2]? ? ? ? ?[+1.8006x1-0.0582x2] ⑹

空間點與函數⑹之間的距離和值最小，就意味著結果誤差達到了最小值。圖4為可視化模型。

表4展示了空間點能夠擬合的幾個模型。其中F值（統計量觀測值）和R2（可決系數）越大，p值和σ（誤差方差估計值）越小，代表模型擬合效果越佳，具有較高的合理性。表中所展示函數模型的R2均大于0.6，P值均小于0.05，意味著這些模型都適用于上述空間點的擬合，證明了實驗結果的可靠性及研究方法的科學性。模型⑹的R2最高，σ值最小，故其擬合效果最好。

4 結束語

在遙感影像分類研究中，深度學習技術的應用在不斷進步的同時也遇到了一些阻礙。本文參考已有研究，提出一種結合模擬退火算法的自適應學習率方法，旨在研究中跳出局部最優、實現自動調參。采用AID數據集進行實驗，結果證明了本文所提的自適應學習率計算方法能有助于更深層的學習影像特征，提高分類精度，學習效率也較高，能有效解決以往算法中的陷入局部最優和需要手動調參等問題。下一步研究工作的重點是增加實驗的數據量，并增加分類類別以驗證本文算法的泛化性能。

參考文獻（References）：

[1] 段琳琳.基于深度學習的遙感影像分類研究[D]. 河南：河南大學，2018

[2] 米龍.自適應深度學習算法在目標分類問題中的應用[D].沈陽：東北大學，2014

[3] SHRESTHA S B， SONG Q. Weight convergence of SpikeProp and adaptive learning rate： Communication， Control， & Computing[C]， Fifty-first Annual Allerton Conference Allerton House： IEEE，2014

[4] 楊德州，李錦鍵，呂金歷，等.基于改進CNN的光熱電場太陽直接法向輻射預測研究[J].可再生能源，2021，39（2）：182-188

[5] 馬偉昌.基于自適應學習率深度堆疊網絡的腦電信號識別方法研究[D].重慶：重慶郵電大學，2020

[6] 宋廷強，李繼旭，張信耶.基于深度學習的高分辨率遙感圖像建筑物識別[J].計算機工程與應用，2020，56（8）：26-34

[7] 雒培磊，李國慶，曾怡.一種改進的基于深度學習的遙感影像拼接方法[J].計算機工程與應用，2017，53（20）：180-186

[8] 朱友君.基于卷積神經網絡的城市遙感影像道路分割[D].成都：電子科技大學，2019

[9] 鄭重，張敬東，杜建華.基于深度學習的遙感圖像中地面塌陷識別方法研究[J].現代商貿工業，2017（35）： 189-192

[10] RIFAI S， VINCENT P， MULLER X， et al. Contractive Auto-Encoders： Explicit Invariance During Feature Extraction： Proceedings of the 28 th International Conference on Machine Learning[C]： ICML，2011

[11] SHAO W， YANG W， XIA G S， et al. A Hierarchical Scheme of Multiple Feature Fusion for High-Resolution Satellite Scene Categorization： Proceedings of the 9th international conference on Computer Vision Systems[C]：ICVS，2013

[12] ZHOU W， SHAO Z， DIAO C， et al. High-resolution remote-sensing imagery retrieval using sparse features by auto-encoder[J]. Remote Sensing Letters， 2015，6（10-12）：775-783

[13] YANG W， YIN X， XIA G. Learning High-level Features for Satellite Image Classification With Limited Labeled Samples[J]. Transactions on Geoscience and Remote Sensing，2015，53（8）：4472-4482

[14] 柳振東.卷積神經網絡在圖像分類中的研究與應用[D].天津：中國民航大學，2017

[15] 湯榮志.數據歸一化方法對提升SVM訓練效率的研究[D].濟南：山東師范大學，2017

[16] QU B， LI X L， TAO D C， et al. Deep semantic understanding of high resolution remote sensing image： International Conference on Computer[C]： IEEE，2016

[17] HU F， XIA G， HU J， et al. Transferring Deep Convolutional Neural Networks for the Scene Classification of High-Resolution Remote Sensing Imagery[J].Remote sensing （Basel， Switzerland），2015，7（11）：14680-14707

[18] 江麗.基于粒子群與模擬退火算法的BP網絡學習方法研究[D].合肥：安徽大學，2013

[19] 陳國飛.基于模擬退火的粒子群算法的函數優化研究[D].長沙：中南大學，2013

[20] 劉祖瑾，楊玲，劉祖涵，等.一種結合深度置信網絡與最優尺度的植被提取方法[J].激光與光電子學進展，2018，55（2）：158-167

[21] 滿鳳環，陳秀宏，何佳佳.一種基于模擬退火算法改進的卷積神經網絡[J].微電子學與計算機，2017，34（9）：58-62

[22] 張雪峰.最小二乘與最小二乘支撐向量機[D].成都：電子科技大學，2007