半監督高分辨率遙感圖像分類方法

閭海慶 王 靜 楊 靜

(1. 中國能源建設集團湖南省電力設計院有限公司, 湖南 長沙 410007;2. 湖南省第三測繪院, 湖南 長沙 410007;3. 中國水利水電第八工程局有限公司, 湖南 長沙 410004)

0 引言

隨著科學技術的發展,高分系列遙感衛星采集遙感圖像分辨率可達米級,與以往的低分辨遙感衛星相比,可得到更多有效地面信息。高分辨率遙感圖像可反應地表地形、建筑物和植被分布[1-3],借助人工智能算法精準分類地表類型,為進一步促進和深化土地利用率提供了信息保障[4-5]。

借助人工智能算法分類遙感圖像已成為熱門研究方向,例如文獻[6]提出了聯合一二階池化網絡學習的場景分類模型,首先借助殘差網絡提取圖像初始特征,然后通過相似度的二階池化算子得到遙感圖像有效二階信息,最后借助交叉熵和類距離加權損失函數訓練網絡。文獻[7]提出一種K-means聚類引導的閾值分類方法,首先對原始圖像進行K均值聚類初分割,然后對非目標區域手工剔除,再對處理之后的新對象進行閾值分割和圖像優化,完成對象的提取;最后對所有處理得到的地物標簽進行合并,實現遙感圖像的識別與分類。文獻[8]提出一種多尺度灰度和紋理結構特征融合的方法模型提取遙感圖像特征,借助局部二進制模式提取紋理特征,然后與灰度信息結合,最后利用多級機器學習分類識別遙感圖像。文獻[9]提出了一種融合自注意力機制和殘差卷積網絡的遙感圖像分類方法,首先利用卷積神經網絡提取豐富的深度紋理語義特征,然后在卷積網絡的最后3個瓶頸層嵌入多頭自注意力模塊,挖掘遙感圖像復雜的全局結構信息。文獻[10]提出了基于3D密集全卷積的高光譜圖像分類算法,算法通過密集模塊中的3D卷積核分別提取光譜特征和空間特征,采用特征映射模塊替換傳統網絡中的池化層和全連接層,最后通過softmax分類器進行分類。文獻[11]提出一種殘差學習改進語義模型的高分辨率遙感影像分類方法,該方法以分割網絡語義模型(segmentation net, SegNet)[12]為基礎,通過構建更深層次的網絡結構并加入殘差塊以提高模型的特征提取能力,從而提取更深層次影像空譜特征實現分類。

上述的高分辨率遙感圖像分類算法均需對訓練集標注,但高分辨率遙感圖像地形復雜、訓練集較大,很難人工完成所有遙感圖像標準,為此本文提出一種基于修正匹配半監督模型(fixmatch)[13]的高分辨率遙感圖像分類模型。先使用深度網絡(visual geometry group network,VGG)[14]作為遙感圖像分類網絡,再借助FixMatch半監督模型完成模型訓練,得到穩定性的VGG分類網絡模型。

1 遙感圖像半監督模型

1.1 VGG16遙感圖像分類網絡

VGG網絡是牛津大學計算機視覺組研發的深度卷積神經網絡,該網絡模型設計簡潔且在多種數據集中表現較好,被廣泛使用。VGG模型中最為廣泛使用的是VGG16模型,該模型具有16個卷積層和3個全連接層,如圖1所示。

圖1 VGG16模型圖

1.2 FixMatch半監督模型

圖2 FixMatch模型

無監督的訓練過程包含兩種思想在里面,即一致性正則化和偽標簽訓練。

一致性正則化是當前半監督學習算法中最重要的部分,其理論假設為:同一張圖像經過不同方式增強,經過卷積網絡輸出預測結果相同,對原圖像和增強后圖像計算損失值,可有效對網絡模型有監督訓練,具體損失函數計算方式見式(1)。

(1)

式中,α和pm都是隨機函數,故式(1)中函數值不同。

偽標簽技術是利用已訓練的卷積網絡模型為未標注數據獲取人工標簽,并且僅保留最大類概率超過預設閾值的標簽,則損失函數寫成式(2)。

(2)

式中,τ為偽標簽閾值。

FixMatch模型主要步驟如下。

(1)批量輸入有標簽訓練數據x={(xb,pb):b∈(1,2,…,B)}和無標簽訓練數據U={ub:b(1,2,…,μB)},閾值τ,無標簽數據率為μ,無標簽損失函數權重為λμ。

壓力導致人們喪失對生活的控制，而錦鯉帶來的心理上的確定感，能讓他們覺得自己重新成為人生的主人。即使并不奏效，但跟風轉發錦鯉時所產生的愉悅感和“同病相憐”式心境，是對現實的一種紓解，也是對未來的一種積極暗示。

有標簽訓練數據交叉熵損失函數為式(3)。

(3)

(2)循環操作,從b=1到μB。

網絡模型預測弱增強圖像結果,可寫成式(4)。

(4)

式中,ub為圖像弱增強數據。

(3)對無標簽數據計算偽標簽交叉熵損失函數，見式(5)。

(5)

(4)有標簽和無標簽數據訓練損失函數為，見式(6)。

(6)

對無標簽訓練數據,需進行不同方式的增強,經過卷積網絡輸出預測結果相同,計算損失函數,達到半監督學習的目的。圖像增強主要可分為弱增強和強增強,弱增強主要是翻轉和平移等策略;強增強策略主要有自動對比增強、顏色增強、壓縮變換、尺度變化等等。

2 結果與分析

2.1 實驗數據介紹

為了驗證本文所提半監督遙感圖像分類算法的有效性,借助航拍數據集進行實驗。航拍數據集是由西北工業大學創建的公開遙感圖像分類數據集,該數據集共有45個類別,每個場景有700張圖像,圖像尺寸為256×256×3,如圖3所示為NWPU-RESISC45數據集部分圖像。本文實驗軟件環境為Ubuntn20.4,使用Pytorch1.8框架,硬件GPU為3080ti-12G顯卡。

使用NWPU-RESISC45數據集中90%的圖像作為訓練集,10%的圖像作為測試集,并把訓練集中50%的圖像作為無標簽訓練集數據。

(a)飛機

(b)橋梁

(c)公路

(d)船

2.2 實驗結果分析

為了防止過擬合,本文借助早停法訓練模型,當驗證集錯誤率在20循環中出現增長時,停止模型訓練,圖4為修正匹配半監督深度學習(FixMatch visual geometry group network,FixMatch_VGG16)模型的損失函數。

圖4 損失函數曲線

為了證明所提半監督FixMatch_VGG16模型的優越性,借助VGG16模型與本文所提方法對比實驗,對NWPU-RESISC45數據集中45類樣本單獨統計分類準確率,具體如折線圖5所示。由折線圖5知,FixMatch_VGG16模型與VGG16模型在各種樣本分類準確率相差較小,均小于0.02;第8種教堂和第28種公路,上述兩種模型分類效果較差,準確率均低于0.8。

圖5 NWPU-RESISC45數據集單類分類準確率折線圖

借助半監督FixMatch_VGG16模型分類效果如圖6所示,飛機、農場、公路和輪船都可以有效分類。

圖6 FixMatch_VGG16模型分類效果

為了更好評價不同算法的綜合分類效果,本文半監督分類方法與殘差神經網絡18(Res Net18)、殘差神經網絡50(Res Net50)[15]、深度網絡11(visual geometry group network 11, VGG11)、深度網絡16(visual geometry group network 16, VGG6)分類模型對比實驗,對NWPU-RESISC45數據集統計平均分類準確率,統計結果如表1所示。由表1可知,ResRet18模型平均分類準確率最低;VGG16模型的平均分類準確率最高;本文所提半監督FixMatch_VGG16模型比ResNet50模型平均分類準確率高0.02,比VGG16模型低0.3,由此可表明所提半監督模型具有較強的范化性。

表1 不同模型的平均分類準確率 單位:%

3 結束語

為了更高效、快速的分類高分辨率遙感圖像,本文提出了一種基于半監督學習算法的遙感圖像分類方法：①借助VGG16模型作為高分辨率遙感圖像主干網絡;②對訓練數據集部分制作標簽有監督學習,其余數據進行弱增強和強增強,得到偽標簽訓練模型,已達到半監督學習目的;③得到訓練模型分類遙感圖像。實驗表明，本文所提半監督FixMatch_VGG16模型具有較強的范化性和優越性,可廣泛應用到遙感圖像分類領域。