半監(jiān)督高分辨率遙感圖像分類方法

閭海慶 王 靜 楊 靜

(1. 中國能源建設(shè)集團湖南省電力設(shè)計院有限公司, 湖南 長沙 410007;2. 湖南省第三測繪院, 湖南 長沙 410007;3. 中國水利水電第八工程局有限公司, 湖南 長沙 410004)

0 引言

隨著科學(xué)技術(shù)的發(fā)展,高分系列遙感衛(wèi)星采集遙感圖像分辨率可達(dá)米級,與以往的低分辨遙感衛(wèi)星相比,可得到更多有效地面信息。高分辨率遙感圖像可反應(yīng)地表地形、建筑物和植被分布[1-3],借助人工智能算法精準(zhǔn)分類地表類型,為進一步促進和深化土地利用率提供了信息保障[4-5]。

借助人工智能算法分類遙感圖像已成為熱門研究方向,例如文獻[6]提出了聯(lián)合一二階池化網(wǎng)絡(luò)學(xué)習(xí)的場景分類模型,首先借助殘差網(wǎng)絡(luò)提取圖像初始特征,然后通過相似度的二階池化算子得到遙感圖像有效二階信息,最后借助交叉熵和類距離加權(quán)損失函數(shù)訓(xùn)練網(wǎng)絡(luò)。文獻[7]提出一種K-means聚類引導(dǎo)的閾值分類方法,首先對原始圖像進行K均值聚類初分割,然后對非目標(biāo)區(qū)域手工剔除,再對處理之后的新對象進行閾值分割和圖像優(yōu)化,完成對象的提取;最后對所有處理得到的地物標(biāo)簽進行合并,實現(xiàn)遙感圖像的識別與分類。文獻[8]提出一種多尺度灰度和紋理結(jié)構(gòu)特征融合的方法模型提取遙感圖像特征,借助局部二進制模式提取紋理特征,然后與灰度信息結(jié)合,最后利用多級機器學(xué)習(xí)分類識別遙感圖像。文獻[9]提出了一種融合自注意力機制和殘差卷積網(wǎng)絡(luò)的遙感圖像分類方法,首先利用卷積神經(jīng)網(wǎng)絡(luò)提取豐富的深度紋理語義特征,然后在卷積網(wǎng)絡(luò)的最后3個瓶頸層嵌入多頭自注意力模塊,挖掘遙感圖像復(fù)雜的全局結(jié)構(gòu)信息。文獻[10]提出了基于3D密集全卷積的高光譜圖像分類算法,算法通過密集模塊中的3D卷積核分別提取光譜特征和空間特征,采用特征映射模塊替換傳統(tǒng)網(wǎng)絡(luò)中的池化層和全連接層,最后通過softmax分類器進行分類。文獻[11]提出一種殘差學(xué)習(xí)改進語義模型的高分辨率遙感影像分類方法,該方法以分割網(wǎng)絡(luò)語義模型(segmentation net, SegNet)[12]為基礎(chǔ),通過構(gòu)建更深層次的網(wǎng)絡(luò)結(jié)構(gòu)并加入殘差塊以提高模型的特征提取能力,從而提取更深層次影像空譜特征實現(xiàn)分類。

上述的高分辨率遙感圖像分類算法均需對訓(xùn)練集標(biāo)注,但高分辨率遙感圖像地形復(fù)雜、訓(xùn)練集較大,很難人工完成所有遙感圖像標(biāo)準(zhǔn),為此本文提出一種基于修正匹配半監(jiān)督模型(fixmatch)[13]的高分辨率遙感圖像分類模型。先使用深度網(wǎng)絡(luò)(visual geometry group network,VGG)[14]作為遙感圖像分類網(wǎng)絡(luò),再借助FixMatch半監(jiān)督模型完成模型訓(xùn)練,得到穩(wěn)定性的VGG分類網(wǎng)絡(luò)模型。

1 遙感圖像半監(jiān)督模型

1.1 VGG16遙感圖像分類網(wǎng)絡(luò)

VGG網(wǎng)絡(luò)是牛津大學(xué)計算機視覺組研發(fā)的深度卷積神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)模型設(shè)計簡潔且在多種數(shù)據(jù)集中表現(xiàn)較好,被廣泛使用。VGG模型中最為廣泛使用的是VGG16模型,該模型具有16個卷積層和3個全連接層,如圖1所示。

圖1 VGG16模型圖

1.2 FixMatch半監(jiān)督模型

圖2 FixMatch模型

無監(jiān)督的訓(xùn)練過程包含兩種思想在里面,即一致性正則化和偽標(biāo)簽訓(xùn)練。

一致性正則化是當(dāng)前半監(jiān)督學(xué)習(xí)算法中最重要的部分,其理論假設(shè)為:同一張圖像經(jīng)過不同方式增強,經(jīng)過卷積網(wǎng)絡(luò)輸出預(yù)測結(jié)果相同,對原圖像和增強后圖像計算損失值,可有效對網(wǎng)絡(luò)模型有監(jiān)督訓(xùn)練,具體損失函數(shù)計算方式見式(1)。

(1)

式中,α和pm都是隨機函數(shù),故式(1)中函數(shù)值不同。

偽標(biāo)簽技術(shù)是利用已訓(xùn)練的卷積網(wǎng)絡(luò)模型為未標(biāo)注數(shù)據(jù)獲取人工標(biāo)簽,并且僅保留最大類概率超過預(yù)設(shè)閾值的標(biāo)簽,則損失函數(shù)寫成式(2)。

(2)

式中,τ為偽標(biāo)簽閾值。

FixMatch模型主要步驟如下。

(1)批量輸入有標(biāo)簽訓(xùn)練數(shù)據(jù)x={(xb,pb):b∈(1,2,…,B)}和無標(biāo)簽訓(xùn)練數(shù)據(jù)U={ub:b(1,2,…,μB)},閾值τ,無標(biāo)簽數(shù)據(jù)率為μ,無標(biāo)簽損失函數(shù)權(quán)重為λμ。

壓力導(dǎo)致人們喪失對生活的控制，而錦鯉帶來的心理上的確定感，能讓他們覺得自己重新成為人生的主人。即使并不奏效，但跟風(fēng)轉(zhuǎn)發(fā)錦鯉時所產(chǎn)生的愉悅感和“同病相憐”式心境，是對現(xiàn)實的一種紓解，也是對未來的一種積極暗示。

有標(biāo)簽訓(xùn)練數(shù)據(jù)交叉熵?fù)p失函數(shù)為式(3)。

(3)

(2)循環(huán)操作,從b=1到μB。

網(wǎng)絡(luò)模型預(yù)測弱增強圖像結(jié)果,可寫成式(4)。

(4)

式中,ub為圖像弱增強數(shù)據(jù)。

(3)對無標(biāo)簽數(shù)據(jù)計算偽標(biāo)簽交叉熵?fù)p失函數(shù)，見式(5)。

(5)

(4)有標(biāo)簽和無標(biāo)簽數(shù)據(jù)訓(xùn)練損失函數(shù)為，見式(6)。

(6)

對無標(biāo)簽訓(xùn)練數(shù)據(jù),需進行不同方式的增強,經(jīng)過卷積網(wǎng)絡(luò)輸出預(yù)測結(jié)果相同,計算損失函數(shù),達(dá)到半監(jiān)督學(xué)習(xí)的目的。圖像增強主要可分為弱增強和強增強,弱增強主要是翻轉(zhuǎn)和平移等策略;強增強策略主要有自動對比增強、顏色增強、壓縮變換、尺度變化等等。

2 結(jié)果與分析

2.1 實驗數(shù)據(jù)介紹

為了驗證本文所提半監(jiān)督遙感圖像分類算法的有效性,借助航拍數(shù)據(jù)集進行實驗。航拍數(shù)據(jù)集是由西北工業(yè)大學(xué)創(chuàng)建的公開遙感圖像分類數(shù)據(jù)集,該數(shù)據(jù)集共有45個類別,每個場景有700張圖像,圖像尺寸為256×256×3,如圖3所示為NWPU-RESISC45數(shù)據(jù)集部分圖像。本文實驗軟件環(huán)境為Ubuntn20.4,使用Pytorch1.8框架,硬件GPU為3080ti-12G顯卡。

使用NWPU-RESISC45數(shù)據(jù)集中90%的圖像作為訓(xùn)練集,10%的圖像作為測試集,并把訓(xùn)練集中50%的圖像作為無標(biāo)簽訓(xùn)練集數(shù)據(jù)。

(a)飛機

(b)橋梁

(c)公路

(d)船

2.2 實驗結(jié)果分析

為了防止過擬合,本文借助早停法訓(xùn)練模型,當(dāng)驗證集錯誤率在20循環(huán)中出現(xiàn)增長時,停止模型訓(xùn)練,圖4為修正匹配半監(jiān)督深度學(xué)習(xí)(FixMatch visual geometry group network,FixMatch_VGG16)模型的損失函數(shù)。

圖4 損失函數(shù)曲線

為了證明所提半監(jiān)督FixMatch_VGG16模型的優(yōu)越性,借助VGG16模型與本文所提方法對比實驗,對NWPU-RESISC45數(shù)據(jù)集中45類樣本單獨統(tǒng)計分類準(zhǔn)確率,具體如折線圖5所示。由折線圖5知,FixMatch_VGG16模型與VGG16模型在各種樣本分類準(zhǔn)確率相差較小,均小于0.02;第8種教堂和第28種公路,上述兩種模型分類效果較差,準(zhǔn)確率均低于0.8。

圖5 NWPU-RESISC45數(shù)據(jù)集單類分類準(zhǔn)確率折線圖

借助半監(jiān)督FixMatch_VGG16模型分類效果如圖6所示,飛機、農(nóng)場、公路和輪船都可以有效分類。

圖6 FixMatch_VGG16模型分類效果

為了更好評價不同算法的綜合分類效果,本文半監(jiān)督分類方法與殘差神經(jīng)網(wǎng)絡(luò)18(Res Net18)、殘差神經(jīng)網(wǎng)絡(luò)50(Res Net50)[15]、深度網(wǎng)絡(luò)11(visual geometry group network 11, VGG11)、深度網(wǎng)絡(luò)16(visual geometry group network 16, VGG6)分類模型對比實驗,對NWPU-RESISC45數(shù)據(jù)集統(tǒng)計平均分類準(zhǔn)確率,統(tǒng)計結(jié)果如表1所示。由表1可知,ResRet18模型平均分類準(zhǔn)確率最低;VGG16模型的平均分類準(zhǔn)確率最高;本文所提半監(jiān)督FixMatch_VGG16模型比ResNet50模型平均分類準(zhǔn)確率高0.02,比VGG16模型低0.3,由此可表明所提半監(jiān)督模型具有較強的范化性。

表1 不同模型的平均分類準(zhǔn)確率 單位:%

3 結(jié)束語

為了更高效、快速的分類高分辨率遙感圖像,本文提出了一種基于半監(jiān)督學(xué)習(xí)算法的遙感圖像分類方法：①借助VGG16模型作為高分辨率遙感圖像主干網(wǎng)絡(luò);②對訓(xùn)練數(shù)據(jù)集部分制作標(biāo)簽有監(jiān)督學(xué)習(xí),其余數(shù)據(jù)進行弱增強和強增強,得到偽標(biāo)簽訓(xùn)練模型,已達(dá)到半監(jiān)督學(xué)習(xí)目的;③得到訓(xùn)練模型分類遙感圖像。實驗表明，本文所提半監(jiān)督FixMatch_VGG16模型具有較強的范化性和優(yōu)越性,可廣泛應(yīng)用到遙感圖像分類領(lǐng)域。