基于超像素注意力和孿生結(jié)構(gòu)的半監(jiān)督高光譜顯著性目標(biāo)檢測(cè)

秦昊林, 許廷發(fā),2,3, 李佳男,3*

(1.北京理工大學(xué) 光電學(xué)院, 北京 100081; 2.北京理工大學(xué)重慶創(chuàng)新中心, 重慶 401120;3.北京理工大學(xué) 光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室, 北京 100081)

0 引言

顯著性目標(biāo)檢測(cè)(SOD)技術(shù)作為偽裝識(shí)別、異常檢測(cè)、動(dòng)作識(shí)別等任務(wù)[1-3]的關(guān)鍵技術(shù)之一,得到了廣泛關(guān)注和研究。近年來(lái),隨著高光譜圖像處理技術(shù)的發(fā)展,基于高光譜圖像的顯著性目標(biāo)檢測(cè)(HSOD)技術(shù)取得了優(yōu)異的成績(jī),并展現(xiàn)出了驚人的潛力。與傳統(tǒng)的彩色圖像(RGB)相比,高光譜圖像具有額外的、豐富的光譜信息,能夠更準(zhǔn)確地反映物體特性。尤其是在復(fù)雜環(huán)境條件下,例如相似背景、過(guò)曝光、不均勻光照等情況,高光譜SOD技術(shù)具有更明顯的優(yōu)勢(shì)。

在先前研究中[4],人們主要使用光譜強(qiáng)度、光譜角距離等淺層手工特征計(jì)算每個(gè)像素的顯著性得分,并生成顯著性結(jié)果圖。但是這些傳統(tǒng)方法的魯棒性和檢測(cè)精度往往差強(qiáng)人意。近年來(lái),深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺(jué)領(lǐng)域取得了巨大成功[5-7]。受此啟發(fā),人們將該技術(shù)引入高光譜顯著性目標(biāo)檢測(cè)任務(wù)[8],并提出了具有更高檢測(cè)性能和魯棒性的神經(jīng)網(wǎng)絡(luò)模型。然而這些模型的訓(xùn)練需要大量帶有嚴(yán)格像素級(jí)標(biāo)注的數(shù)據(jù)樣本。這會(huì)帶來(lái)高昂的標(biāo)注成本[9],限制了深度學(xué)習(xí)技術(shù)在該領(lǐng)域的進(jìn)一步發(fā)展,是一項(xiàng)亟待解決的重要挑戰(zhàn)。

為了解決上述問(wèn)題,本文采用半監(jiān)督訓(xùn)練模式降低標(biāo)注成本,同時(shí)充分利用高光譜圖像特性以提高檢測(cè)性能。具體地,高光譜圖像中每個(gè)像素點(diǎn)都包含了一條完整的光譜曲線,如圖1所示?；谶@一特性,可以利用超像素方法實(shí)現(xiàn)高精度的像素聚類,對(duì)人眼無(wú)法感知的光譜信息進(jìn)行捕捉。此外,各光譜通道間的相互影響也是一項(xiàng)值得關(guān)注的特性[10]。

圖1 網(wǎng)絡(luò)建立動(dòng)機(jī)示意圖

受上述啟發(fā),本文提出一種半監(jiān)督高光譜SOD算法,該算法使用一個(gè)小規(guī)模全監(jiān)督數(shù)據(jù)集和一個(gè)大規(guī)模弱監(jiān)督數(shù)據(jù)集進(jìn)行半監(jiān)督訓(xùn)練。其中全監(jiān)督數(shù)據(jù)集包含以像素級(jí)標(biāo)注作為標(biāo)簽的少量數(shù)據(jù),弱監(jiān)督數(shù)據(jù)集具有大量使用顯著性邊界框作為弱標(biāo)簽的數(shù)據(jù)。本文提出的算法由孿生預(yù)測(cè)模塊和注意力輔助模塊兩部分組成。當(dāng)給定一張輸入圖像時(shí),孿生預(yù)測(cè)模塊根據(jù)對(duì)應(yīng)的弱標(biāo)簽生成兩張同源圖像作為輸入,并利用共享權(quán)重參數(shù)的兩個(gè)分支網(wǎng)絡(luò)分別預(yù)測(cè),生成對(duì)應(yīng)的顯著性結(jié)果圖。在訓(xùn)練過(guò)程中,通過(guò)最小化結(jié)果圖之間的差異來(lái)學(xué)習(xí)弱標(biāo)簽中的隱式約束。注意力輔助模塊引入一個(gè)超像素級(jí)通道注意力網(wǎng)絡(luò),以充分利用光譜信息。在弱標(biāo)簽的指導(dǎo)下,它可以為弱監(jiān)督數(shù)據(jù)集中的每張圖像生成準(zhǔn)確的掩碼。在實(shí)際訓(xùn)練中,本文首先在全監(jiān)督數(shù)據(jù)集上利用像素級(jí)標(biāo)簽訓(xùn)練孿生預(yù)測(cè)模塊,并引入注意力輔助模塊為弱監(jiān)督數(shù)據(jù)集生成掩碼,之后利用掩碼優(yōu)化預(yù)測(cè)模塊。本文在多個(gè)高光譜和彩色數(shù)據(jù)集上進(jìn)行了大量的定量評(píng)估和定性分析實(shí)驗(yàn),都展現(xiàn)了優(yōu)異的SOD效果,同時(shí)顯著節(jié)省了像素級(jí)標(biāo)注成本。

本文的主要貢獻(xiàn)可以概括為以下4點(diǎn):

1)提出了一個(gè)半監(jiān)督檢測(cè)算法,減少了對(duì)全監(jiān)督數(shù)據(jù)的需求,有效降低了像素級(jí)標(biāo)注帶來(lái)的成本。這是半監(jiān)督訓(xùn)練策略在高光譜SOD任務(wù)的首次應(yīng)用。

2)提出了一個(gè)孿生預(yù)測(cè)模塊,以兩張同源圖像作為輸入,有效捕獲顯著性邊界框的隱式約束,使弱標(biāo)簽具有與像素級(jí)標(biāo)簽相近的約束能力。

3)提出了注意力輔助模塊,它基于超像素級(jí)通道注意力網(wǎng)絡(luò)來(lái)充分利用高光譜圖像特性,有效抑制了背景的干擾,顯著提升了檢測(cè)性能。

4)在多個(gè)高光譜和彩色數(shù)據(jù)集上對(duì)提出的算法進(jìn)行了性能評(píng)估,達(dá)到了先進(jìn)的檢測(cè)精度,為后續(xù)工作提供了新的標(biāo)準(zhǔn)。

1 相關(guān)工作

1.1 高光譜SOD

基于高光譜圖像的SOD技術(shù)是一個(gè)新穎且有價(jià)值的研究方向。Itti等[11]使用顏色對(duì)比度和相對(duì)位置方向來(lái)計(jì)算各像素顯著性得分,提出了首個(gè)SOD模型。受此啟發(fā),Moan等[12]、Liang等[13]、Zhang等[10]先后提出了利用淺層手工特征的高光譜SOD方法。然而這些傳統(tǒng)方法在處理復(fù)雜情況時(shí)表現(xiàn)出了精度低、魯棒性差的缺陷。為了解決這些問(wèn)題,Imamoglu等[14]首次將深度學(xué)習(xí)技術(shù)應(yīng)用于高光譜SOD任務(wù)中,提出了基于卷積神經(jīng)網(wǎng)絡(luò)的自監(jiān)督模型。之后Huang等[15]對(duì)其進(jìn)行了優(yōu)化,通過(guò)同時(shí)考慮空間和光譜信息進(jìn)一步提升了模型性能。與傳統(tǒng)方法相比,這些基于深度學(xué)習(xí)技術(shù)的神經(jīng)網(wǎng)絡(luò)模型顯著提高了檢測(cè)精度和魯棒性。但是模型的訓(xùn)練需要大量帶有像素級(jí)標(biāo)簽的訓(xùn)練樣本,這將帶來(lái)高昂的標(biāo)注工作成本,限制了深度學(xué)習(xí)技術(shù)在該領(lǐng)域的發(fā)展。

1.2 半監(jiān)督訓(xùn)練策略

近年來(lái),在神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練中引入半監(jiān)督訓(xùn)練策略成為各項(xiàng)計(jì)算機(jī)視覺(jué)任務(wù)的研究熱點(diǎn)。與常用的全監(jiān)督訓(xùn)練策略相比,半監(jiān)督訓(xùn)練策略表現(xiàn)出了更強(qiáng)的擴(kuò)展性,同時(shí)大大減少了人工監(jiān)督成本。例如,Pan等[16]提出了一種雙流混合網(wǎng)絡(luò)來(lái)模擬雙目視覺(jué)以進(jìn)行SOD。文獻(xiàn)[17]提出了一種使用線性反饋系統(tǒng)模型的半監(jiān)督分類器來(lái)生成平滑準(zhǔn)確的顯著性結(jié)果圖。然而上述算法只適用于傳統(tǒng)彩色圖像,無(wú)法擴(kuò)展到光譜圖像。據(jù)了解,這是首次將半監(jiān)督訓(xùn)練策略應(yīng)用于高光譜SOD任務(wù)之中。

1.3 注意力機(jī)制

注意力機(jī)制在SOD任務(wù)中發(fā)揮了重要作用。Zhang等[18]提出了一種用于遙感圖像的密集注意力流體網(wǎng)絡(luò)。文獻(xiàn)[19]使用了一個(gè)交叉注意模塊來(lái)捕獲周圍像素的有價(jià)值的上下文信息。這些工作都證明了注意力機(jī)制有助于檢測(cè)性能的提升,但是他們只關(guān)注了數(shù)據(jù)的空間維度信息,而忽略了對(duì)光譜信息的深度挖掘。合理利用高光譜圖像的光譜通道,構(gòu)建能夠充分利用光譜特性的注意力網(wǎng)絡(luò),將有助于提高檢測(cè)精度。

2 基于超像素注意力和孿生結(jié)構(gòu)的半監(jiān)督高光譜SOD方法

圖2展示了本文提出的算法整體架構(gòu)。本文基于U2Net[20]構(gòu)建了具有雙分支孿生結(jié)構(gòu)的預(yù)測(cè)模塊,用于預(yù)測(cè)輸入圖像的顯著性結(jié)果圖,并學(xué)習(xí)弱標(biāo)簽中的隱式約束條件。另外,本文還提出了由超像素級(jí)通道注意力網(wǎng)絡(luò)和U2Net組成的注意力輔助模塊,用于預(yù)測(cè)模塊的優(yōu)化。在訓(xùn)練過(guò)程中,本文首先在全監(jiān)督數(shù)據(jù)集上對(duì)孿生預(yù)測(cè)模塊進(jìn)行預(yù)訓(xùn)練,以原始圖像和孿生圖像作為輸入,輸出預(yù)測(cè)結(jié)果。之后利用邊界框弱標(biāo)簽為弱監(jiān)督數(shù)據(jù)集生成邊界圖像并送入注意力輔助模塊,其中U2Net加載預(yù)訓(xùn)練參數(shù),生成對(duì)應(yīng)掩碼。最終在弱監(jiān)督數(shù)據(jù)集上,利用掩碼采用全監(jiān)督策略對(duì)孿生預(yù)測(cè)模塊進(jìn)行優(yōu)化訓(xùn)練,生成高質(zhì)量顯著性結(jié)果圖。

圖2 超像素注意力孿生半監(jiān)督算法架構(gòu)圖

2.1 孿生預(yù)測(cè)模塊

本文提出的算法通過(guò)小規(guī)模的全監(jiān)督數(shù)據(jù)集和大規(guī)模的弱監(jiān)督數(shù)據(jù)集進(jìn)行半監(jiān)督訓(xùn)練。弱監(jiān)督數(shù)據(jù)和全監(jiān)督數(shù)據(jù)之間的關(guān)鍵差異在于弱標(biāo)簽失去了對(duì)每個(gè)像素的約束[21]。當(dāng)使用邊界框作為弱標(biāo)簽時(shí),每個(gè)像素上的約束被轉(zhuǎn)換為區(qū)域級(jí)隱式約束。為了充分利用這種隱式約束,本文提出孿生預(yù)測(cè)模塊,其詳細(xì)結(jié)構(gòu)如圖2所示。該模塊以原始圖像和孿生圖像作為輸入,其中孿生圖像是根據(jù)顯著性邊界框裁剪原始圖像獲得的同源圖像。兩幅圖像被同時(shí)輸入到孿生預(yù)測(cè)模塊中,其中兩個(gè)分支網(wǎng)絡(luò)之間共享權(quán)重參數(shù),最終分別生成預(yù)測(cè)結(jié)果。在訓(xùn)練過(guò)程中,通過(guò)最小化兩個(gè)分支的預(yù)測(cè)結(jié)果之間的差異,孿生預(yù)測(cè)模塊可以捕獲弱標(biāo)簽和像素之間的隱式約束。本文通過(guò)計(jì)算均方誤差來(lái)表示這一差異,其計(jì)算公式為

(1)

式中:LMSE為預(yù)測(cè)結(jié)果之間的差異;N為預(yù)測(cè)的顯著性結(jié)果圖的總像素?cái)?shù);Ap和Bp分別表示兩個(gè)分支預(yù)測(cè)結(jié)果中的第p個(gè)像素。在訓(xùn)練過(guò)程中,本文使用U2Net作為特征提取網(wǎng)絡(luò),它以淺層UNet為基礎(chǔ)塊,使用卷積核為3×3的卷積層提取特征。構(gòu)建了U型網(wǎng)絡(luò)結(jié)構(gòu),利用池化層和空洞卷積層來(lái)捕獲多尺度信息。最終生成預(yù)測(cè)結(jié)果,計(jì)算與像素級(jí)標(biāo)簽之間的混合損失函數(shù)。

2.2 注意力輔助模塊

顯著性邊界框弱標(biāo)簽可以被視為帶有噪聲的像素級(jí)標(biāo)簽?？蛲獾南袼夭话肼?被視為背景。在噪聲的干擾下,框中的背景點(diǎn)被誤認(rèn)為前景點(diǎn)。這種誤差會(huì)使網(wǎng)絡(luò)在梯度反向傳播過(guò)程中收斂到錯(cuò)誤的方向。因此本文考慮利用每個(gè)像素的光譜曲線進(jìn)行超像素聚類,來(lái)幫助算法準(zhǔn)確區(qū)分背景和前景。此外,本文還充分利用了光譜通道之間的相互聯(lián)系,以作為實(shí)現(xiàn)物體類型準(zhǔn)確劃分的可靠基礎(chǔ)。綜上,本文設(shè)計(jì)了一個(gè)超像素級(jí)通道注意力網(wǎng)絡(luò)來(lái)抑制弱標(biāo)簽中隱含的噪聲。傳統(tǒng)的超像素分割算法在數(shù)學(xué)上是不可微分的,因此采用可以集成到神經(jīng)網(wǎng)絡(luò)中進(jìn)行端到端訓(xùn)練的超像素采樣網(wǎng)絡(luò)[22]。此外,本文計(jì)算了空間全局權(quán)重,利用全局特征進(jìn)行逐通道信息校正。超像素級(jí)通道注意力網(wǎng)絡(luò)的詳細(xì)流程如圖3所示。

圖3 超像素級(jí)通道注意力網(wǎng)絡(luò)示意圖

具體地,給定輸入特征圖F∈RH×W×C(H和W分別為輸入特征圖的高和寬,C為特征圖的光譜通道數(shù)量)沿光譜通道執(zhí)行全局平均池化操作從而生成每個(gè)通道的權(quán)重矩陣,其計(jì)算公式為

R1×1×1,c=1,…,C

(2)

式中:Mc為第c個(gè)光譜通道對(duì)應(yīng)的權(quán)重矩陣;Fc為輸入特征圖的第c個(gè)光譜通道。之后沿空間維度對(duì)Mc進(jìn)行廣播,生成具有原始尺寸的全局通道權(quán)重P∈RH×W×C。

P={Pc∈RH×W×1|c=1,…,C}

(3)

Pc=φ(Mc)

(4)

式中:φ(·)表示沿空間維度的廣播操作。

同時(shí),利用超像素采樣網(wǎng)絡(luò)對(duì)輸入特征圖F進(jìn)行迭代優(yōu)化,生成超像素圖S。之后將其與上述步驟生成的全局通道權(quán)重P沿光譜通道維度進(jìn)行數(shù)據(jù)拼接,并經(jīng)過(guò)卷積核為1×1的卷積層和Sigmoid激活函數(shù)來(lái)獲取通道權(quán)重特征圖E,其計(jì)算公式為

E=Sigmoid(Conv(Cat(S,P)))∈RH×W×C

(5)

S=ψ(F)∈RH×W×C

(6)

式中:ψ(·)為超像素采樣操作。生成的通道權(quán)重與輸入特征圖具有相同尺寸,每個(gè)點(diǎn)的取值表示了對(duì)應(yīng)像素在計(jì)算最終顯著性結(jié)果圖時(shí)的重要程度。因此,可以利用通道權(quán)重特征圖E對(duì)輸入特征圖F進(jìn)行逐點(diǎn)校正,其計(jì)算公式為

=F?E

(7)

2.3 混合損失函數(shù)

為了使預(yù)測(cè)模塊更好地收斂,本文在訓(xùn)練過(guò)程中參考文獻(xiàn)[23],使用混合損失函數(shù),其計(jì)算公式為

LFUS=LBCE+LSSIM+LIOU

(8)

式中:LBCE表示二元交叉熵?fù)p失函數(shù);LSSIM表示結(jié)構(gòu)相似度損失函數(shù);LIOU表示邊界框損失函數(shù)。LBCE在所有像素點(diǎn)上約束算法收斂,而非關(guān)注某個(gè)特定區(qū)域,其計(jì)算公式為

(9)

式中:Gi∈{0,1}為像素i的真實(shí)標(biāo)簽;Si∈{0,1}為該像素預(yù)測(cè)為顯著性目標(biāo)的預(yù)測(cè)概率。LSSIM對(duì)局部結(jié)構(gòu)變化敏感,有助于優(yōu)化結(jié)果邊界,其計(jì)算公式為

(10)

式中:x和y表示兩張圖像;μx和μy為圖像中所有像素的平均值;σx和σy為像素對(duì)于均值的偏差;常數(shù)C1和C2用于保證分母不為零,通常C1=0.012,C1=0.032。LIOU把位置信息作為一個(gè)整體,使算法具有更強(qiáng)的多尺度處理能力,其計(jì)算公式為

(11)

綜上,本文使用了混合損失函數(shù)LFUS使網(wǎng)絡(luò)得到有效收斂。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)置

在開(kāi)始訓(xùn)練之前,本文使用旋轉(zhuǎn)和翻轉(zhuǎn)操作進(jìn)行數(shù)據(jù)增強(qiáng),之后在RTX 3090 GPU上使用Adam優(yōu)化器對(duì)算法進(jìn)行訓(xùn)練。本文采用5種廣泛使用的性能評(píng)價(jià)指標(biāo)對(duì)提出的算法進(jìn)行綜合評(píng)估,包括平均絕對(duì)誤差(MAE)、F-measure(Favg、Fmax)、曲線下面積(AUC)和歸一化掃描路徑顯著性(NSS)。

本文在HSOD-C和HS-SOD兩個(gè)高光譜SOD數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。在HSOD-C上,隨機(jī)選取56張圖像作為全監(jiān)督數(shù)據(jù)集,120張圖像作為弱監(jiān)督數(shù)據(jù)集,24張圖像作為測(cè)試集。設(shè)置初始學(xué)習(xí)率為0.001,每次訓(xùn)練8張圖像?？傆?jì)在全監(jiān)督數(shù)據(jù)集上訓(xùn)練25輪,在弱監(jiān)督數(shù)據(jù)集上訓(xùn)練35輪?？紤]到數(shù)據(jù)集的規(guī)模,使用輕量化版本U2Net?作為特征提取骨干網(wǎng)絡(luò)。對(duì)于HS-SOD數(shù)據(jù)集,選擇15張圖像作為全監(jiān)督數(shù)據(jù)集,35張圖作為弱監(jiān)督數(shù)據(jù)集,10張為測(cè)試集。其余訓(xùn)練參數(shù)與HSOD-C保持一致?？紤]到HS-SOD數(shù)據(jù)集規(guī)模很小,容易出現(xiàn)過(guò)擬合現(xiàn)象,因此先在HSOD-C上進(jìn)行預(yù)訓(xùn)練,之后在HS-SOD數(shù)據(jù)集上加載預(yù)訓(xùn)練模型進(jìn)行微調(diào)。

3.2 結(jié)果分析

本文將提出的算法與目前流行的6種高光譜顯著性檢測(cè)算法進(jìn)行了對(duì)比。其中:GS[24]算法將光譜波段劃分為4組,利用了各波段之間的對(duì)比度;SAD[24]和SED[24]算法分別利用光譜角距離和光譜歐式距離計(jì)算各像素點(diǎn)顯著性得分,并生成顯著性結(jié)果圖;SED-GS[24]和SED-SAD[24]是上述算法的融合算法,結(jié)合了多項(xiàng)淺層手工特征。這些算法都屬于傳統(tǒng)高光譜SOD算法范疇。此外還有基于卷積神經(jīng)網(wǎng)絡(luò)的SUDF[14]算法。

表1展示了各算法在HSOD-C數(shù)據(jù)集上的檢測(cè)結(jié)果。由表1可以看到,與傳統(tǒng)算法相比,基于神經(jīng)網(wǎng)絡(luò)的算法在檢測(cè)精度上有著顯著提升,表明了深度學(xué)習(xí)技術(shù)在該領(lǐng)域具有很高的發(fā)展?jié)摿?。與SUDF算法對(duì)比可見(jiàn),本文提出的算法具有更優(yōu)異的檢測(cè)性能,其中F-measure提升了大約0.1,提升幅度最高。值得注意的是,與U2Net算法相比,本文算法已經(jīng)達(dá)到了相近的檢測(cè)精度。表2展示了不同場(chǎng)景下各算法在HSOD-C數(shù)據(jù)集上的可視化結(jié)果,從中可見(jiàn)本文的算法能夠精確地定位顯著性目標(biāo),并勾勒出了更準(zhǔn)確的目標(biāo)輪廓。這得益于網(wǎng)絡(luò)中超像素通道注意力的應(yīng)用,根據(jù)光譜信息生成的超像素使得算法具有更強(qiáng)的抗背景干擾能力。

表1 HSOD-C實(shí)驗(yàn)結(jié)果

表3和表4分別展示了各算法在HS-SOD數(shù)據(jù)集上的定量評(píng)估結(jié)果和可視化預(yù)測(cè)結(jié)果圖。與6種流行的高光譜SOD算法相比,本文算法在各項(xiàng)性能評(píng)價(jià)指標(biāo)上都有顯著提升,并達(dá)到了最佳的檢測(cè)精度。在基于預(yù)訓(xùn)練模型進(jìn)行遷移學(xué)習(xí)的情況下,本文算法在半監(jiān)督訓(xùn)練策略下,檢測(cè)性能超過(guò)了基于全監(jiān)督訓(xùn)練策略的U2Net算法。此外,在HS-SOD數(shù)據(jù)集上,本文算法也具有優(yōu)異的可視化效果。與其他流行算法相比,預(yù)測(cè)結(jié)果受背景干擾較小,突出了顯著性目標(biāo)的位置和輪廓。上述結(jié)果表明,本文算法在降低標(biāo)注成本的同時(shí)實(shí)現(xiàn)了先進(jìn)的檢測(cè)性能。

表3 HS-SOD實(shí)驗(yàn)結(jié)果

表4 HS-SOD的可視化結(jié)果

HSOD-C數(shù)據(jù)集收集了復(fù)雜環(huán)境條件下的高光譜數(shù)據(jù),包括不均勻光照、相似背景、過(guò)曝光等。表5 展示了本文算法在這些復(fù)雜環(huán)境條件下的預(yù)測(cè)結(jié)果,并與基于RGB的流行算法BASNet進(jìn)行了對(duì)比。由表5可見(jiàn):在過(guò)曝光情況下,強(qiáng)烈的光照使得背景和目標(biāo)呈現(xiàn)的顏色相近。此時(shí)只利用三基色信息的BASNet算法將無(wú)法分別背景和目標(biāo),預(yù)測(cè)結(jié)果出現(xiàn)嚴(yán)重偏差;在相似背景和不均勻光照情況下,BASNet算法受背景干擾嚴(yán)重,只能檢測(cè)到部分目標(biāo),嚴(yán)重影響檢測(cè)精度和性能;與之形成鮮明對(duì)比的是,本文算法在3種復(fù)雜環(huán)境條件下依舊展現(xiàn)出了穩(wěn)定的檢測(cè)性能。這是因?yàn)楦吖庾V顯著性檢測(cè)關(guān)注的是光譜顯著性,而不是傳統(tǒng)的視覺(jué)顯著性。在光照條件變化、顏色偽裝等挑戰(zhàn)下,目標(biāo)的光譜特性例如光譜曲線、光譜梯度、紅外熱輻射等不會(huì)發(fā)生顯著變化,基于高光譜圖像的檢測(cè)模型仍具有可靠的檢測(cè)性能。另外,本文算法利用超像素模塊保證了目標(biāo)的完整性,抗背景干擾能力強(qiáng),預(yù)測(cè)結(jié)果具有更精確的輪廓。綜上,本文算法在復(fù)雜環(huán)境條件下仍可以得到高質(zhì)量檢測(cè)結(jié)果,具有可用于偽裝識(shí)別任務(wù)的潛力。

表5 復(fù)雜環(huán)境條件下的預(yù)測(cè)結(jié)果

3.3 彩色數(shù)據(jù)集結(jié)果

將本文算法擴(kuò)展到RGB圖像并在ECSSD數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。選擇其中200張圖像作為全監(jiān)督數(shù)據(jù)集,600張圖像作為弱監(jiān)督數(shù)據(jù)集,200張圖像作為測(cè)試集。設(shè)置每批訓(xùn)練樣本量為8,初始學(xué)習(xí)率為0.001。在完全監(jiān)督數(shù)據(jù)集上訓(xùn)練200輪,在弱監(jiān)督集上訓(xùn)練300輪。與8個(gè)流行算法進(jìn)行對(duì)比,包括BL[25]、MS[26]、LPS[27]、GMR[28]、RBD[29]、MBD[30]、MST[31]和LFCS算法[32]。

表6展示了各算法在ECSSD數(shù)據(jù)集上的測(cè)試結(jié)果。由表6可見(jiàn):在處理基于RGB圖像的SOD任務(wù)時(shí),本文算法與同類算法相比仍然顯示出先進(jìn)的性能,各項(xiàng)性能評(píng)價(jià)指標(biāo)均達(dá)到最佳值;F-measure的提升最為顯著,其余指標(biāo)也有不同程度的提高。在ECSSD數(shù)據(jù)集上的可視化結(jié)果如表7所示,從中可見(jiàn)本文所提出的算法對(duì)邊緣細(xì)節(jié)的處理效果較好,能夠抵抗目標(biāo)內(nèi)部變化的干擾。實(shí)驗(yàn)結(jié)果表明,本文提出的算法具有出色的泛化能力,并在高光譜和RGB圖像上都具有先進(jìn)的檢測(cè)性能。

表6 ECSSD實(shí)驗(yàn)結(jié)果

表7 ECSSD的可視化結(jié)果

3.4 消融實(shí)驗(yàn)

本文在HSOD-C數(shù)據(jù)集上設(shè)計(jì)了多組消融實(shí)驗(yàn)以驗(yàn)證各模塊的有效性,結(jié)果如表8所示。對(duì)加載預(yù)訓(xùn)練模型、使用全局通道權(quán)重、使用超像素光譜聚類和使用孿生結(jié)構(gòu)四個(gè)部分進(jìn)行消融研究?？紤]到使用半監(jiān)督訓(xùn)練策略,各組消融實(shí)驗(yàn)都啟用了預(yù)訓(xùn)練,即在全監(jiān)督數(shù)據(jù)集上對(duì)孿生預(yù)測(cè)模塊進(jìn)行預(yù)訓(xùn)練。

表8 各部分在HSOD-C上的性能評(píng)估

本文以未使用孿生預(yù)測(cè)模塊和注意力輔助模塊的網(wǎng)絡(luò)結(jié)構(gòu)作為基準(zhǔn)模型,其結(jié)果展示在表8的第1行。本文提出的基于超像素注意力和孿生結(jié)構(gòu)的半監(jiān)督算法結(jié)果展示在表8的第5行,其啟用了所有模塊。

本文首先驗(yàn)證了注意力輔助模塊的有效性。如表8第2行結(jié)果所示,當(dāng)啟用完整的注意力輔助模塊時(shí),Fmax小幅度下降了0.002,而AUC顯著提升了0.06。這表明注意力輔助模塊能夠提升檢測(cè)性能,但是缺失孿生結(jié)構(gòu)會(huì)使得優(yōu)化效果明顯下降。為進(jìn)一步分析注意力輔助模塊的作用,本文評(píng)估了生成通道權(quán)重特征圖的兩個(gè)要素:全局通道權(quán)重和超像素聚類。具體地,表8的3～5行對(duì)應(yīng)了3種網(wǎng)絡(luò)結(jié)構(gòu)下的檢測(cè)結(jié)果,從中可以發(fā)現(xiàn)全局通道權(quán)重和超像素聚類都起到了增強(qiáng)檢測(cè)性能的作用,當(dāng)使用完整的注意力輔助模塊時(shí)能夠達(dá)到最佳狀態(tài)。另外,通過(guò)對(duì)比基線模型和僅使用孿生結(jié)構(gòu)的模型結(jié)果可以發(fā)現(xiàn),孿生結(jié)構(gòu)顯著提升了檢測(cè)精度。

此外,本文測(cè)試了不同損失函數(shù)對(duì)算法收斂效果的影響,結(jié)果如表9所示。其中LBS=LBCE+LSSIM,LBI=LBCE+LIOU,LFUS=LBCE+LSSIM+LIOU。對(duì)比不同損失函數(shù)下的算法檢測(cè)結(jié)果可以發(fā)現(xiàn),當(dāng)使用單一損失函數(shù)時(shí),不同損失函數(shù)對(duì)算法的約束能力近似,檢測(cè)精度差異不大。當(dāng)使用兩項(xiàng)及以上的混合損失函數(shù)時(shí),對(duì)算法具有更強(qiáng)的約束能力,收斂效果更好,檢測(cè)性能得到了顯著提升。尤其是3種損失函數(shù)同時(shí)使用時(shí),算法達(dá)到了最佳的收斂效果。

表9 不同損失函數(shù)的約束效果

本文對(duì)算法的訓(xùn)練過(guò)程進(jìn)行可視化分析。圖4中,第1行顯示了算法在全監(jiān)督數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練時(shí)的預(yù)測(cè)結(jié)果。第2行可視化了在算法在弱監(jiān)督數(shù)據(jù)集上的優(yōu)化過(guò)程。由圖4可以發(fā)現(xiàn),經(jīng)過(guò)全監(jiān)督數(shù)據(jù)集的預(yù)訓(xùn)練,算法只能確定顯著性目標(biāo)的大致位置,無(wú)法確定目標(biāo)輪廓,受背景干擾嚴(yán)重。在優(yōu)化過(guò)程中,算法更加收斂,逐步勾勒出目標(biāo)輪廓,定位更準(zhǔn)確?？梢暬Y(jié)果表明了注意力輔助模塊的有效性。

圖4 訓(xùn)練期間結(jié)果的漸進(jìn)可視化圖

4 結(jié)論

本文提出了一種使用超像素級(jí)通道注意力和孿生結(jié)構(gòu)的半監(jiān)督高光譜SOD算法。該算法采用半監(jiān)督訓(xùn)練策略,通過(guò)使用少量全監(jiān)督數(shù)據(jù)和大量弱監(jiān)督數(shù)據(jù)有效降低了進(jìn)行像素級(jí)標(biāo)注帶來(lái)的高昂成本。所設(shè)計(jì)的孿生預(yù)測(cè)模塊可以有效地學(xué)習(xí)弱標(biāo)簽的隱式約束,引入的超像素級(jí)通道注意力網(wǎng)絡(luò)充分利用了高光譜圖像的光譜特性。本文在高光譜和彩色數(shù)據(jù)集上進(jìn)行了性能評(píng)估,廣泛的實(shí)驗(yàn)結(jié)果表明,所提出的算法可以在高光譜和彩色SOD任務(wù)中發(fā)揮先進(jìn)的性能。

本文提出的算法還存在一些局限性,使用部分全監(jiān)督數(shù)據(jù)集和部分弱監(jiān)督數(shù)據(jù)集進(jìn)行訓(xùn)練,這與一般意義上的半監(jiān)督學(xué)習(xí)略有不同。在未來(lái)的工作中,將在優(yōu)化過(guò)程中刪除弱標(biāo)簽的指導(dǎo)。