基于GAN的高光譜溢油檢測(cè)實(shí)驗(yàn)方案設(shè)計(jì)

宋冬梅， 王 斌， 王海起， 樊彥國(guó)

（中國(guó)石油大學(xué)（華東）海洋與空間信息學(xué)院，山東 青島 266580）

0 引 言

海上溢油事故大多是由管道破裂、油輪碰撞和鉆井平臺(tái)傾覆等原因引起［1］，為制定有效的溢油事故應(yīng)急處置方案，快速準(zhǔn)確地獲取事故中溢油空間分布以及不同油膜厚度的分布位置信息顯得尤為重要。在已投入的監(jiān)測(cè)系統(tǒng)中，衛(wèi)星遙感是最重要和最有效的手段之一，在海上溢油監(jiān)測(cè)和應(yīng)急響應(yīng)中發(fā)揮著不可替代的作用。高光譜以其“圖譜”合一、光譜分辨率高、光譜信息范圍廣的優(yōu)勢(shì)在溢油檢測(cè)領(lǐng)域中應(yīng)用前景廣闊。目前的高光譜溢油檢測(cè)算法大致分為基于光譜指數(shù)等光譜特征的溢油檢測(cè)算法［2-4］、基于傳統(tǒng)機(jī)器學(xué)習(xí)的溢油檢測(cè)算法以及基于深度學(xué)習(xí)的溢油檢測(cè)算法3 類(lèi)。Liu等［5］提出參考光譜特征選擇方法并采用傳統(tǒng)的自適應(yīng)余弦估計(jì)（Adaptive Cosine Estimator，ACE）算法實(shí)現(xiàn)溢油檢測(cè)。Liu 等［6］提出基于最小噪聲分離變換的決策樹(shù)分類(lèi)方法以實(shí)現(xiàn)溢油信息的快速提取，不僅可以了解油膜的相對(duì)厚度分布，而且可以了解不同厚度油膜的比例。包萌等［7］將選取的紋理特征與最優(yōu)光譜組合構(gòu)成的多波段數(shù)據(jù)輸入支持向量機(jī)（Support Vector Machine，SVM）中檢測(cè)溢油，獲得了較好的檢測(cè)結(jié)果。然而，這些傳統(tǒng)方法分類(lèi)的準(zhǔn)確性取決于人工特征提取的質(zhì)量，而人工提取特征復(fù)雜且耗時(shí)，同時(shí)不同的分類(lèi)器對(duì)于不同的特征或特征組合也存在一定的性能差異。近年來(lái)的研究表明，深度學(xué)習(xí)能夠自動(dòng)提取判別特征，可應(yīng)用于高光譜圖像的溢油檢測(cè)。董士偉等［8］提出基于經(jīng)驗(yàn)?zāi)B(tài)分解的特征提取方法，并通過(guò)神經(jīng)網(wǎng)絡(luò)識(shí)別油膜和海水。Liu 等［9］提出基于光譜指數(shù)的波段選擇算法和一維卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）相結(jié)合的分類(lèi)模型，實(shí)現(xiàn)了油膜的自動(dòng)分類(lèi)。Zhu 等［10］提出空間信息與堆棧式自編碼（Stacked Auto Encoder，SAE）網(wǎng)絡(luò)相結(jié)合的油膜檢測(cè)方法，實(shí)現(xiàn)了海面溢油信息的提取。Wang等［11］提出了一種空譜特征聯(lián)合的端對(duì)端的高光譜溢油檢測(cè)框架（Spectral-Spatial Features Integrated Network，SSFIN），用以同時(shí)提取高光譜數(shù)據(jù)的光譜特征和空間特征。

盡管基于深度學(xué)習(xí)的溢油高光譜檢測(cè)方法已取得了較好的結(jié)果，但檢測(cè)精度仍有待進(jìn)一步提高，檢測(cè)方法仍存在著較大的發(fā)展空間。而近年來(lái)發(fā)展起來(lái)的生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）［12］因具有能夠通過(guò)不斷的對(duì)抗學(xué)習(xí)以?xún)?yōu)化模型的優(yōu)點(diǎn)，在圖像分類(lèi)和目標(biāo)檢測(cè)領(lǐng)域越來(lái)越多地受到關(guān)注，其在提升海洋溢油高光譜圖像檢測(cè)精度方面潛力巨大。為進(jìn)一步提高溢油檢測(cè)精度，降低虛警率，本文設(shè)計(jì)了一種基于GAN的溢油檢測(cè)實(shí)驗(yàn)方案，包括對(duì)圖像進(jìn)行預(yù)處理、建立模型及樣本訓(xùn)練等操作。并通過(guò)對(duì)高光譜影像的溢油檢測(cè)實(shí)驗(yàn)結(jié)果的分析評(píng)價(jià)，以證實(shí)所提方法的有效性。

1 方案設(shè)計(jì)

本文的實(shí)驗(yàn)方案包括圖像預(yù)處理和模型訓(xùn)練兩部分，其具體步驟：①利用光譜歸一化和主成分分析（Principal Component Analysis，PCA）進(jìn)行預(yù)處理，提取前3 個(gè)主成分后，對(duì)圖像進(jìn)行裁剪，取每個(gè)像素的9 ×9 鄰域作為訓(xùn)練樣本，并將像素類(lèi)別作為標(biāo)簽；②構(gòu)建一個(gè)基于GAN的端到端的溢油檢測(cè)模型，生成器生成溢油影像，判別器輸出每個(gè)樣本對(duì)應(yīng)的類(lèi)別；③基于訓(xùn)練后的判別器實(shí)現(xiàn)對(duì)整幅高光譜影像的溢油檢測(cè)，并對(duì)分類(lèi)結(jié)果進(jìn)行分析評(píng)價(jià)。

1.1 GAN簡(jiǎn)介

GAN的思想基礎(chǔ)是博弈論中的2 人零和博弈問(wèn)題。基于此，提出了一個(gè)通過(guò)對(duì)抗學(xué)習(xí)來(lái)優(yōu)化模型的新框架，框架由1 個(gè)生成器（Generator，G）和1 個(gè)判別器（Discriminator，D）構(gòu)成，如圖1 所示。生成器的目的是生成擬合真實(shí)數(shù)據(jù)的概率分布；而判別器的目的是衡量生成的概率分布與真實(shí)數(shù)據(jù)分布之間的損失。生成器的輸入是隨機(jī)噪聲z，輸出是生成數(shù)據(jù)G（z）；判別器的輸入是真實(shí)數(shù)據(jù)x和生成數(shù)據(jù)G（z），并以其輸入來(lái)自真實(shí)數(shù)據(jù)的概率作為輸出。判別器的目的是盡可能提升判別準(zhǔn)確率；而生成器的目的是生成“以假亂真”的數(shù)據(jù)騙過(guò)判別器，最小化判別準(zhǔn)確率。在訓(xùn)練過(guò)程中，當(dāng)一個(gè)模型的參數(shù)進(jìn)行更新時(shí)，此時(shí)另一個(gè)模型的參數(shù)被固定。通過(guò)不斷的網(wǎng)絡(luò)訓(xùn)練，最終使得生成器與判別器兩個(gè)模型的能力達(dá)到平衡。

圖1 GAN模型框架

GAN的目標(biāo)函數(shù)定義如下：

式中：E代表期望；Pdata代表真實(shí)數(shù)據(jù)分布；Pz（z）代表噪聲的分布；G（z）、D（x）分別代表生成器和判別器的輸出。在訓(xùn)練過(guò)程中，D的目標(biāo)是使得式（1）值最大，而G 的目標(biāo)恰恰相反。它們交替優(yōu)化目標(biāo)，這種相反的目標(biāo)形成了對(duì)抗的訓(xùn)練體系。隨著訓(xùn)練的進(jìn)行，PG（x）會(huì)逐漸趨近Pdata（x），PG（x）代表G 生成的數(shù)據(jù)分布，當(dāng)Pdata（x）＝PG（x）時(shí)達(dá)到全局最優(yōu)。

1.2 高光譜溢油圖像預(yù)處理

油膜和海水的光譜反射率數(shù)值差異較大，其中海水和厚油膜的光譜反射率之間的差值可以達(dá)到200 以上，因此進(jìn)行光譜歸一化便于計(jì)算和綜合評(píng)判分析。此外，高光譜數(shù)據(jù)具有波段多、波段間相關(guān)性高的特點(diǎn)，采用一種簡(jiǎn)單有效的數(shù)據(jù)降維方法是很有必要的。本實(shí)驗(yàn)在數(shù)據(jù)預(yù)處理時(shí)通過(guò)使用PCA 方法實(shí)現(xiàn)數(shù)據(jù)降維，保留了前3 個(gè)主成分。另外，考慮到空間信息在特征提取中的重要作用，本文選擇構(gòu)建大小為9 ×9 的空間鄰域作為模型的輸入。

1.3 構(gòu)建溢油檢測(cè)模型

近些年來(lái)，GAN在計(jì)算機(jī)視覺(jué)領(lǐng)域引起了研究熱潮，在圖像修復(fù)、風(fēng)格遷移、圖像生成等方面有很好的應(yīng)用。一些學(xué)者將GAN應(yīng)用到高光譜圖像分類(lèi)領(lǐng)域，取得了較好的效果，這為海洋溢油檢測(cè)提供了一種新思路。

（1）構(gòu)建GAN 模型。本實(shí)驗(yàn)方案設(shè)計(jì)的生成器的輸入是噪聲向量和類(lèi)別標(biāo)簽，能夠讓生成器在訓(xùn)練過(guò)程中學(xué)習(xí)類(lèi)別專(zhuān)屬特征，減小模型崩潰的可能［13］。判別器的輸入是真實(shí)數(shù)據(jù)和生成器生成的假數(shù)據(jù)，目的是為輸入的樣本指定明確的地物類(lèi)別。此外，為了在特征提取過(guò)程中自適應(yīng)學(xué)習(xí)上采樣和下采樣，本實(shí)驗(yàn)方案中用步長(zhǎng)卷積代替了經(jīng)典CNN 中固定的池化層，分別基于全轉(zhuǎn)置卷積網(wǎng)絡(luò)和全卷積網(wǎng)絡(luò)搭建生成器和判別器。其中，生成器由1 個(gè)全連接層、4 個(gè)轉(zhuǎn)置卷積層組成，每個(gè)卷積核的大小為3 ×3。除了最后的輸出層，生成器中的每一層都采取修正線性單元（Rectified Linear Unit，ReLU）作為非線性激活函數(shù)和批正則化處理，輸出層則采取雙曲正切函數(shù)（tanh）作為激活函數(shù)。需要說(shuō)明的是，生成器所生成的樣本不屬于標(biāo)簽中的任何一類(lèi)，將其設(shè)為第n ＋1 類(lèi)（n 為數(shù)據(jù)集類(lèi)別數(shù)）。判別器則是通過(guò)4 個(gè)轉(zhuǎn)置卷積層提取特征，然后接入1 個(gè)softmax 層得到最終的分類(lèi)結(jié)果。所有卷積層都采用泄露修正線性單元（Leaky Rectified Linear Unit，Leaky-ReLU）作為激活函數(shù)，另外，除了輸入層和輸出層，判別器的每一層都進(jìn)行了批正則化處理。

（2）模型訓(xùn)練策略。傳統(tǒng)的GAN 中的判別器是一個(gè)二分類(lèi)器，只判別輸入的來(lái)源是真是假，如果要完成多分類(lèi)任務(wù)，通常會(huì)加入1 個(gè)輔助分類(lèi)器（Auxiliary Classifier GAN，ACGAN）［14］。ACGAN 判別器的最后一層不再只是1 個(gè)sigmoid 層，而是并列排放sigmoid和softmax的2 個(gè)層。生成器和判別器的目標(biāo)都是盡可能地使多分類(lèi)結(jié)果正確，而對(duì)于二分類(lèi)結(jié)果的優(yōu)化目標(biāo)與傳統(tǒng)GAN 相同，也即，ACGAN 只是在sigmoid這一分支上做對(duì)抗訓(xùn)練。本實(shí)驗(yàn)方案采用了文獻(xiàn)［15］中設(shè)計(jì)的多類(lèi)對(duì)抗目標(biāo)，即利用softmax 層同時(shí)完成判斷來(lái)源和多分類(lèi)任務(wù)。生成器和判別器的目標(biāo)函數(shù)定義如下：

式中：LG和LD分別代表生成器G 和判別器D 的目標(biāo)函數(shù)；l（·）代表交叉熵；yi是真實(shí)樣本的標(biāo)簽，假定n為數(shù)據(jù)集類(lèi)別數(shù)，yfake＝（1／n，1／n，1／n，…）n為生成的第n ＋1 類(lèi)樣本制作的偽標(biāo)簽。生成器的優(yōu)化目標(biāo)是使判別器盡可能將生成的假樣本判別為數(shù)據(jù)集中的某一類(lèi)yi，而判別器的優(yōu)化目標(biāo)是盡可能提升輸入的真實(shí)樣本多分類(lèi)精度，并將輸入的假樣本判別為第n ＋1類(lèi)，如圖2 所示。

圖2 GAN對(duì)抗訓(xùn)練過(guò)程

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

本實(shí)驗(yàn)中使用的數(shù)據(jù)來(lái)自大連海上溢油監(jiān)測(cè)實(shí)驗(yàn)，獲取于2010 年7 月24 日的航空高光譜數(shù)據(jù)。傳感器由SPECIM 公司生產(chǎn)的輕便機(jī)載光譜成像儀AISA eagle，波長(zhǎng)為400 ～970 nm，含有258 個(gè)光譜波段（2.4 nm，F(xiàn)WHM），空間分辨率為1.41 m。數(shù)據(jù)已做過(guò)系統(tǒng)的幾何校正和輻射校正。由于數(shù)據(jù)量較大，實(shí)驗(yàn)中將截取2 幅大小分別為350 ×360 和180 ×400的矩形區(qū)域，分別取名為數(shù)據(jù)集1 和數(shù)據(jù)集2。根據(jù)溢油圖像在RGB 波段（R：645.13 nm，G：554.44 nm，B：469.05 nm）所表現(xiàn)出的顏色及Bonn 協(xié)議，實(shí)驗(yàn)中將圖像分為厚油膜、薄油膜和海水3 類(lèi)。

在2 個(gè)數(shù)據(jù)集中，分別將10%和90%的標(biāo)記數(shù)據(jù)隨機(jī)分配到訓(xùn)練集和測(cè)試集。其中，根據(jù)總數(shù)據(jù)集的比例在每個(gè)數(shù)據(jù)集中的每種類(lèi)型的像素中隨機(jī)選擇。表1 列出了2 個(gè)數(shù)據(jù)集用于訓(xùn)練和測(cè)試的每個(gè)類(lèi)的可用樣本分布情況。

表1 數(shù)據(jù)集1 和2 的樣本分布情況 個(gè)

2.2 評(píng)價(jià)指標(biāo)

本文選用總體分類(lèi)精度（Overall Accuracy，OA）、平均分類(lèi)精度（Average Accuracy，AA）、Kappa 系數(shù)以及每個(gè)類(lèi)別的分類(lèi)精度作為檢驗(yàn)不同方法性能的評(píng)價(jià)指標(biāo)，并通過(guò)10 次訓(xùn)練和測(cè)試的平均值和標(biāo)準(zhǔn)差來(lái)計(jì)算結(jié)果。

總體分類(lèi)精度指被正確分類(lèi)的測(cè)試樣本數(shù)與測(cè)試樣本總數(shù)之比。正常情況下OA值能較好地表征分類(lèi)精度，但是當(dāng)樣本數(shù)量極度不平衡時(shí)容易受到樣本數(shù)據(jù)較多的類(lèi)別的影響，導(dǎo)致其不能代表每個(gè)類(lèi)別。鑒于總體分類(lèi)精度在處理樣本不平衡數(shù)據(jù)時(shí)的缺陷，需要計(jì)算每個(gè)類(lèi)別的分類(lèi)精度。平均分類(lèi)精度即數(shù)據(jù)中所有類(lèi)別的平均精度的均值，又稱(chēng)為平均精度均值A(chǔ)A，其計(jì)算式如下：

式中：AccuracyC表示類(lèi)別C 的分類(lèi)精度；N 表示樣本類(lèi)別總數(shù)。可見(jiàn)，它也可能會(huì)存在某些類(lèi)別分類(lèi)精度很高，而另一些類(lèi)別的分類(lèi)精度很低（樣本數(shù)量少或數(shù)據(jù)問(wèn)題）時(shí)，出現(xiàn)平均分類(lèi)精度較高的情況。為此，實(shí)驗(yàn)對(duì)于分類(lèi)結(jié)果還保留了每個(gè)類(lèi)別的分類(lèi)精度。

Kappa系數(shù)是一種比例，衡量的是真實(shí)數(shù)據(jù)與最終分類(lèi)結(jié)果之間的一致性，其計(jì)算式如下：

式中：C為類(lèi)別數(shù)；mi為第i 個(gè)類(lèi)別的正確樣本數(shù)；ki為分類(lèi)器預(yù)測(cè)得到的第i 類(lèi)樣本數(shù)量。Kappa 系數(shù)的計(jì)算結(jié)果通常位于0 ～1 區(qū)間，值越大，分類(lèi)結(jié)果的一致性越高。

2.3 檢測(cè)結(jié)果

為評(píng)估本實(shí)驗(yàn)方案的檢測(cè)效果，將提出的GAN模型與兩種較為成熟且應(yīng)用廣泛的模型進(jìn)行了對(duì)比，包括隨機(jī)森林模型（Random Forest，RF）和SVM 模型。表2 從上到下分別記錄了2 個(gè)數(shù)據(jù)集上每種方法運(yùn)行10 次后的各類(lèi)分類(lèi)精度、AA、OA 和Kappa 系數(shù)的均值。數(shù)據(jù)集1、2 的檢測(cè)結(jié)果如圖3 和4 所示。

表2 3 種不同方法在數(shù)據(jù)集1、2 上的溢油檢測(cè)結(jié)果比較%

圖3 數(shù)據(jù)集1的高光譜溢油檢測(cè)結(jié)果

圖4 數(shù)據(jù)集2的高光譜溢油檢測(cè)結(jié)果

2.4 結(jié)果分析

從表2 可以看出，與其他方案相比，本實(shí)驗(yàn)方案在2 個(gè)數(shù)據(jù)集上均取得了最佳分類(lèi)結(jié)果，各評(píng)價(jià)指標(biāo)明顯高于其他方案。在數(shù)據(jù)集1 上，GAN 相對(duì)于RF 和SVM的兩種方案，總體分類(lèi)精度分別提升了2.33%和0.77%；在數(shù)據(jù)集2 上，GAN 達(dá)到了最高的每類(lèi)分類(lèi)精度。實(shí)驗(yàn)結(jié)果表明，設(shè)計(jì)的方案不僅能得到較高的溢油檢測(cè)精度，而且分類(lèi)結(jié)果具有較高的穩(wěn)定性。

由圖3 ～4 可知，本實(shí)驗(yàn)方案相較于其他方法誤將海水錯(cuò)分為溢油的現(xiàn)象大幅度減少，即有效地降低了溢油檢測(cè)的虛警率。這是由于GAN 模型通過(guò)生成對(duì)抗訓(xùn)練得到的判別器更優(yōu)，具有更好的邊緣檢測(cè)能力和抗噪聲能力，因此，分類(lèi)結(jié)果中的離群值更少，使得預(yù)測(cè)圖更接近于真實(shí)類(lèi)別標(biāo)簽，這進(jìn)一步證明了GAN模型用于溢油檢測(cè)的有效性。

3 結(jié) 語(yǔ)

本文利用生成對(duì)抗網(wǎng)絡(luò)方以看出法設(shè)計(jì)了高光譜溢油圖像檢測(cè)實(shí)驗(yàn)方案，并通過(guò)大連新港溢油事故中所獲得的高光譜數(shù)據(jù)開(kāi)展的實(shí)驗(yàn)證實(shí)了本方法的有效性，結(jié)果表明：①光譜歸一化處理和PCA 變換可以有效地提高模型的計(jì)算效率并能夠?qū)崿F(xiàn)特征優(yōu)選；②生成器和判別器的對(duì)抗訓(xùn)練過(guò)程能夠顯著提升GAN 模型的分類(lèi)性能，并有效降低了溢油檢測(cè)虛警率；③通過(guò)在模型中引入多類(lèi)對(duì)抗目標(biāo)的損失函數(shù)，能夠更好地完成多分類(lèi)任務(wù)。實(shí)驗(yàn)中對(duì)薄油膜的檢測(cè)均存在一定的不足，未來(lái)可通過(guò)模型的進(jìn)一步優(yōu)化以及擴(kuò)大訓(xùn)練樣本庫(kù)來(lái)提升薄油膜的檢測(cè)精度。