基于嵌入對比學習的廣義零樣本預分類模型

唐義承，紀惠芬

(浙江理工大學計算機科學與技術學院，浙江 杭州 310018)

0 引言

在計算機視覺領域，傳統的機器學習逐步向深度學習方向發展。監督學習模型在有大量標記數據的情況下已經能夠取得卓越的表現。但是，由于有標簽的數據收集費時費力，同時對每個類別的圖片都需要人工來標注，這將大大提高深度學習的成本。為此，零樣本學習成為了近年來的熱門課題，已被廣泛用于解決現實任務中出現的難題。在傳統的零樣本學習設定中，我們利用語義信息建立可見類與不可見類的聯系，將可見類中學習到的知識轉移到不可見類中，進而，完成對訓練過程中沒有出現過的不可見類的識別。然而，在現實的分類情境中，需要同時對可見類和不可見類進行分類，這被稱為廣義零樣本學習(Generalized zero-shot learning，GZSL)。

最近，越來越多的方法采用了基于對抗生成網絡(GAN)[1]或變分自編碼器(VAE)[2]生成模型來解決廣義零樣本學習的問題。這種方法通過生成不可見類的合成樣本，將零樣本學習任務轉化為傳統的監督學習任務，從而緩解了可見類與不可見類之間的數據差異，提高了準確率。然而，GAN 生成模型易出現特征混淆問題，也無法保證每次訓練的穩定性。相比之下，VAE 生成模型將視覺特征和語義屬性映射到潛在空間中，使用潛在空間嵌入進行分類。但是VAE 模型可能導致域偏移問題，影響分類結果。此外，基于預分類的方法近期也成為熱門研究方向。在測試階段，將測試樣本分為可見類和不可見類樣本，然后對這兩類樣本使用特定的監督學習分類器或零樣本分類器進行訓練。但是由于訓練集中沒有不可見類樣本，預分類可能不能取得很好的效果。

為了提高視覺特征與語義信息之間的關聯性，緩解領域偏移問題，如圖1 所示本文提出一種基于嵌入對比學習的廣義零樣本預分類模型。首先，利用超球面變分自編碼器[3]將視覺特征和語義屬性映射到一個統一的球形潛在空間中。提取出一個能夠同時表達視覺模態和語義模態的潛在空間。然后潛在空間中，對齊兩個模態的潛在特征，并且對潛在特征進行嵌入對比學習。最后，利用超球面空間中的分布流形對測試樣本預分類，根據預分類的結果將測試樣本分配給對應的專家分類器。

圖1 基于嵌入對比學習的廣義零樣本預分類模型基本框架

本文所提出的預分類模型可以與任何的ZSL方法相結合。核心思想非常簡單，易于實現。在四個最常見的基準數據集（CUB、SUN、AWA1、AWA2）上評估了本文的模型。實驗結果表明，本文的方法在數據集上可以得到優秀的分類效果。

1 方法

本文提出了一種基于潛在空間對比的廣義零樣本預分類模型，模型架構如圖2所示，該模型可以劃分為三個階段：嵌入階段、潛在特征對比階段和分類識別階段。

圖2 模型具體框架

⑴在嵌入階段，利用超球面變分自編碼器，為視覺特征和語義屬性構造統一的球形潛在空間。

⑵在潛在特征對比階段，使用分布對齊約束、分類約束、對比約束三種約束條件，將視覺特征的分布與語義屬性分布進行對齊，并加強同一類別類內聯系和同一類別不同模態之間的聯系。

⑶在分類階段，通過對潛在空間中可見類分布情況的分析，判斷測試樣本是否屬于可見類，并據此將其分配給相應的分類器進行分類。

1.1 嵌入階段

在嵌入階段，利用兩個獨立的球面自編碼器將視覺和語義信息投影到潛在空間中。在球面自編碼器中，編碼器將視覺特征x 嵌入到潛在空間中得到潛在向量z，并且解碼器重構視覺特征以保證模態一致性。同時，通過潛在向量z 的分布計算出視覺特征的vMF分布，使用另一球面自編碼器預測的vMF 分布作為先驗分布，計算分布差異。每個球面編碼器需優化重構誤差和vMF分布差異，球面編碼器的優化函數如下：

其中，Eq(z|x)[log pΦ(x|z)]表示重構誤差。DEMD代表了兩個球面編碼器預測的vMF分布之間的差異。λ表示加權差異項的超參數。由于兩個分布支持區域不完全重合時，KL 散度可能失敗，因此本文采用推土機距離（Earth Mover’s Distance，EMD）表示兩個分布之間的相似程度。

1.2 潛在特征對比階段

為了在球形潛在空間中，對齊視覺模態與語義模態，并且使潛在空間中的向量分布更加緊湊，同時提高可見類之間的差異度。在潛在特征對比階段采用交叉對齊約束、分類約束、對比約束三種約束。

交叉對齊約束將某個特定模態的嵌入向量通過其他模態的解碼器進行重構，得到重構特征，然后計算該重構特征與真實語義樣本之間的誤差。交叉對齊損失為：

其中，Eqθa(z|a)[log p?f(x|z)]和Eqθf(z|x)[log p?a(a|z)]代表重構誤差。交叉對齊約束學習的是兩種不同模態的共享潛在空間中的嵌入向量，因此需要捕獲模態不變的信息，以確保不同模態之間的嵌入向量具有相似的表示。

分類約束引入softmax 分類器對潛在空間向量進行分類，使潛在變量更具有區別性，分類損失如下：

其中，?cls代表了線性softmax 分類器的參數。分類約束的引入對于可見類與不可見類之間的關聯性可能會產生一定的影響，但他同時降低了將不可見類特征誤判為可見類的風險，這有助于提高模型的二分類性能。本文模型的重點是分離可見特征和不可見特征，而不是將不可見特征分類到具體的不可見類中。

對比約束中構造正例的方法，不同于傳統的對比學習方法，并不是通過簡單的數據增強方式來構造數據對，而是利用類別標簽來確定潛在空間中哪些向量可以作為正例，從而增加正例的數量。相較于傳統的對比學習方法，不僅可以增加正例數量，還可以增加類內一致性。同時，該方法還具有較好的可解釋性，能夠更好的理解模型的決策過程。

對比約束在對潛在空間向量后添加一個共享權重的神經網絡模塊h(?)，將潛在空間向量映射到一個更深層的空間當中。在更深層的空間中，通過計算余弦相似度來測量潛在向量的相似性。公式如下：

其中，τ >0 表示對比嵌入的溫度參數，N 表示樣本的個數。l[k≠i]是一個指示函數，當且僅當k=i 時，取0，否則為1。

為了降低對比損失，模型將正樣本對特征距離拉近，負樣本對特征對拉遠。對比約束能夠捕獲同類樣本中共享的強判別信息和結構，并且因為增加了正對的數量，可以更好的刻畫類內相似性，使得類內投影更加緊湊。

綜上所述，訓練模型的損失函數可以表示為：

其中，α、β、γ是用于加權的超參數。

1.3 分類階段

在潛在特征對比收斂后，視覺特征和語義屬性在潛在空間中呈現出按照類對齊的特點。這種按照類對齊的特性，使得在球面潛在空間中每個類的流形都是單獨的一個簇，因此，可以用可見類流形的中心和流形的邊界來推斷測試樣本是否屬于可見類或不可見類。這個方法的優點是不需要建立傳統的分類器模型，直接使用可見類樣本的流形信息，可以實現對可見類和不可見類的魯棒分類。

對于每個類，通過語義信息找到該類中心，然后通過訓練樣本的統計數據計算類的流形邊界。將訓練樣本嵌入到潛在空間，計算它們與類中心的余弦相似度并進行排序，使用分類精度δ來計算類邊界值。取所有類邊界值的最大值作為可見類的閾值N。

給定一個測試樣本x，首先將其編碼為潛在向量z。然后計算z 與所有可見類中心的余弦相似度，找到距離z 最近的可見類流形。使用事先計算的閾值N，判斷z 是否屬于可見類，如果余弦相似度大于等于閾值，則將x 歸類到可見類中；否則，將其歸類到不可見類中。根據這個分類結果，將訓練樣本分配給相應的可見類分類器或不可見類分類器進行訓練。

2 實驗及結果分析

2.1 實驗數據集

本文在零樣本學習領域常用的四個基準數據集上進行實驗來對模型進行評估，這四個數據集分別是Caltech-USCD Birds-200-2011(CUB)、SUN Attribute(SUN)、Animals With Attributes 1(AWA1)、Animals With Attributes 2(AWA2)。所有數據集都為每個樣本提供對應都屬性信息。本文按照標準劃分[4]將數據集劃分為可見類樣本和不可見類樣本，實驗數據集如表1所示。

表1 實驗數據集

2.2 評價指標

對于預分類器，可見類的流形分布內樣本被視為可見樣本，分布外樣本被視為不可見樣本。其本質上就是一個二分類問題，因此主要通過掃描閾值來計算受試者工作特征曲線下的面積(Area-Under-Curve,AUC)來判斷二分類的效果。在廣義零樣本圖像分類的情況下，依據文獻[4]中提出的評估方法，S和U 分別代表可見類與不可見類的平均精度。廣義零樣本圖像分類的性能通過調和平均值H=2*S*U/(S+U)衡量。調和平均值可以同時反映識別可見類與不可見類圖像的能力。

2.3 對比模型

將本文提出的模型與以下相關模型進行對比實驗：ReViSE[5]、SYNC[6]、DeViSE[7]、CVAE[8]、SP-AEN[9]、f-CLSWGAN[1]、COSMO[10]。

上述模型采用不同的方式來提高廣義零樣本的分類性能。其中ReViSE、SYNC、DeViSE 學習嵌入模型，將視覺特征和語義屬性統一起來用于相似度度量。CVAE、SP-AEN、f-CLSWGAN 采用生成模型的方法，利用GAN 或者VAE 生成不可見類的合成特征。COSMO 使用門控模型來學習預分類器，以劃分可見類特征與不可見類的特征。

2.4 實驗結果對比

為了驗證本文提出的預分類模型的分類性，本文在三個數據集上將其與四個近些年提出的門控方法進行對比，結果如表2所示。

表2 各模型在三個數據集上AUC分類指標

最佳結果用黑體加粗表示。根據表2 可以看出，本文提出的模型在衡量二分類的重要指標AUC 上，在AWA2 數據集上達到了90.3%的優異結果，超過了其他任何模型。

為進一步驗證本文模型在廣義零樣本分類中的準確率，與上述的模型作為基準(baseline)進行實驗。實驗結果如表3 所示。表中黑體表示每列的最優值，“-”表示原文沒有該數據集的實驗結果。其中，S表示分類可見類的準確率，U表示分類不可見類的準確率，H表示調和平均值。本實驗與基準模型采用相同的基準數據集的劃分標準。根據表3 數據，在AWA1 和AWA2 數據集上，本文模型的調和準確率分別達到了61.0%和62.9%，超過了表3 中列出的其他所有模型。值得注意的是，本文模型在U 的指標上表現不如嵌入模型的方法，這可能是因為可見類和不可見類之間不存在交集，存在域偏差的問題。當模型提高不可見類的精度時，會降低可見類的精度。然而，本文模型在S的指標上遠遠超過嵌入模型的方法，這表明在某些方面本文模型比嵌入模型更優秀。盡管與其他模型針對可見類或不可見類的性能單獨比較時，本文模型并非總是最優的，但就最重要的調和準確率這一指標而言，基于嵌入對比學習的廣義零樣本預分類模型具有一定競爭力。

表3 各模型在四個數據集上性能對比

實驗證明，本文模型在廣義零樣本分類任務中取得了較高的分類準確率，有效緩解了可見類與不可見類之間沒有交集所產生的域偏差問題。同時，本文模型還能夠降低視覺特征中冗余信息對分類的影響，使得廣義零樣本分類任務的精度得到了進一步提高。

2.5 實驗結果可視化

本文模型在AWA2 數據集上類別樣本的t-SNE(t-Distributed Stochastic Neighbor Embedding)投影的可視化結果如圖3、圖4所示。

圖3 AWA1原始特征與嵌入后的特征對比圖

圖4 AWA2原始特征與嵌入后的特征對比圖

由圖3、圖4中的對比可以看出，在對比嵌入之后，可見類之間的簇更加緊密，并且與其余的可見類之間也更加遠。

3 結論

廣義零樣本學習是一個有挑戰性的問題，具有廣泛的應用前景。本文提出了一種基于嵌入對比學習的廣義零樣本預分類模型，采用超球面自編碼器將視覺特征映射到潛在空間中，利用對比學習縮小可見類的流形邊界。利用每個可見類流形邊界和中心，將測試樣本分為可見類樣本和不可見類樣本，之后使用兩個專家分類器分別對可見類與不可見類分類。從而將廣義零樣本問題轉化為傳統的零樣本學習和有監督學習問題。因為可以在不使用不可見類樣本的情況下，將可見類與不可見類分類，所以可以緩解廣義零樣本中領域偏移的問題。但是，本文模型非常依賴于可見類樣本在訓練集中的質量。因此，盡管本文模型在AWA1 及AWA2 上獲得了比基準方法更好的實驗結果，但不能完美適用于CUB 和SUN 數據集。今后需要進一步研究在樣本數據較少的情況下采用數據增強等方法，以獲得更好的信息表示并提高模型的性能。