零樣本學(xué)習(xí)綜述

歐光金

（西南大學(xué)計算機(jī)與信息科學(xué)學(xué)院，重慶400715）

1 零樣本學(xué)習(xí)概述

近年來監(jiān)督學(xué)習(xí)取得了顯著進(jìn)步，監(jiān)督學(xué)習(xí)的應(yīng)用也隨處可見。加之得益于深度學(xué)習(xí)的快速發(fā)展，監(jiān)督學(xué)習(xí)的性能也得到很大提升。然而監(jiān)督學(xué)習(xí)存在一些缺陷，需要足夠樣本，且學(xué)到的分類器只包含訓(xùn)練過程中出現(xiàn)過的類別，對從未見過的類別就無能為力。然而在實際應(yīng)用中，許多類沒有對應(yīng)的標(biāo)注樣本參與訓(xùn)練，而人們需要確定這些測試樣本是屬于哪一類別。為了解決這一問題，零樣本學(xué)習(xí)應(yīng)運而生，其目的是對不可見類的樣本進(jìn)行識別和分類[1]。

定義1（零樣本學(xué)習(xí)）給定屬于可見類S的訓(xùn)練樣本Dtr，零樣本學(xué)習(xí)旨在學(xué)得一個分類器f(.):X→U，即可以預(yù)測測試樣本Xte屬于不可見類集合U的哪一類。

從定義1可以看出，零樣本學(xué)習(xí)的思路是將可見類中學(xué)到的知識轉(zhuǎn)移到不可見類中，以此實現(xiàn)分類任務(wù)，因此零樣本學(xué)習(xí)是一種特殊的遷移學(xué)習(xí)[2]。遷移學(xué)習(xí)將源域的知識轉(zhuǎn)移到目標(biāo)域，而輔助信息是不可見類和可見類之間的橋梁。輔助信息通常具有辨別性，能保留每個類別的特性，且與樣本相關(guān)聯(lián)，保證輔助信息是有效的。受人類認(rèn)識世界的模式啟發(fā)，例如通過“斑馬像馬且有條紋”的描述，幼童可以識別出斑馬，即使他們以前從來沒見過?？梢婎惡筒豢梢婎惖恼Z義信息組成語義空間，該空間為實數(shù)空間。在語義空間中，每個類都由一個特定的向量表示，該表示稱為類別原型。根據(jù)零樣本學(xué)習(xí)中使用數(shù)據(jù)的不同，可以將零樣本學(xué)習(xí)分為直推式和歸納式兩類。

定義2（直推式零樣本學(xué)習(xí)）只利用帶標(biāo)記的可見類樣本進(jìn)行模型訓(xùn)練。

定義3（歸納式零樣本學(xué)習(xí)）利用帶標(biāo)記的可見類樣本以及不帶標(biāo)記的不可見類的樣本進(jìn)行模型訓(xùn)練。

2 語義空間

語義空間作為零樣本學(xué)習(xí)的關(guān)鍵，有助于知識從可見類到不可見類的遷移。根據(jù)語義空間的構(gòu)造方式，可以將已有工作中使用的語義空間分為人為語義空間和學(xué)習(xí)語義空間兩種。

2.1 人為語義空間

人為語義空間中的每個維度都是人工定義的。接下來，對幾種典型的人為語義空間進(jìn)行介紹。

屬性空間：屬性空間由屬性構(gòu)成，在零樣本學(xué)習(xí)任務(wù)中使用最多。在屬性空間中，每個屬性是與類的一個特性相對應(yīng)的單詞或短語。所有類的所有屬性形成語義空間。類原型的每個維度用二進(jìn)制值或?qū)崝?shù)值來表示該類是否含有對應(yīng)的屬性。例如我們有屬性集{“四條腿”、“有尾巴”和“哺乳動物”}，那么“青蛙”對應(yīng)的屬性為[1,0,0]，而馬對應(yīng)的屬性為[1,1,1]。

詞空間：詞空間由一組詞組成，該空間利用類和數(shù)據(jù)集的標(biāo)記來提供語義信息。數(shù)據(jù)庫是結(jié)構(gòu)化的詞數(shù)據(jù)庫（如WordNet），將其作為數(shù)據(jù)源或者利用其中的層次關(guān)系可以構(gòu)建不同的語義空間。另外，詞數(shù)據(jù)庫中類之間的距離（如Jiang-Conrath距離、Lin距離）或相似度也可以用來構(gòu)建語義空間。

文本-關(guān)鍵字空間：通過每個類的文本描述中的關(guān)鍵字組成。文本描述可以從預(yù)定義的網(wǎng)站（例如Wiki?pedia）獲得，也可以從搜索引擎描述每個類的Web頁面獲得。

人為語義空間能夠靈活地使用領(lǐng)域知識，但語義空間和類原型十分耗費人力。

2.2 學(xué)習(xí)語義空間

學(xué)習(xí)語義空間中的維度不是人工定義的，每個類別原型都是以機(jī)器學(xué)習(xí)的方式獲取的。這些機(jī)器學(xué)習(xí)模型通常是從其他任務(wù)中預(yù)訓(xùn)練得到或從零樣本學(xué)習(xí)中專門訓(xùn)練得到。下面介紹幾種常見的學(xué)習(xí)語義空間。

標(biāo)記嵌入空間：類別原型的語義空間是通過標(biāo)記嵌入得到的。隨著詞嵌入技術(shù)在NLP領(lǐng)域的發(fā)展，引入標(biāo)記嵌入空間。詞向量在嵌入過程中被映射到實數(shù)空間中成為類別原型，該實數(shù)空間中包含著類別的語義信息。語義相近的詞在遷入后距離相近，反之較遠(yuǎn)。

文本嵌入空間：類別原型的語義空間是從類別的文本嵌入得到的，即該空間語義信息從文本描述中獲取。通過將類的文本描述輸入到預(yù)訓(xùn)練模型，而模型輸出即為類別的原型。

圖片特征空間：類別原型的語義空間是從樣本中提取的。通常將屬于同一類別的圖像輸入到一個預(yù)訓(xùn)練的模型，將模型輸出組合為一個向量表示作為該類的原型。

學(xué)習(xí)語義空間的原型的生成不需要人力參與且能夠包含更多的信息，但通常需要借助一些機(jī)器學(xué)習(xí)模型得到。另外，獲取到的類別原型的每個維度沒有明顯含義。

3 零樣本學(xué)習(xí)方法

根據(jù)類別原型嵌入方式的區(qū)別，我們將已有的零樣本學(xué)習(xí)方法分為四類。

3.1 貝葉斯模型

通過該推理框架，給定一個測試圖片特征，可以通過上面的乘法得到每個樣本屬于某不可見類的概率。在這項開創(chuàng)性的工作之后，很多工作在DAP的基礎(chǔ)上做了改進(jìn)。一些方法側(cè)重于提高屬性分類器的分類能力，而另一些則側(cè)重于修改推理框架。

3.2 語義嵌入

語義嵌入是尋找視覺空間到語義空間的映射。例如，屬性標(biāo)簽嵌入（ALE）[4]提出了一種雙線性得分函數(shù)去連接視覺特征和語義特征，如式（2）所示。

其中θ(x)和φ(y)分別是圖片特征和類別語義特征，W是所學(xué)的參數(shù)矩陣。通過最小化標(biāo)簽和圖像嵌入之間的損失函數(shù)，將零樣本學(xué)習(xí)問題轉(zhuǎn)化為標(biāo)簽嵌入問題。給定輸入圖片，兼容性得分函數(shù)可以預(yù)測與圖片得分最高的類作為預(yù)測標(biāo)記。Kodirov等人提出了基于語義自編碼器的方法（SAE）[5]，通過在視覺特征表示上添加重構(gòu)約束，可以有效解決投影漂移問題。

3.3 公共空間嵌入

與上述語義嵌入方法不同，公共空間嵌入尋找一個公共的空間來學(xué)習(xí)視覺特征和語義空間之間的關(guān)系。結(jié)構(gòu)化聯(lián)合映射（SJE）[6]學(xué)習(xí)了一個包含多種語義（文本、屬性和層次關(guān)系等）的公共空間，其損失函數(shù)受到結(jié)構(gòu)化SVM的啟發(fā)，將全部權(quán)重賦予排名靠前的列表，如式（3）所示。Romera和Li等人也提出了基于公共空間嵌入的方法。

3.4 深度嵌入

可以通過深度方式學(xué)習(xí)非線性嵌入解決零樣本學(xué)習(xí)問題。Frome等人提出的DeViSE方法，首次通過預(yù)先訓(xùn)練深層語言和視覺模型來解決零樣本問題，其損失函數(shù)受到無正則化的排序SVM影響，如式（4）所示。

隨后越來越多的深度學(xué)習(xí)方法（Norouzi、Wu等人）被提出用于解決零樣本學(xué)習(xí)任務(wù)。

4 零樣本學(xué)習(xí)應(yīng)用

隨著零樣本學(xué)習(xí)方法的性能的提高，其在實際場景中的應(yīng)用逐漸增多。

（1）計算機(jī)視覺。零樣本學(xué)習(xí)最大的應(yīng)用在于圖像和視頻的研究。零樣本學(xué)習(xí)不僅可以完成分類任務(wù)，解決鳥類、花類等細(xì)粒度分類問題，還可以用于圖像分割、圖像檢索和領(lǐng)域適應(yīng)等問題。零樣本學(xué)習(xí)也被用于研究視頻相關(guān)的問題，它可以被用來識別未知動作和未知情感標(biāo)簽的視頻。另外，零樣本學(xué)習(xí)還用于動作定位、事件敘述和生成描述（文本）等任務(wù)。

（2）自然語言處理。近年來零樣本學(xué)習(xí)在自然語言處理領(lǐng)域中也有一席之地。在罕見稀有語言的學(xué)習(xí)中，零樣本學(xué)習(xí)有助于構(gòu)建雙語詞典；在機(jī)器翻譯問題中，零樣本學(xué)習(xí)用于沒有平行語料庫的語言對中進(jìn)行零樣本翻譯。此外零樣本學(xué)習(xí)還被用于口語理解、語義話語分類。除以上之外，零樣本學(xué)習(xí)還可以被用于網(wǎng)頁實體抽取、細(xì)粒度命名實體類型、跨語言文檔檢索和關(guān)系抽取等自然語言處理相關(guān)問題。

（3）其他。除上述領(lǐng)域外，借助傳感器，零樣本學(xué)習(xí)可用來識別人類的活動；在計算生物學(xué)領(lǐng)域，零樣本學(xué)習(xí)可以分析分子化合物的組成；在安全和隱私領(lǐng)域，零樣本學(xué)習(xí)可以幫助發(fā)射機(jī)識別。

5 未來研究方向

目前零樣本學(xué)習(xí)已應(yīng)用在多個領(lǐng)域，我們對未來的研究方向進(jìn)行了考慮：

（1）輸入特征?，F(xiàn)有的關(guān)于零樣本學(xué)習(xí)的工作是適用于各個場景下的通用方法，并沒有針對數(shù)據(jù)在不同應(yīng)用中的特性進(jìn)行建模。例如在圖像識別中，除了考慮圖像全局特征之外，一些局部的具有辨別性的特征可能會有助分類；再例如動作檢測中的輸入數(shù)據(jù)是多模態(tài)的，可以利用多模態(tài)方法進(jìn)行建模。因此在未來的研究中，根據(jù)不同應(yīng)用場景的輸入數(shù)據(jù)的特征進(jìn)行研究是大有益處的。

（2）訓(xùn)練數(shù)據(jù)的主動選擇?，F(xiàn)有的零樣本學(xué)習(xí)方法大多處于可見類和不可見類相關(guān)聯(lián)這一假設(shè)下，例如訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)都是關(guān)于動物的圖像。而現(xiàn)實生活中數(shù)據(jù)的來源可能多種多樣，存在一些噪聲數(shù)據(jù)，應(yīng)該考慮數(shù)據(jù)清洗的方法以處理實際情況中的復(fù)雜環(huán)境，主動學(xué)習(xí)可能是一個好的選擇。

（3）開放設(shè)定。與傳統(tǒng)零樣本學(xué)習(xí)相比，在廣義的零樣本學(xué)習(xí)中，測試實例可以來自于可見類和不可見類。盡管這個設(shè)置更為實際，但仍不能滿足實際生活中的復(fù)雜情況，例如訓(xùn)練過程中不斷增加新的類別，以及少量可見類別和大量不可見類別的場景。我們需要在更為開放的設(shè)定下討論零樣本學(xué)習(xí)方法。