零樣本學習綜述

歐光金

（西南大學計算機與信息科學學院，重慶400715）

1 零樣本學習概述

近年來監督學習取得了顯著進步，監督學習的應用也隨處可見。加之得益于深度學習的快速發展，監督學習的性能也得到很大提升。然而監督學習存在一些缺陷，需要足夠樣本，且學到的分類器只包含訓練過程中出現過的類別，對從未見過的類別就無能為力。然而在實際應用中，許多類沒有對應的標注樣本參與訓練，而人們需要確定這些測試樣本是屬于哪一類別。為了解決這一問題，零樣本學習應運而生，其目的是對不可見類的樣本進行識別和分類[1]。

定義1（零樣本學習）給定屬于可見類S的訓練樣本Dtr，零樣本學習旨在學得一個分類器f(.):X→U，即可以預測測試樣本Xte屬于不可見類集合U的哪一類。

從定義1可以看出，零樣本學習的思路是將可見類中學到的知識轉移到不可見類中，以此實現分類任務，因此零樣本學習是一種特殊的遷移學習[2]。遷移學習將源域的知識轉移到目標域，而輔助信息是不可見類和可見類之間的橋梁。輔助信息通常具有辨別性，能保留每個類別的特性，且與樣本相關聯，保證輔助信息是有效的。受人類認識世界的模式啟發，例如通過“斑馬像馬且有條紋”的描述，幼童可以識別出斑馬，即使他們以前從來沒見過。可見類和不可見類的語義信息組成語義空間，該空間為實數空間。在語義空間中，每個類都由一個特定的向量表示，該表示稱為類別原型。根據零樣本學習中使用數據的不同，可以將零樣本學習分為直推式和歸納式兩類。

定義2（直推式零樣本學習）只利用帶標記的可見類樣本進行模型訓練。

定義3（歸納式零樣本學習）利用帶標記的可見類樣本以及不帶標記的不可見類的樣本進行模型訓練。

2 語義空間

語義空間作為零樣本學習的關鍵，有助于知識從可見類到不可見類的遷移。根據語義空間的構造方式，可以將已有工作中使用的語義空間分為人為語義空間和學習語義空間兩種。

2.1 人為語義空間

人為語義空間中的每個維度都是人工定義的。接下來，對幾種典型的人為語義空間進行介紹。

屬性空間：屬性空間由屬性構成，在零樣本學習任務中使用最多。在屬性空間中，每個屬性是與類的一個特性相對應的單詞或短語。所有類的所有屬性形成語義空間。類原型的每個維度用二進制值或實數值來表示該類是否含有對應的屬性。例如我們有屬性集{“四條腿”、“有尾巴”和“哺乳動物”}，那么“青蛙”對應的屬性為[1,0,0]，而馬對應的屬性為[1,1,1]。

詞空間：詞空間由一組詞組成，該空間利用類和數據集的標記來提供語義信息。數據庫是結構化的詞數據庫（如WordNet），將其作為數據源或者利用其中的層次關系可以構建不同的語義空間。另外，詞數據庫中類之間的距離（如Jiang-Conrath距離、Lin距離）或相似度也可以用來構建語義空間。

文本-關鍵字空間：通過每個類的文本描述中的關鍵字組成。文本描述可以從預定義的網站（例如Wiki?pedia）獲得，也可以從搜索引擎描述每個類的Web頁面獲得。

人為語義空間能夠靈活地使用領域知識，但語義空間和類原型十分耗費人力。

2.2 學習語義空間

學習語義空間中的維度不是人工定義的，每個類別原型都是以機器學習的方式獲取的。這些機器學習模型通常是從其他任務中預訓練得到或從零樣本學習中專門訓練得到。下面介紹幾種常見的學習語義空間。

標記嵌入空間：類別原型的語義空間是通過標記嵌入得到的。隨著詞嵌入技術在NLP領域的發展，引入標記嵌入空間。詞向量在嵌入過程中被映射到實數空間中成為類別原型，該實數空間中包含著類別的語義信息。語義相近的詞在遷入后距離相近，反之較遠。

文本嵌入空間：類別原型的語義空間是從類別的文本嵌入得到的，即該空間語義信息從文本描述中獲取。通過將類的文本描述輸入到預訓練模型，而模型輸出即為類別的原型。

圖片特征空間：類別原型的語義空間是從樣本中提取的。通常將屬于同一類別的圖像輸入到一個預訓練的模型，將模型輸出組合為一個向量表示作為該類的原型。

學習語義空間的原型的生成不需要人力參與且能夠包含更多的信息，但通常需要借助一些機器學習模型得到。另外，獲取到的類別原型的每個維度沒有明顯含義。

3 零樣本學習方法

根據類別原型嵌入方式的區別，我們將已有的零樣本學習方法分為四類。

3.1 貝葉斯模型

通過該推理框架，給定一個測試圖片特征，可以通過上面的乘法得到每個樣本屬于某不可見類的概率。在這項開創性的工作之后，很多工作在DAP的基礎上做了改進。一些方法側重于提高屬性分類器的分類能力，而另一些則側重于修改推理框架。

3.2 語義嵌入

語義嵌入是尋找視覺空間到語義空間的映射。例如，屬性標簽嵌入（ALE）[4]提出了一種雙線性得分函數去連接視覺特征和語義特征，如式（2）所示。

其中θ(x)和φ(y)分別是圖片特征和類別語義特征，W是所學的參數矩陣。通過最小化標簽和圖像嵌入之間的損失函數，將零樣本學習問題轉化為標簽嵌入問題。給定輸入圖片，兼容性得分函數可以預測與圖片得分最高的類作為預測標記。Kodirov等人提出了基于語義自編碼器的方法（SAE）[5]，通過在視覺特征表示上添加重構約束，可以有效解決投影漂移問題。

3.3 公共空間嵌入

與上述語義嵌入方法不同，公共空間嵌入尋找一個公共的空間來學習視覺特征和語義空間之間的關系。結構化聯合映射（SJE）[6]學習了一個包含多種語義（文本、屬性和層次關系等）的公共空間，其損失函數受到結構化SVM的啟發，將全部權重賦予排名靠前的列表，如式（3）所示。Romera和Li等人也提出了基于公共空間嵌入的方法。

3.4 深度嵌入

可以通過深度方式學習非線性嵌入解決零樣本學習問題。Frome等人提出的DeViSE方法，首次通過預先訓練深層語言和視覺模型來解決零樣本問題，其損失函數受到無正則化的排序SVM影響，如式（4）所示。

隨后越來越多的深度學習方法（Norouzi、Wu等人）被提出用于解決零樣本學習任務。

4 零樣本學習應用

隨著零樣本學習方法的性能的提高，其在實際場景中的應用逐漸增多。

（1）計算機視覺。零樣本學習最大的應用在于圖像和視頻的研究。零樣本學習不僅可以完成分類任務，解決鳥類、花類等細粒度分類問題，還可以用于圖像分割、圖像檢索和領域適應等問題。零樣本學習也被用于研究視頻相關的問題，它可以被用來識別未知動作和未知情感標簽的視頻。另外，零樣本學習還用于動作定位、事件敘述和生成描述（文本）等任務。

（2）自然語言處理。近年來零樣本學習在自然語言處理領域中也有一席之地。在罕見稀有語言的學習中，零樣本學習有助于構建雙語詞典；在機器翻譯問題中，零樣本學習用于沒有平行語料庫的語言對中進行零樣本翻譯。此外零樣本學習還被用于口語理解、語義話語分類。除以上之外，零樣本學習還可以被用于網頁實體抽取、細粒度命名實體類型、跨語言文檔檢索和關系抽取等自然語言處理相關問題。

（3）其他。除上述領域外，借助傳感器，零樣本學習可用來識別人類的活動；在計算生物學領域，零樣本學習可以分析分子化合物的組成；在安全和隱私領域，零樣本學習可以幫助發射機識別。

5 未來研究方向

目前零樣本學習已應用在多個領域，我們對未來的研究方向進行了考慮：

（1）輸入特征。現有的關于零樣本學習的工作是適用于各個場景下的通用方法，并沒有針對數據在不同應用中的特性進行建模。例如在圖像識別中，除了考慮圖像全局特征之外，一些局部的具有辨別性的特征可能會有助分類；再例如動作檢測中的輸入數據是多模態的，可以利用多模態方法進行建模。因此在未來的研究中，根據不同應用場景的輸入數據的特征進行研究是大有益處的。

（2）訓練數據的主動選擇。現有的零樣本學習方法大多處于可見類和不可見類相關聯這一假設下，例如訓練數據和測試數據都是關于動物的圖像。而現實生活中數據的來源可能多種多樣，存在一些噪聲數據，應該考慮數據清洗的方法以處理實際情況中的復雜環境，主動學習可能是一個好的選擇。

（3）開放設定。與傳統零樣本學習相比，在廣義的零樣本學習中，測試實例可以來自于可見類和不可見類。盡管這個設置更為實際，但仍不能滿足實際生活中的復雜情況，例如訓練過程中不斷增加新的類別，以及少量可見類別和大量不可見類別的場景。我們需要在更為開放的設定下討論零樣本學習方法。