小樣本目標檢測綜述

劉浩宇，王向軍

(1.天津大學精密測試技術及儀器國家重點實驗室，天津300072;2.天津大學微光機電系統技術教育部重點實驗室，天津300072)

0 引言

深度學習目標檢測技術很大程度上依賴于樣本數據的分布和數量,若要實現良好的目標檢測效果,就需要有足夠數量的已標注樣本的支持。標注樣本會引入較高的制作成本,阻礙了人工智能的產業布局。近兩年來,學界開始改變之前的模型訓練方式,關注用少量的數據來達到較好的檢測效果,用少量數據學習得到具有良好效果的模型的思想可以很大程度上提高深度學習在軍事、航空航天領域的布局能力,在一些數據樣本不容易獲得或樣本容量較小的應用場合,如國防軍工領域,這樣的問題尤為突出。

深度學習目標檢測方法在早期應用過程中采用了大量標注樣本回歸候選框的位置[1],但是隨著人工智能應用的推進,目標集與訓練集數據分布不同導致檢測效果下降的問題慢慢出現[2]。在沒有大量樣本的支持下,小樣本檢測應用就需要使用先驗知識來彌補樣本的不足。根據目標檢測的理論數學模型,解決問題的方法大體上可以分為三類:數據域、模型域和算法域。數據域的解決方案就是通過先驗知識來做數據增強,通過數據量的增大解決模型不收斂的問題；模型域的解決方案是通過先驗知識來限制模型復雜度,降低假設空間的大小,使得模型收斂加快；算法域的解決方案則是通過先驗知識來提供一個更快捷的搜索策略[3]。三種策略均可在一定程度上提升檢測效果。

本文對小樣本目標檢測問題進行了歸納整理,介紹了一種分析目標檢測問題的數學模型,并在其基礎上總結了幾類可行的小樣本檢測方法。之后,對類似的深度學習應用問題進行了區分。最終,在分析了目前小樣本目標檢測方案存在的問題后,給出了未來小樣本目標檢測可能的發展趨勢。

1 小樣本目標檢測的數學模型

運用深度學習的方法解決目標檢測問題時,首先需要明確深度學習方法的最優化模型,即建立數據、模型和訓練算法之間的關系。Wang等[3]面向廣義的小樣本學習問題從誤差理論的角度給出了一種模型分析方案,Mitchell[4]則從先驗知識和經驗理論的角度分析了機器學習任務中提升檢測性能的方案。在此基礎上,可以分析目前小樣本目標檢測任務效果不佳的理論誤差來源,并根據數學模型對現有的解決方案進行分類。

1.1 目標檢測應用的數學模型

采用深度學習的方法處理目標檢測問題時,一般的檢測流程為:數據集的獲取與標注,網絡模型的初始化,模型參數的訓練與優化等。在經過多次迭代訓練后,可以獲得一個適應于該數據集的最佳模型以部署檢測應用。

借助機器學習的模型理論,在一個小樣本目標檢測應用M中,給定一個用于訓練和測驗的數據集D=Dtrain+Dtest,該數據集中包括了訓練集和測試集Dtest=xtest,其中的I值一般較小。假設解決應用M的真實模型為,真實模型往往很難達到。而深度學習的訓練方法就是指定一個模型空間P,并在P中尋找某個最接近于的模型。模型空間P是由工程師選擇的模型參數的初始化分布決定的,而的尋找過程就是一個通過訓練算法實現參數最優化的過程,實際訓練中和往往都無法達到。

該過程的實現方式為:在給定的訓練集Dtrain下,最小化目標檢測應用的損失函數,包括圖像分類、檢測框回歸等,不同的最小化損失函數可以概括為

式(1)中,W為通過訓練得到的模型,θ為模型W的具體參數,l為實現某項應用的損失函數,訓練算法就是在假設的模型空間P中搜索W的參數θ的過程。

1.2 目標檢測應用的誤差理論

深度學習的訓練過程實際上是通過訓練集來擬合實際測試中的真實分布p(x,y)的過程,由訓練得到的分布和真實分布往往不一致,這中間的差值稱為期望風險,表達式如下

讓期望風險最小化才能逼近真實分布,但因為實際測試中的真實分布不可知,所以絕對最小化期望風險是無法實現的。在深度學習中,通常用模型誤差E來替換期望損失,模型誤差就是在訓練集上根據最佳模型W預測的結果和真實結果的差異,其表達式為

可以進一步將上述誤差分解為[5-6]

則Ep即為模型假設誤差,表示的是假設分布和真實分布的差距,體現了假設空間描述數據真實分布的能力；EW即為模型訓練誤差,表示的是該假設空間中訓練結果和最佳結果之間的差距,體現了訓練結果描述真實分布的能力。大樣本和小樣本訓練的效果對比如圖1所示。

圖1 大樣本與小樣本效果對比Fig.1 Comparison of the effect between large sample and small sample

對于訓練誤差EW,樣本數量I足夠大時,有

在以往的深度學習方式中,目標檢測任務的實現往往依賴于大量的樣本數據,因此EW是很小的。但是在小樣本目標檢測應用中,樣本容量受限,因此EW往往是很大的。所以,此時采用傳統的訓練流程是很難獲得良好檢測效果的。因此,需要針對上面的問題尋求新的解決方案。

2 數據域的解決方案

數據域的增強方式較多,也一般被研究者所采用,其基本原理是通過樣本容量的增加,增加參數優化與迭代的次數,從而使訓練模型W更接近最佳模型,如圖2所示。數據域的數據增強方式大體上可以分為兩類。

圖2 數據域解決方案原理Fig.2 Principle of data domain solution

2.1 轉化原有數據集Dtrain

在不引入額外的標記數據的情況下,可以通過兩種方式增強數據:1)圖像增強:采用圖像變換增加樣本容量,常用的圖像變換方式包括圖像翻轉[7]、圖像剪切[8]、圖像縮放[9]、圖像旋轉[10]、圖像亮度變換[11-13]、圖像色調和飽和度變換[11-13]等,圖像變換可以提升一些訓練效果,但作用有限；2)圖像轉換:通過類似應用的先驗知識,將原有數據集擴增為新的數據集,引入新的特征信息,但類似應用的先驗知識往往是不容易得到的。

Hariharan等[14]通過類比的方法將從其他類似的類中學習到的樣本對之間的差異轉移到原數據集中以提高分類精度；Dwibedi等[15]通過剪切和粘貼的方式在訓練圖像上添加新對象來擴充數據；Lemley等[16]提出了一個網絡結構,試圖通過合并來自同一個類的兩個或多個樣本來生成新數據；Zoph等[17]提出了一種自動檢索并采用可行的符合應用任務特點的圖像增強方案AutoAugment,創建了一個數據增強策略的搜索空間,利用搜索算法選取適合特定數據集的數據增強策略,其嘗試的數據增強策略共計22種,可以概括為:色彩變換(扭曲顏色通道,而不影響包圍框的位置,如對比度、亮度等)、幾何變換(幾何尺度上扭曲圖像,相應地改變包圍框注釋的位置和大小,如旋轉、剪切、平移等)、包圍框變換(只扭曲包圍框注釋中包含的像素內容,如候選框旋轉、候選框翻轉等)。其方案特別有益于數據集和小目標的檢測,具體取得的效果如表1所示。

表1 AutoAugment算法在小樣本數據下的表現Table 1 Performance of AutoAugment algorithm in small datasets

深層的目標檢測網絡通常是從大規模數據集中學習的,其樣本容量應足以估計其粗略的分布特征。但是,小樣本檢測任務中只提供了少量的監督信息,如不擴充樣本,不引入額外的監督信息,很難得到樣本的泛化特征,所提升的效果也非常有限。如Zoph等[17]通過自動搜索數據增強策略空間的方式,遍歷了22種方案,但是對于小樣本下的表現也只能做到1～2的精度提升。盡管如此,轉化原有數據集的方式不需要過多地考慮樣本的屬性和任務的特點,可以作為圖像預處理的步驟而被普遍地使用。

2.2 遷移其他數據集

在圖像領域的目標檢測應用中,目標的未標記數據集很容易獲取并被人眼辨識,故可以通過有相同目標存在的大量數據來擴增數據,通過由原有數據集Dtrain學習來的模型W為這部分數據生成標注,共同投入訓練。相似數據集需要與原有數據集Dtrain有一些共同屬性,并且包含足夠的監督信息,以作為一個可以提供更多信息的數據源。

另一種可行的方式是引入大量且數據分布相似的數據集,如在檢測虎時引入貓的數據集作為補充,這類數據需要滿足模型空間P的要求。但是,這類的數據集質量往往較低,故目前流行的一種方法是引入對抗生成網絡產生與訓練集Dtrain分布相同的數據作為補充。

Douze等[18]通過標簽傳播的方式設計了一種基于大量圖像集合的半監督方法來支持標簽傳播,用數億的圖像實現了在小樣本檢測下的高準確率。Wang等[19]首先提出了一種對抗網絡用來自我生成遮蔽與變形例子,進行難例挖掘,結果小幅度提升了物體識別的準確率。Ratner等[20]使用生成對抗網絡的方式生成數據增強的操作序列。Tang等[21]提出了一個提案學習方法來學習其他未標記數據的特征和預測未標記的數據,引入了完全未標記的數據提升了整體檢測網絡的準確性。Nguyen等[22]將未標記圖像的訓練作為一種潛在變量模型,提出了一種基于期望最大化的未標記圖像半監督目標檢測方法,對目標檢測的分類部分和定位部分進行了潛在標簽估計,并對模型進行了優化。相較于監督學習,其在COCO數據集上取得的效果如表2所示。Huang等[23]則借助GAN通過白天的數據生成了夜間的數據,其具體效果如圖3所示。

表2 半監督學習相較于監督學習性能的提升效果Table 2 Comparison between semi-supervised learning with supervised learning

圖3 運用AugGAN進行數據域增強的實例Fig.3 An example of data domain enhancement using AugGAN

弱標記和未標記的樣本數據的收集相較于人工標記樣本較為廉價,然而伴隨著廉價的優勢,產生的是樣本的低質量,弱標記樣本中存在著錯誤標注、不完全標注等影響樣本質量的問題。此外,為了找到適用于小樣本檢測任務的額外數據,從海量的數據庫中挑選高質量相似數據集的成本也是很昂貴的。

總而言之,由于被檢測目標的真實分布p(x,y)不可知,絕對準確的先驗知識是不可獲得的。數據域的解決方案是增強原有數據集對真實分布的近似,當增強方法不當時,反而可能引起數據的偏移,造成期望風險的擴大。但是在小樣本目標檢測任務中,考慮提升檢測效果的第一途徑就是對樣本的修飾和增強,因此數據域的解決方案廣泛應用于各種目標檢測優化方案中。

3 模型域的解決方案

目標檢測所采用的模型決定了模型空間P的大小,復雜度過高的模型不易于模型收斂到最優解,復雜度低的模型最優解又距離真實模型太遠。模型域解決方案的基本原理是:選取較大的模型空間P,再通過先驗知識縮小空間,如圖4所示。模型域的解決方案眾多,下面給出了四種典型做法。

圖4 模型域解決方案原理Fig.4 Principle of model domain solution

3.1 多任務訓練網絡

多任務學習網絡[24]同時訓練了同一檢測網絡中的不同任務,在目標檢測的應用中用于檢測的網絡參數可以共享給分類和定位任務,這些共享的參數可以認為是限制模型空間P的方式。多任務學習將目標檢測的定位和分類參數通過一定的方式共享,降低了需要訓練優化的參數量,可以同時提升分類和檢測任務的效果。

共享的部分可以是模型的淺層參數(表征任務的低階信息),也可以是在深層之后的不同深層網絡將不同任務嵌入到同一不變的模型參數空間。按照參數共享是否是強制執行的,可將參數共享分成硬參數共享和軟參數共享:硬參數共享使不同任務之間共享同一部分模型空間；軟參數共享不同任務的有獨立的模型空間,但各模型空間的參數相似。

Sermanet等[25]提出的OverFeat網絡首次用一個共享的深度卷積網絡來同時處理圖像分類、定位、檢測三個任務,提升了模型在三個任務中的表現。Dong等[26]在學習過程中加入多個檢測模型,從多個模型中學習可以實現兩個目標:第一,有利于緩解模型訓練的局部最優解問題；第二,多個模型之間的知識補償提高了訓練樣本生成的精度和召回率。Luo等[27]通過一個預先訓練的卷積神經網絡(CNN)從源域中的源任務學習來初始化CNN在目標域中的目標任務。在訓練過程中,使用從多層CNN的表示中計算出的對抗損失來迫使兩個CNN項目樣本進入一個任務不變空間。該方法在新領域的新類上顯示了令人信服的結果,即使每個類只有幾個標記的例子可用,也優于流行的微調方法。在MNIST和SVHN數據集中,該方案的實驗結果如表3所示。

表3 Baseline模型和Luo的方法的測試精度對比Table 3 Comparison of test accuracy between the baseline model and Luo's method

多任務學習自提出以來,也被眾多研究者在目標檢測任務中成功應用。Chabot等[28]提出了一種用于車輛檢測的Deep MANTA網絡結構,使用了級聯的結構預測車輛多種信息。在共享底層特征的同時,提供了足夠的擬合能力預測多種信息,并反復回歸包圍框,提高了定位精度,其具體的檢測效果如圖5所示。Zhang等[29]將多任務學習應用在人臉檢測上,提出了一個深層級聯多任務框架,利用不同任務之間的內在相關性來提高各自的性能。

圖5 Deep MANTA檢測實例Fig.5 An example of Deep MANTA detection

多任務網絡的學習方法通過一組共同學習的任務來約束目標檢測的假設空間,共享的假設空間可以用來尋找分類和定位任務之間的共性,深度卷積特征在不同任務中的共享可以一定程度上提升檢測精度,但是如何進行共享特征的設計以及如何約束不同任務之間的相似性,需要經過精心的設計[3]。目前的網絡結構設計中,深度卷積特征的共享已被廣泛采用,但是在小樣本檢測下,不引入其他監督信息時,共享特征仍無法大幅改善泛化能力不足的問題。

3.2 增量學習網絡

增量學習是指一個學習系統能不斷地從新樣本中學習新的知識,并能保存大部分已學習到的知識,其實現方式非常類似于人類自身的學習模式。增量學習具有以下特點[30]:1)可以從樣本以外的環境中獲得新知識；2)在更新知識過程中會保留大部分已學習到的知識；3)訓練的過程不保留樣本；4)學習系統沒有關于整個訓練樣本的先驗知識。增量學習關注于在實際應用中對新樣本的適應性,因此也是一個針對于分類任務的優化方式。但是,增量學習需要特別注意如何處理新知識和舊知識之間的關系問題,如何避免災難性遺忘。

Pérez-Rúa等[31]提出了一種用于增量學習的檢測器ONCE,將CentreNet[32]分解為通用類別和特定類別的組件,以支持增量小樣本學習。在應用到真實世界后,任何新類別在任何時候都能通過小量標注樣本進行注冊,并能夠始終維護基礎類別和已注冊的新類別,在COCO數據集上取得的效果如表4所示。Peng等[33]設計了一種高效的端到端增量式目標檢測系統,該系統采用知識蒸餾法對基于徑向基元的目標檢測系統進行了優化,引入多網絡自適應精餾,在對模型進行微調以完成新任務時,適當地保留了舊類別的知識。

表4 增量小樣本目標檢測COCO val2017數據集上的性能Table 4 Incremental few-shot object detection performance on COCO val2017 dataset

災難性遺忘是增量式目標檢測器的首要問題,為了解決這個問題,眾多學者進行了嘗試。Shmelkov等[34]提供了一種方法來解決災難性遺忘的問題,其解決方案的核心是一個損失函數,可以平衡對新類的預測和新的蒸餾損失之間的相互作用,新的蒸餾損失可以最小化來自原始和更新網絡的舊類響應之間的差異。為了避免災難性遺忘,Li等[35]提出了一種算法,從舊模型中提取三種類型的知識,模仿舊模型在對象分類、邊界盒回歸和特征提取方面的行為,并設計了一個實時數據集構建管道來動態收集訓練圖像,使用類別和邊框注釋自動標記圖像,有效解決了初期樣本不足的問題。

3.3 遷移學習網絡

遷移學習從有足夠訓練數據的源域和源任務中學習知識并轉移到訓練數據有限的目標域和目標任務中,小樣本目標檢測可以借鑒遷移學習的理論,域適應[36]被廣泛使用在目標檢測應用中。當給定的已標注訓練樣本不足以完成訓練時,可以將其他類似域的先驗知識轉移到當前應用中,以緩解目標域樣本不足導致的效果較差的問題,域適應的方法通常用來提升目標域上的定位效果。遷移學習的思想廣泛應用于目標檢測任務中,很多網絡模型為彌補樣本的不足,除了采用本身獨創性的方法外,從網絡的整體訓練來看也有很重的遷移學習思想[37]。

Wang等[38]提出了一種由兩層自適應模塊組成的目標檢測結構FAFRCNN,配對過程將樣本分成兩組,第一組由目標域的樣本和源域的樣本組成,第二組由源域的樣本組成,有效地擴充了有限的目標域數據,具體效果如圖6所示。Luo等[27]在其方法中也借用了領域轉移的思想,通過領域競爭損失來對抗領域轉移,還提出了一個多層域鑒別器,該鑒別器采用了最新的域對抗性學習方法進行域對齊。Zhang等[39]提出了一種新的用于語義分割的小樣本監督域適應框架,其主要思想是利用對抗性學習來對齊從網絡中提取的特征。同時,為了解決源數據樣本稀缺的問題,該方案還提出了一種使用源數據和目標數據創建對的配對方法。Motiian等[40]也在小樣本檢測上進行了嘗試,其主要思想是利用對抗性學習來學習一個嵌入的子空間,同時最大化兩個域之間的混淆,并在語義上對齊它們的嵌入。該方案還提出利用典型的二元對立鑒別器來區分四個不同的類,以此解決監督適應的問題。Chen等[41]設計了一個靈活的LSTD深度架構來緩解小樣本檢測中的困難,并提出了一種基于源域和目標域的轉移指數(TK)和背景抑制(BD)的正則化方法,相比于 SSD和 Faster-RCNN,其在不同樣本數量的表現如表5所示。

圖6 域適應檢測效果Fig.6 Detection effect of domain adaptation

表5 LSTD與Faster-RCNN和SSD的效果對比Table 5 Comparison of LSTD with Faster-RCNN and SSD

遷移學習雖然在一定程度上緩解源域樣本不足的問題,但是也會因為領域轉移造成一定程度的檢測性能下降。當目標檢測集有限時,從預先訓練的深度分類器初始化深度檢測器,應用對象檢測的一般轉移策略是不合適的[41],因為使用這樣小的目標集進行微調通常很難消除檢測和分類之間的任務差異。除此之外,遷移學習還存在著目標域數據不足、模型過渡適應、自適應過程過于復雜的問題[38]。

遷移學習的思想被廣泛地應用于解決標注數據不足的問題中,涉及快速建模、小數據建模等問題時,常常被研究者所采用。近幾年比較熱點的領域自適應方法一定程度上解決了一個領域訓練好的模型如何適配在另一領域中的問題,當小樣本模型出現漂移,不能在新領域泛化時,往往可以通過領域自適應的方法進行嘗試。但是,遷移學習仍舊無法比擬高質量數據集下的訓練結果。在應用過程中也存在兩大問題:1)從什么領域遷移數據？2)遷移的知識如何進行適配？

3.4 深度度量學習

深度度量學習通過衡量映射在某一空間上的樣本之間的距離來學習樣本的相似度與區分度,小樣本學習可以繼承這樣的算法思路:采用一個合適的嵌入空間來表征樣本,再套入合適的距離度量損失來衡量新入樣本與各個未知類別之間的距離大小,從而得到待測樣本的應屬類別。深度度量學習的方法通常被集合在目標檢測器的尾端,作為分類器使用,其方法對于分類效果有所提升,但是對于定位任務效果提升不明顯。

Schwartz等[42]提出了一種同時學習主干網絡參數、嵌入空間和各節點的多模態分布的深度度量學習算法,度量網絡結構作為分類頭合并到一個標準的目標檢測模型中,證明了其方法在小樣本目標檢測問題上的有效性。在ImageNet的50個類比上,該方案在小樣本下與基準模型的效果對比如表6所示。Hao等[43]在小樣本的前提下提出了一種新的實例級嵌入適應機制,旨在快速適應嵌入的深度特征,以提高其識別新類別的泛化能力,該方案設計了一個關注自適應模塊,盡可能地提取查詢實例及其對應的類中心。Luo等[27]使用基于度量學習的方法來概括領域轉移中嵌入到新任務的過程,在標記目標之間利用基于度量學習的交叉熵損失來穩定和改善學習。

表6 Schwartz算法在ImageNet-LOC數據集的50類目標中的表現（mAP）Table 6 Performance of Schwartz's algorithm in 50 classes of targets inImageNet-LOC dataset（mAP）

深度度量學習所學習的嵌入函數沒有考慮任何特定于應用的知識,在原數據集樣本極小的情況下應用是不合適的。此外,通過度量學習的方式在小樣本中得到的結果也不容易在新應用中適應。使用預先訓練的嵌入模型具有較低的計算成本,也可以帶來良好的分類效果。然而,通過度量學習得到的嵌入函數沒有考慮任何特定于任務的知識,簡單地應用嵌入函數是不合適的。最近一段時間,Musgrave等[44]提出,度量學習的發展存在 “虛假繁榮”的現象,相關論文在實驗設置方面存在多種缺陷,比如不公平的實驗比較、測試集標簽泄露、不合理的評價指標等,度量學習在目標檢測任務中的效果有待進一步驗證。

4 算法域的解決方案

算法域解決方案的基本原理是:找到一種在模型空間P中快速搜索最優模型ˉW的策略,這種策略可以利用先驗知識來改變參數θ的搜索過程,使模型在有限次的迭代下快速收斂,其具體原理如圖7所示。算法域的解決方法大體上可以分為兩類。

圖7 算法域解決方案原理Fig.7 Principle of algorithm domain solution

4.1 微調現有模型參數θ

將由大量相似數據集訓練得到的檢測模型參數作為θ的初始參數,因其已被迭代過多次,故只需經過少量幾次優化就可以適應于新的檢測應用。在引入預訓練模型后,具體的優化策略包括:1)分離Dtrain并建立驗證集Dvalidation,以檢測并提早結束訓練；2)選擇性更新參數,保留大部分預訓練參數不變；3)對預先訓練好的模型參數進行分組,并使用Dtrain進行分組反向傳播微調；4)在預訓練模型后引入額外的參數δ或層級結構做協調,與原有參數θ共同優化。

Singh等[45]通過引入預訓練模型,提升了模型在樣本稀少的小目標檢測上的準確率。Chen等[41]在做域適應時,分別從源域和目標域中選擇目標知識,進一步增強對少量目標圖像的微調。引入預訓練模型和Fine-Tuning的方式廣泛存在于目標檢測任務中,大部分小樣本學習都會通過這樣的方式嘗試提高模型的檢測效果。在Fine-Tuning后,無論是模型的分類還是定位能力都會有所提升。

通過預訓練模型的引入,極大地降低了模型收斂的時間,但是也會引起模型過擬合的問題,可以通過一定的正則化方法予以緩解[3]。除此之外,預訓練和微調盡管可以在訓練集上收斂,但是檢測器在測試集上仍舊存在泛化能力不足的問題[46]。

4.2 元學習

區別于其他優化方式使模型更接近,元學習的優化策略直接目標是,其目標是讓機器“學會學習”。元學習擬合一系列相似任務的分布,利用元學習器將各個學習任務的參數合成,以此獲得一個好的初始化參數,具體的數據集設置如圖8所示。

圖8 3-way 1-shot元學習任務示例Fig.8 An example of 3-way 1-shot meta-learning

元學習本質上是要尋找一個對于所有任務都較優的模型參數,在更新參數時,元學習結合了所有任務在測試集上的損失作為先驗知識來指導梯度更新。因此,元學習的方法可以作為一個很好的參數θ初始化方式,其值在新的任務上已經是一個較優的值,只需要較少的迭代更新就能達到最優假設。

除了初始化模型參數,還可以通過元學習與循環卷積神經網絡相結合的方式訓練得到一個參數優化方法,為訓練過程提供一個良好的參數搜索步驟或更新規則,提供更好的搜索方向和步長,加速收斂過程。

Fu等[47]提出的Meta-SSD模型將元學習部分和目標檢測器組合,可以學習廣泛的知識和正確的快速適應策略,教檢測器如何在一個更新的步驟從有限幾個例子中學習。Yan等[48]提出的Meta RCNN采用了基于RoI特性的元學習,并通過Mask R-CNN改進了小樣本的目標分割能力。相比于YOLO模型,其方案在小樣本下對于不同類別的檢測效果如表7所示。Kang等[37]充分利用了基類的標記,并使用元特征學習器和權重調整模塊,實現了快速適應新的類,在小樣本目標檢測方面有很大的優勢。Wang等[46]的想法較為獨特,他們認為目標檢測與小樣本學習的結合就是目標跟蹤問題的特例,他們采用了與模型無關的元學習提供了一種初始化檢測器的策略,構建了一個高性能的跟蹤器,并采用一系列針對小樣本的優化方案,大大提高了檢測精度。Pérez-Rúa等[31]在網絡中加入了元學習類別生成器,一旦經過訓練,給定少量的新對象類的圖像,元訓練的類代碼生成器可以使ONCE檢測器在元測試階段以有效的前饋方式增量地學習新類。

表7 Meta R-CNN與YOLO在VOC2007數據集小樣本下的表現對比Table 7 Comparison of Meta R-CNN and YOLO in small sample of VOC2007 dataset

元學習的方法被廣泛應用于小樣本目標檢測中,其獨特的實現方式可以提升目標檢測在新類別上分類的準確性,還可以為定位任務搜索更優的參數。元學習中包含了一定遷移學習的思想,其訓練方式也非常適于小樣本訓練的模式,可以說元學習是一個極具研究潛力的深度學習優化方式。然而,學習建立這種元學習模型的成本也比較高,而且對于初學者來說,設計一個良好的元學習器是比較困難的。

5 相類似的深度學習應用

在深度學習領域,與小樣本學習類似的研究有很多,為了對這一類問題進行區分,從中獲取解決問題的靈感,這里對類似的深度學習問題進行匯總和說明,明確各類問題的特點。

5.1 半監督學習

半監督學習[49]區別于監督學習的關鍵在于樣本是否已完全標注,半監督學習在有標注和沒有標注的混合樣本中學習最優模型。區別于此,小樣本學習不對監督和半監督做過多的約束,取決于提供樣本的種類而不是樣本的標注形式,小樣本學習中可以沒有未標注樣本。另一點區別在于,半監督學習的對象檢測器往往需要占總量50%左右的標注數據[26],而小樣本能提供的標注樣本數量遠小于此。

5.2 不平衡學習

不平衡學習[50]在數據集中有一類含有的數據要遠遠多于其他類的數據,常常是類別分布不平衡,需要在不平衡的數據集中學習一個偏態的數據分布。區別于此,小樣本學習對參數的訓練和測試只通過幾個例子,而可能會把另一個樣本作為先驗知識來學習。

5.3 零樣本學習

在零樣本學習[51]任務中,某一類別在訓練樣本中未出現,但是可以知道這個類別的特征,通過語料知識庫便可以將這個類別識別出來。零樣本的基礎理論是高維語義特征代替樣本的低維特征,使得訓練出來的模型具有遷移性。零樣本學習的思想可以應用在小樣本檢測中,提供新的解決思路。

6 現狀與展望

小樣本學習模式是在人類的學習方式和人工智能之間建立聯系的橋梁,有助于降低人工智能在工業化部署上收集大量標注成本的負擔,降低人工智能的落地成本；另一方面也使深度學習在樣本稀有的案例上部署成為可能,其中最典型的應用場景就是軍事領域中的目標檢測應用。可以預想的是,在人工智能的學術研究熱潮以及工業對低成本的深度學習部署強烈憧憬下,未來在小樣本學習的研究會逐漸深入,得到良好的發展。

6.1 小樣本目標檢測的現狀

由于視覺信息的獲取較為容易,并且自Alex-Net[30]在2012年引爆深度學習以來,圖像領域已在深度學習中進行了廣泛而深入的探索,為計算機視覺賦予了全新的研究方法和研究領域。因此,小樣本學習也率先出現在圖像分類和識別的應用中。但是,目標檢測任務同時包含了分類、識別、定位和分割等多種學習任務,小樣本目標檢測技術尚處于學術探索的狀態,仍存在一些明顯的問題,包括:

1)復雜場景下檢測精度較低:由容量有限的樣本抽取的特征往往不具有高度的概括性,泛化能力較低,目標的定位容易被復雜度的場景所模糊,從而難以達到較高的檢測精度。眾多論文[37,42,48]均提到了復雜背景下小樣本檢測表現不佳的情況,其本質是定位任務在小樣本下表現不佳。

2)檢測數據集較分類數據集仍顯缺乏:對于目標檢測模型來說,數據的需求更為關鍵,但是收集標記數據進行檢測的成本也更高。除此之外,專注于檢測的數據集比分類數據集少得多。因此,沒有更多目標檢測的數據集用于數據遷移和域適應也是目前的問題之一。在目前的研究中,研究者首先面對的問題就是數據擴充,比如Zoph等[17]就提出了一系列數據擴充策略,力圖提升檢測精度。

3)一圖多目標和一圖無目標問題:在兩類特殊的問題中,小樣本目標檢測表現效果不佳。文獻[37]和文獻[48]提出了多目標小樣本檢測的問題,該問題主要表現為檢測網絡對新類別表現較為遲鈍。另一個問題出現在無目標場景下,主要表現為誤檢測問題。

4)深度模型下的過擬合問題:目標檢測問題區別于其他計算機視覺問題的關鍵在于,深度網絡模型下需要同時考慮目標分類和定位的問題,而定位和分割問題的難度遠在分類之上,在數據容量較小時,層數較高的檢測網絡極易造成模型的過擬合。文獻[37]和文獻[41]提到的方法均通過一定的策略嘗試降低模型過擬合的程度,如數據遷移和正則化等。

5)生成高精確度的偽標注樣本問題[26]:具體來說,一方面,訓練樣本的生成應具有較高的置信度,以保證后續過程中探測器訓練的良好引導。另一方面,由于正確預測的訓練樣本越多,識別檢測器越好,因此可以推測生成的訓練樣本偽標簽應該具有較高的召回率,為檢測器的改進提供足夠的知識,即要求偽標注樣本在精確率和召回率要求之間達到平衡。

6)缺乏更詳細的理論解釋:通過先驗知識的理論可以從一方面模型化小樣本檢測問題,并可以將解決方案分類為三大領域。但是,這樣的解釋方式并未對一些解決方案實現檢測效果提升的數學原理進行量化的描述,如算法領域的解決方案仍沒被完全理解,其實現的效果也缺乏合理的量化解釋。Franceschi等[52]嘗試對元學習的實現原理進行測試,給出了近似問題解收斂于精確問題解的充分條件,但是仍然缺乏對元學習方法收斂性的一般或普遍分析。

6.2 小樣本目標檢測的發展趨勢

小樣本學習一經提出,就受到了廣泛的關注,CVPR2018收錄了4篇關于小樣本學習的論文,而到了CVPR2019,這一數量激增到了近20篇。隨著研究的日益推進,小樣本目標檢測呈現出以下的發展趨勢:

1)越來越多的學者將研究的目光投向了元學習,元學習與目標檢測器相結合的方式正在被逐漸探索實踐,以較小的推理代價快速適應新應用。但是,在應用中也存在三個問題:①由于成本過高或難度較大而無法確定相似任務的關聯性,如關聯性不強,反而可能得到適得其反的學習效果；②在學習過程中,避免災難性遺忘[53]是另一個問題,對于過去任務中得到的信息可能會隨著元學習器的迭代而丟失,從而影響學習效果；③元學習在多目標檢測問題上表現不佳,影響整體檢測效果。

2)多樣本狀態的訓練數據成為一種可能,在標注的圖像樣本中增添另外維度的樣本信息,如文本、視頻信息等。多維度的信息可用于在樣本訓練中提供先驗知識,該方法此前被廣泛應用于零樣本學習中。

3)一個可能的方向是將自動機器學習的自動特征工程[54]、模型選擇[55]、神經結構搜索[56]和優化策略選擇[17]擴展到小樣本檢測的方法中,通過自動機器學習在搜索空間中對訓練參數、訓練策略進行優化搜索。

4)從目標跟蹤問題中尋找靈感。用檢測器去解決跟蹤問題,遇到的最大問題也是訓練數據的不足。如果將跟蹤視為一個特殊的檢測任務,檢測的目標由用戶在第一幀所指定,這意味著能夠用于訓練的數據僅僅只有少數幾張。從這個意義上說,小樣本目標檢測問題有望在目標跟蹤中獲取解決問題的靈感。在文獻[46]的方案中,給出了以元學習的方式解決跟蹤任務下小樣本目標檢測的一種嘗試。

5)更多的研究將關注在小樣本目標檢測中定位任務的提升上。目前的小樣本目標檢測方案,除了小部分研究外,無論是度量學習[42-43],還是元學習[37,47-48],都關注將先驗知識應用于目標檢測器末端的分類器上,并在分類任務中表現出眾。涉及定位任務,小樣本學習的方法相比于大數據樣本下的目標檢測仍有較大差距,漏檢和錯檢的問題較為明顯。未來,提升小樣本目標檢測任務的關鍵在于提高目標定位的準確度。

6)小樣本學習的方式不只局限于圖像領域,除了計算機視覺應用的不斷深入,其他人工智能領域也開始考慮小樣本檢測的問題,如Kaiser等[57]將小樣本學習的思想融入到文字翻譯中,未來會有更多的人工智能研究者投入到小樣本學習的研究中,更多的方法會被逐漸提出。在其他領域,對小樣本學習方式的探索也會一定程度上促進小樣本目標檢測問題的提升,催化產生更多可能的解決方案和優化策略。

7 結論

小樣本目標檢測旨在縮短人工智能和人類學習之間的差距,它通過學習有限的監督信息,結合先驗知識,提升目標檢測在新任務中的效果。小樣本學習的方式有助于減輕在工業使用中收集大規模標記數據的負擔,使只能提供少量樣本的應用場合中人工智能的落地成為可能。在低成本的人工智能學術訴求和工業上對廉價學習的需求下,小樣本目標檢測逐漸受到關注并成為熱點問題。

本文對小樣本目標檢測進行了全面的綜合敘述,首先給出了分析小樣本檢測的一種方法,并從數據層面、模型層面和算法層面歸納整理了近幾年來解決小樣本檢測的方法途徑,分析了包括遷移學習、元學習、度量學習等熱點方法在小樣本檢測方面的應用效果和存在的問題。之后,討論了小樣本檢測與半監督學習、不平衡學習和零樣本學習等相關學習問題的關聯性和差異性。最后,歸納整理了小樣本目標檢測所面臨的問題與困境,并指出了未來可能的發展趨勢,希望能對小樣本檢測方向的研究有所啟發。