有限樣本下基于圖卷積神經網絡的目標檢測方法研究

黃 丹,陳 志,馮 欣,楊 武

(1.中國兵器科學研究院, 北京 100089;2.重慶理工大學 計算機科學與工程學院, 重慶 400054)

0 引言

近年來，基于卷積神經網絡的深度學習算法在目標檢測領域取得了顯著的成績[1-2]，而這種成功很大一部分依賴于大量帶有完整、精確邊框注釋的目標檢測數據集。在一些實際應用領域，諸如醫學圖像、瀕危動物等，大量的數據難以獲取，且數據標注需要花費很大代價[3]。但在基于深度學習的目標檢測算法中，當數據量較小時，卷積神經網絡會由于過擬合而不能很好地對未知數據泛化，即檢測器的預測能力有限。然而，人類在這項任務上能夠展現強大的感知能力，例如，兒童可以在極少的幾張圖片中學習識別新的類別。因此，對這類少樣本數據構造具有較強泛化能力的目標檢測算法是極具挑戰的。

當前，對少樣本學習的研究已經取得了一定的進展，但這些方法都聚焦于圖像分類，很少涉及到目標檢測問題[1-2]。對于有限樣本下的目標檢測，其核心問題是如何通過少量樣本學習在雜亂背景中定位目標物體[3-4]。如圖1所示的少樣本目標檢測問題設置。其中的基類和新類是2種可供訓練的數據，基類中有大量的注釋數據可用，而新類則只包含了少數帶標記的樣本。在這2種數據中，給定帶有目標對象的支撐圖像集S和可能包含目標對象的查詢圖像集Q，少樣本目標檢測任務就是在查詢圖像集Q中找到屬于支撐類別的所有目標對象，并用緊致的邊框將它們標記出來。如果支撐集包含N個類別，每個類別包含K個樣本，這樣的檢測任務被稱為N-way K-shot目標檢測。本文旨在基類和新類同時存在的情況下，提出一種利用基類中的知識來學習檢測新類目標對象的方法。

圖1 有限樣本下的目標檢測示例圖

少樣本目標檢測的一種解決方案是首先在大規模數據集上預訓練一個目標檢測模型，然后將模型遷移到少樣本數據上微調訓練。但是，與現實世界中龐大的目標類別相比[5]，大量數據集中包含的目標對象類別的數量仍然是有限的，因此，預訓練的模型算法無法直接應用在一些新的未知類別上，而由于訓練數據的缺乏，基于深度學習的目標檢測算法也無法學習到大小、形狀、紋理、光線等各異對象的精確邊界框[6]。除此之外，當前通用的目標檢測算法對于候選區域的分類只考慮每個候選區域的表觀特征，而沒有考慮其他候選區域、候選區域在圖中的位置信息以及候選區域之間的關系，這些對于僅有少量標注樣本的目標檢測問題是極其重要的。

針對有限樣本的特性以及現有通用目標檢測算法的問題，提出一個新的有限樣本下的目標檢測框架。該框架主要由多層卷積神經網絡組成的區域提案網絡以及基于圖卷積的候選區域分類網絡構成。具體來說，該框架首先采用多個N-way K-shot任務組成的批次來模擬元學習，并通過多個卷積層構成的區域提案網絡實現對目標對象的精確區域定位。這種區域提案網絡的設計能夠在有限的樣本下對大小不同的目標物體進行定位，且其在各個類別上的定位方法是通用的，因此能夠很快適應新的類別。其次，依據區域提案網絡獲得的候選區域之間的位置關系構成一幅完全圖，并運用圖卷積神經網絡來學習目標自身的語義特征，以及每個候選區域的鄰域關系和相對位置信息。經過訓練過程中節點和邊緣特征的不斷更新，最終獲得圖結構的邊標簽預測結果，即目標的類別預測結果。本文中提出的方法在少樣本領域是通用的，具有廣泛的應用前景。

1 相關工作

1.1 目標檢測

目標檢測是計算機視覺中的經典問題。基于深度卷積神經網絡的目標檢測可分為兩階段和一階段目標檢測方法。

RCNN[7]系列目標檢測方法是典型的兩階段目標檢測算法。RCNN使用預訓練的卷積神經網絡對通過選擇性搜索生成的區域提案進行分類。Fast-RCNN[8]則通過感興趣區域(ROI)池化層改進了RCNN，其直接從卷積特征圖中提取區域特征。Faster-RCNN[9]通過引入區域提案網絡(RPN)實現了端到端的目標檢測。

SSD[10]是典型的一階段的多目標檢測器，其在不同尺度大小的特征圖上使用固定的默認邊界框直接預測類別分數以及邊界框偏移量。默認的邊界框有不同的大小比例和橫縱比。在不同大小的特征圖上，默認邊界框的大小通過在最高層和最低層之間按一定規律計算得到，而每個特定層的特征圖則學習如何響應目標對象的特定尺度[11]。

1.2 少樣本學習

少樣本學習是指每個類別僅從幾個訓練樣本中學習。近年來，基于大量數據的有監督深度學習方法在各個應用領域取得極大成功。然而，大量數據的采集和標注在現實世界往往是需要極大代價的，特別是對于某些數據稀缺的應用場景，如瀕危物種的檢測與識別等。因此，少樣本學習的研究近年來獲得了極大的關注。

最近一種流行的少樣本學習解決方案是元學習方法，它可以進一步分為3類。第一類基于度量學習的方法。如基于孿生網絡[12]的方法首次被提出。該網絡由共享權重的雙分支網絡組成，其中每個網絡分別接受一個支撐圖像和一個查詢圖像作為輸入，查詢及其支撐之間的距離通過邏輯回歸學習。這種匹配策略可以捕獲支撐與查詢數據之間的相似性特征[13]。第二類為優化的快速適應方法。Ravi等[14]提出了一種基于長短時記憶網絡LSTM的元學習器。該方法能夠在新的少樣本分類任務中快速收斂。模型不可知元學習(model agnostic meta learning)[15]優化了一個任務不可知網絡，因此其在新的少樣本分類任務中的參數更新可以獲得良好的性能。第三類為參數預測的方法。Learnet基于每個類的單個實例，動態學習分解后的權重參數，從而實現單樣本學習。

目前的少樣本學習工作主要集中在分類問題上，關于少樣本的檢測問題的研究則相對較少。Chen等[1]提出將一個預先訓練過的檢測器遷移到少樣本任務中，而Karlinsky等[3]則探索了利用距離度量學習對每個目標類的多模態分布進行建模。最近，Wang等[16]提出了專門的元策略來學習區分檢測模型中與類無關和類特定的部分。其他基于元學習的方法為每個類學習一個類注意力向量，并使用這些向量重新加權全圖像特征[2]或ROI特征[4]。大多有限樣本下的目標檢測方法也是通過針對弱監督和零樣本學習的方法來解決的。

1.3 圖神經網絡

圖神經網絡主要使用圖結構和神經網絡的學習方法來學習圖中結點及結點之間的關系表征。Gorli等[17]和Scarselli等[18]首先提出以圖神經網絡作為循環神經網絡的一種形式學習圖結構數據表證。Defferrard等[19]將基于廣義卷積的傳播規則直接應用于圖神經網絡。王健宗等[20]將圖卷積神經網絡應用于非規則結構數據的半監督學習問題上。目前基于圖神經網絡的方法主要探索了基于結點標記框架的少樣本分類任務，還沒有涉及有限樣本下的目標檢測任務的方法。結合圖卷積神經網絡在少樣本分類任務上應用，本文提出一種基于圖卷積網絡的目標檢測方法來解決有限樣本下的目標檢測問題。

2 基于圖卷積網絡的有限樣本目標檢測方法

2.1 問題定義

少樣本目標檢測是在有大量的注釋數據可用的基類和少量樣本標注的新類同時存在的情況下，利用基類中的知識來學習和檢測新類中目標對象的一種計算機視覺任務。

針對有限樣本下的目標檢測問題，提出一種結合區域提案網絡和圖卷積神經網絡的目標檢測方法。其中，區域提案網絡采用基于SSD[10]的邊框回歸來得到目標的候選框，而圖卷積神經網絡通過目標對象圖的訓練來學習目標本身的表觀特征、目標間的相對位置關系及目標間特征的相似性關系，并對新類查詢目標類別進行預測。總體框架如圖2所示,首先查詢圖像會經過區域提案網絡，獲得潛在目標對象的邊界框，接著將支撐集目標對象及查詢圖像上的候選區域構成一幅目標對象圖，通過基于圖卷積的候選區域分類網絡進行圖更新，得到最終的結果。

圖2 總體框架圖

在本文構造的基于區域候選框的目標對象完全圖G中，使用vi和eij表示結點集合中第i個結點的特征及邊集合中第i個結點與第j個結點之間的邊特征。每一個邊標簽的真實值yij由結點標簽的真實值按式(1)所示定義：

(1)

其中，每一條邊都是一個二維的特征向量eij∈[0,1]2。結點特征由卷積神經網絡提取的特征進行初始化，每一個邊特征由邊標簽按以下式(2)所示進行初始化：

(2)

2.2 區域提案網絡

參考SSD[10]網絡結構，設計了一個基于多層卷積神經網絡的區域提案網絡用于候選框的提取和邊界框回歸，如圖3所示。骨干網絡采用VGG16來提取目標特征。具體來說，對于每個卷積層，在卷積特征圖的每個空間位置都設置多個候選框，即包含不同的尺度和比例。對于和真實目標匹配的任何候選框，將使用回歸損失(平滑L1損失)來懲罰預測和真實邊界框之間的偏移(框中心，寬度和高度)誤差。這種融合不同卷積層、不同特征圖上回歸結果的設計適合于定位各種大小的目標對象，因此對于少樣本檢測尤其重要。此外，該區域提案網絡的回歸參數在所有目標類別之間共享，而不是像Faster RCNN[9]中特定于每個類別。

該區域提案網絡可以采用在大規模數據中預先訓練的模型參數對不同少樣本目標域進行參數初始化，這避免了對該網絡進行隨機初始化，從而減少了目標域中只有幾張圖像的微調負擔。本文采用在ImageNet數據集上預訓練并去除全連接層的VGG16模型對區域提案網絡進行初始化。

對于卷積特征圖上的大量默認候選框，同時執行是否包含目標的二分類和邊框回歸多任務訓練，以進一步檢查候選邊界框中是否包含目標對象。將經過區域提案網絡得到的候選區域根據二分類任務的分類分數進行排序，并選取二分類預測概率較高的候選區域作為區域提案網絡的結果。

2.3 基于圖卷積網絡的候選區域分類網絡

對于區域提案網絡得到的候選區域，通過構造圖結構并采用圖卷積網絡來學習目標特征之間的相異性關系。其中，將查詢圖像中的候選區域經過主干網絡提取的卷積特征(128維向量)作為查詢結點，將每個類別支撐圖像上的目標對象經過同樣的主干網絡提取的卷積特征表示(128維向量)作為支撐結點。然后將支撐結點與查詢結點構成一個全連接圖。圖中的每個結點代表其對應目標對象的128維特征向量。每個邊代表2個相連結點之間的關系類型，即兩個連接的結點之間經過規范化的類內和類間關系的強度，以充分利用類內相似性和類間不相似性表達來對少樣本目標的類別進行泛化。

(3)

通過卷積神經網絡的訓練，類內的相似性結點得以充分聚合，而類間的結點差異也得到充分的區分。

邊特征基于已更新的結點特征進行更新，如式(4)和式(5)所示。首先，重新計算每一對結點之間的相似度或距離，接著通過融合上一次更新的邊特征值和更新后的相似度或距離來更新每個邊的特征。對于第l層連接結點i與j的邊特征e定義如下：

(4)

(5)

(6)

(7)

(8)

2.4 兩階段訓練與損失函數設計

在訓練階段，使用兩階段的訓練策略，即對區域提案網絡和基于圖卷積網絡的候選區域分類網絡分別進行訓練。該策略首先將2個模塊在具有大量標注數據的基類數據集上進行訓練，再在帶有少量標注數據的新類數據集上進行微調訓練。通過將多個N-way K-shot任務構建成一個訓練批次來模擬少樣本學習任務，以此降低微調訓練的難度，提高在有限樣本場景下的學習能力。

在區域提案網絡訓練階段，損失函數主要包括2個部分，一部分為目標邊界框的回歸損失Lreg，另一部分為判斷是否包含目標的二分類損失Lcls，如式(9)所示：

Lrp=Lreg+Lcls

(9)

其中:Lreg采用平滑L1損失，而Lcls為交叉熵損失；兩部分損失采用1∶1加和以得到區域提案網絡訓練階段的損失函數。

在基于圖卷積的候選區域分類網絡(圖4)的訓練中，模塊的參數通過最小化式(10)中的損失函數來訓練獲得：

圖4 基于圖卷積的候選區域分類網絡

(10)

3 實驗

3.1 數據集

實驗數據集采用當前通用目標檢測廣泛使用的數據集：VOC 2007、VOC 2012，來評估有限樣本下的目標檢測模型。遵循少樣本目標檢測的通常做法，使用VOC 2007和VOC 2012的訓練/驗證集進行訓練，并使用VOC 2007測試集進行測試。在VOC2007/2012數據集的20個目標類別中，隨機選擇5個類別作為新類別，而剩下的15個類別作為基類。在基類訓練期間，僅給出基類的邊框及類別標簽。在有限樣本的微調階段，每組訓練圖像設置較少樣本來確保每個類別的目標對象僅包含K個帶注釋邊界框的樣本，其中K取1、2、3、5。

3.2 實施細節

在邊界框回歸的部分，首先對產生的推薦區域進行非極大值抑制(實驗中閾值為0.65)，然后選擇存在目標對象概率大于0.5的候選區域作為分類網絡的輸入。

新類和基類的優化策略都采用Adam，其中初始學習率為0.000 2(衰減為0.1)，動量為0.9，權重衰減為0.000 1。若無特殊說明，新類上的參數設置與基類上一樣。

為了保證送入基于圖卷積的候選區域分類器的正負樣本以及各類別樣本數量的平衡，本文采用對該模塊進行單獨訓練的方式，以最大程度優化分類器的性能。此外，結點相似性度量網絡結構如表1所示，在訓練中同樣使用Adam優化器，初始學習率設置為0.000 5，權重衰減10-6。

表1 節點相似性度量網絡設置

采用YOLOv3和SSD[10]作為Baseline進行比較，并采用同樣的訓練策略，先在基類上進行訓練，再用基類上訓練獲得的參數來初始化微調過程。由于新類上可供訓練的數據數量較少，為防止過擬合，在進行微調時降低迭代次數。

3.3 實驗結果

訓練過程中，采取5-way K-shot的方式進行訓練，其中K=1、2、3、5；在基類上進行訓練時，在基類的15個類上隨機采樣5個類的樣本組成一個任務，模擬在新類上的這種有限樣本的情況。

評估方法：通過采用不同大小的K值，在測試集上的測試結果如表2所示。實驗過程中，在每個類別的樣本數量分別為1、2、3、5的情況下進行訓練和測試。可以發現，隨著每個類別提供的樣本數量的增加，本文提出的方法的性能相較于baseline方法有一定提升。且整體上，本文提出的在有限樣本下的目標檢測方法在VOC測試集上的檢測能力較穩定。

表2 VOC2007測試集上不同shot的mAP結果

在新類上采用不同K值時各類別的實驗結果如表3所示。可以看出，本文提出的模型算法對較難檢測的目標類別(如類別：pottedplant)檢測能力相對較弱，但對較容易檢測的類別本文方法具有較好的檢測準確率。對于sheep和sofa這2個類，在K=5的情況下本文方法取得了14.35和7.51的準確率；在K=1的情況下也能夠分別達到10.60和5.31。

表3 本文方法在新類各類別對應不同shot的AP

在K分別為1、2、3、5情況下，Baseline方法和本文方法的實驗結果如表4—7所示。在這4種情況下，本文所提出方法在測試集上的mAP均高于Baseline方法。具體來看，在1-shot、2-shot、3-shot的情況下，本文提出的方法能夠在較難的類別上實現與YOLOv3具有競爭力的結果，而在1-shot的情況表現更好。

從表5可以看出，SSD在第一個類別(即類別：pottedplant)上的檢測準確率要高于本文方法；在第5個類別上，本文方法能夠實現較好的檢測結果。對于第2個類別及第3個類別，即類別sheep和sofa，本文方法的結果遠高于Baseline。整體上看，本文所提出方法對新類的檢測性能要優于Baseline方法。

表6 Baseline在3-shot情況下的實驗結果

表7 Baseline在5-shot情況下的實驗結果

進一步對提出的方法在VOC測試集上的檢測結果進行了可視化，如圖5所示。可以看出本文方法在有限樣本情況下對新的類別具有較好的目標檢測能力，即能夠正確的定位目標物體在圖中的位置，并給出正確的類別標簽。

圖5 VOC測試集上目標檢測結果示例

4 結論

為解決有限樣本情況下的目標檢測問題，提出了一種新的有限樣本下基于圖卷積神經網絡的目標檢測方法。利用多層卷積區域提案網絡得到目標的候選區域；提取出候選區域特征，并將其作為圖結點構建完全圖；通過圖卷積神經網絡學習有標注目標和無標注新類目標的特征及類內、類間關系表征得到最終新類上的目標檢測結果。在之后的工作中將嘗試實現端到端有限樣本的目標檢測，從而進一步提升算法在有限樣本下的檢測性能。