無人機小樣本條件下遮擋和混淆目標識別方法

吳立珍，李宏男，牛軼峰

(國防科技大學 智能科學學院， 湖南 長沙 410073)

偵察無人機系統常用于未知場景下未知目標的識別。場景的復雜性和目標的特殊性使得這類任務相比于傳統目標識別更具有挑戰。困難一般源于兩個方面：一是目標往往只能獲取少量觀測樣本，其描述存在一定的模糊性和不確定性，導致現有依賴大量訓練數據的算法識別效果不太理想；二是目標通常會經受一定程度的偽裝處理，主要表現為物理遮擋以及背景混淆，這使得目標可提取的有效特征顯著減少，更加劇了這類問題的處理難度。

針對遮擋和混淆目標識別，傳統特征提取方法大多基于部件思想[1-5]，通過整合多個部件檢測器的方式構建分類模型，計算復雜度相對較高，速度成為該類算法的主要瓶頸。近年來，深度學習方法在這類問題中取得了顯著效果。文獻[6]利用卷積神經網絡(convolutional neural networks, CNN)來學習和整合部件檢測器，大大提高了計算的速度，然而弱監督學習過程限制了其效果。文獻[7]提出了一種多標簽學習過程，在提高部件檢測器的可信賴度和減少計算量方面取得了一定進展。針對目標相互遮擋的情況，文獻[8]提出了一種引力-斥力模型，建立目標預測位置、真實位置以及其他目標真實位置之間的距離關系，使目標檢測能夠在與真實值更逼近的同時減少與其他目標的重疊，提高了目標檢測精度。針對目標被其他物體遮擋的情況，文獻[9]提出了一種姿態引導特征對齊(pose-guided feature alignment, PGFA)算法，利用注意力映射驅使模型更關注于未被遮擋的部分，進而在匹配的過程中盡可能地剔除干擾特征。文獻[10]提出了一種雙邊界框方法，能夠對遮擋部分進行估計，同時提取出目標整體位置和目標可見區域。混淆目標識別的研究對象大多數為動態目標，原理上主要利用了目標相鄰幀之間的動態信息。文獻[11]受自然界狩獵過程的啟發，提出一種基于搜索識別網絡(search identification network, SINet)的偽裝目標檢測框架，包括搜索模塊和識別模塊兩個部分，在自然場景應用中取得了較好的效果。

針對小樣本條件下的目標識別，主流方法包括樣本擴充、空間映射以及策略搜索等[12]。樣本擴充方法通過對原有樣本數據擴充，以達到增加樣本數量的目的，進而將小樣本識別問題轉化為常規目標識別問題處理。數據擴充生成對抗網絡[13](data augmentation generative adversarial networks, DAGAN)是該類方法的典型代表；空間映射方法通過學習，將原始樣本數據映射到一個更易于分類的空間，從而降低分類難度，一般包括空間映射、特征表示以及關系度量等三個環節。現有方法大多選擇其中的一個或者幾個進行研究，如孿生網絡模型[14]、原型網絡[15]、關系網絡[16]等。策略搜索方法的原理是利用已有的知識或經驗，提升能夠快速進行學習的能力。其中，比較有代表性的是元學習方法。元學習以任務作為學習的基本單位，利用先驗知識加速模型的學習效率，能夠在泛化性較強的初始網絡基礎上快速適應新的任務。此外，基于統計學習的方法在近年來也取得了一些進展。比如Si等[17]提出的與或圖模型，Lake等[18]提出的基于與或圖模型的貝葉斯學習框架，George等[19]提出的組合式生成模型遞歸皮層網絡(recursive cortical network, RCN)等。

盡管小樣本學習方法已經在目標識別領域取得一定進展，但在面對一些復雜情況，比如目標遮擋或混淆時，識別效果仍然難以讓人滿意。2017年，Google機器翻譯團隊關于自注意力機制在自然語言處理領域的研究[20]受到了廣泛關注，自注意力機制開始逐漸成為神經網絡的研究熱點。由于自注意力機制能夠通過捕捉全局信息實現對上下文信息的建模，因此在計算機視覺領域具有重要的潛在應用價值。受非局部均值的啟發，文獻[21]構造了一種深度神經網絡中的非局部操作，可以有效捕獲視頻圖像中時域和空域上的長距離依賴。雙重注意力網絡[22](dual attention network, DANet)同時關注空間和通道兩種方式的自注意力機制，將得到的特征進行融合，成功用于語義分割問題。目前，自注意力機制在語義識別以及傳統的圖像識別領域都得到了一定的應用，但是還未用于小樣本條件下偽裝目標的識別問題。

1 概述

相對于完整目標的識別問題，遮擋和混淆目標識別的難點在于如何提取出足夠的有效特征。自注意力機制能夠學習目標部分與部分之間的依賴關系，通過建立目標觀測數據的局部關聯性，達到增加有效特征的目的，能夠有效提高模型的識別正確率。基于這一思想，提出一種融合自注意力機制的小樣本目標識別模型。該模型采用元學習構建目標識別的基礎框架，以獲取小樣本識別能力，并融合自注意力機制形成一種新型學習網絡，提升處理遮擋和混淆問題的能力。

為了驗證模型性能，構建了兩種遮擋和混淆目標數據集：一種是對小樣本學習領域常用基準數據集的二次制作，隨機添加了5%和10%兩種程度的遮擋；二是基于無人機航拍圖像構建了涵蓋4類目標、5級混淆以及10%～30%遮擋率的典型目標數據集，可用于遮擋或混淆條件下的分類、檢測、分割等多種視覺任務。

2 融入自注意力機制的元學習方法

2.1 元學習基礎網絡框架

基于模型無關自適應學習(model-agnostic meta-learning, MAML)模型[23]構建基礎網絡框架。MAML模型學習過程如圖1所示。

圖1 模型無關自適應學習過程Fig.1 Learning process of MAML

圖1中，φ表示元學習器參數，θ表示在不同任務中學習到的參數。MAML主要關注如何設置模型初始化參數的問題，它通過元學習方法進行訓練，其特點是可以采用不同的網絡結構用同一種訓練方式進行訓練。在該模型中，學習器利用元學習器設計的初始化參數，根據訓練數據學習一個具體的分類器模型。MAML具有的網絡結構適應性和小數據集快速訓練能力，為自注意力機制模塊的融入以及小樣本目標的識別提供了良好基礎。

2.2 自注意力機制模塊結構設計

構建自注意力機制網絡模塊如圖2所示。該模塊關注嵌入空間中的所有位置并取其加權平均值，按順序計算某一位置的響應。

圖2 自注意力機制模塊網絡結構Fig.2 Network structure of self-attention mechanism module

模塊的計算可表示為：

(1)

式中：x表示輸入信號，即輸入圖像；y表示輸出信號，與x具有相同尺度；xi和xj分別代表圖像位置i處和j處的圖塊或像素；yi即xi經過自注意力機制處理之后的響應信號。 函數f(xi,xj)表示計算兩個圖塊xi和xj之間的關系，能夠基于圖像信息獲取圖像中存在的大范圍依賴關系，對于目標樣本圖像則意味著隱含的目標各部分之間的關系；函數g(xj)表示計算輸入圖塊xj的信息變換；函數C(x)是歸一化因子。該模塊代表的含義是，對于位置i，逐一遍歷圖像中的所有位置j，并且計算兩者之間的關系以及輸入圖像在位置j的表達，之后進行加和以及歸一化。

實現過程中，函數f(xi,xj)和g(xj)可結合神經網絡進行設定。這里，g(xj)采用1*1卷積，即線性函數：

g(xj)=Wgxj

(2)

式中：Wg參數通過學習得到。

函數f(xi,xj)計算兩個位置的相關性，采用嵌入式高斯函數：

f(xi,xj)=exp[θ(xi)Tφ(xj)]

(3)

(4)

式中：θ(xi)=Wθxi，φ(xj)=Wφxj。Wθ和Wφ是需要學習的參數。 此式等價為一個Softmax函數：

(5)

需要指出的是，函數f(xi,xj)的選擇多樣，可以使用高斯函數、點乘函數、串聯函數等。

2.3 融入自注意力機制的元學習模型

采用殘差連接方式，將自注意力機制模塊的輸出與MAML基礎網絡相融合，實現對MAML網絡結構的改進，形成的完整網絡結構如圖3所示。

圖3 融入自注意力機制模塊的學習網絡Fig.3 Learning network integrated with self-attention module

殘差連接可以表示為：

Zi=WZyi+xi

(6)

殘差連接方式可以十分方便地在已設計好的基礎網絡模型中插入新的模塊。值得注意的是，圖3中將自注意力機制模塊插入MAML基礎網絡的第一層卷積層中，其目的是使自注意力機制能夠對輸入的任務樣本進行目標內部關系建模，更高效地提升模型的特征提取能力。自注意力機制模塊的卷積層是1×1的卷積核，其他的幾個卷積層都是2×2的卷積核。

3 數據集構建

目前，遮擋和混淆目標識別的研究缺乏大型基準數據集支持。為驗證提出的融入自注意力機制的元學習模型在無人機遮擋和混淆目標識別中的有效性，分別基于公開的小樣本學習基準數據集和無人機航拍數據構建了兩種遮擋和混淆目標數據集。

3.1 miniImageNet數據集遮擋處理

miniImageNet在ImageNet數據集基礎上提取而成[24]，是小樣本學習領域常用的基準數據集之一。miniImageNet包含100種類別，每類有600個彩色圖像樣本。其樣本數據涵蓋了實際場景中常見的目標類別，因此在目標檢測和識別的算法對比研究中應用廣泛。為了實現遮擋效果，對miniImageNet數據集人為添加隨機遮擋，遮擋程度分為5%面積遮擋和10%面積遮擋兩種。遮擋采用隨機位置和隨機顏色的方式進行，添加遮擋后的數據集如圖4和圖5所示。

圖4 5%遮擋率的miniImageNet數據集Fig.4 miniImageNet with 5% occlusion rate

圖5 10%遮擋率的miniImageNet數據集Fig.5 miniImageNet with 10% occlusion rate

3.2 無人機航拍數據集構建

為了驗證模型在無人機應用場景中的識別效果，選擇無人機對地觀測圖像構建了航拍數據集，分為遮擋目標數據集和混淆目標數據集兩類。

遮擋目標數據集圖像包括了行人、建筑、車輛、飛機、坦克和艦艇6類目標，如圖6所示。制造遮擋的方式為在背景中隨機裁剪出部分圖像，將其遮擋在目標上。隨機遮擋面積的大小為目標面積的10%和30%之間。

圖6 航拍遮擋目標數據集Fig.6 Dataset of occluded targets in aerial images

混淆目標數據集包括飛機、坦克和艦艇3類目標，目標局部覆蓋有與背景近似的偽裝網。以偽裝處理的面積作為混淆程度的度量標準，將混淆程度分為0～4共5個級別，代表了從無混淆處理到完全混淆處理的5階變化，如圖7所示。

圖7 航拍混淆目標數據集Fig.7 Dataset of confusion targets in aerial images

數據采集采用無人機視頻拍攝方式進行，并按照每10幀取1幀的方式進行采樣。裁剪的目標圖像統一為150像素×150像素大小。為保持數據集中各類別樣本數目的均衡性，在各個混淆程度下的每個類別中都采樣100個樣本。

4 實驗與分析

在構建的遮擋和混淆目標數據集上進行目標識別實驗。模型訓練過程利用公開數據集miniImageNet中的訓練集和驗證集。測試過程分別利用加工處理后的miniImageNet數據集中的測試集以及無人機航拍數據集，以驗證算法的效果。測試過程中目標類別在miniImageNet訓練集和驗證集中均未出現過。

實驗選擇3分類任務，每一類包含的支撐集樣本為1個或者5個，即為3-way 1-shot任務或者3-way 5-shot任務。

4.1 模型訓練過程

在模型訓練過程中，設置模型訓練次數為60 000次，每個任務進行5次梯度下降。

為了考察訓練過程，分別計算每一次訓練過程中第1次迭代之后訓練集的正確率以及第5次迭代之后訓練集的正確率變化曲線，如圖8所示。

圖8 模型訓練過程中的正確率變化Fig.8 Correct rate in model training

3分類任務中，每一個小樣本學習任務訓練之前的正確率應當近似于隨機猜想。可以看出，當經過少數次迭代后，藍色曲線和橙色曲線代表的正確率均逐步上升，說明模型逐漸學到一個較好的初始化參數。當面對新的學習任務時，經過快速迭代就能夠有比較好的表現。

4.2 遮擋目標識別的實驗結果

為了驗證模型在遮擋目標識別任務中的表現，首先在miniImageNet數據集上進行驗證。區分無遮擋、遮擋率5%以及遮擋率10%三種情況，3-way 1-shot和3-way 5-shot任務的測試過程中正確率變化曲線如圖9和圖10所示。

圖9 3-way 1-shot任務不同遮擋條件下的識別正確率Fig.9 Recognition rate in 3-way 1-shot task under different occlusion conditions

圖10 3-way 5-shot任務不同遮擋條件下的識別正確率Fig.10 Recognition rate in 3-way 5-shot task under different occlusion conditions

從圖9和圖10可以看出，模型在每類只有1個或5個支撐集樣本的情況下，經過3至5次迭代，即可達到比較好的識別正確率。隨著遮擋程度的升高，模型識別效率會小幅下降，這是因為遮擋程度變大后，樣本識別難度不斷增加。識別正確率如表1所示。

表1 miniImageNet數據集上遮擋目標的識別正確率Tab.1 Recognition rate in miniImageNet %

利用ResNet18[25]模型和MAML模型進行對比實驗。由于ResNet18模型在3-way 1-shot任務中表現近似于隨機猜想，因此選擇5樣本條件下進行不同模型的比較，結果如圖11和圖12所示。可以看出，本文模型相比ResNet18模型在小樣本條件下的識別正確率顯著提升，相比MAML模型表現效果相差不大，但是具有更高的訓練效率，經過5次迭代的識別正確率如表2所示。

圖11 MAML模型3-way 5-shot任務識別正確率Fig.11 Recognition rate in 3-way 5-shot task of MAML

圖12 ResNet18模型3-way 5-shot任務識別正確率Fig.12 Recognition rate in 3-way 5-shot task of ResNet18

表2 miniImageNet數據集上5次迭代的識別正確率Tab.2 Recognition rate of 5 iterations in miniImageNet %

針對無人機航拍數據集，本文提出的模型識別正確率如圖13、圖14所示。

圖13 遮擋目標3-way 1-shot任務中識別正確率Fig.13 Recognition rate of occluded targets in 3-way 1-shot task

圖14 遮擋目標3-way 5-shot任務中識別正確率Fig.14 Recognition rate of occluded target in 3-way 5-shot task

進一步地，利用ResNet18模型和MAML模型進行對比實驗。設計ResNet18訓練過程中迭代次數為10。同時，為了考察模型在不同樣本數量下的識別正確率，按照1、5、10、20、30、40、50的梯度設置樣本數量，不同模型的識別正確率變化如圖15和表3所示。其中，本文模型和MAML模型只在小樣本條件下進行測試。可以看出，相比于ResNet18模型，融合自注意機制的元學習模型具有更高的學習效率，只需要大約1/8的樣本數量即可達到與之相當的識別效果，并表現出其在小樣本條件下的性能優勢。在5樣本條件下，相比于MAML模型，本文算法的識別正確率由64.78%提升到84.77%。由此可見，在元學習基礎網絡框架中嵌入自注意機制，對遮擋目標的識別正確率提升具有顯著的作用。

圖15 航拍數據集遮擋目標識別正確率對比Fig.15 Comparison of recognition accuracy of occluded targets in aerial data sets

表3 遮擋目標的識別正確率對比Tab.3 Recognition rates comparison of occluded target %

4.3 混淆目標識別的實驗結果

針對混淆目標，測試本文模型在兩類任務以及不同混淆程度下的識別正確率，結果分別如圖16和圖17所示，其中不同顏色的曲線表示不同的混淆程度。模型在測試過程中每一個任務迭代10次。可以看出，模型在少量迭代后可以迅速達到較高的正確率，這說明模型能夠快速適應新的任務，具有了較強的學習能力。同時，隨著樣本混淆程度的增加，模型的識別正確率會有所下降。相同條件下，3-way 5-shot任務的正確率相比于3-way 1-shot任務有很大提高，這說明模型在樣本數目少量增加后會有比較大的性能提升。

圖16 3-way 1-shot任務中不同混淆程度下識別正確率Fig.16 Recognition rate of different levels of confusion in 3-way 1-shot task

圖17 3-way 5-shot任務中不同混淆程度下識別正確率Fig.17 Recognition rate of different levels of confusion in 3-way 5-shot task

進一步開展對比實驗，計算ResNet18模型對混淆目標的識別正確率如表4所示。可以看出，該模型在樣本數量較少時，表現不夠理想，該模型難以應對小樣本識別問題。

表4 ResNet18模型對混淆目標的識別正確率Tab.4 Confused target recognition rates of ResNet18 model %

表5展示了3-way 1-shot任務中不同模型的混淆目標識別正確率。可以看出，相比于未引入自注意力機制的MAML模型，本文模型在混淆程度較低的情況下識別效果有著一定的提升。由于ResNet18模型在單樣本識別任務中效果較差，所以未列入比較。3-way 5-shot任務中不同模型的混淆目標識別正確率變化情況如圖18和表6所示。在沒有偽裝處理的情況下，本文模型的正確率可以達到87.2%以上，自注意力機制的融入對于低混淆程度下的目標識別具有明顯的提升效果。

表5 3-way 1-shot任務中不同模型的混淆目標識別正確率對比Tab.5 Recognition rates comparison of confused target in 3-way 1-shot task %

圖18 航拍數據集混淆目標識別正確率對比Fig.18 Comparison of recognition accuracy of confused targets in aerial data sets

表6 3-way 5-shot任務中不同模型的混淆目標識別正確率對比Tab.6 Recognition rates comparison of confused target in 3-way 5-shot task %

綜合分析上述實驗結果可知，融入自注意力機制的元學習模型借助于元學習基礎網絡框架，使得其在小樣本條件下的目標識別正確率顯著優于ResNet18模型。同時，嵌入其中的自注意機制有效提升了對目標內部上下文依賴關系的描述能力，相比傳統MAML模型能夠更好地實現目標表征，有利于解決遮擋和混淆等情況帶來的目標有效特征不足問題，在多數情況下識別速度和識別準確率都有所提升。

5 結論

本文針對小樣本條件下遮擋和混淆目標識別問題，構建了一種融合小樣本學習和自注意力機制的目標識別模型。主要結論如下：

1)模型基于元學習基礎網絡框架構建，保留了小樣本學習的優勢，在面對新任務時能夠迅速迭代。同時，考慮到遮擋和混淆條件，引入自注意力機制學習目標內部上下文依賴關系，提升了模型表征能力。

2)針對遮擋和混淆目標識別研究缺乏基準數據集支持的問題，在miniImageNet數據集和無人機航拍圖像基礎上，構建了涵蓋不同遮擋程度和背景混淆率的目標數據集，可用于多種視覺任務。

3)完成了多種條件下遮擋和混淆目標識別實驗，并展開了與MAML模型、ResNet18模型的比較分析，證明了本文模型的有效性和先進性。相比于深度學習方法，本文模型在相同條件下只需要很少的樣本數量即可達到相當的識別正確率，學習效率具有顯著優勢；與傳統的小樣本學習相比，通過融入自注意力機制模塊，在遮擋和混淆目標識別上能夠獲取更高的正確率。