基于模型微調的空中無人機小樣本目標識別方法

黃 燦

(中國人民解放軍91550部隊，遼寧 大連 116023)

0 引言

近年來，隨著無人機在軍事、農業、勘探等多個領域的廣泛運用，無人機的種類與功能呈現日益多樣化的趨勢。舉例而言，無人機在軍事戰場上可完成諸如偵察使命，搜集敵軍動態，實時傳輸情報等任務，從而協助軍方制定決策策略。此外，無人機能夠形成編隊，協同合作，執行復雜的航空使命，如空中打擊、干擾等。在農業領域，無人機可精準地進行農田施肥和農藥噴灑，減少化學藥劑的使用，提升作物產出，同時借助搭載的傳感器對農田土壤進行分析，協助農戶了解土壤狀況，優化種植方案。至于勘探領域，無人機能夠用于勘探礦產資源、油氣藏等，采集地質信息，助力資源勘探開發。而在地理科考領域，無人機足跡可抵達難以抵達之地，監測環境污染、自然災害等狀況，提供關鍵的環境數據。除了前述領域，無人機在諸多其他領域也得到廣泛應用，包括環境監測、物流派送、電力檢查等。隨著科技持續演進，無人機的應用范圍定將延伸擴展。

無人機為人類生活帶來便利的同時，也引發了各種隱私和公共安全問題[1]。隨著無人機的普及，防止無人機被用于惡意活動、間諜行為、恐怖襲擊以及非法入侵等問題變得至關重要。監測和識別無人機能夠幫助預防危害公共安全和國家安全的事件發生。任由無人機自由活動可能侵犯個人和機構的隱私，而無人機的監測和識別技術可以幫助監控其飛行活動，防止隱私泄露等事件的發生。

與此同時，隨著無人機數量的增加，空中交通管理會變得更加復雜，無人-有人飛行器共享同一片空域可能引發碰撞風險，有必要建立可靠的空中交通管理系統。特別地，為避免發生航空事故，機場周邊區域通常設為無人機禁飛區；為防止軍事入侵，通常采用對抗反制技術監測敵方無人機。因此，研發能夠快速、準確識別無人機的空域監控系統尤為必要，對于確保公共安全、保護隱私、維護空中交通秩序以及促進技術創新都具有重要的現實意義。

傳統的無人機監控方法依賴于雷達[2-4]、音頻信號[5-6]或紅外[7-10]技術進行感知，但這種方法僅能判定特定空域內是否存在無人機，無法辨識其具體型號。無人機型號辨識在分析無人機功能、評估潛在危害方面具有重要基礎性質，因而傳統方法的適用范圍受限。然而，隨著計算機視覺領域中目標檢測與識別技術的蓬勃發展，涌現出Faster R-CNN[11]、SSD[12]、YOLO[13]等卓越性能的目標識別算法。這些目標識別算法作為計算機視覺領域的重要組成部分，旨在讓計算機能夠自動辨識和定位圖像或視頻中的特定物體。這些物體包括但不限于人、動物、車輛以及各類實體物體。目標識別算法的主要使命在于通過訓練，使計算機能夠理解與解釋圖像內容，并在新的未曾接觸過的圖像中精確尋找和識別這些目標。基于此，借助計算機視覺的無人機目標識別技術為空域監控系統的研發帶來全新機遇與挑戰[14]。該技術不僅能夠檢測視野中無人機的位置，還具備對目標進行分類的能力，如圖1所示。

圖1 無人機目標識別示意圖

不同于傳統方法，基于圖像的無人機目標識別存在一些獨特的挑戰：1)無人機通常低空飛行，圖像背景復雜；2)拍攝距離遠，圖像前景目標較小；3)缺少大規模無人機數據集，且由于機型的升級更新速度快，新機型的數據集規模明顯小于常見機型。目前，已經有部分研究工作圍繞前兩項挑戰做出了努力[14-18]，但仍無法克服新機型的小樣本目標識別問題。在計算機視覺中，小樣本問題是指在訓練數據非常有限的情況下，如何有效地訓練模型以實現準確的目標識別、分類或檢測。充足的數據是獲得一個合格模型的關鍵。在實際應用中，獲取大量標注的無人機圖像數據可能是困難的，這導致小樣本問題的出現。

針對無人機數據集中新機型樣本量少以及識別圖像復雜性高的問題，本文提出了一種基于模型微調的空中無人機小樣本目標識別方法。通過微調Faster R-CNN算法，遷移小樣本數據集上的知識到預訓練數據集中，以更好地適應實際場景，提高無人機監測的可行性。Faster R-CNN算法在目標檢測領域表現出色，具有高準確性和魯棒性。利用微調技術，可以通過在預訓練模型上進一步優化，使算法在無人機檢測任務上具備更高的識別精度和魯棒性。方法包含預訓練和微調兩個階段：首先采用具有大量樣本的常見無人機數據集預訓練Faster R-CNN模型；然后固定骨干網絡權重，并將分類層替換為余弦相似度，利用具有少量樣本的新機型數據集更新分類層。

1 空中無人機目標識別相關研究

無人機監測和目標識別的研究雖然具有顯著的重要性，但也面臨著一系列復雜而具有挑戰性的問題。無人機在形態和外觀上呈現出多樣性，特別是在不同尺寸、形狀和顏色的情況下，這種多樣性使得使用單一的視覺特征難以實現準確的識別。無人機可能會以各種不同的角度和方向出現在監測設備的視野中，而這些視角的變化導致目標被部分遮擋或者產生形變，從而增加了識別的難度。并且，建筑物、樹木、電線等障礙物可能會遮擋無人機，或者無人機可能出現在復雜的背景中，這些因素都會對目標的準確檢測和識別產生影響。此外，無人機的監測任務可能涉及多個類別，包括不同型號和尺寸的無人機，甚至可能包括其他類似鳥類的物體。這種多類別的監測要求算法具備更高的復雜性和區分能力。上述分析表明，監測和識別無人機的任務是復雜而具有挑戰性的，必須綜合考慮算法的創新性、數據的可用性等多個方面的因素，才能夠有效解決。

無人機目標檢測與識別通常基于雷達、紅外和計算機視覺方法實現。雷達是一種傳統的主動探測方法，最早應用于軍事領域[2-4]。然而，雷達對環境具有潛在的侵入性。基于音頻的檢測方法在城市環境中存在一定的局限性[5-6]。基于紅外的檢測方法受到分辨率的限制，設備并不能有效地檢測到小型無人機[7-10]。傳統探測方法在實際應用中具有不同的局限性，且都無法對無人機機型進行判別。基于計算機視覺的方法彌補了上述缺點，能夠兼顧目標檢測與分類[14-18]。針對空中無人機圖像背景復雜、前景特征難以辨別的問題，Liu等人提出了一種基于高分辨率相機陣列的無人機目標識別方法，實現了空中無人機的細粒度分類[15]。劉孫相與等人針對空中目標小的問題，基于視頻中目標二階運動參量以及重力方向運動參量提出了一種無人機目標識別方法[18]。Dilshad等人[19]提出了一種新穎的無人機目標位置感知框架，通過使用輕量級卷積神經網絡實時處理來自視覺傳感器的數據來檢測無人機的目標位置。假設無人機處于物聯網環境中，首先應用物體檢測技術來檢測感興趣的物體。隨后，應用光學字符識別技術提取有用的上下文信息。最后，提取的信息被轉發到地圖應用編程接口，以確定無人機的目標位置。Zhou等人[13]針對無人機視角下的小物體開發了一種特殊的檢測方法。在YOLOv3的基礎上，首先通過連接兩個具有相同寬度和高度的殘差網絡單元來優化子模塊中的殘差塊。然后，通過增加早期層的卷積操作來豐富空間信息，從而改進整個無人機目標檢測結構的感受野[20]。

然而，在實際無人機目標檢測任務中，獲取嚴格且充足的數據集通常具有一定的困難。特別是在某些特定場景下，獲得大量標注的無人機數據可能會變得復雜。這種情況可能導致數據不足問題，從而影響模型的訓練與性能。此外，對于新型無人機樣本的獲取也具有挑戰，這些樣本可能與常見機型存在較大的差異。上述方法在解決無人機小樣本識別問題方面尚存在一定局限性。

2 空中無人機小樣本目標識別方法

本文所提出的方法旨在解決空中無人機小樣本目標識別的問題，其過程涵蓋兩個關鍵階段，以實現有效的模型學習。這兩個主要階段為：

首先，第一階段以豐富的常見機型數據集為基礎，對Faster R-CNN模型進行訓練。通過使用樣本數量充足的數據集構建預訓練模型，該模型有效地捕捉和學習目標的特征信息。這一階段專注于提升常見機型目標識別的性能，為后續的小樣本學習奠定堅實基礎。

其次，第二階段轉向面對樣本量較少的新機型數據集。在保持常見機型目標識別性能不受影響的前提下，進行微調網絡。通過有針對性地調整模型參數，能夠使其在小樣本場景下實現對新機型目標的識別。這一階段的目標是充分利用少量新機型數據，使模型在小樣本情況下也能表現出良好的目標識別能力。

通過上述雙重階段的訓練方法，能夠有效地構建出適用于空中無人機目標識別的小樣本模型。此方法不僅能夠在常見機型上實現高效目標識別，同時也能夠應對新機型的小樣本挑戰，為無人機目標識別任務提供了一種可行且有效的解決方案。

2.1 基于Faster R-CNN的模型預訓練

Faster-RCNN是一種綜合性的目標檢測模型，其架構包括主干網絡、區域候選網絡(RPN，region proposal network)、興趣區域池化(ROI Pooling，region of interest pooling)模塊以及全連接層。整體模型框架如圖2所示，在這個框架中，各個組件緊密協同工作，實現了高效的目標檢測過程。

圖2 Faster R-CNN模型示意圖

2.1.1 主干網絡

主干網絡負責提取輸入樣本的抽象特征，通常包含多個卷積層和池化層，用于逐層地提取圖像的低級到高級的特征。這些特征能夠捕捉圖像中的不同層次的信息，從邊緣、紋理到更高級的語義特征。在原始的Faster R-CNN中，主干網絡采用的是VGG16[21]。主干網絡的輸出會被送入RPN來生成候選區域，然后再傳入后續的分類和回歸網絡來完成目標的定位和識別。

深層次的網絡結構有助于增強模型的特征表達能力，考慮到深層網絡中容易出現梯度消失和梯度爆炸的問題，本文采用ResNet-34[22]作為主干網絡。該模型通過殘差塊之間的跳躍連接將淺層特征與深層特征融合，進而防止模型退化。主干網絡由33個卷積層和1個最大池化層構成，輸入維度為224×224×3，輸出特征維度為7×7×512。

2.1.2 RPN網絡

RPN是一種深度學習網絡，用于生成圖像中可能包含目標的候選區域，其網絡結構如圖3所示。它同樣也是Faster R-CNN目標檢測算法的核心組成部分之一，能夠幫助算法在輸入圖像中識別出可能的目標位置，從而提高檢測的效率和準確性。RPN的主要概念是基于錨框(Anchor Box)的思想。錨框是預定義的一系列固定尺寸和寬高比的矩形框，它們被放置在輸入圖像上的不同位置，用來覆蓋各種可能的目標位置。RPN在錨框上應用卷積神經網絡，通過對每個錨框進行分類和回歸，來判斷這些框中是否包含目標以及如何調整它們以更好地匹配實際目標位置。

圖3 RPN結構示意圖

RPN網絡的輸入可以是任意大小的特征圖，其輸出是不同的建議矩形區域，每個區域都有判斷其是否為目標前景的評分。RPN采用滑動窗口的方式提取候選區域，并首次提出了Anchor機制。本文采用3×3的滑動窗口，每經過一個像素區域，就以當前像素點為中心生成Anchor。Anchor的尺寸分別為128×128，256×256和512×512，每種尺寸有1∶1、1∶2、2∶1三種長寬比，因此每個區域有9個Anchor。在訓練過程中，RPN會對每個Anchor進行二分類，判斷其包含目標前景的概率；此外，RPN還通過1×1的卷積生成Anchor的坐標偏移量。由于不是所有的Anchor都對網絡訓練有用，因此將前景與背景交并比大于0.7的Anchor視為正樣本，其它為負樣本。通過排序后，分別篩選出128個正樣本和負樣本用于訓練。

(1)

(2)

(3)

公式(2)中邊界框參數tx，ty，tω，th的計算方式如下：

tx=(x-xa)/ωa

(4)

ty=(y-ya)/ωa

(5)

tω=log(ω/ωa)

(6)

th=log(h/ha)

(7)

2.1.3 ROI Pooling

ROI(region of interest)是指圖像中的一個特定區域，通常是包含了感興趣目標或信息的部分。在計算機視覺中，ROI是指那些需要特別關注和處理的圖像區域，可能是目標、物體、區域等。ROI可以通過不同的方式定義，如矩形框、多邊形等。ROI的概念是為了在圖像處理或計算機視覺任務中，聚焦于感興趣的區域，從而減少處理的計算量、提高效率，并且能夠更好地捕捉到相關的信息。

由于RPN模塊輸出的建議區域大小不一致，因此需要ROI Pooling模塊將網絡得到的建議區域大小統一。ROI Pooling在目標檢測中的應用能夠有效地處理不同尺寸的目標區域，保持重要的特征信息，并提高計算效率，從而在目標檢測任務中發揮重要作用。其原理示意圖如圖4所示，該模塊有兩個輸入：主干網絡提取的特征圖和RPN輸出的建議區域。ROI Pooling根據Anchor將感興趣區域映射到特征圖的對應位置，然后將該區域根據預設尺寸進行劃分，在本文中設定為5×5。對每個小區域內的像素進行最大池化操作，即可得到統一大小的感興趣區域。

圖4 ROI Pooling模塊示意圖

2.1.4 全連接層

全連接層的輸入為ROI Pooling層的輸出，主要用于分類和輸出邊界框。這里的分類和RPN中的分類不同，RPN中只是二分類，區分目標還是背景；此處的分類是識別所有正樣本 Anchor中的物體具體屬于哪一類。全連接層的網絡結構如圖5所示，包含兩層維度為1 024的全連接層，采用ReLU作為激活函數。輸出層中n為類別數量，該層分別輸出目標類別和邊界框位置。在FasterR-CNN中，全連接層的輸出損失LFc與RPN層是一樣的[11]。

圖5 全連接層示意圖

2.1.5 模型預訓練

預訓練使用的數據為具有大量樣本的常見機型圖像。傳統的Faster R-CNN采用分階段的訓練策略，即先訓練RPN模塊，然后固定住RPN模塊參數，用RPN生成的建議框訓練ROI Pooling和全連接層部分。本文的預訓練采用聯合訓練RPN模塊和全連接層的方式，損失函數如公式(8)所示。其中，LRPN為RPN網絡的損失，用于衡量預測錨框是否包含目標和背景的分類結果與真實標簽之間的差異。LFc為Faster R-CNN中全連接層的輸出損失。

L=LRPN+LFc

(8)

損失函數L的作用是通過計算預測結果與真實標簽之間的誤差，反饋到模型中，使模型能夠不斷調整權重和偏置，逐漸優化目標檢測的性能。通過最小化損失函數，Faster R-CNN可以學習到更準確的目標定位和分類規則，從而提高目標檢測算法的性能。

2.2 小樣本目標識別模型微調

在小樣本微調階段，創建一個覆蓋所有無人機類別(常見機型和新機型)的小規模無人機訓練集，每類僅有K個樣本。

Faster R-CNN模型用于目標分類的全連接層計算公式為：

f(x)=w·x+b

(9)

其中：x為上一層的輸入，w為當前層權重，b為決策偏置。全連接層的點積具有無界性，容易出現極值，因此決策是有偏的。本文采用余弦相似度代替全連接層，如公式(10)所示。

(10)

余弦相似度計算了權重向量w與輸入向量x的夾角θ，輸出值介于[-1，1]之間，有效避免了權重分布出現極值的問題。

此外，在微調時固定住主干網絡、RPN模塊和全連接層的權重，隨機初始化模型最后的分類層和邊界框回歸層，并只更新這兩層的參數。微調過程的損失函數與公式(8)相同，學習率設定為預訓練時的0.1倍。

3 實驗結果與分析

3.1 數據集及實驗環境

本研究選用了一個涵蓋真實環境中采用圖像傳感器獲取的數據以及從網絡檢索獲得的無人機圖像的數據集作為研究對象。經由專業團隊對數據集中的無人機型號和目標位置進行精確標注，確保數據的準確性與可信度。整個數據集共包括來自14種不同機型的無人機圖像，總計達22 913個樣本。詳細的數據分布情況如圖6所示，顯然可見，數據樣本的分布呈現出一定的不均衡性。針對AJ-TMOP-300、FUNSNAP iDOL、EVO LITE、JOUAV CW-007、WALKERA FURIOUS 215等機型這些較新的無人機，由于其樣本數量有限，導致難以獲取足夠的數據。鑒于此，本研究在方法設計中將這5個新機型設定為小樣本類別，并將其用于微調空中無人機小樣本目標識別模型。另外，其他九種機型則屬于常見機型類別，由于擁有較大數量的樣本數據，將用于預訓練空中無人機目標識別模型。

圖6 無人機目標檢測數據集分布

模型的訓練與測試是在Dell T7920工作站進行的，主要硬件配置為2塊2080TI顯卡，64 G內存。軟件環境為Ubuntu 18.04，基于Pytorch深度學習框架進行程序設計。

3.2 無人機小樣本目標識別模型效果分析

模型預訓練的數據集按照訓練集∶驗證集∶測試集=60%∶15%∶25%進行劃分。訓練時對輸入圖像進行隨機翻轉、隨機裁剪和色彩變換以增強數據集，采用隨機梯度下降進行優化，動量設置為0.9，權重衰減為0.000 1，學習率為0.01，共迭代80次。圖7(a)展示了預訓練過程中損失曲線和分類準確率的變化。從圖中可以發現，大概在60次迭代后模型達到穩態。小樣本微調階段首先劃分一個小規模的平衡數據集，該數據集中每種機型僅包含K個樣本用于訓練，其它用于測試。所采用優化器與預訓練相同，學習率設置為0.001，迭代40次。圖7(b)為K=10時訓練集上的損失和準確率變化。30次迭代后，模型即可收斂。

圖7 預訓練和微調過程中的損失和準確率曲線

本文分別采用平均準確率(AP，average precision)和平均精度均值(mAP，mean average precision)評估模型性能。AP反映了每類空中目標檢測的平均精度，mAP表示所有類別空中目標識別AP的平均值，后者是算法對空中目標識別的整體效果。表1展示了預訓練和小樣本微調后的實驗結果。預訓練后，模型對于9種常見機型的mAP為93.6%。本文測試了3種小樣本情況，即新機型的訓練集每類僅有5個、10個和50個樣本。從表1的結果可知，本文提出的基于模型微調的小樣本目標識別方法可以通過幾個標記樣本即可學習到該類別的識別與分類，且隨著樣本數量的增加，識別精度進一步升高。這是因為在第一階段的預訓練中，特征提取器經過大量樣本的學習，已經學到了無人機目標圖像的泛化特征表示，即使在微調時出現新的機型，這些新機型的特征已經被模型所掌握，因此只需要重新調整特征的組合權重即可從少量樣本中泛化新類。由圖8的目標識別效果可知，模型可以準確的輸出圖像中的無人機目標位置。此外，從表1中可以發現，在小樣本微調后，模型依然對常見機型有較好的識別效果，3種微調后模型對常見機型的目標識別mAP分別為91.8%、92.1%和92.9%，相比于小樣本微調前，對常見機型的識別能力并沒有過多的損失。

表1 預訓練和小樣本微調后無人機目標識別精度 %

圖8 空中無人機目標識別效果

3.3 小樣本微調的消融實驗

為了驗證提出方法的有效性，進行了一系列消融實驗，對微調過程的主要步驟進行了深入研究，實驗結果詳見表2。本實驗所采用的小樣本數據集包含了來自5種新機型的無人機圖像，每個類別的訓練集僅包含50個樣本。在實驗中，對不同訓練方式進行了比較。直接訓練意味著使用小樣本數據集直接訓練Faster R-CNN。預訓練+微調表示先使用9種常見機型訓練Faster R-CNN，再使用5種新機型的小樣本平衡數據集微調模型，但分類層依然采用全連接層。表2中的本文方法與表1中的微調方式不同，這里僅使用5種新機型的數據更新模型，因此模型不具有對其它9種常見機型的目標識別能力。觀察實驗結果發現，直接訓練會導致模型過度擬合，無法在測試集上達到良好的泛化性能。與直接微調預訓練模型的全連接層相比，采用余弦相似度代替全連接層并進行微調的效果更佳。這是因為余弦相似度的應用有助于消除決策偏差，減小類內距離，同時擴大類間差異，從而提升了目標識別效果。這些實驗結果有力地驗證了本文所提方法在小樣本目標識別問題上的有效性與優越性。

表2 K=50時小樣本微調的消融實驗結果 %

3.4 小樣本目標識別對比實驗

為進一步評估本文提出的無人機小樣本目標識別方法的有效性，本文與Kang等人[23]提出的FSRW模型和Wang等人[24]提出的MetaDet模型進行了對比。這兩種方法是基于元學習的方法，在小樣本目標識別任務中性能顯著。在訓練時，仍然使用9種常見機型訓練FSRW和MetaDet，并使用5種具有少量樣本的新機型用于小樣本測試。小樣本測試時的標記樣本數量為K=50。表3記錄了每種方法的mAP，從表中數據可知，本文方法的小樣本目標識別效果好于其它方法。與其它方法相比，本文基于微調的方法更容易實現，且通過聯合常見機型數據集的訓練，模型能夠在學習小樣本新機型目標識別的同時，不干擾常見機型的識別。由于算法因素，FSRW和MetaDet模型經過訓練后只能對小樣本新機型進行目標識別，而無法識別常見機型。

表3 小樣本目標識別方法對比 %

4 結束語

本文針對空中無人機目標識別任務中用于訓練模型的新機型樣本少的問題，提出了一種基于模型微調的小樣本目標識別方法。方法以Faster R-CNN為基礎架構，首先采用具有充足訓練數據的常見機型數據集對模型進行預訓練，然后使用常見機型和新機型聯合構建的小樣本平衡數據集微調Faster R-CNN最后的全連接層。實驗結果表明，本文方法在K=5，K=10和K=50的小樣本情況下對所有機型的mAP分別為88.6%，89.2%和90.8%。

盡管本文實現了對空中無人機的小樣本目標識別，但識別精度還不夠理想。這與主干網絡的特征提取能力有關，如何提高主干網絡的表征能力將會是下一步研究工作的重點。