基于形態自適應網絡的無人機目標跟蹤方法

劉貞報，馬博迪,*，高紅崗，院金彪，江飛鴻,2，張軍紅,2，趙聞

1. 西北工業大學 民航學院，西安 710000 2.航空工業第一飛機設計研究院 飛控系統設計研究所，西安 710089

無人機航拍獲取目標場景影像信息的方式具有可低空作業、覆蓋面積廣、機動性強、效率高、不受地勢環境阻礙等優點，廣泛應用于軍事和民用領域[1-3]。無人機目標跟蹤技術是無人機視覺研究領域的關鍵技術，研究穩定、高效的航空影像目標跟蹤算法對于無人機的應用有著重要意義[4-6]。

視覺目標跟蹤系統有很多種，根據算法追蹤目標建模方式的不同可以將其分為生成類模型、判別類模型和深度學習模型3種類型。生成類模型是指在當前幀對目標區域進行建模，在隨后的視頻序列中尋找與模型最相似的區域[7]，從而實現目標追蹤的目的，生成類模型的追蹤效果很大程度上取決于特征的選擇和搜索算法。其中特征需要滿足轉移不變形和尺度不變形，例如顏色特征、紋理特征等。而在獲取合適的目標特征之后，則需要通過合適的搜索算法對特征進行描述、匹配以及預測，從而最終完成整個追蹤過程。判別類模型顯著地區分了前景和背景的信息，通過判別函數將目標從背景中分割出來，故而在實際應用過程中模型的表現更為魯棒；常用的判別類模型有KCF[8](Kernelized Correlation Filters)、DSST[9](Discriminatiive Scale Space Tracker)、SRDCF[10](Spatially Regularized Discriminative Correlation Filters)等。可基于深度學習的目標跟蹤算法通過深度神經網絡等模型，獲取表征能力很強的深度特征，根據深度特征的特點實現目標的檢測和追蹤。近年來，隨著深度學習技術的迅猛發展，國內外學者及研究人員們提出了一系列性能優良的深度學習目標檢測模型，SiamFC[11](Siamese Fully Convolutional deep networks)基于孿生神經網絡構建了一個相似性度量函數，通過互相關計算得到響應得分圖，響應圖中得分最高的位置對應于原圖中目標所在位置。Siam RPN[12](Siamese Region Proposal Networks)由孿生神經網絡和RPN[13](Region Proposal Networks)網絡兩部分組成，前者用來提取特征，后者用來產生候選區域，通過回歸方式對目標進行跟蹤定位，整個網絡實現了端到端的訓練。

相比于通用目標跟蹤，無人機影像目標跟蹤方法更具有挑戰性。首先無人機影像目標跟蹤的數據集較少，樣本多樣性不足；其次無人機航空拍攝過程中，地面同一類目標容易具有多個不同的旋轉方向；此外，航拍影像中的目標易發生目標遮擋和光照干擾，同時存在相機抖動等影響，這些特點增加了無人機影像目標跟蹤的難度。

針對上述問題，本文提出一種基于形態自適應網絡的無人機影像目標跟蹤方法，首先在訓練過程中通過數據驅動的方式[14]產生多個目標感興趣區域，對數據集進行擴增，提高樣本多樣性；然后加入旋轉約束項使卷積深度置信網絡能夠自適應無人機影像目標形態變化，提取具有強表征能力的深度特征；接著使用深度特征變換算法得到目標預定位框，提出基于Q學習算法的搜索機制對目標進行自適應精準定位，進一步精確目標位置，采用深度森林分類器獲取目標類別信息，提升跟蹤效果。為驗證所提方法的精度及目標跟蹤結果，在UAV123數據集、VisDrone數據集和自研無人機航拍數據集上進行實驗測試，并與其他10種常用目標跟蹤方法進行對比。

1 相關工作

1.1 樣本數據預處理

針對無人機視頻影像數據樣本數量較少、多樣性不足的情況，在訓練過程中，采用一種基于數據驅動的方法[14]對樣本數據集進行擴充。對訓練樣本數據X={x1,x2,…,xk}，該方法使用選擇性搜索算法對樣本圖像數據提取目標建議區域，該方法首先對輸入圖像進行分割產生許多小的子區域，然后根據這些子區域之間的相似性進行區域合并，相似性指標包括顏色相似度、紋理相似度、尺寸相似度和交疊相似度。選擇性搜索算法生成多個目標建議區域，通過不同目標建議區域的交并比值(IoU)取值判斷所生成目標建議區域是否為正例樣本數據，IoU計算方式為

(1)

式中：Bop為目標建議區域圖塊；Bgt為標注框；area(Bop∩Bgt)為目標建議區域圖塊和標注框的交集；area(Bop∪Bgt)為目標建議區域圖塊和標注框的并集。如果目標建議區域IoU大于預設閾值0.6，則定義該目標建議區域為正例樣本；若IoU<0.6，則定義該目標區域圖塊為負例樣本。

1.2 卷積受限玻爾茲曼機

卷積受限玻爾茲曼機[15]是包含一層可見層變量和隱藏層變量的無向概率圖模型，通過堆疊的方式(一層的輸出為下一層的輸入)構成更深的深度置信網絡模型。可見層和隱藏層層間的各神經元節點之間有連接，可見層和隱藏層層內的任何單元之間無連接。卷積受限玻爾茲曼機旨在以最大概率擬合輸入數據的分布學習到可視層和檢測層之間的統計關系，通過訓練提取輸入數據的深度特征獲得數據內部之間的高階相關性。

令v=[vi]表示可視層變量的狀態，代表輸入數據；h=[hj]表示隱藏層變量的狀態值，使用W=[wij]表示可見層與隱藏層之間的卷積核，π=[πi]表示可見層節點單元的偏置，τ=[τj]表示隱藏層節點單元的偏置，模型參數集為參數θ={W,π,τ}，當給定可見層和隱藏層的狀態{v,h}時，卷積受限玻爾茲曼機的能量函數定義為

(2)

根據能量函數可以描述可見層和隱藏層的概率分布[16]，當模型參數確定時，狀態{v,h}的聯合概率分布為

(3)

(4)

式中：ξ(θ)為配分函數，起概率分布歸一化的作用。根據式(3)和式(4)中概率分布模型的定義，得到了能夠對實際輸入數據分布規律進行表示的卷積受限玻爾茲曼機模型。給定可見層輸入樣本v，卷積受限玻爾茲曼機可見層變量的概率分布為

(5)

卷積受限玻爾茲曼機訓練的目標函數為ψ(θ)=-lgP(v)，采用隨機梯度下降優化方法最小化目標函數求解模型參數。

1.3 強化學習

強化學習[17]使用智能體和環境進行交互，環境對智能體的行為進行獎懲，智能體根據環境反饋的信息調整自身參數，以達到累積獎勵期望值最大化，通過訓練智能體可以選擇出當前狀態下最優的動作。Q學習算法屬于強化學習的一種，通常需要定義一個狀態動作函數，即Q值函數，表示在狀態s下采取動作a能夠獲得最大的獎勵值，然后通過迭代的方式不斷更新Q值。如果Q函數足夠準確且環境確定，那么只要采取實現最大Q值動作的策略即可。對于離散的狀態空間，Q學習算法將Q值存儲在一個Q表格中，該表格的行表示不同的狀態，列表示所有可能的動作。對于狀態連續或者狀態數量很多的情況，通常用深度神經網絡模擬近似Q值函數，使用當前值與目標值之間的差異，將此差異作為目標函數并使用梯度下降算法解算網絡參數集。

2 本文方法

針對無人機航空影像目標跟蹤中常出現目標形態變化問題(如目標旋轉、目標遮擋等問題)，提出了一種基于形態自適應網絡的無人機目標跟蹤方法。提出的形態自適應網絡包含改進深度置信網絡、深度特征變換模塊、基于Q學習的搜索機制和深度森林分類器，模型整體框架結構如圖1所示。

圖1 所提方法框架結構Fig.1 Architecture of proposed method

在訓練過程中，首先采用選擇性搜索算法對訓練樣本進行擴充，得到目標遮擋樣本與目標旋轉樣本，使用改進深度置信網絡提取影像數據的深度特征，該特征具有旋轉不變性，對遮擋變化具有魯棒性；然后采用深度特征變換算法得到目標預定位位置，提出基于Q學習算法的搜索機制優化目標框位置，使用深度森林獲取目標分類信息，得到精準的目標跟蹤結果。

2.1 改進深度置信網絡

深度置信網絡由多個卷積受限玻爾茲曼機堆疊構成，屬于一種無監督模式的多層神經網絡結構，旨在利用對數似然最大化算法不斷調整模型各層間的權值，使模型能夠擬合可見層和隱藏層數據之間的聯合概率分布，從而學習到輸入數據中的深度特征，該深度特征具有強表征能力。針對無人機影像視頻中目標易受到遮擋、形變、復雜背景干擾等問題，提出了改進深度置信網絡模型，通過對原始樣本數據集進行數據擴充，加入遮擋樣本和旋轉樣本進行訓練，使模型對遮擋和旋轉問題具有更好的魯棒性，具體如下。

為使深度置信網絡模型能夠自適應目標遮擋和旋轉變化，在訓練階段使用1.1節中介紹的選擇性搜索算法對原始訓練樣本X進行擴增，擴增后的正例樣本數據由IoU取值在0.6～1.0之間的樣本圖塊組成，可代表目標被不同程度遮擋的情況。在所生成的遮擋樣本P之中，IoU取值范圍在0.6～0.7和0.7～0.8的樣本數據各占30%，IoU取值范圍在0.8～0.9和0.9～1.0的樣本數據各自占20%。IoU值越接近0.6，表示目標被遮擋部分越多；IoU值越接近1.0，表示目標被遮擋的區域越少。通過加入遮擋情況的訓練樣本，模型可以適應目標的遮擋變化。

設計了旋轉不變約束項，使卷積受限玻爾茲曼機模型具有旋轉不變性：

(6)

O2(Rφ2pi)+…+On(Rφnpi)]

(7)

通過加入旋轉不變正則項約束，使不同旋轉角度的目標數據在經多層受限玻爾茲曼機重構后能夠得到相近的表示。改進的卷積深度置信網絡模型損失函數由原卷積受限玻爾茲曼機損失函數項、旋轉不變約束項和權值衰減項組成：

(8)

式中：λi為約束項的參數；第1項為原損失函數項，使訓練數據的輸入和輸出盡可能相等；第2項為旋轉不變項，使目標在旋轉變換前后經過模型輸出的重構特征盡可能接近；第3項為權重衰減項，有助于減少模型過擬合。

通過旋轉不變約束項生成的遮擋訓練樣本和目標旋轉訓練樣本，改進深度置信網絡可以提取到具有強表征能力的深度特征，該特征具有旋轉不變性，并適應目標遮擋變化。改進深度置信網絡可以看作是由多個卷積受限玻爾茲曼機通過集成學習的方式堆疊構成的，即前一個受限玻爾茲曼機的輸出作為緊接著的后一個受限玻爾茲曼機的輸入。在訓練過程中，首先根據損失函數訓練好第1個受限玻爾茲曼機，然后以其輸出作為第2個玻爾茲曼機的輸入，依次訓練完成所有受限玻爾茲曼機，最后一個受限玻爾茲曼機的輸出作為深度置信網絡輸出的深度特征，記做F={f1,f2,…,fd}，fd為對應于原圖中的一個圖塊區域。

2.2 深度特征變換算法

訓練完成卷積深度置信網絡后，對于視頻的前L幀[18]，可得到視頻中每幀圖像的深度特征，首先計算深度特征平均值：

(9)

(10)

得到相關性矩陣Cov(f)后，可以計算相關性矩陣的特征向量，用e1,e2,…,ed表示，用emax表示最大特征值對應的特征向量，計算深度特征在該特征向量上的投影：

(11)

2.3 基于Q學習的搜索機制

為進一步精確目標跟蹤定位框的位置，采用基于Q學習算法的主動目標定位方法[10]，在訓練過程中使用動態注意力調整方法，預定位目標框不斷調整接近真實標簽，訓練目標跟蹤的對應搜索機制；在跟蹤過程中，將預定位框輸入訓練好的搜索機制，得到待檢測目標的精準定位。模型的動作序列如圖2所示，對應7種搜索框尺度位置變化，分別是上邊緣移動、下邊緣移動、左邊緣移動、右邊緣移動、整體放大、整體縮小和停止。

在所研究搜索機制模型中，定義當前狀態由三元組組成s={o,p,h}，其中o為原始圖像的深度特征，p為預定位區域的深度特征，h為歷史動作。具體地，將當前幀輸入改進深度置信網絡得到當前幀深度特征、1 024維度的特征向量；同樣地使用深度置信網絡模型提取預定位框的深度特征；h由過去搜索機制前5步歷史動作組成，因此h的維度是7×5=35維。

預測框位置由框左上角和右下角的圖像坐標表示，即b=[x1,y1,x2,y2]。圖2所述變換動作通過變換預測框位置坐標表示完成：

圖2 Q學習動作序列Fig.2 A sequence of actions in Q-learning

(12)

式中：α為預測框變換閾值，α∈[0,1]；αw為預測框寬度變化值；αh為高度變化值。每個變換動作通過給x或y坐標增減αw和αh量值表示。如水平向右變換動作為給x2增加αw；豎直向下變換動作為給y2減去αh。基于搜索速度和跟蹤精度的考慮，將α取值為0.05。

通過強化學習算法中的獎勵策略學習搜索機制，具體定義獎勵函數為r(s,s′)，表示搜索機制對狀態s經過動作函數α變換后得到新狀態s′的獎勵分值：

r(s,s′)=sign(IoU′-IoU)

(13)

式中：IoU為在動作變換前預定位框和標注的交并比值；IoU′為在動作變換后預定位框和標注的交并比值。

搜索機制的觸發器會觸發停止動作，因此對于該動作變換前后IoU的差值為0。設定觸發器的獎勵函數為

(14)

式中：下標ω代表觸發停止動作；μ為觸發器獎勵值，實驗中μ取值為4。給定當前的狀態，搜索機制將會給出最優的圖像變換行為，參考文獻[18-19]，采用神經網絡模擬搜索機制的狀態動作值函數，Q值函數表示為

(15)

式中：s′和a′為s的下一個狀態和行為；θ為當前神經網絡參數；γ為折扣因子，取值范圍為0～1，γ越趨近于0表示算法越傾向于當前狀態所獲得的獎勵，γ越趨近于1表示算法越傾向于從長遠角度獲得獎勵。神經網絡通過梯度下降優化損失函數、迭代解算模型參數，損失函數定義為

Li(θi)=(yi-Q(s,a;θi))2

(16)

式中：θi為模型參數；yi為迭代算子，計算公式為

(17)

基于Q學習算法的目標搜索機制如圖3所示，圖中：-d表示維度(dimension)。在給定待檢測圖像的狀態下，根據獎勵值從給定的動作集合中選取期望收益最大的動作，使預定位框不斷逼近目標真實位置，得到最優解作為目標跟蹤結果輸出。

圖3 Q學習搜索機制Fig.3 Illustration of Q searching policy

2.4 深度森林分類器

為使所提方法能夠識別提供跟蹤目標的類別信息，需要在頂層添加一個分類器，采用深度森林[20]模型作為分類器。相比于傳統分類器(如softmax等模型)，深度森林具有魯棒性強、精度高、超參數少的特點，能從復雜特征中獲取類內相似性和類間差異性，從而提供準確的跟蹤目標分類信息。

深度森林結構如圖4所示，由多層級聯隨機森林組成，每層級聯森林包括兩個完全隨機森林(綠色)和兩個隨機森林(藍色)，每個森林包含500棵隨機樹，完全隨機樹使用所有樣本作為輸入，決策樹的每個節點都是隨機選擇一個特征做分裂，直至每個葉節點包含的實例屬于同一個類，或者實例數目不多于10個，該方法增加了樣本的多樣性；隨機森林的訓練過程為每棵樹輸入樣本的一個隨機子集，分裂節點選擇最優基尼系數的一類進行分裂，該方法保證了算法的效果。假設當前有Z個分類類別，樣本特征屬于第z個類別的概率為gz，則其基尼系數計算方式為

圖4 深度森林結構Fig.4 Architecture of deep forest

(18)

將預定位區域的深度特征輸入到深度森林的第1層級聯森林中，對于Z分類問題該層級聯森林輸出Z維類特征向量并與深度特征聚合，得到新的特征向量，輸入到下一層級聯森林中，依次迭代，取最后一層級聯森林輸出類特征向量最大值所在類別為所跟蹤目標的類別信息。

3 實驗及分析

3.1 實驗概述

為驗證所提方法的有效性，在無人機航空影像數據集：UAV123數據集、VisDrone數據集和自研無人機航拍數據集上，對本文模型性能進行了評估。模型運行環境為Inter?CoreTMi9-9900K CPU、2080Ti GPU、內存為64 GB的臺式機工作站上運行，操作系統為Ubuntu 18.04。

UAV123數據集[21]是國外學者Mueller在ECCV(European Conference on Computer Vision)會議上發布的無人機航空影像數據集，該數據集由123個無人機攝像頭記錄的影像組成，數據覆蓋了多種場景，如公路、海灘、港口、田野、建筑物等，目標有行人、船只、汽車、飛行器和建筑物，圖像尺寸為1 280×720，實驗中的主要研究目標為車輛、船、人等。

VisDrone[22]數據集包含239個無人機視頻片段，由各種無人機攝像頭拍攝，場景類別眾多，包括城市街道、公園、車輛、行人等，該數據集具有覆蓋范圍廣、拍攝視角多變的特點。

自研無人機航拍數據集包含100個無人機航拍視頻，覆蓋場景類別包含鄉村道路、城市街道、建筑工地、工程車輛、行人、樹木、房屋等，圖像尺寸為1 000×800。

通過重疊率、中心位置誤差、精準度、成功跟蹤率和曲線下方面積(Area Under Curve，AUC)對算法進行綜合評估。重疊率為預測目標框和真實目標框的IoU；中心位置誤差指預測目標框中心點與真實目標框中心點之間的歐氏距離；給定IoU閾值，IoU大于該閾值的視頻幀數占總視頻幀數的比率為跟蹤成功率；給定中心位置誤差閾值，跟蹤精準度表示中心位置誤差小于該閾值的視頻幀數占總視頻幀數的比率；跟蹤精準度與跟蹤成功率圖的曲線下方面積用來評價跟蹤算法的整體效果。

3.2 實驗設置與參數優化

所提方法主要參數是通過大量試驗取得的，所設計改進深度置信網絡模型由4個受限玻爾茲曼機組成，約束項參數λ1=0.55，λ2=0.35，λ3=0.10，學習率η為0.01。

為探究不同參數對跟蹤效果的影響，在自研無人機航拍數據集上，對參數取值問題進行了分析。

改進深度置信網絡約束項參數驗證范圍為λ1={0.10,0.15,…,1.00}、λ2={0.10,0.15,…,1.00}和λ3={0.05,0.10}，圖5顯示了保持其他超參數不變時，通過調整改進深度置信網絡約束項參數設置，測試得到的跟蹤精準度曲線下方面積，即AUC分數，可以看出改進深度置信網絡的約束項參數取值變化對跟蹤效果有一定影響，當λ1=0.55、λ2=0.35、λ3=0.10時，模型能夠取得最好效果。

圖5 約束項參數對跟蹤效果的影響Fig.5 Influence of constraint parameters on tracking effect

進一步的，圖6反映了受限玻爾茲曼機數量對跟蹤性能的影響。當受限玻爾茲曼機數量較少時候，精準度AUC分數較低，原因是此時深度置信網絡提取的特征表征能力較弱；當逐漸增加受限玻爾茲曼機個數時，AUC分數逐漸提高，當受限玻爾茲曼機數量大于4后，提升效果不再明顯，說明使用4個受限玻爾茲曼機堆疊構成深度置信網絡是本應用場景的最優配置。

圖6 卷積受限玻爾茲曼機數量對跟蹤效果的影響Fig.6 Influence of number of convolution restricted Boltzmann machine on tracking effect

表1顯示了學習率對目標跟蹤效果的影響。當調整學習率過大時，精準度AUC分數會有所下降；當調整學習率較小的時候，可以有限地提高模型跟蹤性能，但另一方面會使模型收斂速度太慢，降低效率。綜合以上原因，改進深度置信網絡模型采用的學習率為0.010。

表1 學習率對跟蹤效果的影響Table 1 Influence of learning rate on tracking effect

3.3 消融實驗分析

為論證本文方法組成模塊對目標跟蹤性能的影響，在自研無人機航拍數據集上展開了消融實驗分析，表2為各組合模塊在跟蹤精準度曲線和跟蹤成功率曲線的曲線下方面積，跟蹤精準度曲線下方面積記為AUC1，跟蹤成功率曲線下方面積記為AUC2。本文方法各模塊標識如下：① ODBN(Optimized Deep Belief Networks)表示改進深度置信網絡模塊；② DDT(Deep Descriptor Transforming)代表深度特征變換，生成跟蹤目標的預定位框；③ QL(Q-Learning)表示基于Q學習的搜索機制，用來精確跟蹤目標位置，QL下標數字代表搜索機制所需前k步歷史動作信息；④ DBN(Deep Belief Networks)代表標準深度置信網絡模塊，提供深度特征，該特征不具備旋轉不變特性；⑤ DAE(Deep Auto Encoder)表示深度自動編碼器模型，能夠提取深度特征，與深度置信網絡模型進行對照；⑥ SDA(Selective Descriptor Aggregation)為選擇性特征符聚合算法，通過將特征符在深度方向加和，對所跟蹤目標進行定位，用于和深度特征變換方法進行對比。最終采用的方案為ODBN + DDT + QL5。

表2的實驗結果顯示了各模塊對跟蹤效果的影響：① 相比于未添加旋轉約束的深度置信網絡，改進后的深度置信網絡性能有較大提升，跟蹤精準度AUC分數和跟蹤成功率AUC分數分別提升8.2%和6.8%，說明改進深度置信網絡具有較好的旋轉不變性，能夠適應無人機影像中跟蹤目標旋轉方向的變化；② 與深度自動編碼器提供壓縮后的特征相比，標準深度置信網絡模型提供的深度特征更具豐富性，精準度AUC分數提升了5.2%，成功率AUC分數提升了5.8%；③ 在使用選擇性特征符聚合算法代替深度特征變換算法的情況下，跟蹤效果呈現一定程度的下降，精準度AUC分數和成功率AUC分數分別下降11.5%和10.1%；④ 在不使用Q學習搜索機制進行精確定位的情況下，跟蹤效果下降，精準度AUC分數和成功率AUC分數分別下降15.3%和12.7%；⑤ 進 一步測試了Q學習搜索機制中歷史動作數量對算法整體效果的影響，當僅采用前1步歷史動作信息時，AUC1和AUC2分數分別為71.9%和57.1%；當采用前3步歷史動作信息后，跟蹤效果有較大提升，AUC1和AUC2分數分別提升為78.2% 和64.0%；采用前7步歷史動作信息與5步 歷史動作信息相比，跟蹤效果已無明顯提升，因此采用前5步歷史動作信息為Q學習搜索機制的最佳方案。消融實驗分析表明，所提方法各模塊之間組合緊密，能夠有效提升無人機影像目標跟蹤的效果。

表2 消融實驗的ACUTable 2 ACU of ablation experiment

3.4 實驗結果與分析

為驗證所提方法有效性，選取UAV123數據集、VisDrone數據集和自研數據集中的視頻數據作為測試數據集，對所提方法進行測試，并與當前目標跟蹤領域內的一些主流方法(UPDT[23](Unveiling the Power of Deep Tracking)、CFnet[24](Correlation Filter networks)、SiamFC[11]、ECO[25](Efficient Convolution Operators)、EAST[26](Efficient and Accurate Scene Text Detector)、SRDCF[10]、KCF[8]、ADT[27](Adversarial Deep Tracking)、ATOM[28](Accurate Tracking by Overlap Maximization)、KCFYOLO[29](Kernelized Correlation Filters You Only Look Once))進行比較。其中KCF算法、KCFYOLO算法和SRDCF算法為基于相關濾波器的跟蹤算法，UPDT算法、ADT算法、ECO算法和EAST算法是基于深度學習的目標跟蹤算法，SiamFC算法、CFnet算法和ATOM算法采用了孿生網絡結構。圖7展示了上述部分算法在不同視頻序列里的比較實驗結果，深度森林輸出的目標類別信息與類別概率記錄在圖片下方。

圖7 目標跟蹤效果Fig.7 Demonstration of tracking results

圖7(a)為工程車序列，目標在不同視頻幀下存在著旋轉角度變化和部分尺度變化，可以看出本文方法能夠一直精準定位跟蹤到目標，具有良好的旋轉不變性。在31幀之后，工程車輛旋轉角度發生變化，ECO和KCF算法不能提取目標旋轉方向的特征，發生偏移和目標跟丟現象。

圖7(b)為船只序列，目標在不同視頻幀下存在著旋轉角度變化、視角變化和尺度變化，通過提取目標旋轉方向信息和深度特征，能夠自適應場景環境變化，使跟蹤框和目標的真實位置基本重合。

圖7(c)為小型車輛序列，目標從127～825幀存在遮擋情況、尺度變化和地面環境變化。EAST、SRDCF和KCF算法在環境發生變化以及目標遮擋情況下出現目標丟失；UPDT和SiamFC算法雖然可以定位目標，但是沒有對目標遮擋情況進行優化，所得目標框要大于目標真實框，丟失大量正樣本信息，發生目標框偏移情況；本文方法在訓練過程中，通過數據擴增技術產生大量具有遮擋信息的訓練樣本，使得本文方法在遮擋環境下能夠精確檢測到目標，具有良好的魯棒性。

圖7(d)為行人序列，目標發生光照變化、部分遮擋以及周圍環境有相似目標，增加了跟蹤難度。本文方法通過深度置信網絡提取具有強表征能力的目標深度特征，通過搜索機制模型獲取目標定位信息，能夠有效跟蹤目標的移動情況，提供精準跟蹤檢測結果。

為驗證所提方法針對形態變化的魯棒性，采用平均重疊率和平均中心誤差率作為評價指標對不同形態變化的場景進行定量分析，表3和表4分別為本文方法與其他方法在不同視頻場景下的平均中心誤差和平均重疊率，視頻場景包括目標旋轉、遮擋、尺度變化、目標快速移動、視角變化、光照變化和背景干擾；圖8和圖9使用成功跟蹤率和精準率指標評價目標跟蹤方法在UAV123數據集和VisDrone數據集上的整體表現。從表3和表4中看出，相比于其他10種常用方法，本文方法在目標形態變化場景下取得了較好的平均重疊率和平均中心誤差率，從圖8和圖9可以看出，本文方法取得了最好的目標跟蹤效果，主要原因是通過數據擴增提高了樣本多樣性，使用改進深度置信網絡模型提取強表征能力的深度特征，采用基于Q學習的搜索機制進一步精確目標跟蹤結果，使模型對無人機影像視頻的跟蹤檢測能力更具有魯棒性。

表3 平均中心位置誤差Table 3 Mean error of center position

表4 平均重疊率Table 4 Average overlap rate

圖8 在UAV123上的整體效果Fig.8 Overall performance on UAV123

圖9 在VisDrone上的整體效果Fig.9 Overall performance on VisDrone

3.5 深度森林分類特性評估

使用深度森林分類器對所跟蹤的目標進行分類，為進一步驗證深度森林算法提供類別信息的準確度，對深度森林分類特性展開評估分析。

對于常見的無人機影像跟蹤目標類別，圖10展示了深度森林學習得到的類特征向量與使用隨機森林提取的類特征向量的可視化對比。采用KPCA[30](Kernel Principal Component Analysis)技術依次提取深度森林和隨機森林學習得到的類特征向量的前2個主分量，然后繪制主成分的散點圖，如圖10所示，其中KPCA1和KPCA2依次為第1主分量和第2主分量。實驗結果表明，相比于隨機森林模型，深度森林模型能夠有效提取不同類別無人機影像跟蹤目標的類特征向量，主要原因是深度森林模型能夠從輸入數據中學習到目標最具代表性的類別信息特征，從而準確提供目標類別信息。

圖10 類特征向量可視化Fig.10 Visualization of class feature vector

3.6 算法復雜度分析

對所提方法的時間復雜度進行記錄，如表5所示。本文方法的速度為12.6幀/s，當不使用深度森林模型時，本文方法速度為14.8幀/s，具有較好的實時性，均能滿足實際場景應用需求，計算負荷主要集中在深度特征提取方面，后續將在保證算法精確度的同時在進一步提高該算法運行效率方向進行研究。

表5 算法時間復雜度Table 5 Time complexity of algorithm

4 結 論

針對無人機影像目標跟蹤過程中常出現目標旋轉、遮擋等形態變化，以及訓練樣本多樣性不足等問題，提出了一種基于形態自適應網絡的無人機航空影像目標跟蹤方法。通過數據擴增提高訓練樣本數據多樣性，擴增模型對目標形態變化的覆蓋范圍；使用改進深度置信網絡獲取無人機影像中具有強表征能力的深度特征，通過預定位方法和精確定位方法相結合的方式，可以在保證算法實時性的同時，更好地挖掘目標表征信息，實現對目標寬高比變化的自適應調整，有效定位無人機影像數據中的目標所在區域，提高算法對目標形態變化的適應能力和影像背景環境變化的魯棒性；采用深度森林模型提取類別信息，獲得高精度的目標跟蹤結果。在UAV123數據集、VisDrone數據集和自研無人機航拍數據集上展開了對比實驗，同其他10種常用目標跟蹤算法進行比較，本文方法在跟蹤成功率、精準度、平均重疊率、平均中心位置誤差等評價指標上取得了最好的效果。在多種目標跟蹤場景下進行了測試，所提方法能夠有效適應無人機影像中目標出現的形態變化情況，在跟蹤準確性、穩定性和魯棒性方面具有優異的整體性能。