基于光照自適應動態一致性的無人機目標跟蹤

林淑彬，吳貴山，姚文勇，楊文元

（1.閩南師范大學 計算機學院，福建 漳州 363000;2.閩南師范大學 數據科學與智能應用福建省高校重點實驗室，福建 漳州 363000;3.閩南師范大學 外國語學院，福建 漳州 363000;4.閩南師范大學 福建省粒計算及其應用重點實驗室，福建 漳州 363000）

得益于無人機強大的機動性和便攜性，無人機 平臺搭載視覺跟蹤技術在路徑規劃、自主著陸、飛行避障等方面受到了廣泛關注[1-3]。無人機工作過程不可避免地面臨光線變化甚至光線條件惡劣的情況，這影響無人機目標跟蹤對視頻信息的提取與處理。因此，高效、準確地應對光線不足場景的目標跟蹤方法對于無人機應用具有重要意義[4]。

基于相關濾波(correlation filter，CF)的目標跟蹤算法由Bolme 等[5]提出，經過Henriques[6]、Danelljan[7]、戴煜彤[8]和盧湖川等[9-10]學者的不懈努力，跟蹤性能不斷提高。BACF 算法[11]提出具有背景感知能力的相關濾波器，充分利用背景信息增強算法的判別能力。SRDCF 和ASRCF 跟蹤算法[12-13]構建空間或時空正則化，以緩解相關濾波跟蹤器的邊界效應。同時，劉威等[14]則嘗試將特征融合與模板更新相結合，自適應學習場景信息。這些工作使基于相關濾波的跟蹤器能夠更好適應目標跟蹤場景變化的要求。

隨著無人機應用的發展，一些學者將相關濾波方法應用于無人機目標跟蹤，取得了較好的進展[15]。AMCF[16]通過保持多幀信息構建更加魯棒的目標模型，解決相關濾波跟蹤器丟失歷史信息的問題。OMFL[17]提取了更適應無人機跟蹤場景的目標特征，通過融合多特征線索進行精確跟蹤。王耀南等[18]結合多特征融合進一步提高跟蹤精度。針對無人機相關濾波跟蹤中邊界效應顯著的問題，AutoTrack[19]、BEVT[20]和SASR[21]等算法分別提出自適應時空正則化、在線增強背景信息學習策略和具有背景感知的選擇性空間正則化。此外，針對無人機跟蹤過程中可用信息較少的情況，ARCF[22]、CPCF[23]和BICF[24]算法探索跟蹤過程響應映射中的隱藏信息，解決了無人機跟蹤過程出現模型漂移的問題。

然而，當光照條件不充分時，無人機捕捉到的圖像目標紋理和輪廓不清晰，顏色失真，且背景干擾嚴重。這些因素影響了跟蹤方法對目標信息的提取與利用，降低了濾波器對目標模型的學習能力。因此目前無人機跟蹤方法在光線不足場景中容易發生模型漂移，導致跟蹤失敗。

針對上述問題，本文提出一種基于光照自適應動態一致性的無人機目標跟蹤算法（based on illumination adaptive dynamic consistent tracker for UAV，LADCT），利用跨幀響應構建具有目標感知的動態一致性評估，以實現在光照條件惡劣情況下進行準確跟蹤。首先，構建一個光照自適應處理模塊，通過光照檢測技術識別跟蹤場景的光照條件，對光照條件惡劣的視頻圖像進行光線增強。其次，構建目標掩碼提取目標顯著性特征，從而訓練出具有目標語義感知能力的濾波器。此外，在使用目標感知濾波器進行相關運算時，利用跨幀之間的信息產生一致性評估以保證相鄰幀目標一致。通過限制實際響應和理想化響應的誤差、平滑跨幀之間的響應變化幅度，保證當前幀響應穩定，降低因為顏色失真，背景干擾帶來的影響。最后，引入動態約束策略，隨時間變化動態調整理想化響應及一致性響應評估，使一致性約束策略符合目標外觀變化，進一步增強LADCT 跟蹤方法在無人機場景的適應性。在UAVDark135數據集和UAV123 數據集上與其他9 種先進跟蹤算法進行對比實驗，LADCT 算法獲得0.739 和0.756 的中心位置誤差精度以及0.641 和0.648 的重疊率精度，表明算法在大多數挑戰環境下都取得了較好的跟蹤性能。

1 光照自適應模塊

為了使無人機在各種惡劣環境下準確地跟蹤任務，構建了基于光照自適應動態一致性的無人機目標跟蹤方法，具體流程如圖1 所示。首先構建光照自適應模塊分析場景信息，對光線惡劣場景進行光照增強。由此，構建一種有效的光照表達算法計算圖像中的光照信息。對于一張長寬為w×h的 RGB 圖像I∈R3wh，圖像每個像素的光照值通過式（1）計算：

圖1 LADCT 跟蹤算法示意Fig.1 Pipeline of LADCT tracking algorithm

當D(I)=1表示光線不足的場景。

針對光線不足的惡劣場景，需要對其進行光照彌補。為了實現該目的，首先計算基于原始圖像的全局光照自適應因子：

通過計算所得的自適應因子，改變每個像素中3 個強度通道的像素值實現圖像光照增強：

式中：Ie表示基于原始I的增強圖像；G (x,y,I)表示不同區域的光照值。式(4)可以在保持3 個顏色通道比例不變的情況下，調整整個圖像亮度，盡 可能保持圖像顏色不變。

2 跨幀語義感知一致性評估

圖像的語義信息在目標跟蹤中起著至關重要的作用，而通過光照增強后的圖像語義信息存在退化，容易導致跟蹤失敗發生。因此提出一種對光照增強后目標語義信息顯著性增強的濾波器。通過增強跟蹤器對被跟蹤對象區域的顯著性感知能力，進一步提高跟蹤性能。

首先，在訓練過程中，構建一個目標掩碼m，加強跟蹤器對目標和背景的判別能力：

式中：M為對輸入圖像中目標區域設置為1，其他區域設置為0 的目標顯著性圖像；（x，y）表示每個像素的坐標；μ和σ是顯著圖M中目標區域的均值和方差。根據圖像信息的概率分布特征，使用閾值 μ-3σ 過濾噪聲信息。通過得到的掩碼m，得出目標特征f′(x)=f(x)⊙m，其中x是目標檢測樣本。

此外，為減少光照自適應模塊增強圖像過程中帶來的噪聲干擾問題，構建跨幀動態一致性評估。首先研究相鄰幀目標響應之間的相似性：

第t-1幀 的目標響應Rt-1和第t幀的檢測響應之間具有很強的時間序列相關性，在幀間一致性中隱藏了大量的時間信息。為了利用這些時間信息，采用循環相關運算對響應之間的一致性進行評估，計算公式為

由于不同的跟蹤場景，物體的外觀變化速率不同，標簽lt應該適應目標外觀的變化速率，而不是強制執行固定的一致性約束。因此，在式(5)約束標簽的基礎上，進一步提出動態約束標簽:

式中ht為調整約束強度一致性的動態調節因子。

跟蹤器的一致性約束強度需要符合不同的場景需求，如在快速運動、視覺變化等場景跟蹤器會降低約束強度，從而更好學習到目標的外觀變化。另一方面，如果外觀變化是平滑的，則需要一個較高的一致性約束來增強跟蹤器的魯棒性。因此，根據目標響應Rt的質量，計算其質量分數：

式中：第1 項和第2 項分別表示響應圖中的峰值旁瓣比和峰值；μs1和σs1分別表示旁瓣的均值和標準差；β是平衡兩個評價指標的權重系數。引入的動態調節因子ht為

式中：min(lt) 和 max(lt)分別表示lt的最小值和最大值；?是一個歸一化的系數。

3 總體跟蹤框架

為了實現基于光照自適應動態一致性的無人機目標跟蹤器，構建跟蹤器模板函數為

式中 η為外觀模型的學習速率。

為了實現無人機在光線不足場景進行準確跟蹤，將光照自適應模塊和動態一致性模塊嵌入算法，具體流程如算法1 所示。首先通過光照自適應模塊判斷無人機工作環境是否需要光照增強，然后利用動態一致性模塊對濾波器學習進行約束，從而達到精確跟蹤的目標。最后利用ADMM算法優化跟蹤速度。

算法1基于光照自適應動態一致性的無人機目標跟蹤（LADCT）

輸入視頻序列I目標初始化信息；

輸出視頻序列中每一幀的目標位置和尺寸。

2）確定目標搜索區域，構建目標掩碼，并提取具有目標感知的特征；

3）提取目標區域特征與已學習到的濾波器進行相關操作得到初始響應圖；

4）通過式（5）和式（7）對相鄰兩幀的響應構建動態一致性標簽及約束策略；

5）采用ADMM 算法對式（11）求得最終響應，得到該幀目標位置；

6）采用式（15）策略更新模型；

7）如果是最后一幀則停止算法；否則重復執行步驟2）～6）。

返回跟蹤結果。

4 實驗結果與分析

所有實驗使用Ubuntu18.04，計算機配置Intel Core I9-9900K CPU 和32 GB 內存。LADCT 算法的主要參數設置如表1 所示。其中大部分是通過參數敏感性實驗測試所得。LADCT 采用HOG和CN 對目標特征進行提取。

表1 LADCT 算法的主要參數設置Table 1 Main parameter settings of the LADCT algorithm

4.1 對比數據集

為了驗證LADCT 算法的有效性，在由無人機拍攝的視頻數據集UAVDark135 和UAV123 上進行對比實驗。UAVDark135[25]是第1 個無人機黑暗場景下的跟蹤基準，包含由無人機在夜間捕獲的135 個序列。UAV123 數據集包含共計123 個無人機拍攝的視頻序列以及超過11 萬幀無人機圖像。這兩個數據基準包括各種跟蹤場景，如十字路口、丁字路口、道路、高速公路等，以及不同種類的跟蹤對象，如人、船、汽車、卡車、房子等。將LADCT 與ARCF、BiCF、AutoTrack、BACF、ASRCF、SRDCF、CPCF、SASR、ADTrack 這9 種跟蹤算法進行對比。

為更好地評估無人機跟蹤器在特殊挑戰下的能力，UAVDark135 數據集提供了無人機跟蹤中經常遇到的5 個挑戰屬性，即視點變化(VC)、快速運動(FM)、低分辨率(LR)、遮擋(OCC)和照明變化(IV)。

此外，為了驗證LADCT 方法的普適性，在最具代表性的無人機UAV123 數據集上進行對比驗證，其具有12 個挑戰屬性，包括長寬比變化(ARC)、背景雜波(BC)、攝像機運動(CM)、快速運動(FM)、全遮擋(FOC)、照明變化(IV)、低分辨率(LR)、視覺越界(OV)、部分遮擋(POC)、尺度變化(SV)、類似對象(SOB)和視點變化(VC)。

4.2 評價指標

為了公平且有效地評估算法的跟蹤精度，采用中心誤差（center location error，CLE）和重疊率（overlap rate，OR）作為評價指標。中心誤差是指目標真實位置與算法所跟蹤到位置的歐氏距離，其距離小于一個設定的閾值則表示跟蹤成功，反之則為失敗；重疊率計算的是目標真實的邊界框與算法跟蹤到的邊界框的重疊區域占整個目標區域的比例，將重疊比例與閾值相比較來判斷是否跟蹤成功。本文使用這兩個指標計算跟蹤成功的視頻幀占總視頻幀的比例，對跟蹤方法進行定量評估。UAVDark135 數據集采用的中心誤差閾值為20，重疊率閾值為0.5。

4.3 結果分析

4.3.1 總體分析

圖2 給出了LADCT 算法與對比的9 種方法的綜合評估結果。實驗表明：LADCT 在UAVDark 135 和UAV123 數據集上的綜合精度與準確率皆取得了第一的表現。

圖2 提出的方法與9 種方法的綜合評價結果Fig.2 Comprehensive evaluation results of the proposed method and nine other methods

在UAVDark135 數據集中，較之第2 名ADTrack，LADCT 算法在精度和準確率上分別提升了0.22 和0.20。此外，較之基準跟蹤器BACF、LADCT 算法則分別提高了14.5%和11.3%。這是因為提出的光照自適應模塊使跟蹤算法能夠在昏暗環境下自適應補償光照信息，從而提取更多的目標信息，提高學習到目標模型的準確性。此外，構建目標掩碼不僅能提取目標顯著性的特征，還能保存光照增強后的語義信息，緩解光照自適應模塊帶來的語義信息退化問題，使得訓練的濾波器對前景和背景具有更強的判別能力。最后構建動態一致性標簽及采用跨幀感知語義動態一致性約束策略，進一步提高了跟蹤器對目標的感知能力，降低了目標模型學習過程中受到背景干擾的影響，提高了算法的魯棒性。

在UAV123 數據集中，LADCT 算法依然取得良好的表現。對比第2 名ASRCF，精度和準確率分別提升0.18 和0.31，而對比基準BACF、LADCT 算法分別提升了15.1% 和16.2%，說明LADCT 算法在光照充足環境下同樣具有優異的跟蹤性能。這是因為提取了對目標具有感知能力的特征，保存更多的目標語義信息，從而訓練更加魯棒的濾波器。動態一致性策略利用跨幀之間的時間信息，構建一致性標簽，提高濾波器對目標模型的學習效率，從而提高無人機跟蹤的準確性。

4.3.2 屬性分析

為了更加清晰地評估跟蹤算法在特定挑戰下的跟蹤性能，圖3 給出了LADCT 算法與其他9 種先進跟蹤器在UAVDark135 數據集上5 種無人機跟蹤挑戰屬性(視點變化、快速運動、低分辨率、遮擋和照明變化)的跟蹤結果。

圖3 LADCT 在UAVDark135 數據集上的5 種挑戰屬性評價結果Fig.3 Evaluation results of five challenge attributes of LADCT in the UAVDark dataset

實驗表明：LADCT 算法在視點變化、快速運動、遮擋和照明變化4 種挑戰屬性環境下取得較好的跟蹤表現，LADCT 分別取得0.742、0.727、0.642、0.729 的中心位置誤差和0.622、0.634、0.562、0.665 的重疊率。在VC 和FM 挑戰環境下，LADCT 算法通過構建動態一致性約束策略，能夠在視點或者物體快速變化時自適應學習到變化的目標外觀，同時由于利用了跨幀之間的時空信息抑制響應畸變，使得算法能夠更平穩更新濾波器，保證了算法的魯棒性。在IV 屬性下，LADCT 與ADTrack 算法同樣針對光照進行了彌補，而LADCT 算法表現優于ADTrack 算法。這是因為構建了具有目標感知能力的動態一致性標簽與約束策略，使得LADCT 算法魯棒性更強，在訓練過程中可以保留目標的語義信息，從而降低光照變化對學習目標模型的干擾。同時在OCC 屬性下，LADCT也取得較好的表現，分別取得0.642 的最佳中心位置誤差和0.562 的重疊率精度。這是因為跨幀動態一致性約束在跟蹤器丟失目標時降低了學習速率，從而保留多幀之前的目標信息。然而，在低分辨率場景下LADCT 算法表現不佳，不及第1 名的AutoTrack。這是因為當分辨率過低時，目標掩碼會誤將背景像素的信息當作目標從而使濾波器學習到背景干擾信息。此外，表2 和表3 給出了在UAV123 數據集上，LADCT 算法在12 種挑戰環境下的表現，可見在大多數挑戰下，LADCT算法都獲得了最佳的表現。再次驗證LADCT 算法在無人機跟蹤方面具有魯棒性和精確度。

表2 不同算法在UAV123 數據集不同挑戰場景的中心位置誤差結果對比Table 2 Comparison of the center position error results of different algorithms in different challenge scenarios of the UAV123 dataset

表3 不同算法在UAV123 數據集不同挑戰場景的重疊率結果對比Table 3 Comparison of the overlap rate results of different algorithms in different challenge scenarios of the UAV123 dataset

4.3.3 定性分析

為了更直觀展示LADCT 算法的有效性，圖4給出了LADCT 與ADTrack、AutoTrack、SRDCF、ARCF 等4 種跟蹤算法在5 個視頻上的可視化對比圖。其中前3 個是夜晚場景，后兩個是白天跟蹤場景。通過第2 個視頻序列可以看出，在黑暗場景下其他4 種跟蹤算法容易跟丟目標，尤其是面臨視點變化、快速運動等挑戰。而LADCT 算法能較好地應對黑暗場景，準確地在黑暗場景下識別并跟蹤目標。這說明LADCT 算法構建的動態一致性約束策略能夠在黑暗場景中較好地適應目標外觀變化，更新目標模型的同時避免模型漂移的發生。此外，第1 個視頻和第3 個視頻，所有的算法都能跟蹤到目標，但是由于在黑暗場景中，這些算法不能很好地估算目標的尺度變化，因此標記的目標框與實際的目標尺度差別較大。而LADCT 算法通過光照自適應增強模塊能夠提取更多的目標信息。同時構建具有目標感知能力的跨幀動態一致性約束策略，進一步提高了濾波器的判別能力，能夠更好對目標位置及尺寸進行估計。這也是LADCT 在重疊率精度評估獲得較好表現的原因。第4 個和第5 個視頻給出了LADCT 算法在光照充足條件下也能準確地跟蹤目標并精準估計目標尺寸。這是由于LADCT 構建了目標掩碼增強特征對目標的感知能力，同時采用一致性標簽及動態約束策略，對目標跨幀信息進行充分利用，提高了算法的魯棒性。

圖4 5 種方法在5 個視頻上的可視化結果Fig.4 Visualization results of five methods on five videos

此外對10 種方法的跟蹤速度進行了對比。其中大部分都達到了實時跟蹤的要求，即25 f/s。LADCT 以26.51 f/s 的速度在單個CPU 上運行，因此能夠廣泛應用于各種無人機平臺完成目標跟蹤任務。

4.3.4 消融實驗分析

為了驗證提出的光照自適應模塊和動態一致性策略的有效性，在UAVDark135 數據集上進行消融實驗對比分析。模塊A 為光照自適應模塊，模塊B 為目標感知動態一致性評估模塊。如圖5所示，基準跟蹤器可以分別從光照自適應模塊和動態一致性策略中受益。其中，光照自適應模塊對基準期在黑暗光線場景進行有效跟蹤助益最大，距離精度提升0.049，重疊成功率提升0.37。這說明光照自適應模塊能夠幫助跟蹤器在光線惡劣場景精確地完成跟蹤任務。引入具有目標感知能力的動態一致性策略能夠提高算法有效應對光照條件不足時背景環境的干擾。

圖5 采用不同模塊在UAVDark135 數據集的對比結果Fig.5 Comparison results of different modules in the UAVDark135 dataset

此外，針對UAVDark135 數據集中的視頻序列car8 進行響應值差異對比。如圖6 所示，當響應值差異越大時，跟蹤算法越容易發生目標丟失情況。在使用基準跟蹤器進行跟蹤時，響應誤差較大。而增加光照自適應模塊，即基準跟蹤器+模塊A，由于目標有效信息更多，所以響應更平滑，但在遮擋、視角變化挑戰發生時依然存在響應突變。當兩個模塊都使用時，LADCT 跟蹤方法的響應誤差突變被抑制，因此在遭遇各種挑戰場景也能較好地完成跟蹤任務。

圖6 采用不同模塊在單個視頻上的響應值差異Fig.6 Differences in the response values of different modules on a single video

5 結束語

本文提出一種基于光照自適應動態一致性的無人機跟蹤算法，通過對場景光線的識別及自適應增強，同時構建目標語義感知動態一致性標簽實現跟蹤過程中跨幀間的目標一致，解決無人機跟蹤在面對光線惡劣環境表現不佳的問題。LADCT 算法未能及時識別遮擋并在后續跟蹤及時重定位目標，影響了遮擋場景的跟蹤精度。下一步將研究能夠判別跟蹤異常并進行目標重定位的目標重識別策略。