基于KCF算法的空中目標跟蹤模擬

柳天宇,王克強

(華北光電技術研究所,北京 100015)

1 引 言

彈道導彈的特點是速度快體積小,軌跡難以預測,導彈本身也可能的發生旋轉、形變等,造成導彈防御中的發現難、攔截難等問題,因此彈道導彈的防御歷來是空天防御中的重點和難點。而改進優化這個問題基于目標檢測跟蹤問題。

目標跟蹤技術目前主要有兩種模型方法:生成類和判別類。早期的工作集中于生成類模型跟蹤方法的研究,主要有兩種思路:是否依賴于目標的外觀模型。光流法,在提前建立目標模型的前提下,在視頻中依靠相鄰幀的像素關系尋找目標；Meanshift方法則不依賴目標的外觀模型,它的原理是對目標模板進行迭代直到最優。目前在軍事上應用更廣泛的是生成類模型的跟蹤方法,即先建立模板,之后再找與模板相似度最高的作為目標跟蹤的預測區域。但是在機載場景中跟蹤目標一般為導彈,其特點是目標較小,運動速度較快,特征不明顯,運動軌跡不規則,目標尺度變化。面對這種目標,早期傳統的目標跟蹤算法如光流法實時性太差；核方法面對目標不規則的運動、目標尺度的變化不能很好的自適應跟蹤,而且復雜的計算量也使得跟蹤實時性很差。所以需要一種計算速度快,實時性強的算法來對其進行檢測跟蹤。針對這種場景下,具有這樣特性的目標跟蹤任務,更好的目標跟蹤方法是判別類跟蹤方法,即利用機器學習訓練一個分類器來區分目標和背景噪聲,選擇匹配度最高的候選區域進行跟蹤。該方法相較于生成類方法最大的優點是,機器學習訓練的分類器。人工設計濾波器對圖像進行處理,對特征的處理較為單一,存在時間復雜度高,魯棒性低,準確度和實時性差的缺點,適用性不強。機器學習的核心思想是模擬人工智能,使目標檢測器、跟蹤器具備一定的自我學習和判斷能力。相較于人工設計,機器學習運用多層深層的計算模型自動提取高層特征,對復雜特征的表征有了很好的表現,準確率和效率大幅提升,成為了視覺領域的主要處理方法,此技術也越來越廣泛地應用于汽車、航空航天、航海等領域[1-4],

相關濾波算法是判別類模型中一種重要的方法,這種方法的特點是運算速度很快,所以在高速目標跟蹤領域應用廣泛,其中的KCF(Kernelized Correlation Filters)算法的FPS可以達到172,具有非常高的實時性,并且其準確率也能達到0.55,比較符合本文討論的高速目標準確跟蹤場景。而在機載空中目標跟蹤場景中應用此技術以提高目標檢測跟蹤的能力符合現實需求。本文重點研究在機載空中目標跟蹤情景下基于KCF算法的目標檢測跟蹤方法[5]。

2 KCF目標跟蹤算法

因為機載空中目標跟蹤對實時性要求很高,綜合考慮實時性和精確度,本文選用基于深度學習的YOLO(You Only Look Once)v4[6]作為目標檢測器。2015年YOLO[7]問世,檢測速度達到45fps,檢測速度非常快。 YOLO是首個不需要候選區域的算法,YOLO是一種直接采用回歸(Regression)思想,端到端的檢測方法,直接從圖像像素出發,得到分類和概率,且由于每個物體邊框的預測都以整張圖的特征作為輸入,因此,YOLO算法預測出來的邊框都是綜合了整張圖的信息,包含了充足的上下文信息。而YOLOv4則是目前性能最好的目標檢測算法之一。

目前目標跟蹤的主要方向有兩個:一個是相關濾波方向；一個是深度學習方向。在速度和實時性方面,相關濾波方法較其他方法更好。KCF核相關濾波器算法則是目前速度和精度都很好的一種相關濾波算法。相關濾波算法始于2010年的MOSSE濾波器,當初始化視頻中第一幀,就可以產生穩定的相關濾波器。MOSSE濾波器對顏色、尺度、形狀、亮度等的魯棒性比較好[8]。但是這種匹配方法有一定的缺陷,具有訓練樣本量少,特征單一等缺點,導致其目標跟蹤精準度不夠。而KCF算法則是在該算法的基礎上通過循環矩陣生成多樣本然后利用每一個樣本進行回歸訓練,解決了訓練樣本量少的缺點；引入了多通道特征的處理,使其可以采用多通道的HOG特征或者其他特征,解決了特征單一的缺點；并利用核技巧簡化計算量,使得其目標跟蹤效果更好。KCF算法效果如圖1,該算法相比原MOSSE算法在精確度上有較大的提升,跟蹤準確,速度快。

圖1 KCF與其他目標跟蹤算法Fig.1 KCF and other target tracking algorithms

針對機載空中目標跟蹤場景中目標特性,KCF算法可做以下優化:第一幀時,在畫面中采集樣本,目標為正樣本,背景為負樣本,但這樣形成的樣本量過少,可以通過循環矩陣生成的大量新的樣本進行訓練,彌補了樣本量少的缺點；利用嶺回歸訓練分類器,更好的分類器有助于更加精確地區分目標和背景,使得準確性得到了提升；利用循環矩陣的特性,在數學上極大地減少運算量,使得該算法的運算速度得到提升,從而保證了實時性；相關濾波方法一直存在特征提取單一的問題,KCF給出了一種多通道的途徑,即可以在目標跟蹤時采用多種圖像特征,進一步加強了準確性,多種圖像特征也使得算法的魯棒性得到了加強[9]。

本文基于以上算法特點進行實驗設計。

3 實驗設計

機載空中目標跟蹤的場景中目標具有速度快、實時性強等特點,而KCF跟蹤算法具有簡潔、效果好、速度快、實時性強的優點,所以我們選用基于KCF算法的目標跟蹤器應用于此場景。

KCF算法實現目標跟蹤的基本流程為:讀入視頻序列,提前由YOLOv4目標檢測器檢測出的目標作為真實目標,在當前幀采樣,用目標和背景信息訓練分類器,得到相關濾波器；下一幀圖像與相關濾波器做卷積,響應最大的區域作為預測目標,目標更新迭代,并進行跟蹤；下一幀循環上述過程。

在機載空中目標跟蹤場景中,由于目標和環境是實時變化的,需要在線學習。如圖2所示,在當前幀目標區域及周圍隨機采樣,生成基樣本和負樣本,訓練分類器f。然后對下一幀對應位置隨機采樣,通過分類器得到的輸出響應,選擇響應最大的采樣作為跟蹤到的目標。

圖2 訓練分類器Fig.2 Training the classifier

訓練樣本的生成都是基于循環矩陣形式來構建的。其中基樣本x為正樣本,其他全部都是負樣本,由于循環矩陣的性質,這樣的樣本集可以很方便的利用快速傅里葉變換和傅里葉對角化的性質來進行計算,而不需要得知負樣本的具體形式,算法將有關負樣本的計算都轉換到了頻域進行求解。由任意基樣本x生成的循環矩陣有以下特性:

(1)

嶺回歸方法是本文在這個算法中所采用的訓練分類器的方法,其目標函數是:

(2)

其中,L(yi,f(xi))為損失函數,定義為((f(xi)-yi))2,λ為正則化參數,正則項的引入謎底是為了排除一些因循環矩陣變換后而變形過度的虛擬樣本。解得ω形式為:

ω=(XHX+λI)-1XHy

(3)

其中,X的每一行代表了一個樣本;y的每一個元素是其對應的回歸分布的值。其中XHX的計算量是無法在線學習的,并且分類器f在現實情況中通常不是x的線性表達。但是核函數可以將數據從低維映射到高維,原本的非線性數據在映射后的特征空間滿足線性關系,以此達到將非線性計算轉換成線性計算的目的,同時這樣的操作還能是跟蹤的準確性得到提升。此時需要找到一個非線性映射函數φ(xi),此時的ω可以表示為下式:

ω=∑αiφ(xi)

(4)

經過一系列推導,可求解出:

α=(φ(X)φ(X)T+λI)-1

=(K+λI)-1y

(5)

K=φ(X)φ(X)T為訓練樣本的核相關矩陣,k(i,j)=φ(xi)Tφ(xj)為核函數。時間復雜度為:o(n3)。由前面可知,除基樣本外所有的訓練樣本都是通過循環矩陣生成,那么K也是循環矩陣,由式(1)可知,化簡α后的時間復雜度為:o(nlog(n)),對比先前的時間復雜度,有了明顯的提升,數學運算上的簡化,使得該算法的速度得到了極大的提升,綜合各方面考慮,本文目標跟蹤算法的核函數選用高斯核函數,用此核函數技巧可以使實時性達到170+FPS。符合機載空中目標跟蹤對運算速度和實時性的要求。

樣本訓練中的特征提取是影響跟蹤算法性能的重要因素,機載空中目標跟蹤場景特殊,而且使用的是可見光圖像,可見光圖像紋理特征較為清晰,因此基于RGB彩色圖像提取樣本的HOG特征對目標進行檢測跟蹤,把樣本特征從一維擴展到多維。本文最終采用的圖像特征是HOG特征和灰度特征相加后的特征:

(6)

其中,x是單一特征;xc是兩種特征矢量相加后的新特征。

目標跟蹤模型經過最終優化,選擇核函數和圖像特征提取后對其進行算法的工程實現。

4 模擬實驗測試

本項目的測試實驗是在實驗室中模擬的機載空中目標檢測跟蹤場景,具體方式是通過網絡高清攝像機獲取圖像,經過視頻處理單元的圖像處理技術將目標跟蹤得到的脫靶量傳給伺服控制器,伺服控制器控制帶有快反鏡和激光發射單元,利用快反鏡把反射的激光束打在跟蹤的目標上進行激光干擾。目標跟蹤瞄準光電系統機械結構主要由雙軸快反鏡組成,快反鏡的轉速快、轉動范圍大,滿足空中目標速度快,視場大的需求。整體流程如圖3所示。

圖3 目標檢測跟蹤流程圖Fig.3 Target detection and tracking flowchart

如圖3所示,整體流程為:打開網絡攝像機,讀入視頻序列；打開快反鏡并自檢；YOLOv4對讀入的視頻圖像進行目標檢測,得到多個候選目標；在多個目標中選擇離視場中心最近的目標作為主目標；KCF算法檢測到的主目標或者手動選取的目標進行跟蹤；計算跟蹤框與檢測框的相似度,記為S,設置相似度閾值T,進行判斷,若ST,將計算得到的目標脫靶量通過串口輸出到快反鏡,實現目標跟蹤,后續通過其他硬件實現對主目標的干擾；在視場中繼續尋找目標,若還存在目標,切換目標繼續干擾；若無目標則結束流程。

在整個流程中的檢測算法測試中,我們將各類目標包括視頻模擬的導彈和盒子杯子等小物品放在視場中,當高清攝像機拍攝到目標時,YOLOv4算法對讀入的視頻序列進行目標檢測與識別。效果如圖4所示。

圖4 目標檢測識別效果Fig.4 The effect of target detection and recognition

如圖4所示,檢測器能檢測識別出導彈和盒子水杯等目標,并對其標定。其中框出來的區域是檢測目標的目標區域,目標框上的文字是檢測目標的標簽類別信息。實驗表明YOLOv4檢測算法能夠準確地檢測識別出導彈盒子水杯等目標。

在整個流程中的跟蹤算法測試中,我們用視頻模擬了導彈在天空中白云作為背景噪聲的環境中的運動,為了模擬場景中的實時性,視頻幀數達到30+FPS。測試時,我們將視頻投影到視場中,視頻播放中模擬的導彈運動會被跟蹤器檢測到,然后跟蹤器會對視頻中的導彈進行跟蹤。效果如圖5所示。

圖5 目標跟蹤效果Fig.5 The effect of target tracking

如圖5所示,我們連續不斷測試了對三組不同外型大小和距離的導彈的跟蹤,并對其錄像,連續截取了錄像中對導彈跟蹤的片段。圖中的激光點是正在對導彈目標跟蹤的激光器。實驗結果顯示跟蹤器能準確快速地跟蹤目標。

最后對系統對各種目標的檢測跟蹤性能進行測試,其中大型目標是飛機或者模擬的近距離導彈,弱小目標是移動中的瓶蓋等小物品或者模擬的中遠距離導彈。檢測準確率由檢測成功率表示,跟蹤精度由跟蹤未丟失目標概率表示。最終測試結果如表1所示。

表1 目標檢測跟蹤性能Tab.1 Target detection and tracking performance

5 結 語

本文將基于機器學習的KCF目標跟蹤算法應用到機載空中目標跟蹤場景中,從模擬實驗結果可以看出搭配YOLOv4目標檢測器的KCF算法對目標的跟蹤準確率高,實時性好,能夠實現對空中目標的實時跟蹤。而隨著機器學習技術的發展成熟,分類器和特征提取會越來越完善,目標檢測跟蹤算法也會越來越完善,若在機載空中目標跟蹤場景中應用此技術,能夠實時準確地檢測識別跟蹤到目標,實現現代空戰中機載空中目標跟蹤的需求。