機載視頻影像運動目標檢測與跟蹤技術

中國電子科技集團公司第五十四研究所 趙繼周

針對運動物體的檢測和追蹤，目前已有多種技術手段，但大多是針對靜態場景下的運動物體進行探測和追蹤。這是由于在靜態環境中運動目標較易于探測和追蹤；而在移動環境中，物體的識別和追蹤是比較困難的，尤其是在無人機上，由于其圖像的紋理特性和快速的變化，使得運動對象的識別和追蹤成為一個很大的難題。目標檢測與追蹤技術分為三大類：圖像預處理、目標檢測和運動追蹤。本文對無人機機載視頻影像運動目標檢測與跟蹤技術進行了分析和探討。

1 機載視頻影像概述

視頻影像又叫動象，是對靜止象的一種擴充，相對于靜止象，動象的最大特征是其灰度的改變，從而能反應出運動訊號。運動圖像的檢測是運動信息的提取、運動對象的自動識別與追蹤，并對運動的軌跡和運動參數進行估算。

其實，對運動物體進行簡單的檢測與追蹤并不具有實際意義，只有與特定的實際運用相結合，才能使其真正發揮作用。利用人類的視覺功能，可以很好地說明移動物體的探測和追蹤功能。如果我們的眼睛看到一只蟲子朝我們飛過來（就像是一個移動物體），我們就會把注意力轉移到它的身體上（就像是移動目標追蹤），然后伸手去抓它。由此可見，通過眼睛來觀察和跟蹤昆蟲是捕獲昆蟲的前提。在無人機自主飛行、安全監控、機器人視覺、導彈末端制導等領域，都需要對運動物體進行探測與追蹤。

在實際應用中，移動物體可以是人、車輛或飛機等。動態圖像是靜態圖像的擴展，它可以被看作是一系列靜態圖像在一系列的時間軸線上形成的連續的靜態圖像。因此，可以將傳統的圖象處理技術應用到視頻的過程中。然而，與靜態圖象的不同之處在于，視頻的處理更多地涉及到多個畫面之間的關聯和問題的剖析。在圖像處理中，圖像處理、信號處理、模式識別、人工智能等多個領域都有廣泛的應用。在對運動物體的探測與追蹤方面，電腦視覺是其重要的理論依據。電腦視覺是指通過相機獲取周圍的影像并轉化為數碼訊號，以電腦為核心來處理、分析視覺信息。

針對各種應用的要求，可以將用于采集圖像信息的監視器安裝在各種平臺上。很多類型的視頻采集系統都是在不同的狀態下進行的，因此采集到的圖像數據不但具有動態的特征，還具有移動的特征，相應地，靜態的背景信息也會隨之產生，可以說是最基礎的影像資料。另外，根據背景的不同，可以將視頻資料劃分成單背景與復雜背景、單目標與多目標、點狀目標、平面目標等。針對不同類型的圖像，采用的是基于運動的圖像提取和追蹤的算法。

2 機載視頻影像運動目標檢測相關工作

2.1 特征提取方法

在對運動背景下的圖像進行目標探測時，由于背景的移動會嚴重影響到圖像的探測，因此，必須采用適當的技術措施來消除背景的移動，也就是所謂的整體移動補償，利用視頻幀之間的匹配，可以有效地消除背景移動。而圖像配準的核心是圖像的高精確性。圖像的特征匹配首先要從圖像中抽取與圖像相適應的圖像，實驗結果表明，該方法具有較好的穩定性和較好的圖像處理能力。Harris 算子是目前圖像處理與電腦視覺中常用的一種拐角檢測算符，其基本思想是利用圖像在運動時圖像的灰度值的差異來識別圖像的特性。通過Harris 算子比較了兩個圖像的檢測，兩個圖像的探測效果是完全相同的，因此，Harris 算子的性能是比較平穩的，其計算值可以用作進行特征匹配的基本資料。在采用模型擬合法進行特征匹配前，首先要對相似度進行估計，從而獲得初始的匹配效果。該方法主要是將目標圖像與特征點鄰接的相似性進行對比。通過對圖像的特征提取和判別的數據，采用了基于模式化的擬合算法進行了特征的匹配。在此基礎上，提出了一種基于RANSAC 的非線性隨機抽樣一致性算法，由于其擬合的是極線性模型的基本矩陣，其理論上是嚴格的。采用RANSAC 算法對數據進行擬合，可以最大限度地減少離群對擬合過程的影響，降低了計算工作量。最后，利用迭代法對圖像進行基本的擬合，并對大部分的誤差進行剔除，從而達到圖像與圖像幀之間的準確匹配。在圖像的匹配中，圖像的轉換模式比較簡單，常用的是仿射法或者是投影法。在配準中，采用了基于點對的方法對模型的參數進行了擬合。

2.2 目標跟蹤方法

當前，在計算機視覺中，對物體進行追蹤的主要方式有兩種：一種是對物體進行定位；另一種是利用物體的輪廓或者物體的特征來實現對物體的探測與追蹤。常用的方法有幀差法、光流法、背景減除法等。傳統的追蹤方法根據其特定的表達方式，可分成基于特征點、基于卷積核和基于輪廓的方法。

點追蹤技術就是從一個輸入的影像中抽取一個有意義的點（也就是所謂的特征點），然后用它附近的一個小的范圍來表示它的特征，然后在鄰近的影像中利用它的距離來進行匹配，從而達到追蹤的目的。所以，對點追蹤的關鍵技術有：特征點的設計和檢測、特征描述和特征匹配。在對點追蹤的基礎上，對其進行特性的優化是非常關鍵的。在進行系統的設計時，應盡可能選擇穩定且易于計算的特征點。利用拐角來進行追蹤，角是一個圓心，從四面八方觀看時，顏色和光度都會發生很大的改變。一般情況下，兩條邊沿的交叉處都會出現拐角。特征點的抽取不能過于繁瑣，會給圖像識別帶來困難。特征點的最終處理是對特征點的描述性運算，一般采用矢量法表示。特征點的描述既包括了特征點的信息，也包括了在特征點附近的幾個象素點的信息。在圖像的極限狀態下，圖像的大小、方向旋轉和灰度亮度都會發生變化，但該特征仍然能夠有效地消除這種變異，并且不會受到任何的干擾。這個位置也叫象素坐標，在此基礎上，通過計算出地球的座標來進行追蹤。

在核子跟蹤中，首先要對一幅圖像進行人工選擇，這說明了核子跟蹤一般都是以初始的目標面積代替特征點來表示；其次是構造一個濾光片和盡量大的采樣空間；最后是在采樣區域內對各采樣進行濾波，以最大的采樣中點處的采樣值為下一幀的估計值。通常采用原始標記后的目標，再乘以周期矩陣。

目標的輪廓追蹤，當要被追蹤到的物體具有很大的形狀并且很難通過常規的長方形框架來選取時，它是非常有用的。其基本思想是：首先構建上一幅圖像，然后根據此圖像在現有的圖像中找到圖像的可能位置。目標的輪廓追蹤有多種類型，其中最常見的有直方圖、目標邊緣等。

2.3 數據集構建

一般跟蹤技術采用OTB-50 和OTB-100 作為算法的有 效 性 驗 證 集，OTB-50 和OTB-100 是在2013 年提出的，所以被稱為OTB-2013 和OTB-2015。這兩個影像包括了灰色和五顏六色的影像，以及11 種不同的元素，讓研究人員可以選擇，比如光線變化、尺度變化、遮擋、變形、移動模糊、快速移動、平面內旋轉、平面外旋轉、出視野、背景干擾、像素低。幾乎所有的影像資料都含有兩種或多種特征，其中包括了一個由人工選取的目標中央和其尺寸的文字檔案。

3 機載視頻影像跟蹤技術

3.1 追蹤模塊

目標探測算法具有運算量大、能夠適應物體形變等特點。在大量的視頻和動態圖像中，單純依靠移動探測來進行長期的追蹤和鎖定是非常困難的。在目標識別中，則著重于算法的精確性，也就是將物體與背景之間精確分割。目標追蹤則更注重于運算速度，也就是能夠達到更高精度的目的。一般使用的追蹤策略是：在追蹤進程起始階段或進程期間，對運動物體進行探測，抽取運動對象的特性，構造物體的模式。利用平均偏差進行運動物體的跟蹤是一種行之有效的方法，平均偏差是一種在隨機分布的梯度中尋找最大機率的一種方法。在此基礎上，提出了一種新的基于平均偏差的運動物體的跟蹤算法。模型與圖像的匹配都是在圖像的特定區域（顏色或灰色）中進行的，然后通過相似度度量對圖像進行優化。提出了一種利用平均偏差進行物體色彩特性的新算法。在基準圖像框架中，構建了對象的模式窗，通過對窗口圖像的色彩特征進行定量。屬性空間的量化級別代表了色彩特性的效果：每個窗口的象素都可以與之相應，然后再將它們作為一個類別進行索引。各層次的色度特性是由統計學方法得出的，因此，各色度的特征量必須遵循一定的概率分布。利用核功能可以估算出該概率密度的分布。該算法的特點是：當目標的模式窗被選定后，該算法無需引入其他的參數，與其他算法相比，該算法具有更高的匹配效率和更高的實時性能。

3.2 目標追蹤

在實際應用中，對追蹤方法的實時性和精確性都有很高的需求。如果使用基于光流量的追蹤方法，其易于實施，能夠達到實時性要求，但是精度不高；如果使用基于特征點的追蹤方法，其精確度一般都很高，但是實時性很低。在保證跟蹤算法準確率的同時，如何能有效地改善跟蹤系統的實時性，是工作人員研究的重點。關聯是一種能夠直觀反映出兩個不同的信號之間的關系，當兩個信號之間的關系愈接近時，其關聯性就愈大。關聯濾波跟蹤算法的實質是通過對一個模板進行相應的關聯操作，得到各采樣點的反應和順序，選取最大的采樣點作為對象的預報點。本節主要研究了一種利用核濾波技術實現的目標追蹤方法，包括KCF(Kernel Correlation Filter)，并對其工作過程進行了理論模擬，對實驗數據進行了詳細的分析和總結。在ROS 上進行了遷移，不僅提高了算法的精度，而且還提高了算法的實時性。下一節將對相關濾波的算法和KCF 方法進行詳盡的闡述。

在關聯濾波的基礎上，KCF 是在MOSSE 基礎上進行了完善，在KCF 算法的基礎上，通過對MOSSE 的深入了解，可以更好地了解KCF 的性能。MOSSE 是一種基于相關性濾波的有效方法。MOSSE 方法和其他的濾波方法一樣，首先得到一個濾波器，然后把它加到輸入的圖像上，這樣就可以得到最大的目標和它的卷積量，從而大大減少了計算的耗時，提高了它的追蹤速度。在實際應用中，由于遮擋、亮度變化等因素的干擾，導致了對物體的實時追蹤準確性低于模擬。為有效地解決背景條件改變對目標追蹤性能的影響，往往要同時引入多個采樣信號進行濾波。MOSSE 是通過使用最少的最大誤差的二次最少值來進行濾波，通過將所有的采樣值與模板進行關聯，使其在最短的時間內獲得最好的濾波結果。MOSSE 方法采用前一幀的濾波后，在后續的幀間進行檢測，以最大的采樣點的中心為本幀圖的靶點，反復重復。在實際環境中，背景是非常復雜和變化的，很容易對跟蹤方法產生不利的影響，所以，為了提升跟蹤的準確性，我們必須要進行升級。MOSSE 算法通過對模型進行均值的修正，首先通過對當前框架中的圖像進行定位，然后將其與之前的圖像進行比較，再通過對圖像進行權重運算，從而獲得一個新的模型。這樣，即使在突發情況下，該方法也不會因為環境變化而影響其探測能力。

KCF 和MOSSE 相似，是一種基于特征跟蹤的新算法，它一般是在網上產生多個采樣點，對其進行標記，并將其應用到新的采樣中。在學習過程中，一般將物體稱為正態，而在環境中則稱為負值，選擇靠近靶心的地方為靶子的概率較高。在KCF 中，目標檢測器是一種真正意義上的關聯濾波。如圖1 所示為KCF 探測的流程圖。

圖1 KCF 流程示意圖Fig.1 KCF flow diagram

（1）首先給出要跟蹤的對象，然后進行HOG 的特征抽取，再進行濾波；（2）在接下來的幾個幀內，首先使用圓周矩陣移動下一個畫面，建立一個采樣區域，然后使用之前的一個被測的模板和采樣進行卷積，以最大的反應點作為目標的中心；（3）對濾波進行了修正，對現有的圖像進行重新抽取，并對其進行訓練，對原有的濾波進行權重相加，得到一個新的濾波。

4 結語

綜合以上分析，鑒于目前軍事和民用兩個方面的要求，本文著重探討了以無人機為基礎的地面探測與追蹤技術，并采用內置的車載攝像機采集的影像進行自動識別與追蹤。提出了一種新的基于核相關性的濾波方法，并給出了兩種新的方法：一種是利用OTB 規范的數據進行了實驗，并進行了分析，經試驗驗證，本方法具有較高的精度和實時性；另一種是通過對KCF 進行改進，結果顯示，改進的KCF 跟蹤效果比以前的KCF 提高了跟蹤精度。