面向衛星在軌實時處理的遙感視頻動目標提取算法

張鈺慧 胡瑞敏 肖 晶

(武漢大學計算機學院國家多媒體軟件工程技術研究中心 湖北 武漢 430072)

0 引 言

2017年，兩院院士李德仁于《人民論壇》[1]上發表講話，提出了建設天基信息實時服務系統(PNTRC)的重大戰略需求。遙感技術的迅猛發展使得空間對地觀測數據獲取能力不斷提升，視頻衛星作為一種新型對地觀測衛星，因其可以在一段時間內對目標區域“凝視”觀測連續成像，相較于傳統單幅影像可獲得更多時間維度上的信息，為遙感應用的深入研究提供數據基礎[2]。傳統定期靜態普查的方式已不足以滿足實際需求，利用高分辨率低軌“凝視”視頻衛星對全球熱點區域及典型運動目標進行實時監測，獲取目標的動態信息已成為當前的迫切需求。衛星視頻數據應用前景廣泛，如重點區域動態監視、軍事作戰等[3]，而衛星視頻運動目標提取任務具有高準確性和強時效性的特點，因此需要實現在軌實時智能動態監測。在星上計算資源有限的條件下，如何在軌自動檢測典型運動目標并且持續跟蹤，進而提取連續的動態位置信息，對衛星視頻智能應用具有重要意義。

提取運動目標可采用兩種方式實現：運動目標檢測和目標跟蹤。目前，針對傳統監控視頻的運動目標檢測算法和目標跟蹤算法研究已經較為成熟。然而，與傳統監控視頻中的運動目標提取任務相比，衛星視頻中的運動目標具有以下新特點[4]：1)衛星拍攝視角范圍更大，幅寬甚至可達4 km×3 km，背景環境較為復雜，運動目標的數目較多；2)運動目標與背景之間對比度低，因此更加難以區分目標和背景；3)雖然高分辨率視頻衛星可達米級空間分辨率，但相比于傳統監控視頻分辨率仍較低，運動目標所占的像素少，尺寸小，且目標特征及紋理信息難以提取；4)衛星在軌進行“凝視”拍攝視頻，觀測角度姿態調整使得視頻背景時刻變化，且建筑物高程畸變導致的視差“偽運動”難以通過運動補償去除[5]，隨著航拍視角的變化，檢測到的運動大約70%是由高層建筑的視差引起的[6]。傳統監控視頻和衛星視頻對比示意圖如圖1所示。這些差別為衛星視頻動目標提取帶來了挑戰，導致針對傳統監控視頻的經典動目標檢測算法和目標跟蹤算法難以直接應用于衛星視頻。同時，星上搭載的嵌入式開發平臺計算能力有限，經典動目標檢測算法在計算資源的約束下難以滿足實時需求。

圖1 傳統監控視頻和衛星視頻對比示意圖

經典運動目標檢測算法主要有光流法[7]、幀差法[8]和背景減除法[9-11]，其中背景減法是該方向研究的熱點。近年來，針對衛星視頻的運動目標檢測算法也研究逐漸開展。光流法通過計算像素級的運動矢量場來區分運動前景和背景，文獻[12]使用Lucas-Kanade光流法計算動目標的運動狀況，但是光流法運動復雜度高，難以實時應用。幀差法對相鄰幀之間的像素進行時間差分，設置閾值來提取運動目標，算法計算簡單。文獻[4,13]均使用背景差分和幀差相結合的方式提取運動目標，但是幀差法對環境噪聲敏感，且容易造成目標內部空洞。背景減除法通過建立背景模型來比對分割前背景像素，同時實時更新背景模型以更好地適應動態背景。文獻[14]最先于2015年開展高分辨率衛星視頻動目標研究，根據道路掩膜先驗知識，使用背景減法進行車輛檢測，文獻[5,15]使用視覺背景提取器(Visual Background extractor，ViBe)背景模型來檢測衛星視頻中的運動目標，但上述算法研究僅針對局部衛星視頻，且需要精準的道路掩膜，通過限制區域范圍來排除復雜的環境背景所帶來的噪聲影響，難以實際應用。

經典目標跟蹤算法主要分為生成式方法[16]和判別式方法[17]，其中相關濾波[18]和深度學習[19]的判別式模型成為研究的熱點，近年也陸續出現針對衛星視頻的目標跟蹤算法研究。生成式方法通過建立目標模型，搜索與模板重建誤差最小的區域實現跟蹤。文獻[20]利用灰度相似性來度量待判斷目標集與目標模板之間的相似度，但是該類方法并沒有考慮圖像中的背景信息，當目標外觀發生變化時結果產生漂移。判別式方法則通過訓練分類器將目標與背景區分開，在目標表征的基礎上加入背景信息，分類邊界更加靈活，性能更好。文獻[21-22]在相關濾波跟蹤框架上對目標特征提出改進方法。上述研究多集中在對目標的有效表征，而在目標跟蹤丟失或發生遮擋短暫消失時無法解決重新尋回的問題。

在衛星視頻的復雜環境背景中存在較多噪聲，而前景動目標尺寸較小且存在慢速動目標(例如機場跑道上未起飛的飛機、海域中的艦船等)，在影像中呈現為較不明顯的移動狀態，難以有效地與噪聲區分開。復雜的環境同樣為目標跟蹤帶來挑戰，當追蹤目標消失在背景中或者跟蹤丟失時，無法高效準確地尋回目標繼續跟蹤。同時，算法需要保證在計算資源約束下的實時性。針對上述問題，本文提出了一種面向在軌實時處理的衛星視頻運動目標提取框架，實現自動檢測、跟蹤運動目標。主要創新如下：1)設計了一種面向運動區域的圖像分類算法，在檢測出運動區域的基礎上，實現前背景分類，并有效區分飛機、艦船、火車三類典型運動目標與背景噪聲；2)針對僅使用跟蹤算法無法解決丟失尋回的問題，結合目標在下一個關鍵幀的檢測結果，設計基于多特征融合與時空約束的重檢測識別機制，判斷是否為當前追蹤目標從而關聯短程運動軌跡；3)提出了一種在軌智能實時處理系統，有效結合檢測和跟蹤算法，可實現實時自動檢測運動目標并持續跟蹤。

1 算法描述

本文算法的整體框架流程如圖2所示。為實現在軌實時提取運動目標，提升在軌運行效率，因跟蹤算法通常比檢測算法運算復雜度低得多，本文采取運動目標檢測與目標跟蹤相結合的策略，以一段時間的短程跟蹤來代替逐幀動目標檢測。對于輸入的高分辨率衛星視頻，將每隔固定間隔的幀設為一組，其中第一幀為關鍵幀，后續幀為非關鍵幀。對關鍵幀建立背景模型，通過背景減除算法檢測運動區域，之后對各個運動區域的連通域圖像進行圖像分類，區分前景和背景，準確地提取出典型運動目標的位置信息；對于非關鍵幀，根據各運動目標在關鍵幀中的初始位置對跟蹤器作初始化，采用相關濾波算法進行目標跟蹤，并持續提取運動目標在后續幀中的位置信息。最終整合動態信息，利用基于多特征融合與時空約束的重檢測識別機制對運動目標在各組的運動軌跡進行組間關聯計算，以應對跟蹤丟失的情況，形成最終的連續動態位置信息。

圖2 本文算法框架流程

1.1 典型運動目標檢測

1.1.1運動區域檢測

通過建立背景模型來檢測運動區域，本文使用文獻[11]中一種改進的高斯混合模型在關鍵幀進行背景建模。該方法對于衛星視頻緩慢運動的背景具有較好的魯棒性，且建模耗時較少，與文獻[9-10]相比具有相當的檢測精度以及更快的檢測速度。

對背景模型的二值掩膜結果進行后處理，然后對各連通域找到其最小外接矩形，從而得到運動區域圖像作為粗檢測結果。

1.1.2面向運動區域的圖像分類

高分辨率視頻衛星以“凝視”成像方式拍攝視頻原理示意圖如圖3所示，衛星在軌運行的同時對目標區域連續成像。由于衛星姿態調整以及拍攝角度變換，衛星視頻中的背景是時刻變化的，其中對運動目標檢測干擾最大的一類典型噪聲就是由于建筑物的高程視差畸變引起的偽運動。

圖3 視頻衛星凝視成像示意圖

這類視差引起的偽運動在高層建筑中表現得尤為明顯。通常在運動檢測之前會使用單應性變換、仿射變換等幀間運動模型對視頻進行運動補償，視差運動是在幀到幀的配準補償后仍能觀察到的。幀間變換運動模型是基于兩幀共享同一平面場景的假設，然而高層建筑和結構中的像素不受這種假設的約束。這些建筑結構在地球上的地理位置坐標沒有變化，但是在衛星凝視視頻中呈現出沿某一方向近似勻速運動的狀態，視差偽運動噪聲與運動目標表現出一些相似的運動特性，噪聲的尺寸有時甚至會大于運動目標。如圖4所示為視頻同一位置不同時刻的對比圖，同時用光流場來表示建筑物的視差運動，圖4中(a)為SkySat衛星視頻中的兩組建筑，(b)為吉林一號衛星視頻中的一組建筑。其中，第一行表示第1幀中的形態，第二行表示第240幀中的形態，第三行中的光流場圖表示建筑的運動狀態。可以看出，建筑物均呈現出較為明顯的運動。

圖4 高層建筑視差引起的偽運動

運動區域通常包含以下幾種類別：飛機、艦船、火車、產生偽運動的建筑物。衛星視頻運動區域圖像分類數據集具有類間相似性和類內多樣性的兩大挑戰如圖5所示。運動目標都呈現為俯視圖，雖然飛機、艦船等剛體動目標幾乎不發生形變，結構特征較明顯，但是火車僅呈現為線狀，與背景區分度低，這就導致火車類別與偽運動類別的類間相似度較高；同時，背景偽運動類別具有較強的類內多樣性。

圖5 衛星視頻運動區域圖像分類數據集

針對以上四類圖像，通過訓練深度卷積神經網絡進行圖像分類，本文在Darknet-19網絡模型[23]的基礎上進行改進。Darknet-19是YOLOv2(You Only Look Once v2)目標檢測算法中提出的分類網絡模型，用于提取深度特征。與經典卷積神經網絡模型VGGNet(Visual Geometry Group Net)相比，Darknet-19在ImageNet分類任務中表現出更好的準確性和時效性，更適用于本文所面向的衛星在軌實時處理研究。Darknet-19網絡包含19個卷積層和5個最大池化層，使用平均池化層進行預測，并輸入至Softmax計算分類結果。Softmax函數用以最小化訓練樣本的分類誤差，然而僅保證可分性，并不要求類間盡可能分離和類內盡可能緊湊。

因此，本文在Softmax的基礎上結合中心損失(center loss)函數[24]，使深度特征向量更具有判別性。目標函數設計如下：

L=LS+λLC=

(1)

式中：第一項為Softmax損失函數，第二項為中心損失函數，λ為平衡權值，cyi為類中心。

本文中面向運動區域的圖像分類網絡結構如圖6所示。通過分類算法區分三類典型目標和偽運動噪聲，從而有效地提取典型動目標在關鍵幀中的位置信息。

圖6 面向運動區域的圖像分類網絡結構示意圖

1.2 長程目標跟蹤

1.2.1短程目標跟蹤算法

本文每隔n幀設置一個關鍵幀，在關鍵幀準確獲取運動目標位置信息的基礎上，采取非關鍵幀僅跟蹤目標的策略，用短程的跟蹤替代該組逐幀檢測，從而提升算法運行速度。算法中n越大，即僅做跟蹤的非關鍵幀越多，算法整體運行速度越快。但是，當n取值過大時，關鍵幀的數量會相應的減少，則無法及時檢測新出現的運動目標以及被遮擋重現的目標，同時在后續n-1個非關鍵幀中發生跟蹤漂移的概率越大。因此，在使得算法實時運行的同時應選定盡可能小的取值，本文算法中n=15。雖然運動目標(飛機、艦船等)實際對地運動速度較快，但是在衛星視頻中呈現出的運動位移幅度較小，像素偏移量僅在幾個到幾十個的像素量級，因此在每個短程的15幀內不會發生多次遮擋丟失的情況。這樣，能夠保證同一目標在同一個短程跟蹤分組中都能被目標跟蹤算法跟蹤到，即使在當前短程幀組被遮擋后重現，也可在下一個幀組重檢測時及時檢測到。

基于相關濾波框架的目標跟蹤算法因其性能好、速度快而成為熱點算法，其中代表方法為核相關濾波(Kernel Correlation Filter,KCF)算法[18]。本文使用KCF算法作為基本跟蹤框架。KCF算法的核心思想是在目標及其周圍區域通過循環矩陣構建在線訓練樣本集，然后通過基于核函數的相關濾波器在下一幀計算圖像塊的響應值，值最大的位置即為預測的目標位置。

首先，將以目標為中心、大小為M×N的圖像塊x作為基礎樣本，對x進行循環移位得到循環圖像樣本集xm,n(m,n)∈{0,1,…,M-1}×{0,1,…,N-1}。每個圖像樣本xm,n對應有高斯函數標簽ym,n。

然后，根據圖像樣本和標簽在線訓練相關濾波分類器f(x)=wTx，使得如下目標函數最小：

(2)

式中：λ是為了防止過擬合的正則項參數。

由xm,n的集合構成循環矩陣X=C(x)，通過離散傅里葉變換(Discrete Fourier Transform,DFT)將其設置為對角線，從而將矩陣代數運算轉換成元素的點乘運算。獲得如下傅里葉空間系數α：

(3)

在下一幀的同樣位置取圖像塊z，循環移位產生檢測樣本集，并計算如下響應值：

(4)

1.2.2基于多特征融合與時空約束的重檢測識別機制

但是基于相關濾波的短程目標跟蹤算法存在一定的問題，一旦發生跟蹤結果漂移或者目標丟失，構建的循環圖像樣本集則不含有所追蹤目標，將導致跟蹤模型錯誤更新最終跟蹤失敗。本文為增強復雜場景下跟蹤的魯棒性，增加基于多特征融合與時空約束的重檢測識別機制，用于重新尋回目標，關聯相鄰組同一目標之間的運動軌跡，原理示意圖如圖7所示。

圖7 基于多特征融合與時空約束的重檢測識別機制示意圖

針對衛星視頻中目標特征和紋理信息匱乏的問題，需要對目標實現高維特征表達。在KCF跟蹤算法中對目標提取了灰度特征和方向梯度直方圖(Histogram of Oriented Gradients,HOG)特征，在下一個關鍵幀所用面向運動區域的圖像分類模型中可以利用Darknet-19網絡提取目標的深度特征，本文融合以上三種特征對目標進行特征表達，以衡量圖像對的視覺相似性：

VisFeature=(fdeep,fgray,fHOG)

(5)

同時，考慮目標出現的時空概率可能性，同一個目標不可能同時出現在多個位置，并且應隨時間連續移動。分析衛星視頻中目標的運動規律發現，動目標的運動軌跡較為規律，幾乎不發生突變。如果未發生目標跟蹤丟失的情況，同一目標在相鄰組的兩段軌跡應該是時空連續的；如果丟失，那么空缺期前后的兩段軌跡也應該是受相近時空距離約束的。本文根據相鄰短程跟蹤運動軌跡度量軌跡關聯度，設計了如下的時空約束，以衡量圖像對的時空相似性：

(6)

式中：|Ti-Tj|、δ(Si,Si)分別為待關聯目標間的時間、空間距離；Tmax、Smax分別為所有待檢索目標對之間最大的時空距離;θ用以衡量運動方向相似性。

2 實驗與結果分析

2.1 實驗數據及環境

本文選取四段衛星視頻數據進行實驗，運動目標包括飛機、艦船和火車。視頻數據如圖8所示。視頻1由SkySat衛星成像，拍攝區域為迪拜城市市區，影像中有1架飛機從城市上空飛過；視頻2由CARBONITE-2衛星成像，拍攝區域為迪拜機場，有多架飛機在跑道上行駛；視頻3由吉林一號衛星成像，拍攝區域為日本，包含海面上行駛的船只；視頻4由吉林一號衛星成像，拍攝區域為天津火車站，包含軌道上行駛的火車。視頻數據詳細信息如表1所示。

圖8 衛星視頻數據

表1 視頻數據詳細信息

為模擬星載平臺計算能力從而驗證在軌智能處理算法的有效性，在NVIDIA Jetson TX2嵌入式開發板上搭建仿真實驗環境。本文算法使用C/C++語言在開發板Ubuntu系統上實現，GPU為NVIDIA Pascal架構、256個NVIDIA CUDA核心，CPU為雙核Denver2 64位CPU和四核ARM A57 Complex，內存為8 GB 128位LPDDR4。算法中使用的面向運動區域的圖像分類模型使用服務器進行訓練，GPU為GeForce GTX 1080 Ti，然后將訓練好的模型移植到嵌入式開發版進行集成實驗。

2.2 實驗一：面向運動區域的圖像分類

為訓練面向運動區域的圖像分類網絡，從上述四段衛星視頻以及AID(Aerial Image Dataset)[25]、DOTA(Dataset for Object deTection in Aerial images)[26]兩個遙感圖像數據集中截取前、背景圖像塊，制作成包含airplane、ship、train、background四類樣本的2 000幅運動區域圖像數據集，如圖5所示，樣本圖像大小為128×128像素，其中80%用作訓練集，20%作為測試集。

使用定量指標評估分類的結果準確度，因為數據集只有四個類別，本文使用top-1正確率來衡量算法準確率，即對于一幅圖片預測概率最大的類別是正確類別的概率。對比本文改進模型與文獻[23]模型的分類準確率，實驗結果如表2所示，改進的目標函數使得分類結果提升了5%，錯誤分類的情況主要發生在火車類別與背景類別。

表2 圖像分類結果對比(%)

2.3 實驗二：消除運動目標檢測中偽運動誤檢

將本文設計的圖像分類模型應用于去除偽運動誤檢，評估關鍵幀的運動目標檢測結果。分別使用文獻[9-11]算法進行運動前景檢測，并在文獻[11]算法的基礎上結合本文提出的圖像分類算法，對比運動目標檢測結果，定性實驗結果如圖9、圖10所示，其中：圖9為運動區域檢測實驗結果，圖10為根據背景模型掩膜提取到的運動目標結果。使用定量指標準確率(Precision)、召回率(Recall)和F值(F-measure)綜合衡量動目標檢測性能，計算方法如下：

圖9 運動區域檢測對比結果

圖10 運動目標提取對比結果

(7)

(8)

(9)

式中：TP表示正確檢測到的目標數量；FP表示被誤檢為目標的目標數量；FN表示漏檢的目標數量。

文獻[9]算法可以檢測出尺寸小、運動緩慢的動目標，但是背景噪聲誤檢率高，在視頻1、4上實驗出現大面積的誤檢，并且該算法存在鬼影現象，視頻1、2的第一幀存在有運動的飛機，在此后的背景模型中均出現第一幀中飛機位置的誤檢。文獻[10]算法對噪聲抑制效果較好，但目標缺少邊緣信息，同時也會將緩慢運動的目標濾除，漏檢率高，可以看出該算法在視頻1上的實驗結果非常好，準確地檢測出運動飛機，但是視頻2運動緩慢的目標以及視頻3中船只、視頻4的火車均未檢測到。文獻[11]算法可以完整地檢測出運動目標，但存在誤檢情況，視頻1、4為城市場景，高層建筑較多，因此出現建筑物頂端的偽運動誤檢，視頻3中空中飄過的云團對檢測結果造成干擾。使用文獻[11]算法結合本文提出的面向運動區域的圖像分類模型，可以在保證運動目標不漏檢的情況下濾除背景噪聲。對視頻1的運動區域分類，可以有效去除建筑物頂端的誤檢；對視頻3的運動區域分類，可區分開船只和云團；視頻4場景中市區的高層建筑分布密集，對視頻4的運動區域分類，可去除大部分建筑物引起的誤檢，但是對于一些呈線狀的邊緣噪聲并未與火車目標區分開。實驗結果說明本文方法具有更好的準確性，可更為精確地提取典型運動目標，但是針對視頻中有火車類別以及線狀邊緣噪聲仍存在誤檢情況。

對每段視頻數據分別計算以上三個指標，并求均值，記為Precision_avg、Recall_avg和F-measure_avg，定量實驗結果如表3所示。

表3 關鍵幀運動目標檢測結果

2.4 實驗三：基于多特征融合與時空約束的重檢測識別機制

當場景較為簡單時，在每個幀組中各目標都可被短程準確跟蹤，在下一個幀組重新檢測時把跟蹤的運動軌跡首尾相連，可形成完整軌跡的即可判斷為同一運動目標。而在復雜場景中，一個目標的各個短程跟蹤軌跡很可能不是正好首尾相連的。

為驗證本文算法的魯棒性，選取部分復雜場景進行實驗驗證。視頻1中出現飛機融入背景的情形，在視頻3中手動添加遮擋區域。當算法中不添加該機制時，目標經過干擾區，在當前幀組中跟蹤丟失，而當等到下一個關鍵幀檢測時，會將重新檢測到的目標判定為新目標，無法實現長程追蹤。在算法中添加該機制，當目標通過干擾區后，可計算兩段軌跡對應目標的相似度，判定是否為同一目標，關聯目標的短程軌跡片段，實現長程跟蹤。定性實驗結果如圖11所示。

圖11 重識別軌跡關聯結果

同時使用定量指標rank1來衡量重檢測識別機制的性能，rank1是指搜索結果中置信度最高的一個目標圖像就是正確結果的概率。定量實驗結果如表4所示。

表4 重檢測識別機制定量結果(%)

2.5 實驗四：長程目標跟蹤

為驗證本文算法應對長程跟蹤的性能，對本文提出的結合運動目標檢測、短程目標跟蹤與基于多特征融合與時空約束的重檢測識別機制三個模塊的衛星視頻在軌智能處理算法進行實驗。分別使用文獻[9-11]算法進行逐幀檢測運動目標，同時使用本文算法持續提取運動目標，并對比實驗結果。使用定量指標準確率(Precision)、召回率(Recall)和F值(F-measure)綜合衡量算法性能，對每段視頻數據分別計算以上三個指標并求均值，記為Precision_avg、Recall_avg和F-measure_avg，實驗結果如表5所示。

表5 運動目標長程提取結果

對比表5與表3中所示的本文算法實驗結果，可以看出Recall_avg指標有所下降，該現象產生原因主要是遮擋丟失目標重現時并不正好是關鍵幀，如果在當前幀組或下一幀組中的某一幀重現時，無法立即重新檢測到，導致出現幾幀的漏檢現象。但是，對比表5中的其他數據，可以看出本文算法在整體精度上仍然優于其他算法。

2.6 實驗五：仿真環境系統實驗

為驗證本文算法的準確性和時效性，在NVIDIA Jetson TX2嵌入式開發板仿真環境下進行整體系統實驗。運動目標提取定量對比實驗結果如表5所示，本部分將重點衡量算法面向在軌實時處理的時效性。表6為各運動目標檢測算法在仿真環境下的運動速度。表7為本文算法框架在每個幀組各模塊耗時情況，其中：模塊一為關鍵幀運動區域檢測；模塊二為面向關鍵幀運動區域的圖像分類；模塊三為剩余非關鍵幀短程目標跟蹤；模塊四為基于多特征融合與時空約束的重檢測識別機制。衛星采集視頻幀率通常為10～20幀/s，本文將關鍵幀的間隔設置為每隔15幀進行一次運動目標檢測，其余幀僅跟蹤。既可以通過短時跟蹤代替逐幀檢測提升運行效率，又可以在跟蹤丟失或者出現新目標時及時重新檢測。實驗結果表明本文算法可實現自動檢測且跟蹤運動目標，且具有較好的時效性。

表6 仿真環境下各檢測算法運行速度

表7 仿真環境下本文算法每組中各模塊耗時

3 結 語

為了解決復雜背景引起的誤檢、跟蹤丟失的問題，同時計算資源有限難以實時檢測動目標，本文提出一種面向在軌實時處理的衛星視頻運動目標提取算法。首先在檢測運動區域的基礎上對運動區域圖像進行分類，準確篩選出感興趣運動目標；然后跟蹤目標，并使用基于多特征融合與時空約束的重檢測識別機制關聯同一目標的短程跟蹤軌跡，以短程跟蹤代替逐幀運動檢測從而提高運行效率，有效結合檢測跟蹤算法，達到在仿真環境下實時提取的效果。實驗證明，本文算法可以有效抑制背景噪聲的干擾，尤其是高層建筑物視差位移一類噪聲，同時在仿真環境下表現出較好的準確性和時效性，在衛星視頻智能實時應用處理領域具有一定的應用前景。