遙感視頻衛(wèi)星多目標檢測、跟蹤和定位算法*

李建國，楊保河，石勝斌

（1.鄭州師范學院物理與電子工程學院，鄭州 450044；2.鄭州科技學院電氣工程學院，鄭州 450064）

0 引言

目前，隨著航天技術(shù)的迅速發(fā)展和遙感應用的逐步深入，國內(nèi)外對高分辨率衛(wèi)星的遙感應用需求已逐步由靜態(tài)偵察向?qū)崟r的動態(tài)監(jiān)測轉(zhuǎn)變［1-10］。隨著高分辨率對地觀測重大專項的實施，我國以靜態(tài)為主的中高分辨率光學遙感數(shù)據(jù)，已經(jīng)能夠滿足部分遙感監(jiān)測需求，但其無法獲取感興趣目標區(qū)域極富價值的動態(tài)數(shù)據(jù)的特點，仍極大制約著遙感衛(wèi)星在應急情況下的偵察能力［11-13］。

2015 年10 月7 日，長光衛(wèi)星技術(shù)有限公司自主研發(fā)的“吉林一號”系列衛(wèi)星在我國酒泉衛(wèi)星發(fā)射中心發(fā)射工程［14-16］。這種在超高空、大尺度、復雜星際成像環(huán)境下的動態(tài)視頻拍攝，堪稱我國航天遙感領(lǐng)域的一項革命性創(chuàng)新技術(shù)。該系列的視頻衛(wèi)星通過凝視成像模式可獲取亞米級分辨率彩色動態(tài)視頻，獲取感興趣區(qū)域連續(xù)的視頻圖像數(shù)據(jù)，特別適合于區(qū)域的動態(tài)變化監(jiān)測，如態(tài)勢變化、動態(tài)目標偵察監(jiān)視、打擊效果評估等軍事應用需求。同時，還可以滿足反恐、防災救災、智能交通管制等多方面民用需求［17-18］。

在此背景下，本文圍繞視頻衛(wèi)星這一新興航天遙感技術(shù)［18］，對視頻衛(wèi)星在“凝視”成像模式下獲取的動態(tài)遙感視頻進行全自動、高精度、高速度的信息提取，開展遙感視頻衛(wèi)星多目標檢測、跟蹤和定位算法研究，如圖1 所示。針對運動目標檢測與跟蹤需求，提出一種聯(lián)合道路掩模的混合高斯背景模型的背景差分法，該方法可顯著降低由于光照變化、陰影帶來的目標像元漏檢。針對目標幾何定位需求，提出一種基于RPC 參數(shù)的遙感影像正射校正技術(shù)，實現(xiàn)了影像行列號坐標與WGS84 經(jīng)緯度坐標之間的轉(zhuǎn)換關(guān)系［19-20］。遙感視頻衛(wèi)星多目標檢測、跟蹤和定位算法提高遙感視頻數(shù)據(jù)的智能化處理水平，大幅縮減信息提取過程中人工參與程度，為我國航天信息產(chǎn)業(yè)發(fā)展和社會經(jīng)濟進步帶來重要的促進意義。

1 遙感衛(wèi)星視頻預處理

遙感視頻數(shù)據(jù)的預處理可以實現(xiàn)對高分辨率遙感視頻影像的自動增強處理，包括高分辨率衛(wèi)星視頻特性的顏色增強、邊緣增強、噪聲去除等視頻處理功能，如圖2 所示，提高遙感視頻的視覺效果和可解譯性，改善視頻質(zhì)量、豐富信息量，加強視頻判別和識別效果，為后續(xù)遙感情報提取提供數(shù)據(jù)支撐。

圖1 遙感衛(wèi)星視頻處理流程

圖2 遙感視頻預處理

圖3 遙感影像正射校正

同時預處理操作還包括遙感影像正射校正（如圖3）。當遙感圖像在正射校正后，其中一件重要的工作就是將遙感圖像與地理坐標進行精確匹配，使遙感圖像坐標與地理信息相聯(lián)系，以利于提取有用信息。針對遙感影像由于成像系統(tǒng)以及地形等因素所引起的幾何畸變，實現(xiàn)一種基于RPC 參數(shù)的遙感影像正射校正技術(shù)。通過解析影像元數(shù)據(jù)中的RPC信息，導入數(shù)字高程模型（DEM），得到影像行列號坐標與WGS84 經(jīng)緯度坐標之間的轉(zhuǎn)換關(guān)系，按照轉(zhuǎn)換關(guān)系使用圖像重投影的方式進行投影變換，實現(xiàn)遙感影像的正射校正處理。遙感影像經(jīng)過正射校正處理，可同時具有地形圖特性和影像特性，在地形起伏較大的地區(qū)精度高，信息豐富。

2 多目標檢測跟蹤定位

遙感視頻動態(tài)目標檢測、跟蹤和定位模塊，可實現(xiàn)對遙感視頻中動態(tài)目標的自動檢測、跟蹤、研判和態(tài)勢分析，也可實現(xiàn)對遙感視頻中特定移動目標的移動速度、移動方向和移動軌跡等信息的精確提取，可為邊境線連續(xù)監(jiān)視、邊境小規(guī)模沖突處理、突發(fā)性群體事件處置、中小型軍事行動連續(xù)保障等軍事行動提供保障，為相關(guān)部門提供高時效，高精度的情報保障。

2.1 特定目標檢測技術(shù)

針對高分辨率光學衛(wèi)星影像的感興趣目標檢測與識別應用需求［21-23］，為突破傳統(tǒng)目標檢測算法定位精度、識別準確率和檢測速度較低的技術(shù)瓶頸，將最前沿的深度學習目標算法引入遙感應用領(lǐng)域。在遙感影像目標識別檢測方面，研發(fā)了基于深度學習的典型目標識別檢測算法。通過構(gòu)建典型遙感目標庫，實現(xiàn)了飛機、船舶、機場、港口等目標的自動識別與檢測。對同一類型目標，針對不同應用場景，通過算法調(diào)優(yōu)分別構(gòu)建了快速模型和高精度模型。對高分辨率光學衛(wèi)星影像紋理信息豐富的特點，構(gòu)建深度卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)和目標檢測算法框架，對高分辨率光學衛(wèi)星影像進行多層特征提取和多特征融合以提升目標識別準確度，結(jié)合上下文特征以提升定位精度。用改進Faster R-CNN［24-25］與Resnet 算法［27-28］對訓練數(shù)據(jù)集進行模型訓練，實現(xiàn)對高分辨率遙感影像的目標智能檢測，實現(xiàn)針對高分辨率光學衛(wèi)星影像的高精度智能目標檢測技術(shù)。地物目標檢測完畢后，可以輸出目標的數(shù)量，以及經(jīng)緯度信息。快速實現(xiàn)大尺度范圍地物目標檢測，及時為相關(guān)安全部門提供可靠情報信息。

圖4 特定目標檢測識別算法

圖4 展示了遙感影像智能目標檢測識別算法研究的主要技術(shù)流程，其具體細節(jié)如下：

1）使用ImageNet 模型初始化，獨立訓練一個區(qū)域生成網(wǎng)絡（RPN）；Fast R-CNN 有兩個平行的輸層；

2）使用步驟1）中RPN 網(wǎng)絡生成的proposal 作為輸入對ImageNet 模型初始化，訓練一個Fast R-CNN 網(wǎng)絡，兩個網(wǎng)絡的每一層參數(shù)完全不共享；

3）使用步驟2）中的Fast R-CNN 網(wǎng)絡初始化一個新RPN 網(wǎng)絡，將RPN、Fast R-CNN 共享卷積層的Learning Rate 設為0，僅更新RPN 特有的網(wǎng)絡層，重新訓練完畢后，兩個網(wǎng)絡實現(xiàn)共享所有公共卷積層；

4）固定共享網(wǎng)絡層，加入Fast R-CNN 特有網(wǎng)絡層，形成unified network，繼續(xù)訓練，完成Fast R-CNN 特有網(wǎng)絡層的fine-tune；

5）基于訓練好的目標檢測識別模型參數(shù)，對地物目標（如：飛機、油罐、建筑）等感興趣目標進行全自動目標檢測，如圖5 所示。

圖5 特定目標檢測識別算法（以客機檢測為例）

2.2 動態(tài)目標檢測跟蹤定位

針對視頻衛(wèi)星可對某一區(qū)域進行凝視觀測獲得的連續(xù)視頻影像的特點，實現(xiàn)高分辨率衛(wèi)星視頻動態(tài)車輛檢測與跟蹤。算法首先使用基于道路掩模處理和混合高斯背景模型的背景差分法，對運動車輛進行初步提取，同時使用車輛的幾何特征對初步提取結(jié)果進行篩選；使用基于最小二乘法的二次曲線擬合方式對運動車輛進行跟蹤。下面介紹道路動態(tài)目標的檢測跟蹤流程，如下頁圖6 所示。

首先，依次提取穩(wěn)像后的視頻幀，對視頻幀圖像進行預處理，加強影像判別與識別效果。對衛(wèi)星視頻使用基于像素樣本統(tǒng)計信息的混合高斯背景建模方法進行背景估計，利用像素在較長時間內(nèi)大量樣本值的概率密度等統(tǒng)計信息表示背景，然后使用統(tǒng)計差分進行目標像素判斷，可以對復雜動態(tài)背景進行建模。在混合高斯背景模型中，認為像素之間的顏色信息互不相關(guān)，對各像素點的處理都是相互獨立的。對于視頻圖像中的每一個像素點，其值在序列圖像中的變化，可看作是不斷產(chǎn)生像素值的隨機過程，即用高斯分布來描述每個像素點的顏色呈現(xiàn)規(guī)律單模態(tài)和多模態(tài)。對于多峰高斯分布模型，圖像的每一個像素點按不同權(quán)值的多個高斯分布的疊加來建模，每種高斯分布對應一個可能產(chǎn)生像素點所呈現(xiàn)顏色的狀態(tài)，各個高斯分布的權(quán)值和分布參數(shù)隨時間更新。

圖6 動態(tài)目標檢測與跟蹤算法整體流程圖

然后，對衛(wèi)星視頻中運動目標進行檢測。利用背景差分法，對所得到的連通域進行數(shù)學形態(tài)和統(tǒng)計分析，并計算全局閾值對圖像進行二值化處理。背景減法首先建立背景模型表示場景，再把接下來的各幀與該模型相比較并進行減法運算，所得結(jié)果即為運動區(qū)域。采用背景減法進行運動目標檢測時，背景圖像的模型與真實場景的差異大小會影響目標檢測性能，因此，通過對運動目標連通區(qū)域面積大小的判斷以濾除噪聲，增加目標檢測準確度。

最后，對提取的運動目標進行跟蹤。通過統(tǒng)計前景中的每一個運動目標的質(zhì)心位置、像素面積、平均灰度信息，考慮到不同幀中的同一目標由于在光照、遮擋等存在形變和灰度值的變化建立目標跟蹤決策。如圖6 為運動目標跟蹤算法流程圖。在進行目標跟蹤時，根據(jù)該目標的已得數(shù)據(jù)使用基于最小二乘法的二次曲線擬合方式，對下一幀車輛位置進行預測，得到預測質(zhì)心位置，并在預測質(zhì)心位置的鄰域內(nèi)進行搜索和匹配，可大幅提高搜索速度，減少計算復雜度和計算時間。經(jīng)過對運動目標逐幀跟蹤，根據(jù)前后幀相對位置，即可實現(xiàn)對運動目標包括運動方向、運動速度等運動參數(shù)的求解。

2.3 技術(shù)難點

2.3.1 道路掩模

一般來講，動態(tài)目標位于遙感圖像中的道路上。因此，為了進一步減少虛警檢測和計算量，本文采用的道路網(wǎng)提取算法結(jié)合深度學習與高分辨率衛(wèi)星影像數(shù)據(jù)［29-30］，自動、精準的提取傳統(tǒng)測繪方法無法獲取區(qū)域的路網(wǎng)信息。基于深度學習技術(shù)快速、準確地實現(xiàn)遙感影像像素級分類，通過深層卷積神經(jīng)網(wǎng)絡學習到高層次抽象特征，提高分類精度。針對分類結(jié)果，設計分類后處理功能，包括：分類合并、分類信息統(tǒng)計。

道路網(wǎng)提取如圖7 所示，針對特定地區(qū)，實現(xiàn)了對高速公路以及大部分林間道路、鄉(xiāng)村道路等小路的提取。

圖7 遙感圖像道路網(wǎng)提取

2.3.2 視頻配準

利用Sift（尺度不變特征變換）特征及GPU 加速技術(shù)實現(xiàn)亞像素級配準。Sift 特征是一種基于尺度空間、對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的圖像局部特征描述算子，該特征同時具有獨特性、多量性、可擴展性等特點，在圖像配準領(lǐng)域應用廣泛。傳統(tǒng)Sift 特征匹配算法速度較慢，對超高分辨率遙感圖像適用性較差，利用GPU 加速技術(shù)實現(xiàn)超大分辨率遙感圖像特征點快速提取匹配，GPU 下單景標準影像配準時間2.6 s，較CPU 下同樣方法120 s提升了40 倍以上。該技術(shù)是遙感圖像融合、鑲嵌等處理的關(guān)鍵部分。

2.3.3 背景差分

利用K 個高斯模型表征視頻衛(wèi)星單幀影像中各像素特征，在新一幀影像獲得后更新混合高斯模型，用當前圖像中的每個像素點與混合高斯模型匹配，如果成功則判定該點為背景點，否則為前景點。使用方形結(jié)構(gòu)（3×3）進行閉運算（前膨脹后腐蝕）。統(tǒng)計前景中的連通域（8 鄰域）的面積，將面積小于或大于某一閾值范圍的連通域進行剔除。

2.3.4 多幀多目標判決及跟蹤算法

創(chuàng)建二維索引表，記錄單幀車輛對應的位置，在預測質(zhì)心的鄰域內(nèi)進行搜索。其中預測質(zhì)心是通過前若干幀得到的待確認或確認車輛信息的質(zhì)心位置信息，進行二次函數(shù)擬合，從而得到的當前幀的預測位置。跟蹤評價指標缺失數(shù)（丟失目標的個數(shù)）：即在當前幀中沒有該目標的假設位置，也就是未找到該目標在當前幀中的預測區(qū)域。誤判數(shù)（假設位置未匹配個數(shù)）：即給出的位置假設沒有跟蹤目標與之對應。誤匹配數(shù)（失配誤差數(shù)）：該問題多發(fā)生在多目標位置過近導致的遮擋或粘連的情況下。

3 實驗

在本文中，我們在一段遙感視頻上進行目標檢測、跟蹤和定位功能驗證，視頻由長光衛(wèi)星技術(shù)有限公司提供。實驗運行在Matlab 編譯平臺上，硬件要求為Core i7-3770 CPU（內(nèi)存3.4 GB）。

3.1 動態(tài)目標檢測

圖8（a）展示了一段城市道路場景的視頻衛(wèi)星拍攝視頻。可以看到，道路上存在密集的動態(tài)車輛目標。車輛目標的尺寸有限，通常在圖像上體現(xiàn)為擴展點目標。由于車輛目標尺寸較小從而難以使用基于深度學習的檢測網(wǎng)絡得到檢測結(jié)果，本文首先采用道路掩模方法去除道路兩旁的建筑區(qū)域，從而避免道路區(qū)域外的虛警檢測結(jié)果。然后采用基于高斯混合模型的幀間差分得到動態(tài)目標的檢測結(jié)果，如圖8（b）所示。

圖8 遙感視頻動目標檢測

3.2 目標跟蹤

本文采用基于最鄰近搜索的數(shù)據(jù)關(guān)聯(lián)算法對相鄰兩幀的動態(tài)目標檢測結(jié)果進行關(guān)聯(lián)，從而得到動態(tài)目標連續(xù)的跟蹤軌跡。如圖9 所示，圖9（a）和9（b）是遙感視頻中相鄰的前后幀。與圖9（a）相比，圖9（b）中的車輛目標發(fā)生了微小的位移，這個位移遠小于不同運動目標之間的幾何距離。因此，通過在圖9（a）中每個動態(tài)目標檢測結(jié)果周圍以半徑r 進行最鄰近搜索，可以得到該目標在圖9（b）中對應的檢測結(jié)果。通過將兩個對應的檢測結(jié)果關(guān)聯(lián)，可以得到該動態(tài)目標在相鄰兩幀之間的跟蹤結(jié)果。

圖9 遙感視頻相鄰幀

為了定量評估算法的效果，利用IoU（Intersection Over Union）指標計算檢測和跟蹤算法的性能。給定每個目標檢測和跟蹤的外接矩形框rt和人工標注的真值矩形框rg，IoU 值定義如下：

表1 給出了不同搜索半徑r 對應的IoU 值，可以看到當搜索半徑為4 個像素時，本文提出的檢測跟蹤算法可以達到92.5%，幾乎所有目標都可以正確檢測和跟蹤。

表1 不同搜索半徑對應的IoU 值

3.3 目標幾何定位

根據(jù)衛(wèi)星成像模式及特征，結(jié)合衛(wèi)星測量的姿軌、行時等參數(shù)，構(gòu)建高精度幾何定位模型，實現(xiàn)影像與地面坐標的精確轉(zhuǎn)換。分析軌道誤差、姿態(tài)誤差、行掃描時間誤差，以及相機內(nèi)方位元素誤差對幾何定位精度的影響特性，獲得高精度定位信息，并解算RPC 模型。本文對圖8 中的目標進行定位分析，獲得最終的平均精度達到3.4 m，驗證本文方法思路的有效性。

在得到精確RPC 模型后，可以對遙感圖像進行幾何校正。幾何校正后的遙感影像被稱為標準影像，標準影像4 個角點的圖像像素坐標和經(jīng)緯度坐標都是已知的。因此，遙感視頻中每個目標的地理坐標可以利用像素坐標插值得到。

4 結(jié)論

隨著遙感技術(shù)的發(fā)展，未來的視頻衛(wèi)星的空間分辨率、時間分辨率以及光譜分辨率會越來越高，所獲得的衛(wèi)星視頻也將越來越清晰，通過視頻所能獲得信息也越來越多。本文研究的視頻衛(wèi)星遙感視頻數(shù)據(jù)的動態(tài)目標檢測、跟蹤、識別、定位方法，可以提高我軍遙感衛(wèi)星對動態(tài)機動小目標的偵察能力。由實驗結(jié)果可知，該算法成功地從衛(wèi)星視頻中提取了道路掩模信息，并利用高斯混合模型和背景差分提取動目標的檢測結(jié)果，利用數(shù)據(jù)關(guān)聯(lián)得到每個目標在不同幀之間連續(xù)的運動軌跡，為進一步城市交通監(jiān)控和決策提供信息支持。