基于幀差和背景建模的衛星視頻目標檢測

吳昱舟，姚力波，劉 勇，張筱晗，李家起

（1.海軍航空大學，山東煙臺264001；2.國防科技大學，長沙410073）

目前，我國獲得的中高分辨航天光學遙感數據以靜態圖像為主，無法對一些特殊或敏感區域進行實時動態監視，這就不能適應當代信息化條件下快速機動的作戰需求。另外，對火山噴發、森林火災、洪水等自然災害動態變化的監測也不能起到很好作用[1]。針對靜態衛星影像無法解決的問題，視頻衛星作為一種新型的對地觀測系統，可以獲取對感興趣區域進行實時“凝視”，以滿足實時的動態監測發展的需求。

2013年11月，美國“Skybox Imaging”公司發射的skysat-1業務型視頻衛星影像分辨率可達1.1 m，視頻30幀/s[2]。我國首個能拍攝全彩視頻的衛星是由長光衛星技術有限公司于2015年發射的2顆視頻衛星——吉林一號視頻星（1星，2星）[3]，位于太陽同步軌道，軌道高度656km，地面像元分辨率為1.13 m，覆蓋寬度達4.3km×2.4km，其分辨率、幅寬、穩定性等主要技術指標均達較高水準。2017年11月21日，長征六號運載火箭成功將吉林一號視頻衛星4、5、6送入預定軌道，此星性能指標再創新高，幅寬從原來的11km提高到19km。當前，視頻目標跟蹤主要利用地面攝像機拍攝的視頻，具有小視場、高分辨率等特點，主流算法有幀間差分法[4-5]、背景建模法[6-7]、光流法[8-9]。衛星視頻中的目標檢測相比普通監控視頻有著幅寬大、分辨率低、運動目標占比小、運動目標的紋理特征匱乏、圖像對比度低，前景和背景可識別性較弱等特征，這些特征導致了針對地面視頻的運動目標檢測和跟蹤算法不能很好地適用衛星視頻[1]。

本文以吉林一號視頻為數據源，提出了采用多幀差分法、單高斯背景建模法和改進的混合高斯背景建模法，抽取同一視頻任意2幀不同的2個區域，比較其算法標注目標數和人工標注目標數，計算出每一種算法的正確度、完整度和質量指標，以得出結論。

1 算法原理

1.1 多幀差分法

先將彩色圖像轉為灰度圖像，后選取灰度視頻幀序列中的連續n幀圖像Ii(x,y),Ii+1(x,y),…,Ii+n-1(x,y)，依次計算相鄰2幀的差值：

通過閾值T進行二值化：

將每一個像素點的二值圖像邏輯相“與”，得到該幀的最終二值圖像：

本文中，n取3。

1.2 背景建模法

背景建模法主要思路是根據當前的背景估計，將對序列圖像的運動目標檢測過程轉化為一個二值化分類過程，將每一個像素根據特定模型劃分成序列圖像背景和運動目標前景2類，再進行后期處理從而得到檢測結果。理想的背景模型是從沒有任何前景的幀圖像捕獲的圖像，但這種情況有一定局限性，不能很好地適應衛星視頻中目標繁多的特征。因此，所研究的算法必須要有一定自適應能力。背景建模方法的關鍵在于背景模型，它是分割背景和前景最重要的部分。背景模型主要分為單模態背景模型和多模態背景模型，選取模型的依據是序列圖像的模態特性。如果序列圖像的像素顏色相對單一，可以用單模態背景模型來描述。在如水波紋、晃動的樹葉、光照變化的建筑等許多復雜場景。

1.2.1 單高斯背景建模法

單高斯背景建模法（Single Gauss Background Modeling）是背景建模法中比較典型的方法之一。單分布高斯背景模型認為，對一個背景圖像，特定像素亮度的分布滿足高斯分布[10]，即對背景圖像B，每一個像素點(x,y)的亮度滿足IB(x,y) ～N(μ,d)：

即每個像素點都包含了2個屬性，均值μ和方差d。

計算一段時間內的視頻序列圖像中每一個點的均值μ和方差d，作為背景模型。對一幅包含前景的任意圖像G，對圖像上的每一個點(x,y)依次判斷，若

其中，T為閾值，則該點認為是背景點，否則認為是前景點。引入背景更新增加算法的適應性：

其中，a為更新參數。

1.2.2 混合高斯背景建模法

混合高斯背景建模法（Mixed Gauss Background Modeling）使用K（本算法K=3）個像素點的特征[11]。在混合高斯背景模型中，認為像素之間的顏色信息互不相關，對各像素點的處理都是相互獨立的。對視頻圖像中的每一個像素點，其值在序列圖像中的變化可看作是不斷產生像素值的隨機過程，即用高斯分布來描述每個像素點的多模態規律。幀圖像獲得后及時更新混合高斯模型，當前圖像中的每個像素點嘗試與混合高斯模型匹配，如成功則判定該點為背景點，否則為前景點。混合高斯模型主要是由方差和均值決定，對均值和方差的學習，采取不同的學習機制，將直接影響到模型的穩定性、精確性和收斂性[12-13]。

1.3 結合多幀差的混合背景建模法

本文算法采用多峰高斯分布模型[14-15]，依據每一幀圖像的每一個像素點按不同權值的多個高斯分布的疊加來建模，每種高斯分布對應一個可能產生像素點所呈現顏色的狀態，各個高斯分布的權值和分布參數隨時間更新。當處理彩色圖像時，假定圖像像素點R、G、B三色通道相互獨立并具有相同的方差[16-17]。

在檢測過程中只要像素點的信息符合k個高斯分布的任意一個，那么就認為該像素點是背景中的像素點；反之，該像素點則被判定為前景。t時刻第k個高斯分布的概率密度函數為：

其中，μk,t、τk,t分別是t時刻第k個高斯分布的均值和協方差矩陣。

任意像素點的某時刻的特征與該像素點之前時刻的特征有關，因此像素(x,y)符合k個高斯分布的任意一個的概率為[10-11]：

式中，ωk,t為第i個高斯分布的權重。

k個高斯混合分布根據ωk,y的值從大到小排序，一般采用前L個高斯分布建立背景模型，模型如下：

根據|z-μk,t|＜2.5σ，則認定為背景并進行背景模型更新，否則判定為前景[18-20]。將背景建模得到的前景圖和多幀差得到的前景圖相“與”，得到的結果為本文算法用于待檢測幀圖像的目標檢測結果。最后將檢測的目標幀圖像存入新建的圖像序列中，依次循環所有幀，最后得到與原視頻具有相同時間序列的檢測出目標的視頻。

本文算法主要結合混合高斯背景建模法和多幀幀差法。首先，讀取目標視頻，并對視頻進行預處理，將幀圖像轉化為灰度圖像并進行高斯濾波處理，讀取存儲每一幀圖像信息；然后，依次檢測每一幀圖像的目標。運用即時更新背景參數的混合高斯背景建模檢測出前景，同時再運用三幀幀差法檢測出前景，將2個結果進行邏輯與運算；最后，通過形態學濾波得到最后的檢測結果。

本文算法的流程圖如圖1所示。

圖1 基于多幀差分的混合背景建模法的算法流程圖Fig.1 Algorithm flow chart of mixed background modeling method based on multi frame difference

2 實驗結果與分析

2.1 實驗數據

本文采用的是吉林一號原始高清全彩視頻數據，截取同一視頻中的某2個運動因素較多的場景，截取尺寸為500×300。其中一個場景為圖2中的a）、b），另一個為c）、d）。

2.2 目標檢測結果及對比分析

圖3分別為原圖像序列截取后的圖像，即圖2中的a）、b）、c）、d）的目標人工檢視結果。圖4為三幀差法得到的2個場景第85、213幀圖像檢測結果。圖5為運用單高斯背景建模法得到的2個場景第85、213幀圖像檢測結果。圖6為經過結合多幀差分的混合背景建模法的背景提取后得到的2個場景第85、213幀圖像的背景。圖7為經過結合多幀差分的混合背景建模法后得到的前景檢測結果。

圖2 原圖像序列幀截圖Fig.2 Frame screenshot of original image sequence

圖3 原圖像序列人工標注的前景圖Fig.3 Foreground picture of the manual annotation of the original image sequence

圖4 多幀差分法檢測結果Fig.4 Detection results of multi frame difference method

圖5 單高斯背景建模法的檢測結果Fig.5 Detection results of single Gauss background modeling method

圖6 結合多幀差分的混合背景建模法的背景提取Fig.6 Background extraction based on mixed background modeling method and multi frame difference

圖7 結合多幀差分的混合背景建模法的前景提取Fig.7 Foreground extraction of mixed background modeling method and multi frame difference

本文選取正確度（Correctness）、完整度（Completeness）和質量指標（Quality）來分析檢測精度，即：Correctness=Gc/(Gc+Gw)；Completeness=Gc/(Gc+Gu)；Quality=Gc/(Gc+Gw+Gu)。其中：Gc表示正確檢測出前景的數量；Gw表示檢測出的錯誤前景數量；Gu表示未檢測出的前景的數量。

經過對圖2中4幀圖像的結果計算，得出3種方法的3個指標，結果見表1，并將結果制成圖，見圖8。

表1 不同方法的計算結果Tab.1 Calculation results of different methods

圖8 3種指標對比圖Fig.8 Three indexes contrast diagram

由表1和圖8看出，多幀差分法的完整度較高，但正確率和質量指標很低。因此，該方法在衛星視頻上雖能將大部分前景檢測出來，但由于背景晃動等原因會產生檢測率較低。單高斯背景建模法檢測正確率較高，但完整度和質量指標較低，即會有較低的檢測率。本文方法在3個指標上均達到較高水平，經實驗，該方法能適用較為復雜的場景變換和各種前景類型，從圖6中c）和d）可看出時間序列越往后，背景提取越準確，可見更新背景模型參數的重要性。另外，該方法檢測目標的形狀效果最好，對圖2 c）出現的飛機輪廓檢測效果最佳，這對判斷目標類型有很大幫助。

3 結論

本文提出結合多幀差分的混合背景建模法的，綜合了多幀差分法的虛警率低及背景建模的檢測率高的優勢，加入即時的更新背景模型部分，使算法在具有數據量大、幅寬廣，運動目標的紋理特征匱乏等特點的衛星視頻上具有很強的適用性，而且對于目標物體的輪廓提取較為準確?？朔藞鼍盎蝿印⒐庹兆兓?、目標紋理特征匱乏等原因造成的檢測效果不好，可為下一步的目標跟蹤或目標識別打下重要基礎。