基于序列圖像的目標感興趣區自動提取研究*

羅 航 楊華高

(海軍駐景德鎮地區航空軍事代表室 景德鎮 333002)

?

基于序列圖像的目標感興趣區自動提取研究*

羅 航 楊華高

(海軍駐景德鎮地區航空軍事代表室 景德鎮 333002)

論文在分析傳統目標檢測算法的基礎上，將背景差分法、幀差法相融合，提出了一種基于差分融合的目標檢測算法，應用于靜態場景序列圖像目標感興趣區自動提取；提出了基于QP_TR域圖像對準的運動目標檢測算法，應用到平移運動平臺下序列圖像感興趣區自動提取，經實驗驗證上述算法具有較好的針對性，取得了良好的效果。

直升機; 感興趣區; 作戰仿真

Class Number TP391

1 引言

現階段無人機、預警直升機紅外導引頭的感興趣區域編碼技術主要是基于單幀(幅)圖像，然而實際過程中，獲取的信息通常是序列圖像形式。本文將探討基于序列圖像的感興趣區自動提取問題。從軍事應用角度出發，序列圖像中的感興趣區即是運動目標所在的區域。因此序列圖像的感興趣區提取過程實質上就是運動目標檢測、運動目標區域提取這兩個過程。

現有的運動目標定位方法主要有三類：光流法[1]、幀差法和背景差分法。光流法抗噪性能差，在沒有特殊硬件支持的條件下很難滿足實時性要求[2]，本文不對其作研究和討論。在研究背景差分法、幀差法等傳統目標檢測算法的基礎上，重點研究靜態和動態場景下目標檢測算法問題。通過目標提取之后，可直接應用圖像投影技術，生成目標感興趣區，不在贅述。

2 傳統的目標檢測算法分析

2.1 背景差分法

背景差分法[3]是采用圖像序列中當前幀和背景參考模型的差值運算來檢測運動目標。設t時刻背景模型參考圖像為fb(t)，當前幀圖像為fc(t)，則背景差分圖像為

f(x,y,t)=|fc(x,y,t)-fb(x,y,t)|

(1)

設分割閾值為T，那么二值化差分圖像為

(2)

2.2 平均值法

顧名思義，平均值法就是通過計算多幀圖像灰度的平均值來近似地模擬背景圖像，其計算方法如式(3)所示。

(3)

其中，B(i,j)表示在重構的背景圖像中，坐標為(i,j)的像素點的灰度值。N表示用于計算灰度平均值的圖像幀數，fk(i,j)表示在第k幀圖像中，坐標為(i,j)的像素點灰度值。m和n分別表示每幀圖像的寬度和高度。

2.3 幀差法

幀差法是通過計算相鄰幀圖像中像素點的灰度差計算出運動目標的位置與形狀等信息[4]。常用的方法主要有相鄰幀圖像差分法和對稱差分法。

1) 相鄰幀圖像差分法

相鄰幀圖像差分法的計算過程可用下式來表示：

dk(x,y) =|Ik(x,y)-Ik-1(x,y)|

(4)

其中，Ik(x,y)、Ik-1(x,y)為連續兩幀圖像，dk(x,y)為幀差圖像，T是二值化閾值[5]。

2) 對稱差分法

對稱差分方法也稱為連續三幀圖像差分法，就是由三幀連續圖像的差值得到中間幀運動目標的輪廓，這種方法能夠去除因為運動而顯露的背景的影響，從而得到準確的運動目標輪廓。設Ik-1(x,y)、Ik(x,y)和Ik+1(x,y)分別表示連續三幀圖像，dk-1,k(x,y)、dk,k+1(x,y)分別表示相鄰兩幀差分后的二值圖像，且有：

(5)

(6)

(7)

背景差分法定位精確、速度快，但它需要建立背景模型對背景進行估計，在復雜環境中進行目標檢測時，成像目標背景復雜，往往很難找出一種合理的背景模型。幀差法具有計算速度快，對動態背景適應快，特別適用于細節信息比較模糊的紅外視頻圖像。在靜止背景場合中，幀間差分法能夠取得很不錯的檢測效果。但在成像系統和目標都存在運動的復雜背景下，直接利用幀間差分法無法進行有效的目標檢測。

3 傳統目標檢測算法的適用范圍

對于靜態場景或靜態場景變化不大圖像序列而言，可通過背景建模的方法獲取背景模型，依據背景差分法可進行運動目標檢測。然而整個背景建模過程中需要分析多幀圖像，且無法適應背景的任何變化。因此為了提高靜態場景序列圖像檢測算法的魯棒性，開展了基于差分融合的目標檢測算法研究工作。

3.1 靜態場景序列圖像目標感興趣區自動提取研究

為了解決背景差分法背景模型更新問題，將幀間差分和背景差分相結合，參照文獻[6]相關思路，設計了一種基于差分融合的在線學習的目標檢測算法(具體流程如圖1所示)。

圖1 基于差分融合的在線學習的目標檢測算法流程

該算法主要涉及以下幾個問題：

1) 背景建模

分析相鄰幀圖像，會發現背景像素點隨時間緩慢變化，在一定的時間里差別不大。而物體運動變化區域對應的像素點變化很大。因此可假設在一定的時間段t里，由序列圖像中每一個背景像素點組成的集合服從各自的高斯分布，均值為μ(i,j)和標準方差σ(i.j)。在模型初始化時，由于序列圖像中每一個像素點的分布是未知的，因此取第一幀中該像素點的灰度值作為μ(i,j)，而將標準方差σ(i.j)設為0。事實上實際的背景模型是通過不斷學習新幀而得到的，兼顧了過去的背景信息，所以該方法對實際圖像中的偶然變化有一定的抑制作用。

2) 相鄰幀變化區域的檢測

幀間差分能夠檢測出相鄰兩幀間發生了變化的區域。在簡單背景下，這個區域主要由包括運動目標在前一幀所覆蓋的區域即顯露區P，運動物體在當前幀所覆蓋的區域Q。示意圖如圖2所示。

圖2 相鄰幀變化區域示意圖

設fk(i,j)，fk+1(i,j)為相鄰兩幀各點像素的灰度值，對其進行差分。

若|fk(x,y)-fk+1(x,y)|T，那么運動變化的區域M(i,j)=fk+1(i,j)。一般來說，對256級灰度圖像，與前述的像素灰度歸類法一樣，灰度閾值T取10～25。

3) 運動目標檢測

4) 背景更新

對于區域B(i,j)中的像素點，用下述的規則來進行背景更新：

uk+1(i,j)=(1-α1)μk(i,j)+α1fk+1(i,j)

將區域B2(i,j)中的像素點用以下的規則進行更新：

uk+1(i,j)=(1-α2)μk(i,j)+α2fk+1(i,j)

其中α1,α2為更新率，fk+1(i,j)表示新幀中的像素點灰度值。這里α1,α2的取值是不同的，考慮到B2(x,y)中的點是前幀中被運動物體覆蓋的區域，在當前幀中被重新顯露出來，所以α2的值取得較大，在0.8以上。實驗表明, 這種處理策略使得在建模時即使有運動的物體存在，也會隨著運動物體的移動而迅速得到背景模型[7]。對最終檢測為運動物體的區域Mo(i,j)不予更新。

3.2 靜態場景序列圖像目標感興趣區域自動提取實驗與分析

選取紅外飛機序列圖像(共計110幀，每幀圖像大小256×200，飛機尺寸由小到大)作為實驗對象。仔細分析該圖像序列，發現第31幀圖像到第70幀圖像、第71幀圖像到第110幀圖像之間的背景也差別不大，飛機成面目標狀態。因此可以將其作為靜態場景圖象序列目標檢測與感興趣區提取的實驗對象。按照基于差分融合得在線學習的目標檢測算法的流程，實驗步驟主要分為：1)選取第一幀為初始背景圖像，對背景模型進行初始設置；2)選取相鄰兩幀進行幀差操作，并進行變化區域檢測；3)利用背景模型，針對差分圖像進行目標檢測，并進行背景更新操作；4)差分圖像二值化，并進行形態濾波；5)圖像投影技術自動提取感興趣區，形成感興趣區模板Mask。

在實驗過程中，選取代表性的相鄰兩幀圖像(如第38、39幀，第99幀、100幀)，進行靜態場景圖象序列目標檢測與感興趣區提取。針對38幀、39幀，基于差分融合的運動目標檢測過程如圖3所示。

以第31幀圖像為初始背景圖像，如圖3(a)。取第38，39幀圖像進行差分(效果如圖3(d))，并通過與背景模型比較，進行二值化分割，效果如圖3(f)。最后經形態學濾波提取目標。

圖3 基于差分融合的運動目標檢測過程(針對38幀, 39幀)

針對第99幀、100幀，基于差分融合的運動目標檢測過程4所示。所提取的感興趣區掩模Mask如圖5所示。

圖4 基于差分融合的運動目標檢測過程(針對99幀, 100幀)

圖5 提取的感興趣區掩模Mask

4 動態場景圖像序列目標感興趣區 自動提取研究

4.1 動態場景圖像序列運動目標檢測問題分析

運動目標檢測技術在軍事偵察和武器制導方面有著十分重要的實用意義。軍事運用中，運動目標檢測的背景一般都是復雜背景。在復雜背景中，影響圖像質量的因素主要有以下幾種：目標的運動、背景的變化、載體平臺的運動及其他震動和晃動等。在以上條件下形成的動態場景的序列圖像質量差、對比度低；還存在晃動、環境的干擾等。現有動態場景圖像序列中運動目標檢測方法主要包括全局運動補償和運動目標分割兩個步驟，其中全局運動補償處于基礎性地位。各國學者對此展開研究并提出了大量的方法[8～10]，獲得了一定的成功。這類檢測方法的基本思想是：首先估計出相鄰幀間的全局運動參數；然后運用這些參數補償全局運動；最后利用差分法完成運動目標檢測。本節將從運動目標檢測的實時性出發，研究了一種基于QP_TR信任域圖像對準的運動目標檢測算法。

4.2 基于QP_TR信任域圖像對準的運動目標檢測算法

基于QP_TR信任域圖像對準的運動目標檢測算法是基于“全局運動補償+差分法”的研究思路進行設計的，這一點同現有動態場景圖像序列中運動目標檢測方法都是一樣。唯一不同，相鄰幀的全局運動參數是通過QP_TR信任域算法進行求取。具體的算法框圖如圖6所示。

圖6 基于QP_TR信任域圖像對準的運動目標檢測算法框圖

以巡邏攻擊導彈為探測目標，在巡邏偵察階段是絕大部分時間內是處于平飛狀態，可看作是快速平移運動。若將上一幀像素在下一幀中的位置設為，由快速平移運動模型可知：

u=x+Δx

v=y+Δy

其中，Δx，Δy代表著圖像全局運動參數。正確的Δx，Δy將使前后兩幀間的像素灰度差最小，即使下式取最小值：

QP_TR信任域算法在第1層中的運動參數計算過程如下：1)以該層圖像中心點為中心，抽取長寬分別為該層圖像長寬1/S的子圖像作為計算圖像；2)若該層是最高層，則初始化Δx0=Δy0=1，否則Δx0=2(Δx)l-1，Δy0=2(Δy)l-1。Δend=1，Δ0=min(CL-1,RL-1)/4，MAXner=100；3) 以f(x)=E2(Δx,Δy)為目標函數，在計算圖像上使用QP_TR信任域算法優化，優化得到(Δx,Δy)l，為該層兩幀間圖像全局平移距離(以像素為單位)。

通過QP_TR信任域算法，得到平移矢量之后，由于數字圖像以像數為單位，且是整數型式，因此在實際過程中，以平移矢量(23,30)對第二幀圖像進行位移校正并對兩幀圖像進行配準，對配準后的圖像進行幀間差分操作。為了說明基于QP_TR信任域圖像配準算法的重要性，將兩幀直接差分與配準后的差分圖像進行了對比分析，效果如圖8所示。

圖7 兩幀紅外圖像作兩層高斯金字塔分解的效果

圖8 差分效果比較

將差分圖像進行閾值分割，分割效果如圖9所示。

圖9 直接閾值分割的對比分析

經過數學形態濾波、圖像投影技術，獲取的感興趣區Mask如圖10所示。

圖10 感興趣區提取過程

5 結語

本文在分析傳統目標檢測算法的基礎上，將背景差分法、幀差法相融合，提出了一種基于差分融合的在線學習的目標檢測算法，并將其應用于靜態場景序列圖像目標感興趣區自動提取過程中；在分析動態場景圖像序列運動目標檢測問題的基礎上，提出了基于QP_TR域圖像對準的運動目標檢測算法，將其應用到平移運動平臺下序列圖像感興趣區自動提取，經實驗驗證上述算法具有較好的針對性，取得了良好的效果。

[1] Barron J. Fleet D. Beauchemin S. Performance of optical flow-techniques [J]. International Journal of Computer Vision,1994,12(1):42-77.

[2] 董士崇,王天珍,許剛.視頻圖像中的運動檢測[J].武漢理工大學學報(信息與管理工程版),2004,26(1):1-3.

[3] K. Toyarea, J. Krumm, B. Brumitt, B. Meyers. Wallflower: Principles and Practice of Background Maintenance[C]//International Conference on Computer Vision,1999:255-261.

[4] 衣秀清.靜態場景下運動目標檢測與跟蹤算法研究[D].濟南:山東大學學位論文,2006:2-50.

[5] 周西漢,劉勃,周荷琴.一種基于對稱差分和背景消減的運動檢測方法[J].計算機仿真,2005,22(4):117-119.

[6] 朱明旱,羅大庸,曹倩霞.幀間差分與背景差分相融合的運動目標檢測算法[J].計算機測量與控制,2005,13(3):215-217.

[7] 曾脈,左志宏,常曉夫,等.一種準確而快速的運動目標檢測算法[J].成都信息工程學院學報.2008,28(4):370-373.

[8] TsaigY, Averbuch A. Automatic segmentation of moving objects in video sequences: A region labeling approach [J]. IEEE Transactions on Circuits and System for Video Technology,2002,12(7):597-612.

[9] NeriA, Colonnese S, RussoG,et al. Automatic moving object and background separation[J]. Signal Processing,1998,66(2):219-232.

[10] Chien SY, Ma SY, Chen LG. Efficient moving object segmentation algorithm using background registration technique [J].IEEE Transactions on Circuits and System for Video Technology,2002,12(7):577-586.

Automatic Extraction of Target Region of Interest Based on Sequence Image

LUO Hang YANG Huagao

(Navy Representative Office of Aviation in Jingdezhen, Jingdezhen 333002)

In this paper, based on the analysis of traditional target detection algorithm, combined with background difference method and fusion frame differential method, a target detection algorithm is proposed to extract the static scene sequence image target ereas of interest automatically, and a moving target detection algorithm based on QP_TR domain is proposed to apply to the mobile platform automatic extraction sequence image areas of interest. The experiment shows the algorithm has good pertinence and effect.

helicopter, ROI(region of interest), combat simulation

2016年5月10日,

2016年6月26日

羅航,男，助理工程師，研究方向：航空機械。

TP391

10.3969/j.issn.1672-9730.2016.11.022