一種改進的幀間差光流場算法

吳振杰，毛曉波

鄭州大學 電氣工程學院，鄭州 450001

一種改進的幀間差光流場算法

吳振杰，毛曉波

鄭州大學 電氣工程學院，鄭州 450001

1 引言

序列圖像中的運動目標檢測與追蹤技術是圖像處理與計算機視覺研究領域一個非常活躍的分支，在國民經濟和軍事領域有著廣泛的應用。對運動目標的檢測是視覺跟蹤、目標分類、行為理解等各種后續處理的基礎。目前研究運動目標檢測的方法有背景減除法、幀間差分法和光流場計算法等多種[1]。

背景減除法能提供完整的特征數據，且算法簡單、快速，但對于如光照、陰影、背景擾動等環境變化特別敏感。幀間差分法對光照等環境變化的適應性強，但通常只能獲得運動目標的部分信息，難以提取出物體完整的輪廓，同時也容易受到噪聲干擾。光流場方法[2]反應了序列圖像中的速度場，善于在運動場景中捕捉運動對象的運動特征，它對圖像的運動場進行估計，能夠直接用于攝像機運動下的目標檢測[3]，且不需要預先知道場景的信息，檢測結果精確可靠。但大多數光流算法計算復雜，不適合實時處理。鑒于直接光流計算算法復雜且耗時太多，本文提出一種結合幀間差的光流計算方法，先對序列圖像進行隔幀差分，針對差值圖中不為零處的像素（它們往往對應于灰度梯度較大的點）來計算其光流，較之計算整個運動物體的光流場更為可靠、精確和快速。

2 隔幀差分法的運動區域提取

運動目標檢測方法中許多是基于目標圖像幀序列的灰度變化進行目標判別的[4]，當視頻幀圖像中出現運動目標時，連續兩幀之間灰度值會出現較為明顯的差別，兩幀相減得到兩幀圖像灰度值差的絕對值，通過閾值化和濾波等方法檢測運動目標。該方法具有簡單高效的特點，但對運動速度慢和弱小目標檢測效果不理想。為了檢測到不同運動速度的目標，并提高檢測速度，采用隔幀差分法[5]先檢測包含運動目標的區域，再用光流法在上述區域精確檢測目標。

視頻序列圖像在經過中值濾波預處理后，去掉圖像隨機噪聲，再將彩色的視頻圖像進行灰度變換，得到灰度圖像。灰度模式可以使用多達256級灰度來表現圖像，使圖像的過渡更平滑細膩。灰度圖像的每個像素有一個0（黑色）到255（白色）之間的亮度值。

在經過灰度變換后的動態視頻圖像中，以間隔n幀選取三幀圖像，其中前一幀圖像fi-n(x，y)，當前幀圖像fi(x，y)，下一幀圖像fi-n(x，y)。當n=1時，就是傳統連續幀差分計算，當n=2時，為隔1幀差分，當n=3時，為隔2幀差分，依此類推。隔幀的時間間隔選擇取決于運動目標的速度和大小，對快速運動或者大的物體，需要選擇較小的時間間隔；對慢速運動或者弱小的物體，需要選擇較大的時間間隔。

計算當前幀與前一幀的前向幀差圖像FDb(x，y)和下一幀與當前幀的后向幀差圖像FDf(x，y)，通過閾函數值T，對隔幀差分后的圖像進行閾值化處理，得到隔幀差分后的二值圖像，其計算公式如式（1a）、（1b）所示。本文利用文獻[6]介紹的二維Otsu閾值化的快速算法，確定閾值T。按式（2）計算幀差圖像FDb(x，y)和FDf(x，y)的交集得到運動目標的運動區域E(x，y)。

隔幀差分的方法不僅能完整檢測到大的目標，而且可以檢測到幀間位移小于1個像元而多幀累積位移大于1個像元的運動點目標，因此不僅提高了視頻運動目標檢測速度，還提高了檢測目標的能力。

3 改進光流場算法的運動目標檢測

3.1 光流算法原理

所謂光流指圖像中灰度模式運動速度。光流計算進行像素級運動估計，記t時刻圖像上的點(x，y)處的灰度值為I(x，y，t)，如果u(x，y)和v(x，y)是該點光流的x和y分量，點在t+dt時運動到(x+dx，y+dy)時（其中dx=udt，dy=vdt），對應的灰度值為I(x+dx，y+dy，t+dt)，假定它與I(x，y，t)相等，即

將左邊在(x，y，z)點用泰勒公式展開，經簡化并略去二階和二階以上項可以得到基本光流約束方程為：

由于光流場U=(u，v)T有兩個變量，而基本約束方程只有一個，只能求出光流場沿梯度方向的值，因此從基本光流方程求解光流場是一個不適定問題，必須引入附加約束條件。

Horn和Schunck[7]使用光流在整個圖像上光滑變化的假設來求解光流，即運動既滿足光流約束方程又滿足全局平滑性。Horn附加約束條件的基本思想是要求光流本身盡可能平滑，即引入了對光流的平滑性約束使平滑約束項極小化。即極小化Es：

盡可能得小。另一方面，由基本等式，當然要求極小化Ec：

盡可能得小，于是將光流場(u，v)的計算歸結為求如下的變分問題的解：

其中λ是一參數，它決定了上述兩種誤差（一種是偏離光滑性要求的誤差Es，另一種是偏離基本等式的誤差Ec）之間的相對權重。對此，采用迭代法求解：

其中n是迭代次數，u0和v0是光流的初始值，一般取為零。當相鄰兩次迭代結果的距離小于預定的某一小值時，迭代過程終止。在以上公式中，如果Ii，j，k表示圖像在(x，y，t)點的強度I(x，y，t)，Ii，j，k+1表示圖像在(x，y，t+dt)點的強度I(x,y,t+dt)，那么Ix，Iy和It可由下式近似計算：

3.2 動態圖像模型用于光流法改進

由于光流場的不連續性及違反守恒假設條件處光流場分布是不可靠的，針對差值圖中不為零處的像素對應于灰度梯度較大的點，而這些點處的光流場基本方程近似成立。采用這種約束措施后，可使得計算出的光流場分布更為可靠和精確，同時也減少了計算量。因此，通過修正的光流定義來表示在動態圖像中的幾何變化和輻射度變化。這個修正的定義是用三個元素的向量來代替傳統的兩個元素向量。其中第三個元素表示這個點的亮度變化，引入通用動態圖像模型（GDIM）[8]，用來解決在亮度變化條件下光流估計問題中的輻射度變化。在GDIM中亮度變化描述成為數乘和一個偏移量。結合在上面公式（2）中得到的運動區域和GDIM模型定義新的約束模型：

其中m(r)和c(r)分別表示場亮度變化場的數乘和偏移量；r=[x，y，z]T是時空維上的一個點。基于GDIM的擴展光流模型為：

Er是幀差[9]區域中任意點的灰度，從t到t+dt的時間間隔里，圖像中這點的灰度變化為dE=E(r+dr)-E(r)。在時變圖像中同時包含了圖像灰度模式的幾何變化和輻射度變化的信息。m(r)的期望值接近于1，c(r)的期望值接近于0。當m(r)=1和c(r)=0時這個方程還原為亮度守恒的光流約束方程。

u，v和m，c四個變量由下式計算得到：

其中，W是一個很小的空間領域，這里取9×9像素大小。Ex，Ey和Et，E的計算與式（9）相同。通過該公式和初值可以快速準確計算出運動點的速度、坐標、方向和灰度值等運動信息，從而準確檢測出運動目標。再通過對光流算法獲得的運動信息進行后處理，可以完整地提取出檢測到的運動目標[10]。本文改進算法的流程如圖1所示，主要分為區域分析和光流分析兩個階段。

圖1 改進光流算法流程

區域分析階段通過聯合幀間差分法提取運動對象所在區域；光流分析階段對區域進行光流計算提取運動對象特征。

4 實驗結果分析

下面對上述算法進行實驗分析。實驗系統環境為Windows XP，實驗用軟件Visual C++6.0、OpenCV視覺庫。

實驗選用測試序列SampleVideo.avi和highway.avi。圖2和圖3分別給出了標準SampleVideo和highway序列分別用幀間差分法、上文的HS光流法和本文的隔幀差分光流法進行視頻運動檢測的比較結果。其中，（a）為原始視頻圖前一幀圖像，（b）為后一幀的圖像，（c）是背景圖像，（d）為隔幀差分法檢測結果，（e）為HS光流法檢測的結果，（f）為本文算法檢測結果。

圖2 samplevideo序列檢測結果比較

圖3 highway序列檢測結果比較

為了定量評價兩種算法的優劣性，分別計算了兩種算法的用時，其對比如表1所示。

表1 兩種算法結果耗時定量比較 s

對光流計算結果進行誤差估計，假定Vc(x，y)為真實的運動向量，Vg為計算所得的運動向量，則可以采用如下的方法進行誤差估計，結果為表2和表3。

表2 SampleVideo序列兩種光流算法誤差比較

表3 highway序列的兩種光流算法誤差比較

（1）單個角度誤差Ψ=arccos(Vc·Vg)

通過用時和誤差分析可以看出，本文算法具有用時短、魯棒性強、穩定性高的特點，能夠比較穩定檢測出圖像序列中的光流。

5 結論

本文主要研究了幀間差光流場算法的原理以及應用，針對于光流算法在光流約束方程不成立時存在的無法檢測到目標，本文提出了一種改進方法，引入通用動態圖像模型，建立了像素點的梯度較大處的新的約束方程，提高了檢測的精確性和檢測時間，并且通過實例仿真，證明了算法的有效性與合理性。

[1]張娟，毛曉波，陳鐵軍，等.基于視頻流連續性的快速運動目標檢測方法[J].計算機應用研究，2010，27（8）：3198-3200.

[2]Stein F.Efficient computation of optical flow using the census transform[J].Pattern Recognition，2004，3175（1）：79-86.

[3]Wong K Y，Spetsakis M E.Tracking based motion segmentation under relaxed statistical assumptions[J].Computer Vision and Image Understanding，2006，101：45-64.

[4]魏巍，申鉉京，千慶姬.工業檢測圖像灰度波動變化自適應閾值分割算法[J].自動化學報，2011，37（8）：944-953.

[5]陳鳳東，洪炳熔.基于動態閾值背景差分算法的目標檢測方法[J].哈爾濱工業大學學報，2005，37（7）：883-884.

[6]郝穎明，朱楓.2維Otsu自適應閾值的快速算法[J].中國圖象圖形學報，2005（4）：484-488.

[7]Serre T，Kouh M，Knoblich U，et al.A theory of object recognition：computations and circuits in the feedforward path of the ventral steam in primate visual cortex[R].2005.

[8]Magee D.Tracking multiple vehicle using foreground background and motion models[J].Image and Vision Computing，2004，22（2）：143-145.

[9]李超，熊璋，赫陽，等.基于幀間差的區域光流分析及其應用[J].計算機工程與應用，2005，41（31）：195-197.

[10]Yuan Lei，Li Jinzong，Li Dongdong.Discontinuity preserving optical flow algorithm[J].Journal of Systems Engineering and Electronics，2007，18（2）：347-354.

WU Zhenjie,MAO Xiaobo

School of Electrical Engineering,Zhengzhou University,Zhengzhou 450001,China

An improved optical flow estimation algorithm based on the frame difference is proposed,which is used for detecting the moving target.In the first part,the discontinuous frame difference is applied to detecting the moving target with the inter-frame displacement smaller than one pixel and accumulated displacement bigger than one pixel.In the second part,the General Dynamic Image Model（GDIM）is introduced to form a new optical constraint equation,which has overcome the problem that the equation is not tenable.Only not zero pixels are calculated by using the optical flow method.As a result,accuracy and speed of the target detection are improved.The effectiveness of the proposed method is verified by the simulation results.

target tracking;frame difference;optical flow;local optical flow

結合運動目標檢測幀差法運算速度快和光流法活動目標檢測準確度高的特點，提出一種改進的幀間差光流場計算的運動目標檢測算法。在幀差部分采用隔幀差分從而可以檢測到幀間位移小于1個像元而多幀累積位移大于1個像元的運動點目標；在光流計算時，引入通用動態圖像模型（GDIM）建立新的光流約束條件，克服了亮度變化引起的約束方程不成立問題。算法僅對幀差法后圖像中不為零的像素進行光流場計算，提高了目標檢測的準確性和檢測速度。仿真實驗證明了該算法的有效性。

目標跟蹤；幀差法；光流法；區域光流檢測

A

TP39

10.3778/j.issn.1002-8331.1112-0475

WU Zhenjie,MAO Xiaobo.Improved optical flow estimation algorithm based on frame difference.Computer Engineering and Applications,2013,49（18）：200-203.

高等學校博士學科點專項科研基金（No.20114101110005）；河南省重大科技攻關項目（No.102101210100）；河南省教育廳自然科學基礎研究計劃（No.2009A410001）。

吳振杰（1985—），男，碩士研究生,研究方向：計算機視覺；毛曉波（1965—），通訊作者，男，博士，教授，碩士生導師，研究方向：仿生機器視覺、智能儀器儀表。E-mail：mail-mxb@zzu.edu.cn

2011-12-26

2012-03-06

1002-8331（2013）18-0200-04

CNKI出版日期：2012-05-21 http://www.cnki.net/kcms/detail/11.2127.TP.20120521.1141.024.html

◎信號處理◎