一種基于小波變換和HSI的改進視頻光流場估計算法

摘 要:為了避免傳統基于RGB顏色模型方法在方程組中各等式線性相關和存在孔徑的問題，提出一種在HSI顏色模型下結合小波變換的方法計算彩色圖像視頻序列光流場的計算方法，這里將傳統的灰度圖像光流估計方法與HSI顏色模型估計方法相結合，并且用小波變換方法對光流矢量場的異常數據點或因為匹配錯誤而產生的異常塊數據進行剔除，從而有效提高光流場估計精度，得到精密的彩色圖像光流矢量場特征。

關鍵詞:光流場; 彩色圖像; HSI顏色模型; 小波變換

中圖分類號:TP391.41 文獻標識碼:A

文章編號:1004-373X(2010)12-0117-04

Improved Video Optical Flow Field Estimation Based on Wavelet Transform and HSI

HUANG Jin-jie， DING Yan-jun

(Automatic College， Harbin University of Science and Technology， Harbin 150080， China)

Abstract:A optical flow field algorithm based on the wavelet transformation and HSI color model for color image video sequences is proposed， whose purpose is to avoid the linear correlation of all the equations in equation set and the existing aperture problems caused by the traditional methods based on RGB color model. To combine the traditional gray-scale image optical flow estimation method with HSI color model estimation method， and with the wavelet transform method to eliminate the abnormal data points produced by the optical flow vector field or the abnormal block data caused by the mismatching. Thereby， the accuracy of optical flow estimation is effectively improved and the precise optical flow vector field characteristics of color images are obtained.

Keywords:optical flow field; color image; HSI color model; wavelet transformation

0 引 言

傳統的光流場計算基于單色灰度圖像序列進行處理[1] ，處理光流基本方程中不適定的核心問題。自1981年Horn和Schunck首次提出用全局平滑約束來求解光流場[2]以來，產生了各種各樣解決光流不適定問題的約束方法，這種不適定方法常被稱為“孔徑問題”。為了解決“孔徑問題”，研究者提出了很多種方法。在各種基于灰度的光流算法中，Horn-Schunck與Lucas-Kanade仍是目前應用比較廣泛，可靠性較高的方法。Nagel使用二階導數來估計光流，對于遮擋問題，他采用定向平滑約束來處理圖像遮擋處的速度場。

近年來出現了彩色圖像序列的光流場計算技術，它是光流場計算從灰度圖像到彩色圖像的推廣。相對于灰度圖像彩色圖像能提供更豐富的光學信息，可有效地克服灰度圖像序列光流場計算中的孔徑問題，為光流場估計[3]計算開拓了新的思路。Golland提出了一種新的基于色彩不變性的計算方法[4]，并將其與基于RGB顏色模型的方法進行對比。RGB顏色模型是工業模型，不符合人的視覺特性，因此引入HSI顏色空間，利用色彩不變性假設進行光流估計，結合本文提出的小波變換思想將彩色圖像序列的光流場計算與灰度圖像序列的光流場計算相結合，可有效克服彩色圖像序列光流場計算中的問題，并且對局部異常運動矢量數據進行剔除，從而得到較高精度及較高光流密度的特征數據。實驗證明，該方法對運動物體的檢測取得很好的效果。

1 基于灰度光流場估計算法

光流場是一種描述圖像運動的速度場，其概念最早由心理學家Gibson于1950年提出。從圖像場景中景物的運動會導致運動期間獲得的圖像中景物所處不同的相對位置可知，這種位置上的差別稱為視差，它是景物運動反映在圖像上的位移矢量(包括大小和方向)。如果用視差除以時差，就可得到速度矢量。一幀圖像中的所有速度矢量構成一個矢量場，也即光流場。

設在時刻t某一個特定的圖像點在(x，y)處的亮度為f(x，y，t)，時刻t+dt的圖像點移動到(x+dx，y+dy)處相應像素點的亮度的f(x+dx，y+dy，t+dt)。如果時間間隔dt很小，則可以期望兩點圖像灰度保持不變，換句話說，有:

f(x，y，t)=f(x+dt，y+dt，t+dt) (1)

將上式利用泰勒級數展開并略去二次以上的高次項，可得:

-ft=fxdydt+fydydtft=fxu+fyv=0 (2)

式中:u和v分別為圖像點在x方向和y方向的移動速度。可得基本光流方程為:

fxu+fyv+ft=0 (3)

光流方程表明，運動圖像中某一點灰度圖像的時間變化率是灰度空間變化率與該點空間運動速度的乘積。

式(3)所示的梯度約束方程含有u，v 兩個未知變量，由用1個方程不能求解2個未知變量可知，光流的求解[4]是一個病態問題。求解光流的2個分量，必須進行歸則化。

2 彩色視頻圖像光流估計算法

與灰度圖像光流求解的亮度恒常假設類似， 彩色圖像光流[5]利用豐富的色彩信系可以找到一個附加約束來解決灰度圖像中難以解決的問題。由于RGB顏色模型中3個顏色分量的高相關性，如果圖像的亮度發生變化，則R，G，B三個分量也都會發生變化，這可能會在光流計算中造成意想不到的誤差，因此本文采用HSI色模型。HSI模型是一種主觀彩色模型，它不采用將某種特定的顏色分解為RGB三原色的方法，而是描述顏色的3種屬性分量。此處，利用HSI顏色模型的H分量和S分量求取光流場，與傳統基于灰度圖像的方法相結合，提高光流求取的精度與密度。

2.1 彩色圖像的光流計算

1990年Ohta首先對彩色時變圖像的光流計算問題進行了研究，提出一種基于色彩灰度不變的計算模型，這個模型使用RGB三元色模型來解析彩色圖像，把每一點的灰度值看作是3種基色的加權和，并在計算中將其分解，再將3個彩色分量分別代入基本等式，得到計算光流的梯度約束方程組[6]，為:

Rxu+Ryv+Rt=0

Gxu+Gyv+Gt=0

Bxu+Byv+Bt=0 (4)

對于這個有3個方程兩個未知數的約束方程組，可以采用廣義逆求解，即令:

A =Rx Ry

Gx Gy

Bx By，

b = -Rt

-Gt

-Bt

則有:

( A T A )U= A T b(5)

可以解出U=( A T A )-1 A Tb。

利用式(5)計算光流場，當圖像中某區域顏色梯度相同時，方程組各等式線性相關，無法求得惟一解。當圖像中所含噪聲相對于顏色梯度[7]較大時，所得解不可靠。

2.2 基于改進的HSI模型光流場估計算法

HSI模型中的H和S對觀察方向、物體的幾何結構、照明方向、照明強度、照明的光譜能量分布等變化具有較強的魯棒性，同時色調H在強烈光線下也能保持不變，說明H能比較準確地反映顏色種類，以及對消除光照條件的影響。

從RGB顏色空間映射到HSI空間[9]的轉換關系為:

H = arccos[(R-G) + (R-B)]/2[(R-G)2 + (R-B)(G-B)]1/2

S=1-3R+G+Bmin{R，G，B}

I=(R+G+B)/3

將上式3個分量分別代入光流基本等式，可得到包含3個方程的方程組:

Hxu+Hyv+Ht=0

Sxu+Syv+St=0

Ixu+Iyv+It=0(6)

式中:u，v的系數，即每個像素點上的H，S，I值對x方向和y方向上的梯度值可以利用差分算子方便求出。

由線性代數理論可知，若這3個方程兩兩線性無關，則只需其中2個方程就可以解出光流場矢量 X (u， v)，這里將這3個方程兩兩組合，可得到3組方程組:

Hxu+Hyv+Ht=0

Sxu+Syv+St=0 (7)

令 A = Hx Hy

Sx Sy， b = -Ht-St，則有 A HS X HS= b HS，用高斯消去法可得解 X HS。

Hxu+Hyv+Ht=0

Ixu+Iyv+It=0 (8)

同理由式(8)可得解 X HI。

Sxu+Syv+St=0

Ixu+Iyv+It=0 (9)

由式(9)可得解 X SI。

2.3 利用小波變換改進光流矢量場

由于利用上述算法計算視頻圖像的局部運動物體所生成的矢量場會產生隨機的誤差數據，如在圖像中的背景處會產生異常數據信息，從而影響矢量場的整體特征信息，所以為減少異常數據點對最終運動矢量值的影響，采用小波變換的方法在全局運動模型的估計中剔除掉受到局部物體運動影響而導致的異常數據信息。實驗表明，取得較好的效果。

本文采用二維離散小波變換[10]對光流場的奇異矢量進行了剔除。

為了將一維離散小波變換推廣到二維，只考慮尺度函數是可分離的情況，有:

Φ(x，y)=Φ(x)Φ(y) (10)

式中:Φ(x)是一維尺度函數，其相應的小波為Ψ(x)。下列3個二維基本小波是建立在二維小波變換的基礎上的，有:

Ψ1(x，y)=Φ(x)Ψ(y)，Ψ2(x，y)=Φ(y)Ψ(x)，

Ψ3(x，y)=Ψ(x)Ψ(y) (11)

它們構成二維平方可積函數空間L2(R2)的正交歸一基:

Ψlj，m，n (x，y) = 2jΨ1(x-2jm，y-2jn)，

j≥0;l=1，2，3; j，l，m，n∈ Z(12)

將此小波變換的方法代入改進的HSI光流場方程中可得到本文的算法。

3 實驗結果

本實驗采用的視頻圖像序列為新西蘭Otago大學計算機視覺研究小組所采用的標準圖像測試序列。該圖像為300×400像素的真彩色圖像，取其中的第21和第22連續兩幀圖像作為研究對象，如圖1、圖2所示。

圖1 視頻第21幀圖像

圖2 視頻第22幀圖像

從圖1、圖2可以看出，圖像中的物體運動比較復雜，圖中的汽車是整體向左運動，樓房和地面的相對運動是正對攝像機的運動，攝像機也作由左至右的整體平移，屬于目標與攝像機均移動的情況。圖3為傳統的Horn-Schunck方法計算出的光流場矢量圖。圖4為選取H，S分量計算的彩色圖像光流場矢量圖。圖5為改進后HSI彩色光流場的矢量圖，分別對改進的光流方程中H，S，I三個分量的加權值選取0.4，0.2，0.4。圖6為利用小波變換改進的HSI光流矢量場圖，較HS和HIS得到的光流特征明顯具有更好的精密效果。

圖3 Horn-Schunck光流場

圖4 基于HS分量的光流場

由圖3可以看出，傳統的Horn-Schunck光流估計算法所得光流場可大致顯示出運動區域，但不能清楚地顯示路面分界線的相對運動細節和小汽車的運動情況。圖4所示HS分量的光流算法存在較大的誤差，不能夠顯示路面的分界線。

圖5 改進的HSI光流場

圖6 小波變換的彩色圖像光流

圖5利用改進的HSI方法能夠較清晰地看到圖中物體的運動情況，光流場的精度與密度都較高，但由于攝像機的運動和噪聲的干擾會產生奇異矢量信息。圖6利用小波變換對改進的HSI光流場中奇異矢量進行剔除，也抑制了噪聲的干擾，從而得到視頻圖像的精密光流場。由此可以看出，本文提出的基于小波變換和HSI的改進視頻光流場估計算法是一種有效的光流算法。

4 結 語

在傳統光流算法的基礎上，提出了一種在HSI顏色模型下結合小波變換計算彩色圖像光流場的方法。將傳統的灰度圖像光流估計方法與HSI顏色模型估計方法相結合，并且用小波變換的方法對光流矢量場的異常數據點或因為匹配錯誤而產生的異常塊數據進行剔除，從而有效提高了光流場估計精度及光流密度，實驗證明，取得較好的效果。但由于是對彩色圖像進行處理，需要經過3次矩陣方程的迭代計算，因此比一般算法所需的計算成本要高。因此如何提高算法的快速性仍需深入研究。

參考文獻

[1]THOMAS A，KAMBHAMETTU C，GEIGER C A. Vector field resampling using local streamline approximation [C]. Proceedings of the 19th International Conference on Pattern Recognition. Florida:[ s.n.] ， 2008.

[2]SHU Qing-yu ， HATTORI Tetsuo. Face identification for people image with general background using vector phase field[J]. Industrial Technology， 2008: 1-5.

[3]NIKITIDIS Symeon，ZAFEIRIOU Stefanos， PITAS Ioannis. Camera motion estimation using a novel online vector field model in particle filters[J]. Circuits and Systems for Video Technology， 2008: 1028-1039.

[4]GOLLAND P， BRUCKSTEIN A M. Motion from color [J]. Computer Vision and Image Understanding， 1997， 68 (3):346-362.

[5]項學智，趙春暉，李康.一種彩色光流場估計算法[J].哈爾濱工程學報，2008，29(6):604-609.

[6]危水根，陳震，黎明.基于梯度光流場計算方法的一種改進[J].計算機工程，2006(1):198-200.

[7]尤雋永，劉貴忠，李宏亮.一種快速魯棒的壓縮視頻光流估計算法[J].電子信息，2007，29(9):2154-2157.

[8]符寶鼎，袁建暢，郭彩霞.基于RGB顏色模型棉花雜質的識別算法[ J] .北京紡織學報，2005(10):48-50.

[9]孫慧賢，張玉華，羅飛路.基于HSI顏色空間的彩色邊緣檢測方法研究[ J] .光學技術，2009，35(2):221-228.

[10]肖揚，魯凌云，高爽，等.基于二維離散小波變換的智能交通系統數據去噪聲壓縮[ J] .北京交通大學學報:自然科學版，2004，28(5):1-5.