基于梯度場的彩色圖像序列光流場算法

廖 彬 ，杜明輝 ，胡金龍

（1.華南理工大學(xué) 電子與信息學(xué)院，廣東 廣州 510640；2.華南農(nóng)業(yè)大學(xué) 理學(xué)院數(shù)學(xué)系，廣東 廣州 510640；3.華南理工大學(xué) 信息網(wǎng)絡(luò)工程研究中心，廣東 廣州 510640）

1 引言

運動圖像分析是計算機視覺中的一項重要任務(wù)，其關(guān)鍵技術(shù)之一就是光流計算。光流不僅攜帶了被觀察物體的運動信息，還攜帶被觀察物體的三維結(jié)構(gòu)、傳感器參數(shù)、非剛性物體的局部彈性形變等豐富的信息。光流場是由空間運動物體被觀測表面上的像素點運動而產(chǎn)生的瞬時速度場。通過光流場的計算，可以找到三維運動物體在二維圖像平面上的投影，從而獲得三維運動的特性描述。

1981年，Horn和Schunck首次提出了計算光流場的基本等式[1]。在此之后，又有許多光流計算方法被提出，大致可以分成如下兩類[2]：一類是對光流方程進行正則化計算，另一類是對光流方程添加多約束從而求解光流場。

由于彩色圖像相對于灰度圖像可提供更豐富的光學(xué)信息，因此采用彩色圖像序列進行光流場計算能夠有效克服孔徑問題。Ohta首先提出了基于色彩灰度不變的計算模型，Lai將該模型應(yīng)用于非剛性物體運動的求解及非剛性物體的運動恢復(fù)中。Golland針對不同運動情況進行了基于色彩不變性的計算與試驗分析[3]。Barron對基于顏色的光流場計算方法進行了總結(jié)[4]。Andrews將Lucas-Kanade方法引入彩色圖像光流場求解[5]。Madjidi將改進了的彩色光流場方法應(yīng)用于水下圖像[6]。Arshad提出利用移動機器人測量的距離信息進行光流場計算[7]。Simon利用運動分割的結(jié)果[8]，確保只計算運動區(qū)域的光流，提高了運動物體邊緣的光流精確度。

大多數(shù)運動方程的光流約束是建立在BCM模型上的，但當被觀測運動場景光照發(fā)生變化或出現(xiàn)非一致光照時，利用傳統(tǒng)的BCM進行光流估計會產(chǎn)生較大的計算偏差。通用動態(tài)圖像模型（GDIM）進行了光流定義的修正[9]，通過引入輻射度變化，將光照的影響反映于修正后的光流模型中，從而能夠獲得光照變化環(huán)境下的光流場。

筆者使用通用動態(tài)圖像模型，利用圖像梯度場對光照變化不敏感的特點，結(jié)合圖像的色彩信息，對圖像的梯度場進行基于GDIM模型的光流場計算，從而獲得精確的光流。

2 光流場估計

2.1 圖像亮度常數(shù)模型

圖像亮度常數(shù)模型是基于灰度圖像序列提出的，在該模型中，假設(shè)同一運動目標上的像素點灰度值在目標運動過程中保持不變，因此，在較短的時間間隔內(nèi)，可有如下方程

式中：I（x，y，t）表示 t時刻的圖像平面上（x，y）坐標處的亮度值，與分別表示圖像亮度對變量x，y，t的偏導(dǎo)數(shù)。若以u表示，以v表示，式（1）可重寫為如下形式

此時，矢量 V=（u，v）表示光流，式（2）即為光流場計算的基本方程。在式（2）中，無法直接求解u和v兩個未知變量。常用的求解方法是施加全局或局部約束條件進行正則化，如HS法與LK法。

由于基本等式首先進行了如下設(shè)定：假設(shè)環(huán)境光照均勻，物體具有朗伯體反射表面，且在圖像平面內(nèi)平移運動，因此在利用基于BCM灰度模型進行光流場計算時，除了易受噪音影響外，還會在諸如物體旋轉(zhuǎn)、物體形變、光照環(huán)境改變等情況下產(chǎn)生明顯錯誤的光流場。

2.2 彩色圖像序列的光流場估計

在實際應(yīng)用中，環(huán)境的光照條件發(fā)生變化時，物體表面的顏色相對于灰度而言，更能準確地反映物體的表面特性。因此，可以利用彩色圖像中基于物體表面顏色提取出的局部特性，建立超定的線性方程組，從而確定光流中的2個運動分量。

Golland闡述了基于色彩恒常性假設(shè)的原理，以實驗證明了該方法適用于各種復(fù)雜的運動。在Golland提出的方法中，由物體光照模型引出的各顏色分量可表示為

式中：E（λ）為反射光能量分布，Si（λ）為光傳感器靈敏度系數(shù)，λ為光的波長。積分范圍為400～700 nm的可見光波長范圍。由于fi無法由圖像數(shù)據(jù)直接得到，因此需要用其他能直接從圖像數(shù)據(jù)獲得的等價不變量來代替。通過對式（3）的進一步分析可以發(fā)現(xiàn)，Si（λ）在物體運動過程中保持不變，入射光能量分布E（λ）在變化較為緩慢的情況下，短時間內(nèi)也可看作不變量。因此，可以用任意顏色分量的比值來求取光流場，最終轉(zhuǎn)化為基于色彩不變性的光流梯度約束方程組

式中：F1，F(xiàn)2可以是歸一化RGB顏色模型中的色彩分量，也可以是HSV，YUV等顏色模型中的色彩分量。Kelson[10]已經(jīng)通過試驗證明，在Golland提出的色彩模型中，采用YUV顏色模型，可以取得更好的效果。

2.3 基于彩色梯度場GDIM模型的光流場計算

由于在實際環(huán)境中，亮度不變假設(shè)不成立，因此需要采用修正的光流定義反映速度場。在通用動態(tài)圖像模型（GDIM）中，原來的二維運動場向量（u，v）被擴展成為三維運動場向量（u，v，δE）。其中，δE 表示圖像序列的輻射度變化，據(jù)此得到亮度守恒約束方程

式中：M（r）和C（r）分別為亮度變化場的數(shù)乘和偏移量，r=（x，y，t）T表示 t時刻圖像平面上坐標為（x，y）的點。 將式（5）進行泰勒級數(shù)展開，可得到基于GDIM的擴展光流模型

將式（6）推廣到彩色圖像模型YUV上，得到

式中采用YUV模型的Y，U，V分量進行計算。

在實際處理時，如果能使用對光照變化較不敏感的量來計算光流場，計算結(jié)果將更為準確。考慮到圖像的梯度場對光照變化的敏感性與圖像亮度場的變化相比較小，將式（6）轉(zhuǎn)化為

其中，W為一個小的空間鄰域。

3 試驗結(jié)果

試驗包括3部分：在無明顯光照變化時，檢測形變物體的光流場；在無明顯光照變化時，檢測圖像中有相對旋轉(zhuǎn)運動的光流場；檢驗新算法在光照變化時的穩(wěn)健性。

3.1 形變物體的光流場

在試驗中，使用vipmen視頻序列，該視頻序列主要為人的走動。在走動過程中，有手臂的前后擺動，腿部的抬起、落地，轉(zhuǎn)身等大幅度的形變運動，可以較好地測試算法對形變運動的適應(yīng)性。

圖1a，1b是用于檢測光流場的vipmen視頻序列的第250幀與251幀。在該測試圖像中，人物背對觀察者行走。在行進過程中，人物轉(zhuǎn)動了左肩膀，同時頭部有擺動，左腿前傾，兩腿之間跨度變大，且右腿與地面距離更為接近，最終整個身體的背部、腿部形成的人物輪廓整體前移。

對圖1a，1b分別用傳統(tǒng)HS法、塔形分解的LK法、GOLLAND的RGB歸一化彩色光流法以及本文提出的基于梯度場的彩色圖像序列光流場計算法進行分析，結(jié)果如圖2所示。

由圖2a，2b可以看出，傳統(tǒng)HS法與LK法在物體有多部位的形變、不與圖像平面平行運動時，無法獲得正確的結(jié)果。圖2c中，基本檢測出了人物的運動輪廓，但對手部、腿部等較小形變部位的檢測不夠精確。圖2d除了能夠獲得運動人物的較準確輪廓外，在頭部、肩部、背部、手部、腿部等較小形變部位上，也獲得了較細致的光流場。

3.2 旋轉(zhuǎn)運動的光流場

為了檢測物體的旋轉(zhuǎn)運動，本試驗采用新西蘭Otago大學(xué)的Blocks彩色圖像序列，使用該圖像序列的第1，2幀進行測試，如圖3所示。

在圖3中，有4種不同的顏色塊靜止放置于地面上。攝像機相對于圖像塊做微小旋轉(zhuǎn)運動。試驗序列的圖像分辨力為282×376，圖像對的幀間最大位移為1.04像素。對圖3的圖像對采用4種光流法檢測光流場，得到的試驗結(jié)果如圖4所示。

由圖4a，4b，4c可以看出，在有旋轉(zhuǎn)運動時，傳統(tǒng)HS法、塔形LK法、RGB歸一法都無法正確檢測出光流場。圖4d展示了用本文算法得到的光流場，由圖中可以看出，圖像背景的光流矢量連續(xù)一致，物體的邊緣清晰，物體表面的光流矢量連續(xù)一致。

3.3 光照變化環(huán)境下的光流場

為了驗證本文算法對光照變化的穩(wěn)健性，筆者仍采用Blocks圖像序列，利用式（11）來模擬光照的變化。

式中：I（x，y，t）與 I′（x，y，t）分別表示原圖像序列與模擬光照變化后的圖像序列。本試驗中的ω取值為0.5，t為2，其余的試驗參數(shù)設(shè)置與3.2節(jié)相同。應(yīng)用式（11）對圖3b進行處理后，得到的光照環(huán)境改變效果如圖5b所示。

圖5a，5b為光照改變前后的圖像。由圖5b可以看出，圖像中的環(huán)境光線變暗將導(dǎo)致圖像的對比度發(fā)生改變。如果按照BCM模型計算光流，由于沒有考慮輻射度的改變，將無法得到正確的光流場。對圖3a與圖5b組成的圖像對進行光流場檢測，得到的試驗結(jié)果如圖6所示。

將圖6與圖4進行對比，可以發(fā)現(xiàn)圖4a，4b，4c與對應(yīng)的圖6a，6b，6c區(qū)別較大。以圖4a與圖6a為例，在圖4a中，隱約可見4個方塊的輪廓。在本試驗中，由于環(huán)境變暗，圖像對比度降低，已經(jīng)無法由圖6a辨認是否有物體存在。而在圖6c中，仍然能得到運動物體清晰的輪廓與光流，且與圖4c相比，差別不大，此結(jié)果驗證了本文算法對緩慢的光照變化不敏感的特點。

4 小結(jié)

實際環(huán)境中，由于存在環(huán)境光照的改變、多物體運動、物體遮擋、旋轉(zhuǎn)、形變等復(fù)雜運動，使得傳統(tǒng)的BCM模型的應(yīng)用受限。針對自然圖像，采用修正光流定義的GDIM模型。由于彩色圖像比灰度圖像含有更多的信息，因此可以充分利用圖像的色彩信息，通過將原始圖像的顏色平面轉(zhuǎn)換為相關(guān)度較小的彩色平面，并利用圖像梯度對光照變化不敏感的特點，進行基于梯度場的彩色圖像光流場計算。在本文中，采用GDIM模型將圖像的幾何變換與輻射度變化引入光流方程，同時用于計算的梯度場本身可以為運動估計提供方向約束信息，因此本文算法能在形變運動、旋轉(zhuǎn)運動、光照改變等條件下，獲得較精確且連續(xù)一致的光流場。

然而在試驗中也發(fā)現(xiàn)，當光照變化劇烈時，僅用梯度場減輕光照影響的效果并不顯著。一種可行的解決辦法是采用諸如圖像直方圖均衡化、梯度場重建的圖像增強、利用Retinex理論的圖像增強等技術(shù)對圖像進行前期處理后再求解光流場。同時，當前景與背景有相對運動時，直接求取光流場會發(fā)生前景與背景融合的現(xiàn)象，這種現(xiàn)象的解決方法之一是首先區(qū)分前景與背景，接著再進行光流場的求取。對這些問題的分析將在后續(xù)的研究中進行。

[1]BERTHOLD K P，SCHUNCK B.Determining optical flow[J].Artificial Intelligence， 1981，17（1-3）：185-203.

[2]BIMBO A D，NESI P，SANZ J L C.Optical flow computation using extended constraints[J].IEEE Trans.Image Processing， 1996， 5（5）：720-739.

[3]GOLLAND P，BRUCKSTEIN A M.Motion from color[J].Computer Vision and Image Understanding， 1997，68（3）：346-362.

[4]BARRON J， FLEET D， BEAUCHEMIN S.Performance of optical flow techniques[J].International Journal of Computer Vision， 1994，12（2）：43-77.

[5]ANDREWS R J，LOVELL B C.Color optical flow[J].Workshop on Digital Image Computing， 2003，1（1）： 135-139.

[6]MADJIDI H,NEGAHDARIPOUR S.On robustness and localization accuracy of optical flow computation from color imagery[C]//Proc.the 3D Data Processing， Visualization and Transmission （3DPVT′04）.Aire-la-Ville， Switzerland： Eurographics Association， 2004： 317-324.

[7]ARSHAD J，VENKATESH K S.A new color based optical flow algorithm for environment mapping using a mobile robot[C]//Proc.22nd IEEE International Symposium on Intelligent Control Part.[S.l.]：IEEE Press， 2007， 567-572.

[8]SIMOND，CLINTONF，SRIDHAS.Improvedsimultaneouscomputation of motion detection and optical flow for object tracking[C]//Proc.Digital Image Computing:Techniques and Applications.Melbourne，Australia： IEEE Press， 2009：175-182.

[9]NEGAHDARIPOUR S，YU C H.A generalized brightness change model for computing optical flow[C]//Proc. International Conference on Computer Vision.Berlin，Germany:[s.n.]，1993：2-11.

[10]KELSON R T A，ANDRE M S，ADELARDO A D M.Optical flow using color information： preliminary results[C]//Proc.the 2008ACM Symposium on Applied Computing，SAC′08.Fortaleza，Ceara，Brazil:[s.n.]， 2008：1607-1611.