立體視頻顏色校正算法

白海亮，呂朝輝，蘇志斌

(中國傳媒大學(xué)信息工程學(xué)院，北京100024)

1 引言

在進(jìn)行立體視頻采集時，各個視點的攝像機(jī)經(jīng)常會出現(xiàn)局部或者整體的顏色差異。攝像機(jī)參數(shù)設(shè)置、CCD或CMOS感光器件的噪音、相機(jī)快門速度和曝光時間抖動也都會導(dǎo)致所得到各個視點視頻的顏色產(chǎn)生差異。這些差異可能會影響到觀看效果，并導(dǎo)致場景深度信息恢復(fù)的錯誤，從而影響到立體視頻的進(jìn)一步處理。當(dāng)人們直接觀看這樣的立體視頻或立體圖像時，大腦在自動拼接這些圖像時就會產(chǎn)生不舒適感。所以，必須對立體視頻進(jìn)行顏色校正。

目前存在大量的顏色校正算法，但大多數(shù)是針對單目圖像的顏色校正，也存在一些算法可以應(yīng)用于立體視頻圖像顏色校正的，文獻(xiàn)［1］對這些目前存在的顏色校正算法進(jìn)行總結(jié)和分類，并對各類算法的局限性進(jìn)行評價。其中文獻(xiàn)［2］則使用一個已知形狀的顏色立方體，其對設(shè)備和環(huán)境依賴性過強(qiáng);文獻(xiàn)［3］則根據(jù)圖像直方圖分割結(jié)果對圖像分割區(qū)域;文獻(xiàn)［4］利用卡曼濾波器來滿足顏色參數(shù)從而追蹤出主域顏色并進(jìn)行校正;文獻(xiàn)［5］利用SIFT特征點提取算法分別提取各個圖像中的SIFT特征點，并用OF-SIFT特征點匹配算法進(jìn)行配對，并采用Mean-Shift算法進(jìn)行顏色分割。

綜合考慮算法的效率性、結(jié)果的準(zhǔn)確性和實現(xiàn)的難易以及方法的可操作性和可推廣性，本文提出了一種利用SURF算法進(jìn)行特征點提取，并構(gòu)建匹配點間映射關(guān)系的方法來實現(xiàn)圖像顏色校正。

2 SURF算法原理

BAY等人提出了SURF(Speeded Up Robust Features)算法［6］。該算法采用了類似SIFT算法的思想，使用快速Hessian矩陣檢測出特征點，并通過積分圖像減少SURF算法的計算時間，提高算法效率。它的原理主要有以下四個步驟:

2.1 構(gòu)建Hessian矩陣

Hessian矩陣是SURF算法的核心，通過特定核間的卷積計算二階偏導(dǎo)數(shù)，這樣便能計算出H矩陣的三個矩陣元素Lxx、Lxy、Lyy，從而計算出H矩陣:

高斯函數(shù)是處理尺度空間的好方法，但是在實際過程中，它需要進(jìn)行離散化和裁剪(如圖1)。利用方框濾波 (boxfilters)近似高斯二階偏導(dǎo)。方框濾波(boxfilters)可以通過積分圖像快速的計算得到，計算量與與模板大小無關(guān)，從而提高了算法的計算效率。

圖1 方框濾波(boxfilters)對高斯二階偏導(dǎo)的近似

如上圖所示，用的一個9×9的方框濾波(box)模板近似最低尺度σ=1.2的高斯二階偏導(dǎo)數(shù)。Dxx，Dxy，Dyy為方框(box)濾波同圖像卷積后的值，用于分別代替Lxx，Lxy，Lyy。為了計算簡單高效和平衡在Hessian行列式中的相關(guān)權(quán)值，直接把應(yīng)用到矩形區(qū)域中的權(quán)值設(shè)置0.9。這樣就得到如下表達(dá)式:

按照上式所示的近似Hessian矩陣的計算方法，記錄下在σ尺度下的圖像中的每一點響應(yīng)。

2.2 構(gòu)建尺度空間

要實現(xiàn)特征點的尺度不變性，必須在不同尺度下該特征點的物理位置一樣。尺度空間通常由圖像金字塔來實現(xiàn)的，通過圖像與不同尺度下的高斯函數(shù)卷積，并對初始圖像做采樣處理，得到更高階的圖像金字塔。Lowe提出的SIFT特征就是通過對圖像金字塔相鄰層求差，從而得到DoG空間，然后在該空間下求局部極值點來定位特征點［7］。SURF使用的方法不同，它通過不同尺度下的濾波模板來對原始圖像處理，原始圖像保持不變。如圖2所示。

圖2 尺度空間的構(gòu)建(左:SIFT右:SURF)

2.3 精確定位特征點

所有小于預(yù)設(shè)極值的取值都被丟棄，增加極值使檢測到的特征點數(shù)量減少，最終只有幾個特征最強(qiáng)點會被檢測出來。檢測過程中使用與該尺度層圖像解析度相對應(yīng)大小的濾波器進(jìn)行檢測，以3×3的濾波器為例，該尺度層圖像中9個像素點之一，圖3檢測特征點與自身尺度層中其余8個點和在其之上及之下的兩個尺度層9個點進(jìn)行比較，共26個點，圖3中標(biāo)記‘x’的像素點的特征值若大于周圍像素則可確定該點為該區(qū)域的特征點。

2.4 特征點匹配

圖像經(jīng)過特征點檢測提取后，每個特征點可以用一個64維的向量表示，對于一幅圖像中的每一個特征點，本文采用最大近鄰向量匹配方法進(jìn)行特征點匹配，設(shè)S1、S2分別為兩幅圖像I1、I2通過SURF方法提取的特征點集合。對S1中的每一個特征點p1i計算S2中各個特征點的歐氏距離，得到最小及次小距離值分別為d1、d2，對應(yīng)S2中的特征點分別為q1i、q2i。若d1≤ad2(a為最小距離與次小距離的比值，本文取a=0.65)則認(rèn)為p1i與q1i匹配，否則丟棄該點，p1i在S2中無匹配點。

圖3 3×3的鄰域

3 實現(xiàn)方案

本文采用的顏色校正方法一種基于SURF圖像特征點匹配提取和構(gòu)造映射關(guān)系的顏色校正方法。其算法要求首先利用SURF特征匹配提取法分別提取待校正視點圖像和參考圖像間的特征點，并找到其中匹配特征點對。當(dāng)兩幅圖像存在顏色差異時，這些匹配點對也會產(chǎn)生相關(guān)的顏色差異，從這些點對能夠反映出目標(biāo)圖像與源圖像的對應(yīng)顏色關(guān)系。最后，利用已經(jīng)構(gòu)造好的映射關(guān)系，將待校正圖像作為輸入，輸出則是校正后的圖像，就完成校正過程。

首先，對所要處理的圖像進(jìn)行顏色轉(zhuǎn)換。一般地，攝像機(jī)采集的視頻圖像可以以多種顏色空間格式進(jìn)行保存，比較常見的包括RGB空間、YUV空間和 HIS(色調(diào)、飽和度、亮度)［8］，考慮到后續(xù) SURF特征點提取和映射關(guān)系的建立都需要用到灰度圖像，而RGB是現(xiàn)有的圖像設(shè)備最初采集到的顏色信息和最終顏色顯示所用的顏色空間，因此直接選擇RGB顏色空間進(jìn)行處理。

然后利用SURF特征提取算法分別對待校正圖像和參考圖像分別進(jìn)行特征點提取，并計算匹配點對。SURF特征提取算法有很強(qiáng)的健壯性，對于圖像的旋轉(zhuǎn)、平移、亮度變化和一定程序的幾何形變和噪聲都有一定的穩(wěn)定性，因此在每幅圖像中一般都能提出上千個特征點，經(jīng)過匹配，一般都能找到數(shù)百個匹配點對［9］。

圖像的亮度和色度差異可歸為兩類:乘性差異和加性差異［10］;加性差異表示像素亮色度值的線性變換，如灰度級偏移等，主要由相機(jī)元件的暗電流產(chǎn)生;乘性差異受相機(jī)元件的感光靈敏度、放大和量化因子、以及鏡頭的透射系數(shù)變化所影響;因此可得出立體視頻左右視點圖像的亮度和顏色對應(yīng)關(guān)系:

式中:f(x，y)為當(dāng)前圖像在位置(x，y)的像素某一顏色分量值，a、b分別為乘性因子和加性因子，Δx、Δy為左右視點對應(yīng)像素存在位置上的差異，x、y設(shè)為左視點圖像中對應(yīng)點的數(shù)值。為求a、b值將公式變換為尋求當(dāng)前圖像與待校正的圖像的差的平方的最小值，當(dāng)取得最小值時的a、b值即為模型的參數(shù)值。接下來，把所有像素點都通過此公式進(jìn)行校正，就可以完成圖像校正。

直方圖是立體視頻顏色校正的所有方法中廣泛應(yīng)用并簡便易行的一種辦法。文獻(xiàn)［11］通過計算待校正圖像和參考圖像的亮度(Y)直方圖，利用當(dāng)前圖像和參考圖像亮度直方圖，尋求校正后的參考圖像亮度直方圖與當(dāng)前圖像亮度直方圖的差值的最小值，當(dāng)采用全搜索方法取得最小值時，此時的a，b值為最佳匹配值，即線性校正模型的參數(shù)值。其色度分量(U、V分量)的校正方法與亮度分量(Y分量)的相同。如此，便可對圖像進(jìn)行校正。

4 實驗結(jié)果

本次實驗選擇MATLAB作為實現(xiàn)工具，應(yīng)用上面的兩種算法分別進(jìn)行實驗。

應(yīng)用320 ×240的標(biāo)準(zhǔn)視頻“Race1”和“Flamenco2”?！癛ace1”和“Flamenco2”都由 KDDI公司提供，文件格式都為4:2:0的YUV格式，視點編號都從0開始，不同的是“Race1”有8個視點，“Flamenco2”有5個視點。實驗所采用的標(biāo)準(zhǔn)立體視頻的各個視點已經(jīng)存在顏色偏差，不需要對圖像進(jìn)行加擾。在本次實驗中，我們在“Racel”中選擇視點3作為參考視點，在“Flamenco2”中選擇視點2作為參考視點。

當(dāng)待校正圖像與參考圖像進(jìn)行SURF變換后，就可以得到了相應(yīng)的特征點。尋找匹配點對，并對特征點進(jìn)行預(yù)處理，來排除誤匹配，這反映了SURF特征匹配的穩(wěn)健高效。

對于320 ×240的圖像，R，G，B三個通道各找到230，256，256 個匹配點。

這些匹配點具體位置如下圖:

其中，(a)、(b)兩幅圖片為R通道的匹配結(jié)果，(c)、(d)兩幅圖片為G通道的匹配結(jié)果，(e)、(f)兩幅圖片為B通道的匹配結(jié)果。可以看出，SURF算法匹配特征點的準(zhǔn)確行和高效性。

分別可得到這些匹配點的坐標(biāo)和各通道顏色值。接下來，利用公式:

即可對圖像進(jìn)行校正，校正結(jié)果如下圖:

其中，(a)為原始圖像(視點0，第100幀)，(b)為參考圖像(視點3，第100幀)，(c)為直方圖校正后的圖像，(d)為SURF算法校正后的圖像，可以看出，SURF校正的結(jié)果還是比較明顯的。校正前的圖像顏色偏亮，對比度較低，而經(jīng)過校正后，圖像的對比度明顯增強(qiáng)，亮度也與參考圖像漸漸趨近一致。

為了使結(jié)果更具說服力，本文又采用了MPEG三維音視頻專家組(3DAV)建議的立體視頻的Soccer序列，來進(jìn)一步驗證顏色校正算法的性能。本文采用多視點序列中靠近中間視點位置的兩路視頻，選擇其中一路視頻序列作為參考視點(左視點)，以另外一路編碼視頻序列(右視點)的顏色信息為基準(zhǔn)對參考圖像進(jìn)行顏色校正，以提高編碼視頻序列的編碼性能。

具體校正結(jié)果如下圖:

其中，圖(a)為待校正圖像，圖(b)為參考圖像，圖(c)為直方圖校正結(jié)果，圖(d)為基于SURF的校正結(jié)果。

5 小結(jié)

從上述實驗結(jié)果表明，本文提出的基于SURF的顏色校正方法很好地解決了立體圖像對間顏色差異的問題，特征點匹配效果明顯，而且速度快，校正結(jié)果比直方圖校正更接近原圖像。因此，基于SURF的顏色校正算法可以有效并準(zhǔn)確地實現(xiàn)立體視頻顏色校正。

［1］Xu W，Mulligan J.Performance Evaluation of Color Correction Approaches for Automatic Multi-view Image and Video Stitching［J］.CVPR，10，2010，263–270.

［2］Unal G，Yezzi A，Soatto S，Slabaugh G.A variational approach to problems in calibration of multiple cameras［J］.Pattern Analysis and Machine Intelligence，29(8):1322-1338.

［3］Yi Liu，Yongfang Wang，Zhaoyang Zhang.Color Correction Method Based on Histogram Segmentation for Multiview Video［J］.Wireless Mobile and Computing(CCWMC)2009:539-542.

［4］Feng Shao，Gangyi Jiang，Mei Yu.Dominant Color Tracking Based ColorCorrection for Multi-view Video Using Kalman Filter［J］.Computational Intelligence and Software Engineering(CISE)2009:1-4.

［5］王琦.基于立體視覺的邊界提取研究［D］.中國科學(xué)技術(shù)大學(xué)，2010，中國博士學(xué)位論文全文數(shù)據(jù)庫.

［6］BAY H，TUVTELLARS T，GOOL L Van.SURF:speeded up robust features［C］.Proceedings of the European Conference on Computer Vision，2006，404-417.

［7］AYERSB，BOUTELL M.Home interior classification using sift keypoint histograms ［J］.IEEE，2007，1-6.

［8］劉頤，王永芳，張兆楊.不同顏色空間多視點視頻顏色校正的性能分析［J］.電視技術(shù)，2009(11).

［9］Bay H.SURF:Speeded Up Robust Features［J］.Computer Vision and Image Understanding，San Diego:Academic Press Inc Elsevier Science，2008，110(3):346-359.

［10］姜浩，張蕾.一種基于直方圖匹配的立體視頻顏色校正算法［J］.信息通信技術(shù)，2009(5).

［11］常志華，王子立.一種基于直方圖匹配的顏色校正方法［J］.科技資訊，2007(13).