結(jié)合Levenberg-Marquardt算法的垂直視差消減方法

李清玉，趙　巖，王世剛

(吉林大學(xué) 通信工程學(xué)院，吉林 長(zhǎng)春 130012)

?

結(jié)合Levenberg-Marquardt算法的垂直視差消減方法

李清玉，趙巖*，王世剛

(吉林大學(xué) 通信工程學(xué)院，吉林 長(zhǎng)春 130012)

垂直視差的存在是影響立體視頻觀視舒適度的主要因素。為了在不影響水平視差的條件下實(shí)現(xiàn)對(duì)垂直視差的消減，本文引入Levenberg-Marquardt(L-M)非線性算法實(shí)現(xiàn)變換矩陣的精確求解。首先用抗縮放、旋轉(zhuǎn)及仿射變換的SIFT(Scale-invariant feature transform)特征匹配算法檢測(cè)出雙目圖像對(duì)的特征匹配點(diǎn)，然后根據(jù)匹配點(diǎn)的坐標(biāo)位置運(yùn)用L-M算法計(jì)算可消減垂直視差的變換矩陣，將變換矩陣作用于目標(biāo)圖像，計(jì)算出該視圖每個(gè)像素點(diǎn)的新坐標(biāo)位置。實(shí)驗(yàn)結(jié)果表明：與利用線性算法求解二維射影變換矩陣的垂直視差消減方法相比，本文提出的求解方法在垂直視差消減上比該算法提高了約0.029 1～0.323 2個(gè)像素，對(duì)水平視差的影響比該算法降低了約0.118 7～1.139 1個(gè)像素。因此本文提出的方法對(duì)垂直視差的消減起到了優(yōu)化作用。

SIFT；射影變換；垂直視差消減；Levenberg-Marquardt算法

1　引　言

近年來(lái)，隨著3D技術(shù)的迅速發(fā)展，人們已經(jīng)不滿足于從二維圖像中獲得有限的信息，逐漸習(xí)慣于享受三維視覺(jué)帶來(lái)的沉浸感[1]。雙眼視差是立體顯示技術(shù)的理論基礎(chǔ)，水平視差在三維重建的過(guò)程中起著關(guān)鍵的作用，水平視差的變化使得人們對(duì)于畫(huà)面所呈現(xiàn)的事物有了立體的感知，然而垂直視差則會(huì)使人感覺(jué)疲勞[2]。理想條件下，在拍攝過(guò)程中所有攝相機(jī)都應(yīng)在同一條水平線上，同時(shí)要求所有攝像機(jī)的光軸平行，并且所拍攝出圖像或視頻的極線嚴(yán)格要求水平。但實(shí)際上，由于支架的形變及攝像機(jī)內(nèi)部感光元件的不一致性等工藝問(wèn)題往往會(huì)造成不同程度的垂直視差，這不僅影響了立體圖像的合成質(zhì)量，還會(huì)引起視覺(jué)疲勞。因此為了提高觀視者的舒適度，垂直視差消減方法的研究成為了越來(lái)越多科研人員的研究重點(diǎn)[3]。

國(guó)內(nèi)外對(duì)垂直視差消減技術(shù)的研究較少，并且這些方法中很多都是在處理過(guò)程中需要較多的圖像信息或者攝像機(jī)參數(shù)[4]。韓國(guó)Yun-Suk Kang和Cheon Lee等人提出了針對(duì)平行相機(jī)陣列的擬合公共基線解決辦法和針對(duì)弧形相機(jī)陣列的幾何補(bǔ)償校正算法。但是，這個(gè)方法需要多視點(diǎn)相機(jī)的標(biāo)定參數(shù)，無(wú)法提供脫離相機(jī)參數(shù)的獨(dú)立應(yīng)用。在無(wú)攝像機(jī)標(biāo)定情況下，Loop[5]提出了基于基本矩陣的圖像校正方法，將校正過(guò)程分解為射影變換和仿射變換。該方法依賴(lài)于基本矩陣的精確求解，而由對(duì)應(yīng)點(diǎn)計(jì)算基本矩陣還沒(méi)有較為穩(wěn)定的算法。上海大學(xué)劉利亮和安平[6]等人提出了一種基于公共點(diǎn)提取的多視圖像校正的方法，該方法有效降低了垂直視差，但是在校正垂直視差的過(guò)程中使得水平視差也發(fā)生了較大改變。

針對(duì)上述問(wèn)題，本文提出了一種基于Levenberg-Marquardt(L-M)算法的垂直視差消減方法，該方法不需要攝像機(jī)的參數(shù)和過(guò)多的圖像信息，將由SIFT算法獲得的匹配點(diǎn)通過(guò)L-M算法計(jì)算出較高精度的變換矩陣，在進(jìn)一步消減垂直視差的同時(shí)降低了對(duì)水平視差的影響，從而減緩觀看立體視頻時(shí)產(chǎn)生的視覺(jué)疲勞。

2　算法實(shí)現(xiàn)

首先對(duì)雙目圖像對(duì)使用SIFT算法進(jìn)行特征點(diǎn)匹配，然后根據(jù)匹配點(diǎn)坐標(biāo)應(yīng)用L-M算法進(jìn)行校正變換矩陣的計(jì)算，并通過(guò)校正變換矩陣計(jì)算校正后像素的新坐標(biāo)，生成校正后的視圖。最后通過(guò)文獻(xiàn)[7]的后處理方法去除部分圖像中由校正變換引起的噪聲。本文提出方法的流程圖如圖1所示。

圖1　方法流程圖 Fig.1　Flowchart of the proposed method

2.1圖像的特征提取與匹配

本文采用SIFT[8]算法進(jìn)行圖像的特征提取與匹配，該算法是一種局部描述算法，它可以在圖像中檢測(cè)出特征點(diǎn)。在尺度空間中，它通過(guò)極值檢測(cè)來(lái)查找潛在的興趣點(diǎn)，由于采用了高斯微分函數(shù)，它不會(huì)受諸如圖像的縮放、旋轉(zhuǎn)及仿射變換的影響[9]。SIFT算法是目前圖像特征匹配領(lǐng)域的研究重點(diǎn)，它的匹配結(jié)果十分準(zhǔn)確，很少有偏差，而且效率很高。

2.2二維射影變換矩陣

射影變換就是射影平面上的可逆齊次線性變換，可以用3×3的矩陣來(lái)描述這個(gè)變換:

(1)

可以更簡(jiǎn)略地記為x′=H·x。

本文在坐標(biāo)點(diǎn)的表述上使用了齊次坐標(biāo)，即變換是齊次的，因而同一個(gè)射影變換矩陣可以相差一個(gè)非零常數(shù)因子，所以射影變換矩陣的元素所構(gòu)成的8個(gè)比值，就可以確定這個(gè)射影變換矩陣。

Richard Hartley[10]對(duì)二維射影變換矩陣做了簡(jiǎn)要定義，如圖2所示。一條射線由圖像平面C上的一點(diǎn)x延伸，與世界平面Π相交于點(diǎn)xπ，這個(gè)點(diǎn)在圖像平面C′上的投射點(diǎn)為x′。由平面Π引起的點(diǎn)x與x′之間的映射關(guān)系即射影變換。世界平面Π與兩圖像平面C和C′關(guān)系分別如下：

(2)

(3)

由式(2)和式(3)可整理出兩個(gè)圖像平面的單應(yīng)性關(guān)系:

(4)

圖2　射影變換定義 Fig.2　Definition of projective transformation

2.3垂直視差消減理論

假設(shè)左視圖和右視圖中的P(x,y)和Q(x′,y′)是一對(duì)特征匹配點(diǎn)，如果不存在垂直視差，那么Q的坐標(biāo)值應(yīng)為(x′,y)。同理，假設(shè)兩幅圖像使用SIFT算法檢測(cè)出n對(duì)匹配點(diǎn)對(duì)，這些匹配點(diǎn)對(duì)的坐標(biāo)形式整理為矩陣形式[11]:

前者作為基準(zhǔn)圖(左視圖)上匹配點(diǎn)的二維坐標(biāo)矩陣形式，后者為待處理的右視圖上匹配點(diǎn)的二維坐標(biāo)矩陣形式，可以得到消減垂直視差前、后的坐標(biāo)矩陣應(yīng)該分別為:

根據(jù)式(4)可以得到一系列的二維射影關(guān)系:

(5)

其中，二維射影變換矩陣為:

(6)

式中，采用齊次坐標(biāo)方式，由式(5)通過(guò)L-M算法即可計(jì)算出二維射影變換矩陣 。

2.4L-M算法簡(jiǎn)介及在矩陣計(jì)算中的應(yīng)用

L-M算法又稱(chēng)為阻尼最小二乘法，是目前應(yīng)用較為廣泛的一種無(wú)條件約束優(yōu)化方法，該方法具有高斯-牛頓法的局部快速收斂特性，并克服了牛頓法不能有效處理奇異矩陣和非正定矩陣及對(duì)初始點(diǎn)要求比較苛刻的缺點(diǎn)；同時(shí)繼承了梯度下降法的全局搜索特性，精確度很高[12]。

下面對(duì)L-M算法進(jìn)行簡(jiǎn)要介紹：

設(shè)x(k)表示第k次迭代的權(quán)值和閾值所組成的向量，新的權(quán)值和閾值組成的向量x(k+1)可根據(jù)式(7)、(8)的規(guī)則求得：

(7)

(8)

(9)

式中，ei(x)為誤差。對(duì)于高斯-牛頓法的計(jì)算法則有:

(10)

J(x)為E(x)的Jacobian矩陣。L-M算法是一種改進(jìn)的高斯-牛頓法，它的形式為:

(11)

式(11)中，比例系數(shù)μ>0為常數(shù),I為單位矩陣[13]。

當(dāng)μ足夠大時(shí)，總可以保證[JT(x)J(x)+μI]-1是正定的，從而保證其可逆，算法的每次迭代都對(duì)μ進(jìn)行自適應(yīng)調(diào)整。當(dāng)接近解時(shí)，μ逐漸減小，權(quán)值調(diào)整類(lèi)似于高斯-牛頓法，利用類(lèi)似于二階導(dǎo)數(shù)的信息，可以快速收斂到這個(gè)解；當(dāng)遠(yuǎn)離解時(shí)，μ逐漸增大，權(quán)重調(diào)整又類(lèi)似于梯度下降法，可以進(jìn)行全局搜索。所以L-M算法同時(shí)具備了牛頓法和梯度法的優(yōu)點(diǎn)，但計(jì)算J(x)要占用較多的內(nèi)存[14]。

本文給出了一種應(yīng)用L-M算法來(lái)迭代優(yōu)化二維變換矩陣參數(shù)的方法。首先使用SIFT算法檢測(cè)出匹配特征點(diǎn)對(duì)，再由垂直視差消減原理求出經(jīng)過(guò)矩陣變化后的新坐標(biāo)值，使用文獻(xiàn)[6]的線性算法計(jì)算出二維變換矩陣的初值，通過(guò)L-M算法的不斷迭代得到最后優(yōu)化的二維變換矩陣參數(shù)。根據(jù)二維射影變換原理，可以將變換后的坐標(biāo)和原始坐標(biāo)表示成式(12):

(12)

式(12)中，m2表示水平方向位移量，m5表示垂直方向位移量，m0、m1、m3、m4表示尺度和旋轉(zhuǎn)量，m6、m7表示水平和垂直方向的形變量。

由式(12)可得:

(13)

(14)

對(duì)于L-M算法，一個(gè)很關(guān)鍵的步驟就是設(shè)定誤差指標(biāo)函數(shù)，本文的目標(biāo)是求解變換矩陣的8個(gè)參數(shù)的最優(yōu)解，使得所有特征點(diǎn)的像點(diǎn)與其匹配點(diǎn)之間的距離之和最小。因此本文定義誤差指標(biāo)函數(shù)為:

(15)

則由式(9)可知:

(16)

式中，i=1,…,N,N表示點(diǎn)的個(gè)數(shù)，顯然LM優(yōu)化的結(jié)果是E(M)越小越好。

J(M)為ei(M)的Jacobian矩陣:

(17)

對(duì)e1(M),…eN(M)分別求出8個(gè)偏導(dǎo)數(shù)：

對(duì)m0求偏導(dǎo):

(18)

為了簡(jiǎn)化下面公式的證明過(guò)程，將變量代換如下:

(19)

(20)

(21)

將式(19)、(20)、(21)定義的變量帶入到求解Jacobian矩陣的過(guò)程中，則有:

(22)

(23)

(24)

(25)

(26)

(27)

(28)

設(shè)M為列向量(m0,m1,…m7)T,則：

(29)

(30)

J(M)上面已經(jīng)求得，則JT(M)為J(M)的轉(zhuǎn)置也已知，所以ΔM可以求出。其中I為單位矩陣，μ>0為常數(shù)，是一個(gè)試探性參數(shù)，對(duì)于給定的μ，如果能使誤差指標(biāo)函數(shù)E(M)降低，則μ降低，反之，μ增加。下面是具體的L-M優(yōu)化算法的步驟：

①給出誤差的允許值ε，常數(shù)β、μ以及初始化向量Mk,k=0。ε為兩個(gè)像素，β=10,μ=0.001；

②利用變換矩陣Mk計(jì)算目標(biāo)圖像的新坐標(biāo)，并計(jì)算誤差指標(biāo)函數(shù)E(Mk)；

③計(jì)算誤差指標(biāo)函數(shù)的Jacobian矩陣J(M);

④計(jì)算ΔM;

⑤若E(Mk)<ε，轉(zhuǎn)到⑦；否則計(jì)算Mk+1，并計(jì)算誤差指標(biāo)函數(shù)E(Mk+1);

⑥若E(Mk+1)

⑦停止。

3　實(shí)驗(yàn)結(jié)果與分析

本文使用MatlabR2012b進(jìn)行方法的仿真實(shí)現(xiàn)。實(shí)驗(yàn)采用的是分辨率均為1 024×768的立體視頻測(cè)試序列“breakdancer”和“ballet”。

為了檢驗(yàn)垂直視差消減的效果以及文獻(xiàn)[6]和改進(jìn)方法對(duì)水平視差的影響，利用檢測(cè)出匹配點(diǎn)對(duì)的垂直視差的平均值eval和水平視差的平均值hori作為校正前后的評(píng)價(jià)標(biāo)準(zhǔn)：

(31)

(32)

式(31)中，eval值越小，說(shuō)明垂直視差平均值越小，則觀視者的立體觀視感受越好[15]；式(32)中hori值與未處理過(guò)的原圖像對(duì)的水平視差越接近[16]，說(shuō)明在消減垂直視差的同時(shí)對(duì)水平視差的影響越小,則該垂直視差消減方法越好。

圖3是對(duì)breakdancer立體視頻序列第7幀的3、4視點(diǎn)進(jìn)行垂直視差消減的實(shí)驗(yàn)效果圖。其中(c)與(d)分別是利用文獻(xiàn)[6]和本文提出的改進(jìn)方法處理后的結(jié)果圖。

表1是在不同參數(shù)設(shè)置情況下進(jìn)行垂直視差消減前后的評(píng)價(jià)標(biāo)準(zhǔn)，eval是檢測(cè)出匹配點(diǎn)對(duì)的垂直視差的平均值，單位為像素，用它來(lái)評(píng)價(jià)垂直視差消減的效果；hori表示檢測(cè)出匹配點(diǎn)對(duì)的水平視差的平均值，單位同樣為像素。

圖3　breakdancer第7幀的3、4視點(diǎn)實(shí)驗(yàn)效果圖 Fig.3　Experimental results of the 3 and 4 view points of the 7th frame of breakdancer image

參數(shù)原圖像對(duì)eval值文獻(xiàn)[6]方法eval值本文方法改進(jìn)后eval值原圖像對(duì)hori值文獻(xiàn)[6]方法hori值本文方法改進(jìn)后hori值0．252．68421．34181．30615．35534．07594．16520．402．60111．53301．51085．98915．45605．67910．502．68971．53191．50266．53026．14476．1882

在表1中，沒(méi)有進(jìn)行垂直視差消減的原始圖像對(duì)在不同參數(shù)下的eval平均值是2.658 3個(gè)像素，hori平均值是5.958 2個(gè)像素。垂直視差消減后的eval平均值分別為1.468 9和1.439 8，使用本文方法改進(jìn)后的結(jié)果比文獻(xiàn)[6]中使用二維單應(yīng)性矩陣方法提高了0.029 1個(gè)像素，比原始圖像對(duì)提高了1.218 5個(gè)像素;垂直視差消減后的hori平均值分別為5.225 5和5.344 2，使用本文方法改進(jìn)后的結(jié)果對(duì)水平視差的影響比文獻(xiàn)[6]中降低了0.118 7個(gè)像素。

圖4是對(duì)ballet立體視頻序列的第1幀的1、2視點(diǎn)進(jìn)行垂直視差消減的實(shí)驗(yàn)效果圖。在表2中，沒(méi)有進(jìn)行垂直視差消減的原始圖像對(duì)在不同參數(shù)下的eval平均值是7.750 9個(gè)像素，hori平均值是32.278 0個(gè)像素。垂直視差消減后的eval平均值分別為1.910 7和1.587 5，使用本文方法改進(jìn)后的結(jié)果比文獻(xiàn)[6]中使用二維單應(yīng)性矩陣方法提高了0.323 2個(gè)像素，比原始圖像對(duì)提高了6.163 4個(gè)像素;垂直視差消減后的hori平均值分別為29.162 7和30.301 8，使用本文方法改進(jìn)后的結(jié)果對(duì)水平視差的影響比文獻(xiàn)[6]中降低了1.139 1個(gè)像素。

圖4　ballet第1幀的1、2視點(diǎn)實(shí)驗(yàn)效果圖 Fig.4　Experimental results of the 1 and 2 view points of the 1th frame of ballet image

ballet圖像序列的旋轉(zhuǎn)現(xiàn)象比較嚴(yán)重，使用本文方法改進(jìn)后的結(jié)果比文獻(xiàn)[6]使用二維單應(yīng)性矩陣方法提高的效果優(yōu)于對(duì)breakdancer這類(lèi)旋轉(zhuǎn)程度不大的圖像序列。

雖然在圖3和圖4的(c)和(d)中看不出明顯的差別，但是從表1和表2中可以清晰地看出：通常情況下，選取不同參數(shù)時(shí)，在垂直視差消減方面，本文方法改進(jìn)后的垂直視差比文獻(xiàn)[6]使用二維單應(yīng)性矩陣方法有所降低；在對(duì)水平視差的影響方面，本文方法改進(jìn)后的立體圖像對(duì)的水平視差相較于文獻(xiàn)[6]的方法更接近于原立體圖像對(duì)的水平視差，實(shí)現(xiàn)了在消減垂直視差的同時(shí)降低了對(duì)水平視差的影響。因此，使用本文改進(jìn)方法比文獻(xiàn)[6]的方法在垂直視差消減和對(duì)水平視差的影響兩個(gè)方面均有所改善。而且圖像的旋轉(zhuǎn)程度越大，本文使用的方法對(duì)視差的調(diào)節(jié)越明顯。

表2　不同參數(shù)下ballet垂直視差消減前后性能評(píng)價(jià)(單位：像素)

4　結(jié)　論

本文通過(guò)在二維變換矩陣的計(jì)算中引入L-M算法，從而實(shí)現(xiàn)了變換矩陣的精確求解。在垂直視差消減方面，本文提出的算法與文獻(xiàn)[6]中使用二維射影變換的方法相比有了明顯的提高。同時(shí)，在對(duì)水平視差影響方面，本文提出的方法與文獻(xiàn)[6]相比更接近于原始圖像對(duì)的水平視差。改進(jìn)后的方法在垂直視差消減上比該算法提高了0.029 1～0.323 2個(gè)像素，對(duì)水平視差的影響比該算法降低了0.118 7～1.139 1個(gè)像素。對(duì)于旋轉(zhuǎn)變換較大的圖像，本文提出的方法改進(jìn)更為明顯。因此改進(jìn)后的方法有利于在不影響水平視差的情況下對(duì)垂直視差的消減。

[1]杜歆,鄒瀧.視點(diǎn)合成中基于深度的空洞修復(fù)[J].浙江大學(xué)學(xué)報(bào):工學(xué)版,2015,49(9):1616-1624.

DU X,ZOU L. Depth-based hole filling in view synthesis[J].J.ZhejiangUniversity(Engineering Science),2015,49(9):1616-1624.(in Chinese)

[2]王曉燕，王世剛，姜秀紅，等.亮度優(yōu)化立體視頻視覺(jué)舒適度評(píng)價(jià)[J].中國(guó)光學(xué)，2015,8(3):394-400.

WANG X Y,WANG SH G,JIANG X H,etal.. Evaluation of stereo video visual comfort based on luminance optimization[J].ChineseOptics,2015,8(3):394-400.(in Chinese)

[3]李實(shí)秋,雷建軍,周志遠(yuǎn),等.基于SIFT匹配的多視點(diǎn)立體圖像零視差調(diào)整[J].紅外與激光工程,2015(2):764-768.

LI SH Q,LEI J J,ZHOU ZH Y,etal.. Zero-disparity adjustment of multiview stereoscopic images based on SIFT matching[J].InfraredandLaserEngineering,2015(2):764-768.(in Chinese)

[4]邵楓,姜求平,蔣剛毅,等.基于顯著性分析的立體圖像視覺(jué)舒適度預(yù)測(cè)[J].光學(xué) 精密工程,2014,22(6):1631-1638.

SHAO F,JIANG Q P,JIANG G Y,etal.. Prediction of visual discomfort of stereoscopic images based on saliency analysis[J].Opt.PrecisionEng.,2014,22(6):1631-1638.(in Chinese)

[5]LOOP C,ZHANG Z. Computing rectifying homographies for stereo vision[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Fort Collins,Colorado,USA,1999:125-131.

[6]劉利亮，安平，王賀,等.基于公共點(diǎn)提取的多視圖像校正[J].信號(hào)處理，2011,6(27)：857-863.

LIU L L,AN P,WANG H,etal.. Multi-view images rectification based on common points extraction[J].SignalProcessing,2011,6(27):857-863.(in Chinese)

[7]ZHOU B L,ZHAO Y,WANG J Y,etal.. Improvement of visual fatigue based on vertical parallax elimination[C]. 2013 9th International Conference on Natural Computation,Shengyang,China,2013:1350-1354.

[8]DAVID G L. Distinctive image features from scale-invariant keypoints[J].InternationalJ.ComputerVision,2004(60):91-110.

[9]王燦進(jìn),孫濤,陳娟.局部不變特征匹配的并行加速技術(shù)研究[J].液晶與顯示,2014,29(2):266-274.

WANG C J,SUN T,CHEN J. Speeding up local invariant feature matching using parallel technology[J].ChineseJ.LiquidCrystalsandDisplays,2014,29(2):266-274.(in Chinese)

[10]HARTLEY R. Theory and practice of projective rectification[J].InternationalJ.ComputerVision,1999(35):115-127.

[11]程明明，王賀，安平,等.基于特征點(diǎn)匹配的多視圖像校正[J].液晶與顯示，2010,8(24):593-597.

CHENG M M,WANG H,AN P,etal.. Multi-view images rectification based on feature points matching[J].ChineseJ.LiquidCrystalsandDisplays,2010.8(24):593-597.(in Chinese)

[12]姚佳寶,田秋紅,陳本永.一種基于L-M算法的RANSAC圖像拼接算法[J].浙江理工大學(xué)學(xué)報(bào)：自然科學(xué)版,2015,33(4):552-557.

YAO J B,TIAN Q H,CHEN B Y. RANSAC image stitching algorithm based on L-M algorithm[J].J.ZhejiangSci-TechUniversity(Natural Sciences),2015,33(4):552-557.(in Chinese)

[13]項(xiàng)文強(qiáng),張華,王姮,等.基于L-M算法的BP網(wǎng)絡(luò)在變壓器故障診斷中的應(yīng)用[J].電力系統(tǒng)保護(hù)與控制,2011,39(8):100-103.

XIANG W Q,ZHANG H,WANG H,etal..Application of BP neural network with L-M algorithm in power transformaer fault diagnosis[J].PowerSystemProtectionandControl,2011,39(8):100-103.(in Chinese)

[14]SHAO X T,SHAN L,ZONG M L. Levenberg-Marquardt algorithm based nonlinear optimization of camera calibration for relative measurement[C]. 2015 34th Chinese Control Conference(CCC),IEEE,Hangzhou,China,2015:4868-4872.

[15]鄒瀧.3D視頻中的虛擬視點(diǎn)合成方法研究[D]. 浙江大學(xué),2015.

ZOU L. Research on virtual view synthesis for 3D video[D]. Zhejiang University,2005.(in Chinese)

[16]高強(qiáng),金杰,沈麗麗,等.使用EEG分析水平視差對(duì)3D圖像舒適性的影響[J].紅外與激光工程,2014(12):4140-4145.

GAO Q,JIN J,SHEN L L,etal.. Effect analysis of horizontal parallax on 3D images comfortableness using EEG[J].InfraredandLaserEngineering,2014(12):4140-4145.(in Chinese)

Method of vertical parallax reduction combined with Levenberg-Marquardt algorithm

LI Qing-yu, ZHAO Yan*, WANG Shi-gang

(College of Communication Engineering,Jilin University,Changchun 130012,China)*Correspondingauthor,E-mail:zhao_y@jlu.edu.cn

The existence of vertical parallax is the main factor of affecting the viewing comfort of stereo video. In order to reduce the vertical parallax without affecting the horizontal parallax, Levenberg-Marquardt(L-M) algorithm which is the nonlinear algorithm, is introduced in this paper to achieve the accuracy of the transformation matrix. Firstly, the SIFT algorithm, which is invariant to scaling, rotation and affine transformation, is used to detect the feature matching points from the binocular images. Then according to the coordinate position of matching points, the transformation matrix, which can reduce the vertical parallax, is calculated using Levenberg-Marquardt algorithm. Finally, the transformation matrix is applied to target image to calculate the new coordinate position of each pixel from the view images. The experimental results show that compared with the method that can reduce the vertical parallax using linear algorithm to calculate two-dimensional projective transformation, the proposed method using nonlinear algorithm improves the vertical parallax reduction from about 0.029 1 to 0.323 2 pixel and the effect of horizontal parallax is reduced from about 0.118 7 to 1.139 1 pixel. Therefore, the proposed method can optimize the vertical parallax reduction.

SIFT;projective transformation;vertical parallax reduction;Levenberg-Marquardt algorithm

2016-01-25；

2016-02-21

國(guó)家自然科學(xué)基金項(xiàng)目(No.61271315)

2095-1531(2016)03-0312-08

TN919.8

A

10.3788/CO.20160903.0312

李清玉(1989—)，女，遼寧葫蘆島人，碩士研究生，2012年于吉林大學(xué)獲得學(xué)士學(xué)位，主要從事圖像視頻方面的研究。E-mail:597181451@qq.com

趙巖(1971—)，女，吉林遼源人，教授，博士生導(dǎo)師，2003年于吉林大學(xué)獲得博士學(xué)位，主要從事圖像與視頻編碼和立體視頻處理方面的研究。E-mail:zhao_y@jlu.edu.cn

Supported by National Natural Science Foundation of China(No.61271315)