立體視覺雙目圖像MAP的優化復原方法

洪漢玉，范　艷，時　愈，華　夏，張天序

(1.武漢工程大學電氣信息學院，湖北 武漢，430205；2.華中科技大學多譜信息處理技術國家級重點實驗室，湖北 武漢，430074)

立體視覺雙目圖像MAP的優化復原方法

洪漢玉1，范艷1，時愈1，華夏1，張天序2

(1.武漢工程大學電氣信息學院，湖北 武漢，430205；2.華中科技大學多譜信息處理技術國家級重點實驗室，湖北 武漢，430074)

摘要：為了有效地對立體視覺雙目模糊圖像進行復原，提出一種動目標雙目圖像MAP的優化復原方法，將雙目運動模糊圖像的復原問題轉化為在模糊核路徑關系約束下的雙重循環MAP優化估計問題，在保證模糊核路徑對應關系前提下，對雙目圖像進行去模糊。建立了雙目圖像模糊核路徑的對應關系模型，將關系模型作為約束條件式，嵌入到基于模糊核和雙目原圖像的MAP優化估計過程中，通過雙重循環迭代獲取雙目圖像的模糊核和清晰圖像。實驗結果表明，該方法能夠有效地去除立體視覺雙目圖像的模糊。

關鍵詞：立體視覺；動目標；雙目圖像； MAP；模糊核；圖像復原

在計算機視覺系統中，由于單觀測點圖像不能為目標識別和監控提供有效的三維信息，所以目前計算機視覺系統通常需要同步采集兩個觀測點圖像。而在短曝光時間內，觀測目標與成像系統之間存在相對運動，導致采集到的觀測圖像是模糊的，圖像質量一般較差。因此，為了獲得完整的三維信息，實際工作中往往需要解決短曝光雙目視覺系統中動目標圖像復原的問題。

目前動目標圖像復原方法主要有單幀圖像復原法[1-2]和多幀圖像復原法[3], 其中單幀圖像復原法基于單個相機采集的單幀圖像進行復原，復原效果僅對同一視角的模糊圖像有效；而多幀圖像復原法去模糊效果較好，但有如下的限制條件：同一視角、同一場景，且需要較多的先驗知識，適用范圍較窄。因此，基于混合圖像系統的圖像復原方法應運而生[4-5]。在混合圖像系統中，雖然相機采集到的圖像是兩個不同視角的觀測圖像，但該方法僅利用其中一個視角的觀測圖像信息對另一個視角的圖像進行復原。以上方法并未考慮觀測圖像之間的像素位置關系，因而均不適用于解決雙目視覺系統中圖像的復原問題。為此，本研究提出一種雙目觀測圖像最大后驗估計(MaximumAPosteriori,MAP)優化復原方法，在立體視覺系統中，建立雙目模糊核路徑的對應關系數學模型，并對兩個模糊核路徑對應關系進行優化處理，通過雙重循環迭代地估計雙目模糊核和清晰圖像。

1立體視覺雙目圖像的運動模糊形成機理

立體視覺系統中，三維(3D)空間中目標的運動路徑投影如圖1所示。短曝光時間內，在3D空間中，當物體從P運動到Q，映射到觀測面上，對應運動Mi(t)從pi運動到qi(i=1,2)，不同觀測面上成像視點的位置和角度是不同的，使得每個觀測面上piqi的長度和方向也不同。觀測圖像gi(x,y)可以表示如下：

(1)

式中：hi(x,y)、fi(x,y)及ni(x,y)分別表示模糊核、清晰圖像和噪聲；?表示2D離散卷積；下標i為觀測點標號。

圖像模糊是由目標在空間中的運動引起的。在短曝光時間內，由于動目標在不同時刻的空間位置是不同的，所以，動目標在雙目左右兩個成像面上的投影是不一樣的。從光學理論上講，圖像模糊可看成動目標在成像積分時間內的運動影像積累。因為在左右兩個像平面動目標影像的投影是不一樣的，動目標影像積累及運動軌跡也不一樣，因此兩個像平面內雙目圖像的模糊核及模糊路徑是不同的。

圖1　立體視覺雙目運動路徑對應關系示意圖

Fig.1 The correspondence between motion paths in the binocular stereo vision system

2雙目模糊核路徑的關系模型

雙目立體視覺兩個觀測面的模糊核路徑對應3D空間中同一運動路徑。因此，兩個投影模糊核路徑之間存在對應關系。模糊核可以由線段或平滑的曲線段近似表示[3]。對于雙目立體視覺系統中的運動模糊圖像復原，要迭代地估計兩個投影模糊核路徑，確保估計的投影模糊核路徑保持對應關系。

2.1模糊核路徑的關系

考慮目標的線性運動，令相機參數映射矩陣為P ；(xyz1)為3D齊次坐標系中的一點，映射到2D觀測面上，則(u v 1)為 2D坐標系中的一點，那么(x y z 1)和(u v 1)的對應關系如下：

(2)

式中：d為相機的景深。

相機參數映射矩陣P可定義為K*[Rt]，其中相機參數矩陣K和[Rt]可在相機標定的過程中計算得到。

從式(1)和圖1可知，每個觀測面的模糊核路徑是不同的。為簡化計算，假設運動模糊核路徑是空間不變的。當物體在空間中從P點運動到Q點, 映射到兩個觀測面上分別為p1q1和p2q2,如圖2所示。相機參數映射矩陣P是可逆的，通過式(2)，可以從(u,v)和d推導得到(x,y,z)，如下式所示：

(3)

其中：

(4)

(a) 觀測面1(b) 觀測面2

圖2三維立體空間中運動piqi在兩個觀測面上的投影

Fig.2 Movement projection of piqion two observed imaging planes of 3D space

(5)

(6)

雙目立體視覺系統中，兩個觀測面上的點對(Δu(1),Δv(1))和(Δu(2),Δv(2))是相關的，那么一定滿足式(6)的關系，因此可以利用式(6)來檢查點對是否相關。

2.2離散化后的模糊核路徑的對應關系

物體沿著空間路徑運動，在每個觀測面投影，對應沿著投影路徑運動。不同觀測面的投影路徑不同。必須注意的是，對空間路徑上的任意一點，投影到觀測面，對應兩個模糊核路徑上的點對(u(1)，v(1))和(u(2),v(2))。通過對模糊核支撐域沿著軌跡(模糊路徑)離散化，可建立模糊核路徑之間的關系：uk=u0+Δuk,vk=v0+Δvk(k=0,1,…,N-1)，其中k為沿著運動軌跡的離散點序號。

兩個觀測面上離散化的模糊核路徑上的點對是對應的，對應的點對是3D空間上同一個點的投影。類似于式(6)中模糊核路徑之間的關系，這里擴展兩個觀測面上離散化的模糊核路徑上離散點對的關系，離散化后的模糊核路徑如圖3所示。由圖3中可知：

(a) 觀測面1

(b) 觀測面2

圖3兩個觀測面上離散化的模糊核路徑

Fig.3 Discretization of blur kernel paths on two observed imaging planes

3圖像復原優化框架

3.1MAP優化

(7)

式中：P(gi|fi,hi)表示在已知原始圖像fi(x)和模糊核hi(x)的前提下，模糊圖像gi(x)產生的概率；P(fi)和P(hi)分別表示原始圖像和模糊核的先驗概率。

由于觀測到的模糊圖像、原始圖像和模糊核可以視為是獨立分布的，故可建立如下的MAP估計框架：

(8)

最大后驗概率對原圖像和模糊核的估計，可以通過極小化條件概率密度函數P(fi,hi|gi)的非負對數函數獲得：

(9)

其中，

L(fi,hi|gi)=-log(P(fi,hi|gi))

(10)

由式(7)、式(8)可得：

(11)

將P(fi)和P(hi)的非負對數記為L(fi)和L(hi)。在實際情況下，觀測到的模糊圖像往往受到噪聲的干擾，一般可假定每像元噪聲服從泊松分布，那么觀測圖像的概率密度函數可以表示為

(12)

對式(12)取對數，并去掉常數項，可以得到：

(13)

圖像復原是一個不適定問題，為了提高圖像復原的穩定性并抑制噪聲干擾，可以采用一些正則化技術。由于相鄰點相關，最小化它們的差異可以視為對空間相關性的約束，構造如下正則化項[6]：

(14)

將式(14)合并到式(13)可得：

(15)

(16)

同理，對L(fi,hi|gi)取關于hi的導數并令其為零，模糊核可以通過如下公式迭代更新：

(17)

3.2目標圖像估計過程

(18)

3.3模糊核估計過程

(19)

式中：下標m表示內循環次數。

在原圖像和模糊核估計過程中，分別進行M1和M2次迭代。當兩個內循環迭代結束以后，再進行下面的模糊核的優化處理。

3.4雙目模糊路徑坐標對應關系的優化處理

(20)

對雙目觀測點圖像的模糊核路徑對應關系進行優化處理，然后將優化以后的模糊核用于目標圖像恢復的迭代過程中，直到滿足迭代終止條件為止。經過幾次迭代以后，即可得到滿足雙目模糊核路徑對應關系的模糊核和雙目復原圖像。

3.5雙目圖像復原算法流程圖

本文提出的算法主要包括以下流程：設置目標圖像和模糊核的初始值，在兩個內循環中估計目標圖像和模糊核，對估計出來的雙目模糊核路徑進行優化處理，將優化后雙目模糊核進行外部循環，直到滿足終止條件為止。算法流程圖如圖4所示。

Fig.4 Flow chart of image restoration calculation in the binocular system

4仿真及實驗驗證

為驗證本研究的算法，采用VC++6.0編程，在Dell計算機(2.67 GHz CPU,4 GB內存)上運行，對雙目圖像進行去模糊效果測試。

以雙目相機采集固定不動目標的雙目圖像作為基準圖像(原圖像，圖像大小為1024×1024像素)進行仿真，對本研究算法與目前圖像復原效果較好的Shan方法進行比較，結果如圖5所示。由圖5中可知，本研究方法比Shan方法估計的模糊核路徑要精細一些。

以圖5中原圖像為基準，分別計算模糊圖像、Shan方法恢復圖像及本研究方法恢復圖像的歸一化均方差值(Normalized Mean Squared Error，NMSE)，計算結果如表1所示。從表1可知，本研究方法得到的NMSE值最小，表明采用本研究方法恢復后的圖像與原圖最接近，圖像恢復效果好。

圖6所示為一組實際雙目圖像復原及視覺對比實驗的結果，下方小圖為大圖中對應方框內局部圖的2.5倍放大圖)。由圖6中可以看出，采用Shan方法對左、右視點圖像分別進行恢復，恢復結果有顯著振鈴效應；而采用本研究方法恢復的結果振鈴效應明顯減少，恢復的圖像清晰度高、視覺效果較好。局部放大圖的細節對比也表明本研究方法能夠獲得更好的恢復效果。

圖4　雙目圖像復原算法流程圖

(a) 原圖像

(b) 運動模糊圖像

(c) Shan方法恢復的圖像

(d) 本研究方法恢復的圖像

Fig.5 Restoration for simulated motion blurred binocular images

表1　NMSE值對比

(a) 實際運動模糊的雙目圖像

(c) 本研究方法恢復的雙目圖像

Fig.6 Restoration of real motion blur binocular images

5結語

在雙目相機同步采集情況下，本研究提出了雙目圖像MAP的優化復原方法，將雙目圖像的復原問題轉化為在模糊核路徑關系約束下的雙重循環MAP優化估計問題。建立了兩個觀測圖像模糊路徑之間的對應關系模型，將關系模型作為約束條件式，嵌入到基于模糊核和雙目原圖像的MAP優化估計過程中，有效地恢復雙目模糊圖像。實驗結果表明本研究的方法對雙目模糊圖像的復原能夠獲得較好結果。

參考文獻

[1]Xiao L, Gregson J, Heide F, et al. Stochastic blind motion deblurring[J]. IEEE Transactions on Image Processing, 2015, 24(10):3071-3085.

[2]Shan Q, Jia J Y, Agarwala A. High-quality motion deblurring from a single image[J].ACM Transactions on Graphics, 2008, 27(3):Article 73.

[3]Hintermüller M, Wu T. Bilevel optimization for calibrating point spread functions in blind deconvolution[J].Inverse Problems and Imaging,2015,9(4):1139-1169.

[4]Ben-Ezra M, Nayar S. Motion-based motion deblurring[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(6):689-698.

[5]Tai Y W, Du H, Brown M S, et al. Correction of spatially varying image and video motion blur using a hybrid camera[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(6):1012-1028.

[6]Hong H Y, Park I K. Single-image motion deblurring using adaptive anisotropic regularization[J]. Optical Engineering, 2010, 49(9):097008.

[責任編輯鄭淑芳]

Method for MAP optimization image restoration in binocular stereo system

HongHanyu1,FanYan1,ShiYu1,HuaXia1,ZhangTianxu2

(1.School of Electrical and Information Engineering, Wuhan Institute of Technology, Wuhan 430205,China；2.National Key Laboratory of Science and Technology on Multi-spectral Information Processing,Huazhong University of Science and Technology, Wuhan 430074, China)

Abstract:In order to remove the motion image blurring in binocular stereo vision system effectivery, this paper presents a novel motion image restoration method based on MAP optimization. The problem of motion blurry binocular image restoration can be transformed into MAP optimization and estimation double loop problem within the constraint of the relationship of blur kernel paths. The binocular image deblurring is performed under the condition that the corresponding relationship of blur kernel paths is guaranteed.The corresponding relationship model of motion blur kernel paths for the binocular image is built, and embedded into MAP optimization estimation as the constraints. The clear image and blur kernel of the binocular image is obtained by double circulation iteration.Experimental results show that the proposed approach is effective to deblur the binocular image in the stereo vision system.

Key words：stereo vision; moving object; binocular images; MAP; blur kernel; image restoration

收稿日期：2015-12-20

基金項目：國家自然科學基金面上項目(61175013)；湖北省自然科學基金創新群體項目(2012FFA046).

作者簡介：洪漢玉(1964-)，男，武漢工程大學教授，博士生導師.E-mail:hhyhong@163.com

中圖分類號：TP391.41

文獻標志碼：A

文章編號：1674-3644(2016)01-0062-07