全景攝像系統(tǒng)中展開圖像的電子穩(wěn)像方法研究

( 哈爾濱工程大學(xué) 自動(dòng)化學(xué)院， 哈爾濱 150001 )



摘 要：深入分析和研究了全景圖像的解算算法與穩(wěn)像的實(shí)現(xiàn)方法，提出了全景攝像系統(tǒng)的穩(wěn)像方法——基于灰度投影的電子穩(wěn)像算法。該系統(tǒng)的硬件由全景裝置、CCD、圖像采集卡和計(jì)算機(jī)構(gòu)成，軟件編程基于DirectShow平臺(tái)，通過(guò)VC++實(shí)現(xiàn)。通過(guò)對(duì)結(jié)果的分析表明，該算法的設(shè)計(jì)具有快速、準(zhǔn)確的特征，是實(shí)現(xiàn)全景攝像系統(tǒng)的電子穩(wěn)像的一種切實(shí)可行的方法。

關(guān)鍵詞：全景系統(tǒng)； 電子穩(wěn)像； 灰度投影算法； 運(yùn)動(dòng)矢量

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：10013695(2009)03119203



Electronic image stabilizing method research for developing image inomnidirectional camera system



ZHU Qidan， MA Hongye， ZUO Xiaoxiang



(College of Automation， Harbin Engineering University， Harbin 150001， China)



Abstract:The paper deeply researched implementation method on the solution algorithm of omnidirectional vison image and stabilizingimage， and proposed an imagestabilizing method of omnidirectional camera system which was based on the electronic stabilizingalgorithm of gray projection.This system was composed of omnidirectionaldevices，CCD，image gathering card and computer， implemented the software programming through VC++ based on DirectShowplatform. According to the analysis results，this method is a reasonable one of electronic image stabilizingfor omnidirectionalcamera system，which is characteristic of quickspeed and acurracy.

Key words：omnidirectional vision; electronic image stabilization; gray projection algorithm; motion vector



0 引言

全景視覺(jué)系統(tǒng)與普通視覺(jué)不同，全景視覺(jué)環(huán)境感知系統(tǒng)成像視場(chǎng)大于半球視場(chǎng)(360°×180°)，甚至可以接近球面視場(chǎng)(360°×360°)。

目前，全景視覺(jué)環(huán)境感知與目標(biāo)探測(cè)技術(shù)作為光學(xué)、電子學(xué)、計(jì)算機(jī)科學(xué)和模式識(shí)別與智能系統(tǒng)理論的交叉學(xué)科。隨著大規(guī)模CCD陣列成像技術(shù)和圖像并行處理技術(shù)的飛速發(fā)展，全景視覺(jué)環(huán)境感知與目標(biāo)探測(cè)系統(tǒng)將在移動(dòng)機(jī)器人/戰(zhàn)車導(dǎo)航、飛機(jī)/導(dǎo)彈等對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤、航母/艦船空間目標(biāo)探測(cè)與跟蹤、外部空間探測(cè)及視頻監(jiān)控、視頻會(huì)議、遠(yuǎn)程教育等民用領(lǐng)域具有廣泛的應(yīng)用前景。但是全景攝像系統(tǒng)在機(jī)載、車載、船載、彈載等動(dòng)載體電視攝像系統(tǒng)中，由于受到載體運(yùn)動(dòng)的影響，攝像系統(tǒng)采集到的圖像序列是不穩(wěn)定的，嚴(yán)重影響人們觀測(cè)與識(shí)別目標(biāo)。

隨著高分辨率數(shù)字?jǐn)z像技術(shù)的普及，通過(guò)軟件對(duì)采集到的數(shù)字圖像進(jìn)行處理，使圖像在顯示終端能夠得到穩(wěn)定顯示的圖像序列越來(lái)越受到關(guān)注，即電子穩(wěn)像技術(shù)。電子穩(wěn)像的目的就是通過(guò)檢測(cè)圖像運(yùn)動(dòng)矢量，采取相應(yīng)的補(bǔ)償手段校正圖像，輸出穩(wěn)定的圖像序列。電子穩(wěn)像比傳統(tǒng)的光學(xué)穩(wěn)像、機(jī)械穩(wěn)像更加簡(jiǎn)單靈活，在體積、功耗、智能性等方面更加具有優(yōu)越性，已經(jīng)成為現(xiàn)代穩(wěn)像技術(shù)的一個(gè)研究方向。本文主要研究全景的展開圖像及其穩(wěn)像算法的實(shí)現(xiàn)。

1 全景攝像系統(tǒng)簡(jiǎn)介

全景攝像系統(tǒng)硬件主要由非球面反射鏡、攝像機(jī)、圖像采集卡、軟件環(huán)境四部分組成。其原理圖與效果圖如圖1所示。

2 全景視覺(jué)的圖像解算

由于全景圖像是非線性畸變圖像，不利于觀看，在實(shí)際應(yīng)用中首先把全景圖像作展開處理。在實(shí)際應(yīng)用中需要一種快速的近似展開算法，能夠?qū)r(shí)間消耗和對(duì)各種參數(shù)的要求降到最小，同時(shí)盡可能保持有用的信息。考慮到后面幾個(gè)步驟的算法中，θ分量即方位角度的信息是最需要的；而在豎直方向上，發(fā)生一些形變對(duì)結(jié)果影響不是很大，因此提出一種線性展開的快速近似算法。由于全景圖像和還原圖像的對(duì)應(yīng)關(guān)系為一維對(duì)應(yīng)關(guān)系，并且為線性展開，稱之為一維線性變換。

在正常情況下，攝像機(jī)的軸線是垂直的，與反射鏡的軸共線，且通過(guò)反射鏡的中心，3D空間中相對(duì)全景視覺(jué)傳感器有相同距離且相同高度下的點(diǎn)投影為圖像面上的2D圓。3D空間中同一距離不同高度的點(diǎn)會(huì)分布在不同的同心圓上。3D空間中較高的點(diǎn)投影為外圍的圓上，較低的點(diǎn)投影在內(nèi)部的圓上。外圈和內(nèi)圈的圓分別影射為解算圖像的頂端和底部的直線。其解算原理如圖2所示。全景圖像上任一點(diǎn)的像素f(x，y)用極坐標(biāo)表示為

x=r cos α+x0y=r sin α+y0

其中：r為全景圖像的半徑， 值為0~R；α圓心角，值為0~2π。全景圖像解算可簡(jiǎn)化為

I(x，y)=I0(r cos α+x0，r sin α+y0)(1)

其中：(x0，y0)為原始全景圖像的中心點(diǎn)；x為圖像水平方向的坐標(biāo)，y為圖像豎直方向的坐標(biāo)，且皆為解算后全景圖像的參數(shù)；α為x的線性函數(shù)，其值域?yàn)?~2π；r為y的線性函數(shù)，其值域?yàn)閇0，R]，R為全景圖像的半徑，如圖2所示；I0為原始全景圖像像素的灰度值；I為解算后圖像像素的灰度值。掃描極坐標(biāo)從而可得可以覆蓋所有有效的全景圖像區(qū)域。得到的解算后全景圖像的列數(shù)依賴于最小步距角Δα。步距角是按照中間圓的像素?cái)?shù)目來(lái)確定的。因此內(nèi)圈的圓會(huì)出現(xiàn)過(guò)采樣，而外圈的圓會(huì)出現(xiàn)欠采樣。

α與y和r與x的函數(shù)關(guān)系的選取，將決定原始全景圖像解算為全景圖像的展開方向及展開起始點(diǎn)。按照如圖2所示的展開起始點(diǎn)和展開方向?qū)υ既皥D像進(jìn)行解算。假設(shè)（X，Y）為(0，0)，則按圖3所示的展開起始點(diǎn)和展開方向所對(duì)應(yīng)的函數(shù)關(guān)系式為α=[0:2π]。

針對(duì)垂直方向畸變問(wèn)題，下面將介紹一種垂直方向無(wú)畸變的算法，如圖4所示。

由于投影面為柱面，可以在二維平面內(nèi)進(jìn)行分析。如圖4所示，設(shè)雙曲線方程滿足式(3)，成像面上原始圖像點(diǎn)p′對(duì)應(yīng)于投影柱面上的p點(diǎn)，點(diǎn)c和c′分別為雙曲線上焦點(diǎn)和下焦點(diǎn)，點(diǎn)m為從P入射經(jīng)過(guò)上焦點(diǎn)c的光線與反射鏡面的交點(diǎn)。易知直線cp方程符合式(3)。

y=tan(π/2+ω)x+e

直線mp′方程符合軸向放大率公式α=β2n′/n，詳見文獻(xiàn)[2]。

y=tan (π/2-θ)x-e(2)

顯然一旦確定角θ半徑r即可確定點(diǎn)p′的坐標(biāo)為(-r，-e，-f)，半徑r與角度θ的關(guān)系為

r=f/tan(π/2-θ) (3)

設(shè)tan(π/2+ω)=k

(kx+e)2/a2-x2/b2=1(4)

整理得

(k2b2-a2)x2+2kb2x+(e2-a2)b2=0(5)

舍掉一個(gè)小于零的解，得交點(diǎn)m坐標(biāo)(xm，ym)為

xm=[-k2b4+k2b2-4(k2b2-a2)(e2-a2)b2]/(k2b2-a2)

ym=kxm+e(6)

將交點(diǎn)m坐標(biāo)(xm，ym)代入式(2)可得

ym=tan(π/2-θ)xm-e(7)

整理并與式(6)合并得

r=xmf/(e+ym) (8)

將式(6)代入式(7)即可得到解算圖像和原始圖像的對(duì)應(yīng)關(guān)系。在實(shí)際應(yīng)用中，一旦全景視覺(jué)系統(tǒng)裝配完畢，很多參數(shù)是不會(huì)改變的，也就是說(shuō)很多運(yùn)算過(guò)程和數(shù)據(jù)可以在離線狀態(tài)下算好，在動(dòng)態(tài)解算時(shí)只需要按查表的方式進(jìn)行即可，這樣可以大大提高圖像解算的實(shí)時(shí)性，并且可以采用解算逼真度較好的算法。

3 全景攝像系統(tǒng)中電子穩(wěn)像原理

對(duì)于全景攝像系統(tǒng)，主要是穩(wěn)定柱面展開后的圖像與透視后的圖像。因?yàn)槿皥D像不利于觀察，所以對(duì)展開圖像進(jìn)行穩(wěn)定。而對(duì)于全景攝像系統(tǒng)是一個(gè)非線性的成像系統(tǒng)，對(duì)于外界的干擾主要有內(nèi)部的旋轉(zhuǎn)和平移運(yùn)動(dòng)，如圖5所示。

對(duì)于全景圖像的穩(wěn)定，主要變成二維展開圖像的平移穩(wěn)像，內(nèi)部已經(jīng)沒(méi)有旋轉(zhuǎn)運(yùn)動(dòng)。

基于全景攝像系統(tǒng)的這個(gè)特點(diǎn)，對(duì)于展開圖像的穩(wěn)像，提出了一種灰度投影算法。柱面圖像的穩(wěn)像主要由如圖6所示的幾個(gè)模塊組成。

當(dāng)前視頻幀序列與參考幀序列分別是全景圖像展開后的圖像序列。

視頻圖像序列是圖像的灰度發(fā)生變化的圖像序列，各種運(yùn)動(dòng)矢量估計(jì)算法均是以灰度變化為依據(jù)，但是均存在不同程度的缺陷。投影算法能充分利用圖像的灰度變化這一特點(diǎn)，較準(zhǔn)確估地計(jì)出圖像的運(yùn)動(dòng)矢量。運(yùn)動(dòng)估計(jì)模塊的算法程序流程如圖7所示。

在車載攝像系統(tǒng)中對(duì)于當(dāng)前幀與參考幀之間在圖像邊緣處肯定會(huì)有不同，它將嚴(yán)重影響穩(wěn)像的精確度，所以采用犧牲一定邊緣像素的方法來(lái)提高穩(wěn)像的精度。而剪切區(qū)選擇過(guò)大雖然使速度加快，但是其精準(zhǔn)度將會(huì)降低。

3.1 圖像灰度投影

對(duì)于預(yù)處理后的圖像序列中每一幀M×N圖像經(jīng)過(guò)適當(dāng)?shù)募羟刑幚砗螅鸦叶戎涤成涑蓛蓚€(gè)獨(dú)立的一維波形，投影方法可表示為

Xk(x)=∑ny=1fk(x，y)/n，Yk(y)=∑mx=1fk(x，y)/m

x=1，2，…，m；y=1，2，…，N;k=1，2，…

其中： Xk(x)、 Yk(y)分別第K幀圖像{ fk( x ， y ) } 第x列和第y列的灰度投影區(qū)間長(zhǎng)度；m和n滿足條件 0

3.2 運(yùn)動(dòng)矢量[dx，dy] 計(jì)算—灰度投影曲線互相關(guān)計(jì)算

根據(jù)灰度投影數(shù)據(jù)計(jì)算運(yùn)動(dòng)量就是通過(guò)相關(guān)運(yùn)算建立當(dāng)前圖像投影數(shù)據(jù){ Xc( x ) }、{ Yc( y ) } 與參考圖像投影數(shù)據(jù){ Xr( x ) }、{ Yr( y ) } 的一一對(duì)應(yīng)關(guān)系，在當(dāng)前圖像的投影數(shù)據(jù)中，找出與參考圖像最逼近的投影數(shù)據(jù)。

根據(jù)最小匹配準(zhǔn)則，對(duì)投影數(shù)據(jù)在每個(gè)可能的候選運(yùn)動(dòng)矢量上進(jìn)行搜索匹配，計(jì)算當(dāng)前圖像相對(duì)參考圖像的運(yùn)動(dòng)量。

本算法采用最小均方誤差（MSE）作為最小匹配準(zhǔn)則，構(gòu)造列相關(guān)函數(shù)如下：

C(w)=∑nj=1[Yk(j+p-1)-Yk+1(j+p_wen)]2

其中：Yk(y) 、Yk+1(y)分別為第K幀和參考幀的第j列灰度投影值。

根據(jù)上述定義，運(yùn)動(dòng)矢量[dx，dy] 估計(jì)變?yōu)樵趍-M

dy=m+1-p

3.3 全景攝像系統(tǒng)展開圖像穩(wěn)像結(jié)果

穩(wěn)象像連續(xù)4幀圖像如圖8所示。

穩(wěn)像后連續(xù)4幀圖像如圖9所示。

4 結(jié)束語(yǔ)

本文介紹了全景視覺(jué)環(huán)境感知系統(tǒng)穩(wěn)像理論的問(wèn)題，主要研究了全景攝像系統(tǒng)的圖像解算后的展開圖像穩(wěn)像問(wèn)題。本文依據(jù)全景攝像系統(tǒng)的特點(diǎn)，設(shè)計(jì)出一種360°的全方位展開圖像的穩(wěn)像方法，該方法具有良好的實(shí)時(shí)性以及準(zhǔn)確性。由于全景視覺(jué)攝像系統(tǒng)的研究在國(guó)內(nèi)外剛剛興起，有很多理論尚不成熟，在今后的研究中，主要的重點(diǎn)應(yīng)該是研究全景原始圖像的非線性穩(wěn)像，這樣精確度將有進(jìn)一步的提高，但是其實(shí)時(shí)性將會(huì)降低。對(duì)于現(xiàn)場(chǎng)實(shí)現(xiàn)可以設(shè)計(jì)基于多DSP并行處理的全景穩(wěn)像裝置，這樣既保證了準(zhǔn)確性，又提高了實(shí)時(shí)性。

參考文獻(xiàn)：

［1］KUMLER J， BANER M. Fisheye lens designs and their relative performance[C]//Proc of SPIE 4093.San Diego，CA:[s.n]， 2000:360369.

[2]POWELL I. Panoramic lens[J]. Applied Optics，1994， 33(31):73567361.

[3]CHEN E.Quicktime VR:an imagebased approach to virtual environment navigation[C]// Proc ofSIGGRAPH’95.New York:ACM Press，1995: 2938.

[4] NAYAR S K ， KANNARKAR A. 360×360 mosaics[C]// Proc of IEEE Conference on Computer Vision and Pattern Recognition.South Cardina:[s.n]，2000: 388395.

[5]YAMAZAWA K， YAGI Y， YACHIDA M. Obstacle avoidance with omnidirectional image sensor HyperOmni vision[C]// Proc of IEEE International Conference on Robotics and Automation. 1995:10621067.

[6]WETTERGREEN D. Operating nomad during the atacama desert trek[C]// Proc of IEEE ICRA.1998:10161023.

[7]MICHEALS R， ERKAN A. Framerate multibody tracking for surveillance[C]// Proc of IEEE Comput Soc Conf on Comput Vision and Pattern Recogn. 1999:11061112.

[8]KO S J，LEE S H，LEE K H.Digtial image stabilizing algorithms based on bitplane matching[J].IEEE Trans on Consumer Electronics，1998， 44(3):617640.

[9]SUNG J K，SUNG H L，SEUNG W J ，et al.Fast digital image stabilzation based on graycodes bitplane matching[J].IEEE Trans on Consumer Electronics，1999， 45(3):598603.

[10]FILIPPO V L，ALFIO C R，MASSIMO M C ，et al.Digtial image stabilization by adaptive block motion vectors filtering[J].IEEE Trans on Consumer Electronics，2002， 48(3):796801.

[11]趙紅穎，熊經(jīng)武. 獲取動(dòng)態(tài)圖像位移矢量的灰度投影算法的應(yīng)用[J].光電工程，2001， 28(3):5153.

[12]汪小勇，李奇，徐之海.用于實(shí)時(shí)數(shù)字穩(wěn)像的灰度投影算法研究[J].光子學(xué)報(bào)，2006， 23(9):6769.