基于MEMS陀螺儀的電子穩像算法

趙 賽,康寶生,王 力

(西北大學 信息科學與技術學院，陜西 西安 710127)

隨著科技的發展,具備拍照以及攝像功能的電子設備已大量進入人們的生活[1],其呈現形式多種多樣,如智能手機、小型無人機、行車記錄儀等。雖然這些電子設備給視頻信息的采集提供了更多的方式，但是，由于手持設備的穩定性較差、小型無人機在空中的抖動及噪聲的干擾,視頻圖像的正常采集將受到影響,視頻畫面會出現抖動、畸變等各種問題[2-4]。因此,必須對攝像設備采集到的視頻進行圖像補償處理[5],以消除相機的非意向抖動(即外部噪聲造成的被動抖動),保留意向抖動(即攝像過程中的主動抖動),從而改善視頻的觀察效果[6]。穩像技術按照作用機制通常分為3類：機械穩像[7]、光學穩像[8-9]以及電子穩像[10-11]。光學穩像通過光學部件自適應地調整光路補償圖像運動,從而達到穩像效果。通過使用傳統陀螺儀傳感器等器件記錄攝像平臺的抖動情況,機械穩像可對伺服系統進行逆向調整,從而達到穩像效果。雖然以上兩種穩像技術在圖像補償方面取得了很大的進展,但因電子設備受到體積、成本、便攜性等因素的限制,光學穩像和機械穩像往往都不適合被應用到電子設備上。通過對連續視頻序列之間的運動估計,電子穩像可以對運動矢量進行濾波和運動補償,從而達到穩像效果[12]。

電子穩像技術主要分為2D和3D穩像技術[13]。2D穩像技術通過利用相鄰圖像幀之間的2D變換模型來達到穩像效果。雖然2D穩像技術計算較簡單、算法較穩定,但因其忽略了相機的3D運動信息,無法取得較好的穩像效果。基于Lucas和Kanade[14]的思想,盧曉燕等[15]提出了一種Harris結合光流的電子穩像算法。雖然這種2D穩像算法在車載抖動視頻的處理上取得了較好的穩像效果,但是Harris角點檢測中的梯度運算過程較復雜,而且當圖像幀的特征不顯著、特征點較少時,就會造成很大的匹配誤差。3D穩像技術通常利用3D運動模型,并結合特征匹配或特征跟蹤技術來獲得好的穩像效果。基于圖像渲染[16]的非度量穩像技術被認為是第一個3D穩像方案。Zhang等[17]提出的基于3D透視相機模型的穩像方案將穩像問題表示為平滑和相似約束下的二次成本函數。通過恢復原始3D運動和稀疏靜態場景點云獲得相機運動信息,并保存形變技術修復圖像的內容,Liu等[18]提出了基于保存內容的3D穩像方案。雖然以上這些算法在穩像方面取得了很大的進展,但其3D重建計算過程比較復雜，因此,一般用于實時性要求不高的情景中,而且目前流行的智能電子設備計算能力較弱,也不適用。

由于輕巧便攜、成本低廉的特性,MEMS陀螺儀[19-20]方案在運動估計過程中更具備優勢。MEMS陀螺儀可大大降低運動估計過程的計算量,縮短系統運行時間。Karpenko等[21]提出了一種基于MEMS陀螺儀的電子穩像方法,減少了穩像工作的計算量,能解決視頻的抖動問題。該方案雖然取得了好的穩像效果,但其相機運動估計僅針對旋轉運動,忽略了平移運動。當相機距離拍攝物體較遠時,平移抖動相對于高頻率的旋轉抖動可以忽略不計,但是,目前的電子設備很多在室內使用,當物體距相機較近時,相機的平移抖動亦會嚴重影響拍攝效果。

針對文獻[21]算法無法解決視頻平移抖動的問題,通過估計相機旋轉抖動量[21]以及結合SIFT[22]方法估計圖像在像素坐標系下的平移抖動量,本文提出一種新的MEMS陀螺儀方法。該方法不僅增加了平移抖動量的估計,而且還避免了特征匹配誤差以及3D方法計算較復雜等問題。

1 MEMS陀螺儀相關介紹

MEMS陀螺儀,亦稱作微機械陀螺儀,其工作原理主要是利用科里奧利力。傳統陀螺儀往往因為體積較大,其應用范圍受到很大影響。MEMS陀螺儀應運而生,其小巧的特點完全符合便攜電子設備的要求,特別是可提高相機拍攝圖像的穩定效果[23]。

在電子穩像技術中,MEMS陀螺儀用于檢測角速度(角速率),也就是單位時間內的旋轉角度,單位為°/s。MEMS陀螺儀角速度的主要指標包括:量程、靈敏度、精度以及穩定性。以InvenSense公司的產品MPU-6500為例，對MEMS陀螺儀進行簡單的介紹。如圖1所示,該產品是六軸陀螺儀,包括三軸角速度計和三軸角加速度計,體積為3mm*3mm*0.9mm,適用于大多數電子設備。

圖1 MPU-6500陀螺儀示意圖Fig.1 Sketch map of MPU-6500 gyroscope

2 本文算法

穩像技術包括3個階段:運動估計、運動濾波以及運動補償[24-25]。本文算法首先通過MEMS陀螺儀進行運動估計,計算連續視頻序列之間的旋轉量。其次,由于相機存在意向運動以及非意向運動,利用高斯平滑濾波將攝像平臺的非意向運動(高頻率抖動)和意向運動(低頻率抖動)進行分離,得到精確的運動矢量。最后,根據精確的相機運動矢量,結合相機自身標定進行運動補償,得到穩定的視頻序列,算法流程如圖2所示。

圖2 算法流程圖Fig.2 Flow chart of the algorithm

2.1 數據提取

首先,采集連續的視頻序列以及MEMS陀螺儀測量數據。利用MEMS陀螺儀的I2C接口獲取陀螺儀數據(陀螺儀輸出:相機繞x,y,z這3個軸旋轉的角速率)。其次,根據陀螺儀采樣數據的時間戳計算陀螺儀的采樣頻率。陀螺儀數據會受噪聲的干擾,因此必須有效地減少和抑制噪聲以提高系統的精確性。最后,對數據進行濾波處理,將噪聲和信號分離。意向運動通常是低頻率的、比較平滑的,消除高頻率的非意向運動之后,可獲得比較平滑的數據。

視頻圖像在像素坐標系中的抖動(VPM)主要由相機旋轉抖動(CRM)、相機平移抖動(CTM)和拍攝物體的運動(POM)3個因素造成,可描述為

CRM+CTM+POM→VPM。

(1)

采用SIFT方法難免會有特征點落在運動物體上,因為它們不屬于相機運動,必須將其剔除。

定義TOM為CTM和POM的組合,可描述為

CTM+POM=VPM-CRM→TOM。

(2)

利用拉依達準則[26]剔除落在運動物體上的特征點，其公式為

|fi-μ|>2s。

(3)

其中，f是SIFT特征向量,μ是TOM的均值,s是TOM的標準方差。

剔除滿足式(3)的特征點后,式(2)變為

VPM-CRM→CTM，

(4)

即可獲得平移抖動量。

本文采用高斯平滑濾波[27]處理陀螺儀采樣數據,在Matlab平臺上進行實驗。圖3是陀螺儀數據濾波前后對比效果。高斯濾波器是一類根據高斯核函數的形狀來選擇權值的線性平滑濾波器,高斯核函數為

(5)

其中,xc表示核函數中心,σ表示核函數的寬度參數,其值將直接影響平滑程度。

圖3 陀螺儀數據濾波前后對比圖Fig.3 The contrast of gyroscope data before and after filtering

以高斯核函數為基礎,先生成給定大小的高斯核。然后,將陀螺儀輸出值與高斯核進行卷積并做差,即可得到平滑的數據,如式(6)所示。

(6)

2.2 計算旋轉矩陣

相機平臺的輕微抖動會造成圖像在成像平面的旋轉、平移。準確地說，抖動就是相機平臺在三維世界中沿著3個坐標軸的旋轉。在三維笛卡爾系坐標中,Pitch(俯仰角)表示繞x軸旋轉,會造成圖像的垂直方向平移;Yaw(偏航角)表示繞z軸旋轉,會造成圖像的水平方向的平移;Roll(翻滾角)表示繞y軸旋轉,會造成圖像的旋轉。處理三維旋轉時,通常采用旋轉矩陣的方式描述。

獲得相關陀螺儀數據之后，根據旋轉角度=角速率*時間,估計連續視頻序列之間繞x軸,y軸和z軸旋轉的角度φ,θ,ψ,則旋轉矩陣R(φ,θ,ψ)為

R(φ,θ,ψ)=

(7)

由于陀螺儀的采樣頻率(微秒級)和連續視頻序列間的幀間隔(毫秒級)的不一致性,某一時刻的視頻圖像幀可能無對應的陀螺儀數據。為了提高算法的精確度,獲得更好的穩像效果,需要采用插值技術,估計出連續視頻序列間的旋轉角度。根據陀螺儀的采樣頻率和連續視頻序列，分別對φ,θ,ψ進行線性插值,即可得連續視頻序列之間的旋轉角度Δφ,Δθ,Δψ,對應的旋轉矩陣為R(Δφ,Δθ,Δψ)。

2.3 運動補償

得到連續視頻序列對應點之間的旋轉角度之后,通過逆向補償的方式即可得到穩定的連續視頻序列。

2.3.1 相機標定 真實世界中物體是處于一個三維坐標系中,而相機采集得到的圖像是處于一個二維坐標系中,相機標定[28]是二維圖像和三維世界間的重要紐帶,關聯到4個坐標系。世界坐標系,用于描述三維空間中的物體、相機的坐標位置;攝像機坐標系,原點為相機光心的三維坐標系;圖像坐標系,原點為像平面與光軸交點的直角坐標系(單位:mm);像素坐標系,原點為圖像左上角點的直角坐標系(單位:像素),像素坐標系的u軸和v軸與圖像坐標系的x軸和y軸平行,像素點在圖像中的列數和行數分別用u和v表示。利用這4個坐標系,相機成像過程可表示為如圖4所示的過程。

圖4 相機成像過程Fig.4 Camera imaging process

1) 世界坐標系——相機坐標系

將相機看作是世界坐標系中某點,可通過旋轉矩陣(R)和平移矩陣(T)來描述，

(8)

其中,帶下標w的參數表示世界坐標系中的點,帶下標c的參數表示相機坐標系中的點,R和T則分別表示旋轉矩陣和平移矩陣。在這里,假定相機坐標系原點與世界坐標系原點重合。

2) 相機坐標系——圖像坐標系

實現三維空間中的點到二維圖像平面點的變換。根據三角形相似原理,圖像坐標系中的點與相機坐標系中的點關系描述為p，

(9)

其中，f為相機焦距。

3) 圖像坐標系——像素坐標系

假設(u0,v0)表示相機的軸心坐標,圖像上的像素點坐標(u,v)分別表示每一幀采集的圖像在系統中存儲的數組的列數與行數,則坐標(u,v)所對應的值就是該點的灰度值。dx表示每個像素沿x軸的實際物理尺寸大小,dy表示沿y軸的實際物理尺寸大小,單位為mm。圖像坐標系中的點與像素坐標系中的點關系描述為k，

(10)

其中，λ表示扭曲因子，一般為0。

2.3.2 相鄰圖像補償 假設真實場景中的一點x,在連續視頻序列的第i幀(假設該視頻幀為陀螺儀在t-1時刻的采樣)的投影點為xi(像素坐標系),在連續視頻序列的第j幀(假設該視頻幀為陀螺儀在t時刻的采樣)的投影點為xj(像素坐標系)。

當相機沒有旋轉,并且忽略平移運動時，

xi=kpRXw=KRXw，

xj=kpRXw=KRXw。

(11)

其中,k和p表示仿射變換矩陣和透視投影矩陣,K=k*p表示內參數矩陣,R表示剛體變換,Xw表示世界坐標系中的點坐標。

當相機出現旋轉運動時，

xj=KR(Δφ,Δθ,Δψ)RXw=

KR(Δφ,Δθ,Δψ)R(KR)-1xi=

KR(Δφ,Δθ,Δψ)K-1xi。

(12)

式(12)表明,該過程是相機旋轉時像素坐標的變化過程。欲實現穩像,只需對當前的視頻幀進行反向旋轉和反向平移即可得到之前的抖動點坐標，

xj-new=(KR(Δφ,Δθ,Δψ)K-1)-1xj-CTM=

KR-1(Δφ,Δθ,Δψ)K-1xj-CTM。

(13)

2.3.3 圖像拼接 連續的視頻序列經過運動補償之后,能夠得到穩定的圖像效果。但由于圖像的旋轉、平移補償,有些圖像的邊緣部分可能會移出成像平面,造成圖像信息的丟失,成像平面的邊緣出現黑色區域,影響視頻的視覺效果。因此,為了獲得更佳的視覺效果,必須通過一定的處理,將穩定的視頻圖像更好地顯示出來。目前比較常用的方法是對視頻圖像黑邊進行一定比例的裁剪,然后再顯示穩定的圖像。這種方法簡便、處理速度較快，但是，也存在一定的弊端,如造成圖像邊緣信息的丟失、圖像分辨率降低,影響圖像視覺效果，對于抖動幅度較大的圖像序列,亦可能存在黑邊處理不徹底的現象。

為解決裁剪方法的弊端,文獻[22]提出采用圖像拼接補償圖像的黑邊,取得了較好的填充效果,但拼接邊界依然存在較明顯的拼接痕跡。本文在此基礎上,采用加權融合的策略進行拼接,以更好地保證邊界平滑、無明顯拼接痕跡。

對圖像重疊區域的灰度值進行加權求和處理,加權求和后的灰度值為

f(x,y) =w1(x,y)f1(x,y)+

w2(x,y)f2(x,y)。

(14)

其中,w1，w2為權值,其和為1,x，y為重疊區域像素點的橫縱坐標。權值的漸變過程為

(15)

其中,xi為當前像素點橫坐標,xl，xr為重疊區域左右邊界坐標,w1由1逐漸變為0,w2由0逐漸變為1。

3 實驗結果

實驗采用Visual Studio和Matlab聯合編程,實驗處理及分析在HP Pro Desk 680 G1 TWR平臺上進行,內存為8G,CPU為3.6GHz。本文采用文獻[29]提供的CMOS[30]傳感器相機拍攝測試視頻,圖像原始分辨率為1280*720。隨機抽取視頻序列1的第39幀和第123幀圖像,圖5為經過運動補償和黑邊補償的結果。

圖5 本文方法實驗結果Fig.5 The experimental results of this method

圖6為相鄰幀圖像穩像前后的差值分析圖,其中,第一行為當前幀圖像穩像前與參考幀的差值圖像;第二行為當前幀圖像穩定后與參考幀的差值圖像。從圖6中可以看出，原圖像序列在經過穩像處理后,平滑效果得到了改善。

圖6 穩像前后差值分析圖Fig.6 Difference analysis diagram before and after image stabilization

為了更好地說明本文算法對視頻序列處理的穩定性,本文針對視頻序列1和視頻序列2,分別就算法效率和精確性與文獻[17]、文獻[18]、文獻[21]的算法進行對比分析。

算法效率:以每幀圖像的處理時間為標準,對比結果如表1所示。實驗結果表明,相比恢復相機本身的3D空間運動信息,本文算法大大降低了運動估計過程的計算量,算法效率更提高。對視頻序列1,每幀圖像平均處理時間比文獻[18]算法減少了56.72%,比文獻[17]算法減少了59.93%。對視頻序列2,比文獻[18]算法減少了56.62%,比文獻[17]算法減少了59.69%。由于本文算法增加了平移抖動量的估計,因此比文獻[21]算法運行時間有所增加。

算法精確性：以峰值信噪比PSNR作為算法精確性的評價指標，信噪比越大表明算法的穩像效果越好[31]，幀間平均PSNR值對比結果如表2所示。圖7和圖8分別是各算法對視頻序列1的第39幀圖像和視頻序列2的第46幀圖像進行穩像處理的效果對比圖。以視頻序列1的前60幀為例，視頻序列穩像前后的PSNR值對比如圖9(a)所示；以視頻序列2的前60幀為例，視頻序列穩像前后PSNR值對比如圖9(b)所示。實驗結果表明，對于視頻序列的穩像處理，相比其他算法，本文提出的算法穩定性更好，精確性更高。對視頻序列1，使用本文算法得到的PSNR值比文獻[17]算法提高了7.5%，比文獻[18]算法提高了5.45%，比文獻[21]算法提高了25.60%。對視頻序列2，使用本文算法得到的PSNR值比文獻[17]算法提高了5.87%，比文獻[18]算法提高了4.03%，比文獻[21]算法提高了22.11%。

表1 不同算法效率比較Tab.1 Effciecy comparison of different algorithms

表2 不同算法精確性比較Tab.2 Accuracy comparison of different algorithms

圖7 不同算法對視頻序列1穩像效果圖Fig.7 Image stabilization of video sequence 1 by different algorithms

圖8 視頻序列2穩像效果圖Fig.8 Image stabilization of video sequence 2 by different algorithms

圖9 穩像前后不同算法精確度對比圖Fig.9 Accuracy contrast diagram of different algorithms before and after image stabilization

4 結 語

通過陀螺儀估計相機的旋轉抖動量,再結合SIFT方法估計相機的平移抖動量,本文提出的基于MEMS陀螺儀的電子穩像算法取得了較好的穩像效果,而且避免了特征匹配計算復雜、匹配誤差等問題。實驗結果表明,利用陀螺儀進行相機運動估計是準確的,對于抖動視頻具有較好的補償效果,視頻質量大幅提升。而且算法計算量大大降低,處理速度得到提高。本文算法具有較強的穩定性、準確性。

參考文獻：

[1] BATTIATO S, GALLO G, PUGLISI G, et al. SIFT features tracking for video stabilization[C]∥International Conference on Image Analysis and Processing. Modena: IEEE Computer Society, 2007:825-830.

[2] 韓紹坤, 趙躍進, 劉明奇.電子穩像技術及其發展[J]. 光學技術, 2001, 27(1):71-73.

[3] OVREN H, FORSSEN P E. Gyroscope-based video stabilization with auto-calibration[C]∥IEEE International Conference on Robotics and Automation (ICRA).IEEE, 2015:2090-2097.

[4] FORSSEN P E, RINGABY E. Rectifying rolling shutter video from hand-held devices[C]∥The IEEE Conference on Computer Vision and Pattern Recognition. San Francisco:IEEE,2010:507-514.

[5] 李計添, 何永強, 陳財森, 等. 一種基于灰度投影算法的車載電子穩像算法[J]. 紅外技術, 2010, 32(6):328-332.

[6] RAWAT P, SINGHAI J. Review of motion estimation and video stabilization techniques for hand held mobile video[J].Signal and Image Processing:An International Journal (SIPIJ),2011, 2(2):159-168.

[7] YU Q, WU B, JIAO Y, et al. Summarization of electronic image stabilization[C]∥International Conference on Computer-Aided Industrial Design and Conceptual Design (CAIDCD).IEEE,2006:1-5.

[8] SATO K, ISHIZUKA S, NIKAMI A, at al. Control techniques for optical image stabilizing system [J]. IEEE Transactions on Consumer Electronics, 1993, 39(3):461-466.

[9] 谷素梅, 曲魯杰. 小型光慣穩跟儀器穩像精度測試方案探討[J]. 光學技術, 1993(2):26-27.

[10] ZHANG Y X,ZHANG W G,ZHAO X X,et al.Study on electronic image stabilization system based on MEMS gyro[C]∥International Conference on Electronic Computer Technology.IEEE Computer Society, 2009: 641-643.

[11] 王志民, 徐曉剛. 電子穩像技術綜述[J]. 中國圖象圖形學報, 2010, 15(3):470-480.

[12] 范永杰, 陳華. 基于MEMS陀螺儀的實時電子穩像技術[J]. 紅外技術, 2015, 37(9):724-727.

[13] JIA C, EVANS B L. Online calibration and synchronization of cellphone camera and gyroscope[C]∥Global Conference on Signal and Information Processing. Texas:IEEE,2013:731-734.

[14] LUCAS B D, KANADE T. An iterative image registration technique with an application to stereo vision[C]∥International Joint Conference on Artificial Intelligence.San Francisco:Morgan Kaufmann Publishers, 1981:674-679.

[15] 盧曉艷. 電子穩像技術研究[D].西安:西安工業大學, 2013.

[16] BUEHLER C, BOSSE M, MCMILLAN L. Non-metric image-based rendering for video stabilization[C]∥Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE, 2003:609.

[17] ZHANG G, HUA W, QIN X, et al. Video stabilization based on a 3D perspective camera model [J]. Visual Computer, 2009, 25(11): 997-1008.

[18] LIU F, GLEICHER M， JIN H, et al.Content-preserving warps for 3D video stabilization[J].ACM Transactions on Graphics，2009，28(3)：1-9.

[19] 李冰, 張超. 傳感器電子穩像的塊匹配提前中止方法[J]. 光電工程, 2016, 43(11):76-81.

[20] HANNING G, FORSLOW N, FORSSEN P E, et al. Stabilizing cell phone video using inertial measurement sensors[C]∥IEEE International Conference on Computer Vision Workshops. IEEE, 2012:1-8.

[21] KARPENKO A, JACOBS D, BAEK J, et al. Digital video stabilization and rolling shutter correction using gyroscopes[R].Palo Alto:Stanford Tech Report CTSR, 2011.

[22] HU R, SHI R, SHEN I, et al. Video stabilization using scale-invariant features [C]∥International Conference on Information Visualization.IEEE,2007:871-877.

[23] ESFANDYARI J, NUCCIO R D, GANG X. MEMS陀螺儀技術簡介[J].電子與電腦, 2011(4):23-26.

[24] MATSUSHITA Y, OFEK E, GE W, et al. Full-frame video stabilization with motion inpainting [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(7):1150-1163.

[25] 鄭鴻云, 趙紅穎, 魏云鵬, 等. 小型無人機快速最優化穩像方法研究[J]. 影像科學與光化學, 2016, 34(1):51-58.

[26] 林洪樺.測量誤差與不確定度評估[M].北京:機械工業出版社,2009:312-322.

[27] LIU F, GLEICHER M, WANG J, et al. Subspace video stabilization [J]. ACM Transactions on Graphics, 2011, 30(1):623-636.

[28] ZHANG Z. A flexible new technique for camera calibration [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11):1330-1334.

[29] BELL S, TROCCOLI A, PULLI K. A non-linear filter for gyroscope-based video stabilization[C]∥Proceedings of the 13th European Conference on Computer Vision.New York:Springer, 2014:294-308.

[30] EIGAMAL A, ELTOUKHY H. CMOS image sensors [J]. Circuits and Devices Magazine IEEE, 2005, 21(3):6-20.

[31] 陳濱, 趙建軍, 楊利斌. 視頻穩像評價方法研究[J]. 科學技術與工程, 2016, 16(22):219-224.