基于雙攝像機(jī)的立體視覺圖像預(yù)處理研究

張曉玲魏宗康(北京航天控制儀器研究所北京100039)

基于雙攝像機(jī)的立體視覺圖像預(yù)處理研究

張曉玲，魏宗康
(北京航天控制儀器研究所，北京100039)

針對立體圖像對的亮度差異問題和圖像噪聲問題研究圖像的強(qiáng)化處理，圖像預(yù)處理主要完成圖像對極線校正和圖像質(zhì)量增強(qiáng)。極線校正部分以對極幾何為基礎(chǔ)研究立體圖像對的校正算法。圖像質(zhì)量增強(qiáng)部分主要研究了立體圖像對特有的亮度差異問題，并提出了應(yīng)用直方圖均衡化來校正亮度的方法。之后本文對圖像噪聲進(jìn)行了深入的分析，并針對立體圖像特點(diǎn)使用均值濾波和Gauss濾波平滑圖像。在實(shí)驗(yàn)中，驗(yàn)證了算法的可行性，取得了良好的應(yīng)用效果。

極線校正；圖像增強(qiáng)；直方圖均衡化；均值濾波；Gauss濾波

0 引言

雙攝像機(jī)立體視覺系統(tǒng)旨在從攝像機(jī)獲取的圖像信息出發(fā)［1?2］，計(jì)算三維環(huán)境物體的位置、形狀等幾何信息。針對立體圖像對的亮度差異問題和圖像噪聲問題研究圖像的強(qiáng)化處理，圖像預(yù)處理主要完成圖像對極線校正和圖像質(zhì)量增強(qiáng)。

對于同一個(gè)目標(biāo)點(diǎn)，在經(jīng)過了極線校正的圖像對中是處于同一行的。這樣，立體匹配算法的搜索范圍由二維可以降低為一維，大大降低了算法的時(shí)間復(fù)雜度。然而在實(shí)際應(yīng)用中，雙目攝像機(jī)總是存在旋轉(zhuǎn)和平移誤差，因此基于標(biāo)定參數(shù)對圖像進(jìn)行極線校準(zhǔn)是非常有必要的。此外，立體匹配階段需要根據(jù)左右圖像點(diǎn)的相似度確定視差，因此圖像的成像質(zhì)量直接影響著立體匹配的效果。由于實(shí)際環(huán)境中光照的影響和攝像機(jī)之間固有的差異性，獲取的圖像對總會(huì)出現(xiàn)噪聲和亮度差異。因此，有必要在立體匹配前研究圖像對的質(zhì)量增強(qiáng)。

1 圖像對極線校正

1.1 對極幾何的原理

對極幾何由兩個(gè)線性攝像機(jī)模型和一些極點(diǎn)組成，可以描述任意兩個(gè)針孔攝像機(jī)間的位置關(guān)系，如圖1所示。

圖1中，和Or分別代表左右攝像機(jī)的投影中心，空間中的物體P在左右投影面上的投影點(diǎn)分別為和Pr。如果把投影中心Or看成空間中的點(diǎn)，則其在左投影面上的投影點(diǎn)為相應(yīng)的可以得到er。這兩個(gè)特殊的投影點(diǎn)被稱為極點(diǎn)，由和確定的直線則為左極線，Pr和er則確定了右極線。容易看到，和er在同一個(gè)平面上，這個(gè)平面稱為極面。

由圖1可知，對極約束的內(nèi)容：從一個(gè)攝像機(jī)觀察空間上任一點(diǎn)，它在另一個(gè)攝像機(jī)成像面的對應(yīng)點(diǎn)必然位于其極線上。而極線校正則是設(shè)法使左右極點(diǎn)r趨于無窮遠(yuǎn)，這樣，左極線和右極線Prer也會(huì)趨于水平。

1.2 Bouguet極線校正算法

由于安裝誤差，雙攝像機(jī)采集的左右圖像對應(yīng)的左右極線往往不是水平的。Bouguet極線校正算法利用攝像機(jī)標(biāo)定技術(shù)得到的系統(tǒng)旋轉(zhuǎn)矩陣和平移向量對左右圖像進(jìn)行調(diào)整，最終實(shí)現(xiàn)極線水平的目標(biāo)。

為了在實(shí)現(xiàn)極線校正目標(biāo)的基礎(chǔ)上最大化觀測面積，Bouguet算法將旋轉(zhuǎn)矩陣R分解成兩個(gè)子矩陣r1和r2，即每個(gè)攝像機(jī)都旋轉(zhuǎn)一半。這種旋轉(zhuǎn)操作可以實(shí)現(xiàn)攝像機(jī)的共面，但不能保證行對準(zhǔn)。不妨假設(shè)以左極點(diǎn)為參考點(diǎn)的修正矩陣Rrect，這樣左右攝像機(jī)的極線校正旋轉(zhuǎn)矩陣為：

式(1)中，修正矩陣可以將極點(diǎn)轉(zhuǎn)換到無窮遠(yuǎn)處，其結(jié)構(gòu)可定義為：

其中，e1表示極點(diǎn)方向的單位向量，即左右攝像機(jī)投影中心間平移向量的方向：

向量e2的唯一要求是與e1正交，同樣的，e3需要與e1、e2正交，一般定義為：

2 圖像質(zhì)量增強(qiáng)

理論上，經(jīng)過極線校正的左右圖像就可以使用立體匹配算法進(jìn)行視差圖計(jì)算［3?5］。但在實(shí)際中，現(xiàn)場采集的圖片由于環(huán)境影響及攝像機(jī)增益和電平干擾，總會(huì)產(chǎn)生噪聲，并且左右圖像對的整體亮度也會(huì)有差異，這些擾動(dòng)都會(huì)很大程度上影響立體匹配的效果。基于以上原因，有必要研究相關(guān)的圖像增強(qiáng)算法。

2.1 圖像對亮度差異校正

左右圖像對整體亮度上的差異主要由兩方面原因造成：一是左右攝像機(jī)的拍攝角度有差異，由于實(shí)際中光線是有角度的，因此經(jīng)過物體反射后進(jìn)入左右攝像機(jī)必然存在亮度差異；二是兩個(gè)攝像機(jī)的電平、增益總是存在差異，因此即使是同一型號(hào)的攝像機(jī)拍攝的圖像總是會(huì)有亮度的不同。然而大部分立體匹配算法實(shí)際上是根據(jù)亮度相似度來判別目標(biāo)的，因此亮度差異大的圖像會(huì)極大地影響匹配算法的精度。

在圖像處理中，直方圖均衡化可以將原始圖像灰度直方圖進(jìn)行非線性拉伸，實(shí)現(xiàn)灰度范圍內(nèi)的均勻分布。直方圖均衡化的步驟如下。

(1)計(jì)算灰度圖像歸一化直方圖：

式中，hi表示灰度值為i的像素點(diǎn)個(gè)數(shù)，M和N分別表示圖像高度和寬度。實(shí)際上，此時(shí)Pi代表了圖像中灰度值i出現(xiàn)的概率。

(2)計(jì)算累積的歸一化直方圖：

(3)灰度范圍非線性拉伸：

式中，s(i，j)表示原始圖像中坐標(biāo)為(i，j)的點(diǎn)的灰度值，相應(yīng)的，T(i，j)表示均衡化圖像對應(yīng)的灰度值。v1和v2分別表示原始圖像中最大和最小的灰度值。

2.2 圖像去噪

數(shù)字圖像噪聲主要來自于圖像數(shù)字化過程和傳輸過程［6?8］。由于噪聲的影響，同一目標(biāo)點(diǎn)在左右圖像對中將有可能產(chǎn)生無法預(yù)料的差異，給立體匹配帶來極大的影響。

如圖2所示，首先在原始圖像加了標(biāo)準(zhǔn)差為15的Gauss噪聲，從同一區(qū)域的放大結(jié)果看(圖中矩形區(qū)域)，原本應(yīng)該相近的像素，取值呈現(xiàn)了不相關(guān)的隨機(jī)性。

按噪聲和信號(hào)之間的關(guān)系，圖像噪聲可以分為加性噪聲和乘性噪聲。加性噪聲與圖像灰度不相關(guān)，帶這類噪聲的圖像可以看成理想無噪聲圖像與噪聲的和。乘性噪聲與圖像灰度相關(guān)，噪聲隨灰度變化而變化。

本文分析了圖像噪聲中的椒鹽噪聲和Gauss噪聲。濾波方法是針對立體圖像特點(diǎn)使用均值濾波和Gauss濾波平滑圖像。

均值濾波方法是使用待求像素的鄰域像素平均值來取代該像素灰度值：

式中，S為點(diǎn)(x，y)的鄰域集合，N為該集合的大小。

均值濾波可以使用系數(shù)為1／N的卷積模板實(shí)現(xiàn)快速計(jì)算，這是被廣泛使用的最簡單實(shí)用的去噪算法。需要指出的是，該算法會(huì)在一定程度上模糊邊界。

Gauss噪聲含有強(qiáng)度服從 Gauss分布的噪聲，因此定義一個(gè)符合Gauss分布的模板對圖像進(jìn)行卷積即可實(shí)現(xiàn)Gauss平滑。然而理論上Gauss分布在所有定義域上都有非負(fù)值，這就意味著上述模板應(yīng)該是無限大的。一般在實(shí)際應(yīng)用中僅去均值周圍3倍標(biāo)準(zhǔn)差內(nèi)的離散值來近似Gauss模型。

式(9)為標(biāo)準(zhǔn)差為1的離散Gauss卷積核。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 極線校正實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)采用上述Bouguet算法對獲取的棋盤格標(biāo)定圖片進(jìn)行極線校正，左右攝像機(jī)標(biāo)定的旋轉(zhuǎn)矩陣如式(10)所示，實(shí)驗(yàn)測得的左右攝像機(jī)校正旋轉(zhuǎn)矩陣如表1所示。

表1 旋轉(zhuǎn)矩陣Table 1 Rotation matrix

圖3采用表1得到的校正旋轉(zhuǎn)矩陣，結(jié)合左右攝像機(jī)的旋轉(zhuǎn)矩陣將一對棋盤格標(biāo)定圖片進(jìn)行極線校正。

圖3(a)是左右圖像對校正前的情況，圖3(b)是圖像對校正后的效果。為了更清晰地觀察校正效果，實(shí)驗(yàn)給圖像加上了參考線，可以看到，經(jīng)極線校正后的圖像對，左右對應(yīng)點(diǎn)都能被很好地調(diào)整到同一水平線上。

3.2 圖像對亮度差異校正實(shí)驗(yàn)結(jié)果及分析

由圖4的一組圖像對可以看到，由于拍攝角度和攝像機(jī)固有的電平差異，原始圖像中左視圖偏暗，右視圖亮度較高。這對基于像素灰度值相似測度的立體匹配而言，是個(gè)很大的挑戰(zhàn)。

圖5和圖6為圖4對應(yīng)部分的灰度直方圖。圖5均衡化之前，灰度主要集中在40、100和175附近；圖6主要集中在75、190和250附近。

經(jīng)過直方圖均衡化處理后，如圖7所示，左右視圖的灰度分布實(shí)現(xiàn)了非線性拉伸，通過這種方式，左右圖的亮度差異實(shí)現(xiàn)了顯著減小的效果。

如圖8和圖9所示，均衡化后左右圖像的灰度基本被調(diào)整為均勻分布，亮度差異大大減小。

3.3 圖像去噪實(shí)驗(yàn)結(jié)果及分析

圖10是原始圖像，圖11是在原始圖像上分別添加了Gauss噪聲和椒鹽噪聲的對比圖，圖12是對添加Gauss噪聲的圖像分別進(jìn)行均值濾波和Gauss濾波的對比圖，圖13是對添加椒鹽噪聲的圖像分別進(jìn)行均值濾波和Gauss濾波的對比圖。

從視覺效果上看，對于椒鹽噪聲，均值濾波效果優(yōu)于Gauss濾波，對斑點(diǎn)的濾除能力更好，便于消弱噪聲。對于Gauss噪聲，Gauss濾波效果比均值濾波效果更好。

4 結(jié)論

本文主要研究立體匹配前必要的立體圖像對預(yù)處理技術(shù)，主要分為極線校正和圖像增強(qiáng)兩個(gè)部分。極線校正部分首先引入了立體視覺對極幾何的基本概念，然后詳細(xì)提出了極線校正算法。圖像增強(qiáng)部分主要研究了立體圖像對特有的亮度差異問題，并提出了應(yīng)用直方圖均衡化來校正亮度的方法。之后對圖像噪聲從成因到主要類別進(jìn)行了深入分析，并針對立體圖像特點(diǎn)使用均值濾波和Gauss濾波平滑圖像。最后是實(shí)驗(yàn)結(jié)果及分析，以雙攝像機(jī)立體系統(tǒng)獲取的圖像為素材，依次從極線校正實(shí)驗(yàn)結(jié)果、圖像對亮度差異校正實(shí)驗(yàn)結(jié)果和圖像去噪實(shí)驗(yàn)結(jié)果進(jìn)行分析和驗(yàn)證，實(shí)驗(yàn)結(jié)果證明了方案的可行性。圖像預(yù)處理技術(shù)為雙攝像機(jī)立體視覺系統(tǒng)提供了有力保證。

[1] Smith S M，Brady J M.SUSAN—a new approach to low level image processing[J].International Journal of Computer Vision，1997，23(1):45?78.

[2] Kanade T，Okutomi M.A stereo matching algorithm with an adaptive window:theory and experiment[J].IEEE Transac?[3] tions on Pattern Analysis and Machine Intelligence，1994，16(9):920?932.

[3] Lowe D G.Distinctive image features from scale?invariant keypoints[J].International Journal of Computer Vision，2004，60(2):91?110.

[4] Bastanlar Y，Temizel A，Yardmc Y.Improved SIFT matc?hing for image pairs with scale difference[J].Electronics Letter，2010，46(5):346?348.

[5] 尹志富，宋凱，金海月.圖像預(yù)處理中去噪算法的研究[J].機(jī)械設(shè)計(jì)與制造，2008(1):202?203. YIN Zhi?fu，SONG Kai，JIN Hai?yue.A study on denoise algorithmic in the Images pretreatment[J].Machinery De?sign＆Manufacture，2008(1):202?203.

[6] 曲興華，宮輝，賈果欣.數(shù)碼相機(jī)的彩色圖像預(yù)處理過程[J].光學(xué)精密工程，2009，17(1):207?212. QU Xing?hua，GONG Hui，JIA Guo?xin.Preprocessing of color image based on digital camera[J].Optics and Preci?sion Engineering，2009，17(1):207?212.

[7] 董玲嬌.車牌圖像預(yù)處理研究[J].機(jī)電工程，2009，26 (6):107?109. DONG Ling?jiao.Research on image preprocessing of the car plate[J].Mechanical＆Electrical Engineer Magazine，2009，26(6):107?109.

[8] 王劍峰，曾巧明.基于方向特性的指紋圖像預(yù)處理[J].計(jì)算機(jī)與現(xiàn)代化，2008(6):74?77. WANG Jian?feng，ZENG Qiao?ming.On orientation?based fingerprint preprocessing[J].Computer and Modernization，2008(6):74?77.

Research on Image Preprocessing Based on the Binocular Stereo Vision

ZHANG Xiao?ling，WEI Zong?kang
(Beijing Institute of Aerospace Control Devices，Beijing 100039)

This paper researches the strengthening process of image including the brightness difference of stereo image pair and image noise.The image preprocessing contains polar correction of image pair and image enhancement.The polar correction studies correction algorithm of stereo image pair on basis of epipolar geometry.The image enhancement re?searches the brightness difference of stereo image pair and creates the method of correction of the brightness by using histo?gram equalization.According to the feature of stereo image pair，this paper analyzes deeply image noise and smooths image by using mean filter and Gaussian filter.The actual experiment verifies the practicability of the algorithm and achieves good effects in many aspects.

polar correction;image enhancement;histogram equalization;mean filter;Gaussian filter

TP274＋.2

A

1674?5558(2017)01?01201

10.3969／j.issn.1674?5558.2017.02.008

張曉玲，女，博士，工程師，研究方向?yàn)閷?dǎo)航、制導(dǎo)與控制。

2015?09?30