一種改進的單目機器人立體視覺系統校正方法

伍紹佳　廖　麗

(肇慶廣播電視大學　廣東 肇慶 526060)

?

一種改進的單目機器人立體視覺系統校正方法

伍紹佳廖麗

(肇慶廣播電視大學廣東 肇慶 526060)

基于三棱鏡的單目立體視覺系統具有高集成度、低功耗、易裝配等特點，但外置的棱鏡也會引發不規則的圖像畸變，影響成像質量。首先采用雙邊濾波函數對目標圖像進行降噪處理，增強圖像中的邊界，有效提高標定圖像中的特征點提取的準確性；然后結合透視投影中的直線性、交比一致性和沒影點收斂性等投影不變性提出一種改進的自適應畸變校正算法。該算法無需畸變模型及畸變參數，通過校正前后特征點的偏移，最終得到畸變校正所需的像素位移圖。實驗對比了多組圖像的特征提取效果和畸變校正結果，并比較了不同校正方法對于系統中產生的不規則畸變的校正效果，結果表明該算法具有魯棒性和準確性，提高了機器人視覺系統的準確度。

機器人視覺畸變校正透視投影法自適應算法雙邊濾波

0　引　言

在計算機視覺系統中，一般會模擬人體雙眼而采用雙目視覺系統，即使用兩個CCD攝像機同時感知前方場景；也有部分設計只采用一個攝像機，即單目視覺系統。這種視覺系統需借助其他光學設備，如玻璃平板[1]、鏡子[2]或三棱鏡[3]。此外，也存在類似魚眼鏡頭的單目視覺系統[4]。Lim等[3]提出了一種基于三棱鏡的單目立體視覺成像系統，其棱鏡被置于CCD攝像機的正前方，從而使得入射光線被均分成兩部分，最終在CCD傳感器上形成一對立體像對。由于光線被雙棱鏡分光折射，因此該立體像對可以被認為是同一景象在兩個位于不同位置的攝像機處的投影。與傳統雙目立體視覺系統相比，該系統具有高集成度、低功耗、易裝配、系統參數少等特點。近幾年，不同領域的研究學者們發表了基于該系統的相關研究及應用[5-8]。相比于傳統多攝像頭的立體視覺系統，該系統采用的三棱鏡會產生更為復雜的圖像畸變，降低圖像質量，而這一問題在此前的研究中都是被忽略的。針對不同的圖像畸變，校正方法可以分為基于模型的校正算法[9,10]和自適應校正算法[11-16]。模型校正算法通過設定一個全局校正函數對整幅圖像校正，而后者則針對圖像的局部區域特征進行校正，從而使得校正結果相對于全局校正更加精確。尤其是在處理一些復雜的成像系統的圖像畸變時校正效果更為突出，如光學立體顯微鏡[10]和掃描電子顯微鏡[11]中。該類自適應算法普遍利用一些圖像特征進行校正，如直線性[12]、沒影點[13]、交比值[14]或球形圖像[15]。

針對這種復雜的圖像畸變，本文基于現有的自適應校正算法[17]，提出一種改進的自適應圖像畸變校正算法。該算法無需知道攝像頭的參數信息，也無需知道圖像畸變模型，而是利用雙邊濾波原理進行降噪優化，結合透視投影過程中的投影不變性，如直線性、交比一致性及沒影點收斂性等，提出畸變能量的概念，并通過由此建立了畸變能量函數求解變換位移圖。其中，直線性是指三維空間中的直線射影到二維圖像空間后仍為直線；交比一致性是指三維空間中共線四點的交比值在射影前后保持一致；沒影點收斂性是指三維空間中的平行直線在射影到二維圖像空間后的直線收斂于沒影點。如果將該沒影點作為共線點之一，則它能同時應用在直線性和交比一致性中。由此，沒影點作為一個全局約束條件，將直線性和交比一致性相結合，形成更具約束力的畸變能量函數。最后，通過迭代算法求解最小化畸變能量函數，得到校正后的特征點坐標，從而實現圖像的畸變校正。該方法只需要采集一幅標定所用的棋盤圖像，即可實現圖像的畸變校正。結果表明，此方法能有效校正圖像畸變，提高圖像質量。

1　畸變圖像校正方法

本節主要介紹了畸變圖像校正的算法，其中包括降噪、邊緣提取、畸變校正等一系列操作。主要針對改進的三方面進行介紹，分別為優化的雙邊濾波降噪、改進的畸變校正算法和校正位移圖。

1.1優化的雙邊濾波降噪

雙邊濾波是非線性的濾波方法之一，除了實現一般的濾波功能外，雙邊濾波同時考慮空間信息和灰度值相似度，使其不但能降低噪聲并且能對邊緣進行增強保留[18,19]。本文的校正方法的第一步就是針對目標區域進行降噪并提取特征點。一般來說，拍攝過程中容易產生一定噪聲，若不針對圖像進行降噪處理，容易影響后續特征點提取的準確性，影響算法的魯棒性。而且，本文后續提出的特征點提取依賴于標定模板中的圖形邊界。因此，采用雙邊濾波法能較好地符合本算法的處理需求。

雙邊濾波模板主要由兩個濾波核組成，一為高斯濾波核，二為以灰度級的差值作為函數系數生成的濾波核。兩個濾波核的實現均在空間域，高斯濾波核對像素鄰近的點進行加權平均，而加權的系數隨著距離的增加而減少。值域濾波則是針對像素值相近的點進行加權平均，而加權的系數隨著值差的增大而減少。

低通空域濾波器定義為：

(1)其中，c(δ,x)為中心點x與相鄰點δ的幾何臨近程度，而kd則為歸一化參數，與像素值沒有關聯，并在相同的幾何區域是恒定的。

此外，值域濾波定義為：

(2)

將式(1)、式(2)結合即為雙邊濾波器：

(3)

雙邊濾波器利用x點相鄰且灰度值相近的像素群的平均值作為該點濾波值。這樣，在平滑區可實現降噪功能；而濾波器中心點周圍相近像素點的平均值作為該點濾波值，這樣邊緣的分界線能被較好的保留。針對本文的需要，這兩方面的特性正好可以滿足對圖像的降噪功能，且有效地保留檢測特征點的邊緣。

針對低密度高斯噪聲影響的情況，上述雙邊濾波器能獲得滿意的效果，而針對受椒鹽噪聲等影響的標定圖像，雙邊濾波器不能處理出滿意的結果。對此，本文首先對原始圖像進行中值濾波，然后利用此結果再進行雙邊濾波。由于這兩個濾波器不是互斥的，因此先用中值后用雙邊可以同時獲得兩個濾波器的優勢，最終獲得較為理想的結果。

1.2畸變能量函數

與傳統的基于多項式函數的畸變模型[4]不同，本文提出的校正方法不直接對圖像畸變進行建模，而是通過量化透視投影中的幾個不變性(直線性，交比一致性和沒影點收斂性)，間接表達圖像畸變程度。該圖像畸變程度被稱之為畸變能量，其表達式稱之為畸變能量函數。該函數的變量為棋盤圖像中所有有效的畸變特征點的像素坐標。校正的方法就是通過迭代算法，求解最小化畸變能量函數的特征點坐標。該特征點也被稱為無畸變特征點。最后，利用畸變特征點和無畸變特征點之間的像素位移差獲得校正圖像所需的像素校正位移圖。

1.2.1透視投影特性1：直線性

3D空間中的直線經過透視投影后所呈現的圖像仍是直線。對于校正特征點而言，橫向和縱向都存在多條符合該特性的直線。設第l條直線上的特征點坐標為pi,l=(ui,l,vi,l),i=1,2,…,m,l=1,2,…,n。則同一直線上的特征點都滿足直線方程aui,l+bvi,l+c=0，可表示為矩陣形式Ax=0：

(4)

式(4)為Ax=0形式，其中A為特征點坐標值，x為直線系數。可利用奇異值分解法(SVD)來分析特征點的直線性，即：

(5)

其中U和V為A的酉陣，δi(i=1,2,…)為A的奇異值，且δ1≥δ2≥δ3≥0。由于特征點共線，A的秩為2，即δ3=0。但是，當特征點中含有噪聲或畸變時，同一直線上的投影點在圖像域中不一定共線，即δ3≠0。利用最小奇異值的這個特性，共線性可表示為：

(6)

其中δ3,l(·)表示共線特征點的最小奇異值；n條直線包含了橫向和縱向所有的投影直線。能量值J1越小，特征點就越共線；能量值J1越大，則圖像噪聲和畸變就越嚴重。通過校正特征點pi,l的像素坐標位置，使J1趨近0，即能達到部分校正目的。

1.2.2透視投影特性2：交比一致性

交比(距離比值的比值)能夠在透視投影過程中保持不變。圖1展示了交比一致性的原理。(a)為標定模(棋盤)，(b)為該模板在透視投影后的圖像，(c)為投影過程示意圖。其中O為攝像頭針孔，L 和L1分別為模板中的直線和投影在圖像域中的直線。

圖1　交比一致性原理

標定模板中的四個共線點A、B、C、D在圖像域中的對應圖像點為A′、B′、C′、D′。這四個點之間的相互距離為AC、AD、BC、BD和A′C′、A′D′、B′C′、B′D′。L 和L1上的四個特征點的交比值計算分別為：

(7)

(8)

在透視投影下：

fCR(A,B,C,D)-fCR(A′,B′,C′,D′)=0

(9)

即交比一致性。同樣，在考慮圖像噪聲和畸變的情況下，模板特征點的交比值與投影后的交比值不一定相同，即：

(10)

由此，可以建立關于交比一致性的能量函數：

(11)

其中P1、P2、P3、P4為標定模板上的特征點，且其對應的交比值fCR(P1,P2,P3,P4)對于選定的特征點組合模式是固定的，在標定模板選定時即可得到此交比值。J2越小，投影特征點的交比一致性就越高；J2越大，則圖像噪聲和畸變越嚴重。同樣，可以通過校正投影特征點的坐標來最小化J2，使投影點滿足交比一致性。

1.2.3透視投影不變性3：沒影點收斂性

透視投影下，三維中的平行直線投影后會在無窮遠處匯聚于一點，該點即為沒影點(如圖2所示)。沒影點的收斂性不但能體現多組平行直線的匯聚性，同時也能融合交比一致性，從而更好地約束校正條件。簡而言之，以沒影點為參考點，可以檢測來自同一直線的特征點是否共線，同時還能檢測該組特征點投影前后的交比值是否一致。因此，利用這個沒影點與其他特征點共線的特性，直線性中的矩陣A可以改進為：

(12)

其中下角標vp表示沒影點，即該直線的沒影點像素坐標為pvp=(uvp,vvp)。由此，共線性的能量函數式(6)可以改寫為：

(13)

圖2　平行直線在圖像空間中匯聚于沒影點vp

此外，交比一致性的能量函數式(11)在結合沒影點之后也可以改進為：

(14)

1.2.4畸變能量函數

結合上述直線性、交比一致性和沒影點收斂性這三個透視投影不變性，可以將上述兩個能量函數整合成畸變能量函數：

(15)

其中，J3越小，圖像畸變能量越少，畸變程度越小。因此，該自適應校正算法的原理在于通過校正特征點的投影坐標從而使得畸變能量最小，即：

(16)

從式(15)可知，式(16)的求解為非線性求解，可采用Levenberg-Marquardt算法進行求解。其中pi,l的初始值可以為原始畸變特征點坐標，而pvp和fCR(P1,P2,P3,∞)為已知量，在迭代優化過程中保持不變。

1.3校正位移圖

圖3　通過特征點(*)插值后得到的位移圖

在攝像機內部參數不變的情況下，該位移圖便可作為校正位移向量對后續采集到的圖像進行校正處理。另外，本文提出的校正方法只需采集一幅棋盤圖像即可得到校正位移圖。

2　實驗結果與分析

本文采用14 cm×18 cm的平面標定模板作為校正模板，其中包含了12個有效特征模板，即N=48個特征點。CCD攝像機采用低功耗的VCM50攝像機，其圖像像素為640×480。攝像頭前方安置了基底面為10 cm×10 cm，角度為25°的三棱鏡(左右棱鏡面對稱，且對稱軸正對攝像頭)，由此產生的圖像可均分為左右立體圖像對。系統搭建示意圖如圖4所示[3]。由棱鏡產生的左右圖相對可以認為是左右虛擬攝像頭獨立采集到的圖像，因此在校正過程中，可以分別對左右圖像進行校正。

圖4　基于三棱鏡的雙目立體視覺系統原理圖(俯視圖)

為了評估噪聲對于特征點提取的影響以及雙邊濾波算法的降噪效果，因此本文模擬出相關噪聲并加入原圖。如圖5(a)-(c)所示，分別為椒鹽噪聲、高斯噪聲、泊松噪聲，而圖5(d)-(e)則為經過優化的雙邊濾波器處理后的結果。從圖中可知，優化后的雙邊濾波器對于含有噪聲的標定圖像降噪處理效果明顯，保障了后續特征點檢測算法的魯棒性。

圖5　雙邊濾波法對于不同類型噪聲的降噪效果

為了測試雙邊濾波對于特征點檢測的準確性，其誤差計算公式如下：

(17)

表1　不同程度高斯噪聲下降噪前后特征點誤差

從實驗結果可以看出，隨著圖像噪聲的增強，對特征點檢測的影響就越大，檢測到的特征點誤差d越高。但經過降噪后特征點的檢測誤差d′明顯減小，且平均誤差都在2個像素點距離以內，足以滿足后續畸變校正算法的精度需求。此外，當噪聲小時，檢測誤差相近，隨著噪聲的增加，原圖的特征點檢測誤差大大地增加，而經過雙邊濾波處理的圖像的檢測誤差增加緩慢。由此可得，雙邊濾波后的圖像有利于后續的校正操作，減低特征點檢測的誤差。

為了測試該自適應畸變校正算法的準確性和可行性，本文采集了多張不同投影角度下的標定圖像進行校正，并采用不同的畸變校正算法進行校正效果對比。其中包括文獻[20]的基于畸變模型(徑向畸變)的標定算法、自適應畸變校正算法(NLLDC)[17]和本文提出的改進自適應畸變校正算法。圖6(a)為用于自適應校正算法的模板圖像。值得注意的是，與文獻[20]的算法相比，NLLDC和本文提出的改進算法首先都只需要圖6(a)左邊這一幅圖像作為校正模板，其次后兩者只能針對畸變本身進行校正，無法得到攝像頭的參數。準確地說，這里比較的是畸變模型與自適應算法對于畸變本身的校正效果，只是畸變模型無法像自適應算法一樣獨立存在，需要與標定算法同時進行。

圖6　不同畸變校正算法校正結果對比

圖6(a)中灰色分割線表示雙目視覺系統中產生左右立體圖像對的分界線，右圖為采用本文提出的算法校正后的結果。圖6(b)為采用文獻[20]的校正算法結果，可以明顯看出校正效果并不理想。這是因為系統中產生的畸變并非傳統的攝像頭畸變，因此已有的畸變模型并不能有效地表達系統中的畸變。圖6(c)為采用NLLDC方法的校正結果，而(d)為本文提出的改進算法的校正結果。從這兩組校正結果可以看出，采用自適應算法能有效去除系統中由三棱鏡產生的不規則畸變。

為了進一步比較校正結果，本文計算了圖像校正前后的畸變能量J3作為畸變校正衡量數值，其實驗數據如表2所示。從校正結果中可以看出，原始畸變圖像的畸變能量較大，即畸變程度較高，與實際圖像畸變程度相符。文獻[20]的標準校正法結果雖然能部分減少圖像畸變，但與其他兩個自適應校正算法相比，校正結果并不理想。由此更驗證了本文在開始時提到的，傳統畸變校正算法并不適用于基于三棱鏡的單目立體視覺系統中產生的圖像畸變。另外，比較NLLDC和本文提出的算法的校正結果可以看出，采用本文提出的改進算法的校正后圖像，其畸變程度遠小于NLLDC的校正結果。由此可以看出，沒影點作為自適應算法中的全局約束條件的優勢所在。

表2　采用不同校正算法的畸變圖像校正前后的畸變能量值

采用上述校正結果(如圖6(b)、(c)和(d))，對系統中由三棱鏡產生的左右兩個虛擬攝像頭進行聯合標定，從而測得攝像頭的內外參數及標定誤差，其標定結果如表3所示。其中，左焦距和右焦距分別代表左右攝像頭的焦距；平移量和旋轉量分別為右攝像頭相對于左攝像頭的橫向偏移量和縱向旋轉量。選這兩個參數作為比較對象，是因為系統的結構特性決定了這兩個參數是該系統中立體視覺攝像頭的主要外參。

表3　畸變校正后立體視覺系統的標定參數比較

從表3的標定參數對比可知，采用傳統的徑向畸變模型進行校正后的結果誤差較大，且標定誤差高于2個像素點。與之對比，自適應算法NLLDC和本文的改進算法從攝像頭內參和外參上都能更接近系統參照值，誤差更小。而且，標定誤差都在1個像素以下，滿足視覺系統校正需求。另外，對比NLLDC和本文的改進算法，后者的標定誤差更小。

圖7中展示了采用本文提出的改進的自適應畸變校正算法后的圖像畸變校正效果。可以看出，在圖像中間區域的畸變較為明顯，但經過校正后圖像畸變得到有效抑制，提升了圖像質量。

圖7　畸變校正前后對比

3　結　語

本文提出了一種基于標定模板的自適應圖像畸變校正算法，并將該方法應用于基于三棱鏡的單目機器人立體視覺成像系統中，用于消除該系統中三棱鏡產生的特殊圖像畸變。針對特征點檢測中的噪聲和畸變影響，本文采用了優化的雙邊濾波的降噪、增強邊界處理，更準確地提取模板中的邊界，大大降低了檢測時噪聲和畸變的影響，從而保證了后續畸變校正算法的準確性。

此外，基于特征點的自適應畸變校正方法無需系統參數或其他先驗知識，而是利用標定模板在透視投影下的直線性、交比值一致性和沒影點收斂性作為圖像校正的約束條件進行校正，提出了圖形畸變能量的概念。校正過程只需要采集一張標定模板的圖像，并利用Levenberg-Marquardt算法求解畸變能量最小化的非線性方程得到校正后的特征點。最后，利用校正前后特征點的位移差獲得整幅圖像的像素校正位移圖。通過對比不同校正算法的畸變校正效果，證明了本文提出的改進的校正算法能有效處理低功耗攝像機產生的畸變以及噪聲帶來的影響，提高了機器人視覺系統的準確性和可靠性。

[1] Nishimoto Y,Shirai Y.A feature-based stereo model using small disparities histograms of multi-resolution channel[J].Advance Robotics,1988,3(1):17-33.

[2] Francois A,Medioni G M,Waupotitsch R W.Mirror symmetry:2-view stereo geometry[J].Image and Vision Computing,2003,21(2):137-143.

[3] Lim K B,Xiao Y.Virtual stereovision system:new understanding on single-lens stereovision using a bi-prism[J].Journal of Electronic Imaging,2005,14(4):043020.

[4] 黃巖巖,李慶,張斌珍.魚眼鏡頭的標定和畸變校正研究[J].計算機工程與設計,2014,35(9):3132-3136.

[5] Lim K B,Kee W L,Wang D.Virtual camera calibration and stereo correspondence of single-lens bi-prism stereovision system using geometrical approach[J].Signal Processing:Image Communication,2013,28(9):1059-1071.

[6] Genovese K,Casaletto L,Rayas J A,et al.Stereo-digital image correlation (DIC) measurements with a single camera using a biprism[J].Optics and Lasers in Engineering,2013,51(3):278-285.

[7] Cui X,Lim K B,Zhao Y,et al.Single-lens stereovision system using a prism:position estimation of a multi-ocular prism[J].Journal of the Optical Society of America A Optics Image Science and Vision,2014,31(31):1074-1082.

[8] Wei L K,Lim K B,Tun Z L,et al.New understanding on the effect of angle and position of biprism on single-lens biprism based stereovision system[J].Journal of Electronic Imaging,2014,23(3):6-8.

[9] Brown D C.Close-range camera calibration.Photogrammetric Engineering[C]//Photogrammetric Record,2015:28-29.

[10] Hartley R I,Kang S B.Parameter-free radial distortion correction with centre of distortion estimation[C]//Proceedings of the Tenth IEEE International Conference on Computer Vision,Beijing,China,2005.ICCV 2005:1834-1841.

[11] Schreier H W,Garcia D,Sutton M.Advances in light microscope stereo vision[J].Experimental Mechanics,2004,44(3):278-288.

[12] Sutton M,Li N,Joy D,et al.Scanning electron microscopy for quantitative small and large deformation measurements part I: SEM imaging at magnifications from 200 to 10,000[J].Experimental Mechanics,2007,47(6):775-787.

[13] Ahmed M,Farag A.Nonmetric calibration of camera lens distortion:differential methods and robust estimation[J].IEEE Transactions on Image Processing,2005,14(8):1215-1230.

[14] Becker S,Bove V.Semi-automatic 3D model extraction from uncalibrated 2D camera views[C]//Proceedings of Visual Data Exploration and Analysis II,San Jose,CA,1995:447-461.

[15] Zhang G,He J,Yang X.Calibrating camera radial distortion with cross-ratio invariability[J].Optics & Laser Technology,2003,35(6):457-461.

[16] Penna M A.Camera calibration: a quick and easy way to determine the scale factor[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1991,13(12):1240-1245.

[17] Ricolfe-Viala C,Sánchez-Salmerón A J.Correcting non-linear lens distortion in cameras without using a model[J].Optics & Laser Technology,2010,42(4):628-639.

[18] 陳衛東,尹紅娟,朱奇光.改進直接線性標定的移動機器人視覺定位算法[J].小型微型計算機系統,2013,34(4):872-876.

[19] Tomasi C,Manduchi R.Bilateral filtering for gray and color images[C]//Proceedings of the Sixth International Conference on Computer Vision.Washington,DC,USA.IEEE Computer Society,1988:839-846.

[20] Zhang Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

AN IMPROVED DISTORTION CORRECTION FOR SINGLE-LENS ROBOTIC STEREO VISION SYSTEM

Wu ShaojiaLiao Li

(ZhaoqingOpenUniversity,Zhaoqing526060,Guangdong,China)

Prism-based single-lens stereo vision system has features of high integration, low power, easy assembly, etc. However, external prism can cause irregular image distortion, affecting image quality. First, we reduce image noise and enhance image border by bilateral filter to improve the accuracy of the feature point detection effectively. Then we combine the perspective projection of the linear, cross ratio consistency and convergence of the vanishing point to propose an improved adaptive distortion correction algorithm. Finally, distortion correction could be achieved by offsetting before and after correction feature point without distortion model and parameters. The experiment compared the multiple sets of image feature extraction and distortion correction results and different methods for correcting irregular distortion correction effect generated in the system, the results show the robustness and accuracy of the algorithm, and it improves the accuracy of robotic vision system.

Robotic visionDistortion correctionPerspective projectionAdaptive algorithmBilateral filter

2016-03-08。伍紹佳，講師，主研領域：計算機應用與網絡技術。廖麗，高級講師。

TP391

A

10.3969/j.issn.1000-386x.2016.08.043