基于極線約束的雙目圖像勻光校正方法

任宏　劉培勛

摘 要：因受光不均、成像系統電子學、光學特性不一致等因素影響，雙目圖像間會存在亮度差異，導致立體匹配錯誤。針對這一問題，本文提出了一種新的全局——局部相結合的雙目圖像勻光校正算法，該方法參考全局信息校正亮度的增減，參考局部信息確定亮度的離散。通過減少無關匹配點對亮度校正的干擾，使相關性更強的參考量參與計算。首先用標定獲得雙目相機內外參數，并對圖像進行極線校正使對應行對齊，再根據對應行間的亮度特征用最小二乘法計算出圖像全局的亮度差異，最后對全局校正后的圖像進行行亮度校正。與幾種傳統的全局勻光校正方法進行對比實驗，結果表明，該方法在對整幅圖像亮度校正的同時，能夠保持被校圖像的細節(jié)信息，同時可有效提高立體匹配準確度。處理后實驗圖像平均匹配誤差比未處理圖像降低約70%。

關鍵詞：亮度校正;Wallis變換;極線幾何;雙目立體

【中圖分類號】G【文獻標識碼】B【文章編號】1008-1216（2018）07B-0034-03

雙目立體視覺是計算機視覺的重要組成部分，高精度的雙目視覺在自主導航、目標跟蹤、三維重建等領域被廣泛應用。對于大部分立體視覺系統，立體匹配是決定精度的最關鍵步驟。像素灰度作為圖像的最基本特征，廣泛應用于多種立體匹配算法，它是一種對亮度變化比較敏感的特征。受光照不均、成像系統電子學、光學特性不一致等因素影響，使得同一物點在不同相機獲得的圖像上灰度有一定的差別，這樣的圖像作為立體匹配輸入會引起誤匹配。一般立體視覺標定技術只能修正圖像的幾何誤差，不能消除灰度差異，因此，本文提出了一種針對雙目系統的圖像勻光校正方法，用于校正圖像上對應像素間的灰度差異。

一、勻光算法研究現狀

多幅圖像亮度一致化方法大體可以分為三類，包括基于直方圖的勻光方法、基于模型的勻光方法，還有基于統計學的勻光方法?；谥狈綀D的方法通過一致化直方圖分布來降低圖像間的亮度差異，如Sridharan提出的一種直方圖匹配算法，常淑華等提出的一種直方圖均衡化方法，王密等提出當圖像差異較大時，基于直方圖的匹配方法會改變原有的圖像內部特征，容易造成偏色現象。基于模型的勻光方法采用基于照度或反射模型的原理，常用的方法有Mask和Retinex勻光算法，Mask方法會降低圖像較暗區(qū)域的對比度，增強亮區(qū)域的對比度，Retinex方法對圖像邊緣有增強效果，但會降低圖像對比度?；诮y計的勻光方法從整體上考慮亮度一致性，但不能很好地反映細節(jié)亮度分布，在局部區(qū)域仍存在亮度差異，具有代表性的包括基于Wallis變換的勻光算法，信息熵匹配。

以上方法計算的參考特征都是通過全局圖像計算得到的，雖然通過整幅圖像計算得到結果能夠反映全局亮度信息，但會導致局部灰度信息淹沒于全局信息中，產生全局亮度差異減小而局部差異增大的結果。因此，如何能夠在降低圖像間亮度差異的同時，盡量保持圖像的原有信息是雙目勻光校正算法研究的重點。

不同于其他勻光校正應用，雙目視覺系統本身存在無關光照變化的極線幾何約束，這是一種行對行的約束。因此提出了一種使用全局——局部相結合的雙目勻光校正方法，通過全局校正亮度的增減，局部確定亮度的離散，通過降低無關匹配點對亮度校正的干擾，使相關性更強的參考量參與計算。

二、兩步勻光校正方法

（一）極線校正方法和原理

雙目成像系統由兩個針孔成像系統組成，如圖1（a）和（b）所示。雙目成像系統中左相機的光心C在右相機像平面上的投影稱為右極點e，左極點同理記作e'，3D點X被投影到兩個圖像平面上，分別記作x、x'， XCC'構成的平面稱為極平面，CC'C稱為基線，xe稱為左極線，x'e'稱為右極線，極線約束定義為某相機像點的共軛點一定在另一相機對應的極線上。

當左相機光心位于右相機的焦平面內，同時右相機光心 位于左相機的焦平面內，此時左右極點分別投影到無窮遠處，基線 位于兩個相機焦平面內，同時與像面平行。在這種情況下，兩相機的極線均為水平的平行線。極線校正可以將圖像對應的極線水平方向共線，消除垂直方向的視差。通過極線約束可以使立體匹配的運算量從搜索整個像面降低到只搜索極線對應的行，在匹配時只需要搜索對應行就可以確定匹配點，極大地提高了匹配效率。

假設通過標定得到的相機坐標系間的旋轉矩陣為R，平移矩陣為T，極線校正可以通過以下步驟實現：

（1）左右相機分別旋轉±R1/2，使兩相機的光軸平行，但像面與基線不平行;

（2）構造旋轉矩陣Q=[q1T q2T q3T]T使兩像面與基線平行：

（a）通過平移向量確定基線方向向量q1，q2=（C-C'）/‖C-C'‖=T/‖T‖;

（b）通過q1與圖像光軸方向向量k確定圖像豎直方向向量，q2=k×q1;

（c）新的光軸方向向量q3與q1、q2正交，q3=q1×q2。

通過上述兩次旋轉，左右相機的坐標系能夠實現像面與基線平行，并且水平軸共線，達到了極線校正行對齊的目的。

（二）極線約束下的勻光變換方法和原理

圖像的灰度均值能夠反映其亮度和色調，標準差能夠反映灰度的動態(tài)范圍。一般情況下，同一空間點在雙目相機中成像灰度應該一致，具有近似的色調、亮度和灰度動態(tài)范圍，即應該具有近似的灰度均值和標準差。因此，以標準圖像為基準，勻光校正的結果應該是兩幅圖像均值和標準差一致，這是灰度一致的必要條件。以極線亮度特征為基準，校正對應極線上像素的亮度，能夠降低無關匹配點對亮度校正過程的干擾，突出相關性更強的參考量在局部匹配中的作用。極線約束下的勻光校正方法步驟如下：

（1）雙目標確定相機內外參數;

（2）通過標定參數對輸入圖像做極線校正，使對應行對齊;

（3）將雙目圖像間的亮度關系定義為線性模型

Ig=b0If+b1? ? ? ? ? ? ?（1）

以對應極線亮度均值為基準，通過最小二乘法計算圖像間的亮度系數

（2）

其中，式（2）中為待校正圖像第行的灰度均值， 為基準圖像第i行的灰度均值，線性方程的最優(yōu)解為b=（ATA）-1ATY，通過式（1）校正圖像亮度，得到圖像I'f;

（4）計算I'f第i行圖像的均值m'f（i）和標準差std'f（i），Ig的標準差stdg（i）。

（3）

（5）根據公式（4）將對應行（極線對）間的均值和標準差一致化：

（4）

其中，I'f（i，j）為被校圖像灰度值，I''f（i，j）為變換之后的灰度值，mg（i）和stdg（i）分別為參考圖像的行灰度均值和標準差，m'f（i）和std'f（i）分別為被校圖像的灰度均值和標準差均值。c∈[0，1]用于調節(jié)方差的一致程度， b∈[0，1]用于調節(jié)圖像均值的一致程度。

三、實驗與結果分析

為了驗證本文勻光算法的有效性，采用Middlebury 2014標準圖像進行測試。標準圖像已經進行極線校正，垂直方向視差小于一個像素，可以認為對應行嚴格對齊。原始左右圖像拍攝時相機積分時間不同或環(huán)境光照不同，圖像亮度有明顯的差異。直方圖均衡化方法會改變參考圖像的灰度信息，全局Wallis變換會改變被校圖像的灰度分布如圖2（c）-（e）所示。本文勻光算法2（f）與傳統方法圖像圖2（c）-（e）相比較后發(fā)現，2（f）與2（a）間亮度差異明顯減小，并且圖像亮度均勻，同時無明顯的突變。

（a）原始左圖;（b）積分時間不同的右圖;（c）和（d）直方圖均衡化圖;（e）全局Wallis勻光變換圖;（f）本文算法的圖

計算測試圖集中的ClassroomE、MotorcycleE、MotorcycleL、DjembeL和PianoL（E代表積分時間不同，L代表環(huán)境光照不同）的結構相似性SSIM。SSIM是一種衡量校正后圖像與標準圖像的差異的指標，計算公式如式5所示。SSIM是一種全參考的圖像評價指標，分別從亮度、對比度、結構三個方面度量圖像的相似性。

（5）

其中x為以左圖作為參考，對不同積分時間或環(huán)境光照采集的右圖進行勻光校正得到的圖像，y為與左圖一樣積分時間和環(huán)境光照拍攝的右圖，即真值圖像，ux為y的平均值，uy為y的平均值，σ2x和σ2y分別為x和y的方差，σxy為協方差，c1=（K1L）2，c2=（K2L）2是用來維持穩(wěn)定的常數，L為像素值動態(tài)范圍。k1和k2分別為0.01和0.03。SSIM取值范圍（0，1），當兩圖像一樣時SSIM等于1。

從圖3可以看出，對于積分時間不同的圖像，三中勻光校正方法差別不大，但對于環(huán)境光照不同的圖像，本文算法校正后的圖像SSIM值高于其他兩種方法，說明和真值圖像一致性更強。

為了進一步說明本文算法的有效性，采用傳統的方法和本文的方法，對實驗圖像分別進行了立體匹配，獲得視差圖，如圖4（a）-（e）所示。從圖4（b）-4（d）可以看出，未經處理的原始圖像匹配效果很差，甚至難以進行，直方圖均衡化和全局Wallis方法雖然能減小圖像對的亮度差異，但錯誤匹配較多。本文算法平衡了局部和全局亮度差異，有效降低了誤匹配。

（a）標準視差圖;（b）未經勻光校正;（c）直方圖均衡化;（d）全局wallis; （e）本文算法

通過對比真值視差圖，將視差差值過大的像素視為誤匹配，如式6所示，同時計算平均匹配誤差，如式7所示，得到結果如表1所示。從表1可以看出，本文算法與其他算法相比，能夠有效減少誤匹配并提高匹配準確性。

（6）

（7）

dC（x，y）為計算得到的視差圖，dT（x，y）為時差真值，N為圖像像素數，σd為2。

四、結論

本文提出了一種新的雙目勻光校正算法，該方法以極線一致性作為約束，通過對應行亮度信息使被校圖像和基準圖像的灰度分布近似一致。同傳統的雙目勻光算法相比，本文方法用于校正亮度的參考特征和待求量相關性更高，在將局部的細節(jié)亮度特征一致化的同時，減小圖片間全局亮度差異，符合局部立體匹配算法局部特征一致性的思想，并與傳統的幾種典型的雙目勻光校正算法進行了對比實驗，證明了本文算法的有效性。

參考文獻：

[1] 常淑華，宋艷秋，楊永敏.雙目立體視覺匹配的預處理技術[J]. 吉林大學學報，2012，（1）.

[2]王密，潘俊. 面向無縫影像數據庫應用的一種新的光學遙感影像色彩平衡方法[J]. 國土資源遙感，2006，（4）.

[3]姚芳，萬幼川，胡晗.基于Mask原理的改進勻光算法研究[J]. 遙感信息，2013，（3）.

[4]劉家朋，趙宇明，胡福喬.基于單尺度Retinex算法的非線性圖像增強算法[J]. 上海交通大學學報，2007，（5）.

[5]朱巧云，答星. 基于Wallis濾波器的異源遙感影像勻光方法[J]. 測繪與空間地理信息，2012，（10）.

[6]倪章松，顧藝，柳慶林. 大視場雙目立體視覺柔性標定[J]. 光學精密工程，2017，（7）.