基于多鏡頭多傳感器系統的圖像合成

殷惠莉　杜娟　胡池

摘 要： 圖像配準是圖像合成的關鍵步驟，該文用兩個具有平行光軸結構的多鏡頭多傳感器系統進行圖像采集，利用H矩陣與插值算法相結合，快速地完成了兩張圖像的配準工作，實現了對一個平面上的圖像信息的合成，具有提高公共區域信噪比的功能；并在此基礎上，提出了一種針對無窮遠平面的圖像配準方法，有利于進行立體圖像的快速配準以及深度圖像的求取。

關鍵詞： 多鏡頭多傳感器系統； H矩陣； 圖像映射； 插值算法

中圖分類號： TN911.73?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2017）06?0122?04

Abstract： The image registration is a critical step of image synthesis. The multi?lens and multi?sensor （MLMS） system with two parallel optical axis structures is used to acquire the image. The H?matrix and interpolation algorithm are combined to match two images quickly， and synthesize the image information on a plane， which can improve the SNR in public area. On this basis， an image registration method for the plane at infinity is proposed， which is beneficial for the fast registration of the 3D image and the acquisition of the depth image.

Keywords： multi?lens and multi?sensor system； H?matrix； image mapping； interpolation algorithm

圖像配準是圖像合成中的關鍵步驟，現階段的配準方法主要有直接配準和分部配準。直接配準主要分為基于特征的配準和基于區域的配準。本文研究具有平行光軸結構的多鏡頭多傳感器（MLMS）系統，由于相機之間存在確定的幾何約束關系，因而選擇分部配準的方法更為合適。本文提出如下方法：首先借助于一個正對鏡頭采集方向的平面，利用Homography矩陣[（H]矩陣）建立基于平面圖像的圖像對齊，同時完成鏡頭間的極線矯正過程。然后使用圖像金字塔結構的方式對水平方向進行圖像塊搜索，完成快速匹配。

上述方法首先確保了兩幅圖像有超過[12]以上的公共區域，尋找兩幅圖像公共區域上的對應點，使用經典的直接線性變換算法DLT（Direct Linear Transformation）[1?2]，建立齊次方程，通過奇異值分解（SVD）算法，求取齊次方程的近似解，得到[H]矩陣；然后使用[H]矩陣以及插值算法，構建兩張圖像在公共區域的映射關系，并通過顏色插值，進行公共區域的圖像合成，并提出了無窮遠平面的圖像對齊方法。

1 投影點對應關系[H]矩陣的計算

1.1 [H]矩陣

在MLMS（Multi?lens Multi?sensors）立體視覺系統中，如圖1所示，空間中某一平面π上的任意點[P]，設[Pl]為[P]在左圖像（即鏡頭1拍攝圖像）上的投影點，[Pr]為[P]在右圖像（即鏡頭2拍攝圖像）上的投影點，由映射關系可得：

2 建立映射關系及圖像合成

2.1 建立坐標映射表

在求[H]矩陣的過程中，要計算[T-1l]，需要使用兩次除法運算，本文使用插值方法降低運算復雜度，同時還通過定點化后的移位運算代替了除法運算。本文將在圖3上進行圖像合成。

首先以圖3整數點坐標為基準，計算出一張離散的坐標映射表。

假設在圖3上覆蓋滿了若干個16×16的小方框（根據實驗結果誤差分析以及計算機移位規律選取的，方框大小可再調整）。選取方框頂點的坐標位置，通過式（3）和式（15），求取[Pl]的坐標[Pl]（X，Y）并存儲起來，形成一張離散的坐標映射表。該坐標一般是一個浮點數，引入定點化的方法，將浮點數坐標值擴大64倍并四舍五入取整，存儲為整數坐標。

接著利用離散的坐標映射表以及插值運算生成一張完整的坐標映射表。

采用常規的雙線性插值方法，按照16×16的方框逐個進行。在每一個方框內部，利用式（16）插值出四條邊的對應坐標，利用式（17）插值出方框的內部區域的對應坐標。其中f（1），f（2），f（3），f（4）分別指的是方框四個頂點位置的映射坐標。

遍歷方框內部每一個點，使用上述方法進行插值，即可得到一張完整圖像的坐標映射表。表1隨機選取了10組點，進行映射坐標分析。插值計算坐標（本來是整數形式）換算成它的浮點數形式放在表1中，便于比較，兩種方法均保留三位有效數字。

通過誤差比較，兩種方法計算出來的映射坐標誤差均限制在1%個像素點以內，滿足工程應用的精度要求。

2.2 圖像的合成

圖像合成的過程為攝像頭抓拍圖像，利用圖2和映射表計算得到投影變換圖像（PT圖像），PT圖像與圖3完成圖像合成，得到結果圖。其中PT圖像只能得到公共區域圖像，其坐標位置與圖3相同，而顏色信息來自圖2。

求取PT圖像的過程需要使用雙線性插值算法。新建一張圖像，遍歷該圖像上每一個像素位置，利用映射表及插值算法，結合圖2信息計算出該點的顏色值，填充得到PT圖像。

最后進行PT圖像和圖3的合成。將公共區域兩者相加取平均，或者可以根據需要分區域用不同的權重進行加權合成，得到最后的合成圖像。本文以圖3為底稿，將圖2映射后進行融合。反之亦然。

2.3 無窮遠平面的圖像對齊

如果P點不在采集匹配點的那張平面上，則上述方法計算得到的[H]矩陣將不能用于描述其兩個投影點[Pl]和[Pr]的映射關系。對于平行光軸并排擺放結構的多鏡頭系統，一張圖像上任意參考點在另一張圖像上對應的極線基本平行于圖像[x]軸。但由于鏡頭安裝存在不可避免的誤差，該極線往往不是水平的。上述方法具有矯正極線的功能。即圖2經過投影變換，得到的PT圖像上任意點在圖3上對應的極線是水平的，反之亦然。對于空間中任意不在上述平面上的點P，假設[Pl]和[Pr]是它在兩幅圖上的投影點，則[Pl]和[HPr]之間僅存在水平視差。這種矯正極線的方法僅適用于平行光軸并排擺放的多鏡頭相機。

垂直攝像機光軸方向布置一個較遠的平面（10 m以上），通過得到的[H]矩陣，計算一張PT圖像，找到幾組PT圖像與圖3在該平面上的對應點，計算其水平視差的均值（坐標值之差），并記錄下來。然后利用該視差值來平移整個映射表，即可得到[H∞]矩陣對應的映射表；或者修改H矩陣的[H31]（x方向平移參數），直接得到[H∞]矩陣。從而完成了從一個平面到無窮遠平面對齊的轉換。

3 實驗結果及分析

通過圖4、圖5對比，可以看出合成圖像公共局部圖像區域信噪比有所提高。同時使用一張在更低ISO參數下相同位置拍攝的圖像作為參考圖像，如圖6所示，便于計算右圖與合成圖像的MSE和PSNR。

傳統的圖像質量評價方法是通過計算失真圖像與參考圖像像素點間的數學誤差來衡量的。本文使用均方誤差（MSE）和峰值信噪比（PSNR）作為信噪比的評價指標[5?6]：

在PC機上使用了兩個640×480分辨率的攝像頭進行了實驗，使用25 f的視頻采樣速率，可以達到實時處理的功能，并且合成效果與單次運行時大致相同。

左圖PT后圖像和右圖原圖作為對比，如圖7、圖8所示。從墻上選擇的三個參考點來看，該平面上的點坐標是基本對齊的。超過8對匹配點，利用如下約束關系和SVD算法，計算出基本矩陣（Fundamental矩陣）。如下：

并選擇三個參考點，計算其在另一張圖上對應的極線。從圖中顯示可知：該組點在對應圖像上的極線是基本水平的，驗證了文中所述的匹配點之間只存在水平視差，并且從畫面的卷尺可以看出，呈現深度越小，視差越大的規律。

4 結 語

本文采用具有平行光軸的MLMS系統采集圖像，利用[H]矩陣這一工具來描述兩張圖像公共區域的映射關系，通過插值運算的引入和定點化處理，提高了計算速度，能夠滿足實時融合圖像的要求。經過上述分析和實驗結果可以看出，該方法可以較單鏡頭的圖像具有更高的信噪比，同時對于立體圖像的匹配和融合仍然具有意義。并通過計算等效[H∞]，完成無窮遠平面的圖像對齊。

注：本文通訊作者為杜娟。

參考文獻

[1] CYGANEK. B， SIEBERT J P. An introduction to 3D computer vision techniques and algorithms [M]. New York： Wiley， 2009： 31?50.

[2] HARTLEY R. In defense of the 8?point algorithm [J]. IEEE transactions on pattern analysis and machine intelligence， 1997， 19（6）： 580?593.

[3] HARTLEY R. Multiple view geometry in computer vision [M]. 2nd ed. Cambridge： Cambridge University Press， 2004.

[4] AGARWAL A， JAWAHAR C V， NARAYANAN P J. A survey of planar homography estimation techniques [R]. Hyderabad： International Institute of Information Technology， 2005.

[5] ESKICIOGLU A M， FISHER P S. Image quality measures and their performance [J]. IEEE transactions on communications， 1995， 43（12）： 2959?2965.

[6] 朱瑩.自適應夜視圖像處理技術研究[D].南京：南京理工大學，2007.