基于ＲＯＩ塊匹配的全景圖像拼接魯棒性方法

摘要：提出了一種魯棒性全景圖像拼接方法。首先，為了緩和光照條件變化進行直方圖均衡化；其次，利用相位相關的方法提取種子點，即重疊區域的高度紋理點，因為感興趣區域（ROI）被限定在重疊區域，所以能得到更精確的對應點；最后，用加權塊匹配算法（BMA）來最小化相機轉動產生的圖像扭曲問題。通過多種類型全景圖像的峰值信噪比（PSNR）與其他算法相比，證明該方法具有很強的魯棒性。

關鍵詞：全景圖； 圖像拼接； ROI； 塊匹配； 魯棒性

中圖法分類號：TP391文獻標識碼：A

文章編號：1001－3695(2007)01－0229－03

全景圖像拼接是在固定視點用照相機或者攝像機旋轉拍攝得到的重疊圖像拼接生成360°無縫全景圖像的繪制技術；它是基于圖形繪制IBR(ImageBased Render)的研究熱點與關鍵技術。近年來，研究人員進行了大量且有意義的工作，提出了許多有效的圖像拼接方法，但是各種算法都存在局限性。Dai等人[1]運用幾何特征，如角、邊與線導出投影變換，該方法雖然能計算更加精確的變換，但提取合適的圖像特征比較困難，而且其對應點的迭代處理計算量大；Szeliski等人[2，3]提出在圖像投影后直接用最小化來平滑縫隙的方法，即image3(x)=d(x)×image1(x)+(1-d(x))×image2(x)，其中0

本文提出利用種子點的方法來計算兩幅圖像重疊區域的投影變化。種子點是第一幅圖中重疊區域的最高紋理像素，通過利用塊匹配（BMA）的方法來找出第二幅圖像的對應點。為了使算法具有更高的魯棒性，首先，使用直方圖均衡化來緩和光照條件變化等圖像差異；其次，加權函數在BMA算法中的使用，可以最小化由于相機旋轉產生的圖像扭曲等問題。

圖1展示了算法的工作流程。①提取給定圖像的重疊區域，利用重疊區域進行直方圖均衡化；②第一幅圖像的重疊區域劃分為四個子區域，每個區域選取一個種子點；③運用加權BMA算法來檢測第二幅圖像的對應點，計算估計焦距；④利用估計焦距將圖像投影到圓柱體坐標，用雙線性加權函數來消除圖像融合的邊界。

1圖像投影變換

因為感興趣區域（ROI）被限定在重疊區域，所以可以得到更精確的對應點。首先計算四個種子點，然后進行投影變換計算。

1．1提取重疊區域

Brown，Reddy和Chatterji等人描述了一種能對準兩幅彼此相關圖像的高效方法——相位相關法（Phase Correlation）。這種方法用二維傅里葉變換每幅圖像，計算圖像間每頻率的相位差，然后進行反傅里葉變換，通過二維變換能估計出重疊區域的大小[4]。

1．2直方圖均衡化選擇種子點

使用直方圖均衡化來緩和光照條件變化等圖像間的差異，如圖2所示。

傳統全景圖拼接方法是用幾何特征點和優化來計算序列圖像間的投影變換，其使用的迭代算法相當耗時而且畸變較大。在許多視覺應用中，基于紋理的特征經常被用來代替基于幾何的特征。Shi和Tomasi[5]利用基于紋理的特征來追蹤特征點；此外，Lhuillier和Quan[6]運用種子點提出了一種Quan式密度匹配算法。本文提出利用塊匹配來計算兩幅圖像重疊區域的投影變換的方法，為了進行投影變換計算，四個種子點必須在重疊區域內，其中任何三點都不共線。重疊區域被劃分為四個子區域，每個子區域中最大特征量被選擇為種子點。在式（1）中，種子點qi是第i塊字區域中最大特征量的點：

圖2近距離復雜背景圖像及均衡前后的直方圖

1．3檢測對應點

通過直方圖均衡化后，所有圖像擁有了近似相同的亮度和對比度。這樣在以后的操作中不必考慮圖像間亮度和對比度差異就可以進行相同的比較計算。因此，對給定圖像間的重疊區域進行均衡化。

為了實現更加魯棒性的對應點檢測算法，采取加權BMA算法。因為相機在旋轉過程中，圖像會扭曲，這種扭曲隨著沿最小扭曲量方向的搜索位置單調遞增[7]。因此，加權函數（wi， j）的引用，使小畸變區域的錯誤減少，大畸變區域的錯誤增多。式(2)定義了加權塊匹配規則，式(3)定義了加權函數是與塊的中心距離成正比。

2全景圖像拼接

圓柱體模型的全景圖被廣泛應用是因為使用它相對簡單，同時又不影響全景圖像瀏覽的真實性。由于立方體模式過于簡單，該模式在展示全景圖時存在明顯的邊界痕跡，降低了全景圖像的真實性；球面模式雖然相對擴大了全景圖瀏覽的視野，可是也相應增加了算法復雜度和圖像采集的難度。當相機焦距已知時，每幅圖像便能投影到圓柱體坐標中。Szeliski和Shum[1]詳細描述了怎樣從投影變換中估計焦距的方法。

2．1圓柱體坐標變換

2．2圖像縫合

Szeliski等人的算法雖然消除了明顯的拼接邊界，但重疊區域出現重影、模糊現象，拼接處會有明顯的一條縫。優化算法則采用顏色擬合的方法來調和相鄰圖像的亮度，生成無縫的合成圖像。首先，兩邊以2.1節的相位相關法提取的ROI像素區域作為矯正區；然后，運用雙性插值方法，同時引入一個閾值K，若平滑前的灰度值與加權平均值的差值小于K，則取插值；反之，則取平滑前的灰度值。這樣就完成了相鄰圖像間的平滑過渡，大大減輕了它們之間的拼接痕跡。

3實驗結果

本文提出的魯棒性全景圖拼接方法對四組圖像進行了試驗，如圖3~圖6所示，可以看出該方法拼接的不同類型的全景圖像。試驗系統的環境是一臺Windows NT操作系統下的PC工作站，CPU P3 1GHz，256MB RAM，顯卡(硬件支持OpenGL加速)，使用Microsoft Visual C++ 6.0，16×16塊被用于種子點選擇，搜索范圍是32×32。

圖3復雜背景圖像的全景圖（黃龍溪古鎮）

圖4文字圖像的全景圖（四川大學體育館）

圖5近距離具有凹凸表面圖像（四川大學體育館2樓門）

圖6遠距離大場景圖像（四川大學體育館遠距離）

為了對比該算法的性能，筆者將得到全景圖像的峰值信噪比（PSNR）與其他算法相比較。PSNR僅在兩幅圖像的合成區域測量，如果投影變換的效果更精確，其PSNR的值應該越大。因此，PSNR是對于圖像投影變換精確性的很好說明。圖7比較了圖像失真的效果，圖8比較了方法的性能時間。

圖7對不同類型圖像的各種算法性能圖像質量比較

圖8對不同類型圖像的各種算法性能時間比較

4結論

本文提出了一種簡便高效，對光照環境變化、圖像扭曲、不同類型圖像都具有魯棒性的柱面全景圖拼接方法。通過對ROI區域的選擇與加權BMA算法，節約了計算時間，同時克服了抖動、光照差、扭曲等對全景圖的影響，與原有圖像拼接算法相比較，該優化方法在一定高速下能得到更高質量的圖像。

參考文獻：

［1］ Dai X， Khorram S. A Featurebased Image Registration Algorithm Using Improved Chaincode Representation Combined with Invariant Moments[J]. IEEE Trans. Geosci. Remote Sensing， 37(5)：23512362.

［2］ Szeliski R， Shum H Y. Creating Full View Panoramic Image Mosaics and Texturemapped Models[C]. Los Angeles， California: Proc. of SIGGRA PH’97，1997.251258.

［3］ Shum H Y， Szeliski R.Construction and Refinement of Panoramic Mosaics with Global and Local Alignment[C]. Proceedings of the 6th International Conference on Computer Vision，1998.953958.

［4］ Reddy B S， Chatterji B N. An FFTbased Technique for Translation， Rotation and Scaleinvariant Image Registration[J]. IEEE Trans. Ima￣ge Process， 1996，5(8):12661271.

［5］ Shi J， Tomasi C. Good Features to Track[C]. Proceedings of the IEEE Computer Vision and Pattern Recognition Conference，1994.593600.

［6］ Lhuillier M， Quan L. Image Interpolation by Joint View Triangulation[C]. Proceedings of the IEEE Computer Vision and Pattern Recognition Conference， Fort Collins， USA: 1999.139145.

［7］ Huang Y， Zhuang X. An Adaptively Refined Block Matching Algorithm for Motion Compensated Video Coding[J]. IEEE Trans. Circ. Syst. Vid. Technol.，1995，5(1):5659.

作者簡介：

王晶 (1982），男，四川眉山人，碩士研究生，主要研究方向為數字圖像處理、虛擬現實、模式識別、信息融合等；

游志勝(1945)，男，四川成都人，中國圖像圖形學會副理事長，教授，博導，主要研究方向為數字圖像處理、計算機視覺與模式識別等；鐘靈(1982)，男，四川宜賓人，碩士研究生，主要研究方向為數字圖像處理、計算機視覺等。

注:本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文