基于特征分塊的視差圖像拼接算法

張晶晶,翟東海,2,黃莉芝,喻 強

(1.西南交通大學 信息科學與技術學院,成都 611756; 2.西藏大學 工學院,拉薩 850000)

0 概述

圖像拼接一直是計算機視覺和圖形圖像領域研究的熱點和難點[1-2],圖像拼接就是把同一場景下不同時間、不同視角或不同傳感器獲取的一組相互間有重疊部分的圖像序列進行圖像配準,經重采樣和融合后形成一幅包含各圖像序列信息的寬視角場景的、完整的、高清晰的新圖像的技術[3]。圖像拼接技術被廣泛地應用于環境監測、天氣預報、攝影測量學、遙感圖像處理[4]、虛擬環境重建、計算機視覺等領域[5]。

目前,圖像拼接領域最為流行的算法是基于尺度不變特征(SIFT)算法[6],該算法具有尺度不變性和旋轉不變性。但是,這種基于單應性矩陣的方法只有在輸入圖像視差很小的情況下才可以很好地工作,當輸入圖像有很大的視差時就會產生重影。文獻[7]提出DHW(Dual Homography Warps)雙平面變形算法,該算法將圖像分為back plan 和ground plan 2個平面,采用2個單應性矩陣對2個平面進行投影變換,但當場景中出現大結構物體時該算法的拼接結果很不理想。文獻[8]提出了CPW(Content Preserving Warps)算法,該算法采用位置變換約束和形狀扭曲約束對目標圖像進行逼近相似變換,這樣可以將配準誤差降至最低并保留場景的剛度,但是當原圖像與目標圖像之間存在較大的平移和旋轉時由于剛性約束的限制,該算法的拼接效果會大大降低,出現模糊和重影。文獻[9]提出一種改進的SIFT配準算法,采用一種自適應的混合線性算法對重合區域圖像變換至HIS顏色空間進行圖像拼接,該算法可以提高配準的精度,但它仍然不適合處理大視差圖像拼接。文獻[10]提出基于AP聚類圖像分塊的角點檢測改進算法,當聚類中心點和尺度參數沒選好時會影響角點檢測的精度。文獻[11]提出一種APAP(As-Projective-As-Possible)變換模型,該模型用全局單應性矩陣代替基本單應性矩陣,強調全局投影特性,同時允許局部非投影偏差,在一定程度上緩解了視差造成的拼接誤差。但是當處理兩幅大視差圖像時單應性矩陣不能處理視差,還需要借用其他技術來消除視差造成的重影和結構扭曲。文獻[12]提出基于3點匹配的圖像拼接算法,用6參數仿射矩陣來簡化圖像的轉換關系,計算速度快,但是不能處理視差圖像的拼接。

本文針對上述問題,提出一種基于特征分塊的視差圖像拼接算法,通過特征分塊快速確定圖像之間的特征匹配塊,求出全局單應性矩陣,進行局部優化消除拼接過程中的重影和形狀扭曲,以實現大視差圖像拼接。

1 視差圖像拼接算法框架

圖像拼接主要包含以下4步:相機標定,圖像預處理,圖像配準,圖像融合,其中最關鍵的步驟是圖像配準。

具體步驟如下:

1)采用張正友相機標定法[13]求出相機的內參、外參和畸變系數,對相機進行矯正。

2)圖像預處理,進行圖像去噪、圖像增強和顏色空間變換,然后采用圖割算法[14]將參考圖像I1和目標圖像I2分割成若干個具有獨特性質的圖像塊,并將圖像塊編號。

3)圖像配準,用SIFT算法對圖像進行特征提取,在特征描述子中加入特征點的圖像塊信息,確定目標圖像與參考圖像之間的特征匹配圖像塊,根據特征匹配塊確定圖像之間的重疊區域和非重疊區域。

本文的視差圖像拼接流程如圖1所示。

圖1 基于特征點的圖像拼接流程

2 基于特征分塊的視差圖像拼接

2.1 特征分塊的必要性

進行特征分塊的原因主要有以下3點:

1)現有的算法在進行圖像拼接時都是隨機地從特征匹配點集合中挑選特征匹配點來計算單應性矩陣;然后判斷是否絕大多數特征點都滿足所求的單應性變換模型,如果滿足則用所求的單應性矩陣對圖像進行配準,如果不滿足則需要重新挑選匹配特征點來計算單應性變換模型,迭代進行上述步驟直到絕大多數點都滿足單應性變換模型。但是,這種隨機挑選特征匹配點的算法會出現挑選的特征點過于集中的情況,在這種情況下計算得到的單應性矩陣不具有全局性,只有少數點滿足單應性變換模型,會增加算法的迭代次數。通過對參考圖像I1和目標圖像I2進行特征分塊可以實現:計算全局單應性矩陣時,如果每次分別從各個塊中都選取匹配點可以使求出的單應性矩陣更具有全局性的特性,使盡可能多的點滿足變換模型H,提高H的配準質量減少迭代次數。

2)文獻[15]指出SIFT算法中全圖像域特征點的檢測與描述和特征點的匹配是2個最消耗時間的步驟。然而,在實際圖像匹配過程中,正確的特征點匹配對僅集中分布在圖像間的重疊區域內,非重疊區域內特征點不存在正確的匹配點對,即為無效區域。文獻[16]提出只有分布在重疊區域的特征點才是用于匹配的有用特征點。所以,圖像匹配具有區域性,通過特征分塊可以快速地確定圖像間的重疊區域和非重疊區域,避免非重疊區域的干擾,提高匹配的效率和準確率。

2.2 參考圖像和目標圖像之間的特征匹配圖像塊

確定特征匹配圖像塊過程如下:

1)用圖割算法將參考圖像和目標圖像分割成圖像塊,對每一個圖像塊進行編號,如圖2所示。

圖2 特征匹配圖像塊

2)運用SIFT算法對圖像進行特征提取,在進行特征描述時加入特征點所屬的圖像塊信息,沒加圖像塊信息時每個特征點的特征描述子是一個128維的向量S(s1,s2,…,s128);加入圖像塊信息后每個特征點有129維信息S(s1,s2,…,s129),s129表示特征點所屬的圖像塊。但是在對描述子進行匹配時只計算前128維信息之間的匹配程度,圖像塊信息s129將在后面確定圖像塊匹配時用到。

3)分別找出參考圖像的各個圖像塊的特征匹配塊,如圖3所示,I1的圖像塊2和I2的圖像塊1′是匹配塊,I1的圖像塊4和I2的圖像塊3′是匹配塊。確定圖像匹配塊的方法詳見步驟4)。

圖3 全局單應性矩陣Hi的匹配質量

4)以參考圖像I1中的圖像塊2為例,求圖像塊2的匹配圖像塊步驟如下:

(1)找出參考圖像的圖像塊2的特征點集合,記為P2j(j=1,2,…,N2,表示特征點集合中總共有N2個特征點,j表示第j個特征點)。

按上述方法求出參考圖像I1中各個圖像塊對應的特征匹配塊,其中非重疊區域沒有匹配的特征點對,所以沒有對應的特征匹配塊,如參考圖像I1中的圖像塊1和圖像塊3沒有特征匹配塊。

2.3 全局單應性矩陣

特征分塊法計算單應性矩陣的步驟如下:

1)找出參考圖像和目標圖像之間對應的特征匹配塊區域I1i和I2i′(I1i表示參考圖像I1的第i個圖像塊,I2i′表示目標圖像I2的第i′個圖像塊)。

2)根據特征匹配塊,將圖像的特征匹配點的集合P分成M個子集P=∑Pi(i=1,2,…,M)。

3)分別從不同的特征匹配塊對應的特征匹配點子集Pi中挑選特征匹配點求單應性矩陣Hi,這樣可以避免隨機抽選特征點過于集中的情況,保證計算出的單應性矩陣的全局性。

本文算法根據特征匹配塊,確定參考圖像I1與目標圖像I2之間的重疊圖像塊,刪除非重疊區域,只計算重疊圖像塊的配準質量。而且可以分別計算每個特征匹配塊的配準質量,如圖3所示,分別計算<1,1′>、<2,2′>、<3,3′>、<4,4′>特征匹配塊的配準質量,這樣不僅可以提高計算速度還可以提高計算精度。因為1只和1′是匹配的圖像塊,本文算法避免了計算圖像塊1和2′,1和3′,1和4′之間的匹配質量,這樣可以減少計算量和誤差。

3 重影消除與扭曲的局部優化

用最優全局單應性矩陣對參考圖像和目標圖像進行預配準之后,還需要對重疊區域進行局部優化消除視差造成的重影和形狀扭曲。本文給重疊區域的每對圖像塊加入形狀扭曲約束和圖像網格塊鏈接約束,可以較好地消除重影和形狀扭曲。

3.1 形狀扭曲約束

(1)

(2)

圖4 三角形2個頂點組成的局部坐標系

3.2 網格塊鏈接約束

圖5 參照圖像和局部優化圖像之間的圖像塊鏈接約束

(3)

同理,根據圖5(e)、圖5(f)獲得了網格塊之間的垂直鏈接約束公式:

(4)

同理,根據圖5(g)和圖5(h)獲得了網格塊之間的對角鏈接約束公式:

(5)

所以,網格塊之間的鏈接約束可以表示為:

El=El1+El2+El3

(6)

將形狀扭曲約束和網格塊鏈接約束的能量公式合并,得到如式(7)所示的總的能量公式,通過求能量公式的最小值實現局部優化。

E=αEs+βEl

(7)

其中,α、β是權重值,α=0.4、β=0.6上述最小值問題是二次方程問題,通過求解一個稀疏的線性方程可以得到最小化的結果。

對局部優化后的結果進行圖像融合得到最終的消除重影的扭曲的拼接圖像。

4 實驗結果與分析

本文實驗在Matlab環境下運行,實驗在已有的圖像庫中隨機抽出了大量的標準圖像來進行實驗,將本文算法與CPW[8]算法和APAP[11]算法進行對比。實驗都為大小為1 000×740像素的自然圖像。實驗結果如圖6～圖8所示。觀察實驗結果可以發現,CPW算法[8]只使用了位置變化約束和形狀扭曲約束對圖像進行變換,由于剛性變換的限制導致拼接結果中出現重影(圖中用圓圈圈出)。APAP算法[11]在局部優化時,使用移動直接線性變換(moving DLT)對圖像進行盡可能配準,該算法嘗試將2幅圖像的重疊區域盡可能地對齊導致拼接結果出現形狀扭曲(圖中用圓圈圈出),本文算法可以較好地消除重影和形狀扭曲。

圖6 3種算法得到的拼接結果比較1

圖7 3種算法得到的拼接結果比較2

圖8 3種算法得到的拼接結果比較3

為定量比較各個算法的拼接效果,通過計算參考圖像I1、單應性變換后圖像I2的重疊區域之間的均方根誤差RMSE和拼接耗時來衡量算法的拼接性能。對于一幅M×N大小的圖像而言,參考圖像I1的重疊區域與單應性變換后圖像I2的重疊區域之間的均方根誤差RMSE的公式如式(8)所示。

(8)

其中,I1(x,y)為參考圖像,I2(x,y)為單應性變換后圖像,RMSE代表了兩者的差異,RMSE值越小,表明圖像拼接的結果越好。

表1給出了對3組視差圖像拼接的均方根誤差RMSE和拼接耗時數值結果。對比表1可以發現,CPW算法的拼接效果比較差,雖然耗時最短但是均方根誤差RMSE最大。APAP算法與CPW算法相比RMSE明顯減小,但拼接耗時明顯增加。本文算法與CPW算法相比雖然拼接耗時有所增加,但RMSE值減小較多,本文算法與APAP算法相比RMSE值和拼接耗時都減少很多。綜上所述,本文算法在拼接效果上占優勢,本文算法在大幅改進拼接效果的同時,運算時間比APAP少,比CPW的運算時間只高了一點,所以通過綜合比較,本文算法較有優勢。

表1 不同拼接算法的RMSE和耗時比較

5 結束語

[1] PANG S,SUN M,HU X,et al.SGM-based seamline determination for urban orthophoto mosaicking[J].ISPRS Journal of Photogrammetry and Remote Sensing,2016,112:1-12.

[2] 江 鐵,朱桂斌,孫 奧.全景圖像拼接技術研究現狀綜述[J].重慶工商大學學報(自然科學版),2012,29(12):60-71.

[3] 蓋進偉.一種基于特征點的圖像拼接技術研究[D].太原:中北大學,2012.

[4] LI X,HUI N,SHEN H,et al.A robust mosaicking procedure for high spatial resolution remote sensing images[J].ISPRS Journal of Photogrammetry and Remote Sensing,2015,109:108-125.

[5] 劉志文,劉定生,劉 鵬.應用尺度不變特征變換的多源遙感圖像特征點匹配[J].光學精密工程,2013,21(8):2146-2153.

[6] LOWE D G.Distinctive image features from scale-invariant key points[J].International Journal of Computer Vision,2004,60(2):91-110.

[7] GAO J,KIM S J,BROWN M S.Constructing image panoramas using dual-homography warping[C]//Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2011:49-56.

[8] LIU F,GLEICHER M,JIN H,et al.Content-preserving warps for 3D video stabilization[J].ACM Transactions on Graphics,2009,28(3):44.

[9] 張永梅,張晨希,郭 莎.基于SIFT特征的彩色圖像拼接方法研究[J].計算機測量與控制,2016,24(8):236-239.

[10] 劉文進,張 蕾,孫勁光.基于AP聚類圖像分塊的角點檢測改進方法[J].計算機工程,2015,41(4):217-221.

[11] ZARAGOZA J,CHIN T J,BROWN M S,et al.As-projective-as-possible image stitching with moving DLT[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2013:2339-2346.

[12] 劉德連,張建奇.基于3點匹配的圖像拼接算法[J].計算機工程,2006,32(13):203-205.

[13] ZHANG Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[14] van de SSNDE K E A,UIJLINGS J R R,GEVERS T,et al.Segmentation as selective search for object recognition[C]//Proceedings of 2011 IEEE International Conference on Computer Vision.Washington D.C.,USA:IEEE Press,2011:1879-1886.

[15] 李玉峰,李廣澤,谷紹湖,等.基于區域分塊與尺度不變特征變換的圖像拼接算法[J].光學精密工程,2016,24(5):1197-1205.

[16] 杜京義,胡益民,劉宇程.基于區域分塊的SIFT圖像匹配技術研究與實現[J].光電工程,2013,40(8):52-58.

[17] 韓 冰,王永明.基于一種快速歸一化積相關算法的圖像匹配研究[J].兵工學報,2010,31(2):160-165.