圖像拼接技術綜述
2008-12-31 00:00:00王娟師軍吳憲祥
計算機應用研究 2008年7期
摘 要：給出了圖像拼接的一般流程，在此基礎上將圖像拼接技術分為兩個關鍵技術——圖像配準技術和圖像融合技術，并分別對圖像配準技術和圖像融合技術的經典算法及最新算法作一概述和比較。
關鍵詞：全景圖像；圖像拼接；圖像配準；圖像融合
中圖分類號：TP391 文獻標志碼：A
文章編號：1001-3695(2008)07-1940-04
Survey of image mosaics techniques
WANG Juan1，SHI Jun1，WU Xianxiang2
(1.School of Computer Science， Shaanxi Normal University， Xi’an 710062， China;2.ICIE Institute， School of Electromechanical Engineering， Xidian University， Xi’an 710071， China)
Abstract:Firstly， this paper presented the flow of the image mosaics.Then，introduced and discussed the recent algorithms as well as the classical algorithms of the image registration techniques and the image fusion techniques， as two key techniques of the image mosaics.
Key words:panoramic image;image mosaics；image registration；image fusion
0 引言
圖像拼接技術就是將數張有重疊部分的圖像(可能是不同時間、不同視角或者不同傳感器獲得的)拼成一幅大型的無縫高分辨率圖像的技術。使用普通相機獲取寬視野的場景圖像時，因為相機的分辨率一定，拍攝的場景越大，得到的圖像分辨率就越低；而全景相機、廣角鏡頭等不僅非常昂貴，而且失真也比較嚴重。為了在不降低圖像分辨率的條件下獲取超寬視角甚至360°的全景圖，利用計算機進行圖像拼接被提出并逐漸研究發展起來。現在，圖像拼接技術已經成為計算機圖形學的研究焦點，被廣泛應用于空間探測、遙感圖像處理、醫學圖像分析、視頻壓縮和傳輸、虛擬現實技術、超分辨率重構等領域。
圖像配準和圖像融合是圖像拼接的兩個關鍵技術。圖像配準是圖像融合的基礎，而且圖像配準算法的計算量一般非常大，因此圖像拼接技術的發展很大程度上取決于圖像配準技術的創新。早期的圖像配準技術主要采用點匹配法，這類方法速度慢、精度低，而且常常需要人工選取初始匹配點，無法適應大數據量圖像的融合。近十年來，許多圖像自動拼接技術被提出并實現。1992年，劍橋大學的Brown概述了圖像配準技術的基本理論以及主要方法[1]。2003年，Zitová等人綜述了隨后十年的圖像配準領域的相關方法[2]。2004年，國內關于圖像拼接技術的綜述性文獻[3]把圖像拼接技術分為基于自適應流形和基于人工確定流形兩類進行論述，但是一些較新的技術沒有介紹。
1 圖像拼接流程
圖像拼接的方法很多，不同的算法步驟會有一定差異，但大致的過程是相同的。一般來說，圖像拼接主要包括以下五步：
a）圖像預處理。包括數字圖像處理的基本操作（如去噪、邊緣提取、直方圖處理等）、建立圖像的匹配模板以及對圖像進行某種變換（如傅里葉變換、小波變換等）等操作。
b）圖像配準。就是采用一定的匹配策略，找出待拼接圖像中的模板或特征點在參考圖像中對應的位置，進而確定兩幅圖像之間的變換關系。
c）建立變換模型。根據模板或者圖像特征之間的對應關系，計算出數學模型中的各參數值，從而建立兩幅圖像的數學變換模型。
d）統一坐標變換。根據建立的數學轉換模型，將待拼接圖像轉換到參考圖像的坐標系中，完成統一坐標變換。
e）融合重構。將帶拼接圖像的重合區域進行融合得到拼接重構的平滑無縫全景圖像。
圖1給出了圖像拼接的基本流程圖。
2 圖像配準
圖像拼接的關鍵是精確找出相鄰兩張圖像中重疊部分的位置，然后確定兩張圖像的變換關系，即圖像配準。由于視角、拍攝時間、分辨率、光照強度、傳感器類型等的差異，待拼接的圖像往往存在平移、旋轉、尺度變化、透視形變、色差、扭曲、運動目標遮擋等差別，配準的目的就是找出一種最能描述待拼接圖像之間映射關系的變換模型。目前常用的一些空間變換模型有平移變換、剛性變換、仿射變換以及投影變換等[4]，如圖2所示。
可以用矩陣的形式來描述上述關系模型（8參數模型）：
其中：參數矩陣M中各參數的作用如表1所示。
根據各參數的意義及不同變換模型的特點，對矩陣M作相應簡化就可以得到各變換模型的參數矩陣。本文主要討論剛性變換模型圖像配準的一些算法，即只考慮平移、旋轉和尺度縮放。
圖像的平移關系比較容易檢測和配準，但旋轉和尺度縮放的檢測比較困難。許多新的圖像配準算法都是針對這一特點進行算法設計的。圖像配準算法大體可分為基于特征的圖像配準和基于區域的圖像配準兩類。
2．1 基于特征的圖像配準
基于特征的圖像拼接是利用圖像的明顯特征來估計圖像之間的變換，而不是利用圖像全部的信息。這些明顯特征如圖像的特征點（角點或關鍵點）、輪廓和一些不變矩等。
2．1．1 控制點配準算法
根據前面提到的8參數模型，圖像的配準問題可以歸結為求解對應點集。在待配準的圖像中選取一些特征點，對準了這些特征點，兩幅圖像也就配準了。控制點法往往要借助人工選取初始匹配點[4]，這大大降低了算法的速度和適用范圍。因此有必要采用一些數學方法自動實現圖像間對應控制點的選取。
2．1．2 自動角點檢測配準算法
這類算法通過檢測圖像中的角點，然后對兩幅圖像的角點按照一定的配準原則進行配準，最后剔除誤匹配對，得到正確的配準結果。
角點沒有明確的數學定義。一般認為角點是二維圖像亮度變化劇烈的點或圖像邊緣曲線上曲率極大值的點。這些點在保留圖像圖形重要特征的同時，可以有效地減少信息的數據量，使其信息的含量很高，有效地提高了計算的速度和配準的可靠性，使得實時處理成為可能。圖像的角點檢測方法可概括為兩類。第一類方法先將圖像分割為區域，用鏈碼表示目標邊界，然后通過方向變化確定角點。這種方法的主要缺點是角點檢測的結果依賴于前面的圖像分割結果。第二類方法直接對圖像灰度級進行操作，這些方法主要利用梯度和曲率度量檢測角點。經典的第二類角點檢測算法包括Harris角點檢測算法[5]、SUSAN (smallest univalue segment assimilating nucleus，最小同值分割吸收核)角點檢測算法以及DoG（differenceofGaussian，雙高斯差）算子角點檢測算法[6]。
具體的配準步驟為：
a）利用角點檢測算子檢測圖像中的角點；
b）利用控制點匹配算法對檢測到的角點進行匹配，找出角點匹配對；
c）剔除偽匹配對，得到正確匹配對，根據這些匹配對計算出變換參數；
d）進行拼接融合得到全景圖像。
基于特征點的配準算法量較小，配準精度高，缺點是邊緣信息少的圖像、大旋轉和大尺度縮放的圖像和多光譜圖像不能很好地進行配準。
2．1．3 基于輪廓特征的配準算法
基于輪廓特征的配準算法首先對圖像進行直方圖均衡和去噪處理，再對圖像進行輪廓提取，然后對提取的輪廓進行配準，進而確定重疊區域。輪廓的匹配準則可以選取鏈碼相關或者其他一些相似性準則，如主軸和不變矩等。文獻[7]利用兩幅圖像中分割得到的較大輪廓的質心進行匹配估計出變換參數，從而達到配準的目的。
基于輪廓特征的配準算法適用于光照不一致、存在尺度關系及旋轉的圖像。該方法需要準確提取出明顯的輪廓特征，對于數據的缺失比較敏感，要求兩幅圖像的對應輪廓要比較完整。對于輪廓特征不明顯或噪聲干擾較大的圖像不適用。文獻[8]給出了兩種基于輪廓的配準方法：一種基本的基于輪廓的配準方法適于配準輪廓明顯、噪聲小的可見光圖像；另一種彈性的基于輪廓的配準方法可以用來處理輪廓特征不明顯、噪聲大的SAR圖像。
2．1．4 基于SIFT（尺度不變特征變換）的配準算法
SIFT（scale invariant feature transform）配準算法由Lowe于1999年提出，2004年完善總結[9，10]。該算法利用圖像關鍵點的SIFT特征向量進行匹配，是目前國內外特征點配準領域的研究熱點。
基于SIFT的配準算法主要步驟如下：
a）檢測尺度空間極值點，初步確定關鍵點的位置和所在尺度。
圖像I(x，y)在不同尺度下的尺度空間可表示為圖像與高斯核的卷積：
素位置；σ為尺度空間因子。
為了有效地在尺度空間檢測到穩定的關鍵點，Lowe在圖像平面空間和DoG尺度空間同時檢測局部極值以作為特征點。DoG算子定義為兩個不同尺度的高斯核的差分：
b)精確確定關鍵點的位置和尺度，同時剔除低對比度的關鍵點和不穩定的邊緣響應點。
c)分配關鍵點方向。利用關鍵點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參數，保證SIFT算子的旋轉不變性。關鍵點所在尺度的梯度模值和方向為
d)生成關鍵點描述子。將坐標軸旋轉為關鍵點的方向，然后以關鍵點為中心取8×8的窗口，計算每個4×4的小塊上八個方向的梯度方向直方圖，每個梯度方向的累加值形成一個種子點。實際計算過程中，為了增強匹配的穩健性，Lowe建議對每個關鍵點使用4×4共16個種子點來描述。這樣對于一個關鍵點就可以產生128個數據，形成128維的SIFT特征向量。
e)生成兩幅圖像的SIFT特征向量后，采用關鍵點特征向量的歐式距離作為兩幅圖像中關鍵點的相似性判定準則。得到滿足準則的SIFT匹配點對。
f)根據得到的SIFT匹配點對計算出圖像的變換參數。
g)進行拼接融合得到全景圖像。
SIFT特征是圖像的局部特征，對旋轉、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也具有一定的魯棒性。
2．2 基于區域的圖像配準
2．2．1 相關法
相關法是指對于存在平移、旋轉和尺度縮放的圖像，利用圖像間相似性最大化的原理實現配準，即通過優化相似性準則計算圖像間的變換參數。相似性準則包括灰度差的平方、相關函數和歸一化相關函數等。特征塊匹配算法就是一種利用相關性準則的圖像配準法。由于相關法是一種尋優的全搜索算法，計算量相當大。Kuglin等人在1975年提出了相位相關法，大大降低了運算復雜度。相位相關法基本原理如下：
設圖像I1(x，y)和I2(x，y)之間存在平移量(Δx，Δy)。其中：
其中:I^1和I^2分別對應I1和I2的傅里葉變換；I^2是I^2的復共軛。
互功率譜的相位等于兩幅圖像的相位差。歸一化的互功率譜進行逆傅里葉變換，得到一個沖激函數
該函數在兩幅圖像的相對位移(Δx，Δy)即匹配點處取最大值，其他地方接近零。
2．2．2 對數極坐標變換方法
相位相關法給出了兩幅圖像之間的平移檢測方法。后續的研究都致力于將圖像的旋轉和尺度關系轉換為平移關系后利用相位相關法進行平移檢測。Reddy等人利用對數極坐標變換提出了一種頻域相位相關方法[11]。Woberg等人通過多分辨率分析和對數極坐標等方法，在時域中檢測圖像間的平移、旋轉和伸縮[12]。Keller等人構造了偽極坐標Fourier變換檢測圖像的平移、旋轉和尺度關系[13]。Liu等人構造了偽對數極坐標Fourier變換[14]逼近對數極坐標Fourier變換，進一步改進了這一配準方法。
對數極坐標變換的關鍵點就是將存在旋轉和尺度關系的圖像通過對數極坐標變換變為該坐標系下的平移關系。其中極坐標用來解決旋轉問題，對數變換用來解決尺度關系問題。
設I1(x，y)和I2(x，y)為具有平移、旋轉和尺度關系的兩幅圖像。
其中：s-2是一個比例因子，忽略它的影響；|I^1(u，v)|和|I^2(u，v)|僅存在旋轉角θ0和尺度關系s-1的差別。為了進一步分離變量θ0和s，對|I^1(u，v)|和I^2(u，v)|分別作
將極坐標軸轉換到對數極坐標軸，則上式的尺度關系s-1可以轉換為其幅度譜在對數極坐標下的平移關系。
利用相位相關法可以檢測出圖像的旋轉和尺度關系。以I1(x，y)為參考，將I2(x，y)根據檢測出的旋轉和尺度關系進行逆變換后得到I2(x，y)。I2(x，y)與I1(x，y)利用相位相關法檢測出圖像的平移關系。根據得到的平移、旋轉和尺度關系，建立兩幅待拼接圖像之間的變換模型，進而可以完成圖像拼接。
借助對數極坐標變換和相位相關法能有效解決平移、旋轉和尺度縮放問題，但是要求待配準的圖像間有較高的重合度。
2．2．3 最大互信息配準法
互信息是最常用的多模態圖像相似性測度，在1995年由Viola和Collignon最先分別獨立提出[15]。該方法不需要對兩種成像模式中圖像強度間關系的性質作任何假設，也不需要對圖像進行任何預處理，所以被廣泛用于CT、MRI、PET等多模態圖像配準。互信息用熵來定義，常用的是Shannon熵互信息。
3 圖像的融合
圖像融合是圖像拼接的另一個關鍵技術。圖像融合是將兩幅已配準圖像中有用信息綜合到一幅圖像中并以可視化方法顯示的技術。配準后的圖像由于分辨率和視角的不同以及光照等因素的影響，有時甚至是多光譜圖像之間進行的拼接，在圖像拼接的重疊部分有時會產生模糊、鬼影或噪聲點，邊界處也可能形成明顯的拼縫。為了改善拼接圖像的視覺效果和客觀質量，需要對拼接后的圖像進行融合。
3．1 基于圖像灰度的融合算法
3．1．1 加權平均法
加權平均法是一種最簡單的圖像融合算法[16]。將兩幅圖像對應像素點乘以一個加權系數后再相加得到融合的圖像。設圖像I1(i， j)的加權系數為α，則融合圖像可表示為
I(i， j)=αI1(i， j)+(1-α)I2(i， j)
其中：加權系數α滿足0≤α≤1。若α=0.5，則相當于兩幅圖像取平均值；若α取為漸變系數，即在不同的坐標點它的取值也不同；當α由1慢慢變化到0時，圖像從I1(i， j)慢慢過渡到了I2(i， j)，這樣就可以實現圖像間的平滑過渡，從而消除了拼接的痕跡。
3．1．2 基于感興趣區域圖像融合方法
基于感興趣區域的圖像融合算法可以看做是一種自適應的加權平均法。分割出一幅圖像的感興趣區域，其加權系數置為1，將另外一幅圖像響應區域的加權系數置為0，即將一幅圖像的感興趣區域嵌入到另一幅圖像中。設I1(i， j)和I2(i， j)為待融合的圖像，ROI為圖像I2(i， j)分割出的感興趣區，則融合圖像I(i， j)可表示為
3．1．4 對比度調制法
利用一幅圖像包含的圖像細節信息提取其對比度，調制另一幅圖像的灰度分布，實現圖像融合[17]。步驟如下：
d)映射量化：得到融合圖像后重新量化，使之灰度范圍與顯示設備動態范圍R(對于一般顯示器為0 ～ 255，即R=255)相匹配，得到最后的融合圖像為
IN（i， j）=R{I(i， j)-min[I(i， j)]}/{max[I(i， j)]-min[I(i， j)]}
3．2 基于顏色空間變換的融合算法
文獻[18]利用顏色空間RGB和IHS模型(I表示強度;H表示色調;S表示飽和度)等各自在顯示與計算方面的優勢，將圖像從RGB模型轉變到IHS模型，對I、S、H三個分量分別進行融合，然后反變換回RGB空間，得到融合后的圖像。也有基于其他顏色空間如YIQ模型、Lab模型等的融合算法。
3．3 基于變換域的融合算法
隨著Wavelet、Ridgelet、Curvelet和Contourlet變換的發展，也出現了一些基于它們的圖像融合算法。這類算法的基本思想是先對圖像進行Wavelet、Ridgelet、Curvelet或Contourlet變換，在變換域內利用一定的規則進行融合，將融合結果進行逆變換得到融合圖像。例如NI等人[19]利用Contourlet變換多傳感器遙感圖像進行了融合。
4 結束語
本文介紹了圖像拼接技術的相關技術和研究現狀，總結了圖像配準和圖像融合的主要方法，并分析了各種配準算法的優缺點。基于特征的圖像配準方法對于特征明顯的圖像比較適用，但是對于多光譜圖像的配準效果往往不理想；基于對數極坐標傅里葉變換的方法能有效解決平移、旋轉和尺度縮放問題，對圖像的尺寸和重合度要求較高；基于SIFT（尺度不變特征變換）的圖像配準方法是目前的研究熱點，性能優秀，但是算法復雜度較高。展望未來，圖像拼接技術應該在提高算法的運算速度、拼接精度、自動化程度和魯棒性等方面進行深入研究。
參考文獻：
［1］
BROWN L G.A survey of image registration techniques[J].ACM Computing Surveys，1992，24(4): 325-376.
[2] ZITOV B，FLUSSER J.Image registration methods: a survey[J].Image and Vision Computing，2003，21(11): 9771000.
[3]解凱，郭恒業，張田文.圖像Mosaic技術綜述[J].電子學報，2004，32(4):630-633.
[4]SZELISKI R.Video mosaics for virtual environments[J].IEEE Computer Graphics and Applications，1996，16（2）:22-30.
[5]HARRIS C，STEPHENS M.A combined corner and edge detector[C]//Proc of the 4th Alvey Vision Conference.Manchester:[s.n.]，1988:147151.
[6]趙文彬， 張艷寧.角點檢測技術綜述［J］. 計算機應用研究，2006，23(10):1719.
[7]劉小軍，周越.基于輪廓特征的SAR圖像自動配準［J］.計算機工程，2007，33（4）：176178.
[8]LI Hui，MANJUNATH B S，MITRA S K.A contourbased approach to multisensor image registration[J].IEEE Trans on Image Processing，1995，4(3):320-334.
[9]BROWN M，LOWE D G.Invariant features from interest point groups［C］//Proc of British Machine Vision Conference.Cardiff， Wales:[s.n.]，2002:656-665.
[10]LOWE D G.Distinctive image features from scaleinvariant keypoints[J].International Journal of Computer Vision，2004，60(2):91110.
[11]REDDY S，CHATTERJ B N.An FFTbased technique for translation， rotation， and scaleinvariant image registration[J].IEEE Trans on Image Process，1996，3(8): 12661270.
[12]WOBERG G，ZOKAI S.Robust image registration using logpolar transform[C]//Proc of IEEE Int Conf on Image Processing．Piscateway:IEEE，2000:493-496.
[13]KELLER Y，AVERBUCH A，ISAELI M.Pseudopolar based estimation of large translations， rotations， and scalings in images[J].IEEE Trans on Image Processing，2005，14(1):12-22.
[14]LIU Hanzhou，GUO Baolong，FENG Zongzhe.Pesudologpolar Fourier transform for image registration［J］.IEEE Signal Processing Letters，2006，13(1): 17-20.
[15]VIOLA P，WELLS W M.Alignment by maximization of mutual information［J］.International Journal of Computer Vision，1997，24(2)：137154.
[16]李勤，俞信. 適合于生物圖像的圖像融合算法研究[J].光學學報，20(4):495-500.
[17]呂曉琪，張煒. 應用于醫學圖像的對比度調制融合方法［J］.微機發展，2004，14(12):1618.
[18]肖李，盧凌，黃紅星. 基于改進IHS 變換的圖像融合方法[J].武漢理工大學學報，2003，27(1):41-42.
[19]NI Wei，GUO Baolong， YANG Liu. Data fusion of multisensor remote sensing images using region based Contourlet contrast［J］.Journal of Astronautics，2007，28(2):364-369.
注：“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。”
