圖像拼接關鍵技術研究綜述

宮妍 位沖沖

摘要：圖像拼接技術是數字圖像處理領域的一個重要分支，作為合成全景圖像的工具，近年來得到迅速發展，得到了越來越多的研究者的關注，也成為當前圖形圖像學的研究熱點。本文介紹了圖像拼接的關鍵技術研究流程，包括圖像采集與獲取、圖像預處理、圖像配準、圖像融合等。詳細介紹了圖像配準和圖像融合的幾種基本方法，對各種算法進行比較分析。并總結了圖像拼接技術的發展趨勢以及當前存在的一些難題。

關鍵詞：圖像拼接;圖像配準;圖像融合;特征匹配;模板匹配;邊緣匹配;SIFT;最佳拼接線;圖割算法

中圖分類號：TP18? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）30-0106-03

開放科學（資源服務）標識碼（OSID）：

圖像拼接技術是集計算機視覺、圖像處理等多個學科、多領域應用的綜合處理技術，主要用于獲取多視角圖像和視頻。圖像拼接技術是近年來圖像處理技術領域的研究熱點，深入研究圖像拼接技術具有重要的實際意義與工程應用前景[1]。

在軍事領域中，圖像拼接技術在紅外預警、軍事監測等領域具有巨大的作用。在航空航天領域[2]中，通過圖像拼接技術獲取宇宙空間場景的全貌圖，從而精確進行目標場景的定位，精確探測定位等。在醫學領域中，醫生在內窺鏡中使用多個攝像頭，多角度進行同時拍攝患處，快速準確地掌握手術進展情況，提高手術的成功率。在視頻監控領域中，美國賓夕法尼亞大學研制多個全景視覺目標探測和環境感知系統，可以用于多目標遠距離跟蹤。

1 圖像拼接關鍵技術及流程

圖像拼接技術的基本流程為：圖像采集與獲取、圖像預處理、圖像配準、圖像融合等 [3-4]。

（1）圖像獲取指使用各類圖像采集設備進行圖像采集和獲取。方式有平移式獲取、旋轉式獲取、手持式獲取等。

（2）圖像預處理，是圖像配準前的預備工作，消除影響圖像配準精度的無關信息，提升圖像配準效率。圖像預處理包括圖像去噪、幾何校正、均勻顏色等[5]。

（3）圖像配準是將多幅圖像進行匹配、疊加的過程。圖像配準的精度十分重要，因此算法既要保證配準精度，又不能計算量過大。應當能夠估計待拼接圖像之間可能存在的縮放、旋轉、仿射變換、投影變換以及亮度和顏色等變化[6]。

（4）圖像融合，是由于進行圖像配準操作，可能由于算法誤差累積、色彩差異等原因，導致圖像出現拼接縫隙，以及整幅圖像的顏色亮度差異[7]。因此在圖像配準處理后需要進行圖像融合處理，矯正差異，消除縫隙，才能使拼接的圖像更加自然。

2 圖像配準技術

圖像配準是圖像拼接技術中的核心和關鍵技術。目前，成熟的圖像配準的方法很多，需根據實際應用需求及應用環境決定，同時需考慮圖像間的幾何模型、噪聲干擾、配準精度和效率、是否能達到實時性要求等各種問題，選擇合適的圖像配準技術方案。本文介紹幾種較為成熟的配準方法。

2.1基于模板匹配方法

基于模板匹配方法是基于空間域的圖像配準方法，要求有兩幅圖像的重疊部分，選擇參考圖像的一塊矩形區域作為配準時的模板，并利用這塊模板在待配準圖像中平移，去搜索相似的區域。當找到了與模板相對應的區域之后，計算這兩塊相同區域之間的相關系數。當搜索到不同區域時，計算不同的相關系數，當某一區域系數達到最大時，就是我們要找的最佳配準位置。模板匹配法操作簡單，有較高的配準精度。但由于這種基于灰度的配準算法，利用的是圖像之間的灰度信息來進行的匹配，不需要對圖像進行特征檢測與提取一系列操作，所以使用起來效率很高。該算法對圖像的灰度信息非常依賴，要求圖像不能含有較大噪聲、旋轉、尺度縮放等問題，所以使用范圍很窄。

2.2基于邊緣匹配方法

基于邊緣特征進行圖像配準，有兩個重要環節，即邊緣特征點的提取和相似性度量。具體方法為：選擇合適的圖像區域作為配準子圖，并對該圖進行特征點的提取。可會用到小波多尺度積的思想，能夠盡量避免噪聲的影響。所提取的特征點可以有效保留邊緣特征點的方向信息。

常用的邊緣檢測算子有羅伯特交叉（Robert cross）邊緣檢測算子、Sobel算子、Kirsch算子、拉普拉斯算子和Canny算子等。

2.3基于特征匹配方法

基于特征的匹配算法主要原理是從待配準的圖像中提取特定的特征集作為控制結構，利用其之間的對應關系來進行配準[8]。其中基于特征點的匹配方法在解決圖像尺度不變、透視不變性具有一定的優勢，并且具有一定的魯棒性和穩定性。本文介紹基于SIFT特征提取的方法。

基于SIFT的配準算法主要步驟如下：

（1）探測尺度空間極值點，確定關鍵

的位置和所在尺度[9]

二維函數的尺度空間和高斯核函數[10]有關，可表示為

[Lx，y，σ=Gx，y，σ*Ix，y]? ? ? ? ? ? ? ? ? ? ? ? ?（1）

與其他特征提取算法不同，SIFT算法將DoG算子定義為兩個不同尺度的高斯核的差分：

（2）精確定位關鍵點的位置和尺度，并將對比度較低的關鍵點和不穩定的邊緣響應點予以剔除。

（3）為特征關鍵點分配主方向

利用領域像素的梯度分布特性為關鍵點指定參數，同時要使算子的旋轉方向性不變[12]，計算公式如下：

[mx，y=Lx+1，y-Lx-1，y2+Lx，y+1-Lx，y-12 ]

（2）

[θx，y=tan-1Lx，y+1-Lx，y-1Lx+1，y-Lx-1，y]? ?（3）

（4）生成關鍵點描述子

將坐標軸旋轉為關鍵點的主方向，并以關鍵點為中心構造16×16的區域，從而使一個關鍵點就產生128個數據，并形成128維的SIFT特征向量。

（5）將兩幅待匹配圖像分別得到的SIFT特征向量進行匹配，得到所需的SIFT匹配點對。

（6）根據得到的SIFT匹配點對計算出圖像的變換參數

圖像配準的方法很多，目前較為常用的仍是特征匹配法。特征匹配法也在不斷進步和發展，除了本文具體介紹的方法外，還包括SURF特征算子、Brand特征算子、ORB特征算子等方法。同時，隨著深度學習理論進展，也有很多采用卷積神經網絡的新型圖像配準方法，對圖像拼接技術發展起到了推動作用。

3 圖像融合技術

圖像融合是圖像拼接的關鍵技術之一。由于拼接過程中圖像之間存在著曝光差異、配準方法和幾何變換方法的不精確等問題，導致拼接后的圖像會出現亮度、顏色不均、出現鬼影現象以及拼接縫等，是圖像拼接過程中必須解決的關鍵問題[12]。經典的直接平均融合方法、加權平均法等能進行基本的圖像拼接融合處理，但是對彩色圖像的無縫拼接和運動物體的鬼影現象[11]并不適用。本文介紹的最優拼接線尋優和基于能量譜的最佳拼接線搜尋法和圖割方法尋優等算法來解決拼接圖像信息不連續、顏色差異、鬼影等問題。

3.1基于能量譜的最佳拼接線搜尋

基于能量譜進行最優拼接線搜尋的技術，其本質是圖像梯度譜的結合，用結構和特征譜來確定圖像區域的顯著特征。基于能量譜的最優拼接線的搜尋方法，能夠對圖像中的突出對象進行自動感知，從而能夠消除鬼影和失真。

（1）初步檢測：首先，我們粗略地確定顯著值，通過對所輸入圖像每個像素的矢量值的平均實驗室矢量的Euclidean距離進行估計，公式如下：

[Etent=Gμ-Gx，y]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（4）

其中[Gx，y]是輸入圖像，[Gμ]是圖像的所有實驗室像素矢量的平均值，[Etentx，y]是位置[x，y]的像素顯著點，我們使用Lab空間而不是RGB空間，是因為RGB空間不考慮顏色的亮度，而且Lab空間具有接近人類視覺和追求感知一致性的優勢。當[Etentx，y>T]時（閾值），我們施加標記，表示的是該像素可能是顯著像素，因為它在整個圖像中與其他像素之間保持很大的距離。

（2）圓形掃描：第二階段，初步檢測是基于整個圖像的全局對比度。在這個階段，我們所決定的顯著像素點，是基于一個圖像區域和相對于它的鄰域的局部對比。因此，我們定義了一個像素為原點[OX，Y]，指定其鄰域為一個圓形區域，半徑為[r]。其鄰域為[2r+1×2r+1]的實際方框區域。原點[O]的顯著值被估計為：

[EiproO=Nrμ-vo，i∈1，2，3]? ? ? ? ? ? ? ? ? ? ? （5）

其中[Nrμ]表示在Lab空間內，相鄰像素的以r為半徑的圓形區域的平均向量的值。[vo]表示原點的向量值。[EiproO]仍是由Euclidean距離測量的范數。參數[i]表示的是在這個測量范圍內的像素顯著值。

3）顯著點求和與最優拼接線搜尋：對于一個輸入圖像的像素，寬度[w]和高度[h]，半徑為[r]的圓形掃描被改為：[w16≤r≤w4]。假設[w]小于[h]（否則我們將選擇[h]為半徑），我們在三種量度范圍內執行掃描，半徑分別為[w4，w8，w16]。最終，我們得到的顯著譜[Gprom]，是由三種量度下的特征點顯著值的總和獲得的。

改進的能量譜技術實質上是相應的逐像素的梯度值和顯著值得總和，目標是尋找一個低能量的路徑作為我們的拼接線，并可以采用貪婪算法來減少計算量。

3.2基于圖割的最佳拼接線搜尋

在圖像拼接系統中，兩幅待拼接圖像，利用基于圖割算法尋找到最佳拼接線的方法，可以將圖像間重疊區域的圖像像素點視為圖結構中的節點。根據最佳拼接線的定義，就是在圖像的重疊區域內，尋找一條能夠精準、有效連接兩幅圖像的、使其實現無縫拼接的線。則將最佳拼接線尋優問題轉化為圖割理論中的尋找最優節點連接帶權限問題。

因此，我們設定將兩幅圖像的重疊區域構建成一個圖結構。如何定義帶權線是構建圖結構過程中的關鍵。能量函數取決于帶權線的定義。拼接線尋優也就是該能量函數的最小化過程。

在初始化階段，利用基準圖像來構建初始圖。分別從基準圖和待拼接圖中生成該圖結構。即拼接線定義中的重疊區域分別來自基準圖像和待拼接圖像。

利用能量函數公式來計算圖的總能量，進行算法的迭代最小化，并重新計算替換后的圖的總能量[12]。如果能量增加，則恢復[p]節點的能量值;如果能量減少，則采用替換后的可選源的節點作為結果圖中的節點。循環迭代最小化能量函數，保留能量最小值的節點。從而得到最終能量最小化結果，劃分可選源的最小能量值分割線就是最優拼接線，而分割結果圖就是圖像拼接的結果。

能量函數的數據項定義是為了考察拼接線節點是否落在重疊區域內。如果該節點屬于重疊區域，數據項為0，即不影響能量函數值;如果該節點不屬于重疊區域內，則能量函數數據項值將為[+∞]，即能量函數值逼近無窮大，不符合能量最小化的要求。從而確保該拼接線定位于兩幅圖像間的重疊區域內。平滑項采用Sobel濾波器來進行邊緣提取，基于圖像邊緣的平滑項定義能夠克服一定程度上的拼接縫隙，因此可以進一步優化圖像拼接線。

4 圖像拼接技術發展趨勢

圖像拼接技術近年來得到不斷發展、進步。但由于圖像種類繁多，尺寸、光線、拍攝環境等復雜多變，所以目前尚未有一種算法可以適用所有的情況，所以在算法上研究人員通常會將不同的算法結合來提高效率，或者會在原算法的基礎上進行改進。

圖像拼接技術的未來還需要更多的人來做更大量、更深入和更仔細的研究工作。本文根據圖像配準與圖像融合的研究和應用情況推測，未來圖像拼接技術會向以下幾個方向發展：

（1）機器視覺技術逐步應用在圖像拼接技術中。目前這一技術發展成熟，在現代控制生產中實現智能化、非接觸化、快速化的全景視角圖像拼接、處理。未來圖像拼接技術將與機器視覺更緊密地相結合，可推進圖像拼接技術在工業場景中的應用[13]。

（2）深度學習理論的發展，為圖像拼接技術的發展提供了一種全新的思路。為克服對圖像手動提取特征時的局限性，可利用深度學習模型從圖像中自動提取有效特征，通過其特征學習能力，對參數、模型和架構進行有效調整，建立一種表征能力更強的特征檢測網絡，可提高拼接在一些較復雜環境下的性能，使匹配準確，魯棒性強，拼接后的圖像觀感自然，覆蓋面比較廣[14]。

（3）自動圖像拼接技術。針對視頻拍攝的圖像來說，信息且容易受到角度、光照和尺度等變化影響，采集的視頻要通過逐幀分析，耗時且操作誤差較大，因此需要實現圖像自動拼接、排序，進而大大提高圖像拼接效率。自動圖像拼接技術也因此成為圖像拼接技術的研究熱點，從提高拼接速度與效率出發，可從研究不需進行大量圖像預處理的算法入手。

5 結論

本文介紹了圖像拼接關鍵技術的基本算法和實現流程，包括圖像采集與獲取、圖像預處理、圖像配準、圖像融合等。并重點介紹了其中最關鍵的圖像配準與圖像融合技術。詳細介紹圖像配準的幾種基本方法，并進行比較分析。在圖像融合方面，介紹了基于能量譜的最佳拼接線尋優算法以及基于圖割的圖像融合方法。最后分析了圖像拼接技術存在的一些問題以及未來的發展趨勢，隨著社會的發展，計算機性能逐漸提高，圖像拼接技術無疑將會有更進一步的發展。

參考文獻：

[1] 吳芳青，楊揚，潘安寧，等.利用混合特征的多視角遙感圖像配準[J].中國圖象圖形學報，2017，22（8）：1154-1161.

[2] 董帥.基于改進ORB的圖像拼接算法[D].長沙：湖南師范大學，2019.

[3] 龐榮，來林靜，張磊.網格驅動的雙向圖像拼接算法[J].計算機科學，2020，47（3）：130-136.

[4] 張超.基于局部特征的圖像配準算法及應用研究[D].北京：北京理工大學，2015.

[5] 姚楠，蔡越，余勁.高空遠距離多目標視覺跟蹤模型優化仿真[J].計算機仿真，2014，31（8）：427-431.

[6] 何佳華.基于改進SIFT的柱面全景圖像拼接算法研究[D].綿陽：西南科技大學，2018：5-15.

[7] 張翔，王偉，肖迪.基于改進最佳縫合線的圖像拼接方法[J].計算機工程與設計，2018，39（7）：1964-1970.

[8] 高金璐.戈壁背景下的圖像配準與拼接技術研究[D].長沙：國防科學技術大學，2015.

[9] 熊苗苗，王鵬，郜輝，等.基于SIFT算法的圖像拼接技術[J].數字技術與應用，2016（11）：129-130.

[10] 張少玉.基于SIFT特征點的點云配準方法[J].計算機與數字工程，2018，46（3）：449-453.

[11] 張敏.基于多視域廣角相機視頻圖像拼接技術研究[D].長春：中國科學院研究生院（長春光學精密機械與物理研究所），2016.

[12] Zhu Z，Lu J M，Wang M X，et al.A comparative study of algorithms for realtime panoramic video blending[J].IEEE Transactions on Image Processing，2018，27（6）：2952-2965.

[13] 羅順元，蒼巖，喬玉龍.一種改進的最佳縫合線算法[J].應用科技，2019，46（6）：1-5.

[14] 李小雨.全景圖像拼接的關鍵技術研究及實現[D].上海：華東師范大學，2017.

【通聯編輯：唐一東】