圖像拼接技術研究綜述

摘 要：圖像拼接技術是虛擬現實和圖像繪制技術的一個重要研究方向，文章對圖像拼接的內涵進行了闡述，提出圖像拼接在虛擬現實、提高圖像的分辨率、增大光學系統的視場角、方便圖像的檢索、編輯、分析和理解等四大方面的應用，研究分析了圖像拼接算法的流程，介紹了圖像拼接的關鍵技術：即圖像拼接預處理技術、圖像配準技術和圖像融合技術。結合圖像拼接技術在現實生活中的應用，提出了圖像拼接方法在實時圖像拼接、自動圖像拼接、彩色圖像拼接、3D立體圖像拼接等幾大方面的研究新進展。

關鍵詞：圖像拼接 圖像配準 圖像融合 虛擬現實

中圖分類號：TP3 文獻標識碼：A 文章編號：1672-3791（2015）01（a）-0000-00

1 引言

圖像拼接是將一組已經在空間上配準的、相互之間存在重疊部分的圖像序列，經過圖像變換、重采樣和圖像融合后形成一幅包含每個圖像序列的寬視角或360度視角的全景圖像的技術[1]。目前，圖像拼接技術的應用方向主要包括以下四個方面：

1.1 虛擬現實

將圖像拼接技術應用于虛擬現實系統中，實現動態或者交互式虛擬的3D環境，可以利用多個圖像源實時合成視頻，能呈現遠程會診和手術參與的三維場景，音樂會或體育賽事，或參加遠程教育和虛擬教室等。

1.2 提高圖像的分辨率

利用具有重疊區域的多幅圖像或者視頻圖像序列可以生成超分辨率圖像，因為圖像的重疊區域包含實際場景的很多冗余信息。

1.3 增大光學系統的視場角

為了有效地提高視場光學系統，多傳感器可用于捕捉不同角度的圖像，然后使用領域的圖像拼接技術的實時拼接這些圖像，形成了較大的實地查看圖像。

1.4 方便圖像的檢索、編輯、分析和理解

通過獲取場景和目標更多的信息生成大場景圖像或三維立體圖像，以利于圖像的檢索、編輯、分析和理解。朱云芳[2]提出通過構造視頻的全景圖，利用手工與計算機相結合的方法對全景圖進行編輯，實現對視頻內容的檢索和編輯。

2 圖像拼接的關鍵技術

圖像拼接的一般流程包括圖像預處理、圖像配準和圖像融合三步：

2.1圖像預處理

由于硬件設備自身缺陷，有很多不同的噪聲使得捕獲的圖像達不到圖像質量的要求，因此需要對原始圖像進行去噪、修正等圖像預處理工作。圖像預處理階段的精度對最后拼接圖像的質量有著很大的影響。圖像拼接預處理的主要目的就是保證圖像配準的精度，簡化圖像配準的難度。常見的預處理方法包括以下幾種[3]：

2.1.1 圖像平滑與邊緣銳化處理

由于圖像的拍攝視角不同、折疊變換不同以及存在隨機噪聲，使得具有重疊區域的圖像序列在重疊部分的細節上并不完全相同。因此，只能選取輪廓或其它主要邊緣來做特征匹配的垂直邊緣。

2.1.2 相位相關算法

如果圖像存在平移，那么可以將平移轉化到頻域，并且計算相位差。在平移運動坐標上的脈沖就是這個相位差的傅立葉反變換，在對齊兩幅圖像的位移位置后，兩幅圖像的對齊點可以通過搜索最大值的位置得到。

2.1.3 灰度圖投影算法

如果垂直方向上的平移可以忽略，而且水平方向上平移較小的時候，可以使用灰度圖投影算法對相鄰的兩幅圖像進行粗略定位。以便在進行精確配準時，減小誤，差縮小搜索范圍。首先，一個彩色圖像轉換為灰度，然后將其轉換為二進制圖像的灰度圖像，所有像素的灰度值，然后到垂直方向，預計到積累，通過比較相鄰的曲線大致可以匹配的位置圖像的投影。

2.1.4視頻序列子集的篩選

進行基于視頻的圖像拼接時，需要首先對視頻序列圖像進行篩選。由于視頻序列圖像有很充裕的重疊信息可以利用，因為它們相互之間的位移量很小。因此，為了既可以降低配準誤差和拼接圖像的不連續性，又能減小計算量，可以只選取它的一個子集，而不使用全部的視頻序列圖像。

2.1.5 基于模板匹配的算法

基于模板匹配的過程是將一幅圖像中位于重疊區域的一塊作為模板，在另一幅圖像中搜索和模板具有相同或相似值的對應塊，這樣就可以確定兩幅圖像的重疊范圍。通常情況下，如果模板面積越大，這種算法的精度就越高，但是其計算復雜度也會很高。此外，也可以使用以圖像的重疊在另一個為模板與圖像的最佳匹配的搜索兩個相鄰像素的比例為模板，然后一部分，有效地降低計算量。然而，在很多的分割計算所需的比例，將減少準確性。

2.1.6 遺傳算法估計碎片圖像的拓撲排列

如果原始圖像是一些碎片圖像，并且相機的運動方式未知或不規則（如醫學圖像，海底或者太空探測圖像），或者不知道它們的拓撲排列順序時可以使用對原始圖像序列的拓撲排列進行估計的方法。

圖像拼接的預處理是為下一步的精確配準做準備，許多預處理算法和配準算法是緊密相關的。可以根據選定的圖像配準算法來選擇相應地的預處理算法，從而提高圖像拼接精度和速度。此外，拼接圖像變換模型的選定還可以根據原始圖像的特性來，這樣就可以選擇合適的圖像拼接預處理算法和圖像配準算法。

2.2 圖像配準

圖像配準的定義是關于同一目標的兩幅或者多幅圖像在空間位置上的對準。如果對同一目標的兩個圖像是相同的，即可完成圖像配準并不難。圖像配準是一個非常復雜的技術過程。由于捕捉到不同時刻，不同視場和不同的成像傳感器隨著亮度的噪音和各種不同的成像過程的耦合，而是具有某種程度的相似性兩個圖像[4]。圖像配準的過程主要包括以下幾個步驟：

2.2.1 選擇特征空間

可以根據待配準圖像的各種不同特征來實現匹配，主要包括圖像本身的亮度，圖像的邊緣、曲線、角點、直線交點、高曲率點，圖像的不變矩、重心等。

2.2.2選擇相似性測度

圖像配準中最重要的步驟是相似性測度的選擇，因為相似性測度的結果決定了兩幅圖像是否匹配，而且決定了如何確定匹配位置。

2.2.3 選擇搜索空間與策略

搜索空間的目的是找到圖像配準的最佳位置的集合。在很多情況下，減少測量的數量是很重要的，因為誤匹配位置越多，計算量就越大，問題就越嚴重。在有些情況下，可以利用一些已知信息去掉不可能匹配的搜索子空間，從而達到減少計算量的目的。為了減少計算量，匹配時還需要選擇合適的搜索策略。

圖像配準算法與圖像拼接算法的準確率、拼接精度和拼接速度直接相關，是圖像拼接技術的關鍵部分。目前，學者主要從以上幾個方面進行研究，以改進圖像配準算法的性能，即減少配準的時間、提高配準的精度。

2.3 圖像融合

得到圖像序列之間精確的空間變換關系在經過圖像配準之后，為了把多幅原始圖像拼合成一幅全景圖還需要進行圖像融合。圖像融合的主要過程包括：鄰近地區的拼接圖像對齊縫合，以消除由全球累積誤差和圖像失真造成的多個圖像重疊區域，繪制了全景拼接圖像的過程[5]。

圖像拼接預處理是為圖像配準做準備的，以提高圖像配準的精度和速度，在一些情況下可以省略預處理過程；圖像配準是圖像拼接的核心和關鍵技術；圖像融合是為了保證拼接圖像的質量，消除圖像的亮度差異、拼接縫隙和鬼影問題等。

3 圖像拼接的研究進展

目前，圖像拼接技術已經被廣泛應用于軍事和民用領域，如虛擬現實、衛星遙感、海底勘探、機器人視覺、無人機監視和搜索、視頻監控、醫學探查等 [6]。

3.1 實時圖像拼接

實時圖像拼接系統能夠實時進行圖像采集、實時完成圖像拼接和拼接圖像的輸出、顯示。為了提高系統處理圖像數據的速度，實時拼接在低層次的語言在圖像拼接算法的核心處理單元的嵌入式圖像拼接的形式在運算速度用于滿足實時應用的要求算法，甚至是硬件圖像系統要求。

實時圖像拼接技術的巨大推動力來源于眾多的實際應用需求，圖像拼接算法，人們深入研究和微電子技術的飛速發展，使得具體應用的發展，圖像處理的圖像拼接算法的效率和穩健進入高速處理單元，在可能的核嵌入式實時圖像馬賽克鑲嵌圖像系統及其應用的熱點技術。

3.2 自動圖像拼接

雖然人類獲取和存儲圖像數據的能力在不斷增強，并且巨大的數據倉庫已經形成，但是還很欠缺高效地處理這些數據的能力。例如：由無人機采集的視頻仍然需要人類實時監視，并以回放的方式進行分析。因為圖像分析人員數量很少，而且這種工作非常的艱難，于是要求計算機能夠自動進行圖像拼接，并且能夠跟蹤圖像中用戶感興趣的目標，并進行標記和注釋。

關于自動圖像拼接的研究主要包括兩個方面：①自動判斷參考圖像與待拼接圖像是否能夠進行拼接。②根據待拼接圖像的類型自動選擇合適的拼接算法，然后自動進行圖像配準和融合，最后采用客觀的圖像質量評價方法，自動判斷拼接后的圖像質量是否滿足用戶的要求。

3.3 彩色圖像拼接

彩色圖像比灰度圖像更能夠滿足人類視覺感知要求，因為它能夠提供更多的圖像信息。而且，更有利于圖像的彩色圖像分析和目標識別與跟蹤，彩色圖像拼接技術已成為一個重要方面。

3.4 3D立體圖像拼接

如果不同觀看影像或三維立體的圖像拼接大量冗余信息的視頻序列的使用，可以使圖像瀏覽，分析和理解更加容易。由于圖像拼接技術與很多學科的理論和技術相關聯，使得圖像拼接技術的研究和發展不是那么迅速。近些年來，國內外學者進行了大量的研究和開發工作，并取得了豐碩的成果，有效地提高圖像拼接的質量和魯棒性。

4 結語

圖像拼接技術是虛擬現實和圖像繪制技術研究重點，隨著圖像拼接技術的不斷發展，其在工作和生活中的應用將會越來越廣泛，將會對經濟社會發展產生較大影響。

參考文獻

[1]強贊霞，彭嘉雄，王洪群.基于傅里葉變換的遙感圖像配準算法[J].紅外與激光工程，2004，33（4）：385-387.

[2]朱云芳.基于圖像拼接的視頻編輯[D].浙江：浙江大學博士論文，2006.

[3]張朝偉，周焰，吳思勵，等.基于SIFT特征匹配的監控圖像自動拼接[J].計算機應用，2008，28（1）：191-194.

[4]王建東，羅軍.基于圖像拼接的全幀視頻穩定算法[J].紅外技術，2007，29（8）：435-439.

[5]漆馳，劉強，孫家廣.攝像機圖像序列的全景圖拼接[J].計算機輔助設計與圖像學報，2001，13（7）：605-609.