基于特征點的圖像拼接技術在動漫中的應用

黃　梅，唐　琨，肖建新

(長沙師范學院教育技術中心，中國 長沙　410100)

?

基于特征點的圖像拼接技術在動漫中的應用

黃梅，唐琨，肖建新*

(長沙師范學院教育技術中心，中國 長沙410100)

摘要以制作全景圖為例將圖像拼接技術應用到制作動漫貼圖上，簡化動漫貼圖的制作．使用手持相機采集一定重疊區域的圖像，柱面投影后采用基于尺度空間的Harris算法檢測圖像特征點，雙向歸一化互相關算法匹配特征點，迭代提取閾值T的算法去除誤匹配．通過改進的RANSAC算法快速估算出變換參數模型，對拼接圖像進行投影變換．Szeliski灰度融合方法，直接計算匹配點灰度平均值融合圖像，最后采用最佳縫合線的方法消除圖像拼接處的重影．基于Matlab的數據實驗表明，提出的圖像拼接技術具有效率高，拼接圖像清晰等優點，實現了較滿意的全景圖視覺效果．

關鍵詞動漫貼圖；虛擬漫游；圖像拼接技術

Application of Image Mosaic Based on Feature Point in the Animation

HUANGMei,TANGKun,XIAOJian-xin*

(Educational Technology Center, Changsha Normal College, Changsha 410100, China)

AbstractTo simplify the steps of the animation production,the image mosaic technology is applied to the animation production with panorama as an example, and some images of the overlapping area with the cemera were collected. After the cylindrical projection, the Harris algorithm was used to detect the feature points of the images in the scale space. And the double direction of normalized cross correlation in feature-point matching was adopted. The thresholdTwas extracted repeatly to remove the mismatch feature points. And the project model was estimated with the improved RANSAC algorithm. A method of gray adusting to image fusion, and the beat seam-line is introduced to eliminate image ghosting. The data experiments based on Matlab showed that the image mosaic technology could effectively mosaic image and achieve a satisfactory visual panorama.

Key wordsanimation map; virtual touring; image mosaic technology

圖像拼接技術是虛擬現實、計算機圖形學和圖像處理等領域的重要研究課題．在動畫領域，用于制作動畫模型貼圖，節省成本，提高制作模型貼圖的速度和精度[1]．在TIP(tour into the picture畫中游)領域，生成全景圖像，為二維的靜止圖像中產生動態三維圖像提供重要基礎[2]．

圖像拼接技術是將數張相鄰有重疊區域的圖像或照片經過配準、圖像融合后拼接形成一張360度視角或寬視角的全景圖像．圖拼接算法主要集中在基于區域相關和基于特征的方法，基于區域相關的方法通過圖像的相似程度確定方差函數，通過函數確定圖像間的變換關系，該方法要求圖像間的變換幅度小，且該方法容易受到關照條件等的影響，計算機量大；基于特征的方法是通過提取圖像特征，確定特征對應關系，從而找到圖像間的變換關系，這種方法相對穩定，速度較快，適應范圍廣．本文通過圖像拼接技術制作寬視角全景圖應用到動漫貼圖中．

1全景圖像主要步驟

基于特征點的全景圖制作，首先要采集有一定重疊區域的圖像，然后對圖像進行預處理，根據本文拼接的方法，是將圖像進行柱面投影．再提取特征點、匹配特征點、圖像變換，最后經過圖像融合生成全景圖．

1.1圖像采集

圖像采集分為三種方法：相機置于滑輪上平行拍攝，相機置于三腳上固定旋轉拍攝，手持相機拍攝．本文采用的是最常見且拍攝靈活的手持相機拍攝法，這種方法應用普遍，具有實際的研究意義．手持相機采集的圖像拼接起來較困難，因為拍攝過程中相機移動較復雜，存在水平和垂直方向的偏移，相鄰圖像之間可能存在一定的曝光差異和小范圍內的物體移動，甚至存在一定角度的旋轉和小尺度(尺度即物體或特征的大小)的縮放．采集圖像的各種物體或特征要在一個特定尺度范圍內研究才有意義．

1.2圖像投影處理

全景圖是對離散圖像處理成一個連續圖像的表示，為了不破壞圖像中各個對象之間的視覺一致性，維持實際場景中的空間約束關系，需要將采集的離散圖像投影到標準的坐標上．全景圖依據其投影面的形式可分為球面、立方體面和柱面三種．因柱面投影圖像容易獲得，且圖像質量均勻，細節真實程度高而被廣泛應用．本文是采用柱面作為投影表面的圖像拼接算法．

柱面投影變換將原始圖像轉化柱面投影圖像，以保持拼接后視覺的一致[3]．圖像柱面變換結果如圖1 所示．

(a)原圖　　　　　　　　　　　　　　　　　　　　(b)柱面變換后的圖圖1　柱面變換示意圖Fig.1　The original (a), and the cylindrical projection image (b)

1.3圖像特征點提取

圖像進行柱面投影后，需要進行圖像匹配操作，即將相鄰的重疊區域的圖像進行拼接融合．基于特征點的拼接方法通過描述特性，提取圖像特征位置．本文采用了一種帶尺度空間信息的Harris角點檢測特征點算法[4-5]．

Harris算法主要是利用一階偏導來描述灰度的變化，采用在單尺度下基于圖像的二階矩陣M，矩陣特征值是自相關函數的一階曲率，當圖像中某個點的M矩陣的特征值都為正值，且是這個點的評價函數R，是以這個點為中心的區域內的最大值時，這個點作為特征點提取出來．原始的Harris算法是對單尺度下的二階矩陣進行計算，因此相同的曲線經過縮放后，角點檢測的位置會不同．對Harris算法中的二階矩陣M加入尺度信息，使得二階矩陣不受圖像縮放和分辨率變化的影響．加入尺度信息的評價函數R為[6]：

R=detM_improved-k(traceM_improved)2，

(1)

(2)

(3)

Harris算法具有光照和旋轉不變性特點，加入尺度信息后，算法能在尺度空間內較穩定的提取出特征點，使得特征點不受圖像旋轉、灰度變化、尺度縮放和分辨率等復雜空間變化的影響．提取特征點的區域為參考圖像右側與目標圖像左側區域，提取結果如圖2所示．

(a) 參考圖像　　　　　　　　　　　　　　　　　　　　(b) 目標圖像圖2　特征點提取Fig.2　The reference image (a), and the target image (b)

1.4特征點匹配

提取特征點后，采用雙向歸一化互相關法進行特征點匹配，雙向歸一化互相關法公式如下：

(4)

其中,w為以特征點為中心的窗口區域，Il(x,y)是參考圖像特征點像素，Ir(x,y)是目標圖像中特征點像素，c為相關系數，越大表示這兩個相關窗口越相似，即表示相關窗口中的特征點越相似[6]．對于參考圖像Il中的每個特征點，尋找目標圖像Ir中相對應的窗口區域內與之相關系數C最大的特征點，得到參考圖像Il中的特征點匹配點集Sl．同理得到目標圖像匹配點集Sr．最后在匹配點集Sl和組匹配點集Sr中尋找互相匹配的特征點對，完成對特征點的初始匹配．經過了雙向匹配和迭代閾值T之后，大部分的誤匹配剔除掉了，為下一步計算變換矩陣提供了更精確的匹配點集．初匹配的特征點對為圖3，經過剔除誤匹配的方法后，特征點匹配圖為圖4.

圖3　特征點初始匹配圖Fig.3　The feature-point original matching image

圖4　特征點剔除誤匹配后的匹配圖Fig.4　The excluding feature-ponit mismatching image

1.5變換矩陣

變換矩陣計算是根據特征點匹配點集計算出兩幅待拼接圖像的空間幾何變換，本文采用的變換矩陣模型為八參數的投影變換模型[7]，模型描述了圖像的平移、旋轉、縮放和規則性的拉伸，還包含了不規則的拉伸，即平行線在變換之后不能保持平行,變換公式為：

(5)

式中，h11、h12、 h21和 h22為旋轉和縮放因子；h13和h23為平移因子，h31和h32為仿射因子[8]．投影變換模型包含了復雜空間的圖像運動，具有更廣泛的適應性．符合平面目標在不同視點、視角拍攝圖像之間的變換關系．確定了變換矩陣后，采用RANSAC算法與特征點匹配點集估算投影變換模型的參數，其中(x,y)為目標圖像特征點坐標，(x′,y′)為參考圖像特征點坐標，最后根據RANSAC算法估算出的變換模型對圖像進行投影變換處理．

RANSAC(randomsamplingconsensus)算法[9]是一種參數估算方法，基本思想：針對不同問題，設計不同目標函數，在原始數據集中隨機抽取M組抽樣，每一組抽樣的數據量根據目標函數而定．用M組抽樣分別估算目標函數參數初始值，再計算每一組的參數初始值所對應的內點(滿足這一組參數初始值的數據點)和外點(不滿足這一組參數初始值的數據點)．統計每一組參數初始值的內點數，內點數目越大，模型參數越好，最后根據一定的評選標準，找出最優目標函數的參數初始值．本文采用改進的RANSAC算法[10-11]，在特征點匹配過程中，將匹配點對按匹配點集的距離對值按順序排序，使可信度高的匹配點對排在前面，即對原始數據集進行了排序，再從質量高的數據開始抽取，減少抽樣次數．

1.6圖像融合

在圖像投影變換后，需要對圖像進行融合處理，即將參考圖像和目標圖像的坐標融合一個坐標中，直接拼接的圖像往往會存在灰度差異、鬼影等問題，這就需要對拼接后的圖像進行灰度調整以及消除鬼影操作．

灰度差異主要是因相機曝光時間等拍攝參數不同，使參考圖像和目標圖像存在較大灰度差異．針對存在的一定曝光差異的問題，本文采用直接平均灰度調整的方法[12-13]，計算兩幅圖像匹配點的灰度平均值，實現過程如下：

(1)計算兩幅待拼接圖像Il和Ir的計算匹配的特征點之間的灰度差平均值．

(6)

其中qi和pi分別為圖像Il，圖Ir上的第i個匹配點的灰度值,n為匹配點的數量．

(2)對圖像Il(或圖Ir)的灰度進行修正，使兩圖灰度基本一致．

new_gray=f1_origin_gray+avg_gray

(7)

其中new_gray為圖像Il調整后的灰度值，f1_origin_gray為調整前灰度值．

鬼影是圖像重疊處因物體產生位移造成的模糊圖像，通過在重疊處建立最佳縫合路線可以很好的消除圖像拼接中產生的鬼影．建立最佳縫合路線，采用Sobel算子對圖像重疊區域的像素點，進行梯度計算[14]．利用動態規劃的思想建立n條(n為重疊區域像數點列的數量)縫合路線，從中選擇強度值最小的一條縫合路線作為最佳路線，縫合線周圍的十個像素點再采用Szeliski融合方法平滑過渡，公式如下：

Sobel算子：

準則公式：

E(x,y)=Egray(x,y)2+Egrad(x,y).

(8)

其中E(x,y)為像素點的強度值，Egray(x,y)為重疊區域像素點的顏色之差，Egrad(x,y)為圖Il和圖Ir在x,y方向的梯度之差的乘積[15]．

通過實驗可以看出，融合后的圖像無灰度差異且平滑無縫[16-17]．

2實驗結果

實驗采用的圖像是手持手機在室外光照下定點旋轉、平移等條件下采集的圖像，所采集的圖像重疊率20%左右．圖像采集后，先對圖像進行柱面投影，利用尺度空間不變的Harris算法提取圖像特征點，通過雙向歸一化互相關法進行匹配，迭代提取特征點除去誤匹配，利用RANSAC算法估算投影模型，最后采用Szeliski灰度融合方法．匹配點直接灰度平均以及最佳縫合線的方法完成全景圖的拼接處理．圖5為最終的拼接效果圖，拼接圖像質量能達到TIP背景圖以及動漫模型貼圖要求．

圖5　長沙師范學院北校區拼接圖Fig.5　The mosaic image of north campus of Changsha Normal University

3結論

由實驗結果可見，圖像拼接技術制作的全景圖可以滿足動漫模型貼圖以及漫游背景圖的質量要求，并且圖像拼接算法具有靈活性，可根據不通的拍攝條件處理，選擇最佳成像效果．圖像中的曝光差異以及物體運動等情況處理效果自然，為實時漫游和復雜動畫提供了更真實清晰的圖像．

參考文獻：

[1]倪奎.人臉器官拼接融合及其在人臉動畫中的應用[D].合肥：中國科學技術大學, 2009.

[2]鄒瓊兵.基于圖像的虛擬場景漫游技術研究[D].長沙：國防科學技術大學, 2004.

[3]李忠新，張登峰，茅耀斌，等.基于相位相關法的柱面全景圖拼接技術[J].南京理工大學學報， 2002,29(129)：43-46.

[4]黃帥.基于Harris尺度不變特征的圖像匹配算法研究[D].合肥:合肥工業大學, 2010.

[5]DAVID G L. Disctinctive image features form scale-invariant keypoints[J]. Computer Vison, 2004,60(2):91-110.

[6]仵建寧,郭寶龍,馮宗哲.一種基于興趣點匹配的圖像拼接方法[J].計算機應用, 2006,26(3):610-612.

[7]曹紅杏，柳稼航，阮萍.基于角點變換矩陣的圖像拼接[J].科學技術與工程, 2008,8(16):4536-4539.

[8]RICHARD S. Video mosaics for virtual environment [J].IEEE Comput Graph Appl,1996,16(2):22-30.

[9]周劍軍,歐陽寧,張彤.基于RANSAC的圖像拼接方法[J].計算機工程與設計, 2009,30(24):5692-5694.

[10]劉湘濱，鄒北驥.一種基于RANSAC的柱面圖像配準中的應用[J].湖南大學學報：自然科學版, 2010,27(8):75-79.

[11]曲天偉，安波.改進的RANSAC算法在圖像配準中的應用[J].計算機應用, 2010,30(7):1850-1852.

[12]BARBARA Z, JAN F. Image registration methods: a survey[J]. Image and Vision Comput, 2003,21(11):977-1000.

[13]ANAT L, ASSAF Z. Seamless image stitching in the gradient domain[J]. Lecture Notes Comput Sci, 2004,30(4):377-389.

[14]方賢勇.圖像拼接技術研究[D].寧波：浙江大學, 2005.

[15]趙輝，陳輝.一種改進的全景圖自動拼接算法[J].中國圖像圖形學報, 2007,12(2):336-334.

[16]朱云芳.基于圖像拼接的視頻編輯[D].寧波：浙江大學, 2006.

[17]王宇琛.基于點特征的圖像配準研究與系統設計實現[D].重慶：重慶大學, 2009.

(編輯CXM)

中圖分類號TN911.73

文獻標識碼A

文章編號1000-2537(2016)01-0049-06

*通訊作者,E-mail：sarahsafin@163.com

基金項目：長沙師范學院重點項目(XYZD201312)

收稿日期：2015-11-18

DOI:10.7612/j.issn.1000-2537.2016.01.009