基于VR技術(shù)的大視角成像圖像拼接仿真

馬 璿，陳 烽

(西藏民族大學(xué)信息工程學(xué)院，陜西 咸陽 712000)

1 引言

虛擬現(xiàn)實(shí)將設(shè)備生成的三維立體虛擬環(huán)境與體驗(yàn)者之間連接互動(dòng)，使用戶產(chǎn)生身臨現(xiàn)實(shí)環(huán)境的感受和體驗(yàn)，需全面且多角度地描述周圍環(huán)境，以達(dá)到人物合一、人景合一效果，三維全景圖技術(shù)和VR技術(shù)之間的關(guān)系非常密切。人類所能獲取的信息大部分來自視覺，因此想要高標(biāo)準(zhǔn)應(yīng)用VR技術(shù)，視覺模塊的設(shè)計(jì)最為關(guān)鍵。在此背景下圖像拼接技術(shù)[1]得以快速發(fā)展，到目前為止，這項(xiàng)技術(shù)已被廣泛應(yīng)用，包括可視化醫(yī)學(xué)圖像分析、天氣探測、軍事偵察、多媒體視頻影像等各個(gè)重要領(lǐng)域[2]。

王曉鵬[3]等人提出一種大視差補(bǔ)全法，通過正射效果最優(yōu)的區(qū)域圖像來彌補(bǔ)低地物區(qū)中，實(shí)現(xiàn)正射影像的拼接；徐弘禎[4]等人提出使用柱面投影完成全部坐標(biāo)的統(tǒng)一，并使用RANSAC算法多次訓(xùn)練迭代，過濾掉冗余特征點(diǎn)，線性加權(quán)平滑最終拼接圖像。但是上述方法沒有考慮到攝像機(jī)標(biāo)定、匹配點(diǎn)選取等多方面因素綜合影響，導(dǎo)致大視角成像圖像存在盲區(qū)盲點(diǎn)、成像不均、畸變等問題。

為此本文提出應(yīng)用VR技術(shù)快速完成大視角成像影片中圖像的拼接。通過對每個(gè)特征點(diǎn)之間相互的變換聯(lián)系以及它們之間的匹配度，提取出需要完成拼接圖像的特征點(diǎn)，根據(jù)特征點(diǎn)之間的匹配度來篩選出匹配度最高甚至是最符合要求的點(diǎn)完成拼接處理，精準(zhǔn)定位圖像間重疊區(qū)域并實(shí)現(xiàn)平滑拼接。仿真實(shí)驗(yàn)得出，本文方法能在保持圖像分辨率的同時(shí)，還能夠得到大視角、完整清晰的場景圖。

2 圖像拼接框架及思路

本文提出的圖像拼接技術(shù)通過借助VR技術(shù)將其數(shù)字化，以實(shí)現(xiàn)擁有重疊地點(diǎn)區(qū)域的兩幅或幾幅圖像的拼接，將其組合成一幅能夠擁有所有圖像信息的大視角圖像。

主要步驟如下：

1)輸入擁有重疊區(qū)域的多幅圖像。

2)識別待拼接圖像特征點(diǎn)，并提取出所需有效信息，再將待拼接圖像中提取出的有效信息與特征點(diǎn)逐一匹配，使相關(guān)圖像的有效區(qū)域能夠完成對齊，這個(gè)步驟最為關(guān)鍵且必不可少，直接影響到圖像拼接最后的效果。

3)對特征點(diǎn)初始匹配后，為優(yōu)化圖像拼接效果，需要校對初始的匹配點(diǎn)，將匹配度較低或者匹配不對稱的匹配點(diǎn)精確篩選和排錯(cuò)，此步驟很大程度提高了圖像的匹配度和精準(zhǔn)度。

4)將已經(jīng)初步校準(zhǔn)對齊后的圖像通過最后的平滑過渡拼接，去除較為突出的拼接痕跡，使圖像之間能夠平滑過渡，最終呈現(xiàn)更完整自然的視覺效果。

3 VR成像下圖像拼接方法研究

3.1 圖像間重疊特征點(diǎn)提取

待拼接成大視角的相鄰兩幅或多幅圖像中存在相同區(qū)域[5]，這部分區(qū)域部分特征點(diǎn)互相之間存在著聯(lián)系，需要將其中的特征點(diǎn)提取出來進(jìn)行比對，完成特征點(diǎn)初始匹配工作。本文通過函數(shù)測算、變換選擇特征點(diǎn)和待匹配點(diǎn)來識別圖像間相同的特征點(diǎn)，具體的計(jì)算過程如下：

在首幅圖像中先明確一個(gè)準(zhǔn)備點(diǎn)，以這個(gè)點(diǎn)作為中心選m×n(可選m=n)個(gè)像素的灰度集合作為目標(biāo)區(qū)D，灰度矩陣為G(gi，j)(i=1，2，…，m；j=1，2，…，n)，其中m和n為奇數(shù)，與矩陣G對應(yīng)的灰度函數(shù)為g(x，y)((x，y)∈D)。通過可視化手段明確相鄰前后兩幅圖像間重疊區(qū)域[6]，以前一圖像為基礎(chǔ)，在后一幅圖像中選擇任意待匹配點(diǎn)為中心，建立一個(gè)k×l(k>m，l>n)個(gè)像素的灰度集合作為搜索區(qū)域D′，灰度矩陣G′(g′i，j)(i=1，2，…，k；j=1，2，…，l)，其中，k與l也為奇數(shù)，與G′對應(yīng)的灰度函數(shù)為g′(x′，y′)((x′，y′)∈D′)；G′中任意一個(gè)m行n列的子塊(即搜索窗口)記為

G′r，c=(g′i+r，j+c)

(1)

其中，

i=1，2，…，m；j=1，2，…，n；

r=int(m/2)+1，r=int(m/2)+2，…，k-int(m/2)；

c=int(n/2)+1，int(n/2)+2，…，l-int(n/2)

式中，r、c分別表示i、j方向上行、列距離。

g(x，y)與g′(x′，y′)的相關(guān)函數(shù)定義為

R(p，q)=?(x，y)∈Dg(x，y)g′(x+p，y+q)dxdy

(2)

那么圖像間重疊部分特征點(diǎn)提取結(jié)果為

(3)

3.2 校準(zhǔn)與初匹配

上述提取出的重疊特征點(diǎn)間勢必會存在歧義性或者是匹配度不完全符合的錯(cuò)誤情況，為了能夠更好地進(jìn)行特征點(diǎn)的匹配完成圖像拼接[7]，進(jìn)行匹配特征點(diǎn)的精準(zhǔn)校對，最終求精、排錯(cuò)，目的是讓各個(gè)匹配點(diǎn)集都能夠一一對應(yīng)，找出最高匹配度的特征點(diǎn)進(jìn)行拼接。本文在這里使用計(jì)算相似度和匹配度，作為精準(zhǔn)校對特征的必要步驟。

將初始匹配定義為(X1，X2)，將X1和X2這兩個(gè)點(diǎn)分別視為兩個(gè)中心點(diǎn)，將R視為半徑，相鄰區(qū)域N(X1)和N(X2)。在X1和X2的匹配度和相似度是很高的情況下，那么認(rèn)為這兩個(gè)相鄰的區(qū)域內(nèi)是存在比較高的匹配(Y1，Y2)，并且Y1和X1與Y2和X2之間互相相對應(yīng)的位置關(guān)系非常相似。若初始相似度低，就無法在其相鄰區(qū)域內(nèi)找到匹配度較好的點(diǎn)，或者是只能夠找到很少幾對匹配度較好的點(diǎn)[8，9]。在這樣的情況之下，本文定義(X1，X2)和(Y1，Y2)這兩對待匹配點(diǎn)之間的相似度計(jì)算公式為

(4)

式中：

(5)

delta(X1，X2：Y1，Y2)=e-δr

ifcor(Y1，Y2)>0.8andr<δ，0others

(6)

其中r是相對的距離差，計(jì)算公式為

(7)

δ為距離系數(shù)，且δ=0.3。

有些時(shí)候，特征點(diǎn)匹配后會有相似度不完全對稱的情況出現(xiàn)，即Similarity(X1，X2)≠Similarity(X2，X1)，此時(shí)引入一個(gè)定義，即匹配度

(8)

式中：M(Y1，Y2)={(Y1，Y3)|，Y1與Y2互為彼此之間最大的相近區(qū)域配點(diǎn)，那么Y1∈N(X1)，Y2∈N(X2)}，即對N(X1)和N(X2)中的每一對(Y1，Y2)能夠作出分析如下：

取Y1在N(X2)的所有匹配點(diǎn)集合中最為相似的點(diǎn)Y2l，Y2在N(X1)的所有匹配點(diǎn)集合中最為相似的點(diǎn)Ylk。如果Ylk=Y1且Y2l=Y2，那么則將匹配相似度Similarity(X1，X2：Y1，Y2)累加到X1和X2的匹配度Similarity(X1，X2)中。

此時(shí)匹配點(diǎn)之間相互保持對稱性，就可以消除不對稱或是匹配度為零的點(diǎn)。

通過以上方法，可得出每一對匹配點(diǎn)的匹配度，利用匹配度進(jìn)行進(jìn)一步的校對篩選，可獲得互相間最貼近的匹配，具體過程如下：

1)將old-total-strength和total-strength分別定義為兩個(gè)變量，用于判斷循環(huán)條件，并分別重置歸零。

2)逐一計(jì)算出待拼接圖像中重疊區(qū)域各對配點(diǎn)的匹配度。

3)計(jì)算出各對匹配點(diǎn)的總匹配度，并設(shè)定其為多幅待拼接圖像的特征點(diǎn)匹配度之和。

4)對目標(biāo)圖像的各個(gè)匹配特征點(diǎn)逐一計(jì)算出非模糊程度。

(9)

式中：FirsrLargeatStrength(X)為點(diǎn)X的最優(yōu)匹配度，SecondLargeatStrength(X)為點(diǎn)X的次級匹配度

5)假設(shè)計(jì)算出的匹配度結(jié)果穩(wěn)定，即total - strength - old - total - strength≤10-6，則退出循環(huán)條件并執(zhí)行第8)步，否則將total - strength賦值給old - total - strength，在進(jìn)行步驟6)操作。

6)將計(jì)算出的全部匹配度以及非模糊度降序排列，并列出序列集合，這里將其定為集合1和集合2。將兩個(gè)集合的前60%截取留用，形成新的集合1和集合2。比對集合1和集合2，可以看出兩個(gè)集合中同時(shí)出現(xiàn)的匹配點(diǎn)，即視為最相似匹配對。

假設(shè)出現(xiàn)與最相似匹配的兩個(gè)特征點(diǎn)相對應(yīng)的最大匹配度點(diǎn)互不為彼此，此時(shí)則認(rèn)為該匹配是不正確匹配，應(yīng)該把它們從這兩幅圖像的匹配集中去除。

7)這時(shí)應(yīng)回到第2)步重新進(jìn)行匹配校對；

8)假設(shè)出現(xiàn)與最相似匹配的兩個(gè)特征點(diǎn)，相對應(yīng)的最大匹配度點(diǎn)互為彼此，就把這組匹配放入數(shù)組m-final-cor-ners中，為變換矩陣的計(jì)算做出準(zhǔn)備，方便圖像后期的平滑過渡拼接處理。

3.3 平滑拼接

在圖像采集過程中，由于拍攝設(shè)備自身存在的參數(shù)、采集過程中周圍的環(huán)境變化以及后期進(jìn)行匹配時(shí)匹配度存在的誤差等因素影響，圖像互相重疊的部分一般會有光照色差等變化差異，因?yàn)榇嬖谶@些因素的影響，即便是匹配度很高的兩張圖像，拼接后在圖像上仍會存在比較明顯的一條拼接縫隙。此時(shí)為了更好地展現(xiàn)圖像的視覺效果，需要對圖像進(jìn)行平滑過渡以最終完成拼接步驟。

加權(quán)平均法是目前最為常用并且操作起來較為簡潔實(shí)用的平滑策略。在這里改良并精進(jìn)了傳統(tǒng)的加權(quán)平均算法，運(yùn)用了一種變化性加權(quán)函數(shù)法。由于每幅圖像重疊的區(qū)域具有不完全規(guī)則性，因此考慮加權(quán)平均的相對應(yīng)權(quán)值函數(shù)時(shí)，是隨著圖像位置的不同來選擇變換不同的表達(dá)式，這樣一來圖像不同部位的每個(gè)細(xì)節(jié)部分都能夠被很好的照顧到。本文所采用的圖像拼接平滑策略如下

I(x，y)=w1(x，y)IL(x，y)+w2(x，y)IR(x，y)

(10)

式中，I(x，y)為新的拼接圖像點(diǎn)像素；IL(x，y)為已有拼接圖像點(diǎn)像素，IR(x，y)為配準(zhǔn)像素點(diǎn)像素。w1(x，y)(i=1，2)為不同圖像像素取值的權(quán)重值，它們定義如下

1)w1(x，y)+w2(x，y)=1

2)w1(x，y)=1，w2(x，y)=0(x，y)只屬于圖像IL，w1(x，y)=0，w2(x，y)=1(x，y)只屬于圖像IR

3)若(x，y)屬于圖像IL和圖像IR的重疊區(qū)域，則按照以下的公式來進(jìn)行計(jì)算：

①當(dāng)采集的圖像序列存在上下方向的位置移動(dòng)但并不明顯的時(shí)候，對于圖像垂直方向上的像素變化不大，此時(shí)，只用水平方向上的加權(quán)就能夠達(dá)到預(yù)期的效果，這時(shí)w1(x，y)=(lw-x)/(x1)，其中l(wèi)w為IL(x，y)的圖像寬度；x為像素點(diǎn)的橫坐標(biāo)；x1為圖像重疊部分上一行的長度

②當(dāng)采集的圖像序列存在左右方向的位置移動(dòng)但不明顯的時(shí)候，圖像在水平方向上的像素變化不會很大，這時(shí)只用垂直方向上的加權(quán)就能夠達(dá)到預(yù)期的效果，w1(x，y)=(lh-y)/(y1)，其中l(wèi)h為IL(x，y)的圖像寬度，y為像素點(diǎn)的縱坐標(biāo)；y1為重疊部分上一列的高度。

4 仿真與分析

為驗(yàn)證所提拼接方法的性能，本文涉及仿真，并對仿真結(jié)果完成分析，如圖1所示的待拼接圖像A、B為本次實(shí)驗(yàn)對象。

圖1 待拼接圖像

為快速簡潔且避免全局搜索，對搜索區(qū)域提出了范圍上的限制，在取圖時(shí)使相鄰圖像最少重疊30%，從圖1能夠看出，圖像A右側(cè)和圖像B左側(cè)都呈現(xiàn)出原型城市區(qū)域，圖像間橫向、縱向都存在錯(cuò)位情況。

實(shí)驗(yàn)采用文獻(xiàn)[3]提出的大視差補(bǔ)全拼接法、文獻(xiàn)[4]提出的線性加權(quán)平滑拼接法作為對照組。利用不同方法對圖像A和圖像B中的特征點(diǎn)進(jìn)行一對一標(biāo)記匹配，實(shí)驗(yàn)結(jié)果如圖2～圖4。

圖2 本文初級匹配結(jié)果

圖3 大視差補(bǔ)全拼接法初級匹配結(jié)果

圖4 線性加權(quán)平滑拼接法初級匹配結(jié)果

研究方法得到的初步匹配點(diǎn)共有10對，如圖2所示；大視差補(bǔ)全拼接法得到的初步匹配點(diǎn)共有6對，如圖3所示；用線性加權(quán)平滑拼接法得到的初步匹配點(diǎn)共有7對，如圖4所示；通過對圖2、圖3、圖4進(jìn)行比較，可以看出在圖3所提取特征點(diǎn)較少的情況下，特征點(diǎn)互相之間所能形成的正確配對也相對較少，而圖4中提取的特征點(diǎn)數(shù)量雖然最多，但特征點(diǎn)之間的互相關(guān)性較小，存在不對稱甚至是不相關(guān)的特征點(diǎn)無法進(jìn)行匹配，所能得到的正確匹配點(diǎn)也不多，而本文通過特征點(diǎn)的初匹配校準(zhǔn)后，雖然匹配點(diǎn)的數(shù)量較線性加權(quán)平滑拼接法少，但是正確的匹配點(diǎn)個(gè)數(shù)增加了，同時(shí)也消除了一定數(shù)量的錯(cuò)誤匹配點(diǎn)，實(shí)現(xiàn)了匹配點(diǎn)的精準(zhǔn)校對。

經(jīng)過匹配點(diǎn)精準(zhǔn)校對后，最終三種方法得到的拼接效果如圖5、圖6、圖7所示。

圖5 本文最終拼接結(jié)果

圖6 大視差補(bǔ)全拼接法最終拼接結(jié)果

圖7 線性加權(quán)平滑拼接法最終拼接結(jié)果

通過對比可以看出圖5的拼接效果無縫平滑視覺效果更好，而圖6和圖7均在不同程度上存在一定的錯(cuò)位和不對齊，且有較為明顯的接縫。實(shí)驗(yàn)證明本文方法具有比較穩(wěn)定的可行性和較好的可操作性。

5 結(jié)論

本文方法利用對特征點(diǎn)的初匹配和互相關(guān)匹配校準(zhǔn)，有效增加了圖像匹配點(diǎn)的正確度，使得正確匹配點(diǎn)的數(shù)量增加，同時(shí)剔除了錯(cuò)誤匹配點(diǎn)以及誤差率較大的匹配點(diǎn)，提高了單應(yīng)性矩陣測算和估量的準(zhǔn)確度，可以達(dá)到更有效的配準(zhǔn)圖像效果和較好魯棒性，使得圖像拼接快速簡潔有效，通過VR技術(shù)使所提方法對拍攝條件和拍攝環(huán)境沒有特別嚴(yán)苛的要求，能夠廣泛的應(yīng)用于現(xiàn)實(shí)生活中。從本次實(shí)驗(yàn)的結(jié)果來看，該拼接方法達(dá)到了相對比較理想的預(yù)期效果，但同時(shí)，也存在一定的局限性，目前對視頻及動(dòng)態(tài)圖片的拼接的測算還有待進(jìn)一步的深度研究。