圖像拼接技術在VR全景圖像處理中的應用

曾 琪

（江西制造職業(yè)技術學院信息工程學院 江西 南昌 330095）

0 引言

VR技術主要是通過用戶的感知與操作行為，將用戶引入到計算機構造的虛擬場景中，在場景體驗過程中，產(chǎn)生一種相對真實的感受[1]。VR全景圖像就是將多張有重疊區(qū)域的圖像采取拼接處理的方式，使其生成一張具有全景視覺效果的圖像[2]。此種處理方法能夠保留圖像原有的信息，提高圖像視角，已經(jīng)被廣泛地應用于各種場景。但要發(fā)揮此類圖像的更高市場價值，應將圖像拼接處理作為基礎工作，利用數(shù)字化技術建立虛擬場景，在對應的場景中拼接全景影像與圖片。為了滿足使用者的即時互動需求，必須采用快捷、有效的方式拼接處理圖像。為落實此項工作，本文將在此次研究中引進圖像拼接技術，設計針對VR全景圖像的全新處理方法，旨在通過此次設計深化圖像處理效果，提高多視角拼接圖像的視覺效果。

1 VR全景圖像特征提取與特征點匹配

為實現(xiàn)對VR全景圖像的規(guī)范化處理，引進Sift提取法，提取VR全景圖像特征，并通過對提取特征與圖像的適配，掌握圖像的基本構成[3]。在此過程中，將原圖像按照比例轉換，得到不同尺度下的圖像空間表現(xiàn)序列，將空間表現(xiàn)序列作為圖像的特征矢量，用于在不同的分辨率上的焦點、邊緣檢測以及特征提取[4]。描述原圖像的2D空間尺度，如下公式（1）所示。

式（1）中：L（x，y，σ）表示圖像在空間尺度σ下，其中任意一點（x，y）的灰度值；*表示圖像之間的卷積計算；σ表示空間尺度劃分標準；G（x，y，σ）表示高斯卷積核；I（x，y）原始圖像分辨率。在此過程中，σ是描述原始圖像平滑性的關鍵因素之一，σ的取值越大，說明圖像越平滑，σ的取值越小，說明圖像越模糊。

圖像特征點的提取過程可以作為空間極值點的提取過程，在此過程中，將LoG中的像素點與其鄰近像素點匹配，通過此種方式，全局檢索特征點[5]。為實現(xiàn)特征點的準確定位（次像素級）和標度，必須采用曲線擬合法匹配特征點。此過程如下公式（2）所示。

式（2）中：D表示VR全景圖像特征點；X表示擬合曲線；D0表示未匹配的VR全景圖像特征點空間坐標。在此基礎上，計算匹配特征點的對比度，剔除特征點中的冗余點[6]。按照Sift提取法和曲線擬合法匹配，完成VR全景圖像特征提取與特征點匹配。

2 VR全景圖像首位無縫拼接與光線自然過渡

設計VR全景圖像首位無縫拼接處理，首先通過對所檢測到的特征向量的提取，將局部特征向量平滑地擴展到整個圖像區(qū)域，從而消除全景圖像的拼接。為了使原始圖像的色彩和結構平穩(wěn)地向處理圖像過渡，需要將對象圖像中的像素定義為形變向量，以描述其結構和色彩的形變[7]。圖像拼接技術利用特征點的形變向量，使特征點在其他區(qū)域內平穩(wěn)地傳播，使整個圖像的像素變化都在指定區(qū)域內，通過此種處理方式，可以避免圖像結構和色彩存在較大差異[8-9]。由于VR全景圖像拼接縫線的不連續(xù)會對其視覺造成直接影響，因此，選擇拼縫作為VR全景圖像的結構特點。

捕捉所匹配VR全景圖像的特征點，在圖像邊界相交時，得到當前特征點和相交邊界的下一點曲率，對曲率最小邊沿掃描，在剩余方向上截斷 。此過程如圖1所示。

圖1 VR全景圖像在拼接過程中的形變傳播示意圖

上述圖1中，P1表示匹配后輸出的VR全景圖像特征點；P2表示VR全景圖像中的原始特征點；P3表示VR全景圖像中的非匹配特征點。在此過程中，形變傳播最小化能使形狀向量向目標圖像平穩(wěn)傳播，即求出以下表達式的最小值，掌握拼接分量。

式（3）中：V表示形變矢量最小值；l表示形變傳播距離。在此基礎上，通過對目標圖像中各個像素點的形狀向量逆向插入，得到了目標處理圖像的梯度場。為避免在此過程中出現(xiàn)顏色過渡不流暢的問題，將目標圖像的梯度場作為參照，設定VR全景圖像的顏色過渡到極小值。確保圖像在首尾無縫拼接時，其顏色過渡的均衡性，從而實現(xiàn)基于圖像拼接技術的VR全景圖像首尾無縫拼接與光線自然過渡。

3 誤匹配點消除處理與匹配點坐標更新

考慮到通過此種方式拼接處理的VR全景圖像，可能存在誤匹配點，為消除或降低誤匹配點對VR全景圖像處理后視覺效果的影響，下述將通過粒子群處理法，消除誤匹配點。處理過程中，在完成首位無縫拼接處理的VR全景圖像中隨機選擇4個匹配點，要求所選的4個匹配點互相不在一條水平線上。按照組對，連接各組斜率，使其中任意兩點形成一條直線。在待處理的平面內，隨機選擇三個坐標點，繪制一個圓，將圓形的圓心選定在兩個匹配點連接的線路上。計算VR全景圖像中任意一點與圓心之間的距離。計算公式如下。

式（4）中：A表示VR全景圖像中任意一點與圓心之間的距離；（c1，d1）表示VR全景圖像中任意一點的坐標；（c0，d0）表示VR全景圖像中圓心點坐標。采用粒子群算法，對圓心點的坐標更新處理。更新過程中，注意按照規(guī)范設定粒子在空間中的當前位置、更新位置、更新速度等參數(shù)。利用全局極值、個體極值等參量，指導并實時更新粒子群在空間中的下一步迭代位置。通過此種方式，降低全局計算的煩瑣與復雜程度。當粒子群通過更新達到某一位置后，記錄此位置的坐標，將其作為更新點坐標，重復上述步驟，即可實現(xiàn)對誤匹配點的消除處理。在此基礎上，實時記錄粒子群在空間中的更新狀態(tài)，當粒子在某個坐標點不再發(fā)生位置更新后，證明此點為特征點或接縫高度適配點，從而實現(xiàn)對VR全景圖像匹配點坐標的更新。按照上述方式，實現(xiàn)誤匹配點消除處理與匹配點坐標更新，完成基于圖像拼接技術的VR全景圖像處理方法設計。

4 對比實驗

為實現(xiàn)對此方法在實際應用中效果的校驗，下述將以某攝影基地為例，設計對比實驗，對該方法的實際應用效果展開測試。選擇此攝像基地對外公開數(shù)據(jù)庫中的VR全景圖像作為測試樣本。實驗過程中，使用java、MFC、微軟類基礎技術，編譯計算機程序。在此基礎上，根據(jù)相關工作的實際情況，結合對比實驗的具體需求，搭建對比實驗測試環(huán)境。測試環(huán)境參數(shù)如下表1所示。

表1 對比實驗環(huán)境參數(shù)

完成對測試環(huán)境的設計后，在VR全景圖像序列的內部，將GOP按時間順序分成若干個GOP子項，并以GOP為單位，對子項編碼處理。在此基礎上，采集對比實驗樣本圖像，將樣本圖像劃分成兩個組別，其中一組圖像用于處理過程中的訓練，另一組圖像用于拼接測試。完成處理后，分別使用本文方法與基于OpenCV技術的VR圖像處理方法，以及基于Harris算法的VR圖像處理方法做對比研究。

隨機在測試樣本集合中選擇一組全景圖像樣本，使用三種方法對樣本圖像拼接處理。按照規(guī)范完成對圖像的處理后，將完成處理的拼接圖像呈現(xiàn)在計算機終端，展示三種處理方法的拼接處理效果，如圖2所示。

圖2 三種方法對樣本圖像拼接處理效果

從圖2可以看出，本文設計的基于圖像拼接技術的處理方法在實際應用中對于樣本圖像的拼接效果最佳。該方法可以保證完成對圖像的拼接后，視覺層面該圖像無明顯的銜接痕跡。

在此基礎上，選擇大量的樣本圖像，使用三種方法對樣本圖像進行拼接，統(tǒng)計三種方法在實際應用中的拼接處理一次成功率，其結果如下表2所示。

表2 拼接處理一次成功率統(tǒng)計結果

綜合表2結果可以看出，本文設計的處理方法，可以在優(yōu)化圖像拼接處理效果的基礎上，提高拼接處理一次成功率，即提升VR全景圖像處理效率與綜合水平。

5 結語

圖像拼接處理能力是推動VR技術發(fā)展的一個重要因素，因此，設計一種既快又準的全景拼接技術，對于工程領域而言，具有較高的實用價值。為發(fā)揮VR全景圖像在相關領域內更高的價值，本文通過VR全景圖像特征提取與特征點匹配、VR全景圖像首位無縫拼接與光線自然過渡、誤匹配點消除處理與匹配點坐標更新，完成了基于圖像拼接技術的圖像處理方法設計。在完成設計后，通過對比測試證明該方法可以在優(yōu)化圖像拼接處理效果的基礎上，提高拼接處理一次成功率。為進一步實現(xiàn)對相關設計內容的深化，可在后續(xù)的研究中，和更多的傳統(tǒng)方法做對比，并設置其他指標評估本文設計方法在實際應用中的效能與價值，旨在通過此次設計解決圖像處理領域相關問題。