移動AR+VR支持下全景圖像拼接均勻性校正方法

趙 松，王 勐

(南京師范大學(xué)中北學(xué)院，江蘇 丹陽 212300)

1 引言

圖像拼接技術(shù)是計算機圖形學(xué)和視覺等領(lǐng)域的重點研究內(nèi)容，全景圖像是在統(tǒng)一場景下利用拼接技術(shù)對多組重疊區(qū)域進行融合、配準操作獲得的[1]。全景圖像被廣泛地應(yīng)用在遙感視覺、攝影測量等領(lǐng)域中。相機一般情況下視角為垂直35°，水平50°，人眼的視角通常情況下為垂直135°，水平200°。一般鏡頭的視角通常較小，拼接全景圖像所用的圖像較多，且拼接成的全景圖像中的重疊區(qū)域較大，導(dǎo)致全景圖像的均勻性較差[2]，因此需要對全景圖像拼接均勻性校正方法進行分析和研究。

楊明東[3]等人提出基于匹配策略融合的圖像拼接均勻性校正方法，該方法首先提取并計算全景圖像的特征點和對應(yīng)的描述符，在坐標約束條件下采用RANSAC算法確定匹配策略實現(xiàn)特征匹配，構(gòu)建投影變換模型，采用多線程技術(shù)在投影變換模型的基礎(chǔ)上在參考坐標系中投影全景圖像，實現(xiàn)圖像的均勻性校正，該方法無法獲取全景圖像中存在的重疊區(qū)域，導(dǎo)致校正后的全景圖像結(jié)構(gòu)相似度評分SSIM較低。陳波[4]等人提出基于子孔徑目標圖像配準的圖像拼接均勻性校正方法，該方法結(jié)合M估計抽樣一致算法、歐式距離最近鄰法和尺度不變特征變換算法對圖像進行配準處理，計算瞳孔放大器和探測器在孔徑之間的誤差，通過對誤差進行調(diào)整提高全景圖像的均勻性，該方法在校正過程中忽略了重疊區(qū)域，導(dǎo)致校正后的全景圖像邊緣差分譜評分DoEM低。姚欽舟[5]等人提出基于映射關(guān)系的圖像拼接均勻性校正方法，該方法將四維光場參數(shù)引入折射模型中，構(gòu)建成像模型，通過光場方向信息獲得對應(yīng)的坐標映射關(guān)系，根據(jù)映射關(guān)系實現(xiàn)圖像拼接的均勻性校正，該方法無法有效地對重疊區(qū)域中的像素進行處理，導(dǎo)致校正后的全景圖像扭曲度大，存在累計誤差大的問題。

為解決傳統(tǒng)方法中存在的問題，提出移動AR+VR支持下全景圖像拼接均勻性校正方法。

2 確定全景圖像的重疊區(qū)域

在移動AR+VR支持下采用相位相關(guān)算法確定全景圖像中的重疊區(qū)域，具體過程如下：

用(Δx，Δy)描述圖像I1(x，y)和圖像I2(x，y)間的平移關(guān)系

I1(x，y)=I2(x-Δx，y-Δy)

(1)

在移位特性的基礎(chǔ)上通過Fourier變換獲得下式

1(x，y)=exp[-j2π(uΔx+vΔy)]2(x，y)

(2)

在式(3)的基礎(chǔ)上移動AR+VR支持下全景圖像拼接均勻性校正方法實現(xiàn)互功率譜的歸一化處理

(3)

對上式做Fourier逆變換處理，構(gòu)建二維沖激函數(shù)δ(x-Δx，y-Δy)：

δ(x-Δx，y-Δy)=F-1[e-j2π(uΔx+vΔy)]

(4)

峰值在沖激函數(shù)中的位置就是全景圖像的平移參數(shù)，利用峰值表征全景圖像之間存在的相互關(guān)系[6-7]。如果兩幅全景圖像不相似，對應(yīng)的峰值為零，如果兩幅全景圖像相似，對應(yīng)的峰值為1。沖激函數(shù)受到全景圖像中移動物體或噪聲的影響時，會將能量進行分散處理。

移動AR+VR支持下全景圖像拼接均勻性校正方法利用相位相關(guān)算法通過上述過程獲得平移參數(shù)(Δx，Δy)，實現(xiàn)圖像重疊區(qū)域的監(jiān)測。

3 全景圖像拼接均勻性校正

移動AR+VR支持下全景圖像拼接均勻性校正方法在直線投射投影不變性原理的基礎(chǔ)上在全景圖像的重疊區(qū)域中實現(xiàn)均勻性的校正，具體過程如下：

1)確定鏡頭畸變參數(shù)。

(5)

式中，(xd，yd)代表畸變像素點對應(yīng)的物理坐標；(ud，vd)代表畸變像素點對應(yīng)的像素坐標[11]。

邊緣像素點經(jīng)過校正處理后對應(yīng)的梯度可通過下述公式進行計算：

(6)

式中，(Gu，Gv)代表邊緣圖像亮度值經(jīng)過校正處理后在(un，vn)處對應(yīng)的一階偏導(dǎo)數(shù)；I代表全景圖像對應(yīng)的亮度值[12]。通過上述過程獲得邊緣像素點經(jīng)過校正處理后的梯度方向α(un，vn)和坐標(un，vn)。

對需要校正的全景圖像進行Hough變換，獲得前N個Hough變換單元峰值的方向β(q)，與原點之間的距離dist(q)以及對應(yīng)的Nl條直線端邊緣，其中q=1，2，…，N[8-9]。

當(dāng)?shù)趒條直線的方向β(q)與像素點梯度方向α(un，vn)之間的差值低于δa時，通過下式計算第q條直線與該像素點之間存在的距離

dq=|uncos(β(q))+vnsin(β(q))-dist(q)|

(7)

2)通過下述公式將原始全景圖像四個焦點坐標a(u21，v21)、b(u22，v22)、c(u23，v23)、d(u24，v24)投射到地圖坐標系中

(8)

式中，A0代表攝像機內(nèi)存在的方位元素；k1代表徑向畸變系數(shù)；rd代表畸變中心與畸變像點之間在全景圖像中對應(yīng)的歐式距離；(xd，yd)代表畸變像點t對應(yīng)的物理坐標；(xm，ym)代表物點t′對應(yīng)的地圖坐標。

通過上述公式獲得地圖坐標值a′(xm1，ym1)、b′(xm2，ym2)、c′(xm3，ym3)、d′(xm4，ym4)，按照xm、ym坐標組對上述獲取的地圖坐標值進行分組，獲得最大值(xmax，ymax)和最小值(xmin，ymin)。

3)對地面網(wǎng)格進行劃分，設(shè)dxm、dym為每個像素點在輸出全景圖像中的地面尺寸，計算全景圖像的總列數(shù)col和總行數(shù)row

(9)

式中，fix代表取整函數(shù)。

4)計算每個像素點坐標(u′，v′)在校正圖像中對應(yīng)的地圖坐標(xm，ym)

(10)

式中，u′=1，2，…，col，v′=1，2，…，row。

5)根據(jù)地圖坐標(xm，ym)通過下述過程計算像素點在原始全景圖像中對應(yīng)的坐標(ud，vd)。

在理想無畸變?nèi)皥D像中計算物點t′(xm，ym)對應(yīng)像點t0的物理坐標

(11)

式中，Ccm代表第i幅全景圖像的外方位元素。

移動AR+VR支持下全景圖像拼接均勻性校正方法通過單參數(shù)模型對變焦距鏡頭畸變進行計算

(12)

(13)

當(dāng)k1<0時，全景圖像為桶形畸變，當(dāng)k1>0時，全景圖像為枕形畸變。

通過下式根據(jù)rd對畸變圖像中物點t′(xm，ym)對應(yīng)的像素坐標(ud，vd)進行計算

(14)

6)移動AR+VR支持下全景圖像拼接均勻性校正方法通過雙線性差值算法對像素點坐標(ud，vd)在原始全景圖像中對應(yīng)的灰度值進行計算[11-12]，即為校正全景圖像(u′，v′)像素點幅值。

7)重復(fù)步驟(4)-(6)，依次對像素點在標準圖像中對應(yīng)的灰度值進行計算，完成計算后結(jié)束，實現(xiàn)全景圖像拼接的均勻性校正。

4 實驗與分析

為了驗證移動AR+VR支持下全景圖像拼接均勻性校正方法的整體有效性，需要對移動AR+VR支持下全景圖像拼接均勻性校正方法進行測試，本次測試使用的平臺為Qt Creater5.7平臺，操作系統(tǒng)為Windows7 64位，結(jié)合Boost多線程庫和OpenCV 2.4.10視覺庫進行相關(guān)測試。

分別采用結(jié)構(gòu)相似度法和邊緣差分譜評價法對移動AR+VR支持下全景圖像拼接均勻性校正方法(所提方法)、基于匹配策略融合的圖像拼接均勻性校正方法(文獻[3]方法)和基于子孔徑目標圖像配準的圖像拼接均勻性校正方法(文獻[4]方法)校正后的全景圖像質(zhì)量進行評價。對比測試的指標分為結(jié)構(gòu)相似度評分SSIM、邊緣差分譜評分DoEM以及扭曲度。結(jié)構(gòu)相似度評分SSIM越高，說明該方法處理后的圖像與原圖像的差別越大，即校正效果越好。邊緣差分譜越高，說明校正后圖像質(zhì)量越好。扭曲度越低表明校正后的全景圖像累計誤差越小，結(jié)構(gòu)相似度法的評分結(jié)果由三個要素構(gòu)成，分別是結(jié)構(gòu)相似度、對比度相似度和亮度相似度評價，結(jié)構(gòu)相似度評分SSIM可通過下式計算得到

(15)

式中，s(x，y)、c(x，y)、l(x，y)分別代表結(jié)構(gòu)、對比度和亮度比較函數(shù)；σxy代表兩個全景圖像之間存在的互相關(guān)系數(shù)；C3、C2、C1為常數(shù)；μx、μy、σx、σy分別代表全景圖像的平均強度以及對應(yīng)的標準差。

所提方法、文獻[3]方法和文獻[4]方法的結(jié)構(gòu)相似度評分SSIM如表1所示。

表1 結(jié)構(gòu)相似度評分SSIM

邊緣差分譜評分DoEM可通過下式計算得到

(16)

式中，σ2代表全景圖像過度區(qū)域?qū)?yīng)的方差；μa代表全景圖像過度區(qū)域?qū)?yīng)的均值；μe代表全景圖像過度區(qū)域?qū)?yīng)的邊界區(qū)均值。

所提方法、文獻[3]方法和文獻[4]方法的邊緣差分譜評分DoEM如表2所示。

表2 邊緣差分譜評分DoEM

分析表1和表2中的數(shù)據(jù)可知，在多次迭代中所提方法的結(jié)構(gòu)相似度評分SSIM和邊緣差分譜評分DoEM均高于文獻[3]方法和文獻[4]方法的結(jié)構(gòu)相似度評分SSIM和邊緣差分譜評分DoEM。結(jié)構(gòu)相似度評分SSIM和邊緣差分譜評分DoEM越高表明方法校正后的全景圖像質(zhì)量較高，因為所提方法在移動AR+VR支持下采用相位相關(guān)算法確定全景圖像中的重疊區(qū)域，在重疊區(qū)域內(nèi)對全景圖像拼接的均勻性進行校正，提高了校正后全景圖像的質(zhì)量。

將扭曲度twist作為測試指標，對所提方法、文獻[3]方法和文獻[4]方法的整體有效性進行測試，扭曲度twist的計算公式如下：

twist=max{slopes(i，j)}i，j∈resultpoint

(17)

式中，slopes(i，j)代表相鄰坐標間存在的斜率；resultpoint代表全景圖像變化處理后構(gòu)成的中心坐標集合。

所提方法、文獻[3]方法和文獻[4]方法的扭曲度twist測試結(jié)果如圖1所示。

圖1 扭曲度測試結(jié)果

分析圖1中的數(shù)據(jù)可知，在多次實驗過程中所提方法的扭曲度均控制在10%以下，文獻[3]方法和文獻[3]方法的扭曲度在30%-40%范圍內(nèi)波動，對比不同算法的測試結(jié)果可知，所提方法的扭曲度最低，扭曲度越低表明校正后的全景圖像累計誤差越小，因為所提方法在全景圖像的重疊區(qū)域中根據(jù)直線投射投影不變性原理對全景圖像拼接的均勻性進行校正，提高了方法的整體有效性，進而降低了校正處理后全景圖像的累計誤差。

5 結(jié)束語

廣角鏡頭與普通鏡頭相比具有極大的優(yōu)勢，視場寬是廣角鏡頭的特點，利用廣角鏡頭可以獲取更多的信息量，通過廣角鏡頭生成的全景圖像在人們?nèi)粘９ぷ骱蜕钪惺艿搅巳藗兊南矏郏皥D像在拼接過程中容易產(chǎn)生畸變，降低了全景圖像的均勻性，為了獲取高質(zhì)量的全景圖像，需要研究全景圖像拼接均勻性校正方法。目前全景圖像拼接均勻性校正方法存在結(jié)構(gòu)相似度評分SSIM低、邊緣差分譜評分DoEM低和累計誤差大的問題，提出移動AR+VR支持下全景圖像拼接均勻性校正方法，首先對圖像重疊區(qū)域進行檢測，利用直線投射投影不變性原理實現(xiàn)圖像的均勻性校正，解決了目前方法中存在的問題，為全景圖像的應(yīng)用和發(fā)展提供了保障。