信息背景下AR動態(tài)圖像輪廓特征匹配拼接仿真

譚建梅，黃 雋

(1. 山西大同大學(xué)，山西 大同 037009；2. 中南民族大學(xué)，湖北 武漢 430000)

1 引言

圖像拼接是計(jì)算機(jī)視覺領(lǐng)域的重要分支之一為，作為計(jì)算機(jī)視覺與圖像處理的熱點(diǎn)，圖像拼接[1]就是以不存在明顯接縫且留存初始圖像信息為目標(biāo)，對多幅離散圖像信息展開空間拼合的技術(shù)，因該技術(shù)具有廣闊的發(fā)展前景，在醫(yī)學(xué)、航天、虛擬現(xiàn)實(shí)等領(lǐng)域中有諸多應(yīng)用，所以引發(fā)了眾多相關(guān)學(xué)者的熱烈探討。

文獻(xiàn)[2]針對顯微圖像拼接的幾何畸變、錯位以及正確匹配率較低等問題，構(gòu)建一種基于區(qū)域蛙跳搜索與輪廓匹配的圖像拼接算法，該算法拼接精度較高，穩(wěn)健性較強(qiáng)，匹配策略運(yùn)算量有所降低，強(qiáng)化了算法時效性；文獻(xiàn)[3]為解決SIFT(Scale-invariant feature transform，尺度不變特征變換)圖像拼接方法中的錯位與缺失問題，以植株圖像為處理對象，設(shè)計(jì)出有效抑制環(huán)境影響、避免拼接錯誤的深度和彩色雙信息特征源下Kinect圖像拼接方法；而文獻(xiàn)[4]提出的位姿信息下小型無人機(jī)影像拼接方法，經(jīng)精化匹配后，實(shí)現(xiàn)較為理想的拼接。

上述文獻(xiàn)方法均具有一定的有效性，但隨著圖像處理需求的提升，圖像拼接準(zhǔn)確性仍有待提升。因此，本文針對受到廣泛應(yīng)用的AR動態(tài)圖像，提出一種輪廓特征匹配拼接方法，并展開仿真實(shí)驗(yàn)。

2 信息背景下AR動態(tài)圖像輪廓特征匹配拼接

2.1 AR動態(tài)圖像預(yù)處理

AR動態(tài)圖像在生成、傳輸與采集過程中易受環(huán)境條件影響，導(dǎo)致圖像發(fā)生非線性變換[5]、噪聲污染等導(dǎo)致圖像失真的問題，因此為提升圖像質(zhì)量，應(yīng)對其展開以下預(yù)處理操作：

1)濾波處理：假設(shè)含噪圖像ξ={χij}mn的濾波窗口規(guī)格是i′*j′，H是濾波窗口模板[6]，則利用下列表達(dá)式對圖像實(shí)施卷積處理

ψ=H*ξ

(1)

所得圖像ψ={ψ′ij}mn即為濾波后圖像。為獲取可以滿足實(shí)際應(yīng)用的濾波效果，先預(yù)設(shè)小規(guī)格鄰域窗口，經(jīng)不斷擴(kuò)展窗口像素，取得與要求相符合的濾波結(jié)果。

去噪階段通過改變圖像像素附近灰度值存在較大差異的像素，令其與鄰域像素值更加趨近，實(shí)現(xiàn)孤立噪聲點(diǎn)濾除。

2)平滑與邊緣銳化：若輸入的AR動態(tài)圖像為δ()，輸出圖像為γ()，平滑卷積濾波器為η()，則采用下列表達(dá)式改變圖像灰度，實(shí)現(xiàn)平滑處理

(2)

基于規(guī)格為1*2的模板，采用卷積梯度sobel算子[7]垂直銳化輸入圖像邊緣，得到輸出圖像γ′()，表達(dá)式如下所示

γ′(a，b)=|δ(a，b)-δ(a+1，b)|

(3)

3)幾何校正：通過下列模型界定公式，對圖像進(jìn)行幾何校正

(4)

輸入點(diǎn)與輸出點(diǎn)間的相關(guān)性可采用最小二乘法[8]完成挖掘，表達(dá)式如下所示

(5)

結(jié)合上列兩式推導(dǎo)出下列矩陣表達(dá)式

(6)

同理得出下列表達(dá)式

(7)

根據(jù)上列兩式可得動態(tài)圖像幀之間的仿射變換參數(shù)，實(shí)現(xiàn)圖像幾何校正。

2.2 AR動態(tài)圖像輪廓特征匹配

2.2.1 圖像輪廓特征提取

以左邊緣圖像為例，假設(shè)基于N號種子點(diǎn)PN的窗口規(guī)格是m*n像素，對像素大小是i*j的點(diǎn)PN鄰域中邊緣點(diǎn)的存在展開判定，如沒有邊緣點(diǎn)，則擴(kuò)大窗口像素規(guī)格繼續(xù)探尋，待搜索出點(diǎn)PN周圍的首個邊緣點(diǎn)時終止操作，并以此為起始點(diǎn)，采用相同搜尋方式，進(jìn)一步判定該點(diǎn)的i*j像素鄰域中其他邊緣點(diǎn)的存在，以此類推，直到找到首個邊緣點(diǎn)不間斷邊緣上的全部輪廓點(diǎn)為止，將所得輪廓點(diǎn)坐標(biāo)存于矩陣N中，該矩陣與左種子點(diǎn)名字相同。通過循環(huán)操作，獲取左圖像種子點(diǎn)周圍的全部待匹配邊緣L{N}，同理得到右圖像種子點(diǎn)周圍的全部待匹配邊緣R{N}。

2.2.2 圖像輪廓特征匹配

圖像種子點(diǎn)周圍存在多條的不間斷邊緣線，所以采用方向性約束明確輪廓候選匹配部分，避免邊緣輪廓提取不一致。假設(shè)判定AR動態(tài)圖像左右不間斷邊緣方向信息的參數(shù)是oL、oR，初始值是0，若(XPN，YPN)是種子點(diǎn)PN坐標(biāo)，則左種子點(diǎn)全部邊緣點(diǎn)坐標(biāo)(xk，yk)與點(diǎn)PN坐標(biāo)的關(guān)系條件式如下所示

(8)

左右種子點(diǎn)全部邊緣點(diǎn)遍歷完成后取得參數(shù)oL與oR終值，以此來降低各像素對方向的影響。根據(jù)參數(shù)正負(fù)值判定邊緣與種子點(diǎn)的相對位置，經(jīng)對比參數(shù)終值，判定輪廓點(diǎn)匹配與否，若正負(fù)相同則為匹配狀態(tài)；反之，則終止匹配任務(wù)。

若已知基本矩陣F，求取右圖像中首個邊緣點(diǎn)的極線S，再求解各候選匹配點(diǎn)與極線S的直線距離，由于AR動態(tài)圖像存在一定誤差，因此，待匹配點(diǎn)設(shè)定為與極線距離最近的多個匹配點(diǎn)，利用灰度相關(guān)性約束對匹配點(diǎn)進(jìn)行擇優(yōu)篩選，所得最優(yōu)匹配點(diǎn)目標(biāo)函數(shù)表達(dá)式如下所示

(9)

將解得的最優(yōu)匹配點(diǎn)作為首個邊緣點(diǎn)的匹配點(diǎn)后，從候選匹配區(qū)域內(nèi)去除該點(diǎn)，循環(huán)往復(fù)，完成全部輪廓點(diǎn)的遍歷、搜索以及匹配。

2.2.3 圖像輪廓特征匹配檢驗(yàn)

當(dāng)待匹配點(diǎn)匹配正確時，將有多個正確匹配對存在于其邊緣曲線上，因此，匹配檢驗(yàn)通過特征向量信息實(shí)現(xiàn)。

利用輪廓L與輪廓R上兩點(diǎn)，構(gòu)成一組匹配完成的輪廓點(diǎn)坐標(biāo)(Ai，Bi)，經(jīng)解得任意點(diǎn)AK與點(diǎn)BK分別到邊緣L、R上各輪廓點(diǎn)的間距，計(jì)算點(diǎn)AK與點(diǎn)BK的特征向量DAK與DBK，其表達(dá)式分別如下所示

(10)

(11)

從而推導(dǎo)出兩特征向量相關(guān)系數(shù)ρ(DAK，DBK)的計(jì)算公式，如下所示

ρ(DAK，DBK)=DAK*DBK=

(12)

若相關(guān)系數(shù)ρ大于預(yù)設(shè)閾值，則兩特征向量具有較好的相關(guān)性，所得匹配點(diǎn)為最佳，可以實(shí)現(xiàn)理想的輪廓特征匹配。

2.3 AR動態(tài)圖像拼接

根據(jù)圖像梯度場，引導(dǎo)插值拼接區(qū)域，轉(zhuǎn)換圖像拼接問題為最小化目標(biāo)函數(shù)問題，通過泊松方程[9]實(shí)現(xiàn)計(jì)算求解。

假設(shè)?Ω是圖像定義域S上任意封閉子集Ω的邊界，封閉子集Ω上的未知標(biāo)量函數(shù)為f，子集邊界?Ω上的已知標(biāo)量函數(shù)為f*，則采用圖像插值方法[10]解得未知標(biāo)量函數(shù)f，計(jì)算公式如下所示

f|?Ω=f*|?Ω

(13)

式中，梯度算子是?。利用下列基于狄利克雷邊界條件的拉普拉斯表達(dá)式，描述解得的最小化解

Δf=0 (x，y)∈Ω

f|?Ω=f*|?Ω

(14)

上式里，拉普拉斯算子為Δ。此時解得的插值圖像較為模糊，故引入泊松融合算法[11]改進(jìn)指導(dǎo)場。

基于圖1所示的指導(dǎo)場v，令模插值的未知標(biāo)量函數(shù)與指導(dǎo)場的變化場相同，用式(13)描述最小化指導(dǎo)場，其解值通過狄利克雷邊界條件下的泊松方程表示，如下所示

圖1 指導(dǎo)場示意圖

Δf=divv

f|?Ω=f*|?Ω

(15)

式中，v=(u，v)的散度為divv。有限差分離散化處理式(13)，可得出下列表達(dá)式

(16)

式中，投影值為vpq，其對應(yīng)差分解如下所示，設(shè)定待拼接圖像區(qū)域的梯度場為指導(dǎo)場v，通過該泊松融合表達(dá)式，即可實(shí)現(xiàn)AR動態(tài)圖像的無縫拼接

(17)

3 AR動態(tài)圖像拼接仿真

3.1 仿真效果評估指標(biāo)

從computer vision group in university of granada測試圖像庫中，任意選取規(guī)格為1024*1024的AR動態(tài)圖像50幅作為實(shí)驗(yàn)對象，展開AR動態(tài)圖像輪廓特征匹配拼接仿真實(shí)驗(yàn)。分別從無標(biāo)準(zhǔn)參考與有標(biāo)準(zhǔn)參考兩種圖像角度，使用不同的評估指標(biāo)來評價(jià)拼接圖像質(zhì)量。

信息熵指標(biāo)反映圖像信息豐富度與細(xì)節(jié)表現(xiàn)能力，界定公式如下所示

(18)

式中，第c個灰度發(fā)生概率為p(c)。

平均梯度指標(biāo)用于描述圖像對微小變化的敏銳反映，評估內(nèi)容為圖像清晰度，通過下列公式解得，解值與圖像層次、清晰度呈正相關(guān)：

(19)

假設(shè)N′次測試中，第i次測試的平面變換向量是Ti，實(shí)際目標(biāo)物的平面變換向量是T0，圖像長寬比的較大值為H，則能夠全面反映平移、旋轉(zhuǎn)與縮放變化下拼接方法配準(zhǔn)性能的指標(biāo)是指標(biāo)配準(zhǔn)誤差RE，計(jì)算公式如下所示：

(20)

若經(jīng)過配準(zhǔn)的動態(tài)圖像重疊部分是F(i，j)與Q(i，j)，拼接部分是J(i，j)，則衡量拼接圖像與初始圖像交互信息的指標(biāo)表達(dá)式如下所示

MI=MIFJ+MIFQ

(21)

其中，拼接部分與重疊部分的交互信息量分別是MIFJ、MIFQ。

時間復(fù)雜度反映拼接方法運(yùn)行時長，取N′次拼接測試時長均值，作為該指標(biāo)數(shù)值，計(jì)算公式如下所示

(22)

當(dāng)實(shí)際拼接過程中能夠獲取標(biāo)準(zhǔn)參考圖像時，評估指標(biāo)主要采用均方根誤差RMSE、峰值信噪比PSNR、結(jié)構(gòu)相似度SSIM。假設(shè)拼接圖像z的函數(shù)是Z(i，j)，標(biāo)準(zhǔn)參考圖像R′的函數(shù)是R′(i，j)，則用于反映兩圖像間差異的均方根誤差指標(biāo)界定公式為：

(23)

引入峰值信噪比指標(biāo)評估圖像質(zhì)量，表達(dá)式為

(24)

反映圖像結(jié)構(gòu)關(guān)聯(lián)的結(jié)構(gòu)相似度指標(biāo)可以對圖像視覺效果做出直觀描述，表達(dá)式為

SSIM(R′，Z)=l(R′，Z)*c(R′，Z)*s(R′，Z)

(25)

3.2 AR動態(tài)圖像拼接效果

以坐標(biāo)原點(diǎn)為中心旋轉(zhuǎn)測試圖像，按照表1中所示的變換參數(shù)，對圖像進(jìn)行平移、縮放，驗(yàn)證輪廓特征匹配精度。

表1 圖像變換參數(shù)統(tǒng)計(jì)表

為驗(yàn)證方法的有效性與適用性，分別采用文獻(xiàn)[2]、[3]、[4]方法以及所提方法對測試圖像展開配準(zhǔn)，經(jīng)數(shù)據(jù)整合，得出下列實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)表

表2 圖像指標(biāo)配準(zhǔn)誤差統(tǒng)計(jì)表

對比各方法配置誤差數(shù)據(jù)可知，所提方法通過濾波、平滑、邊緣銳化以及幾何校正等預(yù)處理階段，為輪廓特征匹配提供了相對清晰的動態(tài)圖像，在一定程度上有助于提升特征匹配精度，經(jīng)匹配檢驗(yàn)階段，獲取了最佳匹配點(diǎn)，實(shí)現(xiàn)高效配準(zhǔn)，所以，對比其他文獻(xiàn)方法的指標(biāo)配準(zhǔn)誤差值相對更低，說明配準(zhǔn)優(yōu)勢顯著。

將測試圖像劃分為無標(biāo)準(zhǔn)參考圖像與有標(biāo)準(zhǔn)參考圖像兩類，下列各表分別是其他評估指標(biāo)的實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)結(jié)果。

表3 基于無標(biāo)準(zhǔn)參考圖像的指標(biāo)數(shù)據(jù)統(tǒng)計(jì)表

表4 基于有標(biāo)準(zhǔn)參考圖像的指標(biāo)數(shù)據(jù)統(tǒng)計(jì)表

根據(jù)上列各指標(biāo)數(shù)據(jù)統(tǒng)計(jì)表可以看出，采用所提方法得到的拼接圖像均方根誤差較小，峰值信噪比較大，結(jié)構(gòu)相似度較好。這是由于所提方法劃分圖像為左邊緣與右邊緣圖像，通過搜索各邊緣點(diǎn)不間斷邊緣上的全部輪廓點(diǎn)，提取圖像輪廓特征，采用方向性約束，明確了輪廓候選匹配部分，經(jīng)灰度相關(guān)性約束對匹配點(diǎn)進(jìn)行擇優(yōu)篩選，取得了最優(yōu)匹配點(diǎn)，根據(jù)圖像梯度場，引導(dǎo)插值拼接區(qū)域，實(shí)現(xiàn)了AR動態(tài)圖像的無縫拼接，因此，具有相對理想的拼接效果。

4 結(jié)論

隨著信息技術(shù)的飛速發(fā)展，AR技術(shù)突飛猛進(jìn)，為此基于當(dāng)前圖像拼接技術(shù)背景，提出一種AR動態(tài)圖像輪廓特征匹配拼接方法。依據(jù)仿真實(shí)驗(yàn)結(jié)果可知，所提方法對AR動態(tài)圖像輪廓特征匹配拼接的時長較短，拼接配準(zhǔn)誤差較小，具有一定的實(shí)用性。