基于迭代校正的視頻圖像亞像素角點(diǎn)檢測(cè)仿真

明 月，黃言言，劉 罡

(1.湖北工業(yè)大學(xué)，湖北武漢 430068；2.湖北工業(yè)大學(xué)工業(yè)設(shè)計(jì)學(xué)院，湖北武漢 430068；3.湖北工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，湖北武漢 430068)

1 引言

視頻圖像中存在大量場(chǎng)景信息，利用角點(diǎn)能夠有效描述視頻圖像內(nèi)物體空間結(jié)構(gòu)與特征，通過(guò)準(zhǔn)確的角點(diǎn)信息可準(zhǔn)確識(shí)別、定位視頻圖像內(nèi)關(guān)鍵點(diǎn)[1]，因此角點(diǎn)檢測(cè)逐漸成為學(xué)者主流研究對(duì)象，普遍應(yīng)用在目標(biāo)識(shí)別、影像拼接與視覺(jué)處理等領(lǐng)域[2-3]，相關(guān)人員作出大量研究。

文獻(xiàn)[4]提出基于Harris特征點(diǎn)和DWT-SVD的圖像盲水印算法，通過(guò)穩(wěn)定Harris特征點(diǎn)分析角點(diǎn)特征區(qū)域，利用一次小波分解方法獲取特征區(qū)域低頻子帶，分解角點(diǎn)奇異值，利用加權(quán)方法實(shí)現(xiàn)角點(diǎn)最奇異值檢測(cè)，但該方法不具備尺度與仿射固定特性，因此存在嚴(yán)重不確定性。文獻(xiàn)[5]提出基于分塊SURF特征提取的圖像目標(biāo)跟蹤算法，利用分塊并行方法對(duì)角點(diǎn)重疊區(qū)域進(jìn)行分塊，對(duì)冗余特征數(shù)據(jù)進(jìn)行消冗處理，通過(guò)角點(diǎn)模板自適應(yīng)抗遮擋功能去除離散點(diǎn)，實(shí)現(xiàn)視頻圖像角點(diǎn)檢測(cè)，該方法解決了尺度固定問(wèn)題，但具有極值和冗余檢測(cè)問(wèn)題，且定位的角點(diǎn)僅為像素級(jí)。

為解決上述問(wèn)題，提出基于迭代校正的視頻圖像亞像素角點(diǎn)檢測(cè)方法，該方法在視頻圖像成像過(guò)程中，將校正圖像與高斯核函數(shù)卷積形成多尺度空間，解決了攝像機(jī)鏡頭的光學(xué)偏差與裝配誤差導(dǎo)致徑向畸變問(wèn)題，徑向畸變將導(dǎo)致角點(diǎn)坐標(biāo)偏移，實(shí)現(xiàn)視頻圖像亞像素角點(diǎn)檢測(cè)。實(shí)驗(yàn)結(jié)果表明：該方法能夠高效準(zhǔn)確的檢測(cè)角點(diǎn)信息，且檢測(cè)結(jié)果偏移量較小，具有較好的實(shí)際應(yīng)用價(jià)值。

2 視頻圖像亞像素角點(diǎn)檢測(cè)

2.1 攝像機(jī)鏡頭參數(shù)優(yōu)化

針對(duì)視頻圖像成像過(guò)程中攝像機(jī)鏡頭徑向畸變問(wèn)題，通過(guò)多次拍攝與逐級(jí)迭代優(yōu)化鏡頭參數(shù)(等效焦距、鏡頭成像中心、旋轉(zhuǎn)向量和平移向量等)[6]。選定以固定參照物，在鏡頭距離參照物15cm、10cm和8cm條件下，各拍攝20張參照物圖像，根據(jù)距離與畸變程度將60張圖像分為遠(yuǎn)距離小畸變圖像(一類圖像)，中距離較大畸變圖像(二類圖像)和近距離大畸變圖像(三類圖像)[7]。獲取若干組鏡頭初始參數(shù)，利用這些初始參數(shù)校正一類圖像，一類圖像校正效果較

2.2 圖像畸變校正

用sd和su分別表示畸變半徑和最佳半徑，兩者間的相關(guān)性由畸變模型決定。式(1)描述sd和su之間的相關(guān)性

(1)

式中，hn表示徑向畸變系數(shù)。

利用式(1)能夠確定畸變圖像與校正圖像坐標(biāo)的映射關(guān)系，基于此對(duì)畸變圖像實(shí)施校正，即可使畸變圖像還原[8]。在進(jìn)行像素點(diǎn)空間坐標(biāo)變換時(shí)采用逆向映射法，用(li，ji)和(0，0)分別表示校正圖像像素坐標(biāo)，以(li，ji)為原始坐標(biāo)，(0，0)為左上角坐標(biāo)。以(0，0)為初始點(diǎn)，分別向x方向和y方向移動(dòng)一個(gè)像素，移動(dòng)至右下角的點(diǎn)結(jié)束，計(jì)算畸變圖像內(nèi)相應(yīng)坐標(biāo)，利用像素點(diǎn)灰度插值法獲取校正圖像I(x，y)。此過(guò)程公式描述如下

(x，y，z)T=D-1(li，ji)T

(2)

(3)

(4)

2.3 亞像素角點(diǎn)檢測(cè)

利用高斯函數(shù)對(duì)校正圖像I(x，y)進(jìn)行卷積處理，構(gòu)建多尺度空間[9]，分別在校正圖像與多尺度空間圖像內(nèi)提取角點(diǎn)。

確定多尺度空間內(nèi)全部角點(diǎn)，用k表示其中某角點(diǎn)，以其為中心向校正圖像投影，用k′表示校正圖像上相應(yīng)的投影點(diǎn)。在校正圖像內(nèi)設(shè)定圓形投影區(qū)域[10]，該區(qū)域的中心和半徑分別為k′和r，以該區(qū)域中全部角點(diǎn)構(gòu)建角點(diǎn)集群。用V表示角點(diǎn)k的響應(yīng)函數(shù)值，對(duì)其實(shí)施變換獲取新的響應(yīng)函數(shù)值，用A描述，其表達(dá)式如下

(5)

依據(jù)A選取角點(diǎn)集群中響應(yīng)函數(shù)值在(A?θ)之間的角點(diǎn)。將選取的角點(diǎn)數(shù)量劃分成三類：①選取的角點(diǎn)數(shù)量為0，表示該集群中存在有效角點(diǎn)；②選取角點(diǎn)數(shù)量為1，表示該點(diǎn)即為有效角點(diǎn)；③選取角點(diǎn)數(shù)量超過(guò)1，此時(shí)應(yīng)依照角點(diǎn)貢獻(xiàn)程度[11-12]，通過(guò)坐標(biāo)加權(quán)平均法，以A為權(quán)處理選取的各角點(diǎn)，完成角點(diǎn)亞像素定位。此過(guò)程公式描述如下

(6)

(7)

對(duì)式(7)求解得到

(8)

3 實(shí)驗(yàn)分析

為驗(yàn)證提出的基于迭代校正的視頻圖像亞像素角點(diǎn)檢測(cè)方法的有效性，采用所提法在MATLAB軟件內(nèi)進(jìn)行仿真，仿真平臺(tái)為Intel Core i7-4720HQ，CPU和內(nèi)存分別為3.20GHz和16GB。實(shí)驗(yàn)對(duì)象來(lái)源與我國(guó)某大學(xué)視頻圖像庫(kù)，共選取50幅視頻圖像，其中包含標(biāo)準(zhǔn)結(jié)構(gòu)化視頻圖像和景物視頻圖像。

3.1 亞像素角點(diǎn)檢測(cè)仿真

考慮到亞像素角點(diǎn)檢測(cè)的實(shí)際應(yīng)用性，采用所提方法進(jìn)行仿真時(shí)，檢測(cè)對(duì)象為景物視頻圖像。

設(shè)定攝像機(jī)鏡頭參數(shù)：x方向與y方向的等效焦距分別為429.197和429.414，鏡頭成像中心為(912.993，951.687)理想鏡頭視場(chǎng)角為1，旋轉(zhuǎn)向量和平移向量分別為(1.674，2.771，0.327)和(-99.723，-309.856，87.955)。

利用所提方法檢測(cè)校正后的圖像亞像素角點(diǎn)，結(jié)果如圖1所示。

圖1 亞像素檢測(cè)結(jié)果

圖1內(nèi)，標(biāo)記為紅圈的點(diǎn)為所提方法獲取檢測(cè)結(jié)果，由此可知驗(yàn)證了所提方法的有效性。

3.2 尺度不變性仿真

在尺度參數(shù)有所差異的情況下，檢測(cè)到的角點(diǎn)未出現(xiàn)改變即角點(diǎn)尺度不變性。采用所提方法、文獻(xiàn)[4]方法與文獻(xiàn)[5]方法在尺度參數(shù)有所差異的情況下進(jìn)行亞像素角點(diǎn)檢測(cè)，結(jié)果如圖2所示。為清晰體現(xiàn)對(duì)比結(jié)果，檢錯(cuò)過(guò)程中采用標(biāo)準(zhǔn)結(jié)構(gòu)化視頻圖像。

圖2 亞像素角點(diǎn)檢測(cè)結(jié)果

分析圖2可知，在尺度參數(shù)存在明顯差異的條件下，所提方法檢測(cè)到的亞像素較短數(shù)量均顯著低于其它兩種檢測(cè)方法，這表明所提方法的檢測(cè)錯(cuò)誤的概率較低，具有較好的角點(diǎn)尺度不變性。

采用客觀評(píng)價(jià)方法評(píng)價(jià)三種亞像素角點(diǎn)檢測(cè)方法的尺度不變性，通常采用的評(píng)價(jià)指標(biāo)為角點(diǎn)重復(fù)率。在尺度參數(shù)有所差異的情況下檢測(cè)的重復(fù)角點(diǎn)數(shù)量與原圖角點(diǎn)數(shù)量的百分比即為角點(diǎn)重復(fù)率，計(jì)算過(guò)程為

(9)

其中，m和N分別表示重復(fù)角點(diǎn)數(shù)量與原圖角點(diǎn)數(shù)量。

在尺度參數(shù)有所差異的情況下，分別采用上述三種檢測(cè)方法檢測(cè)全部實(shí)驗(yàn)對(duì)象的亞像素角點(diǎn)，確定各實(shí)驗(yàn)對(duì)象的角點(diǎn)重復(fù)率，對(duì)比三種檢測(cè)方法角點(diǎn)重復(fù)率的平均值，結(jié)果如圖3所示。

圖3 不同尺度參數(shù)下角點(diǎn)重復(fù)率均值對(duì)比

分析圖3得到，隨著尺度參數(shù)的逐漸提升，三種檢測(cè)方法的角點(diǎn)重復(fù)率均值均呈現(xiàn)出不同幅度的下降趨勢(shì)，說(shuō)明在尺度參數(shù)有所差異的情況下，任何亞像素角點(diǎn)檢測(cè)方法的角點(diǎn)檢測(cè)結(jié)果均會(huì)發(fā)生變化。在尺度參數(shù)逐漸提升的過(guò)程中，所提方法得到的角點(diǎn)重復(fù)率始終高于另外兩種對(duì)比方法。三種檢測(cè)方法中，文獻(xiàn)[4]方法的角點(diǎn)重復(fù)率降幅接近30%，當(dāng)尺度參數(shù)達(dá)到最大值時(shí)，角點(diǎn)重復(fù)率在55%左右，這說(shuō)明尺度的差異造成文獻(xiàn)[4]方法檢測(cè)出較多不同角點(diǎn)，說(shuō)明該方法的尺度不變性較差，不利于亞像素角點(diǎn)定位。相較于文獻(xiàn)[4]方法，所提方法與文獻(xiàn)[5]方法的角點(diǎn)重復(fù)率下降趨勢(shì)基本一致。在同一尺度參數(shù)下，所提方法的角點(diǎn)重讀率始終高于文獻(xiàn)[5]方法，當(dāng)尺度參數(shù)達(dá)到最大值時(shí)，所提方法角點(diǎn)重復(fù)率在75%以上，而文獻(xiàn)[5]方法角點(diǎn)重讀率低于50%。仿真結(jié)果說(shuō)明在尺度參數(shù)有所差異的情況下，所提方法能檢測(cè)出更穩(wěn)定的角點(diǎn)，魯棒性能更高，具有更好的尺度不變性。

3.3 亞像素角點(diǎn)檢測(cè)精度仿真

參考各檢測(cè)方法的角點(diǎn)重復(fù)率和角點(diǎn)檢測(cè)效果，排除噪聲干擾情況，利用所提方法檢測(cè)圖3內(nèi)實(shí)驗(yàn)對(duì)象的亞像素角點(diǎn)，分析檢測(cè)方法的檢測(cè)結(jié)果與實(shí)際亞像素角點(diǎn)坐標(biāo)之間的偏移量，部分亞像素角點(diǎn)對(duì)比結(jié)果如表1所示。利用空間曲面模型擬合角點(diǎn)附近響應(yīng)函數(shù)值分布，以響應(yīng)函數(shù)值最高的像點(diǎn)位置為實(shí)際亞像素角點(diǎn)坐標(biāo)，實(shí)際亞像素角點(diǎn)與檢測(cè)到的亞像素角點(diǎn)間距離為偏移量。

表1 所提方法檢測(cè)結(jié)果偏移量

分析表1中的檢測(cè)坐標(biāo)數(shù)據(jù)得到，所提檢測(cè)方法檢測(cè)結(jié)果中偏移量基本控制在一個(gè)像素內(nèi)，所提方法檢測(cè)結(jié)果中偏移量值最低的角點(diǎn)均為編號(hào)5的角點(diǎn)，偏移量分別為0.23和0.27；檢測(cè)結(jié)果中偏移量值最高的角點(diǎn)均為編號(hào)4的角點(diǎn)，偏移量分別為0.72和1.43。仿真結(jié)果表明所提方法的檢測(cè)結(jié)果與實(shí)際亞像素角點(diǎn)坐標(biāo)較接近，檢測(cè)精度較好。

3.4 時(shí)空性能仿真

三種不同檢測(cè)方法的時(shí)空性能對(duì)比結(jié)果如表2和表3所示。

表2 不同檢測(cè)方法時(shí)間性能對(duì)比

表3 不同檢測(cè)方法存儲(chǔ)空間對(duì)比

分析表2和表3能夠得到，所提方法在檢測(cè)視頻圖像亞像素角點(diǎn)時(shí)時(shí)間效率顯著優(yōu)于其它兩種對(duì)比方法，每幀視頻圖像檢測(cè)的平均時(shí)間在97ms左右，與其它兩種檢測(cè)方法相比分別降低347ms和822ms左右，且所提方法在檢測(cè)過(guò)程中，時(shí)間波動(dòng)趨勢(shì)較為平緩。所提方法單特征平均存儲(chǔ)空間與文獻(xiàn)[4]方法一致，均為30B左右，顯著低于文獻(xiàn)[5]方法。仿真結(jié)果表明：所提方法在檢測(cè)視頻圖像亞像素角點(diǎn)時(shí)具有較高的時(shí)空性能優(yōu)勢(shì)。

4 結(jié)論

為滿足視頻圖像角點(diǎn)的準(zhǔn)確檢測(cè)。所提提出基于迭代校正的視頻圖像亞像素檢測(cè)方法，通過(guò)迭代修正方法校正視頻圖像采集過(guò)程中攝像機(jī)鏡頭導(dǎo)致的圖像畸變，將校正圖像與高斯核函數(shù)卷積形成多尺度空間，以尺度空間角點(diǎn)為中心投影至校正圖像構(gòu)建角點(diǎn)集群，實(shí)現(xiàn)亞像素角點(diǎn)檢測(cè)。仿真結(jié)果顯示：所提方法可有效校正畸變圖像并檢測(cè)亞像素角點(diǎn)；且所提方法可提升亞像素角點(diǎn)的尺度不變形與檢測(cè)精度。在后續(xù)研究中繼續(xù)優(yōu)化所提方法的檢測(cè)效率，為視頻圖像全景拼接、目標(biāo)檢索與定位、重建三維目標(biāo)模型等提供穩(wěn)定的亞像素角點(diǎn)。