一種圖像抖動(dòng)下的目標(biāo)位置測(cè)量方法

李大成，楊曉東

(海軍潛艇學(xué)院，山東 青島 266100)

【信息科學(xué)與控制工程】

一種圖像抖動(dòng)下的目標(biāo)位置測(cè)量方法

李大成，楊曉東

(海軍潛艇學(xué)院，山東 青島 266100)

根據(jù)艦載攝像機(jī)獲取的圖像序列抖動(dòng)現(xiàn)象，提出了一種基于單目視覺(jué)測(cè)量技術(shù)的運(yùn)動(dòng)目標(biāo)位置測(cè)量方法。該方法利用數(shù)字圖像處理算法提取目標(biāo)的質(zhì)心，以灰度投影差值作為特征量估計(jì)圖像當(dāng)前幀的抖動(dòng)矢量，結(jié)合攝像機(jī)的二維運(yùn)動(dòng)模型，計(jì)算目標(biāo)去除抖動(dòng)后的坐標(biāo)。將此方法應(yīng)用于運(yùn)動(dòng)軌跡已知的運(yùn)動(dòng)目標(biāo)圖像序列，能夠去除艦船抖動(dòng)的影響，獲取目標(biāo)的實(shí)際位置，具有很好的穩(wěn)定性。

單目視覺(jué)；灰度投影；抖動(dòng)

隨著機(jī)器視覺(jué)系統(tǒng)硬件向著小型化和高性能方向發(fā)展，以機(jī)器視覺(jué)為基礎(chǔ)的測(cè)量技術(shù)成為研究的熱點(diǎn)[1]，視覺(jué)測(cè)量技術(shù)是獲取運(yùn)動(dòng)目標(biāo)位置數(shù)據(jù)和運(yùn)動(dòng)參數(shù)的重要方法[2]，其優(yōu)點(diǎn)主要表現(xiàn)在測(cè)量精度高、實(shí)時(shí)性好，該技術(shù)也不斷應(yīng)用到艦艇的攝像系統(tǒng)。但是艦艇在航行過(guò)程中，受到波浪沖擊和人為操縱等作用運(yùn)動(dòng)狀態(tài)不斷發(fā)生改變，導(dǎo)致攝像機(jī)獲取的圖像序列不穩(wěn)定，無(wú)法獲知運(yùn)動(dòng)目標(biāo)的準(zhǔn)確位置。在艦載攝像系統(tǒng)采集圖像過(guò)程中，抖動(dòng)矢量分為平移矢量[3]和旋轉(zhuǎn)矢量[4]，旋轉(zhuǎn)矢量一般較小且處理旋轉(zhuǎn)矢量的算法時(shí)間復(fù)雜度較高，因此主要對(duì)平移抖動(dòng)矢量進(jìn)行處理。

本研究提出了一種基于單目視覺(jué)的目標(biāo)位置測(cè)量方法，利用灰度投影方法去除圖像序列不穩(wěn)定的因素，通過(guò)圖像處理算法精確測(cè)量運(yùn)動(dòng)目標(biāo)的位置。

1 攝像機(jī)成像模型和運(yùn)動(dòng)模型

圖像采集過(guò)程中，攝像機(jī)的成像模型決定了空間點(diǎn)在世界坐標(biāo)系的坐標(biāo)與其在圖像像素坐標(biāo)系坐標(biāo)之間的對(duì)應(yīng)關(guān)系[5]。攝像機(jī)將三維空間中的運(yùn)動(dòng)物體映射到二維空間，隨著目標(biāo)的運(yùn)動(dòng)，在成像平面的位置也發(fā)生變化。

假設(shè)運(yùn)動(dòng)物體的幾何參數(shù)在同一平面內(nèi)，且與攝像系統(tǒng)光軸垂直，攝像機(jī)僅存在無(wú)景深方向平移運(yùn)動(dòng)。如圖1所示，攝相機(jī)坐標(biāo)系為Oc-XcYcZc，Oc點(diǎn)為攝像機(jī)光心，可以在XcYc平面內(nèi)移動(dòng)，O-uv為像平面坐標(biāo)系，像平面坐標(biāo)系指存儲(chǔ)在計(jì)算機(jī)中數(shù)字圖像的坐標(biāo)系，以像素為單位，坐標(biāo)系原點(diǎn)O位于圖像左上角。P為運(yùn)動(dòng)目標(biāo)在三維空間中的點(diǎn)，P1、P2分別為攝像機(jī)在不同位置下映射到圖像平面上的點(diǎn)，坐標(biāo)為(x1,y1)、(x2,y2)。

圖1 攝像機(jī)成像模型和像平面

根據(jù)上述模型和條件，假設(shè)像平面上的點(diǎn)P1變化到P2過(guò)程中，攝像機(jī)的位移矢量為(Δx,Δy)，則有

(1)

因此，在旋轉(zhuǎn)矢量較小的情況小，可以根據(jù)攝像機(jī)的平移矢量計(jì)算目標(biāo)在攝像機(jī)不發(fā)生抖動(dòng)情況下的像平面坐標(biāo)。

2 圖像抖動(dòng)矢量估計(jì)和目標(biāo)定位

本研究的數(shù)字圖像處理主要包括：平移矢量的估計(jì)和圖像中中心對(duì)稱目標(biāo)位置的確定[6]。

2.1 基于灰度投影差值的平移矢量估計(jì)

灰度投影算法[7-8]是利用圖像的行列灰度變化規(guī)律來(lái)確定當(dāng)前幀與參考幀之間的運(yùn)動(dòng)矢量，計(jì)算量小，對(duì)于平移抖動(dòng)和旋轉(zhuǎn)量較小的抖動(dòng)具有較高的檢測(cè)精度。

2.1.1 圖像灰度投影

將獲得的視頻經(jīng)過(guò)簡(jiǎn)單的圖像處理后，將每幀的二維圖像(N×M)信息映射成兩條灰度投影曲線，具體方法為:

(2)

(3)

colprojk(j)=colk(j)-colTotk

(4)

式中：colk(j)為第k幀圖像第j列的灰度值；curk(i,j)為第k幀上 (i,j)位置處的灰度值；colprojk(j)表示第k幀圖像的第j列歸一化后的灰度映射值。行投影row(i)的計(jì)算與列投影的計(jì)算方法類似。

2.1.2 投影濾波

當(dāng)視頻發(fā)生抖動(dòng)時(shí)，圖像的邊緣信息會(huì)發(fā)生明顯的變化，圖像邊緣的行列投影值也會(huì)發(fā)生明顯的變化，使得在互相關(guān)計(jì)算的計(jì)算結(jié)果出現(xiàn)較大的偏差。投影濾波的目的就是通過(guò)余弦濾波器進(jìn)行濾波，降低圖像邊緣信息在計(jì)算過(guò)程中所占的比重，提高運(yùn)動(dòng)矢量的估計(jì)精度。

2.1.3 灰度投影差值

兩幀圖像發(fā)生平移抖動(dòng)時(shí)，它們的行列投影曲線保持基本相似的形狀。而在不同運(yùn)動(dòng)矢量情況下，當(dāng)前幀和參考幀相同的行列的灰度映射值相差可能會(huì)很大，因此可以此作為衡量行或列相似的特征量。也就是說(shuō)，該行或者列的投影值與參考幀對(duì)應(yīng)行或者列的投影值越接近，表示該行或者列與參考幀的灰度信息越相似。基于此，設(shè)定運(yùn)動(dòng)矢量范圍，并不斷移動(dòng)當(dāng)前幀的投影曲線分別與參考幀投影作差，具體公式為

(5)

2.1.4 最大列數(shù)

根據(jù)分析，兩幀圖像中行或列投影值接近的數(shù)目越多，證明兩幀圖像的灰度信息越相似。設(shè)定閾值T來(lái)衡量行、列投影值的接近程度，用colk表示當(dāng)前幀列投影值，colr表示參考幀列投影值。當(dāng)

(6)

計(jì)算符合條件的列數(shù)并繪制成曲線圖，峰值即代表閾值T條件下的列數(shù)最多，其對(duì)應(yīng)的d即為幀的垂直偏移量。求取幀的水平偏移量的方法類似。

2.2 運(yùn)動(dòng)目標(biāo)的定位

形心法和灰度重心法[9-10]是對(duì)圖像中中心對(duì)稱目標(biāo)進(jìn)行定位的常用方法。形心法將屬于同一目標(biāo)的不同像素點(diǎn)進(jìn)行平均，將平均值作為目標(biāo)的位置點(diǎn)。其坐標(biāo)計(jì)算公式為

(7)

(8)

式中：(i,j)為圖像像素的縱、橫坐標(biāo)；N為目標(biāo)圖像的總像素；S為屬于同一目標(biāo)的像素。式(7)與式(8)中定義的圖像位置由于僅僅利用了目標(biāo)邊界區(qū)域的信息，所以該算法的定位精度較低。為了減小形心法定位的誤差，采用灰度重心法求取目標(biāo)的位置，即

(9)

(10)

式中：W(i,j)為權(quán)值，一般W(i,j)=I(i,j)。

3 實(shí)驗(yàn)與結(jié)果

利用如圖2所示的實(shí)驗(yàn)平臺(tái)對(duì)本文的方法進(jìn)行實(shí)驗(yàn)和仿真，圖2(a)為IP攝像頭，型號(hào)Prosilica_1380，圖像分辨率為1 360×1 024，CCD像元尺寸大小為6.45 μm×6.45 μm，最大焦距為35 mm，設(shè)置圖像采集頻率為25fps；圖2(b)為運(yùn)動(dòng)目標(biāo)，在圓弧形的玻璃管內(nèi)裝有可以運(yùn)動(dòng)的小球，其中攝像頭部分和運(yùn)動(dòng)目標(biāo)部分固連在同一載體上。當(dāng)載體水平傾角變化時(shí)，小球在圓弧形玻璃管內(nèi)運(yùn)動(dòng)，通過(guò)IP攝像頭采集小球的運(yùn)動(dòng)圖像序列。在實(shí)驗(yàn)過(guò)程中，攝像頭在采集圖像時(shí)模擬艦船受力致使攝像頭小幅度運(yùn)動(dòng)，其中大部分力作用在水平方向上，截取圖像序列中的200～400幀進(jìn)行處理。

圖2 實(shí)驗(yàn)平臺(tái)

首先對(duì)采集的圖像序列進(jìn)行圖像處理，包括圖像灰度化、閾值分割、形態(tài)學(xué)運(yùn)算等，檢測(cè)存在運(yùn)動(dòng)狀態(tài)的目標(biāo)[11]，并利用灰度重心法對(duì)目標(biāo)進(jìn)行定位，獲得目標(biāo)的坐標(biāo)。圖3所示為經(jīng)過(guò)一系列算法后得到的運(yùn)動(dòng)目標(biāo)二值化圖像。

然后以圖像序列的第1幀作為參考幀，利用文中提出的基于灰度投影差值算法分別計(jì)算當(dāng)前幀的垂直運(yùn)動(dòng)矢量和水平運(yùn)動(dòng)矢量，如圖4所示，圖中橫坐標(biāo)表示幀(frames),縱坐標(biāo)表示運(yùn)動(dòng)矢量(pixels)。

圖3 圖像處理后的運(yùn)動(dòng)目標(biāo)

圖4 圖像序列的抖動(dòng)矢量

最后利用灰度質(zhì)心法對(duì)目標(biāo)進(jìn)行定位，表示目標(biāo)在圖像平面坐標(biāo)系中的坐標(biāo)位置。小球運(yùn)動(dòng)過(guò)程中，以載體水平傾角為0時(shí)的小球質(zhì)心位置作為參考坐標(biāo)系的原點(diǎn)，以原點(diǎn)位置建立參考坐標(biāo)系。根據(jù)小球運(yùn)動(dòng)軌跡的先驗(yàn)性，求得原點(diǎn)在圖像坐標(biāo)系中的坐標(biāo)為(243.3,182.4)。圖5(a)為不考慮攝像頭抖動(dòng)時(shí)的目標(biāo)灰度質(zhì)心曲線。圖5(b)為考慮攝像頭運(yùn)動(dòng)矢量時(shí)通過(guò)式(1)計(jì)算得到的灰度質(zhì)心曲線。圖5(c)為圖5(b)中曲線擬合得到，方程為(x-265.8)2+(y+3 265.1)2=3 448.12，符合運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡。由此可見(jiàn)，仿真結(jié)果與實(shí)際情況基本相似，說(shuō)明本文的方法可用于攝像機(jī)抖動(dòng)情況下的目標(biāo)位置測(cè)量，且穩(wěn)定性好。

圖5 灰度質(zhì)心坐標(biāo)曲線及擬合曲線

4 結(jié)束語(yǔ)

利用單目視覺(jué)技術(shù)對(duì)艦載攝像機(jī)獲取的圖像序列抖動(dòng)下的運(yùn)動(dòng)目標(biāo)位置測(cè)量方法展開了研究，用灰度投影差值作為特征量估計(jì)出每幀圖像的抖動(dòng)矢量，結(jié)合灰度質(zhì)心法，計(jì)算出運(yùn)動(dòng)目標(biāo)去除抖動(dòng)矢量后的坐標(biāo)。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，能夠滿足一定環(huán)境下的測(cè)量需求。

[1] 遲健男.視覺(jué)測(cè)量技術(shù)[M].北京:機(jī)械工業(yè)出版社,2011.

[2] 溫俊，李榕.基于單目的手持式視覺(jué)測(cè)量方法研究[J].現(xiàn)代電子技術(shù)，2015，38(16):88-92.

[3] 趙紅穎，金宏.電子穩(wěn)像技術(shù)概述[J].光學(xué)精密工程，2001，9(4):3-8.

[4] 趙紅穎，晏磊，熊精武.艦船圖像序列電子穩(wěn)定算法的研究[J].光學(xué)精密工程，2003，11(6):603-707.

[5] 于起峰.基于圖像的精密測(cè)量與運(yùn)動(dòng)測(cè)量[M].北京：科學(xué)出版社，2002:148-155.

[6] MORIMOTO C,CHELLAPPA R.Fast electronic digital image stabilization for off-road navigation[J].Real-Time Imaging (S1077-2014)， 1996，5(2)： 285-296.

[7] 汪小勇,，李奇，徐之海,等.用于實(shí)時(shí)數(shù)字穩(wěn)像的灰度投影算法研究[J].光子學(xué)報(bào)，2006，35(8):365-370.

[8] 張朝陽(yáng)，潘保昌，鄭勝林.基于幀差的灰度投影的快速運(yùn)動(dòng)物體檢測(cè)[J].廣東工業(yè)大學(xué)學(xué)，2008，25(3):76-80.

[9] 賈云得.機(jī)器視覺(jué)科學(xué)出版社[M].北京：科學(xué)出版社，2002.

[10]許聯(lián)鋒.稀疏氣泡流動(dòng)的粒子跟蹤測(cè)速技術(shù)研究[J].水利學(xué)報(bào)，2005，36(7)：824-828.

[11]洪義平.視頻序列中運(yùn)動(dòng)對(duì)象的檢測(cè)與跟蹤[D].大連:大連理工大學(xué)， 2002:38-39.

(責(zé)任編輯 楊繼森)

Research on Target Position Measurement Based on Jitter Image

LI Da-cheng，YANG Xiao-dong

(Naval Submarine Academy, Qingdao 266100, China)

According to the jitter image sequence acquired by ship-borne camera, this paper proposed a moving target position measurement method based on monocular vision. This method firstly used digital image processing algorithms to extract the target centroid. Then it estimated image dithering vector of the current frame with gray projection difference. At last, it calculated the target centroid by combining with two-dimensional motion model of the camera. This method was applied in the image sequence of target. And the trajectory of the moving target is known. It can calculate actual location of the target by removing the effect of ship jitter, and it has a good stability.

monocular vision; gray projection; jitter

2016-09-26；

2016-10-21

海軍裝備部“十二五”規(guī)劃資助項(xiàng)目(435515908)

李大成(1992—)，男，碩士研究生，主要從事艦艇運(yùn)動(dòng)態(tài)勢(shì)視覺(jué)測(cè)量技術(shù)研究;楊曉東(1963—)，男，教授，博士生導(dǎo)師，主要從事艦艇機(jī)器視覺(jué)和航海研究。

10.11809/scbgxb2017.02.022

李大成，楊曉東.一種圖像抖動(dòng)下的目標(biāo)位置測(cè)量方法[J].兵器裝備工程學(xué)報(bào)，2017(2):97-100.

format:LI Da-cheng，YANG Xiao-dong.Research on Target Position Measurement Based on Jitter Image[J].Journal of Ordnance Equipment Engineering,2017(2):97-100.

TP751.1

A

2096-2304(2017)02-0097-04