三維非剛體圖像的特征挖掘定位算法

潘 燕

(福建農(nóng)業(yè)職業(yè)技術(shù)學(xué)院 信息工程學(xué)院,福建 福州 350007)

目前,在機(jī)器視覺技術(shù)的支持下,從圖像內(nèi)挖掘特征實(shí)現(xiàn)目標(biāo)定位的算法被應(yīng)用于交通違章識(shí)別、海上目標(biāo)定位、導(dǎo)航等領(lǐng)域[1-2]。但在日新月異的計(jì)算機(jī)技術(shù)和機(jī)器視覺環(huán)境下,圖像特征挖掘定位算法已逐漸難以滿足用戶需求。

針對(duì)上述問題,相關(guān)學(xué)者研究了圖像特征定位算法,如王保莖等[3]提出了圖像特征關(guān)聯(lián)定位算法,利用距離算法計(jì)算圖像特征的歐式距離,并采用活動(dòng)輪廓套索融合模型實(shí)現(xiàn)圖像內(nèi)目標(biāo)的定位。方徐達(dá)等[4]提出了三維激光定位算法,通過提取目標(biāo)圖像的三維點(diǎn)云特征,使用特征匹配方法實(shí)現(xiàn)目標(biāo)有效位置定位。上述方法均可實(shí)現(xiàn)圖像內(nèi)目標(biāo)定位,但識(shí)別運(yùn)動(dòng)目標(biāo)位置時(shí)的應(yīng)用效果不佳。

三維非剛體圖像是指當(dāng)目標(biāo)物體在受力或者運(yùn)動(dòng)情況下,其形狀和大小不變,內(nèi)部各點(diǎn)相對(duì)位置不變的物體圖像。三維非剛體圖像是定位目標(biāo)位置的基礎(chǔ),為提升圖像目標(biāo)定位算法的應(yīng)用效果,本文以三維非剛體圖像為對(duì)象,設(shè)計(jì)了一種特征挖掘定位算法。在重建三維非剛體目標(biāo)結(jié)構(gòu)的基礎(chǔ)上挖掘直線特征,并利用圖像消影點(diǎn)方法處理圖像內(nèi)目標(biāo)的視覺里程數(shù)據(jù),從而推算出圖像內(nèi)的目標(biāo)特征位置。

1 理論運(yùn)用與特征挖掘定位設(shè)計(jì)

1.1 三維非剛體目標(biāo)結(jié)構(gòu)重建

通過攝像機(jī)采集目標(biāo)非剛體圖像,采用加速度平滑約束的非剛體三維結(jié)構(gòu)重建方法得到運(yùn)動(dòng)目標(biāo)圖像的三維軌跡結(jié)構(gòu)信息。

由于運(yùn)動(dòng)時(shí)非剛體目標(biāo)具有復(fù)雜多變的特征[5],根據(jù)目標(biāo)形狀重建其三維圖像時(shí)需估計(jì)其運(yùn)動(dòng)圖像每一幀內(nèi)的新形狀基,并重新定義不同運(yùn)動(dòng)的形狀基[6]。根據(jù)非剛體圖像在不同時(shí)間幀中的信息變化情況,將圖像信息轉(zhuǎn)變?yōu)榉莿傮w特征點(diǎn),從而得到非剛體圖像的三維軌跡結(jié)構(gòu)信息。

令t為獲得三維非剛體圖像序列特征點(diǎn)的間隔時(shí)間,按照物理運(yùn)動(dòng)規(guī)律,則三維非剛體圖像中第i幀中特征目標(biāo)的平均速度為

式中:ΔJ為原始非剛體結(jié)構(gòu)矩陣;Ji1、Ji分別為三維非剛體圖像第1 幀、第i幀的非剛體結(jié)構(gòu)矩陣。

依據(jù)式(1)得到目標(biāo)運(yùn)動(dòng)平均速度,計(jì)算當(dāng)前三維非剛體圖像內(nèi)目標(biāo)軌跡系數(shù)如下:

式中:vi1為圖像i第一幀內(nèi)目標(biāo)運(yùn)動(dòng)平均速度。

三維非剛體圖像目標(biāo)在一定時(shí)間段內(nèi)的位移差和時(shí)間的比值可用于描述目標(biāo)運(yùn)動(dòng)的平均速度,但在一段時(shí)間內(nèi),其目標(biāo)的平均速度與加速度變化數(shù)值極小[7-8]。因此,需對(duì)其進(jìn)行累加操作,其目標(biāo)函數(shù)如下:

式中:I為總幀數(shù);Ji+1、Ji-1為與Ji相鄰的非剛體結(jié)構(gòu)矩陣。

在式(3)內(nèi)引入目標(biāo)的運(yùn)動(dòng)平滑約束,則

式中:W、Q分別為三維非剛體圖像的二維觀測矩陣和攝像機(jī)旋轉(zhuǎn)矩陣;λ1為平衡參數(shù),其數(shù)值大于等于0。

令V∈A3I×3I為三維非剛體圖像平滑矩陣,其中的A3I×3I為三維非剛體圖像序列矩陣,則三維非剛體圖像平滑矩陣如下:

式中:i、j均為三維非剛體圖像幀序列。

將式(5)代入式(4),則有

通過式(6)可知,該三維非剛體平均速度累加目標(biāo)函數(shù)為二次函數(shù)[9],且其存在全局最優(yōu)解析解。在求解其全局最優(yōu)解析解時(shí),首先計(jì)算三維非剛體目標(biāo)三維軌跡結(jié)構(gòu)矩陣的梯度為

式中:S為軌跡結(jié)構(gòu)矩陣;?為偏導(dǎo)數(shù);f(·)為自變量函數(shù)。

令式(7)結(jié)果為0,得到三維非剛體平均速度累加目標(biāo)函數(shù)全局最優(yōu)解析解如下:

其中,QT+λ1VTV矩陣的廣義逆矩陣用QT+λ1VTV來表示。當(dāng)QT+λ1VTV具備可逆性時(shí),再次將式(5)代入式(4),重新計(jì)算;當(dāng)QT+λ1VTV不具備可逆性時(shí),式(8)所得結(jié)果為全局最佳解析解。

1.2 基于直線段檢測的直線特征挖掘

以三維非剛體圖像三維軌跡結(jié)構(gòu)信息的梯度為基礎(chǔ),采用直線段檢測算法[10]挖掘該三維軌跡結(jié)構(gòu)信息內(nèi)的直線特征,得到存在斷裂的直線段,應(yīng)對(duì)該直線段進(jìn)行連接處理。令A(yù)B、CD為斷裂的兩條線段,η為線段AB與AD之間的夾角,β為DA和DC之間的夾角。當(dāng)η與β符合以下條件時(shí),則認(rèn)為AB與CD為共線,則

式中:θ1、θ2均為線段的角度閾值;L為線段長度閾值。

當(dāng)線段AB與CD滿足式(9)時(shí),則線段AB與CD為同一條直線。經(jīng)過上述步驟,挖掘到三維非剛體圖像三維軌跡結(jié)構(gòu)信息內(nèi)的所有直線特征。

1.3 基于圖像消影點(diǎn)的視覺定位方法

將三維非剛體圖像的三維軌跡結(jié)構(gòu)信息內(nèi)的直線特征作為輸入,采用圖像消影點(diǎn)方法獲得三維非剛體圖像內(nèi)的目標(biāo)方位元素。

令O1、O2分別為三維非剛體圖像的相機(jī)標(biāo)定矩陣、歐式坐標(biāo)系旋轉(zhuǎn)矩陣,則消影點(diǎn)位置矩陣如下:

式中:fx、fy均為焦距;u、v為三維非剛體圖像內(nèi)直線特征的消影點(diǎn)主點(diǎn)坐標(biāo);ζ、φ分別為目標(biāo)位置朝向角和俯仰角。

由式(10)計(jì)算得到三維非剛體圖像內(nèi)直線特征的某個(gè)消影點(diǎn)數(shù)值,過程如下:

由于三維非剛體圖像內(nèi)直線特征消影點(diǎn)的坐標(biāo)為齊次坐標(biāo)[11-12]。因此,cosφcosζ數(shù)值為1。隨機(jī)在非剛性目標(biāo)中設(shè)置一點(diǎn),將該點(diǎn)分別置于相鄰的兩幅圖像內(nèi),分別由x、x′表示,按照單應(yīng)性計(jì)算x與x′之間的關(guān)系如下:

式中:Z、t′分別為三維非剛體圖像的移動(dòng)距離與時(shí)間。

依據(jù)x與x′之間的關(guān)系,計(jì)算三維非剛體圖像內(nèi)目標(biāo)的垂直視場如下:

式中:H為三維非剛體圖像高度。

對(duì)式(13)進(jìn)行轉(zhuǎn)換,則有

計(jì)算相機(jī)光軸和物體光軸的角度如下:

式中:θ為相機(jī)光軸和物體光軸之間的角度。

將式(14)代入式(15)中,則有

依據(jù)平面幾何理論,計(jì)算三維非剛體圖像內(nèi)目標(biāo)的Y方向坐標(biāo)為

式中:h為三維非剛體圖像內(nèi)目標(biāo)高度數(shù)值。

依據(jù)上述公式結(jié)果,計(jì)算三維非剛體圖像目標(biāo)與攝像機(jī)之間的距離為

式(17)、(18)即為三維非剛體圖像內(nèi)目標(biāo)的視覺里程,依據(jù)該視覺里程數(shù)據(jù)[13-15],推算t′時(shí)刻三維非剛體圖像中待定位目標(biāo)的位置如下:

式中:lt′為視覺里程位移數(shù)值;cosζt′為視覺陀螺儀估計(jì)朝向。

2 實(shí)驗(yàn)與結(jié)果分析

將交通管控路段內(nèi)移動(dòng)車輛的三維非剛體圖像作為實(shí)驗(yàn)對(duì)象,采集其不同時(shí)段的移動(dòng)車輛圖像共4000張,采用三維非剛體圖像的特征挖掘定位算法(以下簡稱“算法”)定位三維非剛體圖像內(nèi)目標(biāo)位置,驗(yàn)證算法的實(shí)際應(yīng)用效果。

2.1 三維非剛體目標(biāo)結(jié)構(gòu)重建測試

以某張移動(dòng)車輛圖像為實(shí)驗(yàn)對(duì)象,采用本文算法重建其三維非剛體目標(biāo)結(jié)構(gòu),結(jié)果如圖1所示。

圖1 移動(dòng)車輛三維非剛體結(jié)構(gòu)重建測試結(jié)果

由圖1可知,車輛三維非剛體結(jié)構(gòu)與其原始圖像內(nèi)車輛形狀完全吻合,且車頭、車燈以及輪轂等細(xì)節(jié)也完全相同,說明本文算法能夠有效重建移動(dòng)車輛的三維非剛體結(jié)構(gòu),且重建后的移動(dòng)車輛三維非剛體結(jié)構(gòu)精度較高。

2.2 直線特征挖掘測試

挖掘三維非剛體結(jié)構(gòu)內(nèi)的直線特征是實(shí)現(xiàn)目標(biāo)定位的基礎(chǔ),以一組車輛三維非剛體軌跡結(jié)構(gòu)矩陣內(nèi)的數(shù)據(jù)點(diǎn)集作為實(shí)驗(yàn)對(duì)象,挖掘該數(shù)據(jù)點(diǎn)集內(nèi)的直線特征,結(jié)果如圖2所示。

圖2 直線特征挖掘結(jié)果

由圖2可知,三維非剛體軌跡結(jié)構(gòu)矩陣內(nèi)的數(shù)據(jù)點(diǎn)集呈規(guī)則性直線型分布,而采用本文算法提取的該數(shù)據(jù)點(diǎn)集直線特征與原本的數(shù)據(jù)點(diǎn)集分布位置完全相同。圖2(b)中存在虛線表示部分被遮擋的直線特征。這一結(jié)果說明算法提取三維非剛體軌跡結(jié)構(gòu)矩陣內(nèi)數(shù)據(jù)點(diǎn)集的直線能力較強(qiáng),也從側(cè)面說明算法對(duì)三維非剛體圖像內(nèi)目標(biāo)定位能力較好。

以一張較為模糊的移動(dòng)車輛圖像中的某條輪廓線為實(shí)驗(yàn)對(duì)象,采用本文算法挖掘該直線特征,結(jié)果如圖3所示。

圖3 模糊三維非剛體圖像直線特征挖掘結(jié)果

圖3中,在初始圖像內(nèi),三維非剛體輪廓線存在明顯馬賽克情況,其直線特征不夠明顯。采用本文算法提取該三維非剛體輪廓線后,其整體輪廓與初始圖像內(nèi)輪廓線路一致,并呈現(xiàn)的直線線條清晰。該結(jié)果說明算法在提取三維非剛體圖像內(nèi)輪廓直線特征時(shí),受三維非剛體圖像模糊程度影響較小,提取直線特征的能力優(yōu)秀。

2.3 三維非剛體圖像目標(biāo)定位測試

以10組三維非剛體圖像為實(shí)驗(yàn)對(duì)象,采用本文算法定位該10組三維非剛體圖像內(nèi)的目標(biāo)位置,結(jié)果如表1所示。

表1 三維非剛體圖像目標(biāo)定位測試結(jié)果

由表1可知,采用本文算法定位的6、10號(hào)三維非剛體圖像內(nèi)目標(biāo)與目標(biāo)的實(shí)際位置完全相同,在定位剩余三維非剛體圖像內(nèi)目標(biāo)時(shí),X或Y方向均存在一定偏差。其中,X方向上的最大偏差數(shù)值為0.5m,Y方向上的最大偏差數(shù)值為0.4m。在較大的運(yùn)動(dòng)目標(biāo)場景內(nèi),該偏差數(shù)值微乎其微。綜上所述,本文算法能有效定位三維非剛體圖像內(nèi)目標(biāo),且定位結(jié)果較為準(zhǔn)確。

以三維非剛體圖像內(nèi)目標(biāo)朝向角作為衡量指標(biāo),測試不同時(shí)間時(shí)其朝向角變化情況,結(jié)果如圖4所示。

圖4 三維非剛體圖像內(nèi)目標(biāo)朝向角定位結(jié)果

由圖4可知,目標(biāo)的朝向角曲線隨著時(shí)間的增加呈現(xiàn)波動(dòng)趨勢(shì),而本文算法對(duì)目標(biāo)朝向角的定位結(jié)果與其實(shí)際值曲線重合,說明本文算法定位三維非剛體圖像內(nèi)目標(biāo)朝向角性能較強(qiáng)。

當(dāng)三維非剛體圖像內(nèi)存在多個(gè)目標(biāo)時(shí),對(duì)獲取目標(biāo)定位存在一定影響。測試在三維非剛體圖像內(nèi)存在不同數(shù)量目標(biāo)時(shí),本文算法對(duì)目標(biāo)定位的誤差如圖5所示。

圖5 目標(biāo)定位誤差

由圖5可知,在目標(biāo)數(shù)量少于2個(gè)時(shí),算法定位三維非剛體圖像目標(biāo)精度均為1.0,隨著三維非剛體圖像內(nèi)目標(biāo)增加,算法對(duì)目標(biāo)的定位誤差呈現(xiàn)小幅度下降趨勢(shì)。當(dāng)圖像內(nèi)目標(biāo)為6個(gè)時(shí),算法定位目標(biāo)誤差依然高于0.95,說明本文算法定位三維非剛體圖像目標(biāo)受圖像內(nèi)目標(biāo)數(shù)量的影響極小。

3 結(jié)論

按照重建三維非剛體目標(biāo)結(jié)構(gòu)、挖掘直線特征、視覺定位方法的思路,針對(duì)三維非剛體圖像的特征挖掘定位算法展開研究,并在實(shí)際環(huán)境中對(duì)算法進(jìn)行了多角度驗(yàn)證。根據(jù)實(shí)驗(yàn)結(jié)果可知:該算法構(gòu)建的車輛三維非剛體結(jié)構(gòu)與車輛自身結(jié)構(gòu)吻合程度極高,具備較好的三維非剛體結(jié)構(gòu)重建能力;挖掘三維非剛體軌跡矩陣結(jié)構(gòu)內(nèi)數(shù)據(jù)點(diǎn)集直線能力較強(qiáng),并可有效定位三維非剛體圖像內(nèi)目標(biāo)位置。在接下來的研究中,將考慮從提高挖掘定位時(shí)效性的角度,對(duì)該算法展開進(jìn)一步優(yōu)化。