基于斜率關(guān)聯(lián)函數(shù)的彈丸位置深度估計(jì)方法

岳世強(qiáng)，李翰山，張曉倩

(西安工業(yè)大學(xué)電子信息工程學(xué)院，陜西 西安 710021)

0 引言

在靶場武器測試領(lǐng)域，彈丸的位置參數(shù)是目標(biāo)毀傷效能評估的重要參數(shù)，而彈丸的深度信息為其位置參數(shù)計(jì)算提供了理論依據(jù)。彈丸的深度圖像對比其灰度圖像，具有三維位置信息。目前，國內(nèi)外光場圖像的深度估計(jì)方法主要有基于散焦、相關(guān)性線索提取焦點(diǎn)堆棧圖像的局部深度法，基于多視角立體匹配的深度估計(jì)法和基于場景內(nèi)容自適應(yīng)的迭代深度估計(jì)法[1-3]。基于散焦、相關(guān)性線索提取焦點(diǎn)堆棧圖像的局部深度方法對光場相機(jī)重聚焦后的圖像進(jìn)行聚焦性檢測，估計(jì)出物體的局部深度信息[4-7]，應(yīng)用在場景結(jié)構(gòu)簡單且目標(biāo)距離相對較近的場景中；對于物體在場景中有時(shí)可能存在被遮擋或目標(biāo)距離相對較遠(yuǎn)的場景,深度估計(jì)時(shí)的結(jié)果可能會(huì)因此出現(xiàn)較大的錯(cuò)誤。基于多視角立體匹配的方法是利用物體圖像的顏色一致性信息，通過構(gòu)造成本量提取物體的深度信息，利用相移理論獲取微陣列之間的亞像素位移，然后將中心視角與其他視角分別進(jìn)行立體匹配，最后利用圖割優(yōu)化算法獲得最終的深度圖[8]；該方法獲取的深度圖的精度較高，但需要對每個(gè)視角下的圖像進(jìn)行成本構(gòu)造，因此計(jì)算需要時(shí)間較長。基于場景內(nèi)容自適應(yīng)迭代深度估計(jì)算法采用全局優(yōu)化迭代計(jì)算框架，求解不同微透鏡后子圖像的匹配關(guān)系以實(shí)現(xiàn)深度估計(jì)，獲取了不同深度分辨率的重建結(jié)果[9-12]；該方法由于迭代運(yùn)算，進(jìn)行深度估計(jì)時(shí)間較長。本文針對快速且精準(zhǔn)估計(jì)彈丸位置的深度信息，提出基于斜率關(guān)聯(lián)函數(shù)的位置深度估計(jì)方法。

1 微陣列透鏡光場成像原理

相比傳統(tǒng)相機(jī)，光場相機(jī)在結(jié)構(gòu)上增加了微陣列透鏡，可以記錄彈丸的位置和方向的四維光場信息，可以記錄彈丸光線位置和方向信息，具有還原所記錄彈丸圖像場景深度信息的能力。微陣列透鏡光場成像原理如圖1所示。

圖1 微陣列透鏡光場成像原理圖Fig.1 Light field imaging principle of micro array lens

圖1中，多個(gè)彈丸進(jìn)入光場相機(jī)的探測視場內(nèi)，彈丸經(jīng)過光場相機(jī)的主透鏡成像，光線聚焦于微透鏡陣列平面，而后經(jīng)單個(gè)微透鏡分散出強(qiáng)度和方向分量，到達(dá)探測器的探測面，在探測面形成彈丸像點(diǎn),由于微透鏡的重聚焦作用，彈丸在重聚焦平面形成新的像點(diǎn)。光場相機(jī)采集的彈丸四維光場數(shù)據(jù)經(jīng)積分運(yùn)算得到數(shù)字二維重聚焦圖像，可以恢復(fù)出不同位置深度信息的彈丸圖像，該成像模型為彈丸的深度估計(jì)提供了理論依據(jù)。

2 斜率關(guān)聯(lián)函數(shù)的彈丸深度建模與估計(jì)方法

2.1 彈丸成像重聚焦與深度建模分析

光場相機(jī)的重聚焦過程是從采集的彈丸二維光場圖像獲取到四維光場數(shù)據(jù)，光線經(jīng)過微陣列透鏡重聚焦于新的像面，得到處于不同深度位置彈丸的二維圖像，微陣列透鏡中每個(gè)微透鏡成像并在探測器平面上形成一個(gè)宏像素代表一個(gè)空間位置采樣。

根據(jù)光場成像原理，彈丸重新聚焦到一個(gè)新的成像平面，即重聚焦平面，如圖2所示，彈丸重聚焦平面距微陣列透鏡平面的距離為L′，L′=αf；探測器平面距微陣列平面的距離為L，L=F；探測器平面上(s,t)點(diǎn)的光線記為LF(u,v,s,t)；由于重聚焦過程，光線所攜帶的四維信息變?yōu)槎S信息，光線發(fā)生變化記為LαF，在重聚焦平面的光線記為Lαf(s′,t′)，光線LF與LαF實(shí)際上是微陣列與探測器間的同一條光線,其探測器平面接收到的彈丸能量可表示為：

圖2 彈丸光場重聚焦示意圖Fig.2 Refocusing diagram of projectile light field

(1)

彈丸在探測器平面光線信息記為LF(u,v,s,t)，將該處所有位置信息進(jìn)行積分，得到重聚焦平面彈丸清晰的成像，根據(jù)重聚焦原理可以得到，與微陣列距離為αF重聚焦平面彈丸圖像表達(dá)式為：

(2)

式(2)中，f為光場相機(jī)標(biāo)準(zhǔn)焦距，α為重聚焦系數(shù)。彈丸在最大聚焦度情況下，探測器平面距重聚焦平面的最大距離可表示為：

Lmax=αfm

(3)

式(3)中，fm為彈丸成像最清晰時(shí)的最大時(shí)微透鏡焦距，θ為彈丸與光場相機(jī)光軸的夾角。利用透鏡高斯成像原理，彈丸深度信息可表示為：

(4)

不同位置深度信息的彈丸在重聚焦作用下，在重聚焦平面上呈現(xiàn)清晰的像，如圖2所示，得出彈丸光線信息在進(jìn)行積分后，在重聚焦平面所占積分元長度s′-u與深度信息h的關(guān)系為：

(5)

由式(5)可以得出，彈丸在經(jīng)過重聚焦之后，深度與在重聚焦平面所占積分元長度、微透鏡焦距、重聚焦系數(shù)有關(guān)。大小不同的彈丸經(jīng)過重聚焦作用在重聚焦平面所占積分元長度不同，因此大小不同彈丸在經(jīng)過微陣列成像時(shí)所占微透鏡數(shù)目不同。

將彈丸重聚焦模型投影到二維平面，圖3中，a2為彈丸P重聚焦所占積分元長度，h為彈丸的深度信息，微陣列對同一彈丸采集到的圖像之間存在視角差異，根據(jù)微陣列的結(jié)構(gòu)，不同大小彈丸成像所占微陣列的長度值不同，彈丸P重聚焦所占微陣列差值的長度可表示為：

圖3 彈丸所占重聚焦平面積分元與深度關(guān)系Fig.3 The area components of the refocused plane occupied by the projectile depth relationship

d=l1-l2

(6)

根據(jù)相似三角形幾何推導(dǎo)，可以得出深度與微陣列差值的關(guān)系：

(7)

由此可見，微陣列差值d與彈丸深度h成反比，與重聚焦平面的積分元長度b成正比，即彈丸的深度信息越大，所占微陣列差值d越小，重聚焦平面的積分元長度越大。對于大小相同的彈丸，其重聚焦所占微陣列透鏡數(shù)目相同，彈丸的深度信息與重聚焦平面的積分元長度存在線性關(guān)系，因此，根據(jù)彈丸的深度信息與重聚焦平面的積分元長度關(guān)系可以估計(jì)彈丸深度信息。

2.2 斜率關(guān)聯(lián)函數(shù)的彈丸位置深度估計(jì)

彈丸的深度信息與彈丸在重聚焦平面的積分元長度成正比，因此，在光場相機(jī)探測視場內(nèi)，處于不同位置的彈丸具有不同的深度信息。由于存在彈丸數(shù)目較多，因此構(gòu)造彈丸的深度梯度平面圖，反應(yīng)每個(gè)彈丸的深度信息，如圖4所示。

圖4 任意位置彈丸深度梯度示意圖Fig.4 Schematic diagram of projectile depth gradient at any position

圖4中，選取處于光場相機(jī)探測視場內(nèi)不同位置的彈丸A1,A2,A3,A4,重聚焦之后像點(diǎn)在重聚焦平面處于不同的位置，構(gòu)建彈丸深度梯度平面，每個(gè)彈丸的深度信息不同，因此在深度梯度平面內(nèi)不同的位置，可在深度梯度平面內(nèi)插入一條直線，這條線穿過所有彈丸成像點(diǎn)時(shí)彈丸的深度都不同。彈丸的像點(diǎn)處于合焦?fàn)顟B(tài)，此時(shí)這條直線的斜率便反映了彈丸重聚焦所占積分元長度與深度的關(guān)系，并據(jù)此推斷場景的深度與結(jié)構(gòu)：單點(diǎn)對應(yīng)一條紋理線，而紋理線的斜率可以映射出該點(diǎn)的深度信息。由于不同大小彈丸在重聚焦平面的積分元長度對應(yīng)于不同的深度梯度平面，彈丸位置隨機(jī)分布，其成像可能會(huì)存在遮擋，最小二乘法優(yōu)點(diǎn)是可以較好地處理離群值，故我們使用最小二乘法來擬合彈丸深度梯度面，根據(jù)積分元長度值C(h,u,v)對圖像擬合的公式為:

z=ux+vy+h

(8)

(9)

根據(jù)彈丸深度梯度平面圖，反映了彈丸的深度信息，深度梯度平面斜率k可表示為：

(10)

式(10)中，λ表示深度梯度平面平滑算子，kuu表示深度梯度平面在u方向上的梯度，kvv表示深度梯度平面在v方向上的梯度，kuv和kvu表示深度梯度平面在u和v共同方向的梯度。根據(jù)圖4，斜率k可表示為：

(11)

根據(jù)彈丸重聚焦平面的積分元s′-u與深度信息h的關(guān)系可得:

(12)

即彈丸的深度可表示為：

(13)

斜率關(guān)聯(lián)函數(shù)反映彈丸深度梯度平面，可得斜率關(guān)聯(lián)系數(shù)為：

(14)

式(14)中，fmax與fmin分別代表光場相機(jī)微陣列最大焦距與最小焦距，Δf表示微陣列最大焦距與最小焦距的差值，α為重聚焦系數(shù)。

深度梯度平面圖斜率關(guān)聯(lián)度Ri可表示為：

(15)

式(15)中，N為光場相機(jī)探測到的彈丸個(gè)數(shù)，β為光場相機(jī)的分辨率。斜率關(guān)聯(lián)度Ri的大小能夠體現(xiàn)彈丸深度估計(jì)的噪聲，即可反映彈丸深度估計(jì)的精確程度。

3 實(shí)驗(yàn)分析

采用第一代Lytro相機(jī)，其有效光線數(shù)(即像素)為1 100萬，等效焦距為35 mm,焦距范圍為35～280 mm,光學(xué)變焦8倍，可多點(diǎn)觸摸，微陣列透鏡由3 560×3 560的小型微透鏡排列構(gòu)成，可更充分地利用空間分辨率，微透鏡孔徑為150 μm，焦距為3.46 mm。現(xiàn)場布置如圖5所示，以10個(gè)螺絲釘模擬彈丸，螺絲釘后方設(shè)置以參照物，參照物距離光場相機(jī)距離為5 m,每個(gè)螺絲釘與光場相機(jī)的距離不同，距離螺絲釘一定距離設(shè)置一基準(zhǔn)線，光場相機(jī)放置于基準(zhǔn)線上，拍攝得到10個(gè)螺絲釘以及參照物的光場圖像。為了對比本方法計(jì)算螺絲釘?shù)纳疃刃畔⒌木龋瑢⒓す鉁y距儀放置于基準(zhǔn)線，分別測得每個(gè)螺絲釘距離基準(zhǔn)線的垂直距離，作為實(shí)驗(yàn)對比數(shù)據(jù)。

圖5 實(shí)驗(yàn)現(xiàn)場示意圖Fig.5 Schematic diagram of experiment site

根據(jù)圖5采用斜率關(guān)聯(lián)函數(shù)處理得到全局深度梯度如圖6所示。

圖6 圖像深度輸出結(jié)果Fig.6 Image depth output results

圖6中顏色的不同代表了螺絲釘深度信息的不同，螺絲釘距離光場相機(jī)距離越近(深度信息越小),則顏色越深，距離光場相機(jī)距離越遠(yuǎn)，顏色越淺，可以看出參照物其顏色最淺，利用采集的光場數(shù)據(jù)得到彈丸深度信息與重聚焦平面的積分元長度變化曲線如圖7所示。

圖7 彈丸深度信息分布圖Fig.7 Distribution of projectile depth information

由圖7可以得出，彈丸目標(biāo)與光場相機(jī)光軸的夾角在0°～90°范圍內(nèi)，彈丸與光場相機(jī)光軸越近時(shí)，彈丸深度信息越大，在θ≈0°時(shí)，彈丸深度信息達(dá)到最佳，此時(shí)彈丸在重聚焦平面像點(diǎn)最為清晰，深度信息隨著彈丸與光場相機(jī)的光軸夾角θ變大而減小。分析可知，通過彈丸在重聚焦平面的積分元長度可估計(jì)彈丸的深度信息。

采用最小二乘法對不同深度信息彈丸進(jìn)行斜率梯度平面擬合，斜率梯度平面分布如圖8所示。

圖8 彈丸斜率梯度平面分布圖Fig.8 Plane distribution of projectile slope gradient

根據(jù)圖8得知，處于不同深度的彈丸在重聚焦平面的像點(diǎn)位置不同，斜率平面可直觀反映彈丸深度信息，斜率k的變化范圍為1～5，其結(jié)果與激光測距儀測得每個(gè)螺絲釘距離光場相機(jī)的距離基本吻合。

深度梯度平面圖斜率關(guān)聯(lián)度能夠反映估計(jì)深度的精確程度，光場相機(jī)最小焦距取35 mm,最大焦距取280 mm,即Δf=245 mm，重聚焦系數(shù)α范圍為0.1～1。彈丸深度梯度平面斜率關(guān)聯(lián)度如圖9所示。

由圖9分析得知，彈丸深度梯度平面斜率關(guān)聯(lián)度與光場相機(jī)焦距f與重聚焦系數(shù)α的變化呈線性關(guān)系。焦距與重聚焦系數(shù)取最小時(shí)，彈丸深度梯度平面斜率關(guān)聯(lián)度為最小值0.1，此時(shí)的彈丸深度估計(jì)精確度較低；焦距與重聚焦系數(shù)取最小時(shí)，彈丸深度梯度平面斜率關(guān)聯(lián)度為最大值0.9，彈丸深度估計(jì)精確度高。因此斜率關(guān)聯(lián)度Ri體現(xiàn)了彈丸深度信息估計(jì)的精確性，為彈丸深度信息估計(jì)精度提供了參考依據(jù)。

圖9 彈丸深度梯度平面斜率關(guān)聯(lián)度分布圖Fig.9 Distribution of correlation degree of plane slope of projectile depth gradient

本文忽略了光場相機(jī)制造參數(shù)對彈丸深度信息估計(jì)的影響，主要討論彈丸與光場相機(jī)光軸的夾角、焦距、重聚焦系數(shù)對深度信息的影響，為了進(jìn)行彈丸深度信息估計(jì)的不確定性分析，表1給出了重聚焦系數(shù)取0.5，焦距取150 mm，10個(gè)彈丸與光軸夾角取不同值情況下深度信息估計(jì)的實(shí)驗(yàn)數(shù)據(jù)。

表1 彈丸與光軸夾角對深度估計(jì)的影響Tab.1 Influence of angle between projectile and optical axis on depth estimation

表1中，在焦距和重聚焦系數(shù)不變的情況下，與激光測距儀測得距離作對比，實(shí)驗(yàn)數(shù)據(jù)表明，隨著彈丸與光場相機(jī)光軸的夾角θ逐漸變大，其深度信息誤差逐漸大，誤差最大為6.93 mm,最小為2.67 mm。表2給出彈丸與光軸夾角、重聚焦系數(shù)不變情況下，焦距取不同值時(shí)深度信息估計(jì)的實(shí)驗(yàn)數(shù)據(jù)。

表2 焦距對深度信息估計(jì)的影響Tab.2 Effect of focal length on depth information estimation

表2中，在彈丸與光軸夾角和重聚焦系數(shù)不變的情況下，與激光測距儀測得距離作對比，實(shí)驗(yàn)數(shù)據(jù)表明，隨著相機(jī)焦距的逐漸變大，其深度信息逐漸變大，誤差最大為6.93 mm,最小為2.67 mm。表3給出彈丸與光軸夾角、焦距不變情況下，不同重聚焦系數(shù)下深度信息估計(jì)的實(shí)驗(yàn)數(shù)據(jù)。

表3 重聚焦系數(shù)對深度信息估計(jì)的影響Tab.3 Effect of refocusing coefficient on depth information estimation

續(xù)表3

表3中，在彈丸與光軸夾角和焦距不變的情況下，與激光測距儀測得距離作對比，實(shí)驗(yàn)數(shù)據(jù)表明，隨著重聚焦的逐漸變大，其深度信息誤差先變小后變大，重聚焦系數(shù)取0.5時(shí)深度信息估計(jì)達(dá)到最佳為1.38 mm，重聚焦系數(shù)相比于彈丸與光軸夾角和焦距對深度信息估計(jì)影響較小。

4 結(jié)論

本文提出基于斜率關(guān)聯(lián)函數(shù)的彈丸位置深度估計(jì)方法，該方法建立了彈丸光場重聚焦與深度關(guān)系模型，給出彈丸通過光場相機(jī)測試區(qū)域任意位置時(shí)的深度信息與光場相機(jī)的焦距和重聚焦系數(shù)之間的關(guān)聯(lián)，構(gòu)建光場重聚焦與深度信息的數(shù)學(xué)模型，結(jié)合彈丸深度信息與彈丸所占積分元長度處于重聚焦平面的關(guān)系，推導(dǎo)了任意位置彈丸深度信息的解析函數(shù)，利用最小二乘法擬合彈丸深度梯度平面，結(jié)合斜率關(guān)聯(lián)函數(shù)估計(jì)彈丸位置深度信息。仿真實(shí)驗(yàn)結(jié)果表明，光場相機(jī)焦距在35～280 mm與彈丸和光場相機(jī)光軸夾角0到π/2范圍內(nèi)，隨著彈丸和光場相機(jī)光軸夾角和焦距的增大其彈丸深度信息誤差逐漸變大，彈丸位置深度估計(jì)精度達(dá)到10%，為靶場武器測試領(lǐng)域彈丸深度信息的估計(jì)提供了方法。