基于虛擬深度的聚焦型顯微光場相機深度測量標(biāo)定

錢天磊， 周 騖， 馬原馳， 劉慧芳， 蔡小舒

（上海理工大學(xué) 能源與動力工程學(xué)院，上海 200093）

隨著光學(xué)電子制造工藝和計算成像技術(shù)的發(fā)展，光場相機已逐步走入生活和科研領(lǐng)域。在功能方面，與傳統(tǒng)相機相比，光場相機可同時記錄光線的強度和傳播方向，實現(xiàn)空間光場信息的采集；獲得的數(shù)據(jù)可以用于數(shù)字重聚焦、三維重建、空間深度獲取等諸多方面。在結(jié)構(gòu)方面，與傳統(tǒng)相機相比，光場相機在主鏡頭和傳感器之間增加了一片微透鏡陣列，用于光線傳播方向的獲取。

光場這一概念最早由Gershun[1]在1939 年提出，用來描述光在三維空間中的輻射傳遞特征。1992 年，Andelson 等[2]設(shè)計了一臺單鏡頭的光場相機，其原理為在主鏡頭成像面上安裝一個透鏡陣列用以采集光線的角度信息，實現(xiàn)了光場采集和三維測量。但由于當(dāng)時制造工藝限制，微透鏡和傳感器像元較大，其測量精度很低。Ng[3]在2006 年制造了第一臺手持式的光場相機。Lumsdaine 等[4-5]設(shè)計了聚焦型光場相機，也被稱為第二代光場相機。與第一代光場相機相比，聚焦型光場相機的特點是傳感器所在位置與主鏡頭成像面關(guān)于微透鏡陣列共軛。微透鏡陣列與傳感器組成了微型的多目視覺系統(tǒng)[6]，對主鏡頭的成像進行了二次的采集。相同硬件條件下，這一結(jié)構(gòu)的光場相機空間分辨率更高。2012 年，Perwa?[7]等對聚焦型光場相機結(jié)構(gòu)進行改良，用3 種不同焦距的微透鏡陣列代替?zhèn)鹘y(tǒng)單一焦距的微透鏡陣列。相比于單一焦距的微透鏡陣列，3 種焦距按規(guī)律交錯分布的微透鏡陣列在像方的成像范圍更廣。在不同深度位置下，選擇成像最清晰的一種微透鏡進行深度測量，可提升深度測量范圍。

為了實現(xiàn)光場相機的三維測量，對整套測量系統(tǒng)的標(biāo)定必不可少，即將圖像中提取的深度表征量與實際深度一一對應(yīng)。Bok 等[8]通過拍攝棋盤格標(biāo)定板，利用原始圖像中的線性特征對非聚焦型光場相機進行了標(biāo)定。Johannsen 等[9]通過拍攝確定傾斜角度的圓點標(biāo)定板，利用21 個參數(shù)對每個圓點從物方到像方的坐標(biāo)轉(zhuǎn)換進行了描述。在給定部分參數(shù)的理論初始值后，采用序列二次規(guī)劃（SQP）算法求解標(biāo)定模型，對裝配大景深單反鏡頭的聚焦型光場相機進行了標(biāo)定。Sun 等[10]通過拍攝傾斜的棋盤格標(biāo)定板，利用共軛關(guān)系將圖像上的點坐標(biāo)轉(zhuǎn)換到虛擬像點坐標(biāo)，采用張正友標(biāo)定法[11]，對大景深的聚焦型光場成像系統(tǒng)進行了標(biāo)定。

在標(biāo)定聚焦型顯微光場相機時，由于其主鏡頭景深淺、深度測量范圍小的特點，利用傾斜角度的標(biāo)定板進行標(biāo)定時，標(biāo)定板初始位置難以確保與成像面完全平行，實際傾斜角度很難精確確定；而成像系統(tǒng)深度測量范圍小，標(biāo)定板在深度測量范圍內(nèi)可傾斜角度小，難以進一步精確細分傾角來拍攝足夠數(shù)量的標(biāo)定圖像來進行相機標(biāo)定。本文通過平移拍攝不同深度下的單一角點標(biāo)定板進行標(biāo)定，利用圖像匹配算法，計算得到相鄰重復(fù)成像點的間距與虛擬深度，并將虛擬深度與實際深度進行擬合。通過驗證性實驗，并與商業(yè)軟件深度測量結(jié)果對比，證明這一標(biāo)定方法的準(zhǔn)確性。

1 標(biāo)定原理

1.1 聚焦型光場相機成像模型

根據(jù)微透鏡陣列在主鏡頭成像面的前后位置不同，聚焦型光場相機又可細分為兩種結(jié)構(gòu)[12]，如圖1 所示。分析圖1（a）可知，當(dāng)測量點從主鏡頭工作距離逐步遠離主鏡頭時，光線的出射孔徑角會逐漸增大，像面逐漸前移，所投射到的微透鏡則會越來越少。當(dāng)被投射的透鏡少于2 個時，無法進行深度測量。因此，圖1（a）所示結(jié)構(gòu)的聚焦型光場相機測量范圍位于主鏡頭工作距離前向，圖1（b）則與之相反。采用圖1（a）結(jié)構(gòu)的聚焦型光場相機，對圖2（a）所示圖形在不同深度位置下拍攝，得到一系列光場圖像。初始位置在主鏡頭工作距離附近，所獲得的光場原始圖像如圖2（b）所示。當(dāng)物體遠離初始位置1 mm 時，如圖2（c）所示，微透鏡下的成像無法提取出特征信息進行深度測量。圖2（d）～（f）為從初始位置逐步靠近主鏡頭拍攝得到的光場原始圖像。由變化趨勢可見該光場相機的微透鏡陣列在主鏡頭成像面前，且通過微透鏡對應(yīng)的宏像素圖像可發(fā)現(xiàn)，微透鏡陣列為3 種不同焦距的透鏡規(guī)律排布而成。

圖1 兩種不同結(jié)構(gòu)聚焦型光場相機Fig.1 Two focused light-field cameras with different structures

圖2 同一物體在不同深度位置下的光場圖像Fig.2 Light-field images at different depths from the same object

1.2 虛擬深度與實際深度函數(shù)關(guān)系推導(dǎo)

為了便于虛擬深度與實際深度間關(guān)系式的推導(dǎo)，一般將主鏡頭成像簡化為薄透鏡成像模型，微透鏡成像簡化為針孔成像模型[13]。光場成像原理簡圖如圖3 所示，l 為物面到主鏡頭的距離，即物體實際深度，l’為主鏡頭到虛擬清晰像面的距離，m 為主鏡頭到微透鏡陣列的距離，a 為微透鏡到傳感器的距離，b 為微透鏡到像面的距離，D 表示重復(fù)像點間距離，d 表示2 個重復(fù)像點所對應(yīng)的微透鏡中心距離。

主鏡頭成像符合高斯公式

式中，f 為主鏡頭焦距。

只要求解得到l’，即可通過式（1）計算出深度l。而l’符合等式

主鏡頭到微透鏡的距離m 為未知常量，微透鏡到像面的距離b 為未知變量，是商業(yè)相機內(nèi)部參數(shù)。引入一個無量綱參數(shù)虛擬深度v[14]。

分析圖3 中的幾何相似關(guān)系可以得到

將式（3）代入式（4），可得

圖3 聚焦型光場相機深度測量原理簡圖Fig.3 Principle of depth estimation by the focused light-field camera

因此，通過提取原始圖像中的特征點，獲取其相鄰重復(fù)像點的間距D，即可計算得到虛擬深度v。聯(lián)立等式（1）～（3）可得

式（6）描述了虛擬深度v 與物體實際深度l 間的函數(shù)關(guān)系：l 為關(guān)于v 的含有3 個未知常量的反比例函數(shù)。通過拍攝多組深度下的圖像，得到多組（l, v）并進行擬合，即可求解得到未知參數(shù)，完成測量系統(tǒng)的標(biāo)定。考慮實際主鏡頭為透鏡組，設(shè)l0為物面到主鏡頭前端面距離，Δl 為主鏡頭前端面到等效主平面的距離。

將式（7）代入式（6），可得

由于Δl 與a，m，f 同樣為未知常量，將Δl 合并入分式，可以得到式（8）的函數(shù)形式為

式中：x 為自變量；f (x)為因變量；p1，p2，q1為3 個未知常量。

式（9）與式（6）的函數(shù)形式相同，為含有3 個未知常量的反比例函數(shù)。因此，主鏡頭等效主平面位置不影響實際深度與虛擬深度的函數(shù)關(guān)系形式，可以用物面到主鏡頭前端面距離l0代替實際物距l(xiāng) 進行標(biāo)定與擬合，式（6）具有通用性。

2 標(biāo)定實驗

2.1 實驗裝置

圖4 聚焦型顯微光場相機標(biāo)定系統(tǒng)示意圖Fig.4 Schematic of the calibration system for the focused micro light-field camera

實驗裝置如圖4 所示，采用Raytrix 公司生產(chǎn)的R12 Micro 光場相機，微透鏡光圈大小為F26；配合主鏡頭為型號VSZ-0745CO 的可變倍鏡頭，光圈為無級調(diào)節(jié)，調(diào)節(jié)范圍包含F(xiàn)26。選取主鏡頭的放大倍率為2.8×，光闌完全打開，相鄰宏像素相切但不重疊，滿足主鏡頭與微透鏡光圈相匹配[7]的原則。在這一成像條件下，主鏡頭景深約0.2 mm，工作距離為100 mm。在工作距離附近固定標(biāo)定板，作為起始位置。分析式（6）可知，理論上只需拍攝3 個不同深度位置的標(biāo)定板圖像，即可求解得到未知參數(shù)。為了提高標(biāo)定結(jié)果的準(zhǔn)確性，本文將位移平臺在5 mm 深度范圍內(nèi)，以0.2 mm 為步長朝主鏡頭方向移動標(biāo)定板，每移動一次標(biāo)定板，拍攝一張標(biāo)定板圖像并記錄下對應(yīng)的深度，共拍攝26 張標(biāo)定圖像。

2.2 標(biāo)定圖像處理及結(jié)果

使用的光場相機微透鏡陣列中存在3 種不同焦距的微透鏡，其分布規(guī)律如圖5 所示，數(shù)字1，2，3 分別標(biāo)記了這3 種微透鏡。本文選用的圖像處理軟件為MATLAB。選擇對比度較高、成像較清晰的一種透鏡，在其宏像素下選取特征區(qū)域，并記錄特征區(qū)的頂點坐標(biāo)（x1, y1）。利用MATLAB中基于最小距離分類器的模板匹配算法[15]可匹配到相近同種微透鏡下的特征區(qū)，并獲得其頂點坐標(biāo)為（x2, y2）。通過兩者的坐標(biāo)差，可以計算得到D，并根據(jù)式（5）進一步獲得v。

圖5 3 種不同焦距的微透鏡及特征區(qū)域匹配Fig.5 Microlens with three different focal lengths and image matching

根據(jù)式（6），在MATLAB 平臺上選用式（9）所示的反比例函數(shù)對標(biāo)定實驗的一組（l，v）數(shù)據(jù)進行擬合，結(jié)果如圖6 所示。實驗標(biāo)定深度范圍為95～100 mm，擬合公式確定系數(shù)為0.984 9。

圖6 擬合曲線得到的虛擬深度與實際深度關(guān)系Fig. 6 Functional velation between virtual depth and real depth by curve fitting

綜上，聚焦型顯微光場相機的標(biāo)定步驟如下：

a. 通過在主鏡頭工作距離前后平移標(biāo)定板，分析不同深度位置下的成像，確定所要標(biāo)定的聚焦型顯微光場相機成像模型與深度測量區(qū)（微透鏡陣列在主鏡頭成像面前或者后，深度測量區(qū)在主鏡頭工作距離位置前向或者后向）；

b. 選擇單一角點的標(biāo)定板，使拍攝視場內(nèi)僅出現(xiàn)一個深度的特征點。確定標(biāo)定的深度范圍和初始位置，拍攝不同深度下的標(biāo)定板圖像；

c. 在每一幅光場原始圖像中，選擇成像質(zhì)量最佳的微透鏡下的特征區(qū)域，通過圖像匹配算法獲得相鄰重復(fù)像點的間距D，并計算虛擬深度v；

d. 將虛擬深度v 與實際深度l 一一對應(yīng)，選擇反比例函數(shù)模型進行曲線擬合，獲得函數(shù)關(guān)系式；

e. 得到系統(tǒng)參數(shù)。

3 深度測量分辨率與測量誤差

3.1 深度測量分辨率分析

分析圖6 可以發(fā)現(xiàn)，對本文中的測量系統(tǒng)，在深度處于95.0～97.6 mm 范圍內(nèi)出現(xiàn)了多個實際深度l 對應(yīng)一個虛擬深度v 的現(xiàn)象，造成這一現(xiàn)象的原因是當(dāng)深度測量點逐漸靠近主鏡頭時，出射孔徑角的變化量越來越小，重復(fù)成像點間距的變化量ΔD 也隨之越來越小，當(dāng)ΔD 小于一個像素時，就無法分辨出物方深度的變化，達到了基于此標(biāo)定方法的深度測量分辨率極限。將式（5）代入標(biāo)定函數(shù)式，可得深度l 與重復(fù)像點間距離的關(guān)系式

由ΔD 大于等于1 個像素得到

化簡后得到

圖7 為主鏡頭前端95～100 mm 范圍內(nèi)的深度測量分辨率曲線，Δl 為深度測量分辨率。分析圖7 曲線，當(dāng)l＜97.8 mm 時，Δl 超過了0.5 mm。而標(biāo)定實驗中，選取的步長為0.2 mm，小于該深度下的深度測量分辨率，從而造成了多個實際深度對應(yīng)同一虛擬深度的現(xiàn)象。

圖7 不同深度下的深度測量分辨率Fig. 7 Resolution of depth estimation at different depth positions

圖8 深度測量誤差分析實驗系統(tǒng)示意圖Fig.8 Diagram of the experiment system for the analysis of depth measurement error

3.2 測量誤差分析實驗

在本文的標(biāo)定實驗中，由于實驗中難以精確獲得物體離鏡頭前端面的實際距離，本文對深度差值的測量誤差進行分析。如圖8 所示，采用1 mm×1 mm 的棋盤格標(biāo)定板，通過旋轉(zhuǎn)平臺將標(biāo)定板傾斜一定的角度即可獲取兩角點間的深度距離。由于安裝標(biāo)定板時難以確保其處于平行面，且很難通過更精確的測量方法獲取真實的初始傾斜角度，本文通過深度測量的方式確定標(biāo)定板在旋轉(zhuǎn)前的初始傾角，并依據(jù)該深度位置下的深度測量分辨率計算初始傾角的誤差。拍攝一張旋轉(zhuǎn)前的圖片，選取棋盤格上同一行間距為3 mm 兩個角點。通過深度計算公式，得到兩個角點在初始位置時深度分別為99.927 mm 與99.837 mm，深度測量分辨率分別為0.066 mm 與0.076 mm。選擇分辨率較大值0.076 mm 作為誤差，則相對深度為0.090±0.076 mm，且通過三角函數(shù)關(guān)系可以得到初始傾角θ0為1.7±1.5°。利用旋轉(zhuǎn)平臺將標(biāo)定板傾斜20°，標(biāo)定板所在平面與平行面的夾角為21.7±1.5°。旋轉(zhuǎn)后，間距3 mm 兩個角點的實際深度距離間隔為1.11±0.07 mm，在后續(xù)誤差分析中以1.11 mm 作為真實值進行對比。將傾斜后的標(biāo)定板在主鏡頭工作距離附近固定，通過位移平臺在5 mm 范圍內(nèi)以0.2 mm 為步長移動標(biāo)定板，拍攝每個深度位置下的圖像。

基于圖6 中的標(biāo)定數(shù)據(jù)，測量上述拍攝圖像中兩個角點的相對深度，并與相對深度值1.11 mm進行比較，得到測量誤差，如圖9 所示。將實驗的處理結(jié)果與商業(yè)軟件的處理結(jié)果進行了對比。在97.4～100 mm 范圍內(nèi)，兩者測量誤差隨深度變化的趨勢基本一致，且本文標(biāo)定方法的深度測量誤差略小于商業(yè)軟件的測量誤差。當(dāng)深度小于97.4 mm 時，深度測量分辨率較快下降，對相對深度測量的誤差影響較大，不適合進行深度測量。考慮到在98～100 mm 深度范圍內(nèi)誤差小于5.35%，具有較高的深度測量精度，可認為該范圍為系統(tǒng)的測量范圍。

圖9 不同深度位置下的深度測量誤差Fig. 9 Depth measurement error at different depth positions

4 結(jié) 論

對聚焦型顯微光場相機進行了基于虛擬深度的深度測量標(biāo)定及誤差分析，得到以下結(jié)論：基于高斯光學(xué)理論，推導(dǎo)出深度表征量虛擬深度與實際深度成反比例函數(shù)關(guān)系，并證明這一函數(shù)關(guān)系對薄透鏡和透鏡組均適用。基于光場相機Raytrix R12 Micro 搭建了顯微光場成像系統(tǒng)，通過拍攝不同深度位置的單一角點標(biāo)定板，對成像系統(tǒng)進行了深度測量的標(biāo)定。基于標(biāo)定得到的數(shù)據(jù)，對上述光場成像系統(tǒng)在不同深度位置下的深度分辨率進行了分析，深度測量分辨率最小可達57.8 μm。通過拍攝已知傾斜角度的棋盤格標(biāo)定板，對不同深度位置下的深度測量誤差進行分析，在該系統(tǒng)主鏡頭工作距離前向2 mm（10 倍景深）范圍內(nèi)，測量誤差小于5.35%，說明本文所提出的深度測量和相應(yīng)的標(biāo)定方法可行可靠。