光場成像系統仿真分析與深度標定研究

于成帥, 周 騖, 蔡小舒

（上海理工大學 能源與動力工程學院，上海 200093）

相比于傳統成像而言，光場成像能采集整個空間的光輻射分布，經過相位變換和投影積分能得到不同空間位置的圖像，能對光輻射直接進行誤差校正，達到去除幾何像差的目的，能計算出物體的三維結構。光場的概念最早由Gershun 于1936 年提出，用于表征整個空間光線的輻射傳輸特性[1]。麻省理工學院的Adelson 教授于1991 年將光場表示成7 維的全光函數，并將該概念引入視覺與感知研究，首次提出全光相機模型[2]。Levoy于1996 年將光場簡化成光線與2 個平面相交的模型，用4 維參數表示光線的分布[3]。

光場采集方法主要分為兩類：多相機組合和單相機改造。斯坦福大學的Wilburn 等設計了幾種不同配置的攝像機陣列，每個相機分別位于不同的視角方向，對應光場的一個方向采樣，相機中的探測器像元經過鏡頭投影到外部空間后對應光場的位置采樣，通過嚴格控制各相機的同步時間精度和相對位置精度，能獲得高質量的合成圖像[4]。但是，由于相機陣列體積較大、費用較高、相機同步控制較復雜等原因，目前只處于實驗室研究和商業開發階段。斯坦福大學的Ng 于2005 年在Adelson 提出的全光相機模型的基礎上進行了改進，首次研制出了手持式光場相機，利用數字重聚焦理論實現了先拍照后聚焦[5]。但是，該光場相機的空間分辨率和角度分辨率嚴重地受到微透鏡單元數量的限制。Andrew 于2009 年基于光場相機的方向分辨率冗余性提出了聚焦型光場相機模型[6]，該光場相機的空間分辨率和角度分辨率與微透鏡單元的數量無關，只與微透鏡陣列與傳感器的距離有關，改變這個距離可以調整角度分辨率和空間分辨率。因此，依據微透鏡陣列與探測器之間距離的取值范圍可以將光場相機分成3 種類型[7]：非聚焦（傳統）光場相機、聚焦開普勒型光場相機和聚焦伽利略型光場相機。

在顆粒測量方面，普通相機或者顯微鏡只能得到顆粒的二維信息，無法得到顆粒的三維信息。光場相機能將普通相機丟失的方向信息記錄下來，從而實現單曝光記錄整個光場的四維信息，通過處理顆粒表面的光場信號可以測得顆粒的深度或表面三維信息。光場圖像的深度信息一般可以通過比較一系列重聚焦圖片的清晰度得到[8]。尹曉艮等[9]使用光場數字重聚焦技術結合DFF（depth-from-focus）算法實現物體的三維重建。宋祥磊等[10]提出了光場顯微粒子圖像測速技術（light field micro-PIV），開展了微尺度流場重建實驗研究。劉慧芳等[11]采用基于光場成像理論模型的深度標定方法，實現了光場PTV 方法的顆粒三維速度測量。

本文采用仿真模擬比較了3 種類型光場相機的優缺點，分析了微透鏡陣列與傳感器距離b對系統景深、焦深以及光圈的影響。綜合考慮實際條件和測量對象，搭建了聚焦伽利略型光場相機。其中，b=0.6fm，fm為微透鏡單元的焦距。對該相機進行了深度標定實驗，并采用仿真系統模擬了實際的深度標定實驗，進行對比分析，結果表明，影響深度標定實驗準確性的因素為原圖清晰度、采樣步長、重采樣倍數以及擬合方法等。

1 成像原理

1.1 深度標定原理

圖1 光場相機深度標定原理圖Fig.1 Principle diagram of the light field camera depth calibration

伽利略型光場相機成像原理如圖1 所示。對于內部參數（f,fm,n,b）一定的系統，軸上理想物點為A，對應的理想像點為A′。軸上其他物點B經過主鏡頭，對應像點為B′，微透鏡陣列對該虛擬像點B′進行二次成像，理想聚焦點將不會落在相機傳感器上，反而會在傳感器上形成彌散圓，使圖像變得模糊。圖1 中l為理想物距，L為主鏡頭理想像距，l′為重聚焦物距，L′為主鏡頭重聚焦像距，a為微透鏡陣列物距，b為微透鏡陣列與傳感器距離，a′為重聚焦后微透鏡陣列的物距，b′為重聚焦后微透鏡陣列與傳感器距離，n為主鏡頭主平面到微透鏡陣列的距離，m為主鏡頭與光闌的距離，t為光闌與微透鏡陣列的距離，f為主鏡頭焦距，fm為微透鏡單元的焦距，d為微透鏡單元孔徑，c為光闌孔徑。根據重聚焦理論，光線到達傳感器沿著原來的方向繼續傳播將會聚焦在傳感器后面某個位置，因此，該位置對應的重聚焦圖片將會是最清晰的。對于某一重聚焦系數α，有如下關系式：

經過代數整理后可得

其中，

式中，c1，c2和c3均為系統常數。

在系統內部參數b，n，f，fm不變的情況下，不同的重聚焦系數α對應不同的像面5′，對應不同的主鏡頭成像虛擬面3′，對應不同的物面0′。因此，只需要找到每個位置對應的最優重聚焦系數[11]，就能求出c1，c2和c3，進而根據式（2）求出重聚焦系數所對應的實際深度l′。式（2）同樣適用于聚焦型開普勒光場相機和傳統光場相機。

1.2 系統景深與焦深計算

根據式（2）還可以計算重聚焦系數與景深、焦深的關系。只要物點經過系統所形成的像點的彌散斑小于像素的寬度，就認為像仍然是清晰的，對應的物方成像范圍稱作景深[4]。像面的允許變化范圍即焦深，其計算式為[7]

式中：Δx為系統焦深；p為像素尺寸。

對于不同的系統，即b的值不同，其將擁有不同的焦深，且焦深與b成正比。而對于同一個系統，即b為固定內參時，其將對應一定的焦深。將焦深轉換為該系統允許清晰成像的重聚焦系數，就能得到對應的景深。所以，景深Δl的計算式為

其中，

在參數p，d，f，fm不變的情況下，不同的b決定了主鏡頭主平面到微透鏡陣列的距離n，b與景深Δl之間存在一一對應的關系。當鏡頭與光場傳感器（微透鏡陣列與傳感器的組合）確定的情況下，可以根據式（3）和式（6）計算不同b對應的系統焦深和景深。

2 3 種類型光場相機比較研究

為了搭建一套可用于微顆粒表面形貌測量的光場相機成像系統，使用光學仿真軟件Zemax 對光場相機的3 種類型分別進行模擬，比較它們的優缺點，最終選擇其中1 種類型進行實驗研究。

2.1 仿真系統的搭建

仿真系統主要包括主鏡頭、光闌、微透鏡陣列和探測器。主鏡頭的主要參數為波長、視場、焦距以及F#（焦距/入瞳直徑）。光闌的主要參數為孔徑。微透鏡陣列的主要參數為微透鏡單元的數量、孔徑和F#。探測器的主要參數為像素數和像素尺寸。仿真系統的參數與實驗系統相關參數保持一致，系統各元件主要參數如表1 所示。

光闌與微透鏡陣列之間的距離滿足關系式：

表1 系統元件參數Tab.1 Table of the system element parameters

光闌孔徑代表著系統的出瞳直徑，由如下公式計算：

為了比較3 種光場相機的成像特點，在設計不同光場相機成像系統時，假設主鏡頭與光場傳感器參數固定，即在p，d，f，fm不變的前提下，保持主鏡頭與光闌的距離m不變，物距不變，像距L也不變，將光場相機的微透鏡陣列與探測器之間的距離b作為變量，其他系統參數按照式（8）和式（9）進行計算，共仿真了9 套成像系統，系統參數如表2 所示。

根據式（3），（6）和（9）分別計算不同b對應的系統景深、焦深和光圈直徑，并繪制出曲線，如圖2 所示。

由圖2 可知，聚焦型光場相機的焦深隨著b的增加而增加，光圈隨著b的增加而減小，但是，伽利略型光場相機的景深隨著b的增加而增加，開普勒型光場相機的景深隨著b的增加而減小。傳統光場相機的景深相對較大。9 套系統計算得到的結果如表2 所示。

表2 仿真系統參數表Tab.2 Table of the simulation system parameters

圖2 系統景深、焦深、光圈大小與b 的關系曲線圖Fig.2 Relationship between b and the system depth of field, focal depth and aperture size

在Zemax 零件設計器中通過腳本文件自定義四邊形非完全填充型微透鏡陣列，采用混合模式建立以上9 套成像系統，圖3 為仿真軟件建立的四邊形非完全填充型微透鏡陣列外觀圖和系統輪廓圖。

圖3 仿真系統輪廓圖Fig.3 Outline of the simulation system

2.2 仿真結果

仿真與實驗標定圖如圖4 所示。對每個成像系統，利用Zemax 幾何位圖分析功能[12]將圖4（b）以相同大小放置在與鏡頭相同距離的位置，得到一張包含分辨率信息的原始光場圖，如圖5 所示。再用一張白色圖片得到一張包含微透鏡中心坐標信息的白板圖，用于仿真標定實驗。

圖4 仿真與實驗標定板圖Fig.4 Simulation and experimental calibration charts

2.3 分 析

對于傳統光場相機而言，空間分辨率等于微透鏡單元的數量，角度分辨率等于每個微透鏡單元下覆蓋的像元數，即空間分辨率和角度分辨率完全取決于微透鏡單元的數量和尺寸。但是，當微透鏡單元的尺寸很小時，每個微透鏡單元所形成的子圖像就會因為邊緣效應產生噪聲和不可信的結果。為了克服邊緣效應，每個微透鏡單元下的像素數相對要多一點，這樣就無法得到較高的空間分辨率，限制了傳統光場相機的功能[13]。而且由于微透鏡單元的衍射效應，要求子孔徑經過微透鏡單元產生的艾里斑直徑不超過像素的寬度[4]，也間接限制了傳統光場相機的用途。

對于聚焦型光場相機，原始光場圖片經過渲染得到的空間分辨率等于傳感器分辨率乘以b/a，角度分辨率等于a/b，將圖4 中（a）～（d）以及（f）～（i）放大能看到小男孩的鼻子被越來越多的微透鏡單元成像。由于b的取值范圍要滿足式

渲染圖像的分辨率將隨著a的減小而增加。聚焦型光場相機的空間分辨率和角度分辨率之間的平衡關系與微透鏡數量無關，因此，可以采用相對大尺寸的微透鏡單元克服邊緣效應。

景深將對光場相機的深度分辨能力產生影響。景深越大，系統越難以分辨微小的物體；景深越小，將越能提高系統的深度分辨率。經過綜合考慮，根據測量要求和實際條件，選擇b=0.6fm的聚焦型伽利略光場相機。

圖5 不同系統仿真結果圖Fig.5 Simulation results by different systems

3 實驗系統搭建與深度標定分析

3.1 光場相機的搭建

根據表3 搭建了變倍的聚焦伽利略型光場相機，如圖6 所示。主鏡頭型號為索雷博的TRS254-040-A 的三膠合透鏡，焦距為40.6 mm；型號為SM1NR1 的可伸縮鏡筒，實測行程52.8 mm；型號為SM1D12C 的可調光圈，可調范圍為1～12 mm；型號為MLA150-7AR-M 的四邊形非完全填充型微透鏡陣列，邊長為150 μm，焦距為5.5 mm，材料為Silica；相機采用的是IDS 生產的型號為UI-1242LE-C 的板式相機，像元尺寸為5.3 μm，分辨率為1 280×1 024。

表3 搭建的光場相機參數表Tab.3 Table of detail parameters of the self-built light field camera

相機的光闌處于主鏡頭與微透鏡陣列之間，即系統的出瞳就是該光闌，并且保持光闌、微透鏡陣列以及探測器之間的距離不變。隨著主鏡頭與光闌之間距離的變化，也就是像距發生變化，對應的物距隨之發生變化，但是，主鏡頭的一次成像面相對微透鏡陣列的位置不變。

3.2 深度標定實驗

3.2.1 仿真分析

圖6 光場相機外觀與內部結構圖Fig.6 Appearance and internal structure of the self-built light field camera

在Zemax 混合模式下，建立與實際系統參數一致的仿真系統。采用圖4 中（a），（b），（c）3 種不同參數的標定板按照不同的實驗方案進行深度標定實驗，標定板參數如表4 所示，實驗方案參數如表5 所示。其中，系統的空間分辨率為3.3 lp/mm，標定板的空間分辨率要小于系統的空間分辨率。對每組原始光場圖片進行重聚焦處理[14]，得到每組重聚焦圖片的清晰度與重聚焦系數的關系曲線，仿真曲線如圖7 所示。最終得到最優重聚焦系數與深度位置的關系曲線，仿真數據如圖8所示。對圖7 中的仿真曲線進行8 次多項式擬合，得到圖7 中的擬合曲線，以此得到深度標定結果，如圖8 中的清晰度擬合得仿真數據所示。對圖8 中的清晰度擬合得仿真數據進行3 階多項式擬合，得到圖8 中的三階多項式擬合曲線；對圖8 中的清晰度擬合得仿真數據根據式（2）擬合，得到圖8 中的理論公式擬合曲線。圖8 中（a），（c），（e）的重聚焦圖片在生成過程中在空間分辨率上進行了4 倍的重采樣，圖8 中（b），（d），（f）的重聚焦圖片在生成過程中沒有進行空間分辨率上的重采樣。

表4 仿真標定板參數與實驗參數Tab.4 Simulation calibration board parameters and experimental parameters

對圖8 的（a），（c），（e）進行比較，（a）和（e）的結果更加符合理論公式，說明圖片的清晰度是主要影響因素之一。對比每張標定圖片得到的仿真數據結果，發現（a），（c），（e）分別優于（b），（d），（f），說明在生成重聚焦圖片的過程中空間分辨率重采樣倍數也是主要影響因素之一。其中，（b），（d），（f）的仿真數據出現很大的跳躍，這是由于在生成重聚焦圖片的過程中沒有進行插值運算，導致生成的重聚焦圖片的分辨率等于宏像素單元數，而且系統存在一定的景深，在此范圍內移動標定板得到的原始光場圖將沒有明顯的變化，導致每組最清晰的重聚焦圖片對應的最優重聚焦系數都是一樣的。對比圖8 中的仿真數據與清晰度擬合得仿真數據，發現對每組清晰度重聚焦系數曲線的擬合也是影響標定結果準確性的因素之一。此外，重聚焦系數步長越小，圖8 中的曲線越光滑，標定結果也會越準確。位置采樣步長不能太小，否則會造成相鄰兩張原始光場圖片重聚焦圖片清晰度變化不明顯，就會造成2 個位置具有相同的最優重聚焦系數，從而影響最終的深度標定曲線。

表5 仿真實驗參數Tab.5 Simulation experiment parameters

圖7 某一深度位置重聚焦系數與清晰度的關系曲線圖Fig.7 Relationship between the refocusing coefficient and the clarity

圖8 仿真系統深度標定結果圖Fig.8 Depth calibration diagram of the simulation system

3.2.2 實驗研究

對實驗系統也采用3 種不同參數的標定板進行深度標定，圖4 中（a），（c），（d）標定板參數如表6 所示，3 種實驗方案的參數如表7 所示。3 組實驗結果如圖9 所示。其中，圖9（a）和（c）與理論公式擬合結果很吻合。對于圖9（b）中出現的階躍曲線，是由于采樣步長過小，實驗中使用的位移平臺精度不夠高，以及實驗中經過標定板的光線被漫反射板過濾而導致棋盤格的清晰度較低等綜合因素造成的。

表6 實驗標定板參數表Tab.6 Experimental calibration board parameters

表7 物理實驗參數表Tab.7 Physical experiment parameters

綜上所述，該深度標定方法的影響因素主要包括原圖的清晰度、重聚焦圖片空間分辨率重采樣倍數、清晰度重聚焦系數曲線擬合、采樣步長及重聚焦步長等。在使用該方法時，標定板的空間分辨率應小于光場相機的最大空間分辨率，并且邊緣梯度要較大。在移動標定板采樣的過程中間隔不小于景深。在生成重聚焦圖片的過程中使用較小的重聚焦系數步長以及進行空間分辨率上的重采樣。在處理每組重聚焦圖片清晰度與重聚焦系數的關系中采用高階多項式擬合。

4 結束語

搭建一套可用于微顆粒表面形貌測量的光場相機成像系統，使用光學軟件Zemax 對3 種光場相機分別進行仿真，改變微透鏡陣列與探測器之間的距離，得到了9 張仿真圖。通過微透鏡中心坐標的標定得出傳統型光場相機的空間分辨率和角度分辨率。對于聚焦型光場相機，空間分辨率與角度分辨率僅與微透鏡單元的a和b有關，與微透鏡單元的數量無關。因此，可以使用相對大尺寸的微透鏡單元克服邊緣效應，增加相機傳感器的像元利用率。得出微透鏡單元與傳感器之間的距離b與系統景深、焦深和光圈直徑的關系曲線。綜合考慮實際條件和測量對象，選擇搭建b=0.6fm的聚焦新伽利略光場相機。

圖9 實際系統深度標定曲線圖Fig.9 Depth calibration curve of the actual system

對搭建的這套光場相機進行深度標定，得到實驗條件下的深度標定曲線。采用仿真手段研究影響深度標定方法準確性的因素，結果表明，原圖清晰度、采樣步長、重聚焦步長、重采樣倍數以及擬合方法都對最終得到的深度標定曲線產生影響，并通過改進實驗驗證了仿真的結論。為下一步進行顆粒三維表面的深度重構奠定了基礎。

[][]