基于共焦圖像序列的自適應聚焦度量場景深度估計方法

馬翰飛

（西北工業大學 計算機學院，陜西 西安 710072）

場景深度估計一直是計算機視覺領域中的重點問題和難點問題。目前，場景深度估計的主要方法有時差測距法、三角測距法、結構光法、調變光法、主動視覺法、被動視覺法等。時差測距法、三角測距法、結構光和調變光測距法為掃描式深度獲取法，其研究比較成熟，能獲得較精確的場景深度信息。主動視覺法為通過人為精確控制相機方向和位置參數的改變獲取場景圖像信息來估計出場景深度信息，其裝置比較復雜昂貴。被動視覺法為利用相機獲取場景反射周圍環境光能量的圖像信息來估計場景深度信息，包括立體視覺法、運動法、聚焦測距法等。

聚焦測距法[1]為通過單相機焦距等參數設置的改變對場景多深度聚焦以獲取場景圖像序列，以圖像中像素點的聚焦程度為線索而判別出圖像序列中的清晰聚焦點，而后，利用透鏡成像公式計算得到像素對應的場景區域的深度信息。傳統的聚焦測距法要考慮相機焦距變化引起的圖像放縮問起且其標定復雜，而且獲得高精度的深度圖需要多次改變相機焦距等參數設置以采集高密度的場景圖像數據。而通過相機陣列獲取的共焦圖像序列能很好的解決以上兩個問題，也即無

基于共焦圖像的場景深度估計方法屬于聚焦測距法的一種，如圖1所示。聚焦測距法主要包括3個主要步驟：獲取不同聚焦深度的場景圖像序列，度量每個像素的聚焦值，找出每一點在圖像序列的最大聚焦值并根據相機幾何參數配置計算出相應點的場景深度值。

聚焦測距法中的聚焦度量計算對深度的估計起決定性作用。研究人員從空域和頻域方面研究了清晰聚焦時圖像的特需考慮焦距改變引起的圖像放縮問題，并且一次性場景數據采集可以獲得任意序列密度的場景圖像集。

傳統聚焦度量算子在場景深度不連續處有較大計算誤差，本文采用了基于共焦圖像序列的自適應聚焦度量算子計算像素聚焦度。自適應聚焦度量算子以參考圖像為全焦圖像，根據顏色特征計算得到每個像素鄰域內深度相似度權重信息，得到鄰域內的自適應權重信息，并與傳統聚焦度量算子計算得到的鄰域聚焦值卷積得到自適應聚焦度量值。相對于傳統聚焦測距法，此方法提高了場景深度不連續處深度值估計的準確度，得出較優的場景深度估計結果。

1 基于共焦圖像的場景深度估計方法

征。理想情況下，聚焦度越高的圖像包含越多的高頻信息。在空域方面，Tenenbaum算子[2]、灰度方差算子[2]、改進的Laplace算子[3]是最常用的聚焦度量算子。在頻域方面，圖像中的高頻信息的大小和高頻信息與低頻信息的比率常被用來做為聚焦度量算子。基于頻域的聚焦度量研究顯示，不同頻譜的能量大小對聚焦度量有影響。例如，基于離散小波變換的聚焦度量顯示二階能量對圖像的清晰度有較大影響。在基于離散余弦的聚焦度量研究中，圖像頻譜中間部分的能量可能對圖像清晰度有較大的影響。本文中，我們采用空域自適應聚焦度量算子[4]對圖像聚焦度進行度量以提高場景深度不連續處的深度估計的準確性。

圖1 基于共焦圖像的場景深度計算流程圖Fig. 1 The schedule of confocal image based depth estimation

2 聚焦測距法

由光的直線傳播原理，我們得知理想針孔相機獲取的場景圖像為全清晰的。由于理想針孔相機通光量太小而不適于實際應用。我們所使用的相機多為透鏡相機，而其所采集的場景圖像并非是完全清晰的。根據透鏡成像公式（1）我們得知，只有在透鏡準確聚焦的平面區域所映射的像為清晰的，而其他區域的點由于失焦而彌散為一個光斑并與其他物點的光斑混合在一起，從而呈現出不同程度的模糊，如圖2所示。

圖2 非聚焦平面上的物體的像模糊Fig. 2 The object out of the focus plane blurred

依據透鏡相機只對單一平面清晰成像的這個線索，我們可以用這個特性來估計場景的深度信息。通過改變相機的焦距等參數，我們可以對場景的不同深度聚焦從而采集焦距漸變的圖像序列。在采集的圖像序列集中，每幅圖像上只有準確聚焦的場景區域的像是清晰的，其他區域的像點都是模糊的。利用聚焦判別算子，我們可以計算出圖像序列中每個像素的聚焦度量值來衡量像素的清晰程度。由于場景中的物點在圖像序列中的像只有一個是最清晰的，其聚焦度量值為聚焦度量值序列中的最大值，如圖3所示。通過搜索聚焦度量值序列中的最大值（2），我們可以找到清晰點。利用透鏡成像原理（1），我們可以計算出對應場景區域的深度值。

圖3 聚焦度量值最大值為清晰點Fig. 3 The largest focus measurement of pixels is the best focused

3 共焦圖像與自適應聚焦度量算子

在聚焦測距法中，為了采集不同焦深的場景圖像數據，我們移動相機或者改變相機焦距來實現對不同場景深度的聚焦。相機位置的移動或焦距的改變將引起場景物體在圖像中影像尺寸放縮。因為對采集的圖像進行標定是一件復雜的問題，所以聚焦測距法主要應用于顯微鏡對微小場景的深度估計或者對深度變化不大的場景的深度的估計。Levoy等人[5-6]提出了用相機陣列模擬一個大孔徑相機，對場景不同深度的聚焦。相機陣列獲取場景的多視角圖像集，并根據透鏡相機成像原理合成相應的虛擬相機圖像，即共焦圖像。生成對場景不同深度聚焦的共焦圖像只需要采集一次原始數據，而不需改變相機陣列中每個相機單元的參數設置。合成的共焦圖像不存在放縮問題，因此使用共焦圖像測量場景深度無需對共焦圖像序列進行標定校正。

根據透鏡相機成像的光路原理，我們利用相機陣列采集的圖像數據合成共焦圖像（3），如圖4所示。

圖4 根據相機成像原理利用多視角圖像合成共焦圖像Fig.4 Synthesize confocal image with multiview images according to the imaging theory

聚焦測距法的關鍵在于設計一個魯棒的聚焦度量算子以準確判別圖像序列中的清晰聚焦點。由于無法根據單個像素斷定其聚焦度，大多數聚焦判別算子依據像素的鄰域中的圖像紋理信息計算其聚焦度量值。目前已經存在的聚焦測距法包括梯度算子[1]、直方圖熵算子[1]、頻率算子[1]、SML算子[3]等。

在計算聚焦度量值時，這些方法假設所選取的圖像窗口所對應的場景區域的深度是連續變化的。實際情況中，場景的結構是復雜多變的，場景中某些區域的深度變化是非連續的。所以，傳統聚焦度量算子在場景深度不連續處所計算得到的聚焦度量值有較大偏差，進而估計出的場景深度與實際場景深度相差也較大。根據觀察，場景區域的深度突變往往伴隨著對應區域的顏色突變。因此，我們可以利用這個信息計算自適應窗口[7]改進傳統聚焦度量算子，提高場景深度不連續區域的聚焦值計算的準確性。在選取的圖像窗口內，我們可以計算中心像素與其鄰域中像素的深度相似度從而得到自適應窗口每個像素的權重。

圖5 深度不連續處自適應窗口權重窗口Fig. 5 The adaptive weight window at depth discontinuity

在自適應窗口中，與中心像素幾何距離和顏色值越相近的像素，其所對應的的權重也越大，自適應窗口中每個元素的權重值（4）其幾何距離權重值（5）和顏色權重值（6）的乘積。在本文中，我們以參考相機圖像為全焦圖像計算每個像素的自適應窗口的權重信息，如圖5所示。

圖像中每個像素自適應聚焦度量值為自適應窗口和對應的聚焦度量值窗口的卷積（7）。首先，我們使用傳統聚焦度量算子計算得到共焦圖像序列的每個像素的聚焦度量值（8）。然后，以參考圖像為全焦圖像，計算全焦圖像中每個像素的鄰域的權重窗口作為自適應窗口，其中權重窗口的值歸一化，也即窗口中權重的和為一。最后，計算自適應窗口和相應的共焦圖像序列聚焦值窗口卷積值得到像素新的聚焦度量值。

在本文中我們使用顏色互相關系數（NCC）計算得到傳統聚焦度量值。

4 實驗與分析

為了評估本方法的有效性，我們用兩組不同的相機陣列配置采集的實際場景數據進行了驗證。第一組實驗中，相機陣列由9臺單相機組成，以3×3正方形方式均勻分布在陣列平面上，場景由深度連續變化的毛絨玩具熊和一張印有文字的紙構成。第二組實驗中，相機陣列由64臺單相機組成，以8×8正方形方式均勻分布在陣列平面上，場景以書籍和文具用品構成，其中有較多深度突變區域。

在第一組實驗中，如圖6所示，從估計結果中，我們可以看到，在深度不連續處，本方法基本準確判別了場景的深度變化。在背景中，由于文字相似度很高，聚焦判別算子有一些錯誤地估計進而導致深度估計錯誤。這是由于在重復紋理很高的區域，NCC聚焦判別算子會出現誤判，得到的深度估計結果也會出現較大的偏差。在第二組實驗中，如圖7所示，本方法較準確地估計了前景物體的深度變化。在由于NCC聚焦判別算子對弱紋理區域的失效，所以導致背景深度的估計出現了較多的噪聲錯誤。

圖6 9相機陣列自適應聚焦度量深度圖Fig. 6 Depth map of using 9 cameras composed array

圖7 64相機陣列自適應聚焦度量深度圖Fig. 7 Depth map of using 64 cameras composed array

5 結束語

本文提出一種基于共焦圖像序列自適應聚焦度量算子的場景深度估計方法。首先，我們用相機陣列模擬了一個虛擬孔徑相機對場景不同深度進行聚焦，得到共焦圖像序列。根據圖像清晰度線索，本文采用了自適應聚焦度量算子判別出共焦圖像序列中的清晰聚焦點。自適應聚焦度量算子能準確判別場景深度不連續區域的清晰度，提高了聚焦測距法在深度突變處的估計結果。由于我們采用的傳統的顏色互相關聚焦度量算子在對重復紋理和弱紋理的判別存在較大的偏差，因這些區域的深度估計有較大誤差。在后續的聚焦測距法研究中，重復紋理和弱紋理區域的聚焦度的準確判別將是一個重要的研究內容。

[1]Pentland A. A New Sense for Depth of Field[J]. In Proc. IJCAI,Los Angeles, 1987, 9(4):523-531.

[2]Krotkov E P. Focusing[J]. International Journal of Computer Vision,1987, 1(3):223-237.

[3]Nayar S K, Nakagawa Y. Shape from focus[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1994,16(8):824-831.

[4]Aydin T, Akgul Y. A New Adaptive Focus Measure for Shape From Focus[C]//BMVC. British Machine Vision Association,2008:1-10.

[5]Levoy M, Chen B,Vaish V,et al. Synthetic aperture confocal imaging[J]. ACM Transactions on Graphics,2004,23(3):822-831.

[6]Levoy M.Light fields and computational imaging[J].IEEE 2006,39(8): 46-55.

[7]Yoon K J,Kweon I S. Adaptive support-weight approach for correspondence search[J]. Pattern Analysis and Machine Intelligence, 2006, 28(4):650 - 656 .