基于深度估計置信度的聚焦形貌恢復

史艷瓊，查昭，張文亮，戴爾愉，陳中

（安徽建筑大學機械與電氣工程學院，安徽 合肥 230601）

0 引言

聚焦形貌恢復（SFF）［1］技術是一種利用二維圖像信息恢復物體三維形貌的方法，其對采集到的離焦序列圖像使用聚焦評價函數獲得象征聚焦程度的聚焦評價值，通過搜索使窗口聚焦評價函數值最大的圖像位置來估計景物的深度信息，以此實現三維形貌恢復。SFF 技術原理簡單、設備成本低、體積小，且具有較高的重建精度，因此，在顯微三維成像［2］、光學三維測量［3］等領域有著廣泛的應用。

在離焦序列圖像的采集過程中，由于環境的影響和相機本身的限制，采集到的圖像會不可避免地帶有噪聲信息，這使得聚焦評價結果不準確，最終導致重建精度降低。現有研究主要從高性能聚焦評價函數設計［4-6］和深度圖優化［7-9］兩方面入手提高SFF 精度。在高性能聚焦評價函數設計方面：文獻［10］提出一種自適應窗口大小選擇算法和自適應加權改進拉普拉斯算子；文獻［11］提出名為環形差分濾波器的新型聚焦評價函數；文獻［12］提出基于顏色空間的聚焦評價方法，根據彩色圖像中心像素與鄰域像素色彩的差異測量聚焦程度。在深度圖優化方面：文獻［13］提出一種可靠性測量方法，用于評估SFF 技術中獲取的深度圖質量，探測并移除深度圖中低準確度區域，減少噪聲對重建質量的干擾；文獻［14］提出對聚焦評價序列正則化處理，并使用圖像序列作為結構先驗約束正則化的方法；文獻［15］基于圖像灰度曲線與聚焦評價值之間的相關性對深度信息進行引導濾波，提高深度圖質量。然而，上述方法仍存在一些不足：文獻［13］提出的方法雖然可以識別出大部分深度信息不可靠的像素并進行移除，但并未對移除所產生的空洞進行填補，導致重建結果不完整；文獻［14］提出的方法雖然對于數據中的離群值有魯棒性，但需要使用彩色圖像作為結構先驗，這一缺點使其應用范圍狹窄；文獻［15］提出的方法雖然可以有效減輕噪聲對重建結果的影響，獲得完整且連續的物體三維形貌，但由于未考慮噪聲對圖像灰度曲線的影響，優化過程會對物體原本結構特征產生影響，使得重建結果不夠精確。

針對以上方法的不足，為盡可能抑制噪聲的影響并使得重建后的三維形貌完整且精確，本文從深度圖優化方面入手，在基于相關性的引導濾波基礎上提出基于曲線相似度的概念，使其更具泛用性；同時添加修正項，改善灰度曲線受噪聲影響振蕩導致置信度錯誤降低的情況；在此基礎上，通過計算聚焦評價曲線與灰度曲線間的相似度，判斷像素聚焦評價結果是否受到噪聲影響導致深度估計出錯，得到整幅圖像深度估計的置信圖，并將置信圖作為引導圖；最后使用引導濾波對深度圖進行處理，優化初始深度圖，使最終的重建結果精確且連續。

1 聚焦形貌恢復技術

1.1 基本原理

聚焦形貌恢復技術利用了相機光學成像原理進行三維重建［16］，如圖1所示。按照一定的步長λ移動物體或相機改變兩者間的距離對同一平面進行拍攝，采集到包含該平面內物體所有點從模糊到清晰再到模糊的序列圖像后，使用聚焦評價函數對每幅圖像進行處理，獲得所有像素在當前位置的聚焦值，聚焦值隨聚焦程度變化，在最佳聚焦位置達到最大值。使用最值搜索方法獲得所有像素的最佳聚焦位置，并結合已知的步長信息即可估計出圖像中像素的深度值。

圖1 聚焦形貌恢復原理Fig.1 Principle of shape from focus

1.2 聚焦評價函數

目前已經有多種聚焦評價算子，PERTUZ等［17］整理了36 種聚焦評價算子并按照原理的不同分為6 類，在噪聲強度、對比度、飽和度、窗口大小等不同條件下對這些算子的性能進行實驗評估。常見的聚焦評價函數主要有空域、頻域、統計學3 種類別。空域聚焦評價算子在空間域內根據圖像灰度變化的劇烈程度評估圖像聚焦程度：圖像越清晰，圖像灰度值變化越劇烈；圖像越模糊，圖像灰度值變化越平緩。通常使用圖像梯度算子來檢測圖像灰度的變化情況，使用較為廣泛的算子有改進的拉普拉斯算子［1］、Tenengrad 算子［18］、Roberts 算子等。空域聚焦評價算子具有計算簡單快速、對灰度變化靈敏等優點，但在低紋理圖像中，由于圖像灰度變化不明顯，這類算子性能較差，并且因為高靈敏度的特點，在實際應用中很容易受到噪聲的影響。常見的基于頻域的聚焦評價函數有基于傅里葉變換、基于小波系數和［19］、基于離散余弦變換［20］等方法，這類方法將圖像轉換到頻域計算，根據圖像頻率能反映圖像灰度變化這一特性，通過圖像高頻系數分布判斷圖像的聚焦程度。頻域聚焦評價算子魯棒性更強，但由于需要將圖像轉換到頻域，這類方法通常需要較大的計算量，花費時間長，不適合實時計算。基于統計學的聚焦評價方法主要根據像素鄰域內如灰度方差、灰度直方圖、熵等統計數據計算聚焦程度，常用方法有灰度方差函數［21］、熵函數［22］等，這類方法以一定區域范圍內的統計數據作為評價依據，靈敏度較低。

基于上述傳統算子結合峰值搜索方法可以得到初始的深度圖，但此時深度圖中有大量錯誤的深度值，三維形貌恢復的精度和準確度都無法達到要求，還需要對其進行優化，提升重建精度。

2 基于深度估計置信度的聚焦形貌恢復

2.1 曲線相似度的深度估計置信度計算方法

根據光學成像原理可知，相機沿z軸移動掃描成像時，離焦序列圖像上同一位置的像素會經歷從模糊到清晰再到模糊的過程。像素p的灰度曲線由各序列圖像上相同位置像素的灰度值構成，表示為：

圖2 像素點的灰度曲線與聚焦評價曲線Fig.2 Grayscale curve and focus measure curve of pixel

像素深度估計的置信度可用2 條曲線間的相似度進行度量，相似度計算方法主要有基于皮森相關系數、基于歐氏距離、基于余弦相似度等。

皮爾森相關系數表示為：

余弦相似度表示為：

通過計算2 個向量的夾角余弦值來評估它們的相似度，余弦值越小則2 個向量越相似。

分別選取圖像上深度估計準確的p1點和深度估計錯誤的p2點，圖3 中展示了這2 個像素點相應的聚焦評價曲線與灰度曲線，其中，p1點坐標為（939，593），p2點坐標為（288，765）。p1點深度估計準確，灰度曲線與聚焦評價曲線在圖像1～圖像6 中呈上升趨勢，從圖像6 開始大體上呈下降趨勢，根據計算結果，p1點的皮爾森相關系數ρp1=0.857 5；p2點深度估計錯誤，當灰度曲線在圖像17～圖像24 中呈下降趨勢時，聚焦評價曲線卻呈上升趨勢，該點皮爾森相關系數ρp2=0.061 3。計算結果與上述推論保持一致，2 條曲線間的相似度在一定程度上可以反映初始深度估計的可靠性。

圖3 不同像素點的灰度曲線與聚焦評價曲線Fig.3 Grayscale curves and focus measure curves of different pixels

除此之外，筆者在實驗過程中發現，噪聲對像素點的影響較大時會導致灰度曲線產生劇烈的振蕩，在這種情況下，即使聚焦評價曲線具有良好的單峰性且深度估計正確，也會因為灰度曲線的異常導致2 條曲線的相似度減小，從而使該點置信度降低，如圖4 所示。

圖4 灰度曲線受噪聲影響異常振蕩的情況Fig.4 Abnormal oscillation when grayscale curve affected by noise

針對由灰度曲線振蕩引起的像素估計深度置信度降低的情況，分析正常灰度曲線與異常灰度曲線可知，當灰度曲線大幅振蕩時，其均方根值會比正常情況下呈現單峰趨勢的均方根值大，而聚焦評價曲線保持單峰趨勢，其均方根值幾乎不變。因此，在原有相似度計算公式上再加上聚焦評價曲線與灰度曲線的均方根值之差作為修正項，改善上述情況：

將修正項與相似性度量相加得到最終的置信度計算公式，基于皮爾森相關系數和基于余弦相似度的置信度計算公式分別表示為式（6）和式（7）：

使用上述置信度計算公式對圖像中每一個像素進行估計，即可獲得該離焦序列圖像深度估計的置信圖。

2.2 引導濾波

為了獲得更為準確與連續的深度圖，將置信圖作為引導圖，通過引導濾波對初始深度圖進行優化。作為引導圖的置信圖含有一些深度圖中不存在的額外的結構信息，引導濾波可以將這些結構信息傳輸到初始深度圖中，幫助改善初始深度圖中的深度信息［23］。引導濾波［24］是一種根據局部線性模型原理，參考引導圖像內容對輸入圖像進行濾波輸出的算法。它能在充分使用引導圖像變化細節的同時，保留輸入圖像整體特征，使輸入圖像與輸出圖像的結構相似度更大。

在引導濾波算法中，記引導圖像為G，輸入圖像為P，輸出圖像為Q，則引導圖像I與輸出圖像Q在以k為中心的二維濾波窗口ωk內有如下線性關系：

其中：i為窗口ωk中像素位置索引值；ak、bk為窗口中的2 個線性系數。求得ak與bk即可獲得濾波結果，可轉化為求這2 個系數最優解的問題，表示為：

其中：Pi為濾波輸入；λ為歸一化因子。使用線性回歸求得公式的解為：

其中：μk與分別表示引導圖G在窗口ωk中的均值與方差表示輸入圖像P在窗口ωk中的均值為窗口ωk中的像素數。

2.3 聚焦形貌恢復算法步驟

根據上述原理設計相應的聚焦形貌恢復算法，具體步驟如下：

1）使用聚焦評價函數計算序列圖像I中各個像素點的聚焦評價值：

2）使用基于高斯函數的最小二乘擬合法對離散的聚焦評價值進行擬合，獲得最大值位置，將其作為像素點的初始深度值D(p)：

3）根據像素灰度值與聚焦評價值在不同聚焦程度下的變化規律，使用相似性度量方法計算各個像素點深度估計的置信度，集合所有像素的置信度得到初始深度估計的置信圖。

4）將置信圖作為引導圖對初始深度圖進行引導濾波，使得深度圖更加精確且連續，最終獲得景物的三維信息。

3 實驗與分析

為了驗證形貌恢復的精度及有效性，對仿真離焦序列圖像與真實采集離焦序列圖像進行實驗，并將所提方法的結果與傳統方法、可靠性度量方法［13］（R-measure）、基于相關性的引導濾波方法［15］（Xcor）進行對比以直觀地驗證改進效果。由于可靠性度量方法會造成深度信息的缺失，因此不對其進行定量的評價指標對比。同時，為了驗證所提方法的抗噪性能，對仿真離焦序列圖像加入方差為0.005 的高斯噪聲，得到加噪的仿真離焦序列圖像進行抗噪性驗證。為了控制變量，所有實驗中的聚焦評價算子均使用Tenengrad 算子，最值搜索方法均使用高斯擬合峰值搜索法，仿真數據實驗窗口大小為5×5 像素，真實數據實驗窗口大小為15×15 像素。

本文實驗環境為Microsoft Windows 10、Intel Core i7-8550U CPU；運行內存為8 GB；使用軟件為MATLAB R2018b。

3.1 性能評價指標

在獲得重建結果后，為了定量地評估形貌恢復結果優劣，選用均方根誤差（RMSE）和相關系數（Corr）進行評估。均方誤差表示為：

其中：M、N分別為圖像水平方向和豎直方向的像素個數；f(i,j)是深度估計值；g(i,j)是離焦序列圖像真實深度值。相關系數表示為：

其中：Fij和分別為深度估計值和深度估計均值；Gij和分別為真實深度值和真實深度均值；相關系數取值范圍在0 到1 之間。

3.2 仿真數據實驗

實驗將在3 組仿真離焦序列圖像中進行，包括圓錐、正弦和余弦3 種模型。選用2 種主流離焦圖像合成方法生成實驗所用數據集，3 種模型的部分仿真離焦序列圖像如圖5 所示，其中，圖5（a）是使用文獻［14］提出的圖像仿真離焦方法對圓錐模型與紋理圖像進行處理生成的仿真離焦序列圖像，圖5（b）和圖5（c）是使用文獻［25］提出的圖像仿真離焦方法合成的仿真離焦序列圖像。序列圖像參數如表1所示。

表1 仿真離焦序列圖像參數Table 1 Parameters of simulated defocused sequence images

圖5 部分仿真離焦序列圖像Fig.5 Partial simulated defocused sequence images

對上述序列圖像進行實驗，結果如圖6 所示，其中，圖6（a）為初始重建結果，圖6（b）～圖6（e）為使用基于深度圖優化的方法的重建結果，圖6（f）為真實值。可以看出，經過本文方法優化后的重建結果深度變化更為連續，第2 行展示的正弦的初始重建結果有著輕微的失真，產生了鋸齒狀的邊緣，而本文提出的優化方法改善了這一現象。定量的重建結果評價指標如表2 所示，其中最優結果用加粗字體表示。可以看出，所有的仿真離焦序列圖像重建結果經優化后Corr 都有提升，且圓錐、正弦和余弦模型的重建結果評價指標中RMSE 都有減少，這說明本文提出的方法能夠有效地提高聚焦形貌恢復精度。在圓錐模型的重建結果評價指標中，基于余弦相似度的優化方法RMSE 值最小，在余弦模型的重建結果評價指標中，使用基于余弦相似度的優化方法得到了比使用基于皮爾森相關系數的優化方法更低的RMSE 值和更高的Corr 值，因此，基于余弦相似度的優化方法在具有復雜深度信息的重建中有著更優的性能。

表2 仿真離焦序列圖像重建結果評價指標Table 2 Evaluation indexes of reconstruction results of simulated defocused sequence images

圖6 仿真離焦序列圖像重建結果Fig.6 Reconstruction results of simulated defocused sequence images

為了驗證所提算法的抗噪性能，對仿真聚焦序列圖像均添加方差為0.005 的高斯噪聲并進行實驗，重建結果如圖7 所示。可以看出，加噪仿真離焦序列圖像的初始重建結果存在大量錯誤估計的深度信息，且由于噪聲的干擾，深度變得更加不連續。圖7（b）～圖7（e）展示了經優化后的重建結果，可以看出，本文所提方法相比于初始重建結果和其他優化方法有著更為光滑的表面，錯誤估計的深度信息也被修正過來，深度也變得更為連續，所提方法的抗噪性能得到了驗證。定量的性能指標如表3 所示，其中最優結果用加粗字體表示。可以看出，經優化后的重建效果有了較明顯的提升，RMSE 均有明顯下降，Corr 有明顯提升，這表示恢復結果與真實值之間的誤差在減小的同時，與真實值的相似度也有了提升。在加噪圓錐模型和加噪正弦模型中，基于余弦相似性的優化方法以略微的差距取得了更好的恢復結果，而在加噪余弦模型中，基于皮爾森相關系數的優化方法則表現略好。

表3 加噪仿真離焦序列重建結果性能指標Table 3 Evaluation indexes of reconstruction results of noisy simulated defocused sequence images

圖7 加噪仿真離焦序列圖像重建結果Fig.7 Reconstruction results of noisy simulated defocused sequence images

3.3 真實數據實驗

為了評估所提方法在真實場景中的表現，選用CMOS 相機、PK545 步進電機、位移平臺、同軸光源與環形光源搭建離焦序列圖像采集系統，如圖8所示。

圖8 離焦序列圖像采集系統Fig.8 Defocused sequence images acquisition system

實驗通過步進電機帶動成像系統沿Z軸移動拍攝1 mm 厚度的標準件表面獲得2 組掃描離焦序列圖像。采集的部分離焦圖像如圖9 所示，其中，第1 列為放在傾角為7°的載物臺上的標準件的表面顯微離焦圖像，第2 列為標準件與載物臺形成高度為1 mm 的臺階的顯微離焦圖像。真實離焦序列圖像參數如表4 所示。

表4 真實離焦序列圖像參數Table 4 Parameters of real defocused sequence images

圖9 部分真實離焦序列圖像Fig.9 Partial real defocused sequence images

通過實驗對比初始重建結果、可靠性度量方法、基于相關性的引導濾波方法、使用皮爾森相關系數置信圖的重建結果和使用余弦相似度置信圖的重建結果，各離焦序列圖像的三維形貌重建結果如圖10、圖11 所示。

圖10 真實斜坡離焦序列圖像重建結果Fig.10 Reconstruction results of real slope defocused sequence images

圖11 真實臺階離焦序列圖像重建結果Fig.11 Reconstruction results of real step defocused sequence images

從圖10 可以看出：由于噪聲的影響，初始重建結果中存在大量錯誤估計的深度，斜坡表面深度變化不平滑；R-measure 方法通過可靠性度量剔除了一部分深度估計出錯的點，但仍有遺漏，同時在斜坡表面留下了孔洞，造成了深度信息的缺失；Xcor 方法僅僅根據曲線間的相關性對深度圖進行優化，沒有考慮噪聲對灰度曲線的影響，導致在灰度曲線受噪聲影響而異常振蕩的情況下優化效果變差，邊緣處出現錯誤深度；本文所提方法基于曲線相似度構建引導圖，使用引導濾波將其結構信息傳輸到初始深度圖中，優化重建效果，經優化后的重建結果相比于初始深度重建結果有了較大提升，形貌恢復結果中明顯的錯誤深度得到了改善，深度變得更為連續與明顯，優于其他方法。

針對圖11 這類受噪聲影響嚴重、初始深度圖存在大量錯誤深度信息的圖像，R-measure 方法效果有限，并在上表面留下了孔洞，Xcor 方法在上表面邊緣處出現了明顯錯誤的深度，而使用本文所提方法進行優化后則仍能得到較為理想的深度結果。

將實驗結果與理想重建深度結果進行對比，定量的性能指標如表5 所示，其中最優結果用加粗字體表示。可以看出：在斜坡重建結果中，基于皮爾森相關系數和基于余弦相似度的重建結果相較于初始重建結果在RMSE 指標上分別降低了64.8% 和64.9%，在Corr 指標上都提升了2.18%；在臺階重建結果中，基于皮爾森相關系數和基于余弦相似度的重建結果相較于初始重建結果在RMSE 指標上分別降低了47.3% 和49.8%，在Corr指標上分別提升了6.35%和6.53%。上述實驗基于余弦相似度的重建結果均優于基于皮爾森相關系數的重建結果。

表5 真實離焦序列重建結果評價指標Table 5 Evaluation indexes of reconstruction results of real defocused sequence images

上述實驗證實所提方法在真實場景應用中能夠提升聚焦形貌恢復的精度，在改善噪聲影響的情況下提升三維重建的準確度，得到更完整、平滑的物體三維形貌，即使是初始重建結果較差的情況下，經過深度優化后，仍能得到較為理想的三維重建結果。

4 結束語

本文提出一種基于曲線相似度進行深度圖優化的聚焦形貌恢復方法。利用圖像灰度曲線與聚焦評價曲線隨離焦程度而變化的統一規律，通過曲線間相似性度量方法評估當前像素深度估計的置信度，從而得到整個序列圖像深度估計的置信圖，并將置信圖作為引導圖對初始深度進行優化，改善聚焦形貌恢復效果。該方法直接使用圖像原始信息，避免了傳統方法預處理過程造成的圖像信息丟失，能夠更好地保留物體原始結構特征。實驗結果表明，本文方法能夠有效消除噪聲的干擾，提高重建精度，恢復出完整連續的物體三維形貌。下一步將對低紋理圖像進行研究，提高低紋理或無紋理物體的重建精度。