逐像素調制的高反光表面三維測量方法

馮 維，徐仕楠，王恒輝，熊 芝，王選擇，翟中生

（1.湖北工業大學 機械工程學院,武漢 430068；2.現代制造質量工程湖北省重點實驗室,武漢 430068）

1 引言

當前機械零部件制造的生產效率得到了很大的提升，但隨之而來的是大量的機械零部件需要被檢測。傳統的二維測量設備已不能滿足日趨智能化、微型化、復雜化的生產需求，光學三維測量設備應運而生。條紋投影三維測量輪廓術因具有操作簡單、適應性強、精度高和非接觸測量等優點，已在機電產品質量檢測、醫療診斷和模具設計等領域得到廣泛的應用[1-6]。但工業零部件的表面通常具有高反光的特性，易造成相機采集的圖像出現過飽和現象，導致檢測失效[7]。因此，研究具有高亮、類鏡面、含局部鏡面反射的混合表面等反射率較高的高反光表面的三維面形測量技術具有重要的科學探索意義和實際應用價值。

為實現高反光物體的三維面形測量，國內外學者對多種方法進行深入研究，主要包括多重曝光法[8-9]、硬件附加法[10-11]和自適應條紋投影法[12-17]。其中，多重曝光法常用于高反光物體的視覺成像，但它需要對同一場景采集多幅不同亮度的圖像，但被測物體運動或者相機抖動都會導致圖像融合時出現重疊的偽影，因此該方法難以應用于復雜多變的工業現場。硬件附加法則是通過改變偏振濾光片透射軸之間的角度來有效的去除高光，但難以消除大多數金屬表面存在的鏡面反射分量，對高亮的物體表面去高光效果不佳。自適應條紋投影法也是去高光的常用手段，它是基于自適應調整條紋投影強度和反投影的思想上提出的。對于條紋投影測量系統，在建立相機和投影儀的映射關系后，通過改變投影圖像灰度可以使相機獲取最佳的投影條紋圖案[18]。Zhang 等提出一種只需采集具有單次曝光時間的條紋圖像以自適應確定全局最佳灰度值，但它需要在固定場景下預先校準相機對不同反射率物體的響應函數，場景較為單一且準備工作耗時較長[19]。Riviere 等基于偏振濾光片技術極大地降低了投影儀的輸出光強度和相機的入射光強，但該方法對于暗場景區域很難測量[20]。Wei 等通過一種基于不同強度條紋圖案融合的技術，根據最大信噪比將不飽和數據進行組合，從而使全局不出現過飽和情況，精度較高，但這種方法仍需要采集大量圖像，且不適用于過亮表面[21]。Chen 等通過被測物體表面的反射特性，運用多項式擬合出每個過飽和區域的最優投射光強值，但當該過飽和區域中飽和像素對應的表面區域反射率變化較大時，函數擬合并不準確[22]。

前述方法中，或者操作過程耗時，或者投影強度計算結果不精確，只適用于特殊場景。針對已有方法的局限性，本文建立一種基于被測表面反射率變化的強度響應關系，提出基于逐像素調制的自適應條紋生成方法，生成并用于高反光表面的三維測量。采用在低光照強度下進行坐標匹配數據，本方法能夠根據被測表面的反射率變化逐像素地求取最佳的投影灰度值，生成投影儀坐標系下自適應條紋投影圖。實驗表明，本文方法擬合速度快，匹配精度高，能夠逐像素高精度地調制高反光表面的過飽和區域的投影光柵強度，且適用于大多數金屬物體表面，有效提高具有高反射表面特性物體的三維重建精度和適用范圍。

2 基本原理

2.1 自適應條紋投影技術

本文提出的自適應條紋投影的三維測量方法的總體流程如圖1 所示。首先，通過采集投射至被測表面的最大投影強度為Imax灰度圖來判別過飽和像素點。投影橫、縱雙向條紋進行坐標匹配，并建立相機-投影儀強度關系式以求解像素點的最佳投影灰度值。同時，對相機和測量系統分別進行標定。最后，將生成的自適應條紋投影至被測表面，通過多頻外差相移法解算相位以獲取高精度的深度信息，并結合已建立的絕對相位與深度信息之間的關系，即可實現對高反光表面的三維重建。

圖1 自適應條紋三維測量方法流程圖Fig.1 Flow chart of adaptive fringe 3D measurement method

2.2 相機與投影儀間的坐標匹配

在基于條紋投影的三維重建系統中，相機-投影儀的匹配關系如圖2 所示。其中(OW;XW,YW,ZW)為 世界 坐標系，(OC;XC,YC,ZC)和 (UC,VC)為相機坐標系及其像平面坐標系，(OP;XP,YP,ZP)和(UP,VP)分別表示投影儀坐標系及其像平面坐標系。在世界坐標系上，任意一點Pw(xw,yw,zw)對應投影儀像平面坐標系上一點Pp(up,vp) 和相機像平面坐標系上一點Pc(uc,vc)。由于Pp和Pc兩點具有相同的相位值，通過垂直和水平的相移條紋序列可建立Pp和Pc兩點的匹配關系，即可確定相機和投影儀的對應關系。

圖2 測量系統的坐標系示意圖Fig.2 Schematic diagram of coordinate of measurement system

當投影儀向物體表面投射N幅正弦條紋序列時，投射的正弦條紋圖案輸入強度可表示為：

其中，(up,vp) 為投影儀像平面上的任一點坐標，Imax為最大投影強度。通過相機采集的變形條紋Ii(uc,vc)可計算出包裹相位的主值φ(uc,vc)：

其中，(uc,vc)為相機坐標系任一點的像素點坐標，Ii(uc,vc)表示第i次獲得的條紋圖，φ(uc,vc)為[0,2π]的同余相位值模。相應的絕對相位可通過多頻外差相移法從包裹的相位中解算。

相機坐標系下，任一點Pc(uc,vc)的絕對相位可沿著垂直和水平方向分別進行線性插值計算，分別記為φv(uc,vc) 和φh(uc,vc)，則其對應的投影儀像平面坐標系上的像素點坐標(up,vp) 可表示為：

其中，V和H是投影條紋圖寬度和高度，T是條紋的最大周期整數。

2.3 最佳投影條紋序列的計算

利用條紋投影系統進行高反光物體的三維重建時，若直接向物體表面投射高亮度條紋圖，則在高反射率區域會出現過飽和現象，容易致使該過飽和區域的相位丟失；若投射低亮度的條紋圖案至物體表面，則在低反射區域會降低信噪比。因此，只有使該投影條紋圖都不會出現過飽和現象，且又能很好地保持低反射區域的調制度，才是最佳的投影灰度值。

對于一個具有未知表面反射率的任意物體，在環境光和復雜表面結構的影響下，很難自適應確定投影條紋圖的最佳強度。因此，本文首先估計物體的表面反射率、環境光和表面結構相互作用產生的反射光。為解決此問題，需要確定從相機到投影儀的坐標映射和相機響應函數。在這里，“自適應”是指根據物體表面反射率的變化、環境光和表面結構之間的影響，預測投射至不同反射率和環境光表面上的投影條紋圖案的最佳強度。

2.3.1 條紋投影圖案中最佳投影灰度值的計算

為確定相機捕獲強度與投影儀輸出強度之間的關系，有必要了解相機像素點采集到的光強組成。對于相機采集光強，被測表面可以對投射光產生各種影響，包括漫反射、鏡面反射、透射光和被測表面的吸收等。對于相機像素點接收的光強可以分為：相應點反射光、其他點的反射光、環境光等，于是相機像素點采集光強Ic可表述為：

其中，k為相機敏感系數，t為相機曝光時間，r為像素點表面反射率，Ip為投影儀投射光強，Ie為反射的環境光,Ij為反射其它表面的反射光，Ia為直接入射的環境光，In為噪聲系數。被測表面的反射光的組成如圖3（彩圖見期刊電子版）所示。

圖3 被測表面反射光的組成Fig.3 Composition of reflected light from the measured surface

對于被測表面的物點不僅被使用的光源、環境光照亮，還會被場景中其他光點照亮。而對于其他點的反射光Ij可分為第二反射光和高階分量光。

其中，M、N表示投影儀的分辨率，h(uc,vc;up,vp) 為從投影儀到相機的光傳輸系數，是一個二維矩陣，表示整個投影儀像素平面除相機-投影儀匹配點外，其他點對該相機像素點的光強影響。將公式(7)代入公式(5)可得：

其中，Ip_all表示從數字相機采集投影儀光強的入射光總量。

s為采集光強與投射光強系數。設相機采集投影儀入射光的像素內表面反射率為r1，環境光和表面互反射影響系數為r2，則相機響應函數可以表示為：

由此可見，在環境光和相機敏感系數、曝光時間不變的情況下，相機捕獲光強依賴于投影儀光強和環境光強，將這些不變量與r1、r2結合可設為:

則可建立如下二元一次方程組：

進一步求解得：

對于投影灰度值Ip的求取，可以通過相機逆響應函數得到。由公式(10)和(11)，可以得到

一般情況下，當相機采集到的像素點強度值等于且不超過相機所能采集的最大光強時，即為投影儀的最佳投影灰度值Iopt，表達式為：

2.3.2 自適應條紋圖的生成

本文提出的求取最佳投影灰度值獲取的具體方法步驟如下：

Step 1：過飽和像素點的判別。采集投射的灰度圖Imax(uc,vc)，若其灰度值大于閾值Tb時，則像素視為飽和，并設該飽和像素點為第m(m=1,···,M)個飽和像素點，其中M為過飽和點的總數，Tb與設備自身產生的噪聲和環境光有關。在公式(16) 中，Mc(uc,vc) 是二進制矩陣，當像素點視為飽和時，該二進制矩陣等于1。

Step 2：過飽和點區域的數據獲取與坐標匹配。在低灰度模式下進行相機-投影儀坐標匹配，投射一組最大灰度值為η×Imax的橫縱正弦條紋序列Ii(up,vp)，η為調制系數，目的是使相機采集的圖像序列Ii(uc,vc)全局不產生過飽和現象。由式(3)、式(4)進行坐標匹配計算。

Step 3：最佳投影強度值的計算。設飽和像素點投影灰度值為xi,m=Ii,m(up,vp)，相機采集到的灰度值為f(xi,m)=Ii,m(uc,vc)，則可根據公式(13)建立求取系數值和為：

Step 4：最佳投影條紋序列的獲取。根據式(3)、式(4)中的像素對應關系可知，相機與投影儀中的坐標點一一對應，但由于兩者的分辨率不同，坐標映射時會出現多對一的情況。因此，根據相機與投影儀分辨率的比例對應關系，本文將相機坐標系中的點Pc(uc,vc) 與對應投影儀坐標系下的點Pp(up,vp) 及其周圍4 鄰域的坐標范圍相對應，即調整Pp點的灰度值意味著點Pp及其周圍4 鄰域區域的灰度值均有調整，如圖4 所示。建立相機-投影儀坐標系的對應關系后，再將計算得到的投影儀坐標系下點Pp的最佳投影灰度值與標準正弦條紋相結合，即可得到最佳的投影條紋序列。

圖4 4 鄰域匹配法Fig.4 Matching method based on 4 neighborhoods

3 實驗分析

3.1 硬件搭建與相位展開

自主搭建了一套自適應條紋投影的三維重建系統，實驗平臺如圖5 所示。該系統主要由數字相機、數字投影儀、校正板、支撐件、服務器和被檢測零件構成。數字投影儀型號為DLP4500，可實現RGB 三通道圖案的高速投影，有效分辨率為1 140 pixel×912 pixel。數字相機型號為Grasshopper GS3-U3-32S4M，最大分辨率為2 048 pixel×1 536 pixel，其最大幀頻可達到121 frame/s。

圖5 三維測量系統實驗平臺Fig.5 Experimental platform of 3D measurement system

實驗過程中選取具有局部反射率較大的機械零部件為實驗對象。

首先，對相機-投影儀測量系統進行校正。固定相機和投影儀位置，使相機與投影儀成一定銳角。根據張正友標定法，多次移動標定板的位置和方向，對相機的內外參數進行標定，建立絕對相位信息和物體高度的關系[23]。

結合實驗室環境光的影響，向被測物體表面投射一幅最大投影強度Imax=255 的灰度圖，相機采集的實際場景如圖6(a)所示，可見圖像中有部分區域存在過飽和現象，獲取圖像中飽和像素點的位置。將相機光圈調至合適大小，以盡量減小環境光照對實驗的影響，且相機曝光時間設置為1/fp的整數倍，其中fp為投影儀的刷新幀率。因考慮到實驗過程中設備產生噪聲和環境光照的影響，設置飽和閾值Tb=250。根據公式(16)，即可計算出閾值分割后的圖像，如圖6(b)所示。

圖6 閾值分割效果圖Fig.6 Threshold segmentation graph

結合Step 1 中的物體表面過飽和信息，預估計并調整使實驗中的η=0.5，使物體表面不產生過飽和現象，在調制模式下實現過飽和區域的相機-投影儀坐標匹配。向被測表面投射一組最大灰度值為120，最佳條紋個數分別為70、64、59 的橫縱條紋圖，利用多頻外差四步相移法進行相位解算，其對應的相位主值分別為Ф1、Ф2、Ф3。再通過外差法計算疊加相位Ф12、Ф23，最后將Ф12、Ф23的相位疊加到全場范圍內只有一個周期的相位Ф123，實現流程圖如圖7所示。

圖7 相位展開流程圖Fig.7 Flow chart of phase unwrapping

根據式(3)、式(4)和Step 5 可求解相機坐標系下的過飽和點的最佳投影值，再結合最大投影灰度為Imax的標準正弦條紋，可得到投影儀坐標系下的最佳投影條紋，如圖8(a)所示，整個自適應條紋圖的生成過程僅需要一幅最大灰度值的灰度圖和一組24 幅低灰度下的橫縱條紋圖。隨后，采集投影至物體表面的實際條紋，如圖8(b)所示。最后，通過多頻外差四步相移法求解實際采集條紋的絕對相位，并結合相位與高度的關系，即可重建出物體的三維面形。

圖8 自適應投影條紋圖Fig.8 Adaptive projection fringe image

3.2 對比實驗及適用性分析

針對本文方法的適用范圍，分別對具有類鏡面、高亮、混合表面以及其他無規則散射等反射率較高的物體表面和具有一定曲率的高反光物體進行三維重建分析，運用傳統的光柵投影三維測量方法[24]與本文所提的方法對類鏡面的鼠標表面、具有高反光特性的金屬工件叉板、圓柱曲面和精密加工的拋光磨具進行三維重建，實驗結果對比如圖9（彩圖見期刊電子版）所示。從圖9（a）紅色矩形區域可看出，經傳統光柵投影三維測量方法得到的被測表面的三維點云及其擬合模型中均存在明顯的局部點云缺失現象。圖9（b）是運用本文方法獲得的被測表面三維點云及其擬合模型，可見三維模型中點云無明顯缺失。實驗中，多組不同類型的被測對象充分證明了本文方法的有效性和適應性。由此可知，采用本文提出的方法對含有局部鏡面反射區域的高反光被測物體表面的三維面形可被完整重構，且適用于大多數具有一定曲率特性的物體表面。

圖9 （a）傳統方法及（b）本文方法三維重建結果Fig.9 3D reconstruction results obtained by (a) traditional method and (b) the proposed method

4 誤差分析

為評估本文方法的性能，對同一基準平行平面的物體進行三維測量，并對物體的點云數據進行計算，以客觀評價測量方法的精度誤差。經實際測量物體高度值為20.00 mm，分別運用傳統方法[24]和文獻[21]、[22]中Wei、Chen 的測量方法與本文方法，對該平行板工件的原始點云數據進行質量分析，重建效果如圖10（彩圖見期刊電子版）所示。

圖10 不同方法的三維重建結果Fig.10 Experimental results of 3D reconstruction with different methods

對于上述同一測量對象，不同測量方法的誤差檢測結果見表1。對采集圖像的過飽和像素點數進行了統計，以補償過飽和區域的有效補償率和點云坐標的均方根誤差作為評價標準，其中均方根誤差的值越小表示測量結果的精度越高，其表達式為：

表1 本文方法與現有方法的誤差檢測結果Tab.1 Comparison of error detection results between the proposed method and existing methods

其中，n為重建物體像素點總數，Pcap,i為重建的第i個像素點云坐標，Pmodel,i為三維模型的第i個點云坐標。

依據最小二乘法擬合平面并計算兩平面點的距離均值、平均誤差與標準偏差，以定量評價所提方法的有效性，結果見表2。規定超過物體高度值為正向偏差，小于物體高度值為反向偏差。

表2 本文方法與現有方法的誤差對比分析Tab.2 Error analysis comparison between the proposed method and existing methods (mm)

由表1 和表2 定量分析可知，本文所提方法對過飽和像素點的補償率可達到99%以上，且其均方根誤差、間距平均誤差和標準偏差均小于其他方法所得的測量值，其中，平均誤差與Wei、Chen 方法對比分別減小47% 和38%，標準偏差減小52%和44.4%。與傳統方法相比，平均誤差減少61.9%，正向誤差減少61%，反向誤差減少63.6%，標準偏差減少67.7%。因此，相比于其他方法重建出的三維物體，本文所提方法對高反光物體的三維重建精度顯著提高。

5 結論

針對高反光表面的三維測量難題，本文提出了一種可根據被測物體表面反射率逐像素調制的自適應條紋投影方法，有效解決因被測表面的過度曝光、相位獲取不完整而導致三維重建過程中點云信息缺失的問題。實驗結果表明，本文方法可以有效重建出高反光表面的三維面形結構，獲取完整的點云信息。本文所提方法不需要大量采集不同灰度值的投影灰度圖像序列，且不用對硬件設備進行改動，方法及原理新穎，操作簡便，且精度較高。實際測量誤差約為0.08 mm，均小于文中其他方法所得的測量值，相對傳統方法平均誤差減少61.9%，標準偏差減少67.7%。但本文方法在實際測量過程中會受到噪聲的影響，后期將深入研究去噪算法以減少外界環境的影響。