基于投影柵相位法和多曝光圖像融合技術的強反射表面輪廓檢測

雷經發，陸宗勝，李永玲，張 淼，趙汝海

（1.安徽建筑大學 機械與電氣工程學院，安徽 合肥 230601；2.工程機械智能制造安徽省教育廳重點實驗室，安徽 合肥 230601；3.過程裝備與控制工程四川省高校重點實驗室，四川 自貢 643000）

1 引 言

強反射金屬表面的三維形貌測量一直是結構光測量的重點和難點。投影柵相位法[1-3］作為常用的結構光三維測量技術，因其非接觸式、分辨率高和精度高等優點被廣泛應用于在線測量、軍工生產和醫學成像等領域，其原理是將計算機計算出的光柵條紋通過投影儀投影在被測物體的表面，然后通過CCD相機獲取表面被調制發生形變的光柵圖像，通過圖像處理等方法解出被測物體三維信息。但對于具有強反射表面的物體，物體表面強反射性質會導致在圖像采集時出現圖像局部過明或過暗的情況，這樣會使圖像本身的像素點不能被真實地反應出來，引起信息失真，對于物體的測量產生很大的誤差。

針對以上問題，國內外學者提出了不同的解決方法。早期主要方法是在被測物體表面噴涂一層很薄的顯像劑，使之表面呈現漫反射的特性，但是此方法無法保證顯像劑能夠均勻的噴涂在被測表面，導致測量精度降低；Song等[4］提出了一種多曝光圖像融合的方法，將不同曝光時間下拍攝的一組低動態范圍圖像合成一幅高動態范圍圖像，但該方法對于環境光的要求較高且面對不同的實驗對象時選擇的曝光時間和次數也不盡相同；Zhang[5］等在不同曝光時間下拍攝圖像，選擇同一位置亮度最高且不飽和的點參與三維重建，但此方法中曝光時間和曝光次數的選取過于依賴實驗者的經驗；姜宏志等[6］提出一種向被測物體表面投射明暗兩種條紋的多曝光圖像融合方法，解決了反射光亮度范圍與相機動態范圍不一致的問題，但對兩種條紋的明暗程度有嚴格的要求；李兆杰等[7］提出一種基于自動多次曝光的面結構光形貌測量方法，該方法利用相機響應曲線和在不同曝光時間下的圖像計算出被測物體在當前場景測量所需的曝光次數和曝光時間，將具有不同曝光時間的圖像序列融合成新的條紋圖像序列進行重建，但該方法過程比較繁瑣；Umeyama團隊[8］提出在相機鏡頭前安裝偏振片，將鏡面反射光濾除，只讓漫反射光進入相機，但是強反射表面的物體漫反射光成分較弱，會影響測量精度。

本文在投影柵相位法的基礎上，結合多曝光圖像融合技術、線性變換和伽馬變換等技術實現強反射表面的三維輪廓檢測。首先按照從長到短的次序在N個不同的曝光時間使用投影儀向被測物分別投射白光和相移為π/2的光柵條紋，相機在投射白光下采集的圖像經過計算得到的一組掩模圖像與在投射光柵條紋下采集的四組條紋圖像依次相乘，將得到的圖像進行線性變換，降低圖像對比度，保證原本高光區域在后續的圖像疊加時不會出現新的高光區域；然后對疊加之后的圖像進行伽馬變換，使圖像較暗區域的亮度得到提升，得到四幅無失真的高動態范圍圖像；最后通過相位解算和參數標定得到被測物體表面三維點云數據。該方法能夠在一定程度上克服因物體局部高光而導致的點云缺失問題，為強反射表面三維輪廓檢測提供理論與技術支持。

2 基本原理與方法

2.1 物體反射模型分析

入射光在物體表面形成的反射光主要分為漫反射波瓣、鏡面反射波瓣和鏡面反射波尖三種形式[9］。如圖1所示，對于強反射表面，入射光在物體表面形成的反射光以鏡面反射波尖為主，鏡面反射波瓣為輔，漫反射光強較弱。

圖1 強反射表面反射模型Fig.1 Reflection model of high reflection surface

由于漫反射波瓣對每個方向的光強一致，所以相機的拍攝角度對拍攝結果不會產生影響，獲取的光柵條紋圖像的強度也是一致的；而鏡面反射的光強與鏡面反射的夾角有關，相機從不同角度觀察到的光柵條紋圖像的強度是不同的，所以相機會拍攝到從漫反射波瓣到鏡面反射波尖的明暗不同的光柵條紋圖像。由于相機感光元件的動態范圍是有限的，當被測物體表面的反射率過高時，實際的像素值會大于相機的最大量化值，表現為被測物體出現局部亮度飽和，加之相機自身的噪聲和灰度量化誤差等因素，導致條紋圖像的信噪比下降，影響測量精度。

2.2 多曝光圖像融合

對于具有強反射表面的被測物，單張圖像無論曝光時間多長都會出現曝光過度或曝光不足的現象，導致局部圖像失真。而多曝光圖像融合將不同曝光時間下拍攝的一組低動態范圍圖像合成一幅高動態范圍圖像，能夠顯示出圖像中的更多細節，從而克服局部圖像失真的問題[10］。具體步驟如下：

第一步，選擇N個不同的曝光時間，投影儀按照曝光時間從長到短的順序向被測物體投射白光，將相機獲取的圖像依次存入序列I中，然后對序列I中的圖像進行高斯濾波減少噪聲干擾。定義合成方法所需的掩模序列為M[7］，其計算公式如公式（1）所示：

其中：Ii(m，n)表示I中第i幅圖像在坐標(m，n)的像素灰度值，N為曝光次數。此時的序列M中除了目標區域，仍存在一些干擾點，可以使用腐蝕和膨脹的算法進行濾除。

第二步，按照曝光時間從長到短的順序分別采集四張相移為π/2的光柵條紋圖像，共采集4組光柵條紋圖像，設采集的光柵條紋圖像為JSi，其中S=1，2，3，4，i=1，2，3，…，N。

第三步，用M序列中的掩模圖像與JS序列中的條紋圖像依次相乘，利用公式（2）得到序列GS，其計算公式為：

其中，GSi(m，n)為M序列中第i幅掩模圖像與JS序列中第i幅條紋圖像相乘之后在(m，n)處的灰度值。

第四步，利用公式（3）對序列GS中的每一張圖片進行線性變換，得到序列FS。通過降低圖像的亮度和對比度使圖像整體變暗，使其在下一步圖像融合之后圖像中不會出現新的高光區域，而對原本灰度值較暗的區域影響很小。

其中：FSi(m，n)為序列FS中第i幅圖像在(m，n)處的灰度值；α用于調整圖像的對比度；β用于調整圖像的亮度，即圖像灰度值的大小。

第五步，進行圖像融合。用T表示融合后的光柵圖像，則點(m，n)的灰度值T(m，n)的計算公式如式（4）所示：

第六步，對融合之后的光柵圖像T的灰度值歸一化，即圖像每個像素點的灰度值除以255，使其取值范圍為0～1，如式（5）所示：

第七步，對圖像K進行伽馬變換后將圖像灰度值還原，得到一幅無失真的圖像H，如式（6）和圖2所示。當γ小于1時，將輸入圖像中范圍較窄的低灰度值映射為輸出圖像中較寬范圍的灰度值；而當γ大于1時，將輸入圖像中范圍較窄的高灰度值映射為輸出圖像中較寬范圍的灰度值。選取合適的γ，可以使圖像H較暗區域的灰度值得到提升，而對較亮區域的灰度值影響較小。

其中：c為常數，γ為變換系數。圖2表示的圖像灰度值范圍為0～1，還原需乘以255。

圖2 伽馬函數曲線Fig.2 Gamma function curve

綜上，多曝光圖像融合是將掩模序列M與條紋序列JS相乘得到的條紋序列GS進行線性變換，然后將經過線性變換的條紋序列FS進行圖像融合得到條紋圖像T，最后將圖像T進行伽馬變換得到最后的條紋圖像H，主要流程如圖3所示：

2.3 相位解算及點云計算

投影柵相位法以其非接觸、高精度的優點被廣泛用于物體的三維測量，其原理是計算多幅具有一定相位差的條紋圖上的每個像素點的相位值，然后根據這些相位值來計算出物體的三維信息，本文采用四步移相法計算條紋圖中的相位信息[11］，即條紋圖數量為4，相鄰兩幅條紋圖的相位差為π/2，四幅條紋圖在坐標(m，n)處的灰度值分布如公式（7）所示：

其中：Ii(m，n)為第i幅條紋圖在點(m，n)處的灰度值，I′(m，n)為圖像背景灰度值，I″(m，n)為圖像的灰度調制，φ(m，n)為需要解算的相位主值。則四步移相法的相位解算如公式（8）所示：

由三角函數的性質可知，公式（8）的結果包裹在[-π/2，π/2］區間內，但實際相位值在一個周期內是唯一的，所以需要將其解開到[0，2π］之間。此時要在包裹的相位值的基礎上獲得完整的相位就需要展開，那么完整的相位值為：

其中：φ表示光柵條紋解出的相位主值，k為當前對應的周期次數。

本文通過雙頻外差相位展開法[12］獲得相位主值。投影儀投射兩種光柵條紋圖，接著先提取兩幅相位主值圖，根據光柵條紋圖疊柵的性質，假設θ1和θ2分別表示光柵節距為P1和P2的兩幅光柵圖的絕對相位，則

當Δn2-Δn1＞0時：

其中：Δn1和Δn2分別表示兩種頻率光柵條紋級數的小數部分；P1和P2表示投射兩種光柵條紋圖像的光柵節距；φ1和φ2表示由兩種頻率光柵條紋解出的相位主值；參數q和光柵條紋節距有關，通常在設計雙頻光柵條紋投影圖案時光柵條紋節距P1小于P2，使得可測區間處于同一級條紋級數內，即取q=0。

3 實驗與結果分析

為驗證所提方法的普適性，實驗選取法蘭片、標準塊和U型卡作為被測樣件。分別采用投影柵相位法、文獻[5］的方法、文獻[9］的方法和本文的改進方法對以上樣件進行三維輪廓檢測。采集圖像時根據法蘭片、標準塊和U型卡表面不同的反射特性，曝光時間等參數的選擇也有所不同，具體參數如表1所示：

表1 被測物體各參數值Table 1 Parameters values of the measured object

本文采用四步移相法和雙頻外差法得到圖像的相位信息，雙頻光柵條紋的節距分別為34 pixel和36 pixel。以法蘭片為例，當條紋節距為34 pixel時，分別在曝光時間為100 ms、80 ms、60 ms和40 ms的情況下采集4幅光柵條紋圖，共分為4組。接著與由公式（3）得到的一組掩模圖像依次相乘之后進行線性變換，取α為0.6，β為0。然后通過公式（6）將每組的四幅圖像進行疊加，得到一幅無高光區域但圖像整體較暗的圖像，最后將每組的圖像進行伽馬變換，取c為1，γ為0.6，最終得到4幅條紋圖像。圖4～6分別是利用投影柵相位法、文獻[5］方法、文獻[9］方法和用本文方法得到的移相圖。圖7～9分別是上述四種種方法經相位解算和參數標定[13］得到被測物體表面三維點云數據，由此可以重構出被測物體表面三維輪廓。

圖4 法蘭片在不同方法下的條紋圖像Fig.4 Fringe image of flange in different methods

圖5 標準塊在不同方法下的條紋圖像Fig.5 Fringe image of standard block in different methods

圖6 U型卡在不同方法下的條紋圖像Fig.6 Fringe image of U-card in different methods

圖4～6中第一張圖像均是通過投影柵相位法所獲得的，即光柵條紋直接投射在物體表面上，由于被測物體具有強反射性，導致物體表面出現區域過大的高光和過暗的區域，同時對條紋的破壞程度也是最大的；第二張圖像均是通過文獻[5］的方法獲得，利用多曝光圖像融合技術，去除被測物體中像素值為255的像素點，但經過融合之后原本過曝區域的附近會出現新的高光區域，且對于過暗的區域沒有明顯的改變，存在較大的高光和過暗的區域；第三張圖像均是通過文獻[9］的方法獲得，先將條紋二值化再進行多曝光圖像融合，雖然條紋經過二值化之后具有一定的魯棒性和抗噪型，但是原本過曝區域的附近依然會出現部分高光區域，同樣對于過暗區域沒有明顯改變；第四張圖均是通過本文方法獲得，利用多曝光圖像融合技術結合線性函數和伽馬函數對圖像進行處理，不僅可以去除圖像中的高光點，也能對圖像灰度值較低區域的灰度值進行提高，所以圖中沒有明顯高光和過暗的區域。

圖7 法蘭片在不同方法下測量的點云結果Fig.7 Point cloud results of flange measured by different methods

圖8 標準塊在不同方法下測量的點云結果Fig.8 Point cloud results of standard block measured by different methods

從點云圖像對比來看，投影柵相位法在面對強反射表面物體時，由于曝光過度或曝光不足，會導致點云嚴重缺失，降低檢測精度；文獻[5］的方法雖然能獲得部分過明區域的點云，但是過明區域附近和過暗區域的點云依然部分缺失；文獻[9］的方法使條紋進行二值化之后具有一定的魯棒性和抗噪性，但是過明區域附近和過暗區域的點云也會出現少量缺失；而使用本文方法檢測強反射物體表面時，過明和過暗區域的點云均可獲得，一定程度上提高了實驗的精度。

圖9 U型卡在不同方法下測量的點云結果Fig.9 Point cloud results of U-card measured by different methods

表2 三維重建方法測量出的點云個數Tab.2 Number of point clouds measured by 3D reconstruction method

三維重建方法測量出的點云個數如表2所示。將三種強反射表面物體噴涂一層很薄的顯像劑，使之表面呈現漫反射的特性，采用投影柵相位法測量出點云個數，作為基準數。對未噴涂顯像劑的被測物，分別用投影柵相位法、文獻[5］的方法、文獻[9］的方法和本文方法檢測出點云個數，并與基準數進行對比。實驗結果表明，使用投影柵相位法檢測法蘭片、標準塊和U型卡時只有約79.2%、66.2%和82.0%的三維點可以被測出，點云嚴重缺失；文獻[5］的方法對于這三種物體表面進行檢測時約有87.2%、93.4%和92.2%的三維點可以被測出，有較多部分點云缺失；文獻[9］的方法對于這三種物體表面進行檢測時有93.9%、95.8%和93.8%的三維點可以被測出，雖然將光柵條紋進行二值化使其具有一定魯棒性，但是依然有少部分的點云缺失；而使用本文方法進行檢測時分別可測出99.8%、99.1%和99.3%的點云。可見，本文提出的方法可以有效解決在檢測強反射表面時由于過曝或者曝光不足所引起的輪廓信息失真問題。

為驗證所提方法的有效性，將本文方法所測相位結果同在被測物體上噴涂顯像劑所測相位進行對比，為了避免單個像素點引入較大誤差，選取同一區域40 pixel×40 pixel分別計算相位的均值和標準差，并以噴涂顯像劑時所測相位均值為基準，計算本文方法所測相位均值的相對誤差。表3～5分別給出了法蘭片、標準塊和U型卡5個不同高光區域的對比結果。

表3 法蘭片相位對比Tab.3 Phase comparison of fringe

表4 標準塊相位對比Tab.4 Phase comparison of standard block

表5 U型卡相位對比Tab.5 Phase comparison of U-card

從表3～5可以看出本文方法測量法蘭片、標準塊和U型卡的最大相對誤差分別為0.010%、0.022%和0.166%。各表中標準差值均較小，說明在測量過程中所選區域未引入較大誤差點。實驗結果表明，采用本文方法對相位進行多次數值變換之后對相位計算的影響較小，與表面噴涂顯像劑處理后所測相位值較為接近，說明本文所提方法能有效地解決強反射表面物體的高光問題。

4 結 論

針對強反射物體表面測量失效的原因進行分析，提出一種在投影柵相位法的基礎上結合線性函數和伽馬函數變換的多曝光融合技術檢測強反射物體表面三維輪廓的方法，在文獻[5］的方法上加以改進，與文獻[9］中的圖像融合技術相比，本文僅用一組掩模，減少了計算掩模圖像的時間，提高了檢測效率，實驗表明此方法可以測得99.1%以上的點云數量，有效地解決了現有方法在檢測強反射物體表面輪廓時點云缺失的問題，為強反射物體表面三維輪廓的精確測量提供了參考。