剪切波變換和條紋方向二值掩膜的相位解包裹方法

李碧原，趙鑫春，張 軍，王 宇

（天津職業技術師范大學電子工程學院，天津 300222）

條紋投影輪廓術（fringe projection profilometry，FPP）是一種非接觸、快速且精度高的三維形貌測量方法，被廣泛地應用于光學三維測量領域[1]。在FPP三維測量中，待測物理量與編碼在條紋中的相位信息直接相關，準確地提取相位是FPP三維測量的關鍵。目前，傅里葉變換輪廓術[2]和相移輪廓術[3]是兩類最常用的相位提取方法，這兩類方法均利用反正切函數求解相位，導致相位值分布在[-π，π]之間且存在2π的相位跳變，這種相位分布稱為包裹相位。而真實相位φ和包裹相位φ之間的存在關系：φ=φ+2πK，-π≤φ≤π，即真實相位與包裹相位之間存在2π整數倍的相位差，從包裹相位中恢復出真實相位的過程稱為相位解包裹。

目前，相位解包裹方法主要分為時間相位解包裹方法和空間相位解包裹方法2類。時間相位解包裹方法每一個像素點的相位值都是獨立計算的，從而有效地減少了解包裹誤差的傳遞。Zuo等[4]對時間相位解包裹方法做了綜述性研究，并比較分析了時間相位解包裹中常用的多頻法、多波長法和數論相位解包裹方法的性能。與時間相位解包裹方法相比，空間相位解包裹算法只需要一幅包裹相位圖即可獲得解包裹相位。空間相位解包裹方法可以分為2類：路徑跟蹤法和最小范數法。

路徑跟蹤法主要包括枝切法（branch cut）[5]、質量圖引導相位解包裹法（quality guide phase unwrapping，QGPU）[6]、區域生長算法[7]、遺傳法[8]和最小不連續法[9]。上述方法的區別在于如何設置積分路徑對包裹相位梯度進行積分。基于最小范數的全局相位展開是一種與路徑無關的相位解包裹方法。作為目前應用最廣泛的全局相位解包裹方法之一，加權最小二乘相位解包裹方法（weighted least square method，WLSM）[10-13]已經被國內外專家學者研究多年。在WLSM中，加權系數的設定是最關鍵的一步，因為它決定了是否能夠準確地區分出相位的不一致區域。近年來，針對WLSM加權系數的設定，相關專家學者提出了許多新方法：Ghiglia等[10]利用相關圖作為加權系數。hen等[11]利用小波脊作為加權系數。Lu等[12]利用導數相關二值掩模圖作為加權系數。Wang等[13]利用區域的可靠性圖來定義加權系數。在條紋投影輪廓術實際應用中，由于高度劇烈變化、空間孤立的表面或圖像光強度的突然變化，經常會遇到不連續的條紋和陰影。在這種情況下，相鄰像素點之間的相位差可能會超過2π，條紋也會因為陰影而失去級次。

不連續條件下的相位展開仍然是一個具有挑戰性的問題。近年來，學者們提出了一些解決不連續相位展開問題的方法。Rivera等[14]提出了一種基于魯棒半二次正則化的通用正則化公式，用于處理帶有噪聲和相位不連續的相位解包裹問題。文獻[15]提出了一種基于殘差的質量導向相位解包裹方法。Zhao等[16]提出了一種snake模型輔助的質量導向相位解包裹方法。該方法利用梯度向量場snake模型對窗口傅里葉變換得到的質量圖進行修改。在一些不連續的實例中，使用snake模型得到的高質量的圖像比直接使用基于窗傅里葉變換的方法獲得了更好的展開效果。Wang等[17]提出了一個完整的不連續條紋圖處理流程。該方法利用基于局部方位相干的條紋分割方法和基于邊界感知的相干增強擴散方法得到了質量圖。文獻[18]提出了一種新的加權最小二乘法，在該方法中加權系數是由反向導數方差相關圖的二值掩模得到。Yan等[19]提出基于模糊集理論的自適應掩模生成算法并結合最小二乘法實現相位解包裹。

最近，深度學習算法也被引入到光條紋圖相位解包裹領域，文獻[20]提出基于深度學習的相位解包裹方法，該方法利用卷積神經網絡對FPP條紋圖中的周期順序進行解碼，解決了FPP中真實相位信息評估時的模糊性問題。文獻[21]提出了基于聚類和卷積神經網絡的二維相位解包裹網絡結構“PhaseNet”。文獻[22]提出基于卷積神經網絡的時域相位解包裹方法。文獻[23]提出一對多深度學習框架實現三步相移進而完成相位解包裹。文獻[24]提出新的端到端的網絡模型“H-Net”，通過引入全局指導路徑提高了網絡學習性能，實現了條紋結構光三維形貌測量。基于深度學習的相位解包裹方法能夠處理多幅圖像，但需要仔細地制作相應的訓練集。

本文基于剪切波變換和條紋方向性提出一種新的加權最小二乘相位解包裹方法，該方法利用剪切波變換提取條紋，利用條紋方向性獲取二值掩膜進而定義新的加權系數，該加權系數可以準確地區分包裹相位圖中連續區域和不連續區域。將提出的新方法應用到模擬和實驗獲得的條紋投影靜態和動態測量過程中，并與5種常用的相位解包裹方法進行比較。

1 單幅FPP條紋圖相位提取和加權最小二乘相位解包裹

1.1 單幅條紋圖的FPP相位提取技術

在FPP相位提取方法中，基于單幅FPP條紋圖的相位提取方法以其速度快、適應性強和設備要求低等優點得到了廣泛的應用。圖1給出了基于單幅條紋圖的FPP相位提取的主要流程，包括：①投影條紋的設計、②系統標定、③圖像預處理、④條紋圖去背景、⑤相位提取、⑥相位解包裹。

圖1 單幅FPP條紋圖相位提取流程圖

該方法僅利用一幅FPP條紋圖通過一系列的條紋分析方法便可以實現三維形貌的測量與顯示。利用攝影機采集到的變形FPP條紋圖的光強表達式為

式中：Ia為圖像的背景；Ib（x，y）cos（φ（x，y）+2πf0x）為圖像的條紋部分Ifringe；NOISE為噪聲；φ（x，y）為相位信息；2πf0x為載頻。

在單幅FPP條紋圖三維形貌還原過程中，首先要利用計算機生成光柵條紋并利用投影儀投射到被測物體表面。這里的光柵條紋的設計可以按照實際需求進行調整。系統標定的目的是用于標定好整個測量系統中參數之間的關系，如標定攝影機與投影儀光心之間的距離，攝影機焦距等。圖像預處理用于減少攝像機采集到的圖像中由于環境等因素引起的噪聲干擾；條紋圖去背景是為了從條紋圖中將有用的條紋信息從背景、噪聲中分離開；相位提取和相位解包裹用于從變形條紋圖中提取相位主值以及將相位主值連續化。

1.2 加權最小二乘相位解包裹方法

加權最小二乘相位解包裹方法（weighted least square phase unwrapping，WLSPU）的基本思想是計算解包裹相位差與包裹相位差的最小二階范數，從而獲得解包裹相位。

WLSPU的目標函數為

式中：φi，j為解包裹后的真實相位；Δφxi，j和Δφyi，j分別為包裹相位φi，j在x和y方向上的包裹相位差；wxi，j和wyi，j分別為包裹相位φi，j在x和y方向上的權重；M×N為包裹相位圖的尺寸。

式中：wi，j為包裹相位圖中每一點的加權系數。

從式（2）和式（3）中可以看出，在WLSPU中，最終解包裹的精度取決于加權系數的選擇。在通常情況下，加權系數是由包裹相位圖的質量圖進行二值化計算得來的，將質量圖中可靠區域的權重系數設為1，不可靠區域的權重系數設為0[13]。加權系數的一般表達式為

式中：qij為質量圖；Γ為預先設定的閾值。

根據式（4）獲得的加權系數，式（2）可以化簡成求解Neumann邊界條件下的泊松方程，等價于如下離散形式的泊松方程解

其中，加權相位拉普拉斯算子ci，j為

將式（5）改寫成矩陣形式為

式中：Q為加權拉普拉斯算子；c為加權拉普拉斯操作向量；φ為解包裹相位向量；Q=P+D，P為非加權拉普拉斯算子，D為差異矩陣。

式（7）可以利用離散余弦變換法（discrete cosine transform，DCT）和預條件共軛梯度法（preconditioned conjugate gradient，PCG）來求解。

從式（2）到式（7）以及對加權最小二乘相位解包裹方法的描述可知，二值的加權系數可以準確地反映相位質量。WLSPU的精度取決于加權系數的選擇。

2 加權系數計算方法

基于剪切波變換和條紋方向二值掩膜的加權系數計算方法，首先對FPP條紋圖進行剪切波變換，利用剪切波變換去背景的同時獲取條紋部分。然后計算條紋部分的方向一致性，通過設置閾值生成二值掩膜圖，將二值掩膜圖作為加權系數輸入到加權最小二乘相位解包裹方法中實現精確的相位解包裹。

2.1 單幅FPP條紋圖剪切波變換

文獻[25]中提出了基于剪切波變換的FPP條紋圖去背景方法，與傅里葉方法相似，提出的剪切波變換也利用圖像的背景、噪聲和條紋的頻率在頻域內不同來實現條紋圖像去背景，但剪切波變換以其各向異性、方向的敏感性以及局部多尺度細分的優勢更加適合于條紋分析。因此，相比于傅里葉變換，剪切波變換可以實現更精確的FPP條紋圖背景和噪聲的剔除，避免影響后續計算精度。基于剪切波變換的背景去除方法的步驟如下：

步驟1對式（1）中描述的FPP條紋圖進行剪切波正變換，得到剪切變換相關系數

式中：SH為對圖像進行剪切波變換；SHI為圖像的剪切波變換系數。

步驟2對得到的剪切波變換相關系數進行硬閾值操作，去除低頻分量

式中：shrink為硬閾值操作；δ為閾值。

閾值參數的選擇與小波變換的方式類似，小波系數的閾值與圖像中的噪聲水平成比例。

閾值δ為

式中：Tscalars（i）為1×3的向量；Tscalars（1）是低通系數的閾值標量；Tscalars（2）是帶通系數的閾值標量；Tscalars（3）是高通系數的閾值標量；*為卷積運算；σ為噪音的標準偏差；dstscalars（j）為包含標準偏差為1變換系數的高斯白噪聲單元陣列，用來估計噪聲級標度，尺度參數j=1，2，3，4。

步驟3進行剪切波逆變換得到FPP條紋圖的條紋部分Ifringe

利用剪切波變換去除FPP條紋圖的背景分量和噪聲，得到了精確的條紋部分，接下來利用條紋部分獲取加權系數。

2.2 計算條紋部分的方向二值掩膜

FPP條紋圖是一種明顯的方向流場，具有強烈的方向性。條紋方向相對于條紋的灰度或者梯度信息而言，是一個變化緩慢的信息量，其方向信息代表了圖像的重要特征，因此可以用條紋圖的方向信息來指導相位解包裹。

方向一致性是指條紋圖像中某一區域內條紋方向的一致程度，方向一致性可以定義為

式中：Direction（i，j）和Direction（k，l）分別為在尺寸W×W的窗口中，中心像素（i，j）與其窗口鄰域內其他像素點（k，l）的方向角。

從式（13）可以看出，對于條紋方向一致的區域，中心點的方向角Direction（i，j）與其周圍鄰域內像素點的方向角Direction（k，l）接近，所以條紋的連續區域的方向一致性是一個比較大的值。相反，在條紋不連續區域中，中心點的方向角Direction（i，j）與其周圍鄰域內像素點的方向角Direction（i，j）差距較大，所以不連續區域的方向一致性是一個比較小的值。

設置適當的閾值將一致性圖轉化成二值掩模圖，將一致性大的點設為1，將一致性小的點設為0。

式中：TC為預先設定的閾值。

式（13）中涉及條紋方向角的計算，這里選用傅里葉法來計算條紋方向角，中心點（i，j）的方向角可以表示為

式中：E（ωk，ωl）為窗口的傅里葉功率譜；θk，l=tan-1（k，l）。

2.3 加權最小二乘相位解包裹

在獲取新的加權系數之后，將加權系數帶入到加權最小二乘相位解包裹算法中實現高精度的相位解包裹。具體步驟為：①利用剪切波變換將單幅FPP條紋圖去背景，并獲得條紋部分Ifringe；②依據式（15）計算條紋的方向圖Direction（Ifringe）；③依據式（13）計算條紋的方向一致性Coherence（Ifringe）；④依據式（14）將一致性圖轉化為加權系數二值掩膜圖Weight（i，j）；⑤將加權系數帶入到式（2）中實現相位解包裹。基于剪切波變換和條紋方向二值掩膜的加權最小二乘相位解包裹方法可以對物體表面帶有不連續性的包裹相位圖實現準確的相位解包裹。

3 實驗結果與討論

文中提出基于剪切波變換和條紋方向二值掩膜的加權系數計算方法，利用該加權系數與加權最小二乘相位解包裹方法結合，可以對表面帶有不連續性的包裹相位圖實現準確的相位解包裹。將提出的方法應用到模擬和實驗獲得的FPP測量的相位解包裹中，并與非加權最小二乘法[10]（unweighted least square method，ULSM）、窗傅里葉質量導向相位解包裹方法[26]（window fourier quality guide phase unwrapping method，WFQGPUM）、窗傅里葉脊變換質量導向相位解包裹方法[27]（window fourier ridge quality guide phase unwrapping method，WFR-QGPUM）、Goldstein枝切法[5]、圖切割法[28]（PUMA）進行比較。本文方法處理高度分布變化劇烈的FPP條紋圖如圖2所示。

圖2 本文方法處理高度分布變化劇烈的FPP條紋圖

圖2（a）給出了一幅模擬FPP條紋圖，圖2（a）的生成公式由式（1）給出，其中噪聲為高斯噪聲，方差為0.3，相位值計算公式為

從圖2（a）中可以明顯看出，物體表面的高度分布變化劇烈。圖2（b）給出利用剪切波變換對圖2（a）移除背景圖后的條紋部分，圖2（c）給出利用提出的方法從圖2（b）中獲得的加權系數圖，圖2（d）表示包裹相位圖。

理論相位和6種方法的解包裹相位圖如圖3所示。圖3（a）—（f）給出了理論三維相位圖和利用6種方法對圖2（d）解包裹后的三維相位圖。

圖3 理論相位和6種方法的解包裹相位圖

此外，為了定量評估6種方法的性能，這里利用均方根誤差（root mean square error，RMSE）作為評價指標來評估6種方法相位解包裹后的準確性。表1給出了6種方法的RMSE值，表2給出了圖3中6種方法解包裹所用的計算時間。RMSE可以被定義為

表1 6種方法的RMSE

表2 6種方法對圖2（d）解包裹所用的計算時間

式中：φi為解包裹相位值；φi*為理論相位值。

從表1中可以看到，本文方法的RMSE比PUMA方法更小。從表2中顯示的計算時間看，PUMA方法的運算時間最長，計算效率較低。從圖3中可以看出，非加權最小二乘法無法有效地識別出不連續區域，導致相位解包裹時的不準確。利用窗傅里葉和窗傅里葉脊方法獲得的解包裹相位得到了充分的平滑，有效地抑制了噪聲。Goldstein枝切法和PUMA圖切割法不具有抑制噪聲的能力，利用這2種方法獲得的解包裹相位視覺效果較差。本文提出的基于剪切波變換和條紋二值掩膜的相位解包裹方法，無論從噪聲抑制角度還是視覺效果都取得了令人滿意的結果。

用實驗獲得FPP條紋圖作為測試圖像來測試本文提出的方法，FPP條紋圖測試本文提出的方法結果對比如圖4所示。圖4（a）為實驗獲得的塑料人臉面具FPP條紋圖，圖4（b）為利用剪切波變換獲得的條紋部分，圖4（c）為利用條紋二值掩膜法獲得的加權系數，圖4（d）為包裹相位圖。

從圖4（c）中可以明顯看出，利用本文方法得到的權重圖能夠識別出物體表面上的不連續區域。如人臉面具中的眼睛，嘴唇部分。圖5給出6種方法對圖4（d）的相位解包裹的結果，6種方法的計算時間如表3所示。

表3 6種方法對圖5（d）解包裹所用計算時間

圖4 實驗獲取的FPP條紋圖和包裹相位圖

圖5 6種方法的解包裹結果

從圖5可以看出，利用非加權最小二乘法和Goldstein枝切法獲得的解包裹相位圖視覺效果較差。窗傅里葉和窗傅里葉脊方法在人臉面具的邊緣處的解包裹效果不夠理想。PUMA方法在人臉面具頂部區域受到了噪聲的干擾。從表3中發現PUMA方法計算效率較低，本文方法能夠有效地識別不連續區域避免誤差傳遞。此外，本文方法在保證精度的情況下計算時間較少。

4 結語

本文提出了一種新的加權最小二乘相位解包裹方法，該方法的主要優點是利用剪切波變換和條紋二值掩膜準確地區分包裹相位圖中不連續區域和連續區域。此外，采用模擬圖和實驗圖對提出的方法進行測試，并與5種常用的相位解包裹方法進行比較。實驗結果表明：本文提出的方法精度高且計算速度較快，能夠有效地識別不連續區域，避免相位解包裹時的誤差傳遞。