基于WGAN的環形鍛件表面偏振檢測＊

陳景銘 張禮華 王子翔

（江蘇科技大學機械工程學院，江蘇 鎮江 212114）

在風電機組滑動式偏航回轉支承結構中，環形鍛件作為關鍵零件，其功能相當于滑動軸承，要求表面光滑無明顯缺陷，否則會影響風電機組的使用效率和壽命[1]。目前，針對環形鍛件外部缺陷，常用的方法有水浸超聲波脈沖回波檢測技術、射線檢測技術、磁粉檢測技術、液體滲透檢測技術和渦流檢測技術[2]，盡管傳統的缺陷無損檢測方法得到大量應用，但還存在一些弊端，難以實現智能化、自動化與高精度的多重要求[3]。

偏振成像技術相比較傳統視覺檢測技術的優勢在于把信息量從3個自由度（光強、光譜和空間）擴充到7個自由度，增加了偏振度、偏振方位角、偏振橢率和旋轉方向，這種測量信息的豐富性有利于提高目標的探測精度[4]。在利用偏振裝置獲取stocks矢量時，通常會忽視掉表面散射光中的圓偏振部分，但環形鍛件的金屬材質會產生圓偏振反射光。所以針對金屬目標進行stocks矢量的測量時，不應忽略其第4個分量。

生 成 對 抗 網絡 (generative adversarial networks，GAN)是一種無監督深度學習模型。模型通過框架中(至少) 2個模塊：生成模型(GenerativeModel)和判別模型(DiscriminativeModel)的互相博弈學習產生相當好的輸出。但傳統的GAN存在訓練困難的問題，故筆者在 WGAN (wasserstein gan)基礎上改進損失函數并增加校正模塊得到半監督生成對抗網絡。

1 FSV 優化估算模型

基于DoFP偏振相機和單個LCVR（相位可變液晶延遲器），研究基于兩次光強采集下LCVR快軸方位角和相位延遲量的優化問題，旨在最小化FSV(full stokes vector)的估算方差，從而最優化 FSV 的測量精度。根據優化的估算模型，提出針對于金屬表面的FSV模型（帶有stocks矢量的第4個分量）。

1.1 FSV 估算最優策略

偏振相機一次拍照可以同時獲得線偏振角度分別為 0°、45°、90°和 135°的偏振解析狀態，通過不同相位延遲量的LCVR共可獲得8組不同偏振解析狀態的光強值[5]。目標表面散射光的stocks矢量S與進入探測器光的stocks矢量Sout之間的關系為：Sout=MP·ML·S（MP為偏振片的穆勒矩陣，ML為相位延遲裝置的穆勒矩陣）。光強與目標表面散射光的stocks矢量的關系為：

其中： α為偏振片的偏振角度。圖1為環形鍛件在風電機組中的結構示意圖。

圖1 偏航軸承示意圖

基于偏振相機和相位延遲裝置，可以得到8個光強與目標表面散射光的stocks矢量S的關系為

其中：

式中：c代表 c os2β, s代表 si n2β， β為LCVR快軸方位角， δ1和 δ2分別為LCVR的兩次不同相位延遲量。

本文考慮受方差大小為 σ2的高斯加性噪聲影響，FSV的4個參數(S0，S1，S2，S3)的測算方差為

引入 EWV(equally weighted variance)作為衡量FSV估算性能(或方差)的指標[6]，表達式為

數值搜索和各參量的測算方差均表明，對應的最優解min(Vewv)=5.5σ2不止一組。圖2a為EWV=5.5σ2與相位延遲裝置的快軸方位角 β和相位延遲量 δ1和δ2之間的關系，從中可以看出EWV的取值對快軸方位角不敏感，并且 |δ1-δ2|=90°。圖2b為δ1=0°時EWV隨相位延遲裝置的快軸方位角和相位延遲量之間的關系。圖2c為 δ1=0°且EWV=5.5σ2時，相位延遲量δ2與快軸方位角之間的關系， δ2=90°。

圖2 EWV與相位延遲裝置各參量之間關系

表1為EWV全局優化數值表，結合數值搜索和優化算法的結果，同時考慮S3分量對應的測算方差和2個相位延遲量的變動值，可選用β =96.505°，δ1=0°，δ2=90.001°這一組最優解。

表1 EWV全局優化數值表

1.2 提出的 FSV 模型

從估算模型對應解空間維度的角度出發可知上述模型具有內在的測量冗余性[7]，在FSV測量的2次過程中，使某一次波片相位延遲量為0，則能直接從偏振相機的單次采集圖像中求解出前3個斯托克斯參數S0、S1、S2，再利用不同相位延遲量的偏振解析狀態解算出S向量的第4個分量S3。

根據該假設，我們建立相應的數學模型。其中第1次為無波片偏振解析狀態，可得到如下關系

按照偏振角度 0°、45°、90°和 135°的順序進行圖像采集，獲得8組偏振態對應的光強值：第1組I0、I1、I2、I3；第2組I4,I5,I6,I7。由式（5）可求得

進一步推導可得

1.3 LCVR 自標定及偏振信息計算

根據所提出的FSV模型，僅需兩次DoFP光強采集即可實現LCVR快軸方位角和相位延遲量的自標定。由式（8）可得

由式（9）得LCVR快軸方位角

此時： β ≠ 45°、135°。

以I=W8×4S為基礎，將矩陣I和矩陣W8×4的前4行分別乘以 si nδ2，后4行分別乘以 si nδ1，推導可得

則相位延遲量

由Stokes矢量可計算得到光強圖（S0）、總偏振度（DoP）和偏振角（AoP）。 環形鍛件表面的平整度、紋理構造等均會產生偏振度（DoP）和偏振角（AoP）的變化[8]。相應計算如式（12）。

方位角 φ可由AoP確定，但利用FSV獲取表面三維信息時，存在著方位角 φ的二義性問題。利用目標表面微面元出射光偏振度DoP和目標表面反射率信息n，能夠實現對入射角θ 的估計。具體公式如式（13）。

假設目標曲面是光滑、連續和封閉的曲面，用z=f(x,y)來表示，則法向量與偏振特性參量的映射關系能夠被表示為

其中：nx、ny、nz分別表示法線在x軸、y軸和z軸上的分量。

2 基于神經網絡的 S3 圖像生成

上述模型的建立利用兩次圖像采集過程中信息的冗余性，但只為了獲取S3分量而增加系統的復雜度得不償失。為此，我們想達到只需一次圖像采集，即可實現對目標表面的FSV測量。利用S0、S1、S2作為輸入信息，經過訓練好的網絡生成S3圖像。

2.1 S參量偏振圖像數據集

如今，偏振圖像數據集多為利用偏振相機拍攝的未經處理圖像，并不適用于S3圖像生成網絡的訓練。為此，我們構建了基于環形鍛件表面的S參量偏振圖像數據集，以驗證所搭建神經網絡的有效性。

圖3是所搭建的偏振成像系統示意圖，利用支承架將光源、LCVR和DoFP偏振相機固定，環形鍛件通過旋轉裝置進行待測表面的移動。在制作數據集的過程中，為了獲得準確的S3圖像數據，仍需進行兩次圖像采集。在實驗設置下，收集了20組偏振圖像，所有圖像均按組進行存放。圖4顯示了部分S分量的訓練樣本。

圖3 偏振成像系統

圖4 S 參量偏振圖像

2.2 S參量偏振圖像生成對抗網絡

所提出的生成器網絡主要由偏振特征提取模塊和偏振特征融合模塊組成，評價模塊和校正模塊主要由偏振特征提取模塊組成。生成模塊中的偏振特征提取模塊和偏振特征融合模塊通過級聯進行連接，可增強對圖像細節的擬合能力。評價模塊與生成模塊相互競爭的關系，生成模塊生成的圖像由評價模塊通過對比真實S3參量圖像進行評價。

借鑒WGAN-GP損失函數，在原有基礎上，生成模塊損失函數增加衰減因子和校正模塊損失項，函數表達式如公式（16）所示。

其中：Ex表示數學期望，pc和pr分別表示取生成樣本和真實樣本， λ和 μ分別表示損失項系數和校正模塊損失項系數。校正模塊損失函數如式（17）所示。

訓練前期網絡的生成能力和評價能力都較弱，但后期隨著生成模塊生成的圖像越來越逼真，評價模塊反而阻礙了生成模塊的進步。本文改進傳統的網絡結構并加入校正模塊，隨訓練次數的推移，合理地對兩者的損失量進行分配。在校正模塊中，增強真實樣本對損失值的影響程度。

如圖5所示是所搭建改進的半監督S參量生成對抗網絡結構，其中Conv.layer，Deconv.layer分別表示卷積層和反卷積層，（BN.layer）批量歸一化層用于生成模塊當中，（LN.layer）層歸一化用于生成模塊和校正模塊中。使用tanh激活函數作為生成模塊最后的輸出，其他層使用LeakRule作為激活函數使用。

圖5 S 參量偏振圖像生成對抗網絡

3 實驗結果

為獲取偏振圖像，通常采用偏振分時成像或者偏振同時成像兩種方式[9]，實驗采用的是分時成像。利用支承架將光源、LCVR和DoFP偏振相機固定，待測表面通過旋轉裝置進行移動。

3.1 測量方法性能驗證

為了證明所提出測量方法的穩定性和準確性，進行了模型測量性能的實驗。選用一塊零級1/4波片（ δ =90°）替換偏振成像系統中的LCVR，進行快軸方位角和波片相位延遲量的標定。由于零級波片的相位延遲量精度很高，故可作為標準對照組。為了方便快軸方位角的對比，選用 β =90°。對待測表面測量60 min，每6 min進行一次實驗。

如圖6所示，1/4波片的相位延遲量和快軸方位角平均值分別為 δ =89.83°， β =89.99°，同標準對照組的最大誤差分別為 0.38°和 0.12°，在環境溫度波動不大的情況下，測量系統具有良好的穩定性和準確性。

圖6 穩定性與準確性測量

3.2 二維三維偏振信息恢復

在偏振系統標定好后，轉動待測表面。第1次拍照時控制LCVR的電壓使其相位延遲量為 0°，第2次拍照時控制LCVR的電壓使其相位延遲量為 90°。通過2次拍照獲得8幅偏振圖像，對獲取的圖像進行處理，得到S參量偏振圖像。然后，將獲得的20組數據進行劃分，其中16組（80%）作為訓練數據輸入到所搭建的S參量偏振圖像生成對抗網絡中進行訓練，4組（20%）作為測試數據對訓練好的網絡進行測試。圖7為網絡迭代損失值，圖8為搭建的偏振成像系統實物裝置圖，圖9為測試集生成偏振信息。

圖7 網絡迭代損失值

圖8 偏振成像系統實物圖

圖9 測試集偏振信息

隨機選取測試集當中的某一份數據進行偏振三維重建工作，以驗證方案的可行性。從圖10重建的三維模型中可以看出，整體的待測表面深度信息已經恢復出來，但局部存在模糊部分。

圖10 偏振三維重建模型

3.3 實驗結果與分析

偏振處理后的圖像S0描述了目標表面的整體光強特性；環形鍛件較光滑的表面會出現較大的線偏振度，從S1、S2分量可以看出；S3分量將環鍛件表面的邊緣部分細節信息增強。通過計算得到DoP、DolP和AoP圖像，對比發現含有S3分量計算的DoP圖像中環鍛件表面待測紋路信息得到了加強。表2是計算得到的偏振圖像評價指標。

表2 偏振圖像評價指標

結合光強圖、偏振度圖像和偏振角圖像，引入客觀的圖像質量評價指標，偏振角AoP圖加強了缺陷和背景之間的對比；DoP圖像的信息熵H、均值F的值都大于光強圖和無圓偏振分量偏振度圖DolP的值，說明DoP包含了更加豐富的信息量。將3幅圖像與無偏振系統拍攝圖片對比，在均方根誤差(MMSE)、峰值信噪比(RPSNR、結構相似性MSSIM)方面，DoP圖像優于光強圖和無圓偏振分量的偏振度圖，證明DoP圖像失真較少，與原始圖像保持了更高的相似性。綜合來看，計算得到的DoP偏振度圖在圖像評價指標上相對于光強圖和無S3分量計算的DolP圖像有3%以上的提升。

4 結語

本文從環形鍛件檢測問題出發，提出一種基于WGAN的環形鍛件表面偏振檢測方法，成功解決環形鍛件視覺檢測時金屬表面的反光問題，并得到環形鍛件表面增強的二維信息和深度信息。提出的FSV模型突出優點是能夠實現設備的同步自標定，極大地推動了偏振檢測技術在工業上的應用。本文創新性提出利用改進的WGAN生成對抗神經網絡生成S3參量圖像，成功將理論上必須兩次采集才能得到FSV信息減少到只需一次采集。然而其缺點也很明顯，依舊沒能解決偏振相機空間分辨率低的問題[10]。在保證精度的前提下，所提出的偏振檢測方法可推廣到其他金屬零部件的質量檢測。