基于深度學習的光學表面雜質檢測*

張瑤 張云波 陳立?

1) (山西大學理論物理研究所, 量子光學與光量子器件國家重點實驗室, 太原 030006)

2) (浙江理工大學物理系, 浙江省光場調控重點實驗室, 杭州 310018)

在基于激光技術的現代光學實驗和光學應用中, 光學元器件表面的微雜質和微缺陷是影響光學系統精密程度的主要因素之一, 因而光學表面雜質和缺陷的定位檢測是一個重要的問題.本文提出利用深度神經網絡來輔助光學雜質檢測的理論方案.模擬了一束探測激光脈沖照射到具有單個微小雜質的光學表面時, 反射信號和透射信號中所攜帶雜質的位置信息可被一個深度卷積神經網絡學習并定位.此外, 通過改變雜質大小、折射率等屬性生成了一系列泛化數據集, 并討論了神經網絡在泛化數據集上的表現.泛化結果表明, 神經網絡對雜質位置的預測能力具有較高的魯棒性.最后, 還對比了卷積神經網絡和全連接神經網絡這兩種不同架構網絡的學習能力.

精密的光學元器件是現代光學實驗和激光應用中不可或缺的組成部分, 例如光學晶體、分光鏡、光學玻片等廣泛應用于量子光學以及基于光子的量子計算[1-3]、量子通信實驗中[4-6]; 在日常生活中, 小到手機鏡頭、液晶屏幕, 大到衛星導航, 激光定位都離不開光學薄膜等光學器件.然而, 精密光學器件的表面往往是最重要但又最容易受到損傷的地方.已有大量的研究表明, 光學表面的雜質和缺陷不但會大大影響光學器件的工作性能, 更進一步, 在大功率的激光應用中, 具有雜質和缺陷的光學表面更加容易受到激光損傷, 從而極大地減小光學器件的使用壽命[7].因而, 對光學表面的雜質檢測是一個重要的研究課題.

近些年來, 人們在基于光學成像的光學檢測方面做了大量研究.例如, 人們提出利用高解析度CCD (charge coupled device)陣列來進行光學檢測[8], 檢測精度依賴于CCD的成像分辨率.再例如, 人們研發了譜域光學相干層分析成像技術[9],這種技術借助光學干涉信號的頻譜分析來對光學器件的表面結構進行檢測.但是, 這些檢測技術的系統往往過于龐大, 并且光學成像本質將雜質信息轉化為人眼可分辨的光學信息, 并最終依賴人為設立的某些標準來進行檢測, 然而這些標準往往帶有人的主觀判斷因而不夠準確和全面.

另一方面, 機器學習的高速發展為各個領域帶來了新的契機, 如今在智能博弈、語言翻譯、金融、醫療等諸多領域都可以看到機器學習的身影.深度學習是基于深度神經網絡的一種機器學習算法[10,11], 因其在AlphaGo圍棋機器人中的成功應用得到了廣泛的關注[12,13].深度神經網絡中深度隱含層可對輸入信息進行層層提取分析, 相較于傳統的淺層學習模型, 如受限玻爾茲曼機[14-16]和支持向量機[17-19]等, 具有更加強大的信息提取能力,而這一能力正好可以被利用在光學信息提取和光學檢測之中.事實上, 深度學習在光學研究和光學應用中已有許多研究, 例如在量子光學中機器學習可以進行量子態的重構[20], 以及對光學信號的降噪等[21].

基于以上研究背景, 本文提出利用深度神經網絡對光學表面的雜質位置進行檢測的理論方案.首先理論模擬探測脈沖照射光學介質時, 介質表面的雜質信息會被編碼于反射和透射光信號之中, 然后, 搭建一個深度卷積神經網絡對反射(透射)信號進行監督學習.結果表明, 神經網絡可以成功地從反射(透射)信號中提取出雜質的位置信息, 且網絡具有較強的泛化能力, 從而在一定程度上對具有不同大小、不同折射率的雜質進行準確預測.此外, 還在同等網絡參數的條件下對比了兩種不同的深度神經網絡的學習能力.

1 模型及訓練

1.1 模 型

本文考慮一束沿z方向極化的脈沖激光, 沿x方向垂直照射某光學介質, 介質的厚度為L, 如圖1(a)所示.介質表面某處有一凸起的雜質, 雜質的尺寸為l.脈沖激光的電場強度 E (r,t)滿足波動方程[22-24]

圖1 (a) 模型示意圖; (b) 光強度分布, 其中實線表示入射光信號, 虛線和點劃線分別表示反射光 I R 和透射光 I T ; (c) 卷積神經網絡示意圖Fig.1.(a) Schematic of our model; (b) light intensity distributions where the solid line is the probe light, and the dashed and the dot-dashed lines denote I R and I T , respectively; (c) architecture of the convolutional neural network.

其中, r為空間坐標, c為光速,ε (r)為相對介電常數, 其在介質內外的分布為

ε (r)與光學折射率n的關系為為簡化理論計算, 約束雜質僅在z方向移動, 并考慮場強E(r,t)在y方向為均勻分布, 由此可將方程(1)約化為 ( x,z)的二維波動方程.接下來, 利用歐拉-傅里葉譜法[25-27]對方程(1)進行數值求解, 演化方程的初始條件為

其中初始電場 E (x,z,t=0)為一系列沿x方向, 波矢為 km的平面波的線性疊加, 其在z方向上為高斯分布,μz表示高斯波包的中心位置,σ為高斯波包寬度.對于方程(1)所描述的光學系統有以下的長度尺度關系:σ ～L?λ～l, 即高斯波包的寬度σ和介質的厚度L要遠大于電磁波波長 λ和雜質尺寸l, 而空間差分離散的最小單元長度 Δ 又要小于以上的所有長度尺度, 這給數值計算帶來了很大的挑戰.在實際計算過程中, 本文選取 Δ= 5 5nm為長度單位, 并取 σ= 2L=100Δ, 雜質邊長l可在Δ-5 Δ之間變化, 即雜質尺寸在55-275 nm之間變 化.系統 總 的求解 空 間為 x ∈[ -256Δ,2 56Δ],z∈[-512Δ,5 12Δ].為方便計算, 選擇入射光為若干個波矢為 km的平面波的疊加, 這里km=2πm/512Δ, 其中 m ∈[40,60], 為整數.由此可知入射光的波長范圍在可見光范圍 λ≈470-700 nm, 而光脈沖寬度由 1 /ωSD表示, 其中表 示N =21 個頻率模式譜分布的標準差,ωi表示頻率,表示平均頻率,在所取模式下可知脈沖寬度約為 0.5×10-15s, 即0.5fs.如此選擇波包的另一個好處是可以在系統演化時間內將信號不失真地從源端傳送到接收端.以上系統參數的選擇可以將計算量控制在合理的范圍之內.

當探測信號經過介質反射和透射后, 在介質前和后分別收集反射光(R)和透射光(T) 的強度信號 ∝ |E(x,z,t)|2, 并對其在x方向進行積分從而得到沿z方向的分布 IR,T(z).圖1(b)給出了探測信號強度(實線)經過光學表面一個小雜質 l =Δ衍射后 IR,T(z)的分布(虛線和點劃線).從圖中可以看出, 探測信號分布I為一個標準的高斯分布, 而反射和透射信號經過雜質衍射后強度信號會形成空間振蕩, 其中包含了雜質信息, 對其解碼可以獲得雜質的位置信息.但是, 很顯然, 通過簡單觀察振蕩曲線不足以對雜質進行準確的定位.我們的目標是利用神經網絡來學習雜質位置與經過該雜質衍射后的光強分布之間的函數關系, 從而讓網絡學到從強度信號 IR,T中提取雜質位置信息的能力.

1.2 網絡及訓練

數據集G被分為兩個部分--訓練集 Gtrain和測試集 Gtest分別用于網絡訓練和網絡測試, 這里選取訓練集和測試集的大小分別為 Ntrain=800和Ntest=200.接下來, 對反射和透射信號分別搭建一個深度的卷積神經網絡(convolutional neural network, CNN)來進行訓練, 網絡結構如圖1(c)所示.網絡的輸入為 IR,T(z), 而輸出為一個定義在類號 zc上的概率分布 PR,T(zc|I), 其反映 了網絡對指定的輸入信號I進行分析后所作出的分類預測概率分布.神經網絡由輸入層(Input layer)、卷積層(Convolutional layers)、Flatten 層(Flatten layer)、全連接層(Dense layer) 以及輸出層(Output layer)構成, 其中卷積層共三層, 深度分別為 1 0,20 和 5 0, 卷積核尺寸為 2 0, 選取“Relu”為激活函數, 每一層卷積層之后添加一層平均池化層用以縮小神經元的個數, 池化尺寸為 2 ; 全連接層神經元個數為 4 8, 激活函數同樣為“Relu”函數; 輸出層神經元個數為 3 2, 激活函數為“softmax”函數, 從而將輸出轉為概率分布 P (zc|I).網絡內部總的可訓練參數約為 5.7×105個.

網絡的訓練過程即對應調整網絡參數從而使損失函數 L最小的優化過程.在訓練過程中選用的損失函數為交叉熵[29,30]

其中 Qi(zc|I)是雜質真實類號 zc的one-hot編碼[31]分布函數.交叉熵本質反映了網絡預測分布P與真實分布Q之間的相對距離, 交叉熵越小, 網絡的預測越接近真實值.此外, 在訓練過程中通過監視平均精確度(V A )來衡量網絡訓練是否有效.VA的定義為

其中

從定義上可以看出,ai表示對于給定的測試數據i,其 P (zc|I)中概率最大的類與雜質的真實類是否一致, 如果一致則貢獻 1 , 否則沒有貢獻.V A 是 ai對所有測試數據的平均.因此對于訓練而言, 損失函數 L下降的同時伴隨著精確度 V A的提升.

圖2(a)和圖2(b)分別給出了訓練過程中損失函數 L和精確度 V A隨訓練epoch數的變化曲線,其中epoch定義為所有訓練數據整體流過神經網絡的次數.在每幅圖中, 實線和虛線分別為獨立利

用反射信號 IR和透射信號 IT作為網絡輸入的訓練曲線.結果表明, 網絡可以從 IR或 IT中學習提取雜質位置信息的能力, 并且在約為40個epoch時得以收斂, 具體表現為損失函數 L下降至零附近, 伴隨著 V A達到約 1 00%, 網絡收斂標志著訓練完成.訓練完成后, 選取任意一組測試數據, 并繪出預測概率分布 PR,T(zc|I)如圖2(c)和圖2(d)所示, 可以看出, 網絡的預測概率分布高度集中, 表明網絡對雜質位置的判斷具有很高的置信度.

圖2 (a) 訓練過程中, 損失函數 L 隨epoch的變化; (b) 訓練過程精確度 V A 隨epoch的變化; (c) 反射信號訓練出的網絡的預測概率分布 P R(zc|I) ; (d)透射信號訓練出的網絡的預測概率分布 PT(zc|I)Fig.2.(a) Dependence of L on epochs in the training process; (b) dependence of V A on epochs in the training process; (c) typical inferential probability P R(zc|I) ; (d) typical inferential probability P T(zc|I) .

2 卷積神經網絡架構下的網絡泛化

一般而言, 檢驗一個機器學習模型是否學習到了提取核心信息的本領, 需要進行泛化能力測試[32].泛化能力是指網絡在訓練和測試集以外的更廣義的數據集上具有的預判能力, 這一點對于所考慮的問題尤為重要.這是因為, 上述訓練過程中用到的訓練集是針對較大雜質 l =4Δ的, 我們希望神經網絡學習到的辨別雜質位置的本領可以自動泛化到小的雜質上, 從而能幫助實驗在小雜質檢測方面提供理論預測和指導, 因為小雜質通常來說比較難以定位.因此, 對訓練好的網絡進行以下三個方面的泛化能力測試: 雜質大小l的泛化、雜質折射率n的泛化、以及雜質形狀(geometry)的泛化,這三種泛化測試的結果分別如圖3(a)-圖3(c)中,其中圖3(a)固定雜質折射率為形狀為方形, 改變雜質邊長; 圖3(b)固定雜質邊長為 l=4Δ且形狀為方形, 改變雜質折射率; 圖3(c)固定邊長為 l =4Δ 以及折射率為改變雜質形狀.對于每一幅子圖, 左側一欄表示利用反射/透射信號訓練后的網絡的預測精確度, 而在右側一欄呈現了在一組典型數據下反射信號訓練出網絡的預測概率分布 PR(zc|I).泛化測試用到的所有測試集大小都為200, 它們的生成方法與上述訓練集生成方法一致, 差別在于生成泛化集需要改變如圖3所示的雜質的相關屬性.

可以看出, 網絡在這三種不同數據集上都表現出了較強的泛化能力, 并且在訓練參數下(l =4Δ,位形為方形雜質)表現出最高的預測精度.下面對泛化結果做幾點說明: 1)網絡對不同大小雜質的預測呈現出了一些振蕩, 但總體精確度不低于75% (圖3(a1)), 并且預測精確度呈現振蕩的原因與雜質邊長l的奇偶性相關.這一現象與雜質類號的定義中的取整 i nt有關.試想, 當雜質邊長l為偶數倍 Δ 時, 雜質質心位置 z0=nΔ總可以被定義在 Δ 的整數倍處, 但是對于奇數倍 Δ 的雜質的質心總是被定義在 Δ 的半整數倍處 z0=(2n+1)Δ/2.結果表明, 這部分差異也被神經網絡所捕捉到.為證實這一觀點, 同樣測試了訓練集為 l =3Δ情況下網絡的泛化能力, 結果表明, 在奇數倍 Δ 的雜質泛化測試集上精確度較高, 而在偶數倍 Δ 測試集上精確度較低.關于這一點還需額外說明, 這種奇偶差異會隨著 Δ→ 0 而逐漸消失, 但 Δ 的減小對應于空間的無限精細離散化, 這在數值模擬上帶來了巨大的計算開銷.2)在雜質折射率的泛化測試中(圖3(b1)), 基于反射信號和透射信號的泛化精確度都會隨著折射率n減小至1而逐漸衰減至零.這是合理的, 因為 n =1對應雜質消失, 因而無論是反射還是透射信號內都不會攜帶任何雜質的信息.3)圖3(c)表明, 雖然神經網絡僅在方形雜質訓練集上訓練, 但其在其他幾何形狀的雜質上也有較強的泛化能力.并且, 容易發現, 泛化精確度與雜質的反射對稱性有關.因為訓練集是具有左右反射對稱性的方形雜質, 因而在圖3(c)中, 同樣具有反射對稱性的條形(左一)和楔形(左二)雜質上體現出較高的泛化能力, 而在反射對稱性缺失的其他雜質上泛化能力相對較弱.另外, 考慮到在實際的光學檢測中, 雜質形狀往往并不具有特定的對稱性,因而測試了不同形狀雜質聯合訓練的結果, 如圖3(d1)和圖3(d2)所示, 即在訓練集中包含等量的不同雜質形狀的反射、透射信號(8種不同形狀,每種100個樣本, 保持 Ntrain=800).結果表明, 經此訓練后神經網絡的整體預測精確度有大幅提升(對比圖3(c1)和圖3(d1)), 并且預測概率分布也變得更加集中(對比圖3(c2)和圖3(d2)), 即網絡對預測變得更加確信.

圖3 (a) 雜質大小泛化; (b) 雜質折射率泛化; (c) 雜質形狀泛化.(a1), (b1)和(c1)表示泛化精確度; (a2), (b2)和(c2)表示典型數據下的泛化預測概率 P R(zc|I) .(d) 多形狀雜質聯合訓練后的網絡預測, 其中(d1)表示測試精確度, (d2)表示典型數據下的預測概率Fig.3.(a)-(c) Generalization capability of the convolutional neural network, where (a1), (b1) and (c1) denote the generalization VA , and (a2), (b2), (c2) correspond to the typical inferential probability P R(zc|I) , respectively; (d) inferential probability of neural network trained by impurities with different geometries, where (d1) denotes the testing V A , and (d2) corresponds to the typical inferential probability P R(zc|I) .

3 討 論

針對上述的計算和泛化做三點討論.第一,上述計算中采用了業界較為常見的卷積神經網絡架構.接下來將其與純全連接神經網絡(fully connected neural network, FCNN)的學習能力做一個比較.為保證比較的公平性, 控制FCNN 網絡的層數以及總參數個數與之前的CNN網絡接近.圖4(a)具體給出了FCNN網絡的架構和參數, 其中輸入層神經元個數為512; 隱含層神經元個數依次為256, 310, 448, 310, 237, 與之對應的激活函數為“Relu”函數; 輸出層神經元個數為32, 激活函數為“softmax”函數.圖4(b)-圖4(d)比較了CNN和FCNN兩種網絡在雜質大小、雜質折射率和雜質形狀, 其中左側一欄對應反射信號訓練的結果, 右側一欄對應透射信號訓練的結果.可以看出兩種不同網絡在泛化集上都有較好的表現, 但是兩者相較而言, CNN的表現更為優異.CNN具有一定的優越性可以這樣來理解: 關于單個雜質衍射的問題是具有空間平移不變性的, 這里的平移不變指的是雜質衍射后對反射/透射信號所產生的局部特征并不依賴于雜質所處的位置.已有理論表明[33],在針對具有平移不變特征的提取問題上, CNN 具有更大的優勢, 因為其卷積核可以被重復利用.換言之, 若要使FCNN達到與CNN一樣的效果, 則需要引入更多的參數, 我們的測試也印證了這一點.第二, 在上述的計算中, 僅僅呈現了光學表面的凸雜質情形, 但事實上光學表面的損傷除了凸雜質還有凹雜質.本文同樣測試了神經網絡對凹雜質位置的學習能力, 典型的結果如圖5所示, 其中圖5(a)和圖5(b) 分別表示凹雜質學習的訓練損失曲線以及訓練后網絡對雜質大小l的泛化測試.結果表明, 神經網絡對凹雜質也體現出很強的學習能力.第三, 本文討論了單個雜質的檢測問題, 但受限于目前的數值仿真計算能力, 只考慮了光學雜質僅在單一方向移動這一簡單情形.我們希望這些結果可以在一定程度上揭示機器學習在光學檢測中的潛在應用價值, 為光學檢測提供新的基于機器學習的算法思路.我們下一步的研究方向將側重于提升光學仿真的計算能力和探討新的基于機器學習的算法, 例如遷移學習[34]和殘差網絡[35]在多雜質復雜光學系統中的應用價值.

Fig.4.(a) Architecture of the fully connected neural network; (b)-(d) comparison of the generalization capability between the CNN and the FCNN.(b1), (c1) and (d1) display the V A of the NNs trained by the reflection signals, and (b2), (c2) and (d2) show the VA of the NNs trained by the transmission signals.圖4 (a) FCNN結構示意圖; (b)-(d) 兩種神經網絡的泛化能力比較, 其中 (b1), (c1)和(d1)分別表示反射信號訓練下網絡雜質大小、雜質折射率和雜質形狀的泛化精確度, (b2), (c2) 和(d2)分別表示透射信號訓練下網絡雜質大小、雜質折射率和雜質形狀的泛化精確度

圖5 (a) 凹雜質的訓練過程中, 損失函數 L 隨epoch的變化; (b) 雜質大小的泛化精確度Fig.5.(a) Dependence of L on epochs in the training process of concave impurity; (b) generalization V A of the impurity size.

4 結 論

本文提出利用深度神經網絡對光學表面微雜質和缺陷進行檢測的理論方案.具體而言, 利用經特定雜質散射/衍射后的光學信號對神經網絡進行監督性訓練, 然后利用神經網絡的泛化能力對不同大小、折射率以及形狀的光學雜質位置進行預測.結果表明, 神經網絡可以成功提取出加載在光學信號中的雜質位置信息, 并在泛化測試中對雜質位置做出較為準確的判斷.此外, 還對比和討論了兩種不同神經網絡在光學雜質檢測方面的學習能力.考慮到光學雜質和缺陷問題是現代實驗光學和應用光學中重要的瓶頸之一, 這一研究為光學雜質定位和檢測提供了新的思路和視角.

感謝清華大學高等研究院博士后梁霄的討論.