基于Halcon的微透鏡表面缺陷檢測算法

王凱，李毅

（1.四川大學計算機學院，成都 610065；2.四川大學圖象圖形研究所，成都 610065）

0 引言

隨著我國精密制造的需求日益增長，對精密制造的準確率也有了更高的要求。尤其是現在精密制造業制造速度的提升，隨著機器的老化和損壞，出現次品的概率將會越來越高，因此，通過分析各個流水線的次品率及缺陷出現的部分對流水線進行調整和改進，成為了精密制造業的一項基礎工作。

目前對于微透鏡的檢測，主要使用的方法依舊是目視法，通過顯微鏡查看微透鏡表面是否存在缺陷。目視法費時費力，勞動強度大，效率低且主觀因素影響較大。隨著制造量的增加目視法只能應用于抽查。

筆者基于機器視覺的工作原理設計出了一套微透鏡表面缺陷檢測的方案，該方案通過圖像處理和模式識別技術，對微透鏡表面缺陷進行自動檢測，為微透鏡檢查提供了一種快速有效的途徑，具有成本低且精度高的特點。

微透鏡表面缺陷檢測與識別算法：

本文主要檢測的是大斑塊和小斑塊缺陷，整個算法由圖像預處理，光照均衡，缺陷定位，缺陷分類。

1 算法實現

本文算法的主要流程如圖1。

圖1

1.1 圖像預處理

微透鏡本身屬于精密器件，檢測需要進行封裝測試，因此光照環境會很均衡。由于微透鏡本身的特征，如圖2可以看到微透鏡表面的感光區域的灰度值遠小于非感光區域的灰度值，可以在原圖上進行一個30-110的灰度閾值，找出感光區域所在的部分 Re?gion_Light。

對Region_Light填充邊界，由于邊界上很多時候會出現一些大面積的缺陷或者破損，且微透鏡本身的感光區域呈近似矩形，將找出的感光區域向內腐蝕5個像素左右的距離，去掉小區域的同時將感光區域邊緣的閾值殘留部分去掉。一個圖像中只會有一個感光區域，找出最大的面積即為要找的感光區域，找出該區域的最大內接矩形，并將感光區域在原有內接矩形的基礎上向外擴展32個像素。擴展方式在原有的圖像上擴展邊界，得到一張新的圖像，對于那些未在內接矩形內的點的部分找出對應其在內接矩形內的圖像再鏡像翻轉，得到ROI_Region。

1.2 光照調整

由于微透鏡會將光源的光進行折射和散射，可以明顯的看到圖2中的四周光照較暗，而中間部分的光照較亮。因此需要對光照進行調整，使用傅里葉變換轉入頻率域后使用高斯濾波去噪后進行低通濾波。

1.3 缺陷查找

由于微透鏡是每4像素為一個重復區間，且缺陷區域均為灰度值較大或較小區域，因此對于要尋找的大面積缺陷，首先以16像素為邊長進行均值濾波以均衡透鏡部分灰度值較低的情況，均衡小區域內的灰度值。取感光區域的均值為mean,再以灰度值在（mean-15）到（mean+15）以外的部分判定為缺陷的部分，找出大于16像素的區域，進行內部填充。將找出的區域作為region1。如圖3的綠色部分。

對于要尋找的小面積缺陷，先使用15×15的高斯濾波進行濾波，再以邊長16像素的范圍內的灰度最大值減去最小值作為當前像素的值，即找出短距離內的灰度變化，取變換后的感光區域的均值為mean，然后在（mean-10）到（mean+10）以外的部分判定為缺陷，篩選出缺陷區域，找出大于64像素的部分（由于此方法會將小缺陷擴大，因此篩選需要以較大區域作為篩選條件），進行內部填充，將找出的取余作為region2。如圖3的紅色部分。

將region1和region2合并作region，并將預處理中擴充的部分去掉，留下原先內部的部分。

圖2

圖3

1.4 分類

基于region可以找出需要找到的大小缺陷，標記好后，按照其大小和內部顏色，可分類為內部白色小缺陷，內部白色大缺陷，內部黑色小缺陷，內部黑色大缺陷。根據不同缺陷的數量可以提供給生產商，可以幫助其找到生產線中存在的問題，以便以改進生產流程。

2 實驗結果及分析

本文算法可檢測的最小缺陷尺寸為2um×2um，像素精度為1um/pixel，采用該算法對實際的封閉場景下采集到的微透鏡圖像，其中包含750副無缺陷圖像和250副包含大小斑塊缺陷的圖像，進行檢測和識別。在實際的微透鏡缺陷檢測中所拍攝的圖像絕大多數為無缺陷圖像，所以實驗中采用了更多的是無缺陷圖像。在有缺陷圖像中，缺陷個數為532個。實驗中使用了準確率，誤檢率和檢全率三個原則，定義為準確率α誤檢率β檢全率γ定義為：

α=n/(n+n1)

β=n1/n2

γ=n/N

其中n為檢測出的正確缺陷個數，n1為非缺陷但被檢測成缺陷的個數，n2為所有無缺陷圖像的數量，N為實際缺陷個數，。當區域內像素個數大于4時檢測為缺陷，試驗中檢測出正確的缺陷個數為511個，檢測出的非缺陷個數為23個。得到準確率為95.7%，檢全率為96.1%。若使用更大的面積作為判定缺陷的范圍，將導致誤檢率下降，準確率也下降。若單獨使用其中一種斑塊判定方式，將會導致準確率大幅下降。

3 結語

本文使用的傅里葉低通及大小斑塊分別檢測的思路對于微透鏡表面的缺陷檢測效果較好。實驗證明：①傅里葉低通對于光照散射到導致的亮暗不均勻問題有很好的效果。②兩種斑塊判定方式結合在一起比單獨使用其中一種準確率高很多。本文的重點在于研究了微透鏡表面缺陷圖像的檢測方法，今后的工作還需重點研究深度學習方法來對缺陷進行快速的識別分類。

參考文獻：

[1]Feng C.Microlens Alignment Procedures in CMOS Image Sensor Design:US,US8068284[P]，2011.

[2]Tseng C X,Pang C P,Yang C L,et al.Design of Microlens on Pixel Array:US,US7687757[P]，2010.

[3]Campbell S P,Tsai R H,Agranov G A,et al.Alignment Among Elements in an Image Sensor:US,US7351945[P].2008.

[4]Wakelin S,Derstine M W,Wong J S.Microlens Array with Spatially Varying Optical Property[J]，2002.

[5]Okigawa M.Solid State Imaging Device with Microlens Shifted from the Center of the Photo Diode[J]，2015.