基于機器視覺的液晶屏裂痕自動檢測方法研究*

蘇孝雨，張榮輝，張　杰，楊亞寧（大連民族大學信息與通信工程學院，遼寧大連116600）

?

基于機器視覺的液晶屏裂痕自動檢測方法研究*

蘇孝雨，張榮輝，張杰，楊亞寧
（大連民族大學信息與通信工程學院，遼寧大連116600）

摘 要：隨著液晶的普及，對液晶屏生產過程中質量控制提出更高的要求，液晶屏裂痕自動檢測系統應運而生，它能真正實現高效率、高穩定性的實時檢測。針對液晶屏裂痕缺陷中的“線缺陷”、“點缺陷”進行深入研究，把機器視覺、數字圖像處理技術運用到液晶屏裂痕自動檢測系統中，并以HALCON和VC++聯合編程完成了裂痕自動檢測系統的設計。在數字圖像處理部分，根據指定尺寸對圖像進行傅里葉變換、高斯濾波、迭代處理等一系列操作，為了得到更清晰的圖像，突出裂痕區域，對圖像進行灰度化、頻域圖像卷積、濾波去噪、形態學處理。選擇出適合在線測量的各種算法，進行了大量實驗測試和實時自動檢測，結果表明，該方法在識別液晶屏裂痕的幾何特征上效果和精度較好，識別速度達到在線要求。

關鍵詞：機器視覺；高斯濾波；數字圖像處理；形態學處理

0　引言

液晶屏生產過程不可避免地出現一些缺陷，最常見的缺陷是液晶屏有裂痕。如何保證液晶屏質量，提高產品合格率成為亟待解決的問題。國內外檢測液晶屏裂痕的方法主要有兩大類，即在線檢測和離線檢測。電位法、磁粉法、超聲波法、電磁檢測法等常見的離線檢測方法已經被時代淘汰，目前國內主要依靠人工檢測的方法，在射線照射下觀察是否有裂痕存在。人工的方法效率低下，生產成本高。近年來，許多學者將機器視覺技術運用到物體表面裂痕檢測中，取得了突出成績［1］。本文研究一種基于機器視覺的液晶屏裂痕自動檢測系統，以提高液晶屏缺陷檢測的效率。自動檢測的基本思路是對工業相機采集到的液晶屏表面圖像進行圖像處理，將圖像信息傳輸到上位機或者指定設備中。

1　光學系統平臺結構

液晶屏的生產過程技術復雜、工藝精密，少則20多道工序，多則達50多道工序，這些工序大致分為氧化銦錫玻璃刻蝕、定向排列、空盒制作、液晶灌注、成品檢測和包裝5個階段。每個階段都會引發各種類型的裂痕缺陷，包括外刮、破損以及切割不良等，液晶屏的檢測主要是為了淘汰不合格產品。

光學系統平臺由高速、高精度的工業相機和鏡頭與高穩定、均勻的高性能照明系統組成。裂痕產生的大小、位置以及方式都會不一樣，為了突出顯示裂痕缺陷，需要對光源做深入研究，包括光源的種類、光源的照明方式、光源的強弱等。根據實際需要檢測的最小裂痕尺寸，確定相機和鏡頭參數，均衡優劣，共同搭建光學系統平臺［2］。原始圖像示范圖如圖1所示。

針對系統對生產線上的液晶屏進行不間斷裂痕檢測的要求，在圖像采集系統設計時采用了雙線高速線掃描相機。設在水平方向上基板傳送速度設計為v1（mm/s），相機掃描速率達到v2（Hz/s），水平方向上能檢測到最小缺陷為x（μm），則x=（v1 /v2） ×103。設每線像素數為m（Pixel），在垂直方向上n個相機直線排列，基板垂直尺寸為s（mm），垂直方向上能檢測到最小y（μm）的缺陷。則y=［s/（n×m）］×103。

圖1　液晶屏原始圖像示范圖

2　基于HALCON的圖像處理

基于機器視覺的液晶屏裂痕自動檢測系統核心技術體現在數字圖像處理部分。其技術要求主要是實時性、準確性和穩定可靠性。為了避免誤檢達到準確性的要求，檢測系統根據指定尺寸對圖像進行傅里葉變換、高斯濾波、迭代處理等一系列操作，應對所采集的圖像中不同類型的裂痕缺陷在給定精度和要求中能夠準確檢出并標記。為了得到更清晰的圖像［3］，突出裂痕區域，對圖像進行灰度化、頻域圖像卷積、濾波去噪、形態學處理。遵循實用的原則，擇優選擇出適合在線測量的各種算法［4］。

2.1對圖像進行傅里葉變換

對圖像進行傅里葉變換后就能通過頻率成分來分析一個函數。任何信號（如圖像信號）都可以表示成一系列正弦信號的疊加，在圖像處理方面就是將圖像brightness variation作為正弦變量，圖像的頻率表征圖像中灰度變化劇烈程度的指標，是灰度在平面空間上的梯度，一幅圖像能量主要集中在低頻區域，在噪聲點和圖像邊緣處的頻率為高頻。傅里葉變換在實際應用中有非常明顯的物理意義，傅里葉變換將圖像的灰度分布函數變換為圖像的頻率分布函數，如式（1）所示；傅里葉逆變換是將圖像的頻率分布函數變換為灰度分布函數，如式（2）所示。

2.2對圖像進行高斯濾波與迭代處理

一幅原始圖像在獲取和傳輸過程中會受到各種噪聲的干擾，一些常見的噪聲有椒鹽噪聲、脈沖噪聲、高斯噪聲等，這些噪聲會使圖像質量下降，對分析圖像不利。為了抑制噪聲，改善圖像質量，要對圖像進行平滑處理。圖像平滑處理的方法有中值濾波、高斯濾波、灰度最小方差的均值濾波等。高斯濾波對去除服從正態分布的噪聲是很有效果的。迭代處理能夠有效解決平滑過程中的細節保持和邊緣檢測時剔除偽邊緣這兩個難題。

2.3圖像處理

2.3.1圖像的灰度化

灰度直方圖是數字圖像處理中最簡單實用的工具，其原理是在RGB模型中，若R=G=B時，則灰度圖像是R、G、B 3個分量相同的一種特殊彩色圖像，其中R =G =B的值叫灰度值，灰度值范圍為0～255，灰度圖像每個像素只需一個字節存放灰度值。灰度圖像的描述仍然反映了整幅圖像整體和局部的色度和亮度等級的分布和特征。HALCON中的灰度直方圖是灰度級的函數，描述的是圖像中具有該灰度級的像素的個數。

2.3.2對頻域圖像進行卷積

可以將數字圖像看作一個二維空間的離散函數，該函數用f（x，y）表示，假設有對于二維卷積操作函數C（u，v），則會產生輸出圖像g（x，y）=f（x，y）C（u，v），利用卷積可以實現對圖像模糊處理，邊緣檢測，產生軋花效果的圖像。

一般卷積模板行列為奇數，輸出圖像大小與輸入相同。設卷積模板F、輸入圖像X、輸出圖像均為3×3矩陣。

卷積模板元素下標調整后，為：

輸入圖像二維擴展1行1列（M行、N列），以0填充（或行列元素對稱擴展），代入離散二維卷積公式，逐行逐列計算，其中i，j=1∶3，即得結果。圖像卷積的過程，相當于將原模板矩陣旋轉180°（即中心對稱），然后與輸入圖像矩陣對應元素相乘求和，得出輸出圖像中心元素的值。

2.3.3形態學處理

數學形態學是一門建立在格論和拓撲學基礎之上的圖像分析學科，是由一組形態學的代數算子組成的，最基本的形態學算子有：腐蝕、膨脹、開運算、閉運算和骨骼［5］。腐蝕的作用是消除物體邊界點，使目標縮小，可以消除小于結構元素的噪聲點；膨脹的作用是將與物體接觸的所有背景點合并到物體中，使目標增大，可添補目標中的空洞；開運算是先腐蝕后膨脹的過程，可以消除圖像上細小的噪聲，并平滑物體邊界；閉運算是先膨脹后腐蝕的過程，可以填充物體內細小的空洞，并平滑物體邊界。HALCON的形態學運算有基于二值化圖像區域的形態學算子和基于灰度化圖像區域的形態學算子。圖像處理后示范圖如圖2所示。

3　軟件系統設計

為了能夠將工業相機集成到自行開發的液晶屏裂痕自動檢測系統中進行圖像采集，需要使用工業相機廠商提供的開發包SDK進行二次開發。基于VC++的裂痕自動檢測軟件系統的功能主要分為控制模塊、圖像采集模塊、圖像處理和檢測結果顯示模塊。為了保證實時檢測的大場景要求以及采集到圖像的質量，軟件設計的一個關鍵點是液晶屏傳送平臺到位時間幾乎恒定，圖像處理和顯示檢測結果所需時間也都基本為定值，設計時可取二者間隔時間中較大值進行觸發，即可實現較高效率，系統也相對穩定。在VC++中使用SetTimer函數來確定時間間隔，然后使用OnTimer函數進行響應。

圖2　圖像處理后示范圖

4　結論

本文研究了一種高精度、大場景、實時穩定的液晶屏裂痕自動檢測系統，分別進行了硬件結構的搭建和軟件系統的設計。該系統主要包括由工業相機、鏡頭和光源搭建的光學系統平臺、數字圖像處理模塊和裂痕缺陷檢測結果顯示模塊。通過考察液晶屏生產線上的場景、裂痕缺陷檢測的現狀以及參考國內液晶屏合格標準，不斷優化系統設計，改進的圖像處理算法保證了系統的準確率，一鍵式自動檢測的設計滿足實時檢測的要求。實際應用也表明，相對于傳統缺陷檢測而言，在線檢測解決了人工檢測的主觀因素，檢測結果更為準確可靠，同時方便形成數據報表，能夠通過網絡進行數據分析和管理，保證液晶屏生產過程中質量控制，提高管理效率，具有很高的實用價值。

參考文獻

［1］李煒，黃心漢，王敏，等.基于機器視覺的帶鋼表面缺陷檢測系統［J］.華中科技大學學報（自然科學版），2003，31（2）：72-74.

［2］王時麗，劉桂華.基于機器視覺的鋼軌表面缺陷三維檢測方法［J］.微型機與應用，2015，34（19）：10-13.

［3］宋菲菲，趙宏宇.基于雙目立體視覺的圖像增強［J］.微型機與應用，2015，34（19）：40-42.

［4］龔聲蓉，劉純平，王強.數字圖像處理與分析［M］.北京：清華大學出版社，2006.

［5］馬頌德，張正友.計算機視覺——計算理論與算法基礎［M］.北京：科學出版社，1999.

蘇孝雨（1994 -），男，本科在讀，主要研究方向：機器視覺應用。

張榮輝（1994 -），男，本科在讀，主要研究方向：機器視覺應用。

張 杰（1993 -），女，本科在讀，主要研究方向：復雜網絡，大數據挖掘，社交網絡行為。

引用格式：蘇孝雨，張榮輝，張杰，等.基于機器視覺的液晶屏裂痕自動檢測方法研究［J］.微型機與應用，2016，35（10）：52-54.

LCD crack automatic detection method based on machine vision research

Su Xiaoyu，Zhang Ronghui，Zhang Jie，Yang Yaning
（School of Information and Communication Engineering，Dalian Nationalities University，Dalian 116600，China）

Abstrac t：W ith the popularity of LCD，quality control of LCD screen in the production process needs higher requirements，thus the LCD screen crack automatic detection system came into being，which can truly achieve high efficiency，high stability and real-time detection.This paper studies the crack defects of LCD screen such as line defect and point defect deeply.Themachine vision and digital image processing technology are app lied to the liquid crystal screen crack automatic detection system，and HALCON and VC++ programm ing are used to comp lete the crack automatic detection system design.In the part of digital image processing，according to specified dimensions of the image，a series of operations like Fourier transform，Gaussian filtering and iterative processing are taken out.In order to get a clearer image and highlight the rift zone，the operations including gradation，frequency domain image convolution，noise filtering and morphological processing are taken out.Various algorithms suitable for onlinemeasurement are selected for a large number of tests and real-time automatic inspection.The results show that on the geometric characteristics of the recognition of LCD screen cracks，effect and precision are better，and recognition speed meets online requirement.

Key words：machine vision；Gauss filter；digital image processing；morphological processing

作者簡介：

收稿日期：（2015-12-31）

*基金項目：大連民族大學大學生創新訓練計劃（X201511197）

中圖分類號：TP181

文獻標識碼：A

DOI：10.19358 /j.issn.1674-7720.2016.09.018