LCD顯示缺陷檢測裝備中的形狀配準新方法

葉 涵，葉玉堂，劉 霖，劉娟秀，羅 穎

（電子科技大學 光電信息學院 現代光電測控及儀器實驗室，四川 成都 610054）

近年來TFT-LCD技術發展取得長足進步，液晶顯示器功耗低、壽命長、畫質好、可靠性高等優勢愈發凸顯，在家電、儀器儀表的顯示等各個領域都有廣泛的應用[1]。然而LCD制備工藝繁復，對環境要求極高，容易產生缺劃、多劃、白點、黑點、PI不均等常見顯示缺陷，生產過程中的缺陷檢測變得越來越重要。目前國內液晶生產廠家大多采用人工肉眼檢測的方法，帶有極大的主觀性和偶然性，漏檢誤檢率高且難以形成行業統一的檢測標準，制約著液晶行業的發展[2]。

以機器視覺作為標準技術的自動光學檢測研究主要集中于對 LCD的Mura缺陷進行檢測[3]，而對由驅動程序控制呈現的LCD的顯示缺陷自動光學檢測在國內外鮮有報道。為此，文中提出了一種基于特征點形狀匹配的LCD顯示缺陷自動光學檢測方法。該方法的主要思路是圖像配準和與標準模板作差進行缺陷檢測[4]。圖像匹配是文中算法的核心，傳統的基于像素灰度值進行模版匹配的方法受像素取值影響較大，對光照一致性有較高要求，不適宜LCD顯示缺陷檢測條件[5]。文中采用基于特征點的形狀匹配方法，在指定的搜索區域尋找待測LCD與模版具有相同形狀特征和位置關系的定位標志，首先利用邊緣提取的方法獲得模版圖像和待測圖像邊緣信息，并計算邊緣各點的方向向量，然后用特定的相似度量進行圖像匹配，最后通過最小二乘法調整位置參數來達到亞像素精度。在匹配位置確定過程中，采用了金字塔分層識別策略，在低分辨率圖像上進行匹配特征粗定位，利用粗定位結果在高分辨率圖像上進行精確定位，有效提高搜索速度[6]。實驗結果表明：該方法能夠準確定位缺陷位置，并精確計算出缺陷面積大小，可以有效檢測出缺劃、多劃、白點、黑點、PI不均等常見LCD顯示缺陷。

1 LCD的顯示缺陷

液晶顯示器形如三明治，主要由上下偏光片、ITO玻璃、彩色濾光片、定向材料、液晶等組成。液晶生產過程涉及光刻、顯影、噴粉、灌晶等多道工序，盡管對制造工藝和制造環境都進行了嚴格的控制，仍然無法避免LCD產生各種顯示缺陷[7]。如圖1所示，分別為白點、黑點、缺劃、多劃。

圖1 幾種常見缺陷Fig.1 Several common defects

1.1 各缺陷現象及產生原因：

1）白點：在顯示圖形中表現黑背景處出現白點，主要由于生產過程中PI空洞或PI臟點、以及噴粉時粉聚或混入臟物造成。

2）黑點：在顯示圖形中表現為白背景處出現黑點，液晶內含有雜質、臟物造成。

3）多劃：表現為顯示圖形有多余部分。

4）缺劃：表現為顯示圖形部分缺失。

2 缺陷檢測系統結構及流程

LCD顯示缺陷檢測系統原理框圖如圖2（a）所示，根據顯示缺陷特點以及檢測精度0.1 mm的要求，本系統采用分辨率3 272×2 469的工業面陣CCD相機，且置于待測LCD正上方垂直拍攝；LCD置于兩塊偏振片之間；針對LCD被動發光透明物體的特點，采用LED白色背光源置于待測LCD下方，以盡量提高圖像顯示質量；待測LCD在定制的電測儀控制下由專用的驅動程序點亮，并根據預先設定的內容顯示特定的畫面。計算機是本系統的核心，它完成從控制相機采集圖像、圖像處理、到最終的顯示缺陷檢測等所有任務。圖2（b）為實際采集到的一張待測LCD完整圖像。LCD顯示缺陷檢測算法流程如圖 2（c）所示。

圖2 系統及流程圖Fig.2 Structure and algorithm

3 缺陷檢測算法實現

3.1 參考模版與容差模版建立

本檢測系統對待測LCD亮度一致性有較高要求，盡管自動檢測全程都在暗室中進行，仍然無法避免光源亮度的微弱變化，因此實際不同待測圖像間存在豐富的灰度變化；每次放置待測LCD位置不可能完全相同，在可控范圍內存在一定偏移旋轉量。基于以上兩點考慮，對于檢測模版的建立，筆者做法是，首先通過采集10張無缺陷的標準液晶屏圖像，再指定相同大小檢測區域以后，求對應每個像素的灰度平均值生產參考圖像；然后計算參考圖像與10張標準圖像的標準方差，并且使用掩膜大小為3×3的灰度膨脹以使被檢測圖像與參考圖像間允許的差異增加。利用此方法得到的參考圖像與容差圖像分別如圖 3（a）、圖 3（b）所示。

圖3 檢測模版圖片Fig.3 Detect template images

由圖3（b）可見，質量合格的LCD圖像信息與參考圖像僅在顯示內容的邊緣處灰度有較大差異，其余部分差異很小。

3.2 待測圖像配準

3.2.1 基本原理

由于人工每次放置LCD的位置存在一定的偏差，待測LCD圖像與模版LCD圖像難免存在一定平移和少量的旋轉，但成像距離固定，不存在圖像縮放。而對應實際檢測，少量的平移可能導致幾個像素的偏差，影響了檢測精度。圖像配準是通過一定的配準算法來建立待測圖像與模板圖像對應關系的過程，因此圖像配準的引入能很好的解決上述偏差問題。文中采用基于特征點的形狀匹配算法，其主要包括了配準區域選擇、特征點提取、相似度量以及搜索策略等步驟。

3.2.2 配準區域選擇

在實際配準過程中，需要提取ROI邊緣來實現配準。配準區域選擇過小，得到的邊緣信息較少，會影響配準精度，甚至導致配準失敗。配準區域選擇過大，得到的邊緣信息較多，會嚴重降低配準速度[8]。同時，由于待測LCD圖像的ITO圖形中重復部分較多，在直徑較小區域內選擇某一會重復出現的圖形，會找到多處相近邊緣信息而導致配準失敗。針對文中所述的LCD型號，配準區域選擇和配準區域細節圖分別如圖4（a）、（b）所示。

3.2.3 特征點提取

圖4 配準區域選擇Fig.4 Selection of registration area

文中以圖像邊緣點作為特征點，圖像的邊緣是一些特定像素的集合。圖像的灰度在邊緣處有顯著的變化，即在那些地方圖像的梯度取得較大的值。傳統的邊緣檢測算子如Sobel、Laplacian等，對邊緣提取精度不高且對噪聲比較敏感，處理實際圖像效果不是很理想。文中采用Canny算子進行邊緣檢測，提取模板圖像和待測圖像邊緣，并計算和每個邊緣點相關聯的方向向量，圖5為配準區域使用Canny邊緣檢測后的效果圖。

圖5 配準區域Canny邊緣檢測效果Fig.5 Result of canny detection of registration area

3.2.4 相似度量

形狀匹配的過程，就是在待搜索圖像中尋找與模板形狀具有一定匹配程度的過程，而這個匹配程度是由相似度量來判斷的。經過Canny邊緣提取處理后，設得到的模板圖像像素點集為 pi=（ri，ci）T，與各點相關聯的方向向量為 di=（ti，ui）T，i=1，…，n，待搜索圖像經過同樣的Canny邊緣提取之后，也得到圖像中每個點（r，c）相關聯的方向向量 er，c=（vr，c，wr，c）T。 在配準過程中，將仿射變換中的平移部分分離出來非常有用。先計算模板圖像配準區域中心點P到待搜索圖像中的某個特定點q=（r，c）T的變換矩陣A，然后通過點=Api將模板圖像按照變換矩陣A進行整體平移，得到變換后的模板圖像點集=（，）T，以及相應的變換后的方向向量=（，）T。 對應于仿射變換中的平移部分，計算變換后模板中所有pi點的方向向量di與待搜索圖像中相應點q的方向向量eq+p′的點積總和，并以此作為匹配分值，就得到了變換后模板在點q出的相似度量如式（1）所示。

使用等式（1）計算模版在所有可能位置上的相似度量，當計算所得到的相似度量s達到用戶定義的閾值smin時，表示在點q=（r，c）T處找到了與模板相匹配的對象。

3.2.5 金字塔搜索策略

本系統采集得到的圖像分辨率達到3 272×2 469，在整幅待搜索圖像中計算相似度量將是一個非常耗時的工作，當模板圖像的配準區域很大時，匹配將花費更多的時間。為減少計算時間，采用基于圖像金字塔的分層搜索策略，在低分辨率圖像粗略定位可能的匹配位置，逐步在高分辨率圖像中精確定位匹配位置。具體步驟如下：

1）使用2×2的均值濾波器平滑圖像，分別構建模板圖像金字塔和待搜索圖像金字塔，使用圖像金字塔的層數必須保證在圖像金字塔最高層上目標無圖的相關結構可辨別出；

2）在低分辨率的圖像金字塔最高層中進行一次完整匹配，利用在模板圖像中提取的特征點，在同樣分辨率的待搜索圖像中匹配所有模板特征點；

3）按照這些潛在匹配點的匹配分值大小依次映射到金字塔的下一層，并將匹配位置的5×5鄰域定為新的待搜索區域，然后在這個小的感興趣區域中進行匹配，再將匹配結果映射到下一層；

4）如此重復直到金字塔的最底層匹配結束。

利用金字塔分層搜索策略，圖像金字塔每增加一層，圖像點數和模板的點數都減小4倍，搜索速度提高16倍，因此能夠有效提高搜索效率，減少匹配耗時。配準區域分層后的金字塔圖像如圖6所示，共分為5層，由最底層的完整邊緣圖以及均值濾波后的其余4層組成。

圖6 配準區域邊緣金字塔圖像Fig.6 Pyramid image of the edge of the registration area

3.3 缺陷檢測與信息統計

由采集到的缺陷圖像可知，LCD顯示缺陷在視覺上主要表現為白背景中的黑點、以及黑背景中的白點，同時每次采集圖像可能因為光照、環境等影響存在不同的灰度分布，因此不能通過簡單的閾值分割方法判斷缺陷。文中建立偏差模型，使用動態閾值分割的方法進行LCD顯示缺陷檢測。設fr，c為待測圖像，mr，c為參考圖像，sr，c為容差圖像，則偏差圖像 Ir，c為：

偏差圖像取絕對值，主要是為了能同時檢測出白色和黑色缺陷。引入缺陷判定式：

其中，Dr，c為對應像素的檢測結果，δ為引入的絕對閾值，k 為與容差圖像相乘的因數，max（δ，ksr，c）表示取兩個數中較大的一個。當偏差圖像Ir，c大于或等于對應的動態閾值時，則判定為缺陷，并把該像素置白；反之，則判定為良，像素置黑。實驗發現，式中δ取20，k取10時比較合適。

在標準訓練圖像差異很小的時候，標準偏差sr，c幾乎為零，這時絕對閾值的引入對缺陷判定起了重要作用。圖像配準以后需要進行仿射變換，仿射變換得到坐標一般不為整數，而后續工作中的雙線性插值按整數計算，容易在圖像邊緣產生一定誤差，造成檢測結果圖像出現偽影。由圖3（b）經過邊緣膨脹的容差模版可知，ksr，c的引入作為閾值之后，可有效去除圖像邊緣偽影的影響，正確的檢測出缺陷圖像。

4 實驗與討論

在LCD顯示缺陷檢測系統中進行實驗，采用分辨率為3 288×2 470的工業面陣CCD相機，焦距16 mm的千萬像素級分辨率工業鏡頭。所用PC配置Intel Core2 Duo T6570，2.1 GHz處理器，4 GB內存，Windows 7操作系統。針對不同型號LCD適當調整工作距離，在檢測精度為0.1 mm的要求下，每個像素尺寸大概為0.03 mm，能夠達到檢測需求。圖7～9分別為LCD顯示缺陷白點、缺劃、多劃的檢測結果。

在工業應用現場，基于上述的算法和檢測系統，針對4種不同型號的LCD，每種型號選取100個樣本進行實驗，這些樣品中包含了白點、黑點、缺劃、多劃、Pi不均、字體變形等多種缺陷。總共400個樣品中，系統檢測正確率達到了98.5%，每塊樣品檢測時間會根據待測LCD尺寸不同而有變化。經過優化后，采用0.7的匹配分值，配準識別率100%，配準時間40.18 ms，檢測時間基本控制在0.9 s以內。可見，本系統能夠有效完成常見LCD顯示缺陷的自動光學檢測。

圖7 白點檢測結果Fig.7 Detect result of white spot

圖8 缺劃檢測結果Fig.8 Detect result of stroke-lose

圖9 多劃檢測結果Fig.9 Detect result of stroke-extra

5 結 論

分析了LCD顯示缺陷現象及形成原因后，提出了一種基于形狀匹配和偏差模型的LCD顯示缺陷自動光學檢測新方法，提取邊緣特征點的方法一定程度上可消除光照不均的影響，圖像金字塔的搜索策略降低了算法復雜度，提高了配準效率。缺陷判定中，采用基于動態閾值分割原理的偏差模型，抑制了配準后仿射變換帶來的圖像偽影現象對缺陷判定產生的影響。通過實驗驗證，文中介紹的方法可以有效的檢測常見LCD顯示缺陷，檢測正確率達到98.5%，在LCD顯示缺陷檢測方面具有很好的應用前景。

[1]YEH Chi-Hao，WU Ful-Chiang.An image enhancement technique in inspecting visual defects of polarizers in TFT-LCD industry[C]//IEEE International Conference on Computer Modeling and Simulation，2009:257－259.

[2]Hye Won Kim，Suk In Yoo.Non referential method for defects inspection of TFT-LCD Pad[J].Image Processing:Machine Vision Applications， edited by Kurt S.Niel， David Fofi，Proc.of SPIE-IS&T Electronic Imaging，2008：257-261.

[3]You-Ching Lee，Cheng-En Shie，Din-Chang Tseng.LCD Mura detection based on accumulated differences and multiresolution background subtraction [C]//2009 IEEE Fifth International Conferenceon Imageand Graphics，2009:189-194.

[4]Changki Jeong，Jinwoo Yoo，PooGyeon Park.Adefectinspection method for TFT panel using the compute unified device architecture （CUDA）[J].IEEE International Symposium on Industrial Electronics， Seoul Olympic Parktel，2009:5-8.

[5]Liang Zong，Yanhui Wu.A parallel matching algorithm based on image gray scale[C]//International Joint Conference on Computational Sciences and Optimization，2009：109-111.

[6]Carsten Steger，Markus Ulrich，Christian Wiedemann.Maching Vision Algorithms and Applications[M].雙語版.北京：清華大學出版社，2008:318-350.

[7]Kyu-Bong Lee，Min-Seok Ko，Joan Jae Lee，et al.Defect detection method for TFT-LCDpanel based on saliency map model[C]//TENCON 2004 IEEERegion 10 Conference，2004:223-226.

[8]Ahmad N B，Sulaiman M B，Aripin M K B.Quality Inspection of Engraved Image Using Shape-Based Matching Approach[C]//2011 4th International Conference On Mechatronics （ICOM），2011:1-6.