一種復雜圖像背景中殘留液晶識別方法

黃妍妍，高寶紅，張海濤，康軍廣

（1.河北工業大學 微電子研究所，天津 300130；2.河北工業大學 網絡管理中心，天津 300130）

1 引 言

液晶屏是一種光電子產品，我國現有液晶屏生產企業100多家，中低檔液晶的產量占世界的90%，其中大部分產品出口到國外，是當前我國電子信息產業中極富競爭力和發展前景的高新技術產業。在液晶生產過程中需要多步清洗［1］來保證液晶屏產品的質量。包括LCD基片的清洗、曝光顯影后的清洗、摩擦定向后的清洗、灌注液晶后的清洗等。在LCD生產過程中，由于液晶的沁潤而發生虹吸現象，使液晶進入狹縫，而且在液晶盒表面、PIN腳上也會殘留很多液晶，這些殘留不但影響產品外觀，妨礙貼偏光片工序，還會造成電極接觸不良，電路斷路，短路等嚴重的質量問題，導致整機報廢，損失嚴重。因此，及時有效地檢測這些液晶殘留對于提高產品的優品率，優化清洗工藝和研發優質的清洗劑具有重要意義。

現有各種污染物識別方法和設備不適于高精度器件表面，不能識別分析微小的污染物。針對微小污染物，需要借助顯微鏡對物體表面的潔凈度進行評價的方法，包括電子顯微分析法、光學顯微分析法等。電子顯微分析法識別準確率高，但價格高昂，分析過程復雜。光學顯微分析方法設備較為簡單，但評價中主觀因素影響較大。

對于LCD液晶屏表面的污染物識別與分析，將顯微鏡等裝置獲取的放大后圖像進行數字化，用計算機軟件程序進行自動評價，是一種客觀定量的方法。數字圖像處理技術不僅可以排除主觀因素的干擾，降低勞動強度，提高生產效率，而且還能對這些指標進行定量描述，對污染物的形態、類型進行鑒別和統計［2－4］。但其難點在于對獲得圖像的處理，即圖像中污染物特性的確定。本文的研究工作正是基于數字圖像處理技術，面向LCD液晶屏表面污染物進行識別與分析。此外，基于圖像處理的器件表面污染物自動識別與分析方法對于集成電路平坦化過程中的清洗工藝及清洗劑配比研究也有重要應用意義。

2 復雜背景殘留液晶識別方法設計

圖像分割是自動識別圖像中目標的基礎［5］，但困難在于圖像本身的清晰度并無法保證［6］。迭代閾值分割方法能夠有效地處理背景較平滑的單一背景液晶殘留［7－8］，但是對于包含殘留封膠背景或者背景顏色不均勻的圖像，效果不理想，背景灰度變化較大的影響，整幅圖像分割沒有合適的閾值，單一閾值不能兼顧圖像全部像素。如圖1所示。

圖1 復雜背景的殘留液晶識別（迭代閾值分割方法）Fig.1 Liquid crystal rudimental recongnition in complex background （Iterative threshold）

圖1中，上下邊緣為殘留封膠，顏色較深，與中間淺色部分有明顯邊界。迭代閾值分割方法是對圖像整體進行處理，而在此類圖像中，復雜背景差距過于明顯，并且顏色值與需要識別的殘留液晶接近，因此處理過程中所計算得到的閾值并不能將背景與殘留液晶分開，而是會將大面積的背景識別為殘留液晶。因此，對于背景中包含封膠圖像等規則噪聲的圖像，不能直接使用全局迭代閾值分割算法。

對于以上圖像，大面積噪聲出現于上、下邊緣，并且下邊緣與淺色背景邊界不明顯，因此可以嘗試先對圖像直接進行分割，識別出圖像的邊緣，所得到的邊緣所包圍的區域即是需要識別的殘留液晶。

對圖像進行增強并常規分割后的結果如圖2所示（所使用的邊緣檢測算子為Sobel算子［9］）。

圖2 圖像增強并分割的處理結果（Sobel算子）Fig.2 Enhanced and segmented image by Sobel operator

由圖2可見，殘留液晶的邊緣得到了較精確的識別，但所得到的只是邊緣部分，并且受圖像本身質量的影響，邊緣并不完全閉合，另外，大面積殘留液晶的邊緣識別為雙邊緣內曲線。因而首先需要對邊緣進行連接處理，使之成為閉合的邊緣，然后進行填充，為最終統計殘留液晶特征做好準備。

3 邊緣連接算子研究與設計

3.1 圖像填充

在填充過程分為兩個階段：邊緣閉合、二次內部填充。邊緣閉合階段采用本文設計實現的邊緣連接算子進行處理，針對每一像素，根據8個相鄰方向上一定范圍內的像素顏色值，將滿足預設閾值的像素設置為黑色，從而實現對不連續污染物圖像邊緣的閉合連接。處理的結果是，較大面積（內部空白直徑大于閾值）的污染物圖像邊緣確保連續，內部空白直徑小于閾值的污染物圖像被完全填充。

二次內部填充是對內部空白直徑大于閾值的油污圖像進行填充，采用掃描線填充方法進行處理。圖像填充［10］是一個將指定不規則區域內部像素填充為填充色的過程，在計算機輔助設計和圖像處理等領域有廣泛應用，常用算法包括種子填充算法、掃描線填充算法、邊填充算法等。

3.2 邊緣連接算子

本文所設計實現的邊緣連接算子（Edge Connector，EC）如圖3所示。使用EC算子對圖像的每一個像素進行處理，當遍歷到像素Ai，j時，如果其值為0，則分析其8個方向上相鄰像素的值，以確定是否將其值修改為1，進行填充。

圖3 邊緣連接算子示意圖Fig.3 Edge Connector operator illustration

EC算子有兩個參數：D表示算子的大小，即圖中圓的直徑（或正方形邊長），取值為奇數，以保證待處理的像素位于中心；N表示在某方向上像素值連續為1的像素數閾值。

當以下條件之一成立時，將Ai，j的像素值設置為1：

（1）左邊相鄰 （D－1）／2個像素中有連續N個像素值為1，并且右邊相鄰 （D－1）／2個像素中有連續N個像素值為1。

（2）上邊相鄰 （D－1）／2個像素中有連續N個像素值為1，并且下邊相鄰 （D－1）／2個像素中有連續N個像素值為1。

由圖4可見，圖像的邊緣均已經連接為閉合曲線。由于填充過程中將只對閉合的區域對進行填充，因此圖像邊緣的閉合將確保填充過程準確完成。

圖4 對分界線進行連接處理的結果Fig.4 Connected edge

圖5 對圖像內部進行填充處理結果Fig.5 Filled image

4 圖像原始形狀恢復方法的研究

填充后所獲得的圖像，準確地表現出了原圖中的殘留液晶部分，保持了原殘留液晶的幾何形狀，但是由于在識別邊緣的過程中，所標注出來的邊緣，實際上在殘留液晶之外的邊緣，因此至此步驟所獲得的殘留液晶的圖像，比實際的殘留液晶圖像面積增大，標注的邊緣線即為增大的部分，圍繞殘留液晶外部一周，寬度為一個像素。因此在最終的結果中需要去除這一多余部分。另外，由于背景也存在明顯的區域，被識別為一條直線（寬度為1個像素），也需要在最終結果中去除。

由于圖像多余的邊緣以及非殘留液晶的直線寬度均為一個像素，因此采用二值腐蝕的方法去除多余部分，二值腐蝕的結果是使二值圖像中像素值為1的區域減小。用結構元素B，掃描圖像A的每一個像素，用結構元素與其所覆蓋的二值圖像做“與”操作如果都為1，結果圖像的該像素為1。否則為0。如果結構元素是半徑為1的圓，則二值腐蝕的結果是令圖像區域減小一圈，同時會去除寬度小于2的邊界線，這些邊界線并不是殘留液晶。

由圖6通過二值腐蝕處理，去除了單像素寬度的邊界影響，同時使得殘留液晶的實際面積恢復至原大小（在進行識別邊界的分割過程中，將殘留液晶的大小擴大了一圈）。

圖6 使用半徑為1的圓形結構元素進行腐蝕后的結果Fig.6 Eroded by circle structure elecment which radius＝1

5 復雜背景殘留液晶識別流程設計及實例分析

5.1 識別流程設計

綜上所述，對于復雜背景殘留液晶的識別，可通過如圖7步驟完成：

（a）圖像預處理，包括圖像的灰度轉換等處理。

（b）圖像分割，識別出殘留液晶的邊緣。此步驟是處理的關鍵，對于單一背景的殘留液晶識別，可使用迭代閾值分割方法，而對于較復雜背景中的殘留液晶，迭代閾值分割方法誤差過大，需要根據不同背景采用相應的分割方法。

圖7 復雜背景殘留液晶識別圖像處理流程Fig.7 Image processing flow of the rudimental liquid crystal recongnition in complex background

（c）邊緣連接，使用EC算子，將殘留液晶的邊緣處理為閉合曲線。（此步驟為可選項，如果分割后所獲得的污染圖像邊緣都是閉合的，則不需要進行本步驟）

（d）圖像填充，將殘留液晶部分填充為實心圖像，為污染物幾何形狀模式識別做好準備。

（e）去除多余部分，使用二值腐蝕方法，去除多余的邊緣以及部分線型背景噪聲。

（f）殘留液晶幾何形狀識別，輸出結果。

5.2 實例分析

示例圖像A：

圖8 原圖像Fig.8 Original image

在圖8所示的圖像中，有多處殘留液晶，并且背景中存在較大差異，在中部左側有部分較亮的背景。另外，圖像底部背景的亮度也與上部有差異，圖像亮度由上至下逐漸變暗。

圖9 迭代閾值分割方法處理結果Fig.9 Output of iterative threshold method

由圖9可見，使用迭代閾值分割方法處理圖8的圖像，由于背景較復雜，因此處理結果不理想，錯誤地將底部背景識別為殘留液晶。

圖10 圖像分割處理Fig.10 Image segmentation

圖10所示圖像為對圖9進行圖像分割處理的結果，盡管圖像背景較復雜，亮度不均勻，但由于背景亮度變化不足被識別為圖像邊界，所以圖像分割能夠識別出所有殘留液晶的邊界。但在中部偏左的較亮豎條也識別出了幾處不屬于殘留液晶的邊界，在后繼步驟中將被去除。

圖10識別出殘留液晶的邊緣，但尚不易統計每一處殘留液晶的特征，需要對殘留液晶內容進行填充，獲得殘留液晶的完整圖像。在填充之前，首先將殘留液晶圖像邊緣不連續的部分進行連接處理，以確保填充操作的準確進行。圖像邊緣連接處理的結果如圖11所示。

圖11 圖像邊緣連接處理Fig.11 Edge connection

對圖11所示的圖像進行圖像填充處理，還原殘留液晶圖像，處理結果如圖12所示。

圖12 圖像填充Fig.12 Filled image

由于殘留液晶的亮度低于背景，因此圖像分割過程中，所獲得的邊緣實際上是在沿殘留液晶邊界之外的像素，并不屬于殘留液晶，所以最后需要去除所獲得的殘留液晶圖像的邊界（寬度為1像素）。在此使用二值腐蝕操作完成此步驟，使用的是半徑為1的圓形結構元素，處理結果如圖13所示。

圖13 二值腐蝕處理（半徑為1的圓形結構元素）Fig.13 Eroded by circle structure elecment which radius＝1

示例圖像B：

圖14 原圖像圖Fig.14 Original image

圖15 灰度變換處理結果Fig.15 Output of gray－scale transformation

在圖14所示的圖像中，有多處圓形殘留液晶，圖像亮度由下至上逐漸變暗。圖15是原圖像灰度變換后的處理結果。

圖16 使用圖像分割方法Fig.16 Image segmentation

圖17 邊緣連接Fig.17 Edge connection

圖16所示圖像為對圖15進行圖像分割處理的結果，盡管圖像背景亮度不均勻，但由于背景亮度變化不足被識別為圖像邊界，所以圖像分割能夠識別出所有殘留液晶的邊界。

圖16識別出殘留液晶的邊緣，但尚不易統計每一處殘留液晶的特征，需要對殘留液晶內容進行填充，獲得殘留液晶的完整圖像。在填充之前，首先將殘留液晶圖像邊緣不連續的部分進行連接處理，以確保填充操作的準確進行。圖像邊緣連接處理的結果如圖17所示。

圖18 圖像填充Fig.18 Filled image

圖19 二值腐蝕處理Fig.19 Binary image erosion

對圖17所示的圖像進行圖像填充處理，還原殘留液晶圖像，處理結果如圖18所示。

最后還需要去除所獲得的殘留液晶圖像的邊界（寬度為1像素）。使用二值腐蝕操作完成此步驟，使用的是半徑為1的圓形結構元素，處理結果如圖19所示。

5.3 幾何形狀模式識別

污染物幾何形狀模式分類就是通過提取污染物圖像的特征量，對污染物幾何形狀模式進行分類，這需要通過另外定義相應的分類器［11］來實現。由于污染物種類眾多，并不是所有同類污染物圖像具有共同的特征，所以污染物幾何形狀模式分類是污染物圖像分析中的難點之一。鑒于器件表面污染物圖像各種特征有一定的相關性，為了降低識別算法的復雜性，特征識別時采用階層識別的方法。利用分類器，逐步判斷各特征參數，對各污染物圖像進行分析，并輸出分析的結果。

圖像分割等處理結束后，將獲得一個標識出污染物的二值圖像。為定量分析污染物的特性，本文定義了如下幾何特征參數：

全局統計特征參數：總面積、總數目、最大面積、最小面積、平均面積、面積方差、面積標準差。

單個污染物特征參數：面積、周長、質心點、最大內切圓直徑、離心率、傾角等。

污染物幾何形狀模式定義為6類，分別是圓形、橢圓形、帶形、線形、有較大面積節點的線形、不規則形狀。由污染物幾何形狀模式定義可知，對污染物形狀的判定要考察多個參數值的所有范圍，如果按各模式的參數值約束逐一排查，會引入過多重復計算，且不利于模式識別過程的擴展性。因此本文設計了一個基于二叉分類［12］方法的模式分類器，每一步只判斷一個參數值的取值，并且每一步判斷只有兩個分支（符合條件，或不符合條件）。分類器處理流程如圖20所示。

圖20 幾何形狀模式識別流程圖Fig.20 Geometry shapes recognition flow chart

圖13所示圖像識別結果如下：原圖像大小：157×495；污染物對象數目：9；最大污染物面積：1193；最小污染物面積：1；污染物平均面積：304.0000；污染物面積方差：170154.5000；污染物面積標準差：412.4979。污染物形狀分別為：有大面積節點的線形、橢圓形、圓形各一個，線形五個，剩余一個面積為1像素的污染物不需識別形狀特征。

圖19所示圖像識別結果如下：原圖像大小：230×400；污染物對象數目：5；最大污染物面積：2412；最小污染物面積：584；污染物平均面積：1441.8000；污染物面積方差：441276.2000；污染物面積標準差：664.2862。5個污染物形狀均為圓形。

6 結 論

針對單一背景殘留液晶的識別，設計的迭代閾值分割方法以及基于數學形態學的邊緣檢測算子，用以提取殘留液晶的邊緣輪廓，并進行噪聲分析。此方法能夠較精確地進行識別與分析，但對背景的一致性要求較高，因此不適于背景差異較大的復雜背景殘留液晶識別。實際情況中多為復雜背景，針對復雜背景殘留液晶的識別，設計了相應的圖像處理流程，首先通過預處理將RGB圖像轉換為灰度圖像，并進行圖像分割；然后對分割后的圖像進行邊緣連接，將不連續的邊界補充至閉合；之后進行圖像填充，還原得到污染物圖像，再使用二值腐蝕操作去除圖像分割過程中引入的多余邊界以及部分噪聲；處理結果可用于污染物圖像的幾何形狀模式識別，獲得分析結果。提出了一種邊緣連接算子，在對圖像進行分割后，將不連續的圖像邊界連接為閉合，為圖像填充奠定基礎。

通過實驗可知，針對單一背景殘留液晶的識別與分析方法能夠精確獲得殘留液晶邊緣，并且控制了噪聲的干擾；針對復雜背景殘留液晶識別與分析方法能夠對背景存在明顯差異的特定類型圖像（圖像中包含有封膠的規則邊界）進行準確的處理，去除背景不一致的影響，獲得殘留液晶的相關數據。幾何形狀模式識別的結果也驗證了之前工作所提出的模式識別模型以及分類器實現的正確性。對于無規律背景液晶圖像的處理，尚需進一步研究與改進。

［1］李廣福，劉玉嶺，李薇薇.LCD殘留液晶的清洗［J］.清洗世界，2006，22（9）：24－28.Li G F，Liu Y L，Li W W.Removal of rudimental LC on LCD ［J］.Cleaning World，2006，22（9）：24－28.（in Chinese）

［2］Huang Y Y，Gao N，Yu M，et al.Detection of surface cleanliness based on image recognition［C］.IITA＇08.Proceedings of the 2008 Second International Symposium on Intelligent Information Technology Application，Washington，DC，USA：IEEE Computer Society，2008：360－365.

［3］于洪春，鄧意成，鄭喜鳳.面積約束下的最優閾值法分割LED像素點陣［J］.液晶與顯示，2012，27（5）：653－657.Yu H C，Deng Y C，Zheng X F.Segmentation of LED pixel matrix by using optimal threshold method with area constraint［J］.Chinese Journal of Liquid Crystals and Displays，2012，27（5）：653－657.（in Chinese）

［4］丘文濤，趙建，劉杰.結合區域分割的SIFT圖像匹配方法［J］.液晶與顯示，2012，27（6）：827－831.Qiu W T，Zhao J，Liu J.Image matching algorithm combining sift with region segmentation［J］.Chinese Journal of Liquid Crystals and Displays，2012，27（6）：827－831.（in Chinese）

［5］靳永亮，王延杰，劉艷瀅，等.紅外弱小目標的分割預檢測［J］.光學精密工程，2012，20（1）：171－178.Jin Y L，Wang Y J，Liu Y Y，et al.Pre－detection method for small infrared target［J］.Optics and Precision Engineering，2012，2012，20（1）：171－178.（in Chinese）

［6］吳笑天，魯劍鋒，賀柏根，等.霧天降質圖像的快速復原［J］.中國光學，2013，6（6）：892－899.Wu X T，Lu J F，He B G，et al.Fast restoration of haze－degraded image［J］.Chinese Optics，2013，6（6）：892－899.（in Chinese）

［7］Wang X F，Zhang X Y，Gao R N.Research of image edge detection based on mathematical morphology［J］.International Journal of Signal Processing，Image Processing and Pattern Recognition，2013，6（5）：227－236.

［8］黃妍妍，姜樂濤，于明，等.LCD表面液晶污染的非接觸檢測新算法［J］.液晶與顯示，2009，24（1）：135－138.Huang Y Y，Jiang Y T，Yu M，et al.New method of non－contact inspection for liquid crystal residues on lcds surface［J］.Chinese Journal of Liquid Crystals and Displays，2009，24（1）：135－138.（in Chinese）

［9］Rafael C G.Digital Image Processing ［M］.3rd ed.Pearson，2013.

［10］Zhao H，Chen Z X.A simple hole filling algorithm for binary cell images［J］.Applied Mechanics and Materials，2013，433－435：1715－1719.

［11］Spasojevic S S，Susic M Z，Durovic Z M.Recognition and classification of geometric shapes using neural networks［C］.201211th Symposium on Neural Network Applications in Electrical Engineering （NEUREL），2012：71－76.

［12］Gueheneuc Y G，Albin－Amiot H.A pragmatic study of binary class relationship ［C］.18th IEEE International Conference on Automated Software Engineering，Montreal，Canada：ASE 2003，2003：277－280.