基于機器視覺的液晶屏字符檢測方法研究★

張永超， 陳隆杰， 郭 斌

（1.浙江機電職業技術學院， 浙江 杭州 310053； 2.浙江省計量科學研究院， 浙江 杭州 310018）

引言

液晶屏作為電子設備中重要的組成部分，其應用范圍越來越廣。液晶屏生產過程中的質量缺陷，主要有表面缺陷和顯示缺陷[1-2]。表面缺陷容易檢測，顯示缺陷由于字符種類多，同時在裝配過程中由于碰撞、擠壓以及焊接過程中出現問題，難以發現。目前液晶屏產品顯示主要依靠人工方法觀察，對于表面缺陷比較容易快速檢測，對于顯示缺陷，主觀性強，檢測效率低，無法保證統一性，難以滿足智能化生產線的需求。

針對液晶屏檢測，溫招洋[3]等人采用DCT 和Otsu檢測算法進行LCD 的缺陷分割，實現背景不均勻檢測。何俊杰[4]等人采用區域神經網絡對TFT-LCD 電路缺陷進行檢測，能夠達到實時檢測的需求，但是沒有對顯示缺陷進行檢測。何蓓[5]等人針對目前電能表實際使用中的需求，采用圖像分割與定位技術進行電能表的檢測，但是檢測速度和精度無法滿足實時性要求。蔣莉[6]等人采用形態學方法，對點陣液晶屏進行顯示質量檢測，主要針對單個顯示單元進行檢測，無法滿足字符檢測需求。劉昶[7]等人提出了一種基于CNN 和SVM組合分類器的字符識別方法，準確率高，但是適用于比較復雜的背景，并且需要大量的數據進行訓練，耗費時間長。

本文針對產品質量檢測中對于液晶屏顯示檢測的需求，提出了一種快速的基于機器視覺的液晶屏字符顯示識別方法。選用家用膜式燃氣表作為檢測產品，通過定位液晶屏顯示區域作為ROI 區域，通過投影變換對圖像進行校正，消除由于拍攝角度引起的形變，采用動態閾值變換提取液晶屏顯示區域進行圖像處理，提取目標結果進行模板匹配，最終識別數字字符，數字字符與液晶屏顯示數值進行比較，從而實現液晶屏產品顯示字符的檢測，并且通過實驗驗證本方法的準確性和有效性。

1 圖像處理

本文采集到的產品液晶屏顯示圖像如圖1 所示，通過圖像看出，由于相機拍攝角度問題，加之產品背面不能保證水平，難以保證相機與拍攝液晶平面保持垂直，從而導致液晶屏具有一定的角度差異，為了快速提高字符識別的準確性，需要對液晶屏進行校正處理。本次實驗中首先將液晶屏顯示區域作為一個整體，通過一系列的圖像預處理進行液晶區域定位，順利分割，得到ROI 區域，并且根據提取到的ROI 區域的四個角點進行透射變換，得到完整的校正圖像，保證圖像顯示的字符與模板字符盡量保持一致。在提取到的ROI 區域中進行圖像處理，采用動態閾值和形態學處理方法，將液晶屏顯示字符進行快速提取，并且根據小數點確定顯示位數，將顯示字符采用歸一化（NCC）的模板匹配方法進行匹配，得到需要的結果。將結果與顯示結果進行對比，從而得到本次實驗的檢測結果。

1.1 液晶區域定位

由于產品中的很多區域不需要進行檢測和識別，因此需要將液晶屏提取出來進行檢測，通過圖像看出，液晶屏顯示區域與本次工業相機拍攝原始圖像中的產品面板中的液晶屏，主要采用背光顯示，灰度值較低，能夠方便與其他部分分割。目前，常用的分割方法主要有全局閾值、自適應全局閾值及動態閾值等方法。由于本次實驗中的液晶屏打光問題，液晶屏顯示區域內部明暗不一致，直接用全局閾值分割容易產生較大的誤差。采用自適應全局閾值由于設備拍攝角度和打光問題，也容易將液晶屏作為多個部分，從而造成液晶屏顯示區域提取效果不理想。因此，根據圖像的灰度均值和方差，采用動態閾值法能夠得到較好的分割效果。

設μ（x，y）、σ（x，y）分別為像素點（x，y）在鄰域M的均值及標準差函數，f（x，y）表示像素點（x，y）的灰度值，N 是鄰域M 內的像素點總數，則：

根據實際的使用需求，將圖像的低灰度值區域fdark設定為灰度值特定值的像素點集。則動態閾值法分割過程可以表示為：

式中：fdark為動態閾值法分割出的二值化區域：k 為系數，取值大于零。根據現場的實際需求進行相關參數的設計，表征灰度值偏離標準差的程度，如圖2 所示。

液晶區域已經分割出，但是有很多無關區域，需要進行進一步的處理。通過實驗看出，本次液晶屏提取的區域的邊界與其余區域邊界不清晰，需要進行進一步的分割。本次采用Blob 分析，將提取到的區域圖像進行腐蝕，斷開相連區域，公式為：

斷開相連區域之后，得到多個區域目標，由于本次實驗中的液晶屏具有明顯的相關特征，根據檢測需求，選擇相關的面積特征和形狀特征，提取相關的液晶屏顯示區域，并且進行相關的膨脹操作，從而能夠順利的進行區域分割，結果如圖3 所示。

1.2 透視變換

由于提取到的液晶屏顯示區域具有明顯的角度變化，需要進行進一步分析，將顯示字符進行校正。透視變換是將圖片投影到一個新的視平面，也稱作投影映射，它是二維（x，y）到三維（X，Y，Z），再到另一個二維（x′，y′）空間的映射。投影變換過程中，轉換如式5和式6 所示。

由于本次投影得到圖像液晶屏的ROI 區域為矩形，能夠得到四個角點的坐標。因此，可以得到透視轉換的轉換參數，通過轉換得到的轉換圖像如圖4 所示。

1.3 圖像增強

得到液晶屏顯示區域中，由于顯示區域明顯偏暗，直接進行識別容易出現誤判。因此，需要采用圖像處理技術進行圖像增強。目前常用的圖像增強技術主要有空間域方法和頻域方法。頻域方法主要采用傅里葉變換到頻率域進行圖像處理。空間域方法主要采用灰度拉伸方法直接進行圖像處理。相比較頻域方法，空間域方法更加直接快速。本次實驗采用空間域方法進行圖像增強，公式如式7 所示。

式中：fmax、fmin為本次需要待識別的液晶屏區域內最大、最小灰度值；gmax、gmin為灰度拉伸區間的最大灰度值和最小灰度值；g（x，y）為灰度拉伸后像素點（x，y）的灰度值，通過灰度拉伸，得到圖像增強后的效果圖如圖5 所示。

通過圖像增強，能夠明顯提升液晶屏顯示區域的灰度范圍，為后期順利提取字符進行圖像匹配提供了基礎，保證了結果的準確性和快速性。

1.4 字符分割

在圖像處理過程中，為了精確快速識別圖像字符，需要進行字符分割，得到準確的二值化圖像。由于本次識別的過程中需要通過小數點確定識別位數，因此，需要進行小數點的順利提取，在提取的液晶屏區域內通過閾值分割，所得圖像如下頁圖6 所示。從圖中可以看到，存在很多噪聲，并且面積和大小相對于小數點來說難以區分，需要進一步采用形態學特征進行分割。數字字符具有面積特征，小數點具有圓形特征參數，其余干擾特征形狀不規則。因此，通過識別得到合適的字符圖像，經過一系列的操作，本次字符已經與背景進行成功的區分，如圖7 所示。

1.5 字符識別

關于字符的識別目前有多種方法，用得最多的是模板匹配法、穿線識別法以及多層神經網絡等。作為經典的匹配方法，模板匹配具有運算速度快、環境穩定下匹配效果好等優點。由于通過前期的圖像處理，已經能夠實現液晶屏字符的順利分割，無需進行神經網絡的訓練和學習，并且液晶屏顯示屬于標準化顯示，字符形狀及特征固定，考慮到識別速度的快速性，本次實驗因采用圖像匹配的方法進行。目前常用的圖像匹配方法主要有基于灰度值匹配、基于相關性（NCC）模板匹配及基于形狀匹配等方法。灰度值匹配的效果差，受干擾大，基于相關性匹配的方法可以實現本次檢測。其中的基本原理公式如式8 所示。

式中：aij和bij分別是模板圖像和待匹配圖像在第i 行和第j 列的像素值，aˉ和bˉ分別為模板圖像和待匹配的圖像的像素平均值。通過公式可以看出，本次測試的NCC 的值在-1～1 之間，值越大，說明兩幅圖像灰度間的相關性越高。通常情況下，當NCC 達到最大時，兩幅圖像處于正確的匹配位置。采用NCC 相關性進行匹配，可以在一定程度上抑制光線問題帶來的干擾。

2 實驗

為驗證本方法的可行性，本次采用多次測量的方法進行數據實驗，采用模板匹配中，首先，獲得數字0到9 以及小數點字符的模板樣本圖像，并歸一化所有模板為9×11 像素大小，如圖8 所示。

其中每個字符出現的概率基本相同，采集的圖像經過圖像處理、字符識別后，得到相關的數據，并且把采集得到的數據存入電腦進行后續檢測。本次實驗的程序流程圖如圖9 所示。

識別結果如表1 所示。

表1 實驗結果

從實驗結果可以看出，該方法對液晶屏顯示數字字符識別準確可靠，字符的總體識別率在96%以上，從而驗證了本方法的可行性。

3 結語

本文提出了一種基于機器視覺的液晶屏產品顯示字符的檢測方法，能夠根據實際的檢測需求，進行動態調整，并且通過透射變換解決產品不水平以及相機拍攝不能保證完全垂直平面，從而導致匹配失誤的問題。采用歸一化模板匹配的方法進行液晶顯示的字符匹配，實驗表明：本方法準確性高，可以推廣其他相關的檢測方向，并且能夠跟相關的機械控制設備進行配合，實現全自動化檢測。不足之處在于沒有建立顯示漢字字符模板，沒有實現漢字字符的檢測。后期可以根據需要進行相關的顯示漢字模板匹配，實現液晶顯示全字符檢測。