基于圖像處理的工業生產手機屏幕裂紋檢測

夏慶凱，于大泳

（200093 上海市 上海理工大學）

0 引言

現如今科技的發展日新月異，我國的工業化進程在科技浪潮中朝著智能化的方向前進，機器視覺在這股潮涌中應運而生，并得到飛速的發展。許多企業在研究如何利用機器視覺技術提升生產效率，在改進技術方案的同時降低生產成本并改善產品質量。由機器視覺來代替人體視覺實現各種檢測功能，在當今社會有著巨大的研究價值。隨著通信技術飛速發展，人們早已邁入信息化時代，手機作為最方便的通訊設備，已化身為人們的生活助手，不可或缺。手機屏幕作為最重要的信息輸出部件，承擔著人機交互的功能，它的質量好壞直接影響用戶的體驗，因此在手機的生產過程中，屏幕的質量檢測至關重要。

手機屏幕的發展，從黑白到彩色，再到現在的Retina 高清顯示屏[1]，厚度在逐漸變薄，集成的功能也越來越多，與此同時生產工藝越來越苛刻。液晶屏在生產過程中容易受到技術、環境以及設備的影響，由此會產生很多缺陷，例如壞點、臟污、壞線等，次品率居高不下，如何快速有效地檢測出這些缺陷品，不僅可以提高檢測效率，而且可以使生產廠商及早進行工藝改進，防止殘次品流入市場。目前，大多數生產廠商仍然在使用傳統的人工檢測方法，由操作工人在操作臺上，通過借助特殊光源或者放大鏡等儀器，依靠人眼的主觀判斷來對缺陷進行檢測。這種人眼檢測方式帶來很多弊端：（1）檢測結果不穩定。人工判斷，主觀因素占很大成分，缺乏客觀有效的評價標準，造成檢測結果不可靠；（2）效率低下且成本高。人眼來識別，長時間會產生視覺疲勞導致出錯，同時人工成本也越來越高。

智能制造、人工智能等先進理念的基礎核心技術和裝備不斷進入工業生產中，促使生產自動化程度越來越高，自動化生產線的升級改造，發展趨向于智能制造系統。與此同時，機器視覺等方面的發展也是更加迅速。機器視覺是在20 世紀出現的新型技術，其在將近50 年的發展期間，機器視覺技術迅速從理論轉換為實際應用，機器視覺技術被普遍應用到醫學圖像處理、場景三維重建、自動導航等領域，例如，機器視覺在人臉識別上的應用以及車牌識別等。機器視覺應用到工業自動化生產上可以提高工業生產效率，復用性高。

1 系統原理

通過圖像采集設備對圖像進行采集[2]，采集設備包括CCD 相機、光源等。其中光源的選擇，考慮到光源的使用壽命以及穩定性，選擇LED光源，其他常用光源如熒光燈、鹵素燈等都存在較大不足，不適合用在工業用途。而CCD 相機是目前市場上較為成熟的一款用于工業生產的相機，其在圖象格式、分辨率、敏感度等各個方面都有著廣闊的選擇空間，能基本滿足使用要求，綜合成本、性能等要求。本文最終選擇MVEM120M 這款CCD 相機作為工業生產過程中流水線上手機屏幕圖像的采集器。對手機屏幕圖像采集檢測的流程如圖1 所示。

圖1 手機裂紋缺陷檢測流程Fig.1 Mobile phone crack defect detection process

在進行檢測時，我們通過對調整LED 光源照射的位置以及距離來使得所采集的圖像盡可能沒有光差，通過調節CCD 相機的位置來使得無論手機處于哪里都能被采集，從而達到最佳的手機裂紋圖像的采集狀態。之后，對流水線上的手機屏幕進行圖像采集，對圖像進行位置校正，圖像濾波、二值化等處理后，通過圖像差分，綜合對圖像裂紋缺陷的特征分析，對所采集的手機屏幕圖像進行有無裂紋缺陷的判斷。

2 圖像預處理

由于采集環境的影響，所采集的圖像存在很多噪聲，其中大多數是因為攝像機的限制，所以我們需要對圖像進行去噪處理。去噪的方法有高斯模糊、中值濾波、雙邊濾波等。幾種濾波方法的具體效果圖如圖2 所示。

由圖可見，高斯濾波對高斯噪聲起到了抑制作用，同時圖片變得模糊，且邊緣保持比較差，不能獲得良好的邊緣濾波效果，總體效果不是很好；中值濾波比較清晰，大多數噪聲都能被抑制，但是有很多細節被忽略，存在著弊端；雙邊濾波效果很好，對邊緣細節的保留效果比較好，但是對于噪聲過濾效果比較一般，同時又因為其算法的特性，導致運算速率比較慢，并不適用于工業生產的環境中。所以綜上考慮，我們選擇中值濾波來處理圖像噪聲。

圖2 幾種濾波方法效果圖Fig.2 Effect diagram of several filtering methods

3 圖像校正

由于工業生產過程中，生產好的手機屏幕在流水線上的擺放是隨機的，其中包括角度和位移誤差。這樣，對后續圖像處理帶來了困難，所以我們需要對圖像進行校正。我們采用控制點變換方法[3]，該方法需要兩個獨立的算法。首先需要通過控制點變換來定義空間變換本身，用它來描述每個像素如何從初始位置“移動”到終止位置，即每個像素的“運動”過程；同時還需要一個用于灰度級插值的算法，用來產生一個能保持連續性和連通性的光滑映射。插值方法有最近鄰插值、雙線性插值、高階插值。其中雙線性空間的一般表達式如下：

式中：u，v——輸出圖像的像素點的坐標；x，y——輸入圖像的像素點的坐標；A，B，C，D，E，F，G，H——控制點變換系數。

控制點算法的原理圖如圖3 所示。

圖3 控制點算法Fig.3 Control point algorithm

由圖3 可知：控制點算法通過空間映射來校正圖像。通過選取四邊形的4 個頂點，再映射到相應的矩形頂點上，而輸入圖像四邊形內部的像素點則通過控制點算法一一映射到對應矩形內部的像素點上。輸出圖像的大小，我們選擇基本與模板圖像大小一致，所以輸入輸出圖像給定。可將式（1）、式（2）變形寫為矩陣形式：

對于控制點的選取，遵循其中任意3 個點不在同一直線上即可。通過選取4 個控制點，就可以得到 8 個線性方程，最終可以解出8 個變換參數。雙線性插值的公式如下：

即1 個像素點的灰度值要由輸入圖像中的空間變換點相鄰的4 個像素點的灰度值共同決定。

校正結果如圖4 所示。

圖4 控制點算法校正結果Fig.4 Control point algorithm correction results

4 模板匹配

我們將手機屏幕裂紋缺陷圖像校正后存在著一個問題，校正后的圖像必定和無裂紋缺陷的標準模板圖像之間存在著大小差別，且由于相機的拍攝角度原因，相機拍攝的圖片大小與模板之間也會存在大小誤差，所以還需要對模板圖像和缺陷圖像再進行處理。其中，處理的流程是通過Canny 邊緣檢測將手機黑色屏幕部分的輪廓線找出，再將其剪輯出，對剪輯出的缺陷圖像和模板圖像進行圖像處理，灰度化、去除噪聲、統一圖像大小等，最后通過圖像差分算法去掉兩幅圖中相同的部分[4]，所剩的就是裂紋缺陷[5]。所采集到缺陷圖像如圖5 所示，用來與缺陷圖像做匹配的模板圖像如圖6 所示。

圖5 缺陷圖像Fig.5 Defect images

圖6 模板圖像Fig.6 Template image

由圖可以發現，兩個圖像之間不僅圖像內手機大小存在誤差，整個圖像大小也不一致。

我們對于手機屏幕裂紋檢測主要是對中間黑屏部分進行檢測，同時對模板圖像進行Canny 邊緣檢測，可以發現一個現象，如圖7 所示。

圖7 模板原圖與邊緣檢測Fig.7 Template original and edge detection

由于圖片的背景是白色，且實際需求是中間屏幕，Canny 檢測正好可以檢測出整個黑屏的邊緣，所以可以通過輪廓提取將整個屏幕黑屏提取出來，如圖8 所示。

圖8 模板屏幕和裂紋屏幕Fig.8 Template screen and crack screen

由于模板屏幕和裂紋屏幕的外觀都是長方形，可以通過調整圖像大小使得兩張圖的大小一致，通過獲取模板圖像大小使得裂紋圖像和模板圖一樣大。

對兩幅圖像進行圖像處理，其中包括灰度化處理，去除噪聲處理，即中值濾波以及調整圖像大小，最后進行圖像差分處理。圖像差分實際上是對圖像像素點的相減運算，是把相似景物的圖像或同一景物不同時間拍攝的圖像進行相減處理，前提要求是被處理的兩幅圖像大小一致，即分辨率相同，從而像素點一一對應相減。圖像差分的數學表達式如下：

式中：A（x，y），B（x，y）——輸入圖像；C（x，y）——輸出圖像。

差分法可以除去圖像中相同的場景，檢測同一場景不同時間段的變換等，但是前提條件是必須兩幅圖像大小一致。本文通過Canny 邊緣檢測繪制輪廓長方形，并截取手機黑屏部分，對手機模板和缺陷圖像之間做了比較[6]。缺陷圖像和模板圖像通過差分處理后的結果如圖9 所示。

圖9 圖像差分結果Fig.9 Image difference result

綜上，我們可以檢測出工業生產過程中手機屏幕存在裂紋的殘次品。

5 結論

本文針對工業生產過程中手機屏幕裂紋缺陷檢測，提升了手機裂紋缺陷檢測的速度，改變了目前人工檢測手機裂紋缺陷的現狀。通過光學成像原理，利用LED 光源以及CCD 相機對流水線上的手機裂紋缺陷圖像進行采集，并通過中值濾波、去除噪聲，再通過控制點算法對其進行角度位置的校正，用Canny 邊緣檢測提取手機內屏輪廓，從而提取手機內屏的外觀圖像，并對其進行圖像大小統一，使其與模板圖像大小一致。最后，通過圖像差分，去除缺陷圖像與模板圖像中相同的部分，并得到裂紋缺陷。本文的檢測速率較快，能有效識別手機裂紋缺陷圖像。對該系統的研究，不僅能夠檢測手機裂紋缺陷圖像，其他類型的缺陷也能檢測，為下一步的缺陷分類提供了參考依據。