基于機器視覺的手機屏幕缺陷檢測中的研究進展

李煥煥，代顯智，黎濤，徐媛

（西華師范大學 電子信息工程學院，四川南充，637009）

目前，手機已經成為人們日常生活的必需品。作為輸出信息的重要的組成部分，手機屏幕的質量直接影響著用戶的觀感和體驗。目前手機屏幕缺陷檢測還是以人工檢測為主，但其主觀性大、效率低、成本高。與之相比，機器視覺具有永不疲勞，標準統一，效率高，非接觸等優點，越來越受到學者的關注，并逐漸應用到各個領域。因此，利用機器視覺技術檢測缺陷在業內越來越流行。

目前手機屏幕缺陷的研究重點集中在傳統機器視覺和深度學習兩方面，傳統方法提取特征是人工手動提取；深度學習方法則是通過學習大量的樣本自動提取特征。其中，傳統方法的特征描述也有所不同，在文中將傳統方法分為兩大類：灰度統計法、變換域法。將深度學習分為有監督學習和無監督學習，其區別在于：是否對訓練樣本進行標記。這兩種方法的具體算法又有多種，如圖1 所示。本文將對這些具體的算法，進行詳細介紹。

圖1 手機屏幕缺陷檢測分類方法

1 傳統方法

傳統方法主要依據缺陷顏色、形狀等特征，利用圖像處理算法或結合傳統機器學習方法進行檢測。傳統方法主要分成灰度統計法和變換域法，如圖1 所示。

1.1 灰度統計法

灰度統計方法是通過研究圖像的像素分布特點，采用數字圖像處理技術針對性地提取缺陷特征，進而通過特征表現的特點判斷手機屏幕缺陷的種類。

灰度統計法是對像素的規律性和周期性進行統計。閾值法是灰度統計法中最常用一種方法。其原理是通過設定不同的特征閾值，把圖像像素點分為不同類。由于其易于實現、計算量低、性能穩定的優點，被廣泛應用于分割不同灰度級范圍的前景和背景圖像。但閾值法抗干擾能力弱，容易受到光照不均、對比度低等外界因素的影響，直接使用并不能得到良好的效果，因此對閾值法的改進是十分有必要的[1]。Noh 等人[2]首次使用自適應閾值技術快速定位缺陷，完成了TFT-LCD 薄膜圖像缺陷檢測系統。Liu 等人[3]提出基于直線截距與粒子群算法改進的快速二維Otsu 算法，相比Otsu[4]、2DOtsu[5]、基于直線截距的2DOtsu[6]等算法，平均分割時間縮短了一半以上，分割劃痕和氣泡的時間為54.2292ms 和26.3563ms。劉望等人[7]針對光照不均的問題，采用自適應調整閾值參數的方式，可應對各種復雜的情況。實驗表明，該方法能成功地檢測點缺陷、線缺陷、Mura 缺陷和飽和度缺陷，總體正確率為99.5%，平均檢測時間為310ms。

邊緣是指圖像內明亮部分與陰暗部分的交接處，在此處圖像的像素值發生突變，因此，邊緣檢測方法是通過微分檢測邊緣像素的灰度值是否連續，來確定是否存在缺陷。Sobel 算子、Canny 算子和Laplacian 算子是邊緣檢測中最常用的3 種方法。表1 對這3 種基于邊緣檢測的特征提取方法的優缺點進行了比較。

表1 基于邊緣檢測方法的比較

Sobel 算子的本質是梯度運算，在X，Y 方向上使用兩個特定的卷積核，分別檢測橫向、縱向邊緣。Sobel 邊緣檢測能力強，但對光照不均很敏感，容易產生假邊緣。Kong等人[8]利用Sobel 邊緣檢測算子對異常缺陷進行邊緣增強。為了克服光照不均的影響，將屏幕分成若干小塊。然后對每個小塊進行背景評估，大致定位缺陷區域。最后，利用SVM 分類器，對感興趣的小塊進行第二次判斷。該算法的準確率能達到95.9%。對于細微邊緣的檢測，采用Canny算子效果更好，夏慶凱等人[9]運用Canny 邊緣檢測算法，得到待檢測手機屏幕的邊緣，在消除校正圖像與模板圖像的大小差別后，利用圖像差分算法，得到最后的缺陷圖像。Laplacian 算子對噪聲比較敏感，常用于對圖像進行增強，突出缺陷特征。Jin 等人[10]通過增加Laplacian 卷積層對輸入圖像進行銳化，利用灰度突變增強邊緣的對比度。當應用于玻璃圖像時，增加的層有助于突出缺陷的輪廓，使模糊的圖像更清晰，更容易檢測。實驗結果表明，該模型在實際測試集上的平均檢測精度達到94%，滿足工廠實際使用的要求。

基于聚類的方法是統計像素間的相似性，從像素分布中提取隱藏信息，進而進行缺陷檢測。葉其欣[11]提出的經模糊C 均值聚類分割后的二值圖如圖2 所示。作者首先進行明暗場融合，然將融合后的手機玻璃蓋板圖像進行模糊聚類增強，最后進行模糊C 均值聚類分割。從圖2 中可以看出，經明暗場融合后的圖像比明場圖能檢測出更多的缺陷。針對作者的待測樣本，其缺陷檢出率達到100%。

圖2 經模糊C 均值聚類分割前后的二值圖[11]

1.2 變換域法

利用變換域的方法可以將圖像從像素域轉換到頻域，使某些特征更加凸顯并可分，是手機屏幕檢測中應用最廣泛的方法。變換域法主要包括傅里葉變換、剪切波變換、Gabor變換、小波變換等濾波方法。

在進行表面缺陷檢測時，傅里葉變換常用于難區分的特征。但單獨的傅里葉變換又難以達到理想的效果，通常將其作為轉換模塊，簡化缺陷檢測難度[12～13]。高如新等人[14]利用傅里葉變換實現模板圖像和待測圖像的配準，準確提取了小缺陷、淺劃痕等缺陷特征，缺陷檢測的正確率為99.3%。易松松[15]通過基于傅立葉變換的級聯檢測，濾掉大量不重要的信息，僅保留邊緣、異常等有效信息，降低了計算量。與單獨的傅里葉變換相比，正確率提高了5.8%，耗時減少了1610.26ms。該算法的全局檢測正確率為97.6%，單張圖片的平均檢測時間為237.12ms。

傅里葉變換的缺點是側重于頻域全局特征，但忽略了大部分空間域的局部特征。為了同時獲得待測圖像的全局特征和局部特征，研究人員提出采用Gabor 變換，克服傅里葉變換的缺陷。針對低分辨率的觸摸屏表面缺陷檢測問題，王松芳[16]利用Gabor 濾波器進行圖像增強，同時利用稀疏表示完成了缺陷檢測，準確率達到96%。

剪切波變換是一種多尺度的變換方法，具有平移不變性。Zhang 等人[17～18]提出了利用剪切波變換和灰度形態學相結合的圖像增強算法，將對灰度的處理轉移到頻域，對不同頻域的子圖進行不同的頻域增強并使用改進的Otsu 雙閾值方法實現殘差圖像的缺陷判斷，準確率高達98.7%。

基于變換域法是手機屏幕缺陷檢測研究的一大熱點。此外，變換域法結合了空域與頻域特征，抗干擾能力比灰度變換法強。但變換域方法也有其不足之處，常用變換域方法的優缺點如表2 所示。

表2 常用變換域方法的優缺點

2 深度學習

傳統機器視覺的檢測方法需要較多的專業知識，算法的過程繁瑣。多數情況下需根據缺陷的特征改進數字圖像處理算法，才能保證缺陷檢測的準確性。因此檢測耗時也相對較長，不能滿足現在實時性的需求。隨著機器視覺的發展，深度學習已成為目前手機屏幕缺陷檢測的主要研究方法。由圖1 可知，基于深度學習的手機屏幕缺陷檢測方法，主要有監督學習和無監督學習兩大類。

2.1 監督學習方法

有監督學習方法是在標記過的訓練集的基礎上訓練深度學習網絡，利用訓練過的網絡來檢測缺陷。該方法需要大量正確標記的缺陷樣本。

基于傳統CNN (Convolution Neuro Network)的方法現在看來相對較簡單，該方法首先將深度學習引入缺陷檢測，證明深度學習的可行性，對深度學習在缺陷檢測應用有重大的意義。Li 等人[19]提出利用粗精策略提高算法的效率。該方法分類流程如圖3 所示。首先，利用多層感知器(MLP)對缺陷進行粗略分類，然后通過訓練不同的深度學習(DL)算法對剩余缺陷進行二次分類。對6 種不同的深度學習算法進行對比實驗得知，VGG 算法檢測耗時最短約6ms,SeNet耗時最長約13.6ms。所選的6 種深度學習算法的檢測正確率都在97%以上，對手機屏幕的劃痕、浮痕、光斑、暗斑等缺陷均能達到理想的檢測效果。

圖3 Li 等人提出的缺陷分類流程[19]

Park 等人[20]提出了利用深度學習神經網絡（DLNN），進行玻璃蓋板的缺陷檢測。其檢測率高達99%，錯誤率低于1%。該方法利用四個CNN 通道進行訓練，減少了訓練時間，提升了檢測效率，并解決了多種缺陷應用于同一個CNN 訓練帶來的學習混亂問題。

語義分割是深度學習領域的熱門方向之一。既有基于全卷積網絡(FCN)及其衍生網絡的方法，也有基于R-CNN(Region-based Convolution Neuro Network)的算法[21～23]。本文主要介紹第一種算法。Jiang 等人[24]提出了基于語義分割的對稱卷積神經網絡，完成了對弱劃痕、變色和凹坑缺陷的分類。該方法的平均準確率為91.8%。Pan等人[25]首次將EU-Net 應用于手機屏幕表面缺陷檢測，提出了一種MB 編碼器-解碼器結構。與U-Net 相比，該算法減少了語義分割方法中的參數使用量，計算復雜度降低了170 多倍。實驗結果表明：該算法的精度與U-Net 相似，但參數量不到U-Net 的一半，能夠滿足工業生產的實時性要求。

目標檢測一直是深度學習領域的研究重點，其方法大多是以RCNN 和YOLO 為主體改進而來[26～27]。Huang 等人[28]設計了一種可搭載在嵌入式平臺的深度學習模型，完成了對手機陶瓷底板表面缺陷的識別。YOLOv3-tiny 模型的缺陷識別正確率約為89.9%，召回率達到84.5%。該系統運行在裝有驍龍625 芯片的硬件上，每幅圖像的檢測速度為350±80ms。Yang 等人[29]提出了一種基于YOLOv5 和Ghost bottleneck 的手機屏幕檢測模型(Ghost backbone)，使用YOLOv5 作為目標檢測器來訓練手機屏幕缺陷數據集。實驗結果表明，該方法的參數量僅是YOLOv5s 的24%，單個圖片的平均檢測時間比YOLOv5s低2%，為76.8ms，平均正確率比YOLOv5s 低1.2%，為97.02%。

2.2 無監督學習方法

無監督學習方法不需要標記過的訓練集，可直接從大量的無標記數據中自動學習，節省了大量人工標記時間。該方法通過特征向量之間的相似性，對缺陷進行分類和檢測。無監督學習主要包括自編碼器（Auto Encoder）和生成對抗網絡(GAN)。

Jin 等人[30]使用卷積神經網絡來識別玻璃缺陷。該方法利用卷積自編碼對卷積核進行預訓練，減少了訓練時間，且玻璃缺陷的準確率達到92.6%。Lv 等人[31]為了解決由于紋理分布不均勻和時變的特點，提出了一種改進的帶加權SSIM 損失函數的深度卷積自編碼器(如圖4 所示)，以提高對非均勻時變紋理背景的重構效果。然后，利用離散余弦變換(DCT)差分分析方法，準確分割原始圖像中的缺陷區域。該方法對512 × 512 像素圖像的處理時間僅為20 ms，滿足了在線檢測的要求。

圖4 Lv 等人改進的卷積自編碼方法的訓練和測試流程圖[31]

Yuan 等人[32]提出了一種基于背光源線掃描成像法的手機玻璃蓋板缺陷檢測系統。該系統采用網絡對抗性方法(GANs)訓練分割網絡，實驗結果表明該方法具有較高的缺陷檢測率，正確率為98.26%。而在同一數據集上，語義分割的檢測正確率僅為96.52%。

3 不同方法間的比較與未來發展趨勢

3.1 不同方法間的比較

目前發展了多種不同手機屏幕缺陷檢測方法，為了比較不同方法的檢測效果，表3～表5 從不同角度，對這些方法進行了對比。表3 主要從優缺點角度進行分析對比。表4 和表5 主要從缺陷種類、缺陷檢測正確率、檢測時間等角度進行對比分析。

表3 傳統方法與深度學習方法的比較

表4 基于傳統方法的不同研究對比表

表5 基于深度學習方法的不同研究對比表

從表3 可看出，灰度統計法能有效地反映圖像像素的規律性和周期性，但這種方法側重于圖像的局部特征，對圖像對比度和環境噪聲有嚴格的要求。因此灰度統計法適用于低分辨率或識別精度要求不高的圖像。與灰度統計法相比，變換域法抗干擾能力更強，因為其主要利用圖像的頻域特性。但該方法側重于全局信息，檢測準確率容易受到特征相關性的影響。

有監督學習的手機屏幕缺陷檢測方法具有較高的精度和抗干擾性。但獲取圖像和手動標記都需要很長時間。要有足夠多的標注圖像作為訓練集，才能保證訓練的正確率。無監督學習檢測方法可以有效解決實際應用中圖像樣本稀缺的問題，降低樣本不平衡帶來的誤判率。但抗干擾性弱且受網絡初始值影響較大。

從表4 和表5 可看出，傳統方法檢測精度大都高于深度學習方法的檢測精度；傳統方法中的變換域法檢測精度略低于灰度值法，但其抗干擾和噪聲能力強；深度學習方法中，無監督檢測的正確率低于有監督檢測，但其模型簡單，且省掉了人工標記的時間。總的來說，傳統方法和深度學習方法的檢測正確率都超過了90%。傳統方法最高正確率可達100%。這主要是因為該方法具有靈活性強，可根據缺陷的特征設計相關算法或對相關算法進行改進，所以能達到很高的正確率。但是傳統方法由于算法復雜度較高，檢測缺陷平均耗時可達幾百毫秒，是深度學習方法的幾倍甚至幾十倍。

3.2 未來發展趨勢

目前傳統的基于機器視覺的檢測方法雖然正確率較高，但算法流程過于繁雜，需要相當長的檢測時間。與傳統機器視覺方法相比，深度學習方法采用了卷積神經網絡的多層深度網絡自動提取圖像特征。對復雜的缺陷特征具有較強的表達能力，具有取代傳統方法的優勢，已成為現在手機屏幕缺陷研究的熱點。手機屏幕缺陷檢測領域主要是應用于工業生產層面，目前待解決的問題：（1）缺陷樣本數量太少，沒有足夠多的真實缺陷樣本進行訓練，且缺陷種類不平衡，容易發生過擬合問題；（2）目前應用于手機屏幕缺陷檢測的深度學習網絡模型參數量大，如何將網絡模型輕量化，降低模型的計算復雜度，使其可以應用到普通設備，甚至移動端上，是目前的研究熱點；（3）深度學習網絡模型的可解釋性差。可靠性是工業領域應用的重要要求，深度學習缺乏相應理論支撐，人們并不放心其在工業生產中的應用。

如何解決上述問題，是手機屏幕表面缺陷檢測領域的研究重點。總結國內外的研究進展，可從以下幾個方面繼續深入研究。

（1）如何解決樣本數量稀缺和正負樣本不平衡的問題是目前研究的重點。目前使用較多的方法是基于無缺陷樣本和仿真缺陷樣本的無監督方法。除此之外，引入小樣本學習方法，諸如元學習、度量學習等或許是未來的研究方向。

（2）網絡輕型化作為計算機視覺領域的一大熱點，如何將其應用到工業生產和普通設備，是目前急需解決的問題。已有的基于云端和基于ZYNQ 的手機屏幕缺陷檢測仍處于起步階段，關于泛化性、穩定性等問題還有許多工作要完成。

（3）網絡模型可解釋性差也是深度學習方法面臨的又一大難題。研究者們提出一種折中的方法，將傳統的數字圖像處理方法與深度學習方法相結合。但沒有從根本上解決網絡模型可解釋性差的問題，未來需要研究人員在此方面努力。

（4）傳統方法的研究重點是在保持高檢測正確率的情況下，盡量降低檢測的時間。通過不同缺陷檢測方法的融合，提高缺陷檢測精度；將數字圖像處理算法集成到嵌入式系統中（如ZYNQ），減少檢測時間，是傳統方法未來的發展方向。

4 結論

目前，機器視覺在手機屏幕中的應用仍然存在改進空間。本文對手機屏幕缺陷檢測的現有研究進行了系統的梳理分析，并進行了簡明易懂的分類。同時對現有方法的原理進行了闡述，總結比較了各種缺陷檢測技術的優缺點。通過對現有研究的分析，提出了該領域存在的一些問題和未來發展方向。希望通過本文，對手機屏幕缺陷檢測領域提供有效參考，推動該領域的進一步發展。