基于神經網絡的電視顯示屏表面缺陷檢測

陳易宇

摘要：隨著工業4.0的智能化時代邁進，為實現電視顯示屏表面缺陷自動化檢測，提高提高檢測效率，該文引入基于神經網絡的電視顯示屏表面缺陷檢測方法。該檢測方法在電視顯示屏圖像的預處理、模型設計、模型訓練和檢測過程中，表現出優異的特征提取能力，以及強大的目標分類性能，能夠有效完成對電視顯示屏表面缺陷的檢測，滿足實際生產過程中的缺陷檢測需要。

關鍵詞：神經網絡;電視顯示屏;缺陷檢測方法

中圖分類號：TP393? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）16-0021-03

開放科學（資源服務）標識碼（OSID）：

1 背景

隨著人們生活水平的不斷提高，電視早已為大家日常娛樂、生活和工作的必需品。電視顯示屏的質量直接關乎電視的整體品質。因此，電視顯示屏外觀檢測是智能生產過程中不可或缺的環節。然而，當前各大電視生產商大都采用肉眼檢測手機屏幕缺陷的檢測[1]。人工檢測會增加成本的投入、效率低，并且受人的主觀因素影響，檢測的準確率難得到證。機器視角為實現電視顯示屏表面缺陷自動檢測提供了新的方案。

運用機器視覺相關技術實現表面缺陷檢測是當前社會熱點。國內外科研人員對不同情境下的表面缺陷檢測進行了一系列研究，在一定層次上解決了表面檢測缺陷相關問題。如，Vasilic等人提出基于直方圖的閾值選擇算法，能夠檢測出陶瓷表面的劃痕[2]。孫雪晨等人為了對表面缺陷特征進行提取，引入領域加權分割的方式，有效完成對凸輪軸表面缺陷的檢測[3]。何志勇等人實現微小表面缺陷的快速檢測，提出了基于梯度圖像方差分布搜尋表面缺陷區域的算法[4]。這些方法能夠為實現電視顯示屏缺陷檢測提供了良好的經驗借鑒。

電視顯示屏在生產過程中會產生亮點、亮度等缺陷。在傳輸的過程中存在刺傷、劃傷等現象。基于神經網絡的電視顯示屏表面缺乏檢測，旨在充分發揮神經網絡在計算機視覺技術檢測方面的優勢，為適應電視大規模生產過程的顯示屏智能化缺陷檢測提供新思路，進而大力推進電視產業蓬勃發展。

2 缺陷檢測方法設計

2.1實施過程設計

基于神經網絡的電視顯示屏表面缺陷檢測，大致可分為圖像預處理、模型設計與訓練以及檢測三大過程，如圖1所示。數據樣本將通過高精度線陣攝像機，對實際生產過程中進行圖像拍攝的方式獲得。采集的缺陷特征可分為劃痕、刮痕、刺痕、亮點和漏光等。數據預處理的是對圖像進行掃描、分割和保存的過程操作。

2.2數據集缺陷特征分類

電視顯示屏的缺陷是根據產生原因進行命名。雖然缺陷特征類型較多，但是許多不同特征的缺陷，在形態上能夠表現出相似性。如圖2中的圖片為劃痕或刮痕，從形態上即表現極為相似的線型現狀。如圖3中的圖片分別為亮點、刺傷、亮度缺陷。這三個特征在形態上均呈現為點的現狀，仍然表現為極具相似性。

經過對采集的圖像進行預處理，共獲得956張數據樣本。為了滿足神經網絡訓練對數據樣本集數量的需求，本文采用圖像旋轉、隨機性剪切以及調整圖像亮度等形式，將數據樣本增加至9617張。然后，按2：2：6的比例分配方式，將數據樣本劃分為測試集、驗證集和訓練集三類。最后通過Tensorflow 編程將圖片數據集制作成tfrecord格式的數據，以供Tensorflow進行讀取。

3模型設計與訓練

3.1模型設計

當前，主流的神經網絡絕大多數據是采用 ImageNet數據集進行設計。該設計是通過構建巨大的網絡模型和設置超參數的方式，對圖像表現特征進行訓練。而電視顯示屏表面缺陷由于現代工藝水平的進步，一張樣本上幾乎只有一種缺陷，并且缺陷特征較為簡單，表現為單一性特征。因此，本文選取適中的GoogelNet進行遷移學習，設置參數量共為24層。考慮到dropout的隨機丟棄機制可能會導致重要的神經元被丟棄問題[5]，本文去除inception-B層、inception-C層后的全連接層，使用全局平均池化層進行替代，以防止訓練過程出現的過擬合問題（如圖4所示）。為了提升訓練速度，本文將全連接層的高維向量降維至3維向量，進而使得網絡更為輕量化。

3.2模型訓練

本文通過搭建Tensorflow2.1框架對模型進行訓練，操作系統為Ubuntul16。鑒于訓練的數據分布存在較大的差異，訓練過程中有可能出現不收斂的現象。本文將數據進行歸一化處理（歸一化函數如公式1所示）。注：Min表示訓練數據樣本的最小值;Max表示輸入的最大值;[x]指是的得到標準化處理輸入。

[x=x-MinMax-Min]? ? ? ? ? ? ? ? ? ? ? ? ? ? （1）

本文模型訓練過程中的網絡參數更新，通過引入和優化Tensorflow既有的隨機梯度下降算法實現。訓練結果的優劣將通過學習率進行評估。學習率是用于指導訓練過程中通過觀察損失函數的梯度對網絡權重進行調參。學習率的大小直接到影響到訓練的熟練。雖然設置相對較小的學習率，在一定程度上能夠獲得網絡訓練較好的優參數，但是相應也會延長模型訓練的時間。對此，為了盡可能找到最優的超參數值的同時提升模型訓練速度，本文將通過引入逐漸衰減機制（如公式2所示）。注： [base_lr]為學習率的原始值;[γ]為模型訓練過程中變化參數;[floor_iter]表示當前訓練更迭頻次;stepsize為學習率每次更迭頻次;最終計算結果[η]為學習率。根據公式2，本文將[base_lr]、[γ]和stepsize分別設置為0. 001、0.1、350。

[η=base_lr.γ|floor_iter||stepsize|]? ? ? ? ? ? ? ? ? ? ? ? ?（2）

4結果及分析

本文針對采集的956張圖像數據開展了3次訓練。測試集驗證集和訓練集按照既定的2：2：6的比例進行分配，最終通過計算檢測率（公式3）和誤檢率（公式4）的方式，對模型訓練的優劣進行驗證。注：Na表示能夠正常檢測出來的樣本個數;Nb，表示被檢測出來的“點”形狀的缺陷樣本個數;Nc表示被檢測出來的“線”形狀的缺陷樣本個數;Nd為指的是測試集總數;[Na→b，c]表示原為正樣本被判為負樣本的個數;[Nb，c→a]表示原為負樣本被誤判為正樣本的個數。訓練結果圖表1所示。

[A=Na+Nb+NcNd]? ? ? ? ? ? ? ? ? ? ? ? ? ?（3）

[A=Na→b，c+Nb，c→aNa]? ? ? ? ? ? ? ? ? ? ? ? （4）

測試一：隨機選取2636張訓練樣本喂入神經網絡，學習率參數值為0.006，模型的驗證率計算結果為95.52%，誤檢率計算結果為4.67%，更迭次數為600。

測試二：根據測試一的結果，考慮到喂入神經網絡的樣本數量以用學習率對計算機結果有較大的影響，因此，在測試二中將數據集的數量增加到9640張，同時將學習率設置為0.01，更迭次數為1200。最終測試結果表明：驗證率提升了8.8%，而誤檢率為下降至1.23%。

測試三：在測試二的基礎上，將更迭次數增加至1600時，最終計算出檢測率為98.04%，誤檢率為0.50%。

三次測試的檢測結果如表2所示。注：往后的多次測試結果顯示，在測試三的基礎上繼續增加更迭次數后，檢測率沒有明顯的提高，相應的檢測時間卻延長了不少。

5 結束語

針對電視顯示屏的外觀自動檢測在生產過程中較為困難的問題，本文設計了一種基于機器學習的電視顯示屏外觀缺陷分類檢測方法。為了更好地適應神經網絡訓練和缺陷檢測，該方法首先將電視顯示屏圖像樣本切割成256x256的大小規格。其次，通過圖像旋轉、隨機截取和調整圖片光照等方式，對數據樣本進行了擴充。然后，在Tensorflow環境下搭建神經網絡訓練模型，并通過調整模型參數等形式對缺陷特征進行了降維。最后，通過設置超參數、更迭次數、控制喂入神經網絡樣本數量等，對訓練模式進行了檢測。測試結果表明，該方法能夠對電視顯示屏外觀的刺傷、亮點、亮度、劃傷、刮傷缺陷有效檢出。

參考文獻：

[1] 郭亞峰.基于機器視覺的產品表面缺陷在線檢測系統的設計[D].蘇州：蘇州大學，2014.

[2] Vasilic S，Hocenski Z.The edge detecting methods in ceramic tiles defects detection[C]//2006 IEEE International Symposium on Industrial Electronics.July9-13，2006，Montreal，QC，Canada.IEEE，2006：469-472.

[3] 孫雪晨，姜肖楠，傅瑤，等.基于機器視覺的凸輪軸表面缺陷檢測系統[J].紅外與激光工程，2013，42（6）：1647-1653.

[4] 何志勇，孫立寧，芮延年.一種微小表面缺陷的機器視覺檢測方法[J].應用科學學報，2012，30（5）：531-537.

[5] Srivastava N，Hinton G，Krizhevsky A，et al.Dropout：asimple way to prevent neural networks from overfitting[J].Journal of Machine Learning Research，2014（15）：1929-1958.

【通聯編輯：代影】