基于機器視覺的瓷瓶絕緣子表面缺陷檢測方法

白海城，林湘軍，劉書洋

（1.遼寧石油化工大學 信息與控制工程學院，遼寧撫順，113001；2.遼寧石油化工大學 理學院，遼寧撫順，113001）

陶瓷瓶絕緣子具有十分優異的物理性能，在變電站中具有廣泛應用。但其在制作及處理等生產過程中很容易產生缺陷降低了成品率[1]。目前國內生產商已采用一些陶瓷表面瑕疵檢測方法，例如射線檢測、磁粉檢測等手段，然而這些檢測方法具有環境要求及檢測成本高、成像不直觀等局限性，有的甚至還會對人體造成危害。所以大部分生產廠家仍采用人工檢測，即人工目視的方法。但目視檢測需要較長的時間，人員易疲勞，且其精度主要依賴于工人的經驗，因此對材料性能的評估需要其他有效的手段，更重要的是其無法實現連續在線檢測，因而大大降低了生產效率，且增加了安全隱患。機器視覺識別技術在表面缺陷識別與分類中的應用，有效地改善了識別的精確度和效率，為企業的大規模生產創造了條件[2]。有關陶瓷材料的裂紋檢測已經有很多文獻，例如，張軍[3]等使用差影法實現瓷磚的裂紋識別；劉行謀[4]等提出了改進的YOLOv4 算法來識別電力絕緣子圖像是否存在缺陷；張子健[5]等利用EAST 模型與Hu 不變矩的檢測方法來判斷絕緣子是否存在故障；等等，但現有文獻都是針對電力系統中的瓷瓶絕緣子進行巡檢，鮮有文獻討論生產過程中流水線上的瓷瓶絕緣子表面存在缺陷問題的實時監測。因此，本文對采集到的圖像進行圖像預處理、缺陷定位、特征提取[6]、缺陷識別和缺陷分類[7]等一系列操作，提出了一種基于機器視覺的瓷瓶絕緣子表面缺陷檢測方法，實現了針對高壓瓷瓶缺陷的識別與分類。該方法通過建立一個BP 神經網絡模型[8]，根據模型匹配程度[9]識別高壓瓷瓶的表面缺陷類型[10]。當缺陷被檢測到時，檢測界面會播放音樂提示被檢測瓷瓶絕緣子存在缺陷問題并顯示出缺陷位置與類型。該方法的提出將為實現高壓絕緣子質量的自動化檢測、提高檢測的精確度和速度以及釋放生產力提供依據。

1 建立BP 神經網絡模型

■1.1 特征值提取

對僅含有缺陷的圖像進行特征提取，具有差異化的特征值[11]能夠很好地反映圖像的信息。本文提取的3 個特征值，分別是垂直投影、HU 不變矩的7 個不變矩(M1 ～M7)中的M2 以及傅里葉描述子。

1.1.1 垂直投影

圖像的垂直投影[12]序列為：

式中，t(i,j) 表示處理后的缺陷二值圖像。

缺陷圖像的垂直投影圖如圖1 所示。

圖1 垂直投影圖

利用countNonZero 函數統計每一列中非零元素的個數，將所有列中的非零個數相加再求平均值，即可得到特征值－垂直投影值，由圖2 數據可明顯得到，垂直投影特征可以明顯區分斑點和其他缺陷。

圖2 圖像特征值－垂直投影

1.1.2 HU 不變矩

由于缺陷的不確定性，缺陷輪廓存在旋轉角度時，歸一化矩[13]會發生變化，所以就需要具有旋轉、平移、尺度等不變的特性的HU 不變矩來解決這個問題。

Hu 矩其實是一個包含了七個不變矩的集合，這七個不變矩分別由多個二、三階中心距組合計算而成，根據公式(2)，我們只要計算出所需要的二、三階中心距，就可以將這七個不變矩分別計算出來，最終得到所需要的Hu 矩。OpenCV中利用HuMoments 函數求取HU 矩，就可以比較完善地表示一幅圖像或者輪廓的特征。

7 個不變矩的計算公式：

如圖3 所示，Hu 不變矩中的二階矩表示圖像的大小和方向，可以將網狀裂縫與其他三類缺陷區分出來。

圖3 圖像特征值-HU 不變矩

1.1.3 傅里葉描述子

缺陷的灰度值與瓷瓶背景的灰度值相差很大，當出現缺陷時，傅里葉函數會產生明顯躍變，可以用來表示缺陷的形狀特征，因此可將傅里葉描述子[14]作為缺陷的特征描述子。

為了使傅里葉描述子能表示作為缺陷圖像的差異化特征值，對傅里葉系數做如下處理：

式中，D為高壓瓷瓶的傅里葉描述子特征值，a(u) 為邊界的傅里葉描述子。

結果如圖4 所示，傅里葉描述子作為缺陷的特征描述子可以將線性裂縫與其他三類缺陷區分出來。

圖4 圖像特征值－傅里葉描述子

■1.2 BP 神經網絡的改進

為了能更快速有效地識別瓷瓶缺陷，對BP 神經網絡[15]的輸入層參數選擇根據表1 來設定。

表1 缺陷圖像特征參數

2 方案設計

■2.1 檢測流程

運用數字圖像處理的相關算法以及OpenCV 來處理瓷瓶圖像并提取缺陷圖像；通過得到缺陷圖像的特征向量實現人工神經網絡的創建、訓練以及識別；再針對終端用戶的能力及需求保證信息可視化的合理性。

在瓷瓶缺陷的圖像處理過程中，如圖5 所示，重點在瓷瓶缺陷的提取，難點在如何正確提取特征值。

圖5 瓷瓶缺陷識別主要步驟

（1）采集圖像：方案設計旨在工廠流水線上針對高壓絕緣子進行缺陷檢測，系統設置一個光源和三個攝像頭，分別從不同角度實現對絕緣子的視頻采集，從而提取感興趣的區域進行進一步處理。

（2）圖像預處理：采集到的圖像由于存在污漬、噪聲等因素影響，在通過神經網絡進行缺陷識別分類之前要先進行圖像預處理操作來改善圖像的品質。針對采集到的瓷瓶絕緣子圖像中存在的由于光線產生的噪聲問題，本文采用雙邊濾波后進行掩膜操作的手段來實現對瓷瓶缺陷的平滑處理，從而去除圖像中的隨機噪聲和人為干擾。

雙邊濾波法是一種非線性的平滑濾波的方法，它能很好地保持邊緣細節，有利于后續的特征提取等操作，其數學公式如下：

式中，G(x,y) 為采集到的瓷瓶圖像進行雙邊濾波操作后的平滑圖像，Q(x,y) 表示瓷瓶圖像以(x,y) 為中心的模塊區域像素集合，g(x,y) 為Q(x,y) 區域的中心像素值，dσ為雙邊濾波過程中每個模塊區域的直徑，sσ為瓷瓶圖像的灰度差值。

式中，F2D為瓷瓶絕緣子圖像的掩膜模板。

（3）圖像分析：由于人工放置的瓷瓶，導致其位置距離相機的遠近存在差距，從而產生了對缺陷的描述復雜、光影變幻以及由于視角轉換而產生的物體形狀改變等問題。為了解決這些問題，首先利用canny 邊緣算子得到絕緣子粗輪廓并校正瓷瓶的旋轉角度使瓷瓶保持直立，再利用閉運算消除小的孔洞，從而確定陶瓷瓶的外型特征并對絕緣子進行裁剪以校準缺陷坐標。

（4）缺陷提取：缺陷通常與瓷瓶的邊緣相隔離，并且它的灰度和周邊的瓷瓶環境有很大的差異。根據缺陷的這一特征，利用高斯拉普通拉斯（Laplace of Gaussian,LOG）算子進行檢測，得到模型檢測所需的缺陷圖像。

（5）缺陷分類：通過數學運算獲得缺陷圖像的三個特征值作為神經網絡的輸入節點，根據訓練好的模型輸出識別結果，完成針對高壓瓷瓶的表面缺陷識別分類。

■2.2 人機交互界面設計

與傳統的數據信息相比，信息可視化具有嚴謹和美感；具有更加直觀、舒適的觀看體驗。對于使用者來說，信息可視化是一項冗余的工作，其利用視覺要素如圖形、色彩、版式、文字等，能有效地刺激使用者的理解與認知。

如圖6 所示，主界面設置相關按鈕，進行對應的檢測操作，當識別出缺陷時，系統會觸發警報，播放音樂提示監測人員。副界面顯示瓷瓶圖像、缺陷圖像、圖像編號、裂縫類型、裂縫位置等信息，如圖7 所示。

圖6 高壓瓷瓶缺陷檢測系統的主界面

圖7 高壓瓷瓶缺陷檢測系統的副界面

3 實驗

■3.1 瓷瓶定位和缺陷定位

為了得到標準化的缺陷位置坐標，先對采集到的圖像進行瓷瓶定位，得到統一的瓷瓶圖像，如圖8 所示。

圖8 瓷瓶定位

在瓷瓶為白、底為黑的情況下，其基本原則是去掉內圈的點，保持最外圍的點。故經過反復對比將高閾值設為100、低閾值設置為0 時，獲得的圖像最易識別如圖8(a)所示得到瓷瓶的粗輪廓。繪制的瓷瓶外輪廓圖像如圖8(b)所示，原始圖像進行校正之后的結果如圖8(c)所示。

對標準化后的瓷瓶圖像進行二值化處理后再次檢測，實現高壓瓷瓶的缺陷定位，如圖9 所示，本文針對3 種缺陷進行分類識別，圖9(a)為線性裂縫缺陷圖像，圖9(b)為網狀裂縫缺陷圖像，圖9(c)為斑點缺陷圖像。分析得到的缺陷圖像，可以獲得神經網絡所需的輸入值，進而實現對高壓瓷瓶的缺陷檢測。

圖9 瓷瓶缺陷定位

■3.2 模型測試

實驗設置的缺陷為4 類，分別是線性裂縫、網狀裂縫、斑點及無缺陷，其中每類有100 個訓練圖片，共4×100 個訓練圖片。

按文件夾順序讀入訓練圖片，調用三類特征計算函數，把得到的集合保存在特征向量中，同時把圖像對應的預期輸出保存在輸出向量中。

構造BP 神經網絡，設計一個3 層的神經網絡。輸入節點為圖像的垂直投影、模式矩陣的不變矩以及傅里葉描述子。而缺陷的類型：線性裂縫、網狀裂縫、斑點、無缺陷則作為網絡的輸出，分別用1000、0100、0010、0001 來表征。其隱含層節點數選定為30 個節點，迭代次數設置為10000，運用BACKPROP 的訓練方法進行訓練和識別。

各選取線性裂縫、網狀裂縫、斑點、無缺陷的100 份特征向量作為測試樣本，得到了400 組相同的四維輸出向量，即樣本與各類缺陷的相關性。如表2 所示部分實驗結果，BP 算法的四維輸出向量的值分別是(-0.40311 -0.40311-0.40311 1.403105),比較四個數字，求出最大的數字的位置記為1，其他位置記為0，這樣就可以將圖像準確標記為(0 0 0 1)，圖像識別結構為無缺陷。類似的，可以準確完成其他圖像的識別。

表2 神經網絡的相關性輸出結果

實驗結果表明，基于機器視覺的瓷瓶絕緣子表面缺陷檢測方法對以上四種缺陷類型具有較好的識別性能，每張圖片的檢測時間在0.5s 以內，檢測準確率可達99.5%，其中如表3 所示，針對線性裂縫和網狀裂縫的識別準確率達到100%，但由于光線問題，光斑和陰影的存在導致斑點和無缺陷的樣本存在誤檢，其檢測準確率為99%，仍然符合預期效果。

表3 絕緣子缺陷識別效果

由于測試圖片越多，訓練的時間越長，所以一次訓練之后，可以將標準數據樣本生成xml 文件，圖片的數據和特征都在里面，下次使用只需要調用xml 文件就可以了，這樣可以大大減少高壓瓷瓶缺陷檢測新系統的檢測時間。

4 結論

從機器視覺理論出發，對瓷瓶絕緣子表面缺陷在線檢測方法進行了研究，根據圖像的垂直投影、不變矩以及傅里葉描述子等信息，利用計算機軟件對瓷瓶圖像進行處理，可以準確地判斷出瓷瓶存在的瑕疵，及時發出警報，進而保障供電線路的正常運作。經實驗結果驗證，該方法對于缺陷類型的識別正確率能夠達到99.5%，取得了較為理想的、可信的結果，在研究與應用中具有很好的實用意義。