基于深度學習的智能電表HPLC通信模塊外觀劃痕檢測

摘要：針對智能電表HPLC通信模塊外觀劃痕檢測的問題，提出了一種先進的像素級劃痕檢測體系結構Res-DU-Net，其特點是采用了深度卷積神經網絡技術。首先，Res-DU-Net通過卷積、殘差結構、空洞卷積、級聯等操作實現了像素級的滑痕檢測，形成了U形模型結構。其次，采用Adam算法對智能電表通信模塊外觀圖像進行了訓練和驗證。最后，Res-DU-Net在學習率為0.001，損失率為0.020的情況下，準確率為0.985，召回率為0.987。實驗結果證明，Res-DU-Net在像素級劃痕檢測方面比傳統方法和完全卷積網絡（FCN）及U-Net更加有優勢。

關鍵詞：HPLC;劃痕檢測;殘差結構;空洞卷積

DOI：10.15938/j.jhust.2022.03.009

中圖分類號： TP391.41文獻標志碼： A文章編號： 1007-2683（2022）03-0066-07

Scratch Detection on the Appearance of Smart Meter HPLC

Communication Module Based on Deep Learning

SUN Kai，ZHAI Xiao-hui，ZHAO Ji-fu，SUN Yan-ling，DONG Xian-guang，WANG Yan

（Marketing Service Center （Metering Center）， State Grid， Shandong Electric Power Company， Ji′nan 250000， China）

Abstract：Aiming at the problem of the appearance scratch detection of the smart meter HPLC communication module， an advanced pixel-level crack detection architecture Res-DU-Net is proposed， which is characterized by the use of deep convolutional neural network technology. First， Res-DU-Net achieves pixel-level slip detection through operations such as convolution， residual structure， cavity convolution， and cascade， forming a U-shaped model structure. Secondly， the Adam algorithm was used to train and verify the appearance image of the smart meter communication module. Finally， Res-DU-Net has an accuracy rate of 0.985 and a recall rate of 0.987 when the learning rate is 0.001 and the loss rate is 0.020. Experimental results prove that Res-DU-Net has more advantages than traditional methods， Fully Convolutional Network （FCN） and U-Net in pixel-level scratch detection.

Keywords：HPLC; scratch detection; residual structure; cavity convolution

0引言

智能電表HPLC通信模塊是智能電網建設中的重要組成部分，其表面的劃痕、裂紋等缺陷將會影響其正常使用，進而影響到整個智能電網的運行。因此在工業生產完成之后，需要對其表面進行檢測。在傳統檢測中，該過程都是人工對表面劃痕進行檢測。然而，檢測結果高度依賴于人工視覺，這可能導致不準確、錯誤和漏檢?；谶@些原因，開發基于圖像的、半自動和自動結構健康監測（SHM）方法以促進智能電表HPLC通信模塊外觀的目視檢查很有必要。作為最有效的監督學習方法之一，特別是得益于卷積神經網絡（CNN）強大的特征提取能力和全連接層分類，圖像識別和目標檢測的研究領域均取得了實質性進展[1-4]。深度學習由人工神經網絡發展而來，由多層非線性運算單元組成，有很強大的自我學習挖掘特征的能力[5-6]。而基于深度學習的外觀檢測技術可以實現流水線的快速檢測，能最大限度的降低人工檢測所帶來的影響，提升檢測的效率和準確率[7-8]。

依靠消費級數碼相機和圖像處理技術，能夠快速掃描結構表面，以評估結構健康狀況[9]。傳統的劃痕檢測方法與人工檢測相比非常有效，但它們高度依賴于復雜的分類器和處理流程，這種依賴性導致了低效率和弱泛化[10]。近些年，機器學習技術取得了突飛猛進的發展，機器學習中的卷積神經網絡在語音識別和圖像處理方面有著獨特的優越性[11-12]。隨著人工智能技術的發展，特別是計算機視覺深度學習技術的突破，基于圖像的劃痕檢測技術迎來了新的發展機遇。郭瑞奇等[13]提出了一種基于U-Net卷積神經網絡的自動分割改進方法，但檢測準確率還有待提高。Cha等[14]使用CNNs構建了一個四層分類器來檢測圖像中的劃痕。利用4萬多幅有劃痕或無劃痕的標記圖像對分類器進行訓練，在不同條件下的測試圖像上取得了一致的性能。王彤等[15]提出了一種改進的U-Net語義分割網絡的遙感影像線路走廊隱患檢測方法，但參與訓練的樣本較少，影響了其檢測的準確率。REN等[16]用Faster R-CNN網絡進行目標檢測，但是網絡訓練很困難，所需數據也很多。崔熾標等[17]提出一種結合圖像預處理與卷積神經網絡的方法對塑件劃痕進行檢測，但預處理過程較復雜，實現難度大。César等[18]提出了一種基于卷積神經網絡的R-CNN算法，進行汽車劃痕檢測，但數據標注工作量大，識別時間長。梁智聰[19]通過殘差網絡與U-Net網絡結合，進行磁瓦劃痕檢測，但是仍有少量誤檢存在。S.REN等[20]將RPN與Faster R-CNN合并為一個網絡進行目標檢測，但需要的數據量較大。任秉銀等[21]提出一種基于分類網絡+Attention U-Net的小目標分割微小缺陷檢測方法，但主要用于手機屏幕輕微劃痕的檢測。

綜上所述，為了解決HPLC通信模塊表面劃痕檢測效率低和準確率差的問題，本文提出了一種新的端到端的圖像分割網絡，稱為Res-DU-Net，該網絡主要有兩方面的優勢。一方面，將U-Net標準卷積層替換成殘差塊，并增加了批歸一化層，使網絡更加深入，收斂速度快;另一方面，將擴張卷積引入U-Net網絡中，獲取更大的感受野，從而提取多尺度特征，來提高圖像的分辨率。

1Res-DU-Net網絡結構

本文提出的網絡框架和分割過程如圖1所示。Res-DU-Net主要包括殘差塊、池化層擴張卷積和上采樣。本文的模型設計是基于U-Net框架提出來的，所以與U-Net模型結構相似，模型左側是收縮路徑，模型右側是擴張路徑，連接收縮與擴張路徑的連接稱為跳躍連接。在這里，圖像特征在收縮路徑中被提取，在擴張路徑中被定位。網絡均采用大小為512×512×1的灰度圖像作為輸入，其輸出為512×512的二進制圖像。

2模型建立

2.1U-NET結構

U-Net使用的是一種編解碼器架構。該架構被劃分為相應的編碼器和解碼器卷積層。編碼器的每一個下采樣步驟都會使特征通道數量加倍，圖像分辨率降低一半。解碼器部分對較低層的特征映射進行上采樣，同時也對相同深度的編碼器部分的輸出進行級聯和裁剪。此過程確保信息在所有尺度上從編碼器傳播到解碼器，并且在編碼器中的下采樣操作期間沒有信息丟失。

2.2殘差結構

在傳統的分割網絡中，為了提高分割的精度，常常將卷積核通過直接堆疊的方式進行疊加，進而加深網絡的深度，網絡越深分割精度越高。實際上卻是隨著網絡的深入，分割的效果越來越差。因此，需要優化深層的網絡。本文中的殘差結構細節如圖2所示，其中所有殘差塊都由兩個連續的3×3卷積塊和自身映射組成，每個卷積塊包括卷積層、批歸一化和ReLU。從圖中可以看出，如果網絡的輸入為X，真實的輸出標簽為H（x），將輸入X作為初始值，網絡此時需要學習的是F（x）=H（x）-x，所以殘差模塊可以表示為如式（1）所示：

H（x）=F（x）+x（1）

2.3空洞卷積

擴張卷積也叫空洞卷積，空洞卷積實際上是在標準的卷積核中注入空洞，以此來增加模型的感受野，提取多尺度信息?？梢杂行Э朔虏蓸铀鶐砜臻g分辨率下降的問題;也可以獲得更多上下文信息，獲取更大的感受野。

3算法實現

3.1數據集

共500張圖片，分辨率為4032×3016，在智能電表HPLC通信模塊生產車間里，用數碼單鏡頭反光相機或移動設備在不同的光照條件下拍攝的，拍到的部分劃痕圖像如圖3所示。圖像以jpg格式存儲，平均文件大小約為5MB。劃痕圖像是用開源軟件包Labelme手工標注的，我們對圖像劃痕區域和類別進行標記，生成一個json文件，然后將其轉換為標簽，與標簽在同一文件夾下還包括原始圖像、可視化帶標簽的圖像和記錄了標簽名稱的txt文件。標簽實例如圖4所示。為了便于多批網絡同時輸入訓練，大圖像被裁剪成512×512。共獲得1000張裁剪圖像，按3∶2∶1的比例隨機分成訓練集、驗證集和測試集，訓練集用于訓練模型參數，驗證集用于驗證模型參數，測試集用于評估最終模型的精度。

3.2損失函數

在進行劃痕分割時，因為前景（劃痕）和背景的比例極不平衡，即在圖像中劃痕所占的比列較小，如果不進行類平衡，很容易造成小劃痕區域分割不成功。所以采用加權的損失函數，如式（2）所示：

L=-1N∑Ni=1Wclassi[P^ilogPi+（1-P^i）log（1-Pi）]（2）

式中：Pi為體素i屬于前景的概率;P^i為地面真相;N為樣本數;Wclassi為權重因子。

3.3評價指標

采用混淆矩陣對網絡模型進行評價，如表1所示，每列樣本總數為預測類別，每行樣本總數為實際類別，對角線上樣本總數為模型分類的正確樣本。

根據測試數據集，將模型預測的正確值與總值之比定義為準確率Acc，如式（3）所示：

Acc=TP+TNTP+FP+FN+TN（3）

準確度是最常見的評價指標，但對于特定的情況，準確率很難推導出來。因此，可以使用所謂的“準確率”。準確率P定義如下，如式（4）所示：

P=TPTP+FP（4）

此外，還用所謂的“召回率”和“F1 score”來評價網絡模型。召回率R是所有實際I（TP+FN）被判定為I類（TP）的比例，如式（5）所示：

R=TPTP+FN（5）

F1 score與準確率和召回率的關系如式（6）所示：

2F1=1P+1R（6）

3.4實驗結果分析

本文采用Adam算法，利用已準備好的劃痕數據集，將劃痕圖像及其相應的標記圖像分別作為輸入和輸出。實驗平臺基于Ubuntu平臺，編程語言為Python，框架為Pytorch和OpenCV。初始學習率為0.001，epoch為60。

為了評估Res-DU-Net的有效性，現將Res-DU-Net與基于VGG框架的FCN模型和SegNet模型進行了比較。3種模型的定量分割結果如表2所示。

實驗中，Res-DU-Net的分割準確率達到了98.5%，且其他結果均高于FCN和SegNet。

3種模型在訓練集和驗證集上的精度曲線如圖5所示。從精度曲線可以看出，Res-DU-Net精度更高，epoch在10左右時就趨于穩定。FCN和SegNet在驗證過程中，波動很大，模型穩定性差，存在著過擬合的情況。

從定性的角度出發，3種模型的分割結果如圖6所示。如圖6第一行所示，在處理較大劃痕區域的時候，所有模型都可以分割出劃痕區域，但是FCN和SegNet模型都出現了過分割或欠分割的情況。其中最明顯的是劃痕邊界有凹凸區域的時候，FCN和SegNet很難將它們分割出來，然而，Res-DU-Net模型可以有效的解決這一問題;如圖6第二行和第三行所示，在處理劃痕區域邊界模糊的情況時，FCN模型和SegNet表現都比較差，即會忽視掉邊界模糊區域，也會出現過度分割的情況。然而，Res-DU-Net模型可以克服這個缺點。

為了進一步驗證Res-DU-Net的魯棒性，接著進行了消融實驗。實驗以U-Net模型為基線進行逐一比較。比較的模型包括：帶有空洞卷積的U-Net，稱為DU-Net;帶有殘差結構的U-Net，稱為Res-U-Net;以及本文提出的模型Res-DU-Net。4種模型的定量分割結果如表3所示。

從表中可以看出，在準確度、召回率和F1 score系數方面，Res-DU-Net的分割結果均是最好的。

4種模型訓練集和驗證集上的精度曲線如圖7所示。從精度曲線可以看出，隨著網絡結構的改進，精度曲線的擬合能力也越強，尤其是殘差結構的引入，使網絡波動較小，有效避免了過擬合現象的發生。

4種模型的定性分割結果如圖8所示。4種模型的分割結果在與金標準的比較中，U-Net模型表現最差，雖然，DU-Net和Res-U-Net取得了不錯的效果，但是也存在過分割或欠分割的情況。只有Res-DU-Net的結果最接近金標準。

此外，對于魯棒性的檢驗，本文還考慮了光照、拍攝角度等影響。對此，拍取了在光照較暗情況下的劃痕圖像，并進行了上述的消融實驗。如表4所示，是4種模型在光照較弱情況下的定量分割結果，從表中可以看出4種模型在光照較弱情況下，定量分割結果都很差。定性結果的對比圖如圖9所示，從分割結果進一步佐證了光照較弱對模型的魯棒性影響較大。

3.5算法運行時間

在每個實驗中，所有模型的總體訓練和測試時間如表5所示。從表5可以看出，本文所提出的模型比其他網絡需要更多的訓練和測試時間，具有殘差結構和空洞卷積的Res-DU-Net網絡比只有一個殘差結構或者空洞卷積的U-Net網絡需要更多的訓練和測試時間，因為這兩種模塊的引入使得網絡參數量變大，但同時能夠提取更復雜的圖像特征。訓練后的Res-DU-Net網絡模型的使用速度并不明顯慢于其他模型，而且訓練時間是計算代價之一。雖然Res-DU-Net網絡的訓練速度比其他網絡慢，但考慮到性能的提高，其運行時間是可以接受的。

4結論

通過對智能電表HPLC通信模塊表面劃痕的檢測，證明了Res-DU-Net模型的優越性。實驗結果表明，與現有的FCN和SegNet模型相比，該Res-DU-Net模型具有更好的性能。帶有殘余連接和空洞卷積的卷積確實使網絡更深更寬，從而改善了梯度傳播。為了進一步驗證模型的有效性和魯棒性，又進行了消融實驗，與U-Net、DU-Net和Res-U-Net模型比較，比較結果進一步證明了Res-DU-Net的魯棒性，從實驗的定量與定性結果分析，Res-DU-Net的效果是最優的。本文還進行了光照較弱情況下的劃痕圖像對模型的魯棒性的影響進行了分析，從定量和定性兩個方面證明了，光照較弱對模型的魯棒性影響較大。因此，本文提出的Res-DU-Net網絡是一種很有價值的語義劃痕圖像分割方法，并且分割準確率達到了98.5%。

參 考 文 獻：

[1]KRIZHEVSKY A， SUTSKEVER I， HINTON G. Image Net Classification with Deep Convolutional Neural Networks[J]. Communications of the ACM， 2017， 60（6） ： 84.

[2]ALGULIYEV R， ALIGULIYEV R， ABDULLAYEVA F. Privacy-preserving Deep Learning Algorithm for Big Personal Data Analysis[J]. Journal of Industrial Information Integration， 2019， 15： 1.

[3]SIMONYAN K， ZISSERMAN A. Very Deep Convolutional Networks for Large-scale Image Recognition[J]. arXiv Preprint arXiv：1409.1556，2014.

[4]SZEGEDY C， LIU W， JIA Y， et al. Going Deeper with Convolutions[C]//Proceedings of" the IEEE Conference on Computer Vision and Pattern Recognition， 2015： 1.

[5]呂淑寶，王明月，翟祥，等.一種深度學習的信息文本分類算法[J].哈爾濱理工大學學報，2017，22（2）：105.

LV Shubao， WANG Mingyue， ZHAI Xiang，et al. A deep learning information text clas-sification algorithm[J]. Journal of Harbin U-niversity of Science and Technology，2017，22（2）：105.

[6]董長青，劉永賢，趙甲，等.基于深度學習算法的車輛視覺檢測方法的研究[J].制造業自動化，2019，41（3）：113.

DONG Changqing， LIU Yongxian， ZHAO Jia， et al. Research on Vehicle Visual Inspection Method Based on Deep Learning Algorithm[J]. Manufacturing Automation， 2019， 41（3）： 113.

[7]劉望， 邵慧麗， 何勇軍， 等. 參數自適應的液晶屏幕缺陷檢測框架[J].哈爾濱理工大學學報，2020，25（5）：75.

LIU Wang， SHAO Huili， HE Yongjun， et al.Parameter Adaptive LCD Screen Defect Detection Framework [J]. Journal of Harbin University of Science and Technology， 2020， 25（5）： 75.

[8]張海永.基于圖像深度學習的電力計量設備故障監測方法[J].電子設計工程，2021，29（9）：103.

ZHANG Haiyong.Electric power metering equipment fault monitoring method based on image deep learning[J].Electronic Design Engineering，2021，29（9）：103.

[9]SPENCER B F， HOSKERE V， NARAZAKI Y. Advances in Computer Vision-Based Civil Infrastructure Inspection and Monitoring[J]. Engineering， 2019， 5（2）： 199.

[10]DORAFSHAN S， THOMAS R J， MAGUIRE M. Comparison of Deep Convolutional Neural Networks and Edge Detectors for Image-based Crack Detection in Concrete[J]. Construction and Building Materials， 2018， 186： 1031.

[11]丁博，伊明.基于卷積神經網絡的三維CAD模型分類[J].哈爾濱理工大學學報，2020，25（1）：66.

DING Bo， YI Ming. Classification of 3D CAD Models Based on Convolutional Neuralnetworks[J]. Journal of Harbin University of Science and Technology， 2020， 25（1）： 66.

[12]陳宇，周雨佳，丁輝.一種XNet-CNN糖尿病視網膜圖像分類方法[J].哈爾濱理工大學學報，2020，25（1）：73.

CHEN Yu， ZHOU Yujia， DING Hui. An XNet-CNN Diabetic Retina Image Classification Method[J]. Journal of Harbin University of Science and Technology， 2020， 25（1）： 73.

[13]郭瑞琦，王明泉，張俊生，等.基于U-Net卷積神經網絡的輪轂缺陷分割[J].自動化與儀表，2020，35（4）：43.

GUO Ruiqi， WANG Mingquan， ZHANG Junsheng， et al. Wheel Defect Segmentation Based on U-Net Convolutional Neural Network[J]. Automation and Instrumentation， 2020， 35（4）： 43.

[14]CHA Y， CHOI W， BYKZTRK O. Deep Learning-based Crack Damage Detectionusing Convolutional Neural Networks[J]. Comput. Civ. Infrastruct. Eng. 2017， 32：361.

[15]王彤， 朱凌， 范亞洲， 等. 基于改進U-net語義分割遙感影像的線路走廊隱患檢測方法[J].南方電網技術， 2019，13（8）：67.

WANG Tong， ZHU Ling， FAN Yazhou， et al. Detection Method of Hidden Dangers in Line Corridors Based on Improved U-net Semantic Segmentation of Remote Sensing Images[J].Southern Power Grid Technology，2019，13（8）：67.

[16]REN Shaoqing et al. Faster R-CNN： Towards Real-Time Object Detection with RegionProposal Networks.[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137.

[17]崔熾標， 李陽， 毛霆， 等. 基于預處理與卷積神經網絡的塑件劃痕檢測[J].模具工業，2017，43（9）：1.

CUI Chibiao， LI Yang， MAO Ting， et al. Scratch Detection of Plastic Parts Based on Preprocessing and Convolutional Neural Network[J]. Mould Industry，2017，43（9）：1.

[18]SUESCU'N C.G.P.， ARENAS J. O. P.， mORENO R. J. Detection of Scratches on Cars by Means of CNN and R-CNN[J]. International Journal on Advanced Science， Engineering and Information Technology， 2019， 9（3） ： 745.

[19]梁智聰.基于卷積神經網絡的工件表面缺陷檢測系統[D].杭州：浙江大學，2018.

[20]REN S， HE K， GIRSHICK R， et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017，39（6）：1137.

[21]任秉銀，李智勇，代勇.手機屏幕輕微劃痕檢測方法[J].哈爾濱工業大學學報，2021，53（1）：29.

REN Bingyin， LI Zhiyong， DAI Yong. Detection Method for Minor Scratches on Mobile Phone Screens[J]. Journal of Harbin Institute of Technology， 2021， 53（1）： 29.

（編輯：溫澤宇）