基于刀具刃口顯微圖像的附著物去除網(wǎng)絡(luò)

梁智濱，趙文義，李靈巧，楊輝華，

（1.桂林電子科技大學(xué) 電子工程與自動(dòng)化學(xué)院，廣西 桂林 541004；2.北京郵電大學(xué) 人工智能學(xué)院，北京 100876；3.桂林電子科技大學(xué) 計(jì)算機(jī)與信息安全學(xué)院，廣西 桂林 541004）

0 概述

分切是電動(dòng)汽車動(dòng)力電池生產(chǎn)中重要生產(chǎn)工藝，其刀具質(zhì)量尤其是刃口豁口的大小和數(shù)量決定了分切產(chǎn)生毛刺的深度和數(shù)量。因磨削不合格、安裝及使用等原因，分切刀具會(huì)產(chǎn)生大小、形狀各不相同的豁口。極片切割工藝要求采用μm 級(jí)的高精度標(biāo)準(zhǔn)，而使用超過豁口閾值（如長(zhǎng)度或深度為5 μm）的分切刀具進(jìn)行切割時(shí)，生產(chǎn)的電池因極片存在較大的毛刺，有極高的短路風(fēng)險(xiǎn)。業(yè)內(nèi)目前普遍采用人工裸眼在光學(xué)顯微鏡上觀察的方法獲得刀具豁口圖像，檢測(cè)一把常規(guī)刀具約需50 min，視覺損傷大且工作繁重。文獻(xiàn)［1］提出一種刀具豁口的高精度自動(dòng)檢測(cè)系統(tǒng)，檢測(cè)單把刀具約需10 min，并成功應(yīng)用于B 公司。由于刀具有油易于粘附，使用、轉(zhuǎn)運(yùn)和現(xiàn)場(chǎng)檢測(cè)環(huán)境潔凈度較差，在刃口處易粘連金屬附著物、毛發(fā)、棉絮等形態(tài)各異的附著物。附著物一方面影響了顯微成像時(shí)自動(dòng)對(duì)焦和清晰成像，另一方面形成刀具偽邊緣，導(dǎo)致顯微圖像拼接［2］失敗，增加豁口誤檢率和漏檢率，嚴(yán)重影響系統(tǒng)檢測(cè)精度。因此，準(zhǔn)確檢測(cè)并去除附著物是刀具豁口高精度自動(dòng)檢測(cè)的難題。

國(guó)內(nèi)外在附著物檢測(cè)、異物檢測(cè)、缺陷檢測(cè)等領(lǐng)域已經(jīng)取得了一定的研究進(jìn)展。在傳統(tǒng)機(jī)器視覺領(lǐng)域中，文獻(xiàn)［1］提出一種基于邊界敏感的豁口缺陷檢測(cè)算法，該算法在一定程度上解決了豁口缺陷的精確測(cè)量問題，有效性僅限于無附著物的豁口缺陷，對(duì)于含附著物的豁口，仍存在檢測(cè)結(jié)果不精確、無法檢測(cè)等問題。LI 等［3］利用擒縱輪的輪廓作為先驗(yàn)知識(shí)，結(jié)合附著物邊緣曲率變化較大的特點(diǎn)，分離了附著物和工件，從而修復(fù)了目標(biāo)輪廓。GUO 等［4］把含異物的機(jī)場(chǎng)跑道分解成高頻和低頻部分，高頻部分采用小波變換的尺度邊緣檢測(cè)，低頻部分采用形態(tài)學(xué)邊緣檢測(cè)，然后融合高低頻兩部分得到異物檢測(cè)結(jié)果。ZHANG 等［5］設(shè)計(jì)了液體藥品異物檢測(cè)系統(tǒng)，根據(jù)異物運(yùn)動(dòng)軌跡連續(xù)的特點(diǎn)，利用序列圖像檢測(cè)異物。煙葉中參雜有異物紋理、顏色等信息不同的特征，采用Laws 和SVM 算法分別進(jìn)行兩次分類，可有效提出煙草中的異物［6］。ISKANDAR 等［7］提 出CEST 顏色腐蝕分割算法，對(duì)胡椒漿果樣品中參雜的異物進(jìn)行檢測(cè)，其材料在顏色特征上區(qū)分度較大。以上方法基于附著物與背景間的紋理、灰度值、形狀、顏色等存在較為明顯的特征，然而本文研究的刀具附著物利用上述特征不能與刀具進(jìn)行有效區(qū)分。

在深度學(xué)習(xí)領(lǐng)域，LIANG 等［8］改進(jìn)Faster RCNN目標(biāo)檢測(cè)算法，對(duì)高壓設(shè)備缺陷區(qū)域進(jìn)行定位。JING 等［9］改進(jìn)YOLOv3 的棉花異性纖維檢測(cè)網(wǎng)絡(luò)，利用數(shù)據(jù)增廣和多尺度特征提高了檢測(cè)精度，但目標(biāo)檢測(cè)任務(wù)不能精準(zhǔn)地去除附著物。CAO 等［10］采用可形變卷積模塊，通過計(jì)算額外偏移量，比普通卷積擁有更大的感受野，但同時(shí)也增加了計(jì)算量。在軟注意力機(jī)制中，LI 等［11］提出了低劑量CT 去噪網(wǎng)絡(luò)，把自注意力與3D 卷積相結(jié)合，達(dá)到了更好的去噪結(jié)果。LIU 等［12］將自注意力與殘差模塊相結(jié)合，重構(gòu)出更多的高頻信息，提高了超分辨率人臉重建質(zhì)量。ZHANG 等［13］提出自我注意生成對(duì)抗網(wǎng)絡(luò)，有效構(gòu)建了跨圖像區(qū)域的多層次依賴關(guān)系。在硬注意力機(jī)制方面，BA 等［14］提出多目標(biāo)識(shí)別網(wǎng)絡(luò)，只針對(duì)數(shù)字像素區(qū)域提取特征，使非像素區(qū)域的梯度為0，導(dǎo)致梯度不能繼續(xù)傳遞，從而增加了訓(xùn)練難度。盡管相關(guān)異物檢測(cè)、定位和去除網(wǎng)絡(luò)研究均取得了一定成果，但應(yīng)用于本文問題，仍存在不足：均沒有對(duì)網(wǎng)絡(luò)提取的特征加以區(qū)分，缺乏對(duì)目標(biāo)的針對(duì)性學(xué)習(xí)，導(dǎo)致計(jì)算資源浪費(fèi)在背景等無關(guān)特征上；深層的網(wǎng)絡(luò)中包含大量的冗余參數(shù)，更容易出現(xiàn)過擬合現(xiàn)象，而且耗費(fèi)較大的計(jì)算量和儲(chǔ)存空間，降低了網(wǎng)絡(luò)的運(yùn)行效率。

針對(duì)現(xiàn)有研究方法無法有效提取復(fù)雜附著物特征，導(dǎo)致附著物存在誤去除和刀具邊緣扭曲的問題，本文提出一種結(jié)合自注意力的附著物去除網(wǎng)絡(luò)（Attachments Removing Network，ARNet）。通過二值掩膜特征提取模塊輔助區(qū)分光源與刀具區(qū)域，引入去除過程學(xué)習(xí)模塊（Removal Process Learning Module，RPLM）提取附著物去除過程中的時(shí)序信息，并利用自注意力精確分離模塊提取注意力分?jǐn)?shù)加權(quán)后的附著物特征，強(qiáng)化不同形態(tài)的附著物特征提取能力。此外，在網(wǎng)絡(luò)訓(xùn)練過程引入邊緣損失函數(shù)，從而約束網(wǎng)絡(luò)對(duì)邊緣的修復(fù)能力。同時(shí)，引入深度可分離卷積減少網(wǎng)絡(luò)中的冗余參數(shù)，加快網(wǎng)絡(luò)訓(xùn)練進(jìn)程，以達(dá)到工業(yè)現(xiàn)場(chǎng)對(duì)速度的要求。

1 本文方法

1.1 整體網(wǎng)絡(luò)結(jié)構(gòu)

本文所提刀具附著物去除網(wǎng)絡(luò)ARNet的結(jié)構(gòu)如圖1 所示，本文參考了PReNet［15］網(wǎng)絡(luò)的設(shè)計(jì)思路，在特征提取模塊中引入自注意力機(jī)制（Self-Attention，SA）［16］加強(qiáng)特征提取能力。同時(shí)，在殘差結(jié)構(gòu)中引入深度可分離卷積［17］，減少自注意力機(jī)制增加的計(jì)算量，從而設(shè)計(jì)出效率更高、參數(shù)量和計(jì)算量更少的ARNet。該網(wǎng)絡(luò)包含二值掩膜引導(dǎo)模塊（Binary Mask Guided Module，BMGM）、去除過程學(xué)習(xí)模塊、自注意力精準(zhǔn)分離模塊（Self Attention Refined Separation Module，SARSM）和特征整合模塊。此外，根據(jù)刀具圖像的背景特征，調(diào)整了網(wǎng)絡(luò)的遞歸次數(shù)，其中遞歸T次后的輸出圖像公式如下：

圖1 附著物去除網(wǎng)絡(luò)的結(jié)構(gòu)Fig.1 Structure of attachments removing network

其中：XO為輸入的附著物圖像；F(X1,X2)為附著物圖像到無附著物圖像的非線性映射操作；YT為遞歸T次后的附著物去除圖像；n為總遞歸次數(shù)。當(dāng)T=1 時(shí)，F(xiàn)(X1,X2)輸入為2張相同附著物的原圖XO；當(dāng)T=n時(shí)，F(xiàn)(X1,X2)輸入為XO和YT-1。

1.2 二值掩膜引導(dǎo)模塊

刀具刃口圖像中的附著物種類有金屬屑、毛發(fā)、棉絮等，其中毛發(fā)表面較為光滑，存在反光現(xiàn)象，導(dǎo)致毛發(fā)區(qū)域不完整，難以提取其完整的形狀特征；而棉絮的透光性好，成像后易造成偽影且其灰度值較低，經(jīng)過若干次卷積后，權(quán)重響應(yīng)越來越低甚至為0，去除效果差。為解決上述問題，本文提出二值掩膜引導(dǎo)模塊，利用Ostu 二值化算法，生成刀具圖像掩膜，從而引導(dǎo)網(wǎng)絡(luò)依據(jù)附著物形狀特征，更完整地去除附著物。其中Ostu 二值化是一種自適應(yīng)的閾值確定算法，通過計(jì)算類間方差的最大值得到最佳的分割閾值，計(jì)算公式如式（2）所示：

其中：ω0(T)和ω1(T)分別表示閾值為T時(shí)圖像中附著物與刀具像素的概率和白色光源為背景像素的概率；μT為圖像灰度的均值；μ0(T)和μ1(T)分別表示附著物與刀具像素區(qū)域的均值和光源背景區(qū)域的均值。

在刀具刃口圖像中，計(jì)算得到目標(biāo)和背景的最佳分割閾值后，得到二值化掩膜，如圖1 中輸入部分所示。在各遞歸過程開始前，結(jié)合前一次遞歸去除結(jié)果、二值化掩膜引導(dǎo)特征和附著物原圖，合并構(gòu)成9 通道的特征圖并作為網(wǎng)絡(luò)的輸入，通過3×3 的卷積提取二值掩膜引導(dǎo)下的淺層特征，利用ReLU 激活函數(shù)進(jìn)行激活。

1.3 去除過程學(xué)習(xí)模塊

在附著物網(wǎng)絡(luò)遞歸過程中，附著物經(jīng)過多次去除直至完整去除，本文提出去除過程學(xué)習(xí)模塊，該模塊借鑒了LSTM［18］的思想，增強(qiáng)網(wǎng)絡(luò)在周期維度上的特征提取能力，有效提取附著物遞歸去除過程中的時(shí)序信息。LSTM 改進(jìn)了原始的遞歸神經(jīng)網(wǎng)絡(luò)，通過對(duì)遺忘門、輸入門、候選細(xì)胞態(tài)和輸出門的控制，決定流動(dòng)特征的取舍或遺忘，從而有效地防止網(wǎng)絡(luò)訓(xùn)練過程中的梯度爆炸和丟失現(xiàn)象，并提取時(shí)序信息。在去除過程學(xué)習(xí)模塊中，通過改進(jìn)的卷積運(yùn)算和激活函數(shù)實(shí)現(xiàn)門單元的控制，其中改進(jìn)的卷積運(yùn)算采用深度可分離卷積，在有效提取時(shí)序信息的同時(shí)加快了特征的提取速度。

1.4 自注意力精準(zhǔn)分離模塊

刀具附著物分布在刀具和白色光源的交界處，且由于刀具和附著物區(qū)域缺少紋理特征，極為相似，難以對(duì)兩者進(jìn)行有效區(qū)分。如果采用普通的殘差模塊提取深層特征，則缺乏針對(duì)刀具邊界區(qū)域的學(xué)習(xí)，在附著物粘連的邊緣處容易出現(xiàn)扭曲現(xiàn)象。針對(duì)上述問題，本文提出自注意力精準(zhǔn)分離模塊，該模塊借鑒了編解碼器（Encoder-Decoder）結(jié)構(gòu)的思想，利用編碼器提取輸入的刀具附著物圖像中的語義部分，把附著物區(qū)域與刀具和光源區(qū)域有效地劃分，并利用自注意力機(jī)制分解附著物區(qū)域的特征，令解碼器把刀具和光源區(qū)域特征還原。其中，自注意力機(jī)制可以作為圖像響應(yīng)的向?qū)В谳斎氲奶卣餍蛄兄校謩e計(jì)算特征在任意位置的響應(yīng)，從而獲得全局信息，動(dòng)態(tài)調(diào)節(jié)特征圖譜中的網(wǎng)絡(luò)權(quán)值，達(dá)到聚焦于附著物區(qū)域的效果，從而更好地分離圖像中的刀具部分和附著物部分。

本文所提SARSM 模塊的結(jié)構(gòu)如圖2 所示，首先編碼器部分通過2 次步長(zhǎng)為2 的深度可分離卷積后，把尺寸為100×100 像素的特征圖下降到25×25 像素，然后通過如圖2 所示的SA 自注意力模塊，具體步驟為：

圖2 自注意力精準(zhǔn)分離模塊的結(jié)構(gòu)Fig.2 Structure of self attention refined separation module

1）特征Q與特征K構(gòu)建對(duì)應(yīng)位置的依賴關(guān)系；

2）輸入的特征圖譜Q以轉(zhuǎn)置相乘的方式和K共同構(gòu)成全局依賴關(guān)系字典，再經(jīng)過權(quán)值系數(shù)調(diào)整后，由Softmax 函數(shù)激活，構(gòu)建尺寸大小為625×625 像素注意力分?jǐn)?shù)矩陣；

3）在全局依賴關(guān)系字典中，得到被查詢特征V上的某位置的真實(shí)響應(yīng)，從而得到增強(qiáng)后的注意力特征。

其中SA 模塊的輸出公式為：

最后，解碼部分利用編碼和自注意力加強(qiáng)后的特征由卷積和2倍上采樣逐步提升通道尺寸至100×100像素，從而實(shí)現(xiàn)附著物與刀具邊緣的精準(zhǔn)分離。

1.5 特征整合模塊

特征整合模塊將上一級(jí)的深層特征進(jìn)行整合，通過3×3 像素的卷積，逐通道進(jìn)行卷積，把維度從32下降到3。其圖像維度與輸入附著物圖像保持一致，且圖像尺寸保持不變，最后輸出附著物去除后的3 通道圖像。特征整合的計(jì)算公式如式（4）所示：

其中：YT為遞歸第T次的附著物去除圖像；Wo為3×3 的卷積核；R(x)表示網(wǎng)絡(luò)學(xué)習(xí)到的無附著物的深層特征；bo為輸出的偏置。

1.6 網(wǎng)絡(luò)損失函數(shù)

均方誤差（Mean Squared Error，MSE）是訓(xùn)練網(wǎng)絡(luò)常用的損失函數(shù)，但由于平方懲罰容易丟失邊緣等高頻信息而產(chǎn)生模糊的視覺效果，因此，本文采用結(jié)構(gòu)相似性指數(shù)（Structural Similarity，SSIM）作為主要的損失函數(shù)，SSIM 相比于MSE 在網(wǎng)絡(luò)訓(xùn)練初期能學(xué)習(xí)到圖像的結(jié)構(gòu)信息，減少因附著物誤去除產(chǎn)生的噪點(diǎn)，且能提高收斂速度。其中結(jié)構(gòu)相似性損失函數(shù)LSSIM的計(jì)算公式如下：

其中：XGT和XT分別表示無附著物圖像和預(yù)測(cè)的遞歸去除T次后的無附著物圖像。根據(jù)式（5）可以求得XGT和XT圖像的結(jié)構(gòu)相似度。由于該指數(shù)范圍為［0，1］，且該值越接近1，表示兩幅圖越相近，因此把結(jié)構(gòu)相似度的結(jié)果取負(fù)數(shù)作為結(jié)構(gòu)相似度損失函數(shù)LSSIM。

本文的刀具圖像中高頻分量主要為刀具的邊緣部分，如圖3 所示，圖3（a）、圖3（c）為附著物圖像和去除附著物后圖像，圖3（b）、圖3（d）為對(duì)應(yīng)的取拉普拉斯變換后的邊緣圖像。

圖3 拉普拉斯變換結(jié)果Fig.3 Laplace transform results

為了在去除附著物的同時(shí)進(jìn)一步恢復(fù)邊緣細(xì)節(jié)信息，本文提出附加的邊緣損失函數(shù)，從而約束XGT和XT之間的高頻分量。邊緣損失函數(shù)定義為：

其中：L(XGT)和L(XG)分別表示通過拉普拉斯算子從無附著物圖像XGT和預(yù)測(cè)的遞歸T次后的無附著物圖像XT中提取的邊緣圖。

將邊緣圖像相減后取絕對(duì)值，并以相反數(shù)的形式求得附加的邊緣損失。總的損失函數(shù)Ltotal定義為：

其中；λ權(quán)重參數(shù)平衡了邊緣損失，在本實(shí)驗(yàn)中設(shè)置為0.000 3。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集及評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)使用放大倍數(shù)為10 的Carl Zeiss 蔡司物鏡，靶面尺寸為1.1 英寸的Basler 工業(yè)相機(jī)，構(gòu)成精度為0.345 μm/像素的光學(xué)系統(tǒng)。使用采集外徑約為110 mm，內(nèi)徑約為90 mm 的某型號(hào)動(dòng)力電池分切刀具。實(shí)驗(yàn)從312 套刀具圖像中（每套300 張，每張圖像的尺寸均為4 096×2 160 像素），收集了567 張附著物圖像，其中包含訓(xùn)練集510 張圖像，測(cè)試集57 張圖像，該數(shù)據(jù)集命名為TA567，樣本數(shù)據(jù)示例如圖4 所示。對(duì)含有附著物部分的圖像進(jìn)行隨機(jī)裁剪，生成尺寸為100×100 像素含附著物和對(duì)應(yīng)的無附著物圖像，共3 478 對(duì)，其中包含訓(xùn)練集3 130 對(duì)圖像，測(cè)試集348 對(duì)圖像。

圖4 刀具附著物數(shù)據(jù)集TA567 的樣本示例Fig.4 Samples example of tool attachments TA567 data set

本文使用選擇峰值信噪比（PSNR）、SSIM 和交并比（IOU）這3 種圖像質(zhì)量評(píng)價(jià)方法對(duì)附著物去除效果進(jìn)行比較。其中，PSNR 通過計(jì)算生成圖像與原始圖像之間的像素差異來衡量圖像的重建質(zhì)量，PSNR 以dB 為計(jì)算單位，數(shù)值越大表示重建質(zhì)量越好，其計(jì)算公式如式（8）所示：

SSIM 是一種考慮人眼視覺感知的圖像質(zhì)量評(píng)價(jià)方法，從圖像的亮度、對(duì)比度和結(jié)構(gòu)3 個(gè)方面進(jìn)行評(píng)價(jià)，用于衡量生成圖像與原圖的相似度。結(jié)構(gòu)相似度的取值范圍為0～1，結(jié)果越接近1，表示兩幅圖越相近，計(jì)算方式如公式（9）所示：

IOU 用于測(cè)量預(yù)測(cè)區(qū)域與標(biāo)注區(qū)域之間的相關(guān)度，本文采用附著物去除區(qū)域的最小外接矩形與附著物區(qū)域的最小外接矩形計(jì)算IOU。交并比的取值范圍為0～1，結(jié)果越接近1，表示相關(guān)度越高。

2.2 實(shí)驗(yàn)環(huán)境與參數(shù)配置

本文實(shí)驗(yàn)環(huán)境平臺(tái)采用Intel 8700 6 核12 線程CPU，操作系統(tǒng)為Ubuntu16.04，Python 版本采用3.6，以Pytorch0.4.1 作為深度學(xué)習(xí)框架，使用NVIDIA TITANX 11G 顯卡對(duì)網(wǎng)絡(luò)進(jìn)行加速訓(xùn)練。網(wǎng)絡(luò)訓(xùn)練采用Adam 算法優(yōu)化策略，初始學(xué)習(xí)率為0.001，總共訓(xùn)練100 個(gè)epoch，在第30、50、80 個(gè)epoch 時(shí)，調(diào)整學(xué)習(xí)率到原來的20%。小批量數(shù)據(jù)樣本Batch Size 為2，最大迭代次數(shù)為153 100。

2.3 客觀定量結(jié)果

在不同T取值下，ARNet 網(wǎng)絡(luò)與PReNet 網(wǎng)絡(luò)的對(duì)比實(shí)驗(yàn)結(jié)果如表1 所示。實(shí)驗(yàn)結(jié)果表明，隨著遞歸次數(shù)T的增加，各網(wǎng)絡(luò)的3 個(gè)評(píng)價(jià)指標(biāo)均呈上升趨勢(shì)，在T=3 時(shí)遞增減緩，并在T=4 時(shí)趨于平穩(wěn)，這表明各網(wǎng)絡(luò)在T=4 時(shí)，網(wǎng)絡(luò)性能趨于穩(wěn)定。從表1 可看出，當(dāng)T取不同值時(shí)，本文提出的ARNet網(wǎng)絡(luò)均比PReNet網(wǎng)絡(luò)評(píng)價(jià)指標(biāo)更好，表明ARNet網(wǎng)絡(luò)特征提取能力更強(qiáng)，在附著物去除效果上更優(yōu)。同時(shí)，ARNet 網(wǎng)絡(luò)的參數(shù)量和模型大小分別為0.023 M 和89.8 KB，而PReNet網(wǎng)絡(luò)的參數(shù)量和模型大小分別為0.169 M 和665.9 KB，相比之下，ARNet網(wǎng)絡(luò)的參數(shù)量更少且模型更小（降低為PReNet的86.5%），說明ARNet 網(wǎng)絡(luò)在去除過程學(xué)習(xí)模塊和精確分離模塊中引入的深度可分離卷積和編解碼結(jié)構(gòu)能提取到關(guān)鍵的特征信息，在本文數(shù)據(jù)集上兼顧了速度和精度。當(dāng)T=4 時(shí)，結(jié)果顯示本文提出的ARNet 網(wǎng)絡(luò)在PSNR、SSIM 和IOU 這3 項(xiàng)指標(biāo)上，比PReNet 網(wǎng)絡(luò)分別提高了0.63%、1.016 dB 和3.48%，且計(jì)算量減少了90.9%，其中計(jì)算量采用FLOPs 浮點(diǎn)運(yùn)算數(shù)來衡量。

表1 遞歸周期實(shí)驗(yàn)結(jié)果Table 1 Experimental results of different recursion periods

定量的評(píng)價(jià)指標(biāo)結(jié)果如表2 所示，本文提出的ARNet 網(wǎng)絡(luò)分割效果最好。本文以PReNet 網(wǎng)絡(luò)為基線網(wǎng)絡(luò)，對(duì)本文提出的BMGM、RPLM 和SARSM 這3個(gè)模塊進(jìn)行了消融實(shí)驗(yàn)。在PReNet 的基礎(chǔ)上，二值掩膜引導(dǎo)模塊（PReNet+BMGM）引入二值化后的掩膜特征后，能在多次遞歸過程中引導(dǎo)去除的部位，從而提高去除效果。去除過程學(xué)習(xí)模塊（PReNet+RPLM）比引入的BMGM 模塊在3 個(gè)評(píng)價(jià)指標(biāo)上提升更大，說明去除過程學(xué)習(xí)模塊在多次遞歸結(jié)構(gòu)下，能學(xué)習(xí)到去除部位的位置信息，而BMGM 模塊以網(wǎng)絡(luò)輸入特征為切入點(diǎn)，豐富了特征信息，卻在一定程度上缺少了掩膜中附著物的位置信息。去除部分和自注意力精準(zhǔn)分離模塊（PReNet+SARSM）在評(píng)價(jià)指標(biāo)上提升最大，說明編解碼機(jī)構(gòu)能提煉出網(wǎng)絡(luò)中的有效特征。結(jié)合自注意力機(jī)制，注意力分?jǐn)?shù)矩陣在像素級(jí)上進(jìn)行特征的加權(quán)強(qiáng)化，對(duì)附著物去除起到了良好的促進(jìn)作用。同時(shí)，本文提出的加權(quán)邊緣損失Ledge能進(jìn)一步在網(wǎng)絡(luò)訓(xùn)練中增加邊緣區(qū)域的約束，使網(wǎng)絡(luò)更關(guān)注邊緣細(xì)節(jié)修復(fù)，達(dá)到優(yōu)化去除效果的目的。

表2 不同網(wǎng)絡(luò)的附著物去除性能對(duì)比Table 2 Comparison of attachment removal performance of different networks

2.4 主觀評(píng)價(jià)結(jié)果

如圖5 所示，本節(jié)將選取3.3 節(jié)遞歸實(shí)驗(yàn)中網(wǎng)絡(luò)精度趨于穩(wěn)定的ARNet（T=4），并 與DDN［19］，JORDER［20］、RESCAN［21］和PReNet［15］網(wǎng)絡(luò)進(jìn)行對(duì)比以驗(yàn)證本文網(wǎng)絡(luò)的有效性。圖5 從上到下依次為含附著物的刀具圖像、Ground-Truth 附著物區(qū)域、DDN網(wǎng)絡(luò)、JORDER 網(wǎng)絡(luò)、RESCAN 網(wǎng)絡(luò)、PReNet 網(wǎng)絡(luò)和本文網(wǎng)絡(luò)的附著物去除結(jié)果。可以看出本文網(wǎng)絡(luò)對(duì)刀具邊緣的修復(fù)效果較好，能準(zhǔn)確地分離出刀具區(qū)域和附著物區(qū)域，并且沒有出現(xiàn)誤去除附著物的現(xiàn)象。在其他網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果中，附著物和刀具的銜接部分出現(xiàn)了不規(guī)則的突起，而本文網(wǎng)絡(luò)恢復(fù)的豁口邊緣更平滑。此外，本文網(wǎng)絡(luò)針對(duì)不同種類的附著物均能保持較高的精確度，魯棒性良好。

圖5 附著物去除實(shí)驗(yàn)的結(jié)果Fig.5 Result of the attachments removing experiment

2.5 豁口檢測(cè)實(shí)驗(yàn)

本節(jié)選取上述主觀和客觀結(jié)果最好的ARNet 和PReNet 網(wǎng)絡(luò)進(jìn)行豁口檢測(cè)效果的對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)從TA567 數(shù)據(jù)集中隨機(jī)選取8 個(gè)豁口樣本，分別用上述2 種網(wǎng)絡(luò)去除附著物，并在豁口檢測(cè)系統(tǒng)中分析豁口的長(zhǎng)度、深度和面積參數(shù)，實(shí)驗(yàn)結(jié)果如表3 所示，其中GT 表示無附著物。對(duì)于豁口的長(zhǎng)度參數(shù)，本文網(wǎng)絡(luò)比PReNet 網(wǎng)絡(luò)更接近無附著物的豁口長(zhǎng)度；在豁口深度比較中，網(wǎng)絡(luò)在豁口1 和豁口3 上具有相同的結(jié)果，分別為5.5 μm 和12.4 μm。其中網(wǎng)絡(luò)在豁口1的深度結(jié)果大于真實(shí)值5.2 μm，相差0.3 μm，均誤差在允許范圍內(nèi)。在豁口2 和豁口6 結(jié)果中，ARNet網(wǎng)絡(luò)精準(zhǔn)還原豁口深度，誤差為0；在面積參數(shù)中，得益于豁口長(zhǎng)度和深度還原精度較高，本文網(wǎng)絡(luò)還原的面積更接近真實(shí)值。實(shí)驗(yàn)結(jié)果表明，本文網(wǎng)絡(luò)去除附著物后，豁口檢測(cè)結(jié)果更優(yōu)。

表3 無附著物與各網(wǎng)絡(luò)去除附著物后的豁口檢測(cè)結(jié)果分析Table 3 Gap detection results analysis of no attachments and after removing the attachments of each network

如圖6 所示為豁口1～4 的檢測(cè)效果圖（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版）。圖6 中的L、D和A分別表示豁口的長(zhǎng)度、深度和面積。圖圖6（a）、圖6（b）和圖6（d）的豁口在去除附著物前，由于附著物的遮擋，只檢測(cè)出部分的豁口區(qū)域。如圖6（b）、圖6（j）和圖6（n）所示，經(jīng)過PReNet 網(wǎng)絡(luò)和ARNet 網(wǎng)絡(luò)去除附著物后，豁口面積從203.4 μm2分別恢復(fù)到274.4 μm2和343.1 μm2，豁口區(qū)域恢復(fù)了34.9%和68.7%。圖6（c）中因附著物遮擋過多導(dǎo)致豁口漏檢，經(jīng)過網(wǎng)絡(luò)處理后，圖6（k）和圖圖6（o）漏檢的豁口被完整檢出，降低了豁口檢測(cè)系統(tǒng)的漏檢率。由實(shí)驗(yàn)結(jié)果可知，ARNet 和PReNet 網(wǎng)絡(luò)均能在一定程度上去除附著物。

圖6 豁口檢測(cè)實(shí)驗(yàn)的結(jié)果示例Fig.6 Example of results of gap detection experiment

如圖6（i）～圖6（l）所示，附著物與刀具邊緣連接部分不平整。而圖6（m）～圖6（p）中上述連接部分較為平整，恢復(fù)后的刀具邊緣過渡平滑。由實(shí)驗(yàn)結(jié)果可知，ARNet網(wǎng)絡(luò)中的自注意力機(jī)制提升了附著物與刀具邊緣連接處的還原精度，相比于PReNet 網(wǎng)絡(luò)，ARNet 網(wǎng)絡(luò)去除附著物的效果更優(yōu)。為統(tǒng)計(jì)上述實(shí)驗(yàn)中豁口檢測(cè)結(jié)果的誤差率，需對(duì)長(zhǎng)度、深度和面積的誤差進(jìn)行加權(quán)。如表4 所示，統(tǒng)計(jì)了附著物去除前（Origin）和無附著物（GT）的豁口檢測(cè)結(jié)果，計(jì)算出兩者的誤差。實(shí)驗(yàn)數(shù)據(jù)顯示，附著物的存在對(duì)豁口的面積影響最大，其次是附著物的長(zhǎng)度和深度。

表4 去除附著物前后的豁口檢測(cè)結(jié)果Table 4 Gap detection results before and after removal of attachments

豁口面積過大是電池極片產(chǎn)生毛刺的最重要因素，而豁口深度和豁口長(zhǎng)度對(duì)產(chǎn)生毛刺相對(duì)敏感。因此，在計(jì)算檢測(cè)總誤差率時(shí)，根據(jù)豁口幾何參數(shù)對(duì)產(chǎn)生毛刺的敏感程度，設(shè)定面積、深度和長(zhǎng)度的相應(yīng)權(quán)重分別為0.5、0.3 和0.2。豁口樣本的總檢測(cè)誤差率如圖7 所示，總檢測(cè)誤差率由長(zhǎng)度、深度和面積分別加權(quán)求和得到。在豁口編號(hào)為4 時(shí)，PReNet 網(wǎng)絡(luò)在T=4 時(shí)出現(xiàn)誤檢，附著物去除后的檢測(cè)結(jié)果比無附著物的檢測(cè)結(jié)果更差。本文網(wǎng)絡(luò)在8 個(gè)豁口樣本的誤差曲線最低，表明本文網(wǎng)絡(luò)ARNet 在T=4 時(shí)，附著物去除效果更優(yōu)。

圖7 各網(wǎng)絡(luò)去除附著物前后的豁口檢測(cè)總誤差率Fig.7 Total error rate of gap detection before and after removal of attachments in each network

3 結(jié)束語

本文提出一種結(jié)合自注意力機(jī)制的附著物去除網(wǎng)絡(luò)，采用二值掩膜引導(dǎo)模塊區(qū)分目標(biāo)區(qū)域和背景區(qū)域，通過學(xué)習(xí)模塊提取去除位置的信息，并利用自注意力精準(zhǔn)分離模塊，在編解碼過程中使用自注意力機(jī)制強(qiáng)化附著物特征，以完整地分離開附著物與刀具區(qū)域，得到刀具輪廓平滑的無附著物圖像。實(shí)驗(yàn)結(jié)果表明，本文網(wǎng)絡(luò)完整地還原了刀具邊緣，兼顧了較低的計(jì)算量和較高的附著物去除精度，提高了豁口檢測(cè)的準(zhǔn)確率，同時(shí)增強(qiáng)了刀具豁口高精度檢測(cè)系統(tǒng)的穩(wěn)定性和可靠性，可應(yīng)用于工業(yè)檢測(cè)設(shè)備中。下一步將從多尺度、卷積方式（如引入可形變卷積）等方面優(yōu)化網(wǎng)絡(luò)，解決小面積附著物對(duì)豁口檢測(cè)造成的不良影響。