基于對(duì)抗性持續(xù)學(xué)習(xí)模型的輸電線路部件缺陷分類

趙振兵 蔣志鋼 熊 靜 聶禮強(qiáng) 呂雪純

①(華北電力大學(xué)電子與通信工程系 保定 071003)

②(華北電力大學(xué)河北省電力物聯(lián)網(wǎng)技術(shù)重點(diǎn)實(shí)驗(yàn)室 保定 071003)

③(復(fù)雜能源系統(tǒng)智能計(jì)算教育部工程研究中心 保定 071003)

④(山東大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 青島 266237)

1 引言

隨著我國(guó)電網(wǎng)系統(tǒng)的不斷發(fā)展，中國(guó)已進(jìn)入一個(gè)“特高壓，大電網(wǎng)”時(shí)代，但輸電線路故障率仍然較高，因此應(yīng)及時(shí)有效地預(yù)防電網(wǎng)的停電事故，預(yù)測(cè)電網(wǎng)的安全運(yùn)行狀態(tài)，即對(duì)電網(wǎng)的安全態(tài)勢(shì)進(jìn)行感知[1]。態(tài)勢(shì)感知起源于20世紀(jì)80年代，定義為在特定的時(shí)間和空間下，對(duì)環(huán)境中各元素或?qū)ο蟮牟煊X(jué)、理解以及對(duì)未來(lái)狀態(tài)的預(yù)測(cè)[2]。對(duì)于電網(wǎng)而言，環(huán)境中各元素指的是電網(wǎng)內(nèi)各電氣設(shè)備以及輸電線路的運(yùn)行狀態(tài)。電網(wǎng)安全態(tài)勢(shì)感知技術(shù)由3個(gè)階段組成：首先是電網(wǎng)中各態(tài)勢(shì)要素的監(jiān)測(cè)與提取，其次是態(tài)勢(shì)的評(píng)估與理解，最后是對(duì)態(tài)勢(shì)的發(fā)展進(jìn)行預(yù)測(cè)。電網(wǎng)中各態(tài)勢(shì)要素準(zhǔn)確、及時(shí)、高效的監(jiān)測(cè)，是電網(wǎng)安全態(tài)勢(shì)感知的基礎(chǔ)，也是重中之重。

對(duì)輸電線路上部件進(jìn)行定期巡檢的過(guò)程，就是電網(wǎng)安全態(tài)勢(shì)感知的態(tài)勢(shì)要素提取環(huán)節(jié)。目前電力系統(tǒng)已經(jīng)廣泛采用直升機(jī)和無(wú)人機(jī)對(duì)輸電線路拍照，再由巡檢人員借助自身專業(yè)知識(shí)根據(jù)航拍圖像提取輸電線路態(tài)勢(shì)要素的方式。但依賴人工進(jìn)行態(tài)勢(shì)要素提取的方式效率低、成本高且受巡檢人員主觀因素限制[3]。因此，對(duì)輸電線路部件缺陷的自動(dòng)化與智能化態(tài)勢(shì)感知技術(shù)的需求越來(lái)越迫切。

目前已有的輸電線路部件缺陷分類研究大多集中于防震錘、均壓環(huán)、絕緣子、防鳥刺等的缺陷分類與檢測(cè)。文獻(xiàn)[4]提出了一種基于R-FCN的金具目標(biāo)檢測(cè)方法，在全卷積網(wǎng)絡(luò)的基礎(chǔ)上，使用在線困難樣本挖掘、軟性非極大值抑制、樣本優(yōu)化等方法改進(jìn)，不僅提高檢測(cè)精度，還使得模型可以適應(yīng)多類型、多尺度的目標(biāo)檢測(cè)任務(wù)，不過(guò)該方法對(duì)數(shù)據(jù)集要求較高，檢測(cè)精度不穩(wěn)定。文獻(xiàn)[5]針對(duì)輸電線路航拍圖像上各目標(biāo)之間、目標(biāo)與背景之間存在相互干擾的問(wèn)題，利用KL散度替代Faster R-CNN模型中原有的Smooth L1損失函數(shù)；并且考慮到不同金具目標(biāo)具有不同形狀特征，將形狀特征作為約束加入到損失函數(shù)中，提高了模型的檢測(cè)精度。文獻(xiàn)[6]通過(guò)構(gòu)建符合因果關(guān)系學(xué)習(xí)的輸入特征集，進(jìn)行金具缺陷特征與標(biāo)簽之間的因果關(guān)系學(xué)習(xí)，構(gòu)建符合金具特點(diǎn)的因果邏輯回歸模型，完成金具缺陷分類，但該方法只針對(duì)單類金具缺陷進(jìn)行分類，具有一定的局限性。文獻(xiàn)[7]使用SCNet替換原始Faster R-CNN模型上的特征提取網(wǎng)絡(luò)，并提出了PinFPN網(wǎng)絡(luò)，以增強(qiáng)模型的底層語(yǔ)義信息和位置信息提取能力，但同時(shí)造成了參數(shù)量和運(yùn)算量的增加，提高了對(duì)設(shè)備的要求。文獻(xiàn)[8]提出運(yùn)用經(jīng)過(guò)多尺度訓(xùn)練的YOLOv3目標(biāo)檢測(cè)網(wǎng)絡(luò)框選并截取出經(jīng)過(guò)銳化處理的電力巡檢圖像中的防鳥刺區(qū)域，再處理截取出的防鳥刺區(qū)域，實(shí)現(xiàn)防鳥刺故障檢測(cè)，不過(guò)該方法處理過(guò)程較為繁雜，計(jì)算量顯著上升。文獻(xiàn)[9]利用角度旋轉(zhuǎn)參數(shù)和更換損失函數(shù)實(shí)現(xiàn)了絕緣子的精確定位，但該算法仍然存在對(duì)于密集小目標(biāo)會(huì)出現(xiàn)漏檢、檢測(cè)精度低的問(wèn)題。

雖然上述模型在輸電線路某些部件缺陷分類上取得了不錯(cuò)的效果，但都是在有限數(shù)據(jù)集條件下的研究，而忽略了現(xiàn)實(shí)中無(wú)限數(shù)據(jù)流條件下模型欠缺持續(xù)學(xué)習(xí)能力的問(wèn)題。持續(xù)學(xué)習(xí)研究的是從無(wú)限增長(zhǎng)的數(shù)據(jù)流中，逐步擴(kuò)展已經(jīng)獲得的知識(shí)，并將其用于未來(lái)學(xué)習(xí)的任務(wù)[10]。目前電網(wǎng)在役金具超過(guò)1900種，同種部件存在多種型號(hào)且型號(hào)間外觀也存在差異[11]，而現(xiàn)今的模型大多只采集部分金具數(shù)據(jù)集同時(shí)訓(xùn)練，訓(xùn)練完成后，模型只能對(duì)學(xué)習(xí)過(guò)的金具進(jìn)行分類。當(dāng)需要增加新的待分類任務(wù)時(shí)，如果直接使用新的待分類數(shù)據(jù)集對(duì)原模型進(jìn)行訓(xùn)練，會(huì)導(dǎo)致模型對(duì)舊任務(wù)的分類準(zhǔn)確率斷崖式下降，出現(xiàn)災(zāi)難性遺忘的問(wèn)題[12]，而將新舊數(shù)據(jù)集混合重新訓(xùn)練模型會(huì)導(dǎo)致時(shí)間成本巨幅增加，因此亟需針對(duì)深度學(xué)習(xí)模型的可持續(xù)學(xué)習(xí)能力進(jìn)行研究。

本文的工作主要包含：

(1)針對(duì)目前輸電線路部件缺陷分類模型無(wú)法解決現(xiàn)實(shí)情況中無(wú)限數(shù)據(jù)流的問(wèn)題，本文提出一種基于對(duì)抗性持續(xù)學(xué)習(xí)的輸電線路部件及其缺陷分類方法，緩解了災(zāi)難性遺忘的問(wèn)題。

(2)為解決待分類任務(wù)類間差異過(guò)小導(dǎo)致分類準(zhǔn)確率低的問(wèn)題，通過(guò)在可持續(xù)學(xué)習(xí)模型中融入注意力機(jī)制，融入注意力機(jī)制后的可持續(xù)學(xué)習(xí)分類網(wǎng)絡(luò)較加入之前平均準(zhǔn)確率從92.58%提升到94.01%。

(3)L3損失函數(shù)的加入使得模型的準(zhǔn)確率提升了2.25%。

(4)可持續(xù)學(xué)習(xí)任務(wù)具有排序不可知性。本文提出了分別基于數(shù)據(jù)集數(shù)量、離散度以及難易度影響進(jìn)行排序的方法，并設(shè)計(jì)多組對(duì)照實(shí)驗(yàn)，實(shí)現(xiàn)了持續(xù)學(xué)習(xí)分類模型在已獲取輸電線路部件缺陷分類數(shù)據(jù)集上的最優(yōu)利用。

2 輸電線路部件及缺陷分類模型

現(xiàn)階段的持續(xù)學(xué)習(xí)主要通過(guò)3種方式來(lái)實(shí)現(xiàn)。第1種是基于正則化的方法，通過(guò)限制模型參數(shù)偏離先前的解太遠(yuǎn)來(lái)防止遺忘，但是同時(shí)會(huì)限制模型適應(yīng)新任務(wù)的能力，導(dǎo)致模型很難，甚至無(wú)法找到最優(yōu)解[12–14]。第2種是基于數(shù)據(jù)集重放的方法，通過(guò)保存以前任務(wù)的數(shù)據(jù)進(jìn)行多次重放來(lái)使模型記住曾經(jīng)學(xué)習(xí)過(guò)的任務(wù)的特征，該方法雖然在防止災(zāi)難性遺忘方面很有效，但該方法的性能高度依賴緩沖內(nèi)存區(qū)的大小和重放內(nèi)容的選擇，在某些情況中，保存任何數(shù)據(jù)可能都不是最佳選項(xiàng)[15,16]。第3種方法是基于模型結(jié)構(gòu)擴(kuò)增的方法，通過(guò)對(duì)每個(gè)任務(wù)設(shè)置增長(zhǎng)模型來(lái)對(duì)抗遺忘，并且可以容易地添加額外的必要容量來(lái)容納新任務(wù)。這種不需要保存任何數(shù)據(jù)就能實(shí)現(xiàn)持續(xù)學(xué)習(xí)的能力給擴(kuò)增方法提供了在大規(guī)模數(shù)據(jù)環(huán)境設(shè)置中成功的可能性。但是隨著任務(wù)量的增加，如何將模型參數(shù)量的增長(zhǎng)保持在可接受范圍是需要解決的問(wèn)題[17–19]。

2.1 可持續(xù)學(xué)習(xí)分類模型

本文受基于模型結(jié)構(gòu)擴(kuò)增的可持續(xù)學(xué)習(xí)模型方法的啟發(fā)，針對(duì)需要學(xué)習(xí)的每個(gè)序列任務(wù)構(gòu)建增長(zhǎng)模型來(lái)對(duì)抗災(zāi)難性遺忘。與傳統(tǒng)的基于模型結(jié)構(gòu)擴(kuò)增的方法不同，本文方法通過(guò)將模型提取特征空間分解為共享特征模塊和特有知識(shí)模塊來(lái)限制模型參數(shù)的增加。該方法受服務(wù)器絕對(duì)容量的限制較小并且不需要保存先前序列任務(wù)數(shù)據(jù)，因此該方法能在無(wú)限數(shù)據(jù)流的復(fù)雜現(xiàn)實(shí)環(huán)境中應(yīng)用成功。

本文將深度網(wǎng)絡(luò)學(xué)習(xí)到的特征劃分成共享特征和特有特征，因此在本文的基于對(duì)抗性持續(xù)學(xué)習(xí)分類模型中，包含基于ResNet網(wǎng)絡(luò)構(gòu)建的共享特征提取模塊S和特有特征提取模塊P，對(duì)兩種特征分別進(jìn)行提取。訓(xùn)練時(shí)共享特征提取模塊S將會(huì)采用對(duì)抗性訓(xùn)練的方式學(xué)習(xí)所有分類任務(wù)中(假設(shè)共有T個(gè)任務(wù))的所有種類訓(xùn)練集的共有特征，而特有特征提取模塊P則只是針對(duì)學(xué)習(xí)具體某序列分類任務(wù)(T個(gè)任務(wù)中的某一個(gè))的特有特征，同時(shí)特有特征提取模塊P將會(huì)隨著總分類任務(wù)的增加而增加，而共享特征提取模塊網(wǎng)絡(luò)則只更新但不會(huì)增加參數(shù)。在對(duì)輸入的測(cè)試集圖像進(jìn)行分類時(shí)則只會(huì)調(diào)用共享特征提取模塊S以及相對(duì)應(yīng)的特有特征提取模塊P。與傳統(tǒng)的基于模型結(jié)構(gòu)擴(kuò)增的可持續(xù)學(xué)習(xí)不同，由于共享特征提取模塊S的設(shè)計(jì)，模型參數(shù)大幅度減少。在實(shí)現(xiàn)分類模型的可持續(xù)學(xué)習(xí)能力的同時(shí)，保證模型的參數(shù)量不會(huì)巨幅增長(zhǎng)。同時(shí)，采用正交約束保證共享模塊中學(xué)到的特征知識(shí)與特有模塊學(xué)習(xí)到的特征知識(shí)盡可能不相同，從而提高分類準(zhǔn)確率。模型整體結(jié)構(gòu)如圖1所示。

圖1 基于對(duì)抗性持續(xù)學(xué)習(xí)分類模型整體結(jié)構(gòu)

首先將金具缺陷數(shù)據(jù)集d按照不同種類金具劃分為 d1, d2,···, dT，之后以各金具的具體缺陷狀態(tài)為子類再次劃分，例如提包線夾數(shù)據(jù)集中包括提包線夾銹蝕數(shù)據(jù)、提包線夾臟污數(shù)據(jù)等類別

式(3)中，xi為輸入圖像，yi為類別標(biāo)簽，ti為任務(wù)標(biāo)簽，為樣本數(shù)。

在訓(xùn)練可持續(xù)學(xué)習(xí)分類模型時(shí)，首先學(xué)習(xí)同一任務(wù)中不同類別圖像的不相似的特征，并針對(duì)每一個(gè)任務(wù)單獨(dú)保存一個(gè)子模型P。對(duì)于一個(gè)包含q種類別圖像的任務(wù)而言，實(shí)際上就是一個(gè)共q類的分類任務(wù)，損失函數(shù)為

其中，yei表示數(shù)據(jù)對(duì)應(yīng)真實(shí)標(biāo)簽，是模型預(yù)測(cè)值。

接下來(lái)學(xué)習(xí)各不同任務(wù)中的相似特征，構(gòu)建特征映射生成器S和對(duì)抗判別器D，并通過(guò)對(duì)抗性訓(xùn)練的方式對(duì)S進(jìn)行訓(xùn)練，損失函數(shù)為

當(dāng)S能夠生成D不能再正確預(yù)測(cè)任務(wù)標(biāo)簽的圖像時(shí)，生成器S的訓(xùn)練就完成了。其中T為總的任務(wù)數(shù)量。

為了保障共享模塊中學(xué)到的特征知識(shí)與特有模塊學(xué)習(xí)到的特征知識(shí)盡可能不相同，通過(guò)使用正交約束方法對(duì)兩個(gè)模塊的特征知識(shí)進(jìn)行因式分解，計(jì)算其差異為

其中，| |F為F-范數(shù)，Pk表示第k個(gè)P模塊。

最后，將3個(gè)損失函數(shù)相加則獲得了可持續(xù)學(xué)習(xí)分類模型的總損失為

2.2 融入注意力機(jī)制

如圖2所示，在輸電線路部件缺陷分類任務(wù)中，正常部件和某些缺陷部件的圖像極為相似，分類任務(wù)類間差異過(guò)小，導(dǎo)致分類準(zhǔn)確率不高，因此有必要對(duì)模型的細(xì)微特征提取能力進(jìn)行增強(qiáng)。針對(duì)待分類任務(wù)類間差異過(guò)小導(dǎo)致分類準(zhǔn)確率低的問(wèn)題，本文通過(guò)在可持續(xù)學(xué)習(xí)分類網(wǎng)絡(luò)模型的特征提取網(wǎng)絡(luò)融入結(jié)合通道注意力和空間注意力的注意力機(jī)制[20]來(lái)增強(qiáng)模型對(duì)細(xì)微特征提取能力，提高分類準(zhǔn)確率。

圖2 正常圖像與缺陷圖像對(duì)照

特征圖的每一個(gè)通道都被視為一個(gè)專門特征檢測(cè)器，因此為了獲得更詳細(xì)的通道特征信息，同時(shí)采用了平均池化和最大池化兩種池化方式。對(duì)于輸入為M×H×W的特征圖F，將其壓縮成為M×1×1大小的通道注意力特征圖。

計(jì)算如式(8)所示

其中，σ表示sigmoid函數(shù)，MLP(MultiLayer Perceptron)表示多層感知器，Avg表示平均池化，Max表示最大池化，感知器中的W1和W0分別設(shè)置為RC×C/r, RC/r×C。和分別表示平均池化特征和最大池化特征。

之后使用空間注意力模塊對(duì)特征圖F'進(jìn)行空間信息提取，計(jì)算式為

其中，σ表示sigmoid函數(shù)，f7×7表示7×7的卷積運(yùn)算，和分別表示通道上的平均池化特征和最大池化特征，其中∈R1×H×W,∈R1×H×W，注意力機(jī)制模塊如圖3所示。

圖3 注意力機(jī)制模塊

本文所采用的主干網(wǎng)絡(luò)為ResNet網(wǎng)絡(luò)，因此為了增強(qiáng)可持續(xù)學(xué)習(xí)分類模型對(duì)細(xì)微特征提取能力，本文在殘差模塊中融入注意力機(jī)制，改進(jìn)后ResNet-18網(wǎng)絡(luò)整體結(jié)構(gòu)如圖4所示。

圖4 改進(jìn)后ResNet-18網(wǎng)絡(luò)整體結(jié)構(gòu)

2.3 模型最優(yōu)利用

由于持續(xù)學(xué)習(xí)任務(wù)應(yīng)用場(chǎng)景的特殊性，在訓(xùn)練分類模型時(shí)需要對(duì)待分類任務(wù)訓(xùn)練的先后順序進(jìn)行排序。因此與普通分類任務(wù)相比，基于持續(xù)學(xué)習(xí)的研究還面臨著如何實(shí)現(xiàn)模型最優(yōu)利用的問(wèn)題。不同的訓(xùn)練任務(wù)順序排列勢(shì)必對(duì)模型的準(zhǔn)確率造成不同程度的影響。因此很有必要研究各類輸電線路金具缺陷圖像分類任務(wù)的訓(xùn)練順序。令所有數(shù)據(jù)集總集合為d，d中共含有T個(gè)q分類任務(wù)，則I中共含有T× q類數(shù)據(jù)集，nk,e表示第k類分類任務(wù)中第e類數(shù)據(jù)的數(shù)量。深度學(xué)習(xí)模型的核心驅(qū)動(dòng)是數(shù)據(jù)，由于無(wú)法將各類數(shù)據(jù)的具體圖像質(zhì)量、圖形特征等客觀因素作為排序的依據(jù)，因此考慮將數(shù)據(jù)分布作為排序的首要因素。首先考慮每個(gè)分類任務(wù)訓(xùn)練集數(shù)量對(duì)模型的影響，如

其中，nk,t表示數(shù)據(jù)集I中第k類任務(wù)總數(shù)據(jù)量，根據(jù)nk,t的大小作為對(duì)任務(wù)訓(xùn)練順序進(jìn)行排序的依據(jù)。

對(duì)于持續(xù)學(xué)習(xí)分類任務(wù)而言，各類數(shù)據(jù)集之間離散度也將對(duì)持續(xù)學(xué)習(xí)模型準(zhǔn)確率產(chǎn)生影響。如

其中，nk,m表示數(shù)據(jù)集I中第k類任務(wù)中數(shù)據(jù)的離散度，離散度大小作為對(duì)任務(wù)訓(xùn)練順序進(jìn)行排序的依據(jù)。

除了數(shù)據(jù)量和離散度之外，任務(wù)的難易程度也會(huì)影響模型準(zhǔn)確率，因此本文將模型對(duì)T個(gè)分類任務(wù)分別訓(xùn)練時(shí)的準(zhǔn)確率作為任務(wù)難易度的等同替換，準(zhǔn)確率高則說(shuō)明任務(wù)簡(jiǎn)單。

3 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

3.1 數(shù)據(jù)集構(gòu)建與模型評(píng)價(jià)標(biāo)準(zhǔn)

由于目前并沒(méi)有公開(kāi)的輸電線路部件及缺陷的數(shù)據(jù)集，因此本文采集了正常均壓環(huán)及均壓環(huán)損壞等共計(jì)10類圖像建立了輸電線路部件及缺陷數(shù)據(jù)集，如圖5所示。其中各類數(shù)據(jù)的數(shù)量如表1所示。

表1 數(shù)據(jù)種類及數(shù)量(張)

圖5 自建數(shù)據(jù)集樣例展示

與普通分類模型不同，為了測(cè)試可持續(xù)學(xué)習(xí)分類模型的性能，在學(xué)習(xí)新的序列任務(wù)之后，需要再次對(duì)先前學(xué)習(xí)的序列任務(wù)的分類效果進(jìn)行評(píng)估。本文使用平均準(zhǔn)確度(ACCuracy, ACC)作為檢驗(yàn)?zāi)Ｐ蜏?zhǔn)確率的指標(biāo)，計(jì)算式如式(14)所示。同時(shí)，為了描述模型對(duì)抗遺忘的能力，本文使用BWT(Back-Ward Transfer)來(lái)描述模型在學(xué)習(xí)新分類任務(wù)之后對(duì)先前學(xué)習(xí)任務(wù)的影響，當(dāng)BWT>0時(shí)表示學(xué)習(xí)新的任務(wù)有助于提高舊任務(wù)的準(zhǔn)確率，當(dāng)BWT＜0時(shí)意味著模型受到了災(zāi)難性遺忘的影響，計(jì)算如式(15)所示。除此之外，同時(shí)考慮模型占用空間大小(Parameter)和模型訓(xùn)練時(shí)間(Time)的影響。其中Parameter的單位為MB，時(shí)間的單位為min。其中，RT,k表示在模型依次學(xué)習(xí)第T個(gè)任務(wù)之后對(duì)任務(wù)k的分類測(cè)試準(zhǔn)確率。

3.2 可持續(xù)學(xué)習(xí)分類模型訓(xùn)練

本文所用的實(shí)驗(yàn)環(huán)境為ubuntu 16.04操作系統(tǒng)，Python3.6，PyTorch 1.3.1，GPU為NVIDIA Quadro K600。

在可持續(xù)學(xué)習(xí)分類模型訓(xùn)練過(guò)程中，將輸入的部件及其缺陷圖像大小調(diào)整為32×32，本文采用隨機(jī)梯度下降法進(jìn)行訓(xùn)練，沖量設(shè)置為0.9，batch_size設(shè)置為64，訓(xùn)練輪數(shù)設(shè)置為200，初始學(xué)習(xí)率為0.001，權(quán)重衰減正則項(xiàng)設(shè)置為0.01，式(7)中的λ1,λ2,λ3分別設(shè)置為1, 0.05和0.1。

為了模擬現(xiàn)實(shí)中無(wú)限數(shù)據(jù)流條件，基于持續(xù)學(xué)習(xí)的模型采用了與傳統(tǒng)分類模型不同的訓(xùn)練方式。以本文自建數(shù)據(jù)集舉例，首先將鳥巢與異物分類數(shù)據(jù)集作為訓(xùn)練集，訓(xùn)練完成之后模型可進(jìn)行鳥巢與異物分類；再將均壓環(huán)缺陷分類數(shù)據(jù)集作為訓(xùn)練集，在原模型權(quán)重上進(jìn)行訓(xùn)練，完成后模型可同時(shí)對(duì)鳥巢、異物、正常均壓環(huán)和損壞均壓環(huán)進(jìn)行分類，以此類推，直到完成所有分類任務(wù)的訓(xùn)練。

3.3 實(shí)驗(yàn)結(jié)果與分析

3.3.1 可持續(xù)學(xué)習(xí)分類模型泛化能力研究

為了確定泛化能力最優(yōu)的主干網(wǎng)絡(luò)，本文選取了AlexNet, ResNet-18, ResNet-34, ResNet-50共4種網(wǎng)絡(luò)分別作為可持續(xù)學(xué)習(xí)分類模型的主干網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)。在3.1節(jié)中所提到的自建輸電線路部件及其缺陷數(shù)據(jù)集上進(jìn)行驗(yàn)證。將包含10類的分類任務(wù)劃分為5個(gè)序列任務(wù)，每個(gè)序列任務(wù)包含一個(gè)二分類任務(wù)，任務(wù)學(xué)習(xí)的先后順序?yàn)轼B巢與異物分類、均壓環(huán)缺陷分類、絕緣子缺陷分類、屏蔽環(huán)缺陷分類、防震錘缺陷分類。實(shí)驗(yàn)結(jié)果如表2所示。

AlexNet網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單，因此訓(xùn)練時(shí)間較短，模型占用空間較小，但是模型準(zhǔn)確率僅為90.86%，低于ResNet-18網(wǎng)絡(luò)和ResNet-34網(wǎng)絡(luò)；而對(duì)于ResNet網(wǎng)絡(luò)，由表2可知，隨著網(wǎng)絡(luò)的逐漸加深，模型訓(xùn)練的時(shí)間延長(zhǎng)，模型參數(shù)量增多，基于ResNet-18網(wǎng)絡(luò)的可持續(xù)學(xué)習(xí)分類模型的分類準(zhǔn)確率、訓(xùn)練時(shí)間、模型大小以及BWT都顯著優(yōu)于基于ResNet-34網(wǎng)絡(luò)和基于ResNet-50網(wǎng)絡(luò)的模型。因此，本文選擇ResNet-18網(wǎng)絡(luò)作為可持續(xù)學(xué)習(xí)分類模型的主干網(wǎng)絡(luò)。

表2 不同主干網(wǎng)絡(luò)對(duì)照實(shí)驗(yàn)

3.3.2 模型各部分消融實(shí)驗(yàn)

對(duì)抗性持續(xù)學(xué)習(xí)模型由多任務(wù)共享特征生成器及對(duì)抗判別器、多任務(wù)特有特征模塊等部分構(gòu)成。因此為了確定各部分對(duì)模型準(zhǔn)確率的影響，進(jìn)行了消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示。

表3中，S表示共享特征提取模塊，D表示判別器，P表示特有特征提取模塊。從表3可以看出，單獨(dú)的多任務(wù)共享特征生成器及對(duì)抗判別器和多任務(wù)特有特征模塊的準(zhǔn)確率都較低，當(dāng)兩部分同時(shí)使用時(shí)可使模型準(zhǔn)確率和抗災(zāi)難性遺忘能力獲得顯著提升。

表3 模型各部分消融實(shí)驗(yàn)

3.3.3 改進(jìn)網(wǎng)絡(luò)前后模型對(duì)比

使用本文2.2節(jié)所提出的注意力機(jī)制對(duì)ResNet-18網(wǎng)絡(luò)進(jìn)行改進(jìn)之后，標(biāo)記為ResNet-18-att，分別在自建數(shù)據(jù)集和CIFAR-100公共數(shù)據(jù)集上進(jìn)行驗(yàn)證。自建數(shù)據(jù)集共5個(gè)分類任務(wù)，任務(wù)學(xué)習(xí)的先后順序?yàn)轼B巢與異物分類、均壓環(huán)缺陷分類、絕緣子缺陷分類、屏蔽環(huán)缺陷分類、防震錘缺陷分類。實(shí)驗(yàn)結(jié)果如表4所示。

表4 改進(jìn)網(wǎng)絡(luò)前后模型性能對(duì)比(自建數(shù)據(jù)集)

與ResNet-18網(wǎng)絡(luò)相比，融入注意力機(jī)制后，模型在5個(gè)二分類序列任務(wù)上的平均準(zhǔn)確率提高了1.43%；BWT值從–0.43%提升到了–0.20%，說(shuō)明改進(jìn)后的模型盡管仍然受到了災(zāi)難性遺忘的影響，但是具有相對(duì)更強(qiáng)的抗遺忘能力；不過(guò)訓(xùn)練時(shí)長(zhǎng)增加了287.9 min，模型占用內(nèi)存也增加了1.2 MB。

CIFAR-100公共數(shù)據(jù)集分為20個(gè)分類任務(wù)，每個(gè)任務(wù)包括5種類別物體的分類，實(shí)驗(yàn)結(jié)果如表5所示。

表5 改進(jìn)網(wǎng)絡(luò)前后模型性能對(duì)比(CIFAR-100)

在公共數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果依然證明本文提出的融入注意力機(jī)制的方法在減輕災(zāi)難性遺忘的影響和提高分類準(zhǔn)確率上有效。

3.3.4 L3損失函數(shù)對(duì)實(shí)驗(yàn)結(jié)果影響

為了驗(yàn)證損失函數(shù)L3的有效性，本文分別使用3種主干網(wǎng)絡(luò)構(gòu)成的可持續(xù)學(xué)習(xí)分類模型進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表6所示。從表6可以看出，使用損失函數(shù)L3使得3種模型的分類準(zhǔn)確率都有所提升，特別是對(duì)于改進(jìn)的ResNet-18網(wǎng)絡(luò)，ACC提高了2.25%，同時(shí)，BWT值也都有不同程度的減小，說(shuō)明損失函數(shù)L3在提升模型準(zhǔn)確率和提高模型抗遺忘能力方面都效果顯著。

表6 L3損失函數(shù)消融實(shí)驗(yàn)

3.3.5 任務(wù)序列排序影響

在持續(xù)學(xué)習(xí)問(wèn)題中，待學(xué)習(xí)的任務(wù)如何排序也將對(duì)模型準(zhǔn)確率和抗遺忘能力產(chǎn)生影響，但是目前并沒(méi)有針對(duì)任務(wù)排序問(wèn)題的研究，持續(xù)學(xué)習(xí)表現(xiàn)出排序不可知性。因此本文分別以數(shù)據(jù)比例、數(shù)據(jù)量以及任務(wù)難易度為排序依據(jù)，研究了輸電線路部件缺陷分類任務(wù)的排序不可知性。

本文將鳥巢與異物分類編為任務(wù)1，均壓環(huán)缺陷分類編為任務(wù)2，絕緣子缺陷分類編為任務(wù)3，屏蔽環(huán)缺陷分類編為任務(wù)4，防震錘缺陷分類編為任務(wù)5。

首先對(duì)待學(xué)習(xí)任務(wù)的學(xué)習(xí)順序進(jìn)行完全隨機(jī)排列兩次，排序結(jié)果為1-2-3-4-5(編號(hào)a)和4-1-2-3-5(編號(hào)b)實(shí)驗(yàn)。

考慮數(shù)據(jù)比例的影響，以任務(wù)中數(shù)據(jù)離散度作為排序依據(jù)，由表1可知，各分類任務(wù)中數(shù)據(jù)離散度最小的是任務(wù)2(均壓環(huán)缺陷分類，比例為142:159)，依次類推，最后確定訓(xùn)練排序?yàn)?-3-1-4-5(編號(hào)c)，再將倒序5-4-1-3-2(編號(hào)d)作為訓(xùn)練順序?qū)嶒?yàn)。

接著以任務(wù)總數(shù)據(jù)規(guī)模大小作為排序依據(jù)。由表1可知，任務(wù)3總數(shù)據(jù)量最多，任務(wù)2總數(shù)據(jù)量最少，分別按2-4-1-5-3(編號(hào)e)和3-5-1-4-2(編號(hào)f)的訓(xùn)練順序?qū)嶒?yàn)。

在實(shí)驗(yàn)a—實(shí)驗(yàn)f中，本文分別將5個(gè)任務(wù)作為第1序列任務(wù)進(jìn)行訓(xùn)練，即在學(xué)習(xí)該分類任務(wù)時(shí)模型處于原始狀態(tài)。可持續(xù)學(xué)習(xí)分類模型對(duì)5個(gè)任務(wù)的準(zhǔn)確率依次為89.38%，90.85%，95.54%，92.65%，98.70%。分類準(zhǔn)確率高即說(shuō)明該分類任務(wù)較為簡(jiǎn)單。因此，按照任務(wù)難易程度進(jìn)行排序，分別為5-3-4-2-1(編號(hào)g)和1-2-4-3-5(編h)。

實(shí)驗(yàn)完成后，統(tǒng)計(jì)每組實(shí)驗(yàn)中各任務(wù)準(zhǔn)確率，結(jié)果如表7所示。

從表7可以看出，學(xué)習(xí)任務(wù)的排序?qū)δ承┤蝿?wù)準(zhǔn)確率影響很大。以任務(wù)(2)為例，在實(shí)驗(yàn)a、實(shí)驗(yàn)b、實(shí)驗(yàn)c、實(shí)驗(yàn)d、實(shí)驗(yàn)g中，其分別出現(xiàn)在5個(gè)不同的排序位置上，準(zhǔn)確率相差較大。實(shí)驗(yàn)b中任務(wù)(2)訓(xùn)練排序?yàn)?，準(zhǔn)確率為89.93%；實(shí)驗(yàn)d中訓(xùn)練排序?yàn)?。準(zhǔn)確率為97.81%，準(zhǔn)確率相差高達(dá)7.88%。也有一些任務(wù)受到排序影響不大，如任務(wù)(1)、任務(wù)(3)和任務(wù)(5)。任務(wù)(2)(均壓環(huán)分類)和任務(wù)(4)(屏蔽環(huán)分類)分類準(zhǔn)確率受任務(wù)排序影響較為明顯的主要原因是圖像背景較為復(fù)雜，鑒于其呈環(huán)狀的特殊形態(tài)特征，圖像數(shù)據(jù)中往往還包含著其他金具的某些部分，因此這兩類任務(wù)在不同排序中準(zhǔn)確率差異較大，而任務(wù)(1)、任務(wù)(3)、任務(wù)(5)的數(shù)據(jù)集中則不存在該問(wèn)題，因此差異較小。同時(shí)，任務(wù)(2)和任務(wù)(4)的數(shù)據(jù)量較為稀缺也是造成該情況的原因之一。

表7 8組對(duì)照實(shí)驗(yàn)準(zhǔn)確率結(jié)果

隨著學(xué)習(xí)的任務(wù)的增多，已學(xué)習(xí)任務(wù)的準(zhǔn)確率也會(huì)變化，如圖6所示。

從圖6可以看出，在本文的可持續(xù)學(xué)習(xí)模型中災(zāi)難性遺忘的問(wèn)題得到了顯著改善。甚至在某些任務(wù)排序條件下，學(xué)習(xí)新任務(wù)使得模型對(duì)舊任務(wù)分類準(zhǔn)確率略有提高，這是由本文的可持續(xù)學(xué)習(xí)分類模型的特殊結(jié)構(gòu)決定的。在某些特定任務(wù)排序中，曾被用于訓(xùn)練的數(shù)據(jù)集中與待訓(xùn)練的數(shù)據(jù)集中的部分共享特征相似，因此在學(xué)習(xí)新任務(wù)訓(xùn)練特征映射生成器S時(shí)，起到了加強(qiáng)分類效果的作用，導(dǎo)致學(xué)習(xí)新任務(wù)使得模型對(duì)舊任務(wù)分類準(zhǔn)確率有所提高。

圖6 已學(xué)習(xí)任務(wù)準(zhǔn)確率變化圖

8組實(shí)驗(yàn)所有實(shí)驗(yàn)結(jié)果如表8所示。

表8 8組實(shí)驗(yàn)結(jié)果

在實(shí)驗(yàn)d中，可持續(xù)學(xué)習(xí)模型達(dá)到最高的準(zhǔn)確率，為95.25%，實(shí)驗(yàn)c中，可持續(xù)學(xué)習(xí)模型達(dá)到最低的準(zhǔn)確率，為92.74%，說(shuō)明基于本實(shí)驗(yàn)數(shù)據(jù)集的可持續(xù)學(xué)習(xí)任務(wù)中以數(shù)據(jù)離散度作為排序依據(jù)對(duì)模型準(zhǔn)確率影響最大。而其他排序方式對(duì)模型影響相對(duì)較小，但是依然存在影響。總的來(lái)說(shuō)，持續(xù)學(xué)習(xí)任務(wù)排序具有不可知性。

受限于采集數(shù)據(jù)集的困難，本實(shí)驗(yàn)無(wú)法在改變數(shù)據(jù)比例變量的同時(shí)控制數(shù)據(jù)量總數(shù)不變，但是本實(shí)驗(yàn)證明改變待學(xué)習(xí)任務(wù)的順序會(huì)對(duì)可持續(xù)學(xué)習(xí)模型產(chǎn)生不同的影響。對(duì)于自建的輸電線路部件缺陷分類數(shù)據(jù)集和可持續(xù)學(xué)習(xí)模型，更改訓(xùn)練時(shí)任務(wù)的先后順序，模型的準(zhǔn)確率相差高達(dá)2.51%。而BWT值從–0.20%提高到0.80%，意味著任務(wù)的排序會(huì)影響模型的抗遺忘能力，減少災(zāi)難性遺忘的影響，甚至學(xué)習(xí)新的任務(wù)有助于提高舊任務(wù)的準(zhǔn)確率。

4 結(jié)束語(yǔ)

針對(duì)目前輸電線路部件缺陷分類模型無(wú)法解決現(xiàn)實(shí)情況中無(wú)限數(shù)據(jù)流的問(wèn)題，本文設(shè)計(jì)了一種基于對(duì)抗性持續(xù)學(xué)習(xí)的輸電線路部件及其缺陷分類方法。首先將持續(xù)學(xué)習(xí)技術(shù)引入到輸電線路部件缺陷分類任務(wù)中，使得分類模型在保證分類準(zhǔn)確率的同時(shí)，可以從無(wú)限增長(zhǎng)的數(shù)據(jù)流中不斷學(xué)習(xí)新的分類任務(wù)。為解決待分類任務(wù)類間差異過(guò)小導(dǎo)致分類準(zhǔn)確率低的問(wèn)題，通過(guò)在可持續(xù)學(xué)習(xí)模型中融入注意力機(jī)制，以增強(qiáng)模型對(duì)細(xì)微特征提取能力從而提高分類準(zhǔn)確率。針對(duì)持續(xù)學(xué)習(xí)任務(wù)中的排序不可知性問(wèn)題，提出基于數(shù)據(jù)集的數(shù)量、離散度以及難易度進(jìn)行排序的方法，設(shè)計(jì)多組對(duì)照實(shí)驗(yàn)，以實(shí)現(xiàn)持續(xù)學(xué)習(xí)分類模型的最優(yōu)利用。最后，設(shè)計(jì)進(jìn)行了實(shí)驗(yàn)驗(yàn)證，并對(duì)模型的各種性能進(jìn)行分析與比較。結(jié)果表明本文提出的方法實(shí)現(xiàn)了輸電線路部件及其缺陷分類任務(wù)的可持續(xù)學(xué)習(xí)，緩解了災(zāi)難性遺忘的問(wèn)題；融入注意力機(jī)制和使用L3損失函數(shù)使分類準(zhǔn)確率分別提高了1.43%和2.25%；并且實(shí)現(xiàn)了持續(xù)學(xué)習(xí)分類模型的最優(yōu)利用。

盡管如此，受限于輸電線路上部件種類過(guò)多和數(shù)據(jù)難以采集的問(wèn)題，并且目前尚沒(méi)有一個(gè)明確、統(tǒng)一的對(duì)任務(wù)難易度量化的標(biāo)準(zhǔn)，基于持續(xù)學(xué)習(xí)的輸電線路部件缺陷分類任務(wù)排序具有不可知性。不可否認(rèn)的是，該模型的另一個(gè)限制是無(wú)法解決已訓(xùn)練過(guò)的任務(wù)數(shù)據(jù)集變化的問(wèn)題。因此，這也是本文后續(xù)將要進(jìn)行的研究。