基于膠囊網(wǎng)絡(luò)的異常多分類(lèi)模型*

陽(yáng)予晉,王 堃,陳志剛,徐 悅,李 斌

(1.中南大學(xué)計(jì)算機(jī)學(xué)院,湖南 長(zhǎng)沙 410083;2.國(guó)網(wǎng)寧夏電力有限公司信息通信公司,寧夏 銀川 753000)

1 引言

隨著傳統(tǒng)電網(wǎng)業(yè)務(wù)乘上IT技術(shù)快速發(fā)展的東風(fēng)被搬上云端,電力企業(yè)業(yè)務(wù)以及相關(guān)應(yīng)用數(shù)量逐年增長(zhǎng),應(yīng)用系統(tǒng)的復(fù)雜度和規(guī)模都在不斷增長(zhǎng)和變化,數(shù)據(jù)量也呈現(xiàn)快速增長(zhǎng)的趨勢(shì),智能電網(wǎng)信息運(yùn)維工作面臨著越來(lái)越多的挑戰(zhàn)。一個(gè)突出的挑戰(zhàn)是及時(shí)處理各類(lèi)電網(wǎng)信息設(shè)備的異常行為,因此異常數(shù)據(jù)檢測(cè)在電網(wǎng)中起著非常重要的作用。在配電網(wǎng)中,使用異常檢測(cè)技術(shù)可以及時(shí)發(fā)現(xiàn)影響電能的各種異常狀態(tài),防止故障擴(kuò)散[2]。對(duì)于運(yùn)維監(jiān)控?cái)?shù)據(jù),異常檢測(cè)可以檢查設(shè)備運(yùn)行狀態(tài),避免故障檢測(cè)不及時(shí)導(dǎo)致的機(jī)器損壞[3]。識(shí)別電網(wǎng)的異常行為需要開(kāi)發(fā)高效的異常檢測(cè)方法,這對(duì)電網(wǎng)的穩(wěn)定、實(shí)時(shí)和安全運(yùn)行至關(guān)重要[4]。電網(wǎng)中的大多數(shù)異常可以通過(guò)分析時(shí)間序列數(shù)據(jù)來(lái)檢測(cè),一些傳統(tǒng)的異常檢測(cè)方法能檢測(cè)的異常種類(lèi)少且精度低,會(huì)導(dǎo)致告警不準(zhǔn)確、漏告警、誤告警數(shù)量多等問(wèn)題[5]。如果不能及時(shí)檢測(cè)異常,電網(wǎng)的穩(wěn)定將會(huì)面臨嚴(yán)重的威脅。因此,準(zhǔn)確快速地分析時(shí)間序列,挖掘出電網(wǎng)中存在的不同類(lèi)型的異常是亟待解決的問(wèn)題。

近年來(lái),許多研究人員一直在研究時(shí)間序列建模,特別是使用經(jīng)典的統(tǒng)計(jì)學(xué)方法如LOP(Local Outlier Factor)[6]、GMM(Gaussian Mixture Module)[7]、HMM(Hidden Markov Model)[8]、ARIMA(AutoRegressive Integrated Moving Average model)[9]。然而基于統(tǒng)計(jì)學(xué)的方法需要對(duì)大量的樣本數(shù)據(jù)進(jìn)行統(tǒng)計(jì),難以對(duì)高維數(shù)據(jù)進(jìn)行異常值檢測(cè)。除此之外,機(jī)器學(xué)習(xí)的方法也被廣泛應(yīng)用在時(shí)間序列異常檢測(cè)中,如隨機(jī)森林[10]和SVM(Support Vector Machine)[11]等。與其他機(jī)器學(xué)習(xí)問(wèn)題場(chǎng)景一樣,數(shù)據(jù)是否被標(biāo)記是選擇使用哪種方法的關(guān)鍵因素。用于異常檢測(cè)的數(shù)據(jù)挖掘技術(shù)一般可以分為3大類(lèi):監(jiān)督異常檢測(cè)、半監(jiān)督異常檢測(cè)和無(wú)監(jiān)督異常檢測(cè)。

時(shí)間序列數(shù)據(jù)的無(wú)監(jiān)督異常檢測(cè)是一項(xiàng)具有挑戰(zhàn)的任務(wù)。傳統(tǒng)的方法通常是基于距離的方法[12],如K-最近鄰KNN(K-Nearest Neighbor)算法[13]通過(guò)每個(gè)數(shù)據(jù)樣本與其K個(gè)最近鄰的平均距離來(lái)計(jì)算異常分?jǐn)?shù)。除此之外,聚類(lèi)模型[14]通過(guò)對(duì)時(shí)間序列進(jìn)行聚類(lèi),并使用預(yù)定義好的分?jǐn)?shù)來(lái)發(fā)現(xiàn)異常值。在基于分類(lèi)的方法中,如One-Class SVM[15],通過(guò)對(duì)訓(xùn)練數(shù)據(jù)的密度分布進(jìn)行建模,將多元時(shí)間序列數(shù)據(jù)分為正常的和異常的2類(lèi)。無(wú)監(jiān)督異常檢測(cè)算法僅根據(jù)數(shù)據(jù)實(shí)例的內(nèi)在屬性檢測(cè)異常值,不需要有標(biāo)簽的數(shù)據(jù),這類(lèi)算法比較靈活,但是其檢測(cè)精度沒(méi)有有監(jiān)督異常檢測(cè)的高。無(wú)監(jiān)督異常檢測(cè)可以用于未標(biāo)記數(shù)據(jù)樣本的自動(dòng)標(biāo)記,因此本文利用無(wú)監(jiān)督算法挖掘電網(wǎng)運(yùn)維監(jiān)控?cái)?shù)據(jù)中的潛在異常并自動(dòng)對(duì)其進(jìn)行標(biāo)記。

基于有監(jiān)督的異常檢測(cè)算法需要對(duì)數(shù)據(jù)集中的每個(gè)數(shù)據(jù)點(diǎn)進(jìn)行標(biāo)記,算法使用標(biāo)簽信息來(lái)學(xué)習(xí)正常實(shí)例和異常實(shí)例之間的差異。由于有監(jiān)督異常檢測(cè)算法能準(zhǔn)確識(shí)別正常實(shí)例和異常實(shí)例,因此其異常檢測(cè)準(zhǔn)確度更高。有監(jiān)督異常檢測(cè)的步驟為:首先對(duì)數(shù)據(jù)集進(jìn)行標(biāo)記;其次分類(lèi)器在標(biāo)記好的訓(xùn)練數(shù)據(jù)集上學(xué)習(xí)正常實(shí)例和異常實(shí)例,再使用標(biāo)記好的測(cè)試數(shù)據(jù)集去優(yōu)化分類(lèi)器;最后使用訓(xùn)練好的分類(lèi)器對(duì)目標(biāo)數(shù)據(jù)集中的異常進(jìn)行分類(lèi)。典型的有監(jiān)督異常檢測(cè)算法有決策樹(shù)CART(Classification And Regression Trees)[16]、支持向量機(jī)SVM[17]和神經(jīng)網(wǎng)絡(luò)模型(如循環(huán)神經(jīng)網(wǎng)絡(luò)RNN(Recurrent Neural Network)[18,19]、長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM(Long Short Term Memory networks)[20]、多層感知機(jī)MLP(MultiLayer Perceptron)[21]等)。基于有監(jiān)督的異常檢測(cè)算法的缺點(diǎn)是數(shù)據(jù)不平衡,在異常檢測(cè)領(lǐng)域,正常樣本比異常樣本多得多。為了彌補(bǔ)這一缺點(diǎn),本文提出了一種基于膠囊網(wǎng)絡(luò)的多維時(shí)間序列異常多分類(lèi)模型NNCapsNet(Neural Network-Capsule Network)。該方法根據(jù)電網(wǎng)實(shí)際運(yùn)維場(chǎng)景以及專(zhuān)家知識(shí),定義異常模式并在數(shù)據(jù)集中注入故障數(shù)據(jù)和異常數(shù)據(jù),同時(shí)利用無(wú)監(jiān)督算法挖掘數(shù)據(jù)集中的疑似異常并對(duì)其進(jìn)行標(biāo)記。針對(duì)數(shù)據(jù)集不平衡問(wèn)題,使用過(guò)采樣[22]和欠采樣[23]技術(shù)平衡正常數(shù)據(jù)和異常數(shù)據(jù)。與此同時(shí),深度學(xué)習(xí)的方法被廣泛應(yīng)用在基于分類(lèi)的算法中,比如膠囊網(wǎng)絡(luò)[24]。本文提出的模型在原有的膠囊網(wǎng)絡(luò)基礎(chǔ)上增加了2層CNN(Convolutional Neural Network),以充分提取時(shí)間序列的特征,用于捕獲時(shí)間序列的時(shí)間依賴(lài)性和相關(guān)性,處理多維時(shí)間序列數(shù)據(jù)并提取復(fù)雜的內(nèi)在特征,從而實(shí)現(xiàn)異常分類(lèi)。

本文實(shí)驗(yàn)數(shù)據(jù)集采集于國(guó)網(wǎng)寧夏電力有限公司營(yíng)銷(xiāo)業(yè)務(wù)應(yīng)用服務(wù)器生產(chǎn)的監(jiān)控?cái)?shù)據(jù)。為了解決訓(xùn)練數(shù)據(jù)集缺少標(biāo)簽的問(wèn)題,本文定義了異常模式并在數(shù)據(jù)集中注入異常數(shù)據(jù),結(jié)合無(wú)監(jiān)督算法挖掘數(shù)據(jù)集中的異常并進(jìn)行標(biāo)記。最后,將標(biāo)記好的數(shù)據(jù)集送入膠囊網(wǎng)絡(luò)中進(jìn)行異常分類(lèi)。

本文的主要工作如下所示:

(1)根據(jù)電網(wǎng)實(shí)際運(yùn)維場(chǎng)景,定義了訓(xùn)練數(shù)據(jù)集的異常模式,結(jié)合專(zhuān)家知識(shí)在現(xiàn)有數(shù)據(jù)集上注入異常數(shù)據(jù)和故障數(shù)據(jù),保障異常種類(lèi)的多樣性。此外,結(jié)合上采樣和過(guò)采樣的方法解決正負(fù)樣本不平衡問(wèn)題。

(2)基于無(wú)監(jiān)督算法標(biāo)簽化電力監(jiān)控大數(shù)據(jù),采用統(tǒng)計(jì)判別(3sigma)和無(wú)監(jiān)督算法(k-Means、隨機(jī)森林和one-class SVM)進(jìn)行判決,過(guò)濾大量正樣本并輸出疑似異常,結(jié)合專(zhuān)家知識(shí)對(duì)未標(biāo)記的數(shù)據(jù)集進(jìn)行標(biāo)注。

(3)提出了一種基于膠囊網(wǎng)絡(luò)的異常多分類(lèi)模型NNCapsNet,用于處理PC服務(wù)器監(jiān)控?cái)?shù)據(jù)的異常檢測(cè)問(wèn)題。該模型將卷積結(jié)構(gòu)與膠囊網(wǎng)絡(luò)疊加起來(lái)以分層提取運(yùn)維監(jiān)控時(shí)間序列的特征,并結(jié)合標(biāo)量和矢量計(jì)算來(lái)處理時(shí)間序列數(shù)據(jù)。

2 電力監(jiān)控大數(shù)據(jù)的清洗及其標(biāo)簽化

2.1 數(shù)據(jù)集介紹

本文實(shí)驗(yàn)數(shù)據(jù)集采集于國(guó)網(wǎng)寧夏電力有限公司營(yíng)銷(xiāo)業(yè)務(wù)應(yīng)用服務(wù)器生產(chǎn)的監(jiān)控?cái)?shù)據(jù)的監(jiān)控時(shí)序數(shù)據(jù),數(shù)據(jù)集的屬性如表1所示。該數(shù)據(jù)集提供了2020年3月1日到2020年5月31日的服務(wù)器監(jiān)控?cái)?shù)據(jù),采樣間隔為每5 min一次。數(shù)據(jù)集屬性的種類(lèi)包括:主機(jī)進(jìn)程個(gè)數(shù)、SysCpu使用率、NiceCpu使用率、UserCpu使用率、內(nèi)存負(fù)載、健康運(yùn)行時(shí)長(zhǎng)、主機(jī)CPU平均負(fù)載、IdleCpu使用率、虛擬內(nèi)存使用率和狀態(tài)(如表1所示)。

Table 1 Information of dataset attributein State Grid Ningxia Electric Power Co.,Ltd.表1 國(guó)網(wǎng)寧夏電力有限公司數(shù)據(jù)集屬性信息

通過(guò)對(duì)數(shù)據(jù)集屬性進(jìn)行分析,最終選擇UserCpu使用率、內(nèi)存負(fù)載和主機(jī)CPU平均負(fù)載這3個(gè)屬性作為異常檢測(cè)的衡量指標(biāo)(如圖1、圖2和圖3所示)。內(nèi)存負(fù)載可以反映服務(wù)器內(nèi)存變化的狀態(tài),主機(jī)CPU平均負(fù)載和UserCpu使用率可以從全局和局部體現(xiàn)CPU的健康狀況。這3個(gè)屬性可以全面體現(xiàn)服務(wù)器運(yùn)行狀況。

Figure 1 Trend of UserCpu usage rate changing over time圖1 UserCpu使用率隨時(shí)間變化的趨勢(shì)

Figure 2 Trend of memory load changing over time圖2 內(nèi)存負(fù)載隨時(shí)間變化的趨勢(shì)

Figure 3 Trend of host CPU average load changing over time圖3 主機(jī)CPU平均負(fù)載隨時(shí)間變化的趨勢(shì)

由于訓(xùn)練數(shù)據(jù)集缺乏標(biāo)簽,而且正常數(shù)據(jù)遠(yuǎn)多于異常數(shù)據(jù),因此本文需要對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理,注入異常數(shù)據(jù),使用無(wú)監(jiān)督算法挖掘疑似異常并對(duì)其進(jìn)行標(biāo)注。本文構(gòu)造數(shù)據(jù)集的方法包括3個(gè)步驟:定義異常模式、注入異常數(shù)據(jù)和使用無(wú)監(jiān)督算法挖掘疑似異常。

2.2 定義異常模式及注入異常數(shù)據(jù)

根據(jù)電網(wǎng)實(shí)際運(yùn)維場(chǎng)景及專(zhuān)家知識(shí),一共定義了10種類(lèi)型的故障數(shù)據(jù)。故障數(shù)據(jù)類(lèi)型及其對(duì)應(yīng)標(biāo)簽如表2和圖4所示。

Table 2 Fault data description表2 故障數(shù)據(jù)描述

Figure 4 Fault data types and their corresponding labels圖4 故障數(shù)據(jù)類(lèi)型及其對(duì)應(yīng)標(biāo)簽

當(dāng)UserCpu使用率、內(nèi)存負(fù)載及主機(jī)CPU平均負(fù)載這三者的使用率都達(dá)到100%時(shí),服務(wù)器卡死,標(biāo)注為1。當(dāng)內(nèi)存負(fù)載的使用率為0時(shí),無(wú)法訪問(wèn)內(nèi)存,標(biāo)注為2。當(dāng)三者的使用率都為0時(shí),服務(wù)器死機(jī),標(biāo)注為3。當(dāng)UserCpu使用率和主機(jī)CPU平均負(fù)載使用率都為0時(shí),無(wú)法訪問(wèn)CPU,標(biāo)注為4。當(dāng)UserCpu使用率及內(nèi)存負(fù)載為0時(shí),CPU和內(nèi)存同時(shí)故障,標(biāo)注為5。當(dāng)UserCpu使用率為0時(shí),應(yīng)用服務(wù)器中斷,標(biāo)注為6。當(dāng)內(nèi)存負(fù)載和主機(jī)CPU平均負(fù)載并未協(xié)調(diào)變化時(shí),服務(wù)器性能紊亂,服務(wù)器業(yè)務(wù)運(yùn)行狀態(tài)與實(shí)際監(jiān)控閾值設(shè)計(jì)邏輯不符。其中,內(nèi)存負(fù)載處于高峰狀態(tài)而主機(jī)CPU平均負(fù)載處于低峰狀態(tài),標(biāo)注為7;主機(jī)CPU平均負(fù)載處于高峰狀態(tài)而內(nèi)存負(fù)載處于低峰狀態(tài),標(biāo)注為8。當(dāng)內(nèi)存負(fù)載和UserCpu使用率并未協(xié)調(diào)變化時(shí),服務(wù)器性能紊亂,服務(wù)器業(yè)務(wù)運(yùn)行狀態(tài)與實(shí)際監(jiān)控閾值設(shè)計(jì)邏輯不符。其中,UserCpu使用率處于高峰狀態(tài)而內(nèi)存負(fù)載處于低峰狀態(tài),標(biāo)注為9;內(nèi)存負(fù)載處于高峰狀態(tài)而UserCpu使用率處于低峰狀態(tài),標(biāo)注為10。

根據(jù)定義好的異常的模式,挖掘數(shù)據(jù)集中異常的同時(shí)注入故障數(shù)據(jù),并采用過(guò)采樣及上采樣技術(shù)解決數(shù)據(jù)集不平衡問(wèn)題,使得每種異常類(lèi)型的數(shù)據(jù)都為400個(gè)。

2.3 基于無(wú)監(jiān)督算法標(biāo)簽化電力監(jiān)控大數(shù)據(jù)

除了已經(jīng)定義好的異常類(lèi)型,本文擬采用無(wú)監(jiān)督算法挖掘出數(shù)據(jù)集中的疑似異常。利用統(tǒng)計(jì)判別和無(wú)監(jiān)督算法過(guò)濾掉大量的正樣本,人工標(biāo)注正負(fù)樣本。本文利用集成學(xué)習(xí)的思想,采用了統(tǒng)計(jì)學(xué)上的異常檢測(cè)方法3-sigma,以及無(wú)監(jiān)督異常檢測(cè)算法孤立森林、k-Means聚類(lèi)以及one class SVM。 3-sigma算法及各種無(wú)監(jiān)督算法的原理如下所示:

(1)3-sigma[25]:數(shù)據(jù)需要服從正態(tài)分布。在3sigma原則下,異常值如果超過(guò)3倍標(biāo)準(zhǔn)差,那么可以將其視為異常值。如果數(shù)據(jù)不服從正態(tài)分布,也可以用遠(yuǎn)離平均值的3倍標(biāo)準(zhǔn)差來(lái)描述。

(2)孤立森林[10]:異常值是少量且不同的觀測(cè)值,因此更易于識(shí)別。孤立森林集成了孤立樹(shù),在給定的數(shù)據(jù)點(diǎn)中隔離異常值。和其他正常的數(shù)據(jù)點(diǎn)相比,異常數(shù)據(jù)點(diǎn)的樹(shù)路徑更短。

(3)k-means聚類(lèi)[26]:通過(guò)計(jì)算樣本對(duì)象到各聚類(lèi)中心的距離,在不斷的迭代循環(huán)中,將數(shù)據(jù)分配到k個(gè)類(lèi)簇中,并通過(guò)預(yù)定義好的分?jǐn)?shù)來(lái)發(fā)現(xiàn)異常值。

(4)one class SVM[15]:對(duì)訓(xùn)練數(shù)據(jù)的密度分布進(jìn)行建模,將時(shí)間序列數(shù)據(jù)分為正常的和異常的2類(lèi)。

多種算法的組合加強(qiáng)了對(duì)正常樣本的過(guò)濾能力,提高了分類(lèi)準(zhǔn)確率。無(wú)監(jiān)督算法檢測(cè)疑似異常如圖5所示。

Figure 5 Unsupervised algorithm detects suspected anomalies圖5 無(wú)監(jiān)督算法檢測(cè)疑似異常

如圖5所示,本文將多變量時(shí)間序列拆分為單變量時(shí)間序列,分別對(duì)UserCpu使用率、內(nèi)存負(fù)載及主機(jī)CPU平均負(fù)載進(jìn)行異常檢測(cè)。首先基于3-sigma算法檢測(cè)異常,在3-sigma原則下,如果樣本數(shù)據(jù)超過(guò)3倍標(biāo)準(zhǔn)差,那么可以將其視為異常值,直接標(biāo)注為疑似異常。若3-sigma算法檢測(cè)為正常,則使用無(wú)監(jiān)督算法進(jìn)行檢測(cè)并輸出疑似異常。k-Means算法首先對(duì)時(shí)間序列實(shí)施聚類(lèi),然后通過(guò)子序列到聚類(lèi)中心的距離來(lái)確定異常分?jǐn)?shù),當(dāng)異常分?jǐn)?shù)大于某一閾值的時(shí)候,將其判定為疑似異常。基于孤立森林的異常檢測(cè)算法規(guī)定了接近二叉樹(shù)根節(jié)點(diǎn)的數(shù)據(jù)為異常數(shù)據(jù),而正常數(shù)據(jù)遠(yuǎn)離二叉樹(shù)根節(jié)點(diǎn)。one class SVM算法對(duì)數(shù)據(jù)進(jìn)行建模,將異常數(shù)據(jù)劃分出來(lái)。若3-sigma算法檢測(cè)為正常時(shí),使用這3種無(wú)監(jiān)督算法進(jìn)行聯(lián)合檢測(cè),利用集成學(xué)習(xí)的思想,將2種或2種以上的算法認(rèn)定為異常的時(shí)間點(diǎn)標(biāo)記為疑似異常。

Figure 6 Label suspected anomalies mined based on statistical discrimination and unsupervised algorithms圖6 標(biāo)注基于統(tǒng)計(jì)判別和無(wú)監(jiān)督算法挖掘出的疑似異常

圖6顯示了如何標(biāo)注基于統(tǒng)計(jì)判別和無(wú)監(jiān)督算法挖掘出的疑似異常。首先分別使用無(wú)監(jiān)督算法對(duì)UserCpu使用率、內(nèi)存負(fù)載及主機(jī)CPU平均負(fù)載進(jìn)行異常檢測(cè)。如果在同一時(shí)間點(diǎn)UserCpu使用率和內(nèi)存負(fù)載都被檢測(cè)為異常,則標(biāo)注為11。與此同時(shí),當(dāng)在同一時(shí)間點(diǎn)內(nèi)存負(fù)載和主機(jī)CPU平均負(fù)載同時(shí)被檢測(cè)為異常,則標(biāo)注為12。當(dāng)在某個(gè)時(shí)間點(diǎn)只有UserCpu使用率異常時(shí),標(biāo)注為13。當(dāng)在某個(gè)時(shí)間點(diǎn)只有內(nèi)存負(fù)載異常時(shí),標(biāo)注為14。類(lèi)似地,當(dāng)在某個(gè)時(shí)間點(diǎn)只有主機(jī)CPU平均負(fù)載異常時(shí),標(biāo)注為15。由于正常數(shù)據(jù)遠(yuǎn)多于檢測(cè)出的疑似異常,因此本文采用過(guò)采樣技術(shù)解決數(shù)據(jù)集中正負(fù)樣本不平衡的問(wèn)題。

標(biāo)注好的實(shí)驗(yàn)數(shù)據(jù)集如表3所示,正樣本和負(fù)樣本的比例為1∶1,正負(fù)樣本數(shù)據(jù)條目都為7 000。其中負(fù)樣本包含15類(lèi)異常數(shù)據(jù),標(biāo)簽1到標(biāo)簽10的數(shù)據(jù)條目均為400,標(biāo)簽11到標(biāo)簽15的數(shù)據(jù)條目都為600。

Table 3 Information of the constructed dataset表3 構(gòu)造的數(shù)據(jù)集信息

3 本文模型

3.1 卷積操作獲取底層特征

卷積神經(jīng)網(wǎng)絡(luò)(CNN)在提取低級(jí)空間特征方面性能卓越,已經(jīng)被廣泛應(yīng)用于圖像識(shí)別[27]。傳統(tǒng)的CNN由3種類(lèi)型的層組成,即用于特征提取的卷積層、用于壓縮特征圖的池化層和用于整合局部特征的線(xiàn)性層[28]。其中,池化層可以對(duì)數(shù)據(jù)進(jìn)行降維,但是在采樣過(guò)程中可能會(huì)丟失重要的特征。因此,為了更準(zhǔn)確地提取運(yùn)維監(jiān)控時(shí)間序列的特征,只保留了卷積層。

輸入的時(shí)間序列首先與過(guò)濾器進(jìn)行一維卷積,通過(guò)滑動(dòng)窗口實(shí)現(xiàn)卷積操作,從而學(xué)習(xí)局部特征,最后進(jìn)行線(xiàn)性激活,如式(1)所示:

xtk=f(xt?αtk+bk)

(1)

其中,xt表示對(duì)應(yīng)于時(shí)間t的運(yùn)維監(jiān)控時(shí)間序列的輸入,xtk表示第k個(gè)特征,?表示卷積操作,αtk表示連接輸入的共享權(quán)重,bk表示偏差,f(·)表示激活函數(shù),本文選用ReLU函數(shù)。

3.2 動(dòng)態(tài)路由機(jī)制提取時(shí)間序列特征

3.2.1 膠囊

膠囊是多維向量神經(jīng)元,封裝了有關(guān)對(duì)象特征的重要信息[24]。總的來(lái)說(shuō),輸出向量的長(zhǎng)度代表某個(gè)類(lèi)別實(shí)例存在的概率,而方向代表了特征的位置、大小和方向等姿態(tài)信息。膠囊網(wǎng)絡(luò)作為一種新型的深度神經(jīng)網(wǎng)絡(luò),其特點(diǎn)在于膠囊之間是使用向量計(jì)算,而不是使用傳統(tǒng)的標(biāo)量計(jì)算。膠囊之間的向量計(jì)算可以檢測(cè)特定實(shí)例的存在,以運(yùn)維監(jiān)控時(shí)間序列的特征為例,其計(jì)算如圖7所示。

Figure 7 Capsule calculation in time series feature detection of operation and maintenance monitoring圖7 運(yùn)維監(jiān)控時(shí)間序列特征檢測(cè)中的膠囊計(jì)算

每一個(gè)時(shí)間序列膠囊是一個(gè)多維向量,表示為μi。每一個(gè)時(shí)間序列子膠囊對(duì)在一段時(shí)間內(nèi)提取的特征進(jìn)行編碼。然后,對(duì)父膠囊Vj進(jìn)行預(yù)測(cè),其表征時(shí)間序列的特征。其中,權(quán)重矩陣Wj表示第i個(gè)子膠囊與第j個(gè)父膠囊之間的部分-整體關(guān)系,其關(guān)系如式(2)所示:

(2)

3.2.2 動(dòng)態(tài)路由機(jī)制

運(yùn)維監(jiān)控時(shí)序特征提取的關(guān)鍵在于動(dòng)態(tài)路由。動(dòng)態(tài)路由是一種迭代路由機(jī)制,可以用于信息的選擇,確保從時(shí)序子膠囊中提取的特征可以發(fā)送到與預(yù)測(cè)最一致的時(shí)序父膠囊中。時(shí)間序列特征提取的動(dòng)態(tài)路由機(jī)制如圖8所示。在圖8中,小三角和小圓點(diǎn)都表示時(shí)序膠囊的預(yù)測(cè)向量,即運(yùn)維監(jiān)控時(shí)序特征。圖中的小圓點(diǎn)聚集在一起代表預(yù)測(cè)相似,而小三角點(diǎn)分散則代表預(yù)測(cè)差異大。從圖8可以看出,子膠囊層的時(shí)序膠囊通過(guò)耦合系數(shù)Cij連接到父膠囊層的時(shí)序膠囊,耦合系數(shù)Cij決定了時(shí)序膠囊的輸出,即需要提取的時(shí)間序列特征。

Figure 8 Dynamic routing mechanism for time series feature extraction圖8 用于時(shí)間序列特征提取的動(dòng)態(tài)路由機(jī)制

時(shí)序膠囊的預(yù)測(cè)需要大部分都指向同一個(gè)父膠囊的小圓質(zhì)心。時(shí)序子膠囊通過(guò)調(diào)整耦合系數(shù)Cij來(lái)決定路由到哪個(gè)時(shí)序父膠囊,耦合系數(shù)Cij由softmax函數(shù)計(jì)算,如式(3)所示:

Cij=exp(bij)/∑mexp(bmk)

(3)

(4)

其中,使用squash函數(shù)讓輸出向量的長(zhǎng)度不超過(guò)1,從而表示一個(gè)時(shí)序特征的檢測(cè)概率,如式(5)所示:

(5)

其中,下標(biāo)j代表第j個(gè)輸出向量。

式(3)中的臨時(shí)變量bij根據(jù)式(6)更新:

(6)

3.3 損失函數(shù)

膠囊網(wǎng)絡(luò)損失函數(shù)由2部分組成,即間隔損失 (Margin Loss)和重構(gòu)損失(Reconstruction Loss)。其中間隔損失函數(shù)如式(7)所示:

Lk=Tkmax(0,m+-‖vk‖)2+

λ(1-Tk)max(0,‖vk‖-m-)2

(7)

其中,當(dāng)k存在時(shí),Tk=1,否則Tk=0;m+表示懲罰假陽(yáng)性上界;m-表示懲罰假陰性下界;λ表示比例系數(shù)。

3.4 基于膠囊網(wǎng)絡(luò)的異常多分類(lèi)模型框架

電網(wǎng)信息設(shè)備監(jiān)控?cái)?shù)據(jù)是按時(shí)間順序排列的數(shù)據(jù),而影響時(shí)間序列分類(lèi)的重要特征可以由卷積層獲得。因此,為了充分獲取時(shí)間序列的局部特征,本文采用了3層1D-CNN進(jìn)行特征提取。本文模型將卷積結(jié)構(gòu)和膠囊子網(wǎng)絡(luò)疊加起來(lái),分層捕獲時(shí)序特征。基于膠囊網(wǎng)絡(luò)的異常多分類(lèi)模型如圖9所示。

Figure 9 Anomaly multi-classification model based on capsule network圖9 基于膠囊網(wǎng)絡(luò)的異常多分類(lèi)模型

基于膠囊網(wǎng)絡(luò)的異常多分類(lèi)模型主要分為4個(gè)部分:第1部分是特征提取層,使用了3層1D-CNN進(jìn)行特征提取,通過(guò)多個(gè)不同的卷積核在時(shí)間序列的不同位置提取特征;第2部分是子膠囊層,該層將原始局部時(shí)序數(shù)據(jù)特征封裝成含有低層特征的時(shí)序子膠囊,并使用squash函數(shù)進(jìn)行壓縮;第3部分是父膠囊層,在這一層中,時(shí)序膠囊通過(guò)與權(quán)重矩陣相乘來(lái)計(jì)算時(shí)序子膠囊與時(shí)序父膠囊的關(guān)系,然后根據(jù)動(dòng)態(tài)路由協(xié)議來(lái)更新上層時(shí)序膠囊的權(quán)重;第4部分是全連接膠囊層,該層將時(shí)序數(shù)據(jù)的標(biāo)簽轉(zhuǎn)換成一個(gè)概率分布,取概率值最大的作為最終的分類(lèi)結(jié)果。最后,再使用重構(gòu)網(wǎng)絡(luò)對(duì)最終生成的時(shí)序膠囊進(jìn)行重構(gòu),將重構(gòu)網(wǎng)絡(luò)生成的重構(gòu)誤差作為異常多分類(lèi)模型損失函數(shù)的一部分。

3.5 基于膠囊網(wǎng)絡(luò)的電網(wǎng)多維時(shí)間序列數(shù)據(jù)異常檢測(cè)流程

由于訓(xùn)練數(shù)據(jù)集缺乏標(biāo)簽,而且正常數(shù)據(jù)多于異常數(shù)據(jù),因此本文結(jié)合電網(wǎng)實(shí)際運(yùn)維場(chǎng)景及專(zhuān)家知識(shí)定義了電力信息系統(tǒng)典型業(yè)務(wù)服務(wù)器中的10種異常類(lèi)型,并在數(shù)據(jù)集中注入各種類(lèi)型的異常數(shù)據(jù)和故障數(shù)據(jù),保障異常種類(lèi)的多樣性。本文在數(shù)據(jù)集中一共標(biāo)注了15種異常,正常數(shù)據(jù)標(biāo)注為0。采用上采樣和過(guò)采樣技術(shù)解決數(shù)據(jù)集正負(fù)樣本不平衡問(wèn)題,使得正常數(shù)據(jù)和異常數(shù)據(jù)的比例為1∶1。最后使用NNCapsNet對(duì)標(biāo)注好的數(shù)據(jù)集進(jìn)行異常分類(lèi)。對(duì)應(yīng)的檢測(cè)流程如圖10所示。

基于膠囊網(wǎng)絡(luò)的電網(wǎng)多維時(shí)間序列數(shù)據(jù)異常檢測(cè)方法主要包括3個(gè)步驟:第1步是收集電網(wǎng)實(shí)際運(yùn)維場(chǎng)景的原始數(shù)據(jù)集,包括UserCpu使用率和內(nèi)存負(fù)載等;第2步是對(duì)收集好的數(shù)據(jù)集進(jìn)行標(biāo)記,根據(jù)定義好的異常模式,并基于無(wú)監(jiān)督異常檢測(cè)算法及統(tǒng)計(jì)學(xué)上的異常檢測(cè)方法挖掘數(shù)據(jù)集中的異常,同時(shí)注入故障數(shù)據(jù),并采用過(guò)采樣及上采樣技術(shù)解決數(shù)據(jù)集不平衡問(wèn)題,最終獲得的數(shù)據(jù)集如表3所示;第3步是將處理好的訓(xùn)練數(shù)據(jù)輸入2.4節(jié)描述的基于膠囊網(wǎng)絡(luò)的異常多分類(lèi)模型中,進(jìn)行異常數(shù)據(jù)多分類(lèi)實(shí)驗(yàn)。

Figure 10 Anomaly detection process of power grid multi-dimensional time series data based on capsule network圖10 基于膠囊網(wǎng)絡(luò)的電網(wǎng)多維時(shí)間序列數(shù)據(jù)異常檢測(cè)流程

4 實(shí)驗(yàn)及結(jié)果分析

4.1 實(shí)驗(yàn)設(shè)置

本文數(shù)據(jù)集采集于國(guó)網(wǎng)寧夏電力有限公司營(yíng)銷(xiāo)業(yè)務(wù)應(yīng)用服務(wù)器生產(chǎn)的監(jiān)控?cái)?shù)據(jù)的UserCpu使用率、內(nèi)存負(fù)載及主機(jī)CPU平均負(fù)載數(shù)據(jù),關(guān)于每個(gè)監(jiān)控?cái)?shù)據(jù)指標(biāo)的統(tǒng)計(jì)數(shù)據(jù)如表4所示。本文的所有算法均采用Python 3.8實(shí)現(xiàn),實(shí)驗(yàn)環(huán)境采用Window 10,AMD RyzenTM5 3550H with RadeonVega Mobile Gfx2.10 GHz,16 GB內(nèi)存。神經(jīng)網(wǎng)絡(luò)使用PyTorch 1.4.0+cu92實(shí)現(xiàn)。

Table 4 Information of modeling data 表4 建模數(shù)據(jù)信息

本文為了使輸入數(shù)據(jù)保留時(shí)間緯度,從時(shí)間戳中提取了年、月、日、分這4個(gè)緯度,再加上UserCpu使用率、內(nèi)存負(fù)載及主機(jī)CPU平均負(fù)載,最后輸入層的大小為71。本文實(shí)驗(yàn)的batchsize為100,訓(xùn)練次數(shù)為200,學(xué)習(xí)率為1e-3。特征提取層由3層1D-CNN(內(nèi)核大小為3,步幅為1,padding為2)組成。子膠囊層的膠囊為四維(4D),膠囊個(gè)數(shù)為16。父膠囊層則由16個(gè)八維(8D)膠囊組成,分別對(duì)應(yīng)于異常類(lèi)別的出現(xiàn)概率。更詳細(xì)的實(shí)驗(yàn)超參數(shù)如表5所示。

Table 5 Experimental parameters of NNCapsNet 表5 NNCapsNet實(shí)驗(yàn)參數(shù)

4.2 評(píng)估指標(biāo)

異常檢測(cè)模型有效性可以通過(guò)不同指標(biāo)進(jìn)行評(píng)價(jià)。本文使用ROC曲線(xiàn)畫(huà)出假陽(yáng)性率和真陽(yáng)性率的關(guān)系,通過(guò)計(jì)算ROC曲線(xiàn)下的面積AUC(Area Under the Curve)來(lái)評(píng)價(jià)模型的性能。AUC可以直觀反映分類(lèi)器的效果,值越大分類(lèi)效果越好。除此之外,本文還使用了準(zhǔn)確率Acc(Accuracy)、P(Precision)、R(Recall)和F1(F1-Score)來(lái)進(jìn)一步衡量模型的性能。它們的定義分別如式(8)～式(11)所示:

(8)

(9)

(10)

(11)

其中,P表示正確預(yù)測(cè)的正樣本數(shù)占所有預(yù)測(cè)為正樣本的數(shù)量的比值,R表示正確預(yù)測(cè)的正樣本數(shù)占真實(shí)正樣本總數(shù)的比值,F1為模型準(zhǔn)確率和召回率的調(diào)和平均值。

通過(guò)確定正確的標(biāo)簽是否在前k個(gè)預(yù)測(cè)標(biāo)簽中來(lái)計(jì)算 Topk準(zhǔn)確度。本文用Top1Acc來(lái)表示在前1個(gè)預(yù)測(cè)標(biāo)簽中計(jì)算準(zhǔn)確度,采用Top2Acc來(lái)表示在前 2個(gè)預(yù)測(cè)標(biāo)簽中計(jì)算準(zhǔn)確度。此外,AUC曲線(xiàn)的假陽(yáng)性率FPR及真陽(yáng)性率TPR的定義分別如式(12)和式(13)所示:

(12)

(13)

其中,TP表示真陽(yáng)性結(jié)果的數(shù)量,FP表示假陽(yáng)性結(jié)果的數(shù)量,TN表示真陰性結(jié)果的數(shù)量,FN表示假陰性結(jié)果的數(shù)量。

4.3 異常多分類(lèi)效果

4.3.1 使用測(cè)試集評(píng)估各標(biāo)簽的分類(lèi)情況

本文將數(shù)據(jù)集按6∶2∶2劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集,以評(píng)估NNCapsNet的性能,圖11和圖12給出了測(cè)試集各標(biāo)簽的分類(lèi)情況。其中,圖11使用柱狀圖直觀地反映各標(biāo)簽的分類(lèi)性能,圖12繪制了各標(biāo)簽的ROC曲線(xiàn)圖,依次是從標(biāo)簽0到標(biāo)簽15,實(shí)線(xiàn)為各個(gè)類(lèi)的ROC曲線(xiàn),點(diǎn)虛線(xiàn)為micro-average曲線(xiàn)圖,-虛線(xiàn)為macro-average曲線(xiàn)圖。從圖11和圖12中可以看出,各標(biāo)簽均取得了較好的分類(lèi)效果,其中標(biāo)簽1的分類(lèi)效果最好,Accuracy、AUC、P、R和F1均達(dá)到了1。這是因?yàn)闃?biāo)簽1的異常變化趨勢(shì)最明顯,模型可以很好地區(qū)分此類(lèi)異常。標(biāo)簽2、標(biāo)簽3、標(biāo)簽4、標(biāo)簽6、標(biāo)簽8和標(biāo)簽9均取得了較好的分類(lèi)效果,Accuracy、P、R和F1均達(dá)到0.95以上。其中除了標(biāo)簽2的AUC值為0.988以外,其余標(biāo)簽的AUC值均為1。這些標(biāo)簽的分類(lèi)效果沒(méi)有標(biāo)簽1的分類(lèi)效果好,這是因?yàn)檫@些標(biāo)簽的異常變化趨勢(shì)不如標(biāo)簽1那么明顯。除此之外,標(biāo)簽10、標(biāo)簽11、標(biāo)簽12及標(biāo)簽14的Accuracy、R和F1均達(dá)到了0.85以上,AUC值達(dá)到了0.98以上。無(wú)監(jiān)督異常檢測(cè)算法僅根據(jù)數(shù)據(jù)實(shí)例的內(nèi)在屬性檢測(cè)異常,因此檢測(cè)的異常數(shù)據(jù)的變化趨勢(shì)沒(méi)有人工標(biāo)注的異常數(shù)據(jù)那么明顯,標(biāo)簽2～標(biāo)簽9的分類(lèi)效果沒(méi)有標(biāo)簽1的分類(lèi)效果好。以上實(shí)驗(yàn)結(jié)果表明,NNCapsNet可以有效地識(shí)別多種異常模式并且檢測(cè)精度高,可以更高效、更精確地檢測(cè)故障,避免了因?yàn)闄z測(cè)不及時(shí)導(dǎo)致的機(jī)器損壞和業(yè)務(wù)損失,從而提高電網(wǎng)及其系統(tǒng)的穩(wěn)定性。

Figure 11 Classification results of various labels on the test set using NNCapsNet圖11 NNCapsNet在測(cè)試集上各標(biāo)簽的分類(lèi)結(jié)果

4.3.2 五折交叉驗(yàn)證

本文采用五折交叉驗(yàn)證法評(píng)估NNCapsNet的性能,表6和圖13總結(jié)了五折交叉驗(yàn)證的實(shí)驗(yàn)結(jié)果。如表6所示,5次驗(yàn)證的Top1Acc和Top2Acc的均值分別為0.9061 6和0.970 7,說(shuō)明NNCapsNet的異常分類(lèi)準(zhǔn)確率較高;在AUC方面,5次驗(yàn)證的AUC分別為0.982 1,0.982 1, 0.985 4,0.979 0和0.981 7,也反映了本文模型具有良好的分類(lèi)效果;5次驗(yàn)證的F1、P和R的均值分別為0.898 1,0.921 7和0.898 2,綜合反映了本文的NNCapsNet在異常分類(lèi)方面具有良好的性能。

4.3.3 特征提取層

表7和圖14總結(jié)了使用不同的CNN層作為特征提取層在五折交叉驗(yàn)證框架下的性能比較。其中,1層CNN代表原有的膠囊網(wǎng)絡(luò),2層～5層CNN代表本文在原有膠囊網(wǎng)絡(luò)的基礎(chǔ)上,增加了1層～4層的CNN作為特征提取層。實(shí)驗(yàn)結(jié)果表明,模型的性能隨著層數(shù)的增加而提高。峰值點(diǎn)在CNN層數(shù)為3時(shí),在那之后模型的性能開(kāi)始下降。當(dāng)使用3層CNN作為特征提取層時(shí),模型的性能最佳,其Top1Acc、Top2Acc、P、R和F1均高于其他多層CNN的,分別達(dá)到了0.906 2,0.970 7,0.921 7,0.898 2和0.898 1。此外,AUC值和其他多層CNN的相差無(wú)幾。這表明在原有膠囊網(wǎng)絡(luò)的基礎(chǔ)上增加CNN層作為特征提取層可以充分提取多維時(shí)間序列的局部特征,保留了時(shí)間序列的時(shí)間依賴(lài)性和相關(guān)性,從而提高異常分類(lèi)的準(zhǔn)確率。但是,當(dāng)CNN的層數(shù)不斷增加時(shí),特征提取層提取到的特征變得越來(lái)越相似,導(dǎo)致過(guò)度平滑,模型性能開(kāi)始下降。

Figure 12 ROC curve of each label on the test set using NNCapsNet圖12 NNCapsNet在測(cè)試集上各標(biāo)簽的ROC曲線(xiàn)

Table 6 Five-fold cross-validation results of NNCapsNet

Figure 13 Five-fold cross-validation charts of NNCapsNet圖13 NNCapsNet的五折交叉驗(yàn)證折線(xiàn)圖

Table 7 Performance comparison of different feature extraction layers under five-fold cross-validation framework表7 不同特征提取層在五折交叉驗(yàn)證框架下的性能比較

Figure 14 Performance comparison of different feature extraction layers圖14 不同特征提取層的性能比較

4.4 動(dòng)態(tài)路由迭代次數(shù)

表8和圖15總結(jié)了膠囊網(wǎng)絡(luò)中動(dòng)態(tài)路由迭代次數(shù)對(duì)模型性能的影響。實(shí)驗(yàn)結(jié)果表明,模型的性能隨著迭代次數(shù)的增加而提高。當(dāng)?shù)螖?shù)為3時(shí),模型的性能最佳,其Top1Acc、Top2Acc、AUC、P、R和F1分別達(dá)到了0.906 2,0.970 7, 0.982 1,0.921 7,0.898 2和0.898 1。當(dāng)?shù)螖?shù)不斷增加時(shí),模型性能開(kāi)始下降。

Table 8 Impact of numbers of dynamic routing iteration on model performance表8 動(dòng)態(tài)路由迭代次數(shù)對(duì)模型性能的影響

Figure 15 Line charts of impact of numbers of dynamic routing iteration on model performance圖15 動(dòng)態(tài)路由迭代次數(shù)對(duì)模型性能影響折線(xiàn)圖

4.5 與基準(zhǔn)模型的比較

為了進(jìn)一步驗(yàn)證基于膠囊網(wǎng)絡(luò)的異常多分類(lèi)模型NNCapsNet的有效性,在國(guó)網(wǎng)寧夏電力有限公司營(yíng)銷(xiāo)業(yè)務(wù)應(yīng)用服務(wù)器生產(chǎn)的監(jiān)控?cái)?shù)據(jù)上將NNCapsNet與4個(gè)基準(zhǔn)模型進(jìn)行了比較。4個(gè)基準(zhǔn)模型的具體描述如下所示:

(1)CNN:本文采用了4層一維卷積層對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行特征提取,全連接層用于對(duì)異常進(jìn)行分類(lèi),此外softmax層用于輸出樣本數(shù)據(jù)的標(biāo)簽。

(2)LightCNN[25]:在 CNN 的每個(gè)卷積層中引入了 maxout 激活的一種變體MFM(Max- Feature-Map)。MFM是通過(guò)競(jìng)爭(zhēng)關(guān)系來(lái)實(shí)現(xiàn)的,其不僅可以分離噪聲和信息信號(hào),還可以在2個(gè)特征圖之間起到特征選擇的作用。此外,還提出了一種語(yǔ)義引導(dǎo)方法,使網(wǎng)絡(luò)的預(yù)測(cè)與噪聲標(biāo)簽更加一致。

(3)AlexNet[30]:該架構(gòu)由8層組成,包括5個(gè)一維卷積層和3個(gè)全連接層。在該框架中,使用ReLU激活函數(shù)加速收斂,引入了池化層防止過(guò)擬合。

(4)CNN+RNN[31]:以不同方式結(jié)合了CNN和RNN。其中,CNN負(fù)責(zé)從數(shù)據(jù)集中提取有用的特征;RNN負(fù)責(zé)從提取的特征中找到隱藏的時(shí)間模式,它充當(dāng)了異常分類(lèi)器的角色。

表9和圖16顯示了NNCapsNet與其它4個(gè)模型的性能比較。很明顯,NNCapsNet在大多數(shù)關(guān)鍵指標(biāo)上都優(yōu)于其它4個(gè)模型的。NNCapsNet的AUC、Top1Acc值和Top2Acc分別達(dá)到了0.982 1,0.906 2和0.970 7,明顯高于其它4個(gè)模型的。除此之外,NNCapsNet的P、R和F1都取得了較高的值,分別達(dá)到了0.921 7,0.898 2和0.898 1。CNN在池化過(guò)程中會(huì)丟失部分特征,因此NNCapsNet的分類(lèi)效果高于CNN的。 AlexNet的網(wǎng)絡(luò)比CNN更大更深,使用了最大池化代替平均池化,AlexNet的分類(lèi)效果比CNN的要好,比NNCapsNet的差。CNN+RNN模型使用CNN提取特征,使用RNN充當(dāng)異常分類(lèi)器,然而一層CNN無(wú)法充分提取時(shí)序特征,因此CNN+RNN的分類(lèi)效果不如NNCapsNet的。總之,實(shí)驗(yàn)結(jié)果充分表明,NNCapsNet在時(shí)間序列異常多分類(lèi)方面具有較好的性能,可以有效提高運(yùn)維監(jiān)控?cái)?shù)據(jù)的異常檢測(cè)準(zhǔn)確性。

5 結(jié)束語(yǔ)

本文提出了一種基于膠囊網(wǎng)絡(luò)的多維時(shí)間序列數(shù)據(jù)異常多分類(lèi)模型,并對(duì)該模型進(jìn)行了綜合測(cè)試,還將其與其它異常多分類(lèi)模型進(jìn)行了比較。采用來(lái)自國(guó)網(wǎng)寧夏電力有限公司營(yíng)銷(xiāo)業(yè)務(wù)應(yīng)用服務(wù)器生產(chǎn)的監(jiān)控?cái)?shù)據(jù)驗(yàn)證了本文模型的可行性和有效性。實(shí)驗(yàn)結(jié)果表明,NNCapsNet可以檢測(cè)電力信息系統(tǒng)典型業(yè)務(wù)服務(wù)器的不同類(lèi)型的異常,并且檢測(cè)精度高,避免了故障檢測(cè)不及時(shí)導(dǎo)致的物理硬件損壞和線(xiàn)上業(yè)務(wù)中斷帶來(lái)的經(jīng)營(yíng)性損失,維持了電力信息設(shè)備及系統(tǒng)的穩(wěn)定和安全運(yùn)行。

Table 9 Performance comparison between NNCapsNet and other four models表9 NNCapsNet與其它4個(gè)模型的性能比較

Figure 16 Performance comparison between NNCapsNet and the other four models圖16 NNCapsNet與其它4個(gè)模型的性能比較