基于改進對抗蒸餾的軸承故障分類方法

李星逸 付波 范秀香 權軼

摘要：針對工業現場條件下和農業機械設備故障數據典型樣本不充足導致軸承故障診斷精度低的問題，提出一種基于改進對抗蒸餾的軸承故障分類方法。使用對抗蒸餾方法進行軸承故障分類，讓學生網絡通過對抗學習教師網絡的軟標簽所提供的信息，同時生成器輸出與學生網絡輸出相似的樣本提供給判別器后修改學生網絡參數。提出退火改進對抗蒸餾方法，在對抗蒸餾中使用動態溫度進行訓練，增加生成器制作樣本難度，使教師網絡輸出的信息被更好地利用，以提高學生網絡泛化能力和魯棒性。試驗使用美國凱斯西儲大學軸承故障數據集驗證方法的有效性，利用所提出的方法訓練出的學生網絡在模擬現場軸承故障診斷分類任務中僅使用214 602個參數參與計算，準確率可達91.85%，提高故障診斷精度并節省設備的計算資源。

關鍵詞：軸承；故障診斷；知識蒸餾；對抗學習；模擬退火算法

中圖分類號：TP181

文獻標識碼：A

文章編號：2095-5553 （2024） 06-0178-06

收稿日期：2023年3月2日

修回日期：2023年4月23日

*基金項目：湖北省重點研發計劃項目（2021BAA193）

第一作者：李星逸，男，1998年生，江蘇徐州人，碩士；研究方向為故障診斷、深度學習。E-mail： lixingyigu@163.com

通訊作者：范秀香，女，1974年生，江西臨川人，高級實驗師；研究方向為信號處理。E-mail： fubofanxx@hbut.edu.cn

Bearing fault classification method based on improved countermeasures distillation

Li Xingyi， Fu Bo， Fan Xiuxiang， Quan Yi

（School of Electrical and Electronic Engineering， Hubei University of Technology， Wuhan， 430068， China）

Abstract： Aiming at the problem of low accuracy in bearing fault diagnosis caused by insufficient typical samples of fault data in the industrial domain and agricultural machinery， a bearing fault classification method based on improved adversarial distillation is proposed. The adversarial knowledge distillation method is used to classify the bearing faults. Based on the soft labels of the teacher network， the student network produces samples similar to those output by the student network. The modification of the parameters of the student network proceeds as the discriminator evaluates the samples. In this paper， an annealed modified adversarial distillation method is proposed to improve the robustness and generalization ability of the student network. With dynamic temperature training in adversarial distillation， the difficulty of generating samples is increased for more efficient utilization of information from the teacher network. The effectiveness of the method is verified through experiments based on the bearing fault dataset from Case Western Reserve University in the United States. The student network trained with the proposed method achieves an accuracy of 91.85% in the simulation of on-site bearing fault diagnosis classification task， with only 214602 parameters involved in the computation， which not only improves the accuracy of fault diagnosis but also saves computing resources of the equipment.

Keywords： bearing； fault diagnosis； knowledge distillation; adversarial learning; simulated annealing algorithm

0 引言

在各種大型裝備的旋轉機械、農機設備和傳動系統中，滾動軸承是系統的關鍵組件之一。其運行狀態對于設備的正常運行和安全性至關重要，對其進行故障診斷可以有效預防重大事故的發生^[1]。研究表明，電機故障中有40％～50％是由軸承故障引起的，而農機的故障中80%是由軸承故障引起的。隨著機器學習領域的迅速發展，利用機械設備運行數據特征訓練分類模型已經在該領域取得了巨大成功。深度神經網絡^[2]、卷積神經網絡（Convolutional Neural Networks，CNN）^[3]、自編碼器^[4]、支持向量機^[5]等在故障診斷領域發揮了重要的作用。本文將對故障數據進行特征提取和分類，并利用模型進行識別，以實現故障診斷的目的。

在實際農機使用、工業應用中，由于采集故障樣本的困難，往往無法滿足神經網絡模型的訓練需求，這會導致訓練網絡模型時出現過擬合或者擬合誤差較大的情況，從而無法應對該條件下的故障診斷。Zhu等^[6]將特征以分層的方式調整，將CNN的參數正則化，通過多個高斯核的線性組合計算采集過程中數據的損耗，提高了網絡自適應能力，成功應用于少標簽樣本條件下的軸承故障診斷。Vu等^[7]采用自我知識蒸餾方法，在無預訓練教師網絡的情況下，直接訓練學生網絡，提取學生網絡自身的知識，利用最優先前模型進行自我更新，逐步培訓學生網絡。邢曉松等^[8]提出了一種改進的半監督生成對抗網絡，利用對抗學習來強化網絡的分類能力使用了增強特征匹配算法，加速網絡的收斂速度。黃仲浩等^[9]將整個訓練過程分為多個階段的老師模型指導學生模型，采用逐層貪婪策略并在知識蒸餾框架中引入生成對抗結構，促使學生模型在不斷提升。

為了克服故障樣本不足導致的網絡泛化能力不足和學生網絡分類準確度低的問題，采用對抗知識蒸餾方法，讓學生網絡通過學習教師網絡提供的軟標簽來獲取有價值的信息。同時，生成器被用于輸出隨機對抗樣本，并將類似于教師網絡輸出的樣本提供給判別器以修改學生網絡權重，以使其模仿教師網絡的行為。之后，模擬退火算法被引入對抗蒸餾的過程中，以提高學生網絡的泛化能力和魯棒性，并更加平滑地學習到教師網絡的知識^[10]。

本文提出一種基于改進對抗蒸餾的學習軸承故障分類方法。使用知識蒸餾方法進行軸承故障分類模型訓練，并在試驗中對模型進行驗證。

1 改進對抗蒸餾

1.1 知識蒸餾

知識蒸餾的主要思想是以教師網絡預測結果的概率分布（即logits）為回歸目標訓練一個學生網絡模型，通過損失函數最小化的形式教師網絡把知識傳授給學生網絡模型。Hinton等^[11]提出知識蒸餾的概念，并對softmax功能進行改進，如式（1）所示。

式中：T——溫度參數；

z_i——前一級第i個神經元的輸出值；

z_j——前一級第j個神經元的輸出值；

P_i——第i個神經元輸出值的指數與所有神經元輸出值指數和的比值。

損失函數以教師網絡輸出的軟標簽為回歸目標，這個損失函數叫做蒸餾損失。在計算蒸餾損失時，添加原始數據標簽（即T=1時的真實標簽），采用軟標簽計算散度損失函數與硬標法計算標準損失（T=1）的加權和。這種損失被稱為“學生網絡損失”，如式（2）所示。

L=αL_CE（P_t，P_s）+（1－α）L_KD（Q_s，y_ture）（2）

式中：α——兩種損失函數的權重系數，根據不同數據樣本設定；

P_t——教師網絡在訓練中輸出的軟標簽；

P_s——學生網絡在訓練中輸出的軟標簽；

Q_s——學生網絡輸出的硬標簽；

y_true——正確的數據標簽；

L_CE——計算兩種網絡軟標簽的散度損失函數；

L_KD——計算Q_s與y_true距離的交叉熵損失函數。

知識蒸餾定義了一個雙目標損失函數，即式（2）中的L_KD和L_CE項，來最小化學生網絡的預測與軟標簽、硬標簽加權后的差值。在知識蒸餾訓練中，學生網絡在學習時會同時參考教師網絡的軟標簽和數據的偽標簽。

1.2 對抗蒸餾

對抗蒸餾（Adversarial Knowledge Distillation，AKD）是對于知識蒸餾的改進，它的目標也是在學生網絡中捕捉教師網絡中的知識，不同之處在于，它主動生成了一些對抗性樣本，這些樣本被用于在學生網絡中生成對抗性擾動。具體地說，對于每個訓練樣本，教師網絡會生成一個“軟標簽”作為學生網絡的參考，同時學生網絡會生成一個對抗性擾動來干擾原始樣本。學生網絡會嘗試最小化溫度縮放的KL散度以匹配教師網絡的軟目標，并在對抗性樣本上提高其預測的準確性^[12]。

對抗蒸餾采用的是GAN架構，生成器是學生網絡；判別器包含在損失函數直接對學生網絡進行訓練；教師網絡使用真實樣本作為訓練集；學生網絡用于生成所對應教師網絡中的知識作為生成樣本；生成器用于生成網絡softmax層所輸出的結果；判別器用于判定輸入的樣本是否為真實樣本的概率；在訓練的過程中，判別器的損失函數如式（3）～式（5）所示。

E_T=E_{FT（x）～PT（x）}[log（D（F_T（X）））]（3）

E_S=E_{FS（x）～PS（x）}[log（1－D（F_S（x）））]（4）

maxL_DD=E_T+E_S（5）

式中：E_T——教師網絡的分類損失；

E_S——學生網絡的分類損失；

F_T——教師網絡logits層前的特征圖；

F_S——學生網絡logits層前的特征圖；

P_T——教師網絡輸出的概率分布；

P_S——學生網絡輸出的概率分布；

L_D——分類器判別輸入樣本來自真實樣本的概率。

而生成器目標是需要通過不斷優化，盡可能使自己的輸出分布與教師網絡的輸出分布相似，達到讓判別器無法分辨程度。

在訓練過程中，生成器的損失函數如式（6）所示。

minL_FsFs=E_{Fs（x）～Ps（x）}[log（1－D（F_T（X）））]（6）

根據式（6）、式（7）就可以構造一組對抗學習的任務，優化對抗學習的損失函數會迫使學生網絡盡可能擬合教師網絡的輸出，從而盡可能地避免模型精度損失過多^[13]。學生網絡在訓練時，判別器會輸出結果并嘗試最小化其輸出后的教師網絡輸出之間的KL（Kullback-Leibler）散度損失，如式（7）所示。

L_KL=∑iP_ilogP_iQ_i（7）

式中：P_i——教師網絡在訓練中輸出的軟標簽；

Q_i——學生網絡在訓練中輸出的軟標簽。

以此通過最小化結果來對學生網絡進行參數調整。

1.3 退火蒸餾

退火算法（Simulated Annealing）是一種全局優化算法，其基本思路是：從一個隨機的初始解開始，逐步降低溫度直到停止搜索。在退火的過程中，概率接受更差解的概率會隨著溫度的降低而逐漸減小。知識蒸餾在其損失函數中存在溫度相關的參數，因此退火算法與知識蒸餾的邏輯契合度非常高。在本文所提出的方法中，退火算法的目標將會變為如何選擇合適的溫度策略，以便在搜索過程中合理控制教師網絡的logits層結果分布改變步長，以及逐步降低溫度達到變溫蒸餾的效果^[14]。溫度策略應該能夠平衡探索和利用的關系，以便在迭代訓練中解決傳統知識蒸餾中教師網絡和學生網絡結構差距越大訓練越困難的問題^[12]。

1.3.1 退火思想改進損失函數

退火思想改進的損失函數，如式（8）所示。

L_A=L_AKD（i）階段Ⅰ：1≤T_i≤T_max

L_CE階段Ⅱ：T=1（8）

式中：i——訓練過程中的當前訓練輪數；

T_i——溫度值在第i次訓練輪數時的溫度。

在每個訓練輪次中L_A（i）定義為

L_A（i）=||z_s（x）－z_t（x）×Γ（T_i）||²₂（9）

Γ（T）=T_max×1－T－1T_max1≤T≤T_max（10）

式中：Г（T）——退火函數；

Z_s——學生網絡的神經元的輸出值；

Z_t——教師網絡的神經元的輸出值。

退火算法的引入能夠在不同溫度下通過教師生成的軟標簽的逐步過渡，平穩地將教師的知識轉移到學生網絡中。

1.3.2 退火改進對抗蒸餾訓練過程

退火知識蒸餾將訓練分為兩個階段：第一階段，使用退火知識蒸餾損失函數L_A逐步訓練學生網絡模仿教師網絡的預測概率分布；第二階段，只使用L_CE硬標簽（即α=1， T=1）對學生網絡進行微調^[15]。

在階段Ⅰ開始時，設T₁=T_max使教師網絡以最“溫和”的方式指導學生網絡訓練，并在每輪訓練時隨著訓練輪數i的變化逐漸減小溫度T。此時的損失函數如式（11）所示。

L_AKD=βT∑iP_ilogP_iQ_i+（1－β）L_A（11）

式中：β——兩種損失函數的權重系數，根據不同數據樣本設定。

將KL散度用溫度縮放后與退火損失加權和。根據試驗的結果，可以發現增加溫度通常會使得對抗樣本制作更加困難，但此溫度下對于訓練具有提高魯棒性的作用^[12]。當訓練輪數i到達階段Ⅰ所設的訓練輪數最大值時，進入階段Ⅱ，此時Г（T）=1，教師網絡使用原始的logits指導學生網絡訓練。在不變且較低的溫度下，對抗樣本制作的成功率將會更高，此時學生網絡將進行微調并結束網絡的訓練。

退火知識蒸餾方法在動態溫度參數的控制下通過一個逐步過渡的軟標簽平穩地把教師網絡的知識傳授給學生網絡。降溫過程的邏輯單元和軟標簽變化示意圖如圖1所示。

邏輯單元值為迭代運算時所可能出現的演示結果。從圖1可以看到，當T增大時，softmax函數輸出的概率分布的差值會減小，被忽略邏輯單元的概率信息將會放大，但當溫度升高到一定程度時分布差距將趨于飽和，此時每個概率將趨近于1/N，其中N是類別數。在本文的試驗中，將預測集放入預訓練的教師網絡輸出的平均最大概率來確認的近似飽和溫度：經過計算在T=1時約為0.81，在T=30時約為0.16，在T =45時約為0.11。因此，T=45處對應于接近1/N=0.1的概率。

1.4 改進對抗蒸餾

訓練框架如圖2所示，首先利用軸承故障訓練集訓練教師網絡，設計退火函數、優化網絡參數。進行對抗蒸餾，利用教師網絡指導學生網絡學習軸承故障數據。最后通過損失函數不斷修正學生網絡^[16]。

2 試驗與結果分析

通過使用西儲大學軸承故障數據集進行對比試驗。試驗臺由一個1.5 kW的電動機、一個扭矩傳感器、一個功率測試計和電子控制器所組成。試驗對象為SKF6205驅動端軸承，采樣頻率為12 kHz和48 kHz，試驗數據采用48 kHz下的信號源^[17]。

2.1 試驗條件

模型使用Google的Tensorflow2.0和keras工具箱搭建，試驗平臺為python3.8+anaconda，所用的PC配置為AMD5800H，顯卡采用6 G NVIDIA GTX1660Ti。

2.2 模型參數

文中使用的知識蒸餾中教師網絡與學生網絡均為卷積神經網絡，其模型參數如表1所示。

表1 網絡模型參數

Tab. 1 Network model parameter參數數值教師網絡卷積層數2教師網絡池化層數2學生網絡卷積層數1學生網絡池化層數1卷積核大小40×1卷積核數目4池化尺寸10×1優化器SDG優化器學習率0.01Dropout比率/%30

2.3 數據集介紹

試驗平臺模擬的軸承故障為內圈故障、外圈故障和滾動體故障，另外使用正常軸承的信號數據作為比對，每個樣本包含800個數據采集點，選取三種不同故障直徑下的故障樣本組成訓練集。在農工業現場中，典型標簽樣本在許多情況下不能滿足網絡訓練需要，并且這些數據還可能存在標簽分類極不均衡的情況，例如帶某種標簽的監督數據只有極少數或故障樣本間數量差異巨大。基于此類情況，將使用正常數據400個，第1～3類故障數據為故障直徑0.177 8 mm下的內圈故障、外圈故障和滾動體故障，每類100個，第4～6類為故障直徑0.355 6 mm下的組合故障，每類80個，第7類為故障直徑0.533 4 mm的內圈故障每類30個，第8類為故障直徑0.533 4 mm下的外圈故障20個，第9類故障直徑0.533 4 mm下的滾動體故障數據10個，總計1000個標簽樣本數據以6∶2∶2的比例分為訓練集、測試集和驗證集作為模擬真實現場情況的數據集。其目的為測試在故障樣本數量不同時，網絡對于故障識別分類的能力。

2.4 試驗過程及結果分析

本文基于知識蒸餾與對抗學習的理論結合，提出了一種軸承故障診斷方法，以確保學生網絡的軸承故障診斷分類的準確度。使用西儲大學軸承故障數據集進行三種消融試驗來驗證本文所提出的方法有效性。

2.4.1 不同網絡或不同訓練方法結果對比

通過6組試驗來驗證此方法的有效性：第一組是直接訓練與學生網絡相同結構的卷積網絡；第二組是直接使用ResNet18網絡進行訓練；第三組是通過使用MobileNet網絡進行訓練；第四組是利用傳統知識蒸餾的方式使教師網絡指導學生網絡訓練，溫度設定為8（T=8）；第五組是利用對抗知識蒸餾的方式訓練學生網絡，溫度設定為8（T=8）；第六組是教師網絡通過改進知識蒸餾的方式引導學生網絡訓練。

采用少量數據預訓練，對比目前對于不同輕量級網絡或不同訓練方法所得的分類準確率，表2為不同網絡或訓練方法的訓練結果，試驗中設置網絡最大迭代次數為300，使用隨機梯度下降方法。

從表2中可以看出：小型的卷積神經網絡在進行直接數據訓練時容易過擬合導致訓練效果不佳；知識蒸餾所訓練出的學生網絡與目前常用的ResNet和MobileNet差距不大，但參數量卻小很多，僅為214 602，約為MobileNet的十分之一；本文所提出的改進知識蒸餾的分類準確率明顯高于另外兩種深度網絡。總體而言，改進對抗蒸餾的方式在六組試驗中具有更高的診斷準確性。

2.4.2 不同溫度下的對抗蒸餾對比

在溫度較高時訓練的教師網絡輸出的結果信息將會被放大，這些信息中包含著對于非對映標簽樣本對于此標簽的特征相似度；而當溫度較低時，這些特征相似信息將被忽略。在高溫下模型雖然可以接收到此類信息但由于教師網絡輸出結果差異較小，往往會誤導學生網絡，導致學生網絡故障分類準確率低。所以最為理想的情況便是在訓練開始使用高溫，而在訓練后期使用低溫。接下來的試驗測量了溫度對對抗樣本生成的影響，在知識蒸餾中不同的溫度設置會影響softmax層輸出的概率分布，即溫度只在訓練時起作用。這里的目標是確定“最佳”的訓練溫度，從而實現對于學生網絡和數據集的對抗樣本的魯棒性。測量了在2，5，10，20，50，100和本文退火思想優化后的蒸餾溫度T對學生網絡的診斷準確度。表3為蒸餾溫度對對抗蒸餾的對于故障分類準確率的比較。根據上文所提到的溫度飽和度計算，當初始溫度T=45時，各個結果之間輸出結果較小，效果不佳，經過多次試驗比較選擇T=30為初始溫度。

根據試驗可以看出對抗知識蒸餾的溫度對于訓練結果有一定的影響，本文提出的退火溫度對比溫度不變的訓練，在一定程度上有著不錯的效果。

2.4.3 不同訓練方法下的各類故障分類準確率

在2.4.1節已經探討了對10分類標簽樣本的分類準確率，而本試驗將會通過不同數量的標簽樣本通過對學生網絡在不同方法的訓練下的故障分類準確性。以內圈故障為例，將數據集重新創建為每組樣本數為600的四分類數據集5組進行試驗，分別為內圈故障樣本150、100、75、50、25個，其余部分將使用正常數據、外圈故障和滾動體故障以相同的數量進行填充。內圈試驗完成后以相同的邏輯重新為外圈故障和滾動體故障制作數據集。如圖3所示，其結果為多次訓練的平均值，表明本文提出的基于改進對抗蒸餾軸承故障分類方法的有效性。在樣本數量不足的情況下讓與學生網絡結構相同的卷積神經網絡直接進行訓練^[18]，其故障識別分類的準確率會有著明顯降低，而采用知識蒸餾方法利用教師網絡指導學生網絡訓練即使樣本數量很少，也保持著較高的準確率。對抗蒸餾通過學生網絡不斷生成對抗樣本的方式進行類似半監督訓練，無論樣本數量是否充足，都對于故障有著較高的分類準確率。基于改進對抗蒸餾軸承故障分類方法都在此數據集中得到了有效驗證。由于樣本數據的不同，分類準確率會有著不同程度的改變，例如外圈故障的故障分類準確率低于內圈故障和滾動體故障，但總體趨勢并未改變，本文提出的方法依然存在著優勢。

由此可見，本文提出的基于改進對抗蒸餾軸承故障分類方法不僅提升學生網絡對于軸承故障診斷分類能力，還可節省農機、工業現場所使用智能設備的計算資源。

3 結論

1） 本文提出一種改進對抗蒸餾方法，旨在解決農業機械、工業現場軸承故障樣本數量不足、故障樣本數量分布不均衡等問題，以提高軸承故障診斷分類的準確性。

2） 為了使學生網絡能夠準確地判斷出復雜的現場情況，本文提出了不斷進行對抗方法，保證了學生網絡對于不同環境下軸承故障診斷分類的性能。在迭代過程中逐步過渡溫度，使得學生網絡以循序漸進的方式跟隨訓練輪次的訓練學生網絡。為了模擬典型標簽樣本較少的場景，試驗中使用差異化故障樣本數量，驗證了訓練的學生網絡對軸承故障診斷分類相較于傳統方法的有效性和準確率增長。

3） 利用改進對抗蒸餾方法訓練出的學生網絡進行模擬現場軸承故障診斷分類任務，僅使用214602個參數參與計算，準確率可達91.85%。

4） 此方法在農機、工業使用的軸承故障檢測的應用中具有更好的優勢和實際的應用價值。

參 考 文 獻

[1]Wang Jing， Zhao Bo， Zhou Hua. Rolling bear fault recognition based on improved sparse decomposition [J]. 2018 37th Chinese Control Conference（CCC）， 2018： 676-680.

[2]Abbasion S， Rafsanjani A， Farshidianfar A， et al. Rolling element bearings multi-fault classification based on the wavelet denoising and support vector machine [J]. Mechanical Systems and Signal Processing， 2007， 21（7）： 2933-2945.

[3]Han J H， Choi D J， Hong S K， et al. Motor fault diagnosis using CNN based deep learning algorithm considering motor rotating speed [C]. 2019 IEEE 6th International Conference on Industrial Engineering and Applications （ICIEA）. IEEE， 2019， 68（3）： 440-445.

[4]Zhong Xu， Mo Wenxiong， Wang Yong， et al. Transformer fault diagnosis based on deep brief sparse autoencoder [C]. 中國自動化學會控制理論專業委員會， 中國自動化學會， 中國系統工程學會. 第三十八屆中國控制會議論文集（5）.上海系統科學出版社， 2019： 1087-1090.

[5]Lu P， Xu D P， Liu Y B. Study of fault diagnosis model based on multi-class wavelet support vector machines [C]. International Conference on Machine Learning & Cybernetics. IEEE， 2005， 7： 4319-4321.

[6]Zhu Jun， Chen Nan， Shen Changqing. A new deep transfer learning method for bearing fault diagnosis under different working conditions [J]. IEEE Sensors Journal， 2020， 20（15）： 8394-8402.

[7]Vu D Q， Le N， Wang J C. Teaching yourself： A self-knowledge distillation approach to action recognition [J]. IEEE Access， 2021（9）： 105711-105723.

[8]邢曉松， 郭偉. 基于改進半監督生成對抗網絡的少量標簽軸承智能診斷方法[J]. 振動與沖擊， 2022， 41（22）： 184-192.

Xing Xiaosong， Guo Wei. Intelligent diagnosis method for bearings with few labelled samples based on an improved semi-supervised learning-based generative adversarial network [J]. Journal of Vibration and Shock， 2022， 41（22）： 184-192.

[9]黃仲浩， 楊興耀， 于炯， 等. 基于多階段多生成對抗網絡的互學習知識蒸餾方法[J]. 計算機科學， 2022， 49（10）： 169-175.

Huang Zhonghao， Yang Xingyao， Yu Jiong， et al. Mutual learning knowledge distillation based on multi-stage multi-generative adversarial network [J]. Computer Science， 2022， 49（10）： 169-175.

[10]Heo B， Lee M， Yun S， et al. Knowledge distillation with adversarial samples supporting decision boundary [C]. AAAI Conference on Artificial Intelligence. Honolulu， USA： AAAI， 2019： 3771-3778.

[11]Hinton G， Vinyals O， Dean J. Distilling the knowledge in a neural network [J]. Computer Science， 2015， 14（7）： 38-39， 9.

[12]Papernot N， Mcdaniel P， Wu X， et al. Distillation as a Defense to adversarial perturbations against deep neural networks [C]. 2016 IEEE Symposium on Security and Privacy （SP）. IEEE， 2016.

[13]Jafari A， Rezagholizadeh M， Sharma P. Annealing knowledge distillation [J]. Association for Computational Linguistics， 2021： 2493-2504.

[14]費霞. 基于對抗蒸餾與自動機器學習的神經網絡壓縮研究[D]. 西安：西安電子科技大學， 2021.

Fei Xia. Research on deep neural network compression based on knowledge distillation with adversarial learning and automated machine learning [D]. Xian： Xidian University， 2021

[15]陶啟生. 基于CNN和遷移學習的軸承故障診斷方法研究[D]. 株洲： 湖南工業大學， 2021.

Tao Qisheng. Research on bearing fault diagnosis method based on CNN and transfer learning [D]. Zhuzhou： Hunan University of Technology， 2021.

[16]趙振兵， 金超熊， 戚銀城， 等. 基于動態監督知識蒸餾的輸電線路螺栓缺陷圖像分類[J]. 高電壓技術， 2021， 47（2）： 406-414.

Zhao Zhenbing， Jin Chaoxiong， Qi Yincheng， et al. Image classification of transmission line bolt defects based on dynamic supervision knowledge distillation [J]. High Voltage Engineering， 2021， 47（2）： 406-414.

[17]Xu D， Xiao J， Zhao Z， et al. Self-supervised spatiotemporal learning via video clip order prediction [C]. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2019： 10326-10335.

[18]Papernot N， Mcdaniel P， Goodfellow I， et al. Practical black-box attacks against machine learning [J]. In： Proc. of the 2017 ACM on Asia Conf. on Computer and Communications Security， 2017： 506-519.