基于遷移學習和AlexNet的復合電能質量擾動識別

胡雪峰,張 亮

(南京工程學院電力工程學院,江蘇 南京 210000)

0 引言

隨著“碳達峰”“碳中和”戰略的不斷深入推進,接入電網的電源類型和規模發生較大的變化,以風電、光伏等為代表的新能源接入電網的比例不斷提高,電網的安全性和穩定性受到挑戰。近年來,高速牽引類機車、海量電動汽車以及大量的電力電子型非線性類負荷增大了電壓波動、諧波、振蕩等多種電能質量問題的發生概率。與此同時,各種精密儀器、智能電子設備也對供電質量提出了更高的要求,使得供電部門和電力用戶對電能質量擾動的識別和治理更加關注[1]。

在電能質量擾動識別問題研究中,目前較為流行的方法是將識別分為兩步。第一步是進行擾動信號的特征提取,即通過信號處理算法獲得電能質量擾動信號的特征信息。信號處理算法有快速傅里葉變換(fast Fourier transform,FFT)[2]、小波變換(wavelet transform,WT)[3]、S變換(S-transform,ST)[4]、希爾伯特-黃變換(Hilbert-Huang transform,HHT)[4]等。第二步是確定電能質量擾動的類型,可利用人工智能技術,如支持向量機(support vector machines,SVM)[5]、決策樹(decision tree,DT)[5]、人工神經網絡(artificial neural network,ANN)[6]等進行確定。上述方法在對電能質量擾動信號進行時頻域特征提取過程中,存在特征提取困難、特征量之間冗余度高的問題。這不僅有可能增加分類器的計算量,還可能會降低分類準確率。同時,伴隨著電力系統的復雜化,電網中增加了新的擾動和多種擾動相互疊加的復合擾動[7]。上述方法對新環境下的復合擾動識別往往難以滿足其分類需求。

目前,基于遷移學習的卷積神經網絡已經成為深度學習中新興且流行的技術。該技術是從原始輸入數據中自動提取數據特征,并實現不同數據的分類。尤其是在圖像、音頻和文本分類領域,該技術顯示出了優異的特征提取能力。一些學者使用該技術在電能質量擾動識別領域取得了先進的研究成果。文獻[8]利用深度學習提取電壓波動特征,從而實現電壓波動特征的識別。文獻[9]提出了基于格拉姆角場和卷積神經網絡相結合的電能質量擾動識別方法,將擾動信號變換成二維圖像,輸入構建好的卷積神經網絡模型中進行擾動識別。

為了解決上述方法中存在的特征提取困難問題,本文提出了基于遷移學習和AlexNet的復合電能質量擾動識別方法。該方法的思想是閉環反饋,即將信號特征提取過程和擾動分類過程放到同一閉環中訓練,從而實現從擾動信號到擾動類型的識別。

本文利用相空間重構法,首先將多種復合電能質量擾動信號轉化為對應的軌跡圖像;然后利用構建的基于遷移學習的AlexNet復合電能質量擾動模型自主有監督地對二維重構軌跡圖像進行學習,從而實現復合電能質量擾動類型的準確識別;最后開展仿真研究,利用仿真數據進行不同類型的電能質量擾動識別,以驗證本文方法的正確性。仿真結果表明,本文方法能夠準確且快速地識別出復合擾動類型。

1 電能質量擾動信號的相空間軌跡重構

1.1 電能質量擾動信號的相空間重構原理

由于電力系統本身是1個相當龐大、復雜的網絡,其產生的電能質量擾動信號通常是1個非線性、非平穩的時間序列信號。而相空間重構技術可將一維時間序列信號重構到高維相空間,再將其映射到二維平面以得到對應的軌跡圖像。其不僅包含了電能質量擾動信號時間序列特征,還包含了隱藏在電能質量擾動信號中的擾動特征[10]。

對于一維非線性且時間間隔為Δt的電能質量擾動信號時間序列x(ti),其中包含的數據信息有限。x(ti)∈R,i=1,2,...,n。通過相空間重構將其映射到高維相空間,不僅可以有效挖掘歷史數據信息,還可以避免人為隨機選擇帶來的主觀性和隨機性。對于1個復雜的非線性系統,其重構的相空間可以表示為:

Y(tfile:///C:/Users/HHYY/Desktop/07708/1-78/IMG_2207.JPGi)={x(ti),x(ti+2τ),…,x[ti+(m-1)τ]}

(1)

式中:x(ti)為電能質量擾動信號時間序列;m為嵌入維數;τ為時間延遲參數;Y(ti)為重構的相空間矩陣。

嵌入維數滿足以下關系:

m≥2d+1

(2)

式中:d為動力學中的系統維數。

由于d是動力系統的維數,在重構的Rm相空間軌跡線上,吸引子的幾何特征與原系統拓撲等價,即任何不變量的原始系統經過重構后的相空間狀態變量均可以計算。根據相空間重構理論,一維時序信號經相空間重構后的軌跡矩陣形式如下:

(3)

式中:k為相空間中相位點的個數。

1.2 多種擾動信號的相空間重構軌跡

本文根據IEEE Std.1159-2019建立電能質量擾動數學模型,以構建不同類型的電能質量擾動信號。這些信號分別為暫降(C1)、暫升(C2)、中斷(C3)、閃變(C4)、諧波(C5)、暫態振蕩(C6)、暫態脈沖(C7)、電壓缺口(C8)和電壓尖峰(C9)這9類單一擾動,以及由單一擾動組合成的暫降+中斷(C10)、暫降+電壓缺口(C11)、振蕩+電壓缺口(C12)、諧波+振蕩(C13)、暫降+尖峰(C14)、暫降+暫態脈沖(C15)、暫降+振蕩+電壓缺口(C16)、暫降+中斷+諧波(C17)、暫降+電壓尖峰+電壓缺口(C18)這9類復合擾動。擾動信號的振幅標準化為1 p.u.,基頻為50 Hz,采樣頻率為12.8 kHz,采樣周期為10個。1個周期包含256個采樣點。通過對上述電能質量擾動信號作相空間重構,可批量得到擾動信號的重構軌跡圖,并將其作為深度學習模型的輸入進行自主有監督學習,以實現擾動類型的識別。

部分電能質量擾動信號波形如圖1所示。

圖1 部分電能質量擾動信號波形圖

通過對電能質量擾動信號波形進行相空間變換,得到的部分電能質量擾動信號重構軌跡如圖2所示。

圖2 部分電能質量擾動信號重構軌跡圖

由圖2可知,不同類型擾動信號的重構軌跡有明顯的區別,因此可以將其作為基于遷移學習和AlexNet模型的輸入數據進行電能質量擾動類型識別。

2 基于遷移學習的擾動識別模型

2.1 遷移學習

隨著深度學習網絡層數的增加,深度學習網絡需要大量的訓練數據作為支撐。為了減少電能質量擾動數據的需求量,本文提出了1種基于遷移學習與網絡模型相結合的方法,對電能質量擾動信號重構軌跡圖像進行識別。遷移學習是將經過大量數據集訓練好的卷積神經網絡模型在新的任務目標數據集中進行二次訓練,即利用訓練好的網絡模型,通過調整模型的結構和細微參數來解決新目標任務的方法[11]。與原網絡模型相比,遷移學習的優勢是利用已有的最佳網絡模型,通過微調其參數來快速構建和研究所需的模型。

由于原始最佳網絡模型已經經過大量數據訓練,故在訓練過程中不但可以提高訓練模型的識別精度,而且可以大大降低訓練時間。本文主要以AlexNet作為預訓練模型,利用網絡模型結構和參數微調的遷移學習方法,實現對電能質量擾動類型的識別。

2.2 AlexNet網絡結構

AlexNet網絡結構如圖3所示。

圖3 AlexNet網絡結構圖

AlexNet網絡主要由5個模塊化結構組成。模塊1結構為卷積層1和卷積層2,主要包含2個卷積層、2個激活層、2個批量歸一化層和2個最大池化層。模塊2結構為卷積層3和卷積層4,主要包含2個卷積層和2個激活層。模塊3結構為卷積層5,主要包含1個卷積層、1個激活層和1個最大池化層。模塊4結構為全連接層6和全連接層7,主要包含2個全連接層、2個激活層和2個Dropout層。模塊5結構為全連接層8,主要包含1個全連接層和1個Softmax層。

基于遷移學習的AlexNet擾動識別模型主要是將AlexNet網絡結構中的模塊5替換為遷移模塊。

遷移模塊結構如圖4所示。

圖4 遷移模塊結構圖

基于遷移學習的AlexNet擾動識別模型如圖5所示。

圖5 基于遷移學習的AlexNet擾動識別模型

遷移模塊采用2個全連接層,以進一步增加網絡對擾動軌跡特征的自動提取能力。激活層采用ReLU函數,解決了模型隨網絡層數增加而逐漸退化的問題;同時,將遷移模塊中的最后1個全連接層的輸出大小調整為擾動信號類型的總數目。

圖4遷移模塊中的Softmax層用于判定擾動所屬的類型,并作為預測結果進行輸出。輸出的計算誤差通過交叉熵損失函數得出,并用于評估實際輸出與期望輸出的相近程度。其中,交叉熵損失函數為:

(4)

式中:W為權重矩陣;b為偏置向量;N為樣本數;K為擾動類型數目;tij為第i個樣本屬于類別j的概率;yij為類別j中樣本i的輸出概率。

2.3 超參數設置

在AlexNet網絡模型訓練時,超參數的調整屬于隨機優化問題。因為其最優組合既取決于網絡模型本身,又取決于軟件和硬件環境。基于遷移學習的AlexNet擾動識別模型的超參數是在多次調整后確定的。在利用AlexNet模型訓練時,本文選用批量訓練的方法,將數據集隨機分為訓練集和測試集。本文優化函數選取隨機梯度下降法,并設置動量為0.9、每次迭代使用的數據量為25、最大訓練回合數為10、初始學習率為0.000 1、數據打亂策略為每個訓練周期打亂1次。同時,為了抑制過擬合,本文設置Dropout層丟棄概率值為0.35,即隨機丟棄35%的節點。AlexNet模型的其他相關參數初始權重使用經ImageNet訓練得到的權重值。

3 算例研究

根據1.2節中所提到的數學模型,本文利用Matlab生成不同類型的電能質量擾動信號對應的重構軌跡圖。每類擾動信號的重構軌跡隨機生成500個樣本。本文隨機選取其中400個作為訓練集、100個作為測試集進行仿真驗證。基于遷移學習的AlexNet擾動識別模型訓練環境如下:操作系統為Windows10(64bit);CPU為Inter Cores A10-9600P@2.40 GHz;GPU為R8 M445DX;Matlab為2019b。

3.1 模型訓練結果及對比研究

為了驗證所提方法的有效性,本文利用仿真數據對遷移學習的AlexNet網絡模型進行訓練,同時在相同的訓練環境和參數下使用VGG16、GoogLeNet網絡模型的訓練結果與之對比。各網絡訓練模型曲線如圖6所示。

圖6 各網絡訓練模型曲線圖

訓練精度曲線用于表示模型識別精度隨迭代次數增加的波動的情況。由圖6(a)可知,在識別精度方面,AlexNet網絡模型和GoogLeNet網絡模型的識別精度均達到96%以上。在迭代到100次時,AlexNet網絡模型的識別精度收斂于99%。在迭代到240時,GoogLeNet網絡模型的識別精度收斂于96%并趨于穩定。在收斂速度方面,AlexNet網絡模型具有較高收斂速度。

訓練損失曲線用于表示模型識別結果與實際結果之間的偏差隨迭代次數增加而變化的情況。通常情況下,當損失值隨著迭代次數趨于穩定時,損失值越小,模型識別精度越高,即對應擾動識別準確率也越高。由圖6(b)可知,隨著迭代次數的增加,AlexNet和GoogLeNet網絡模型先趨于穩定,且AlexNet較GoogLeNet網絡模型的訓練損失值小,而VGG16網絡模型損失值最大。

3.2 識別結果分析

為了模擬實際電力系統中的真實擾動,本文在擾動信號中加入不同程度的噪聲,再獲取其對應的重構軌跡,從而進一步驗證基于遷移學習的AlexNet網絡模型的性能。不同網絡對復合電能質量擾動類型的識別率如表1所示。由于還未建立足夠大的電能質量擾動數據集,難以把上述各類網絡模型訓練到理想的分類效果。但就本文仿真所提供的相同樣本來看,在幾種模型中,基于遷移學習的AlexNet網絡模型對電能質量擾動識別效果最好。這表明采用AlexNet網絡作為預訓練模型,利用遷移學習的方法實現電能質量擾動的小樣本高精度分類具有優勢。同時,根據加入噪聲后的識別結果,可以發現經遷移學習后的AlexNet網絡模型具有較強的抗噪性。

表1 不同網絡對復合電能質量擾動類型的識別率

4 結論

本文提出了1種基于遷移學習與深度卷積網絡相結合的復合電能質量擾動識別方法。該方法首先運用相空間重構法將原始擾動信號轉化為二維軌跡圖像;其次通過構建基于遷移學習的AlexNet網絡模型進行擾動特征自動提取,進而實現對二維軌跡圖像的識別;最后基于仿真數據驗證了所提方法的正確性和有效性。驗證結果表明,所提方法在不同程度噪聲干擾下均具有較高識別精度。