基于深度學習的輸電線路故障預測方法研究

茹潔宣

（北京博望華科科技有限公司工程咨詢分公司，北京 豐臺 100071）

輸電線路的穩(wěn)定運行對于保證電力系統(tǒng)的可靠性至關重要，準確地預測和識別輸電線路的故障對于保障電力系統(tǒng)的穩(wěn)定和減少電力故障帶來的負面影響具有重要意義。隨著人工智能的發(fā)展，深度學習技術已成為解決這一問題的有力工具，使用深度學習技術不僅能對多種目標進行特征提取，還能夠有效減少干擾區(qū)域，提高輸電線路部件故障圖像檢索的準確率[1]。目標檢測領域涌現(xiàn)出了大量深度網(wǎng)絡模型，如ZFNet、VGGNet、GooleNet 等已被提出，但它們需要大量計算資源，不適用于移動設備。相對地， MobileNet 和混洗網(wǎng)絡（ShuffleNet）等輕量級網(wǎng)絡則更適合嵌入式設備[2]。使用卷積神經(jīng)網(wǎng)絡（convolutional neural networks，CNN）對圖像進行高維數(shù)據(jù)處理并自動提取特征，從而實現(xiàn)對輸電線路故障的高效和準確檢測，這成為了檢驗輸電線路故障預測的可行方案。

本文將結合無人機所拍攝輸電線路照片和深度學習技術，以實現(xiàn)對輸電線路故障的準確預測，為了確保模型的準確性和魯棒性，本研究將采用遷移學習技術，讓模型在有限的標記數(shù)據(jù)上進行微調(diào)，讓模型具有更強的泛化能力。

1 所選取的方法

首先通過數(shù)據(jù)增強技術對少量樣本圖像（如導線斷股和絕緣子“自爆”等）進行擴充，經(jīng)過圖像預處理步驟，選擇基于MobileNet 架構的CNN 作為核心模型架構，采用深度分離卷積技術來減少模型的參數(shù)數(shù)量，利用預訓練的模型作為初始化，遷移學習并重新構建了相應的深度學習網(wǎng)絡模型[3]，將基于大規(guī)模圖像數(shù)據(jù)的預訓練深度卷積模型進行定制，為了增強模型對輸電線路絕緣子圖像中不同區(qū)域的關注，提高模型對絕緣子狀態(tài)和故障的識別能力，本研究引入了Transformer 的注意力機制，增強模型對圖像的理解。在模型訓練和優(yōu)化過程中，采用了遷移學習和域自適應技術以提高在有限數(shù)據(jù)情況下模型的性能和泛化能力。為了優(yōu)化模型的分類性能，本研究選擇了交叉熵損失函數(shù)來度量模型的預測與實際標簽之間的差異，并采用了自適應矩估計法（Adam）優(yōu)化器來實現(xiàn)有效的參數(shù)更新和快速收斂。

1.1 數(shù)據(jù)集及預處理

為提高設備缺陷故障識別精度并減少訓練過擬合問題，本研究選擇了不同視角和高度進行樣本拍攝，獲取多角度、多尺度的絕緣子圖像。選擇的絕緣子數(shù)據(jù)集共有1 800 張圖像，其中1 500 張是正常絕緣子（如圖1 所示），300 張是帶有缺陷的絕緣子合成圖像（如圖2 所示），并進行了數(shù)據(jù)標注。

圖1 正常的絕緣子

圖2 帶有缺陷的絕緣子合成圖像

合成圖像在視覺上逼真且能夠模擬發(fā)生玻璃絕緣子的“自爆”故障。為了增加模型的泛化能力和魯棒性，應用數(shù)據(jù)增強技術對圖像旋轉、水平和垂直翻轉、亮度和對比度進行調(diào)整。將所有圖像調(diào)整為統(tǒng)一的尺寸，進行歸一化，將圖像中的每個像素值從其原始范圍調(diào)整到0～1 的范圍，提高模型訓練的效率，加快收斂速度，提高模型的泛化能力。

1.2 算法結構介紹

1.2.1 MobileNet 卷積神經(jīng)網(wǎng)絡選擇及架構細節(jié)

本研究選擇了MobileNet 卷積神經(jīng)網(wǎng)絡作為基礎模型架構，MobileNet 是為移動和嵌入式設備設計的輕量級卷積神經(jīng)網(wǎng)絡架構（如圖3 所示），它通過深度可分離卷積（depthwise separable convolution）將傳統(tǒng)的卷積操作分解為兩個獨立的操作，對每個通道單獨進行卷積（即深度卷積），然后通過1 × 1 的卷積（即點卷積）將不同通道的信息融合減少了模型的參數(shù)數(shù)量和計算量，同時保持了良好的圖像特征提取能力。在深度卷積中，每個輸入通道分別通過一個卷積濾波器進行卷積操作，能夠減少計算量和參數(shù)數(shù)量，同時保留每個通道的特征信息。該架構包括多個卷積層、深度可分離卷積層和池化層，使用ReLU（rectified linear unit）激活函數(shù)來增加模型的非線性表達能力。在卷積和池化操作后，MobileNet 包含全連接層和Softmax 層，用于分類任務。全連接層負責學習特征之間的非線性關系，而Softmax 層將網(wǎng)絡輸出轉換為分類預測的概率分布。

圖3 模型架構示意圖

通過MobileNet 的多層卷積和池化操作，模型能夠從原始圖像中提取出有用的特征，這些特征能夠幫助模型識別絕緣子的狀態(tài)和可能的故障。在特征提取的基礎上，通過全連接層和激活函數(shù)完成絕緣子狀態(tài)的分類和預測。為了度量模型的預測與真實標簽之間的差異，并指導模型的訓練和優(yōu)化，本研究選擇了損失函數(shù)交叉熵損失。

1.2.2 Transformer 的注意力機制引入

本研究中，引入了Transformer 的注意力機制，以增強模型對輸電線路絕緣子圖像中不同區(qū)域的關注，并提高模型對于絕緣子狀態(tài)和故障的識別能力。Transformer 的注意力機制是通過其多頭自注意力（Multi-Head Self-Attention）組件實現(xiàn)的，它能夠在多個維度上捕捉圖像中的局部和全局依賴關系。這種機制能夠使模型在不同的視野范圍內(nèi)識別和關注圖像中的關鍵特征和模式。在模型設計階段，將注意力機制與MobileNet 的傳統(tǒng)卷積神經(jīng)網(wǎng)絡結構相結合，在特征提取的后階段引入了注意力機制，在捕獲絕緣子圖像基礎特征的同時，能夠讓模型對圖像中的重要區(qū)域給予更多的關注。引入注意力機制不僅增強了模型的特征提取和表示能力，還為模型提供了一種有效的方式來理解和解釋圖像中的復雜模式和結構。通過注意力機制的引入，模型能夠在多個尺度上理解圖像內(nèi)容，對于不同的圖像區(qū)域賦予不同的關注權重，從而更好地捕捉和利用圖像中的重要信息。

這種機制的引入為模型帶來了更為豐富和多層次的特征表達，有助于模型在絕緣子狀態(tài)分類和預測任務上取得更好的效果。在模型的設計中，將注意力機制與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡結構相結合，在特征提取后的階段引入了注意力機制，使模型能夠在捕獲絕緣子圖像基礎特征的同時，也能夠?qū)D像中的重要區(qū)域給予更多的關注。通過這種方式，模型能夠在處理輸電線路絕緣子圖像時，具有更強的區(qū)分和識別能力，從而提高故障預測的準確率和可靠性。通過引入注意力機制，不僅增強了模型的特征提取和表示能力，也為模型提供了一種有效的方式來理解和解釋圖像中的復雜模式和結構。

在特征提取和注意力機制的基礎上，設計了多個全連接層來進行特征的進一步整合。全連接層能夠?qū)W習特征之間的非線性關系，并為分類提供必要的信息。在全連接層的輸出端，應用激活函數(shù)ReLU 以增加模型的非線性表達能力，并將網(wǎng)絡輸出轉化為分類預測的概率分布。最終的輸出層是Softmax 層，它可以將網(wǎng)絡的輸出轉化為各類別的預測概率。通過比較這些概率，可以確定模型的預測結果，并判斷絕緣子的狀態(tài)。

為了優(yōu)化模型的分類性能，選擇了交叉熵損失函數(shù)來度量模型的預測與實際標簽之間的差異。交叉熵損失函數(shù)被選為度量模型預測與真實標簽之間差異的損失函數(shù)。交叉熵損失函數(shù)是分類問題中常用的損失函數(shù)，可以有效地衡量模型預測的概率分布與真實標簽的概率分布之間的差異。模型的輸出層包含Softmax 激活函數(shù)，該函數(shù)將網(wǎng)絡的原始輸出轉換為各類別的預測概率。交叉熵損失函數(shù)通過比較這些預測概率與真實標簽的概率分布，交叉熵損失函數(shù)的值越低，表示模型的預測概率分布與真實標簽的概率分布越接近，即模型的預測性能越好。

在訓練過程中，通過梯度下降算法和反向傳播算法，不斷更新模型的參數(shù)以最小化交叉熵損失，從而使模型的預測性能逐漸提高。初始學習率設置為0.001，并采取學習率衰減策略，每過10 個訓練輪數(shù)，學習率衰減為前一個訓練輪數(shù)的90%。這樣的設計有助于在訓練初期快速接近優(yōu)化目標，而在訓練后期則可以更精細地調(diào)整模型參數(shù)，避免在優(yōu)化過程中產(chǎn)生震蕩，從而更好地優(yōu)化模型。本研究能夠有效地指導模型的訓練過程，逐漸減小預測誤差，提高模型在絕緣子狀態(tài)分類和預測任務上的準確率和穩(wěn)定性。

1.2.3 遷移學習和域自適應技術的應用

為了在有限的數(shù)據(jù)情況下提高模型的性能和泛化能力，本研究引入遷移學習和域自適應。在實現(xiàn)遷移學習時，保留了預訓練模型的卷積層，利用它們進行特征提取，而將全連接層替換為適應任務的新層，并對這些新層進行重新訓練。預訓練模型中的卷積層能夠為任務提供豐富的特征表示，而新的全連接層則負責學習特定任務的分類邊界。將一個在大型數(shù)據(jù)集上預訓練的模型知識遷移到特定的任務上，同時縮小預訓練模型的域和任務域之間的分布差異。為了減小預訓練模型與目標任務之間的域差異，本研究引入了域自適應技術。采用最大均值差異（maximum mean discrepancy，MMD）方法，在損失函數(shù)中加入了域自適應項，以度量源域和目標域之間的差異。通過最小化該域自適應項，模型可以在減少標簽預測誤差的同時，也減少源域和目標域之間的分布差異。這樣的設計有助于減少模型對源域數(shù)據(jù)的過度適應，提高模型在絕緣子故障預測任務上的準確率和穩(wěn)定性。這種方法允許模型更好地適應目標任務的數(shù)據(jù)分布，從而提高了模型的泛化性能和預測準確性。通過遷移學習和域自適應技術的應用，本研究旨在構建一個能夠在有限數(shù)據(jù)條件下實現(xiàn)高效、準確預測的模型。

1.3 訓練過程

1.3.1 模型初始化

加載預訓練的MobileNet 模型，這個預訓練模型是在大規(guī)模數(shù)據(jù)集上訓練得到的，已經(jīng)學會了一些通用的特征，通過加載預訓練模型，可以避免從零開始訓練，從而節(jié)省時間和計算資源。加載預訓練模型后，固化模型的卷積層參數(shù)，固化參數(shù)可以保留預訓練模型學到的通用特征，同時也減少訓練時所需的計算量。接著替換MobileNet 模型原有的全連接層，以適應特定的任務需求。新的全連接層將連接到模型的卷積層輸出，并負責學習和映射到任務的特定類別。全連接層的參數(shù)將在接下來的訓練過程中被優(yōu)化，以最小化分類錯誤。

通過將標注過的圖像數(shù)據(jù)集作為輸入，獲取MobileNet 網(wǎng)絡中的卷積部分輸出，利用輸出訓練全連接網(wǎng)絡，將MobileNet 網(wǎng)絡中卷積模型和參數(shù)遷移過來，并固化模型中各層參數(shù)，使用之前預訓練的全連接網(wǎng)絡替換MobileNet 原有的全連接層，得到基于MobileNet 深度遷移學習模型。

1.3.2 模型訓練

將標注過的圖像數(shù)據(jù)集作為輸入，獲取Mobile-Net 網(wǎng)絡中的卷積部分輸出，利用輸出訓練新的全連接網(wǎng)絡。在每個訓練輪次（epoch）中，模型會遍歷整個訓練數(shù)據(jù)集，每次處理小批量（batch）的數(shù)據(jù)，計算模型的輸出和損失，然后通過反向傳播算法更新模型參數(shù)以最小化損失。對于本研究的分類任務，選擇交叉熵損失函數(shù)來度量模型的預測與真實標簽之間的差異，以提供清晰的優(yōu)化目標。初始學習率設置為0.001，并采用學習率衰減策略，每過10 個訓練輪數(shù)，學習率衰減為前一個訓練輪數(shù)的90%，以確保模型在接近最優(yōu)解時能有更細致的參數(shù)調(diào)整。模型訓練的批大小設置為64，以在保證訓練穩(wěn)定性和計算效率的同時，獲得較好的模型性能。模型的訓練迭代次數(shù)設置為100 個訓練輪數(shù)，期間模型將不斷學習和優(yōu)化，逐漸提高對絕緣子圖像的識別和分類能力。為了防止模型過擬合到訓練數(shù)據(jù)，即模型在訓練數(shù)據(jù)上表現(xiàn)很好但在新數(shù)據(jù)上表現(xiàn)較差，采用了L2 正則化技術。L2 正則化能夠懲罰模型的復雜度，避免模型學習到訓練數(shù)據(jù)中的噪聲，而是學習到數(shù)據(jù)的真實分布。正則化系數(shù)設置為0.000 5，為模型提供了一定程度的正則化，幫助模型在保持泛化能力的同時，實現(xiàn)對絕緣子狀態(tài)的準確預測。在訓練過程中，不僅監(jiān)控了訓練損失和分類準確率，還利用驗證數(shù)據(jù)集評估模型的泛化性能，確保模型在未見過的數(shù)據(jù)上也能獲得滿意的表現(xiàn)。通過不斷地迭代和優(yōu)化，模型逐漸收斂，分類性能得到了顯著提高，為后續(xù)的絕緣子狀態(tài)識別和故障預測提供有力的支持。

本研究選擇了自適應矩估計法（Adam）優(yōu)化器，Adam 會為每個參數(shù)維護一個學習率，能夠自適應地調(diào)整這些學習率，這使得它在處理稀疏梯度和非凸優(yōu)化問題時具有優(yōu)勢。與其他二階優(yōu)化方法相比，Adam 的內(nèi)存需求較低，這對于大規(guī)模的數(shù)據(jù)和參數(shù)空間尤為重要，通常能夠快速收斂，并且在訓練過程中保持穩(wěn)定。相對于其他的優(yōu)化方法，它對超參數(shù)的選擇相對不敏感，經(jīng)常被證明在多種任務上都能快速收斂，并且需要較少的手動超參數(shù)調(diào)整，同時結合了多種其他優(yōu)化算法的優(yōu)點，它使用Momentum 和RMSProp（root mean square propagation）算法，使得其在深度學習任務中特別有效[4]。Adam 優(yōu)化器會為每個參數(shù)保持學習率，它們均可以獨立地調(diào)整。由于Adam 使用了基于前面梯度估計的移動平均值，所以在初期可能存在估計偏差，Adam 使用了偏差修正機制來調(diào)整這種偏差。

2 實驗驗證

本實驗在Windows11 操作系統(tǒng)上進行，CPU 為英特爾?酷睿TMi9-12900KF，GPU 為12 GB 顯存NVIDIA GeForce RTX 3060，深度學習框架為PyTorch。用開源數(shù)據(jù)集CPLID（chinese power line insulator dataset）[5]進行測試，數(shù)據(jù)集共848 個樣本，與幾種檢測方法的對比效果，如表1 所示。

表1 檢測結果比較

實驗分析與優(yōu)化。為了確保本研究算法的泛化能力，將訓練集中每一缺陷類樣本分別通過鏡像對稱、旋轉、加高斯噪聲、調(diào)整亮度等方法將原始數(shù)據(jù)擴充3 倍，并比較了原始訓練集與運用不同擴充方法后的擴充訓練集對模型識別輸電線路物體匹配度的影響，同時在多個輸電線路數(shù)據(jù)集上進行訓練測試，模型在一些復雜場景下的識別能力有待提高。通過分析錯誤分類的樣本，發(fā)現(xiàn)模型在極端光照情況下容易出錯[6]。

調(diào)整了模型中的注意力機制參數(shù)，包括多頭自注意力的頭數(shù)和維度，以更好地捕捉圖像中的局部和全局依賴關系，考慮到輸電線路的類型多樣，嘗試引入了多尺度特征融合技術，通過融合不同層次的特征，使模型能夠獲取到更豐富的圖像信息。

3 結束語

本文對基于深度學習的輸電線路故障預測方法在檢測時間和正確率等方面進行研究，提出的算法大大縮短了檢測時間，并實現(xiàn)了94.2% 的正確率，這對于未來進行預測輸電線路的故障至關重要。本研究證明了其算法在各種場景下的魯棒性，在大部分場景下本算法都能有效識別和預測，這也得益于遷移學習和域自適應技術的應用，增強了模型的泛化能力。本研究綜合運用了深度分離卷積、Transformer 注意力機制、多尺度特征提取等技術，為輸電線路故障檢測帶來了技術創(chuàng)新。未來將關注針對不同缺陷類特點，優(yōu)化調(diào)整計算策略，形成工程方法。隨著研究的不斷深入，將得到更多的應用和推廣。