基于多任務學習的輸電線路小金具缺失推理加速算法

程 繩，葛 雄，肖 非，朱傳剛，吳 軍，肖海濤，李 嗣，楚江平，袁雨薇

(1.國網湖北省電力有限公司超高壓公司，武漢 430050；2.浙江大學濱江研究院，杭州 310000)

0 引言

輸電線路是我國電力系統的重要組成部分，輸電線路的穩定是我國電力系統的穩定基礎。螺栓小金具是輸電線路的最小單元，用于連接和緊固輸電線路中各種金具部件和各種結構件，保證輸電線路系統的穩定運行[1]。但螺栓小金具長期在戶外環境經過震動、摩擦、溫度變化等原因，存在松動甚至缺失的情況。一旦螺栓小金具出現缺失有可能導致漏電，線路毀壞，甚至線路斷電，將嚴重影響用電安全，造成重大事故[2-3]。深度學習在輸電線路中應用越來越多[19-22]，因此深度學習對螺栓小金具缺失現象的識別和判斷，有助于即時修復小金具，對輸電線路的安全運行有著重要意義。

螺栓小金具主要包括單螺母、雙螺母、開口銷、墊片、螺桿等。在輸電線路中不同作用的螺栓由不同的小金具組成，比如，塔身垂直螺栓一般在螺栓桿軸向受力較大，故由螺栓桿和雙螺母進行緊固和防松?；顒蛹菟ㄒ话阍谳S向受力較小，故由螺栓桿、單螺母和開口銷組合進行連接。線夾螺栓、跳線螺栓、均壓環安裝螺栓，一般采用螺栓桿、平墊片、彈簧墊片單螺母進行緊固和放松。按照螺栓的功能作用進行分類，輸電線路中存在多種螺栓類型。通過歸納總結，按照功能作用分為以下 11種螺栓類型：活動件螺栓、塔身垂直螺栓、塔身U型螺栓、塔身非垂直螺栓、線夾螺栓、線夾無螺母螺栓、均壓環螺栓、跳線螺栓、絕緣子盤螺栓、重錘螺栓、絕緣子槽碗螺栓。

輸電線路中小金具缺失主要是單螺母、雙螺母或開口銷的缺失，需要根據螺栓類型判斷是否缺失某種小金具。目前主要通過無人機技術、圖像處理技術、神經網絡算法等技術對輸電線路小金具缺失進行檢測。主要步驟為人工或自主巡檢無人機對輸電線路中的小金具部位進行拍照，再通過人工檢查或圖像處理技術對獲得的圖像進行缺失判斷，從而得出螺栓是否存在小金具缺失或者異常的現象[4]。近幾年，隨著深度學習技術和無人機技術的快速發展，輸電線路小金具智能化檢測的研究越來越多。從輸電線路小金具數據生成到小金具缺失、異常檢測的研究越來越多。通過深度卷積生成式對抗神經網絡方法對小金具圖像進行增強和生成，為輸電線路小金具缺失數據難以獲得的問題提供了一種解決方法和思路[5]。通過SSD[10]和YOLOv3[11]對小金具目標進行分級檢測，使得輸電線路在多層級進行檢測。具體步驟為，首先對輸電線路的關鍵掛點位置進行識別，然后在對其小金具缺陷目標進行檢測。同時，小金具的目標檢測準確率通過數據增強的方式進行提升。同時，采用了兩次特征金字塔和空間的聚類算法，針對高置信螺栓缺失開口銷的目標區域和螺栓缺失開口銷的目標區域目標進行增強和檢測。根據螺栓和螺母的組合特征，提出栓母對的概念，利用知識圖譜的方法分別對缺墊片、缺開口銷、缺墊片+缺開口銷和完整4類進行檢測，缺墊片、視覺可見缺開口銷、視覺不可見缺開口銷、缺墊片+視覺可見缺開口銷、缺墊片+視覺不可見缺開口銷和完整6類進行缺陷檢測[8]。

綜上，當前輸電線路中小金具缺失檢測的算法都采用單任務學習，缺墊片、缺開口銷、缺螺母等作為單一任務進行需學習。由于多種小金具的缺失算法學習的螺栓特征不同，訓練模型的參數時，體征提取變得困難，導致算法的識別效果變差。單任務學習每個模型需要單獨訓練，無法在原有的特征提取模型上進行算法擴展，對于新的檢測任務，需要進行新的設計和訓練算法。

對于上述存在的問題，本文采用多任務學習的輸電線路小金具缺失算法，同時使用加速推理的技術實現多個任務共享主干網絡的并行推理算法，從而提升推理性能。按照學習任務的類型將輸電線路小金具缺失拆分成多個任務，分別為單螺母缺失任務、開口銷缺失任務、螺栓類型識別任務。為了提升小金具的缺陷目標檢測的效果及推理加速，我們采用模型參數共享的方式進行推理，具體為多個任務采用同一個主干網絡進行關鍵特征的提取。同時該算法對輸電線路小金具缺失檢測任務具有插拔式的擴展功能。如圖1所示，給定一個指定輸入圖像，不同的任務采用共享網絡主干進行特征提取。不同的檢測任務采用并行計算的方式得到不同任務的識別結果。此外，由于該算法結構中不同檢測任務的的任務頭相互獨立互不影響，算法任務可以進行可插拔式的擴展，大大提升模型的靈活度和推理效率。

圖1 小金具多任務加速算法結構圖

1 研究思路

本文依據輸電線路小金具缺失的特點，對算法識別準確率、算法推理性能和任務可擴展性三個角度設計輸電線路小金具缺失加速推理算法。首先提出共享主干的多任務頭學習算法，提高小金具缺失算法的檢測準確率。將輸電線路小金具缺失檢測分為多個不同任務，小金具的缺失檢測，可以拆分為不同的子任務。通過該方法，可以將較為復雜的識別任務分解為N個較為簡單的識別檢測任務。為了保障多個任務推理的性能，本文使用多任務共享主干網絡結構進行特征提取的方式，從而在保障模型推理速度的基礎上，提升單個任務準確率，進而提升小金具缺失檢測的整體效果。對不同的子任務，我們采取triton的并行推理技術，使得不同的子任務進行解耦，提升識別子任務的可插拔性。通過實驗，在算法模塊訓練完成的情況下，新增額外的識別子任務，不會對原任務產生影響。從而可以實現新任務的算法擴展。

將輸電線路小金具缺失識別任務分解為螺栓類型識別任務、雙螺母缺失任務、開口銷缺失任務。判斷小金具的缺失，首先需要確定待識別物體的螺栓類型。根據其在輸電線路中的位置和功能，螺栓可以被分為多種類型，其包含的小金具類型也不同。比如，塔身垂直安裝的螺栓一般需要安裝雙螺母進行緊固和防松，活動件螺栓一定要有開口銷進行防松。因此判斷螺栓小金具缺失需要識別螺栓類型和雙螺母、開口銷存在狀態，通過螺栓類型識別任務、雙螺母缺失任務、開口銷缺失任務獲得螺栓類型和小金具存在狀態，最后可根據螺栓類型和小金具的存在狀態判斷小金具是否缺失。本文對輸電線路小金具缺失模型加速推理算法進行研究，通過任務拆解及子任務解耦的方式，將小金具缺失的任務拆分為獨立的子任務，并結合模型參數共享和Triton框架達到模型并行計算結果組合的目的，從而提高輸電線路小金具缺失模型加速推理算法推理性能。該算法具有以下優點，可以原算法基礎上進行插拔式任務擴展，將獨立的學習任務，融合到多任務學習中。本文通過添加單螺母缺失檢測任務，實現插拔式任務擴展。

本文的總體研究思路為基于多任務學習的輸電線路小金具缺失模型加速推理算法，在算法準確率、推理性能方面得到提升，同時具有任務插拔式的可擴展性。

2 算法研究

輸電線路小金具缺失方面的工作仍存在缺陷目標檢測識別準確率不足的問題。此外，由于目標檢測任務的復雜性，其在推理速度上效果有待提升。因此，本研究的目的是針對輸電電路缺陷目標檢測在推理性能和效果兩方面進行提升。通過設計一種新穎的模型框架方法和推理引擎優化，達到目標識別優化的效果。在模型設計方法方面，對以前針對每一類小金具單獨進行缺陷分類，優化為將多種金具統一輸入我們設計的算法模型框架，即多任務學習框架進行多個子任務的任務頭訓練，最終通過共享模型參數和可插拔可擴展的子任務并行計算方式輸出每個任務的結果。在推理引擎方法方面，本文在本文設置了全面的實驗，在不同推理模式下，對推理速度進行了對比。通過實驗，共享模型參數結合多任務頭學習的方式，在Triton的框架下，比相同參數的單任務推理方法顯著的提升了推理性能。

2.1 模型結構

如圖2所示，本研究的多任務學習模型主要由通用的主干網絡和用于分類的多任務頭組成。其中，多任務可以分為原始任務和擴展任務。原始任務是在模型初始訓練時包含的任務，擴展任務是可插拔的動態任務。

圖2 多任務學習模型結構圖

圖3 Swin Transformer主干網絡結構圖

2.1.1 主干網絡模塊

輸電線路小金具的輸入數據是3通道的RGB圖像，用i∈R3×H0×W0表示。將原始圖像i輸入到主干網絡，通過主干網絡的視覺編碼器生成圖像i的視覺特征向量，用fi∈R1024表示。本研究的主干網絡采用Swin Transformer[12]，一個將Transformer從自然語言處理領域應用到圖像識別領域的一個通用的循環神經網絡結構。

本研究的主干網絡采用Swin Transformer[12]，是計算機視覺領域最先進的網絡結構之一，借鑒Transformer在自然語言處理的效果，在圖像識別領域得到了優秀的語義識別效果。該網絡對輸入圖像進行視覺編碼，產生不同尺度的圖像特征圖，為下游任務提供多維度的圖像特征。其中，共享參數的主干網絡的流程為：原始圖像i裁剪成多個不重疊的小塊。其中，被裁剪的小塊局部圖像大小為4×4，每個小塊擁有3個通道，所以每個小塊圖像具有4×4×3=48的特征維度。

然后對48維度特征的每個小塊圖像組成的序列經四個Swin Transformer Bolck模塊依次處理。第一次處理，

首先，使用線性位置編碼器，對圖像中的各小塊進行位置編碼。然后，各小塊經過Swin Transformer Bolck得到語義特征圖，其維度為C。第二階段至第四階段同理，對小塊的特征進行融合，然后使用Swin Transformer Bolck模塊，對圖像特征進行2倍上采樣，同時特征維度C依次擴展為2倍。最后，圖像特征經過全連接線性層fc[13]映射為特征向量。

fi=fc(swint(i))

(1)

其中：swint表表示Swin Transformer網絡。

2.1.2 多任務集

通過任務拆分的方式，輸電線路小金具缺失的數據采用子任務標注的方式，對每個任務進行標記，并通過多任務學習的方式進行訓練。我們將小金具缺失拆分成三個學習任務分別為雙螺母缺失任務、開口銷缺失任務、螺栓類型任務，三個任務的數據集被選擇成為實驗數據集。雙螺母缺失任務的任務數據集task_d_dataset由輸電線路螺栓圖像和圖像標簽對組成，每個圖像是RGB的三通道圖像，標簽有三個類別：存在、不存在、未知，分別表示對應的圖像存在雙螺母、不存在雙螺母、由于視角或模糊原因導致的無法判斷是否存在雙螺母。

圖4 雙螺母缺失任務數據及標簽

開口銷缺失任務的任務數據集task_p_dataset由輸電線路螺栓圖像和圖像標簽對組成，每個圖像是RGB的三通道圖像，標簽有三個類別：存在、不存在、未知，分別表示對應的圖像存在開口銷、不存在開口銷、由于視角或模糊原因導致的無法判斷是否存在開口銷。

圖5 開口銷缺失任務數據及標簽

螺栓類型任務的任務數據集task_bt_dataset由輸電線路螺栓圖像和圖像標簽對組成，每個圖像是RGB的三通道圖像，標簽為11種類別的螺栓分別表示螺栓所屬種類。

2.1.3 多任務學習分類模塊

主干網絡對原始圖像進行編碼得到圖像特征，將圖像特征輸入到多個多層感知機網絡頭，每個感知機網絡頭用于學習一個小金具缺失的識別任務。本研究采用的多層感知器MLP[15-16](Multi-Layer Perception)如圖6，作為小金具檢測任務頭網絡。

圖6 MLP結構圖

網絡可表示如下：

fmlp1=MLP1(fi)，fmlp1∈RN*M1

(2)

fmlp2=MLP2(fi)，fmlp2∈RN*M2

(3)

fmlp3=MLP3(fi)，fmlp3∈RN*M3

(4)

式中，fmlpi為小金具相關任務頭網絡輸出的識別特征，Mi為小金具相關任務對應的輸出標簽數量。

使用softmax函數作為激活函數，將每個任務頭輸出的fmlpi轉換為對應任務的分類概率pi。

2.1.4 損失函數

在模型訓練中，針對不同的子任務分別計算其網絡損失。本研究采用CE(Cross Entropy)[17-18]損失函數進行計算。計算方法為，在得到每一類的小金具預測標簽后，將其與標注的正確標簽計算CE損失。計算過程如下：

Ltask=-∑iyilog(pi)

(5)

L=∑Ltask

(6)

式中，yi為task小金具任務數據集的標注標簽的索引，pi為小金具任務頭網絡預測的識別類別概率。

2.2 加速推理

為了提升模型的推理效率，我們采用NVIDIA 開發的Triton Inference Server的方式進行模型的多任務推理。通過推理請求的批處理，Triton 可以將算法請求傳輸給不同任務的后端。后端通過批處理集中請求成批處理的方式進行推理，并返回相對應的輸出。如圖1所示，模型的結構可以拆分為共享參數的主干網絡和各自的多任務頭。各模塊分別在Triton模型庫中注冊。主干網絡接受推理圖片作為輸入，輸出圖片的特征向量fi。每個任務頭以fi作為輸入，并返回推理的類別及置信度。多個并行的任務頭與主干模型通過后連接的方式，形成新的推理模型。不同人物之間采用異步推理的方式進行推理，新模型負責控制整個服務的輸入和輸出。

2.3 小金具缺失的擴展算法任務

2.3.1 單螺母缺失的擴展任務數據集

本研究提出的共享參數多任務學習模型劇本單任務與其他任務解耦的能力，可以做到在訓練完成的任務集中單獨配置訓練新人物。由于多任務之間只有主干網絡共享，而子任務之間相互獨立，因此在已完成的主干網絡和原始任務基礎山，增加了對單螺母缺失任務的支持。首先準備單螺母缺失任務的數據集，準備方法與其他任務相同。單螺母缺失任務的任務數據集task_s_dataset由輸電線路螺栓圖像和圖像標簽對組成，每個圖像是RGB的三通道圖像，標簽有三個類別：存在、不存在、未知，分別表示對應的圖像存在單螺母、不存在單螺母、由于視角或模糊原因導致的無法判斷是否存在單螺母。

圖7 單螺母缺失任務數據及標簽

2.3.2 單螺母缺失擴展任務學習

單螺母缺失的擴展任務，添加一個單螺母的任務頭MLP，

fi=fc(swint(i))

(7)

fmlps=MLP_s(fi)

(8)

式中，MLP_s的參數是可學習的參數，而其他部分的參數則采用原模型的參數。通過使用損失函數獨立計算小金具缺失擴展任務損失，對MLP_s的參數進行優化更新，從而實現對小金具缺失擴展任務的學習。

2.4 模型算法評價指標

2.4.1 精度評價指標

本研究使用與學術界其他目標檢測相同的評估方式，即識別精度、召回、以及識別準確率。其中，識別精度是正確的數量在被識別的總數中所占的比例，召回率則是識別正確的數量占該類別的比例。其中，置信度設置為0.25，置信度是超參數，用于表示模型識別結果的概率。我們將結果概率低于0.15的類別過濾。準確率則是預測正確的占所有樣本的比率。

(9)

(10)

(11)

式中，TP表示正確檢測到的數量，FN表示未檢測到的數量，FP表示錯誤檢測到數量，TN表示正確檢測到的負類樣本數量。

2.4.2 性能評價指標

推理性能在吞吐量[23-24]和顯存[25]占用量上得以表現。在本研究中，我們采用了這兩個指標來評價推理性能。具體而言，我們使用每秒處理圖像數量的FPS進行評估，FPS越高，表示模型的推理速度越快，效率越高。此外，模型推理時的顯存占用量也是模型的評估指標之一，用來衡量對GPU的要求。顯存占用量于曉，表示模型對推理資源的利用效率越高。因此，我們綜合使用FPS和顯存占用來綜合評估模型的推理性能。

3 實驗結果與分析

3.1 實驗設備及參數

小金具缺失算法實驗在GPU服務器Linux操作系統上實現。采用Python和 PyTorch完成實驗代碼。

表1 實驗環境及參數配置

3.2 數據集準備

輸電線路小金具缺失數據集采用無人機巡檢數據和模擬無人機巡檢的人工采集數據。由于無人機在真實輸電線路巡檢數據中小金具缺失的樣本量極少，為了平衡訓練的數據，人工模擬無人機巡檢采集小金具缺失的數據樣本。

表2 螺栓類型任務數據分布

對準備好的輸電線路原始數據進行多任務學習標注，雙螺母缺失任務、開口銷缺失任務、螺栓類型任務以及擴展的單螺母缺失任務。多任務學習數據集采用OmVision Studio的數據集模塊對小金具缺失的各個人物數據集進行標注。

圖8 OmVision Studio標注界面

在人工標注結束后，我們使用json格式保存所有的圖片和標注信息。數據處理時通過讀取和處理標注框坐標，得到多任務學習的監督數據。

表3 單螺母、雙螺母、開口銷缺失任務數據分布

3.3 實驗結果

3.3.1 單任務學習和多任務學習結果分析

在實驗中，我們采用單任務學習和多任務學習兩種方式的精確率、召回率以及準確率來評估驗證多任務學習在輸電線路小金具這個應用場景缺失檢測模型的效果。具體來說，我們使用了Swin Transformer (Tiny)作為模型的主干網絡，并設置輸入圖像大小為224*224，圖像分塊大小為4，輸入通道數為3，圖像分塊的特征維度為256。對于每一個子任務，本研究使用MLP分類器模塊來完成單個子任務的訓練。此外，單任務和多任務重相同的任務采用了相同的MLP模型結構。模型的訓練在一臺Nvidia A100 GPU的服務器進行訓練。在小金具缺失的單任務學習中，設置批處理大小(Batch-Size)為64，并將相應任務的訓練集數據進行100個epoch的迭代訓練，學習率設置為0.001。在小金具缺失的多任務學習，設置與單任務相同。在驗證階段，輸入圖片調整為224×224大小。圖9展示了訓練過程中loss的變化情況。

圖9 訓練過程中多任務學習與單任務學習的loss

我們設置模型訓練100個epoch并測試不同任務和不同學習方式的精度，結果見表4。

表4 不同任務和不同學習方式的精度

通過結果對比可知，多任務學習方式螺栓類型、雙螺母缺失、開口銷缺失的精確率比單任務學習方式降低了2%左右、螺栓類型任務的召回率升高了1.9%。多任務學習的螺栓類型任務、雙螺母缺失任務、開口銷缺失任務的準確率較單任務學習分別降低了3.9%，3.7%，1.7%，說明輸電線路小金具缺失多任務學習相對于單任務學習的準確率降低，這是由于多任務共享同一個主干網絡的參數，主干網絡參數對特定的任務提取的特征能力有所下降。由于主干網絡的參數量量大，約占網絡模型參數的80%，通過減少整體模型參數節約大量的訓練時間和計算資源，僅犧牲了少量準確率。

3.3.2 單任務推理和多任務推理性能結果分析

本文通過對比實驗分析，對單任務推理和多任務推理的速度和顯存占用情況進行評估。其中，一臺安裝Nvidia A2 GPU的linux服務器設備用來作為推理設備。使用單任務推理時，為了提高模型的推理效率，我們將每個單獨的子任務模型轉為onnx模型文件，并配置到Triton型庫中，使用Triton推理服務的onnx推理后端進行推理。對于多任務的推理，我們將共享參數的主干網絡和每個任務對應的MLP模塊任務頭分別轉換為onnx模型文件，并對其進行配置。此外，Triton模型配置文件同樣通過將主干網絡和MLP模塊組合的方式進行推理。體重，子任務頭包括螺栓類型任務頭、雙螺母缺失任務頭以及開口銷缺失任務頭。在推理過程中，圖片輸入大小為224*224，推理的batch size設置為4。

表5 不同推理方式的推理性能

通過對單任務推理和多任務推理性能的實驗結果進行分析，可以得出以下結論：在單任務推理中，螺栓類型任務的FPS為6.4，雙螺母缺失任務的FPS為6.8，開口銷缺失任務的FPS為7.2，三個任務完成一張圖片所需的時間約為442.1毫秒，FPS為2.2。而在小金具缺失的多任務推理中，總的FPS為5.1，一張圖片推理時間約196 ms。可以看出，多任務推理相較于單任務推理，推理速度提升了2.25倍。由此可見，本文提出的小金具缺失多任務學習的加速推理算法的性能得到顯著提升。小金具缺失推理時多任務比單任務顯存占用降低了22%。

3.3.3 擴展任務結果分析

3.3.3.1 擴展任務及原任務精度結果分析

為了驗證多任務學習的任務可擴展性，本研究進行了多任務并行學習和單任務學習的對比實驗。在多任務學習中，我們使用了小金具螺栓缺失擴展任務數據集，并按照3.3.1節中相同的參數進行訓練。與此同時，我們使用相同參數進行了單任務學習作為對比。在單任務學習中，采用了與前述單任務學習相同的訓練方式。而在擴展任務學習中，我們凍結了主干網絡。

表6 不同學習方式下的小金具擴展任務精度

根據實驗結果可以得出結論，當在凍結主干網絡參數的條件下進行擴展任務學習時，其精確、召回和準確率稍微小于單任務學習。但下金具缺失的擴展任務學習的優勢在于僅訓練MLP任務頭。

然而，多任務學習的優勢為在對任務進行擴展，以及對新的任務進行冷啟動時，無需訓練主干網絡，只需要訓練一個MLP任務頭，即可靈活新增子任務，并無縫添加到現有的推理模塊。

3.3.3.2 擴展任務及原任務推理性能結果分析

在上一節中，驗證了擴展任務學習的精度。本節將對擴展任務的推理性能進行測試。將單螺母缺失擴展任務的任務頭轉換為onnx模型文件，并將模型文件注冊和配置到Triton的模型庫和配置文件中。添加單螺母缺失擴展任務頭，并進行了相應的測試。

表7 在三個原任務基礎上不同推理方式的擴展新增單螺母缺失任務后的推理性能

通過擴展任務的實驗結果，觀察到在多任務推理中增加了單螺母缺失任務后，總體FPS為4.6，而單獨進行單螺母缺失任務的FPS為6.9。根據3.3.2的實驗結果，可以計算出單任務推理完成螺栓類型、雙螺母缺失、開口銷缺失和單螺母缺失這四個任務的推理時間為587.0毫秒，相應的FPS為1.7。而多任務推理完成全部任務的時間為217.3毫秒，速度提高了2.7倍。從顯存占用量的角度來看，單任務推理共占用了15 140 MB的顯存，而多任務推理僅占用了10 009 MB的顯存，顯存占用降低了34%。

5 結束語

本文針對輸電線路小金具缺失檢測問題提出了一個可插拔的多任務學習加速推理模型。該模型能夠通過主干網絡共享模型參數的方式，顯著提升模型參數的使用效率，提升模型訓練的靈活性，提升推理速度，同時降低顯存占用。

此外，本研究驗證了多任務學習的方式用來有效提升算法任務的訓練部署效率。在不明顯降低模型效果的情況下，本研究提出的算法模型能夠解耦不同任務的訓練推理，使得輸電線路的缺陷檢測任務配置更加靈活。然而，本算法犧牲了一定的推理精度，對于對推理精度要求較高的任務，是一個挑戰。因此，在后續的研究中，我們將致力于減少多任務學習對推理精度的損失。