基于深度學習模型小型化技術的輸電線路智能巡檢研究與應用

馮 原，王曉迪，辛 穎，韓樹民

(百度在線網絡技術(北京)有限公司，北京 100193)

0 引 言

隨著城市化建設推進和生活用電需求不斷增長，預計2020年中國輸電線路總長將超1 590 000 km，其中全國20%的輸電線路建設于無人區、山區等自然條件惡劣的地方。自然環境、惡劣天氣和外力破壞都可能對輸電線路造成嚴重損壞，引發大面積停電，造成嚴重的經濟損失。由此可見，開展輸電線路在線巡檢應用研究對于避免電網事故、保障線路安全至關重要。

以往，電力巡檢通常依賴人工，這一方式工作量大、勞動強度高，同時工作效率較低，巡視質量不一，且受惡劣天氣等外界因素影響，常常是事故發生了一段時間之后，才能發現并予以補救。基于深度學習和人工智能的電力輸電線路巡檢已經展開了諸多研究與應用。文獻[1]提出利用圖像自相似性進行自學習單幅圖像超分辨(signal image super-resolution，SISR)，在不使用任何外部訓練數據庫的情況下取得很好的超分辨性能，結合特征相似性有效提升電力設備狀態可視化檢測的精度。文獻[2]基于遷移學習的小樣本電力巡檢圖像處理方法，通過圖像裁剪、翻轉、旋轉等數據增強技術對小樣本圖像進行擴充，同時采用生成對抗網絡(GAN)來擴充基礎樣本，使用遷移學習技術將基于大規模圖像數據的預訓練深度卷積模型進行定制。文獻[3]提出了一套無人機巡檢系統，但是仍需要將圖像傳回至地面站才能處理。文獻[4-5]分別提出應用卷積神經網絡的深度學習算法訓練模型,智能識別出輸電線路現場的安全隱患，建立起前端采集圖像、數據無線傳輸、后臺識別分析、隱患定向推送的智能監控系統。文獻[6]深入探究了基于深度卷積神經網絡Faster-RCNN的原理，進行高壓輸電線路圖像識別。文獻[7]使用VGG-16 深度網絡進行特征提取,并在最后一個卷積層后加入一個ROI 池化層優化模型。文獻[8-9]增加設計邊緣數據處理層,在線處理部分障礙嚴重的巡檢圖像,通過圖像預處理技術處理剩余巡檢圖像,利用圖像投影提取輸電線路巡檢圖像特征,大幅度縮減了資源和時間的消耗，但是仍沒有解決模型在邊緣設備側運行的目標。

目前的研究與應用集中在部署可視化監拍裝置，再結合人工巡檢。隨著方案的規模化推廣，可有效地減少人員工作量和停電跳閘次數。但大多數設備拍照間隔均在半小時以上，采集真空期依然較長，對于短時隱患的預警及突發情況的追溯不足。換言之，時效落后、預警缺位等關鍵痛點，仍然未得到根本解決。火災或工業機械造成高壓電網損壞等問題，依然會不可逆地為生活生產用電帶來影響，可以說是防不勝防。如果能讓智能分析設備真正“智能”起來，自動識別電網設備周圍的安全隱患并主動上報，這些問題就可以迎刃而解。

下面提供了一種基于深度學習模型小型化技術的電力輸電線路智能巡檢方案。將傳統的深度學習模型基于飛槳[10]的模型壓縮庫PaddleSlim[11]蒸餾、剪切、量化之后，在保持有效精度的情況下，極大地壓縮了模型的體積與所需要的資源。之后，將小型化之后的模型部署在端側推理引擎Paddle Lite中，實現了基于無源無線的移動設備進行處理分析，輕松地實現移動端模型的部署，從而完成整個輸電通道智能巡檢預警系統的上線部署。最后，基于所述方案開展在某電力公司進行了部署使用，驗證了技術的可行性。

1 相關技術

提出的基于深度學習模型小型化技術的電力輸電線路巡檢研究與應用，主要涉及以下幾個方面的關鍵技術。

1.1 PaddleSlim模型蒸餾技術

模型蒸餾是將復雜網絡中的有用信息提取出來，遷移到一個更小的網絡中去。原理見圖1。考慮到蒸餾策略對損失loss更敏感的情況，PaddleSlim 在提供基于傳統的蒸餾方法和基于 FSP(flow of solution procedure)蒸餾方法的同時，也支持了用戶自定義loss的蒸餾策略。針對不同任務，用戶可以根據實際情況定義自己的loss。蒸餾方法在分類、檢測等相關任務上驗證精度收益明顯，如表1所示。

圖1 模型蒸餾原理

表1 模型蒸餾策略部分實驗結果

1.2 PaddleSlim模型剪裁技術

在PaddleSlim中，進行剪裁的主要步驟是在給定業務數據上對卷積網絡進行敏感度分析，然后根據敏感度信息對網絡進行剪裁。依次對單個卷積剪掉不同比例的通道數，觀察在測試數據上的精度損失，便可得出一個卷積層對測試數據所代表的任務的敏感度。

將多個卷積的敏感度繪制如圖2所示，其中，名為conv_10的卷積層的敏感度明顯低于其它卷積層，所以可以優先剪裁該卷積層。

圖2 卷積層敏感度折線

PaddleSlim新增了一系列接口輔助用戶對敏感度進行計算和操作，包括敏感度的計算、合并、存儲和讀取。用戶可以根據敏感度信息和根據敏感度信息繪制出的折線圖自行選取一組合適的剪裁率，選擇性的使用這些接口，對敏感度進行多機多進程的并行計算。

根據一組剪裁率對網絡進行剪裁時，最大的難點就是正確處理concat、elemenwise add等操作，找出網絡中所有與被剪卷積相關的節點。通常的做法是進行遍歷，PaddleSlim則采用了以網絡節點為視角的游走的方法，此方法相當于把復雜網絡的遍歷任務分攤給了各個類型的網絡節點，從而提升了可擴展性，理論上可以支持任意復雜的網絡。

如圖3所示，每種剪裁操作對應實現一個walker類，單個walker工作流程：

圖3 PaddleSlim剪裁功能實現原理

1)感知某個輸入或輸出變化的信號；

2)根據輸入或輸出的變化，調整自身狀態；

3)根據輸入或輸出的變化，調整其它輸入和輸入的shape；

4)向關聯的所有walker發出信號。

除了提供剪裁接口，PaddleSlim還將提供網絡節點分組功能，支持用戶自定義的卷積組合重要性分析方法，以便用戶擴展探索更高級的剪裁功能。基于敏感度剪裁方法的部分實驗結果如表2所示。

表2 基于敏感度的剪裁方法的部分實驗結果

1.3 PaddleSlim量化訓練

量化訓練(training aware)支持對卷積層、全聯接層、激活層、bias等的int8量化，原理如圖4所示。用戶可選擇只對權重進行量化存儲來減小模型大小，也可選擇對整個計算過程進行量化計算來加快速度。量化存儲可將模型大小減小到原來的1/4，量化計算在ARM-RK3288上基于PaddleLite可實現一倍的加速，在P4 GPU上基于TensorRT可實現3倍的加速。

圖4 PaddleSlim量化訓練原理

1.4 Paddle Lite端側推理引擎

Paddle Lite端側推理引擎的架構設計著重考慮了對多種硬件和平臺的支持，并且強化了多個硬件在一個模型中混合執行的能力，多個層面的性能優化處理，以及對端側應用的輕量化設計。如圖5所示，Paddle Lite的架構設計示意圖。其中，Analysis Phase 包括了MIR(Machine IR)相關模塊，能夠對原有模型的計算圖針對具體的硬件列表進行算子融合、計算裁剪在內的多種優化。Execution Phase 只涉及到Kernel 的執行，且可以單獨部署，以支持極致的輕量級部署。

圖5 Paddle Lite架構設計

將基于飛槳的模型壓縮庫PaddleSlim和端側推理引擎Paddle Lit，將小型化之后的模型部署在無源無線的移動設備對輸電線路的圖像數據進行處理分析，實現基于邊緣計算的輸電線路智能巡檢。

2 深度學習模型小型化技術的電力輸電線路智能巡檢方案

深度學習模型小型化技術的電力輸電線路智能巡檢方案中使用無源無線的移動設備進行處理分析。設備如圖6所示。

圖6 無源無線的移動設備

這樣的移動設備面臨算力小、功率低的問題。為了解決這些問題，引入目標檢測one-stage的經典方案yolo-v3。該模型源自飛槳目標檢測庫PaddleDetection。最初使用基礎的yolo-v3，在芯片上模型占用內存360 M，運行速度是3500 ms，而方案中存量的移動設備為8916芯片，只用200 M不到的空余內存可用來支持。為了降低使用內存、提高運算效率，引入模型壓縮庫PaddleSlim工具對模型進行裁剪、蒸餾和量化，從而達到降低模型大小、減少運算耗時。模型處理流程如圖7所示。

圖7 基于Paddle Lite模型小型化設計

PaddleSlim通過分析各卷積層的敏感度得到各卷積核的適宜裁剪率，通過裁剪卷積層通道數來減少卷積層中卷積核的數量，實現減小模型體積、降低模型計算復雜度的作用。通過裁剪，使得模型的占用內存大小由360 M降低至130 M。

為了使得小模型的準確率不下降，使用PaddleSlim的蒸餾工具，對小模型進行優化。使用大模型(resnet34的骨架網絡)作為教師網絡teacher，mobilenet-v3的骨架裁剪網絡作為學生網絡student，在不增加計算量的情況下，提升了裁剪后的小模型的準確率。

同時使用PaddleSlim的量化工具，將神經網絡中32位的全精度數據處理成8位或16位的定點數，同時結合硬件指定的乘法規則，就可以實現低內存帶寬、低功耗、低計算資源占用以及低模型存儲需求等。最終將模型的占用內存降低至122 M，處理時間也由3500 ms降低至2000 ms。

在模型小型化完成后，使用了端側推理引擎Paddle Lite作為移動端設備的部署平臺。Paddle Lite的高易用性、廣泛的硬件支持和領先的性能，輕松實現移動端模型的部署。使用Paddle Lite帶來的識別精度提升非常大，以吊車、塔吊等大型施工機械的識別為例，Paddle Lite可以達到96%的識別準確率，而傳統前端智能分析僅有80%。另外，應用Paddle Lite的方案功耗僅有0.4 W。

綜上，所提方案針對輸電線路巡檢及線路隱患模型進行定制優化提升，在低算力、低功耗下仍有較高推理性能。采用了云邊協同，可以隨著云端樣本更新和模型訓練的迭代升級，進一步優化和適配識別算法的適用場景，不斷提升識別精度，降低漏報及誤報。

3 應用實例

所提方案在國網某公司進行了應用部署與實踐。相比舊版的智能分析設備，所提方案可視化監拍裝置拍照間隔從0.5 h縮短到5 min，且實現了圖像端側的邊緣智能分析，5 s內就可以識別出吊車、導線異物、煙火、塔吊、各類施工機械等安全隱患，分析準確率超過90%。同時模型大小縮小60%，綜合功耗也降低了30%。最關鍵的是，從發現隱患到報警的速度從幾小時縮短至20 s，電力工作人員得以及時反應，避免造成生產生活的損失。

2020年年初，某郊區發生火情，正位于國家電網高壓線路下方，可視化監拍裝置第一時間拍攝畫面并判斷為安全隱患(現場情況與識別結果如圖8所示)，并同步向當地國網供電公司輸電工區運檢室的值班人員發出告警信息，值班人員立刻申請線路緊急避險，同時協調運檢人員即刻趕往現場處理，一個多小時后，火情被及時撲滅，避免了一場災難的發生，居民和工廠的用電也未受到影響。

圖8 火情現場畫面與識別結果

所提出的技術方案基于飛槳模型壓縮庫PaddleSlim和端側推理引擎Paddle Lite，很好地解決了模型難以在小內存設備中運行的問題，而且應用識別效果良好，在實踐中取得了很好的效果。

4 結 語

所提出的一種使用無源無線的移動設備，基于飛槳的模型壓縮庫PaddleSlim和端側推理引擎Paddle Lite的輸電線路智能巡檢方案，實現了將圖像分析部署于邊緣計算設備中，將可視化監拍裝置拍照間隔從0.5 h縮短到5 min，大幅度提高了輸電線路智能巡檢、監管的效率和質量, 提高了輸電線路運行安全。在某省電網公司開展的工程實踐應用中，成功及時地進行火情報警，避免了電網安全事故的發生，驗證了方案的實用性與高效性。隨著研究與應用的不斷深入，相信基于深度學習模型小型化技術的電力輸電線路智能巡檢方案可以更好地助力電網公司的安全管理工作，保障電網的平穩運行。