基于改進DeepLabv3+模型的電力線語義分割方法

左安全，秦倫明*，王 悉，邊后琴，陳思林

(1.上海電力大學 電子與信息工程學院，上海 201306； 2.北京交通大學 電子信息工程學院，北京 100044)

0 引言

輸電線路巡檢是電網日常維護的重要組成部分，對保障電力系統穩定運行具有重要作用。由于輸電線路架設環境復雜多變，人工巡檢效率低且具有危險性，已不能滿足巡檢需求[1]。近年來，隨著無人機和高分辨率相機技術的飛速發展，基于無人機的智能電力巡檢得到廣泛應用。但無人機在巡檢過程中易與電力線發生碰撞、纏繞等事故，給輸電線路的穩定運行帶來極大的安全隱患。電力線分割是實現無人機自動避障、保障無人機低空飛行安全的關鍵技術，因此開發一種精度高、實時性好的電力線分割算法具有十分重要的意義。

現有電力線分割方法可分為傳統圖像處理方法和基于深度學習的語義分割方法[2]。傳統方法又可分為基于邊緣檢測算子的提取算法和基于聯合特征的提取算法2類。前者通常用引入先驗知識的邊緣檢測算子和線檢測器結合來提取電力線；后者用線檢測器結合全局輔助物或上下文信息對電力線進行提取[3]。文獻[4]通過設定不同方向Ratio算子并結合Hough變換來提取電力線。該算法計算量小，但在背景復雜時先驗知識難以匹配。文獻[5]通過結合輔助物特征獲得了較高的提取精度，但存在對輔助物過于依賴的局限性。傳統方法對電力線的提取精度受先驗知識和輔助物的影響較大，在復雜背景下容易出現錯檢和漏檢，因此只適用于一些特定的場景。

現有基于深度學習的語義分割模型主要包括FCN[6]、DeepLab系列、U-Net[7]、SegNet[8]和PSPNet[9]等算法。在電力線提取方面，文獻[10]設計了多個電力線提取的網絡結構，通過網格搜索得到最優的網絡結構，獲得了較高的分割精度，但該算法沒有進行下采樣操作，預測速度較低。文獻[11]以VGG16作為主干網絡通過自行設計解碼器對電力線實現了較為準確和快速的分割，但該算法使用的數據集數量較少，難以適用于不同場景。文獻[12]在編碼器部分使用DeepLabv3的結構并在解碼器引入多層淺層特征，在分割精度和預測速度上均優于傳統方法，但仍存在上升空間。文獻[13]對DeepLabv3+模型進行改進，通過引入更為復雜的解碼器結構，在已有基于深度學習的電力線分割算法中取得了最優的分割精度，但該算法預測速度較慢，無法滿足實時性的需求，在復雜場景下依然存在一定程度的錯分割、漏分割問題。

為解決DeepLabv3+模型對電力線分割存在的上述問題，本文對DeepLabv3+模型進行改進，提出了PBB-DeepLabv3+(Paddle LCNet, Bottleneck Cascade Atrous Spatial Pyramid Pooling, and Bottleneck Attention Module Based DeepLabv3+)算法，具體如下：

① 針對DeepLabv3+模型預測速度慢的問題，在編碼器部分用輕量級PP-LCNet替換原始主干網絡Xception，從而提升預測速度并降低參數量，進一步提高電力線分割的實時性。

② 為加強對細長電力線的特征提取，對空洞空間金字塔池化(Atrous Spatial Pyramid Pooling, ASPP)模塊進行改進，增加空洞卷積分支和級聯卷積，獲取具有更大感受野的多尺度特征，從而減少漏分割現象。此外，將空洞卷積分支進一步采用先降維再升維的瓶頸結構來減小計算量。

③ 為進一步提升分割精度，在解碼器部分引入3層淺層特征，更充分地利用主干網絡提取到的不同層次特征以恢復降采樣過程中丟失的細節特征和空間信息。

④ 針對電力線分割易受背景物干擾的問題，在編碼器和解碼器分別引入瓶頸注意力模塊(Bottleneck Attention Module, BAM)加強對電力線特征的提取，減少對背景物的錯誤分割。

1 DeepLabv3+模型

DeepLabv3+模型[14]的結構如圖1所示，在編碼器部分，首先利用深度卷積神經網絡(Deep Convolutional Neural Network, DCNN)對原始圖像進行特征提取。接著將這些特征輸入空洞率[15]組合為6，12，18的ASPP模塊，進一步提取多尺度特征。最后，將不同尺度特征進行融合并通過1×1卷積將通道數調整為256。

圖1 DeepLabv3+模型結構Fig.1 Structure of DeepLabv3+ model

在解碼器部分[16]，先將編碼器輸出特征進行4倍上采樣，然后與DCNN模塊中提取的淺層特征進行融合，最后將融合后的特征通過3×3卷積和4倍上采樣得到預測圖像，其大小與原始圖像相同。

DeepLabv3+模型通過編碼器結構、解碼器結構和ASPP模塊能夠獲取豐富的邊界信息和多尺度特征[17]，實現較高的分割精度。但DeepLabv3+模型的參數量大、預測速度較慢，且在電力線分割中易產生漏分割和錯分割問題。針對這些問題，本文對DeepLabv3+模型進行改進，使其更適用于電力線分割。

2 改進的DeepLabv3+模型

為解決DeepLabv3+模型參數量大、預測速度慢，且對電力線易產生漏分割和錯分割的問題，本文通過對DeepLabv3+模型主干網絡進行替換、對ASPP模塊進行改進、在解碼器引入3層淺層特征及添加BAM，使預測速度和分割精度得到有效提升。

2.1 PP-LCNet網絡模型

DeepLabv3+模型以Xception作為主干網絡，Xception模型較復雜、參數量大，無法滿足電力線分割對實時性的需求。因此本文使用預測速度更快的輕量級網絡——PP-LCNet[18]對其進行替換，有效減少參數量并提升預測速度。

PP-LCNet是百度提出的輕量級網絡，在目標檢測、語義分割等任務中都取得很好的效果，其結構如圖2所示。PP-LCNet的核心部分是利用深度可分離卷積代替標準卷積，沒有短路連接等操作，有效減小參數量并加快運行速度。在PP-LCNet中將深度可分離卷積塊中的激活函數ReLU替換為H-Swish，使性能得到進一步提升。

圖2 PP-LCNet結構Fig.2 PP-LCNet structure

在平衡速度和精度的條件下，PP-LCNet在網絡尾部用5×5卷積代替3×3卷積，有效提升了網絡的特征提取能力。在最后2個深度可分離卷積塊中添加了壓縮和激勵網絡(Squeeze and Excitation Network, SENet)模塊對網絡通道進行加權，加強對重要信息的特征提取，在不影響速度的情況下提升網絡的性能。

2.2 瓶頸級聯空洞空間金字塔池化

DeepLabv3+模型利用空洞率組合為6，12，18的ASPP模塊來提取多尺度特征。空洞率越大可獲得更大的感受野，但也會帶來細節特征提取不足、小目標提取效果差等問題。因此本文對ASPP模塊進行改進，提出瓶頸級聯空洞空間金字塔池化(Bottleneck Cascade Atrous Spatial Pyramid Pooling, BC-ASPP)模塊，通過增加空洞卷積分支和級聯空洞卷積加強對電力線細節特征的提取，減少漏分割現象。

BC-ASPP模塊結構如圖3所示。增加一個空洞卷積分支，并將空洞率組合修改為3，6，9，12，更有助于小目標和細節特征的提取。對中間4個卷積分支進行2次3×3卷積級聯運算[19]，提取具有更大感受野的多尺度特征，有效減少了漏分割問題。當空洞卷積的空洞率為r，卷積核大小為k時，感受野大小為：

圖3 BC-ASPP模塊結構Fig.3 BC-ASPP module structure

R=(r-1)×(k-1)+k，

(1)

而2層空洞卷積級聯時感受野大小為：

R=R1+R2-1，

(2)

式中，R1，R2為2層空洞卷積分別提供的感受野，可見2層空洞卷積級聯時感受野增加近1倍。對BC-ASPP模塊參數進行精簡，將中間4個卷積分支先使用1×1卷積降維至64通道，然后進行2次3×3卷積處理，再利用1×1卷積升維到256通道，這種瓶頸結構有效減小了參數量。

2.3 多尺度特征融合

DeepLabv3+模型將主干網絡產生的降采樣系數為1/4大小的特征圖與編碼器輸出特征圖進行融合，這種單一尺度的特征融合方式容易造成細節缺失。為了更充分利用主干網絡提取到的不同層次特征，恢復降采樣過程中丟失的細節特征和空間信息。本文在解碼器部分引入PP-LCNet中降采樣系數為1/4，1/8以及1/16大小的部分淺層特征圖[20]。這3層淺層特征圖利用1×1卷積將通道數分別調整為48，32，16，防止過量的淺層語義信息影響編碼器輸出深層語義信息的表達。這樣的多尺度融合過程僅增加了2次1×1卷積操作，比原DeepLabv3+網絡的特征融合方式增加很少的參數量，但分割精度得到有效提升。

2.4 瓶頸注意力模塊

注意力機制能夠模擬人類視覺機制，對重要的特征信息給予更多的關注度，有利于捕捉上下文信息，提高特征學習的針對性。BAM[21]是一種混合的注意力機制網絡，由并行的通道注意力網絡和空間注意力網絡構成，其結構示意如圖4所示。輸入特征圖F分別經2個并行的網絡處理后得到特征圖M(F)。然后將M(F)與F通過逐點相乘以突出重要特征，將得到的特征圖與F相加后輸出注意力特征圖F′。特征圖M(F)和F′的表達式為：

圖4 BAM結構Fig.4 BAM structure

M(F)=σ(Mc(F)+Ms(F)) ，

(3)

F′=F+F?M(F) ，

(4)

式中，σ為Sigmoid函數；?為逐點相乘；Mc(F)和Ms(F)分別表示通道注意力網絡和空間注意力網絡輸出特征圖。

在通道注意力網絡中，首先用全局平均池化對每個通道中的特征進行聚合[22]，生成通道向量Fc。然后利用多層感知器評估來自Fc的注意力網絡，經全連接層獲得通道注意力特征圖。在空間注意力[23]網絡中，首先用1×1卷積壓縮特征圖維度，然后利用2個空洞率為4的3×3卷積獲取上下文信息，最后用1×1卷積進一步壓縮維度后輸出空間注意力網絡特征圖。

本文在編碼器和解碼器分別引入BAM，能夠獲取更多感興趣的通道和空間特征信息，有效減少背景及其他因素干擾，更有助于電力線特征提取。

2.5 PBB-DeepLabv3+模型

本文提出的PBB-DeepLabv3+模型總體結構如圖5所示。

圖5 PBB-DeepLabv3+模型結構Fig.5 Structure of the PBB-DeepLabv3+ model

在編碼器部分，首先用PP-LCNet替換原始主干網絡Xception，減少模型參數量并加快預測速度，進一步提高電力線分割的實時性。然后對ASPP模塊增加一個空洞卷積分支，將空洞率組合由原來的6，12，18改為3，6，9，12，更有效地對細長的電力線進行特征提取。對中間4個卷積分支增加1次3×3卷積，獲取具有更大感受野的密集多尺度特征，減少對電力線的漏分割。并進一步將空洞卷積分支采用先降維后升維的瓶頸結構來減小計算量。

在解碼器部分引入降采樣系數為1/4，1/8及1/16大小的部分淺層特征，更充分利用主干網絡提取到的不同層次特征以恢復降采樣過程中丟失的細節特征和空間信息，提高了電力線邊界的分割精度。最后在編碼器和解碼器分別引入BAM，對電力線特征給予更高的關注度，減少對背景物的錯誤分割。

3 實驗與結果分析

3.1 參數設置和評價標準

本文使用的實驗環境和訓練參數設置如表1所示。

表1 實驗環境和訓練參數Tab.1 Experimental environment and training parameters

本文以平均像素精度(Mean Pixel Accuracy, MPA)和平均交并比(Mean Intersection over Union, MIoU)作為分割精度的評價標準。MPA表示每種類別被正確分類的像素比例求平均值，表達式如下：

(5)

MIoU表示真實值和預測值的交集與并集之比，表達式如下：

(6)

式中，k+1為類別數；pii為正確分類的像素數；pij為i類被預測為j類的像素數；pji為j類被預測為i類的像素數。

3.2 數據集和數據增強

本文所使用的數據集從公開的電力線數據集TTPLA和WireDataset獲取。TTPLA數據集由1 100張圖像構成，包含8 987個輸電塔和電力線標簽，從無人機在不同背景下拍攝的80個視頻中提取。WireDataset數據集由500張包含電力線的圖像構成，圖像由無人機在不同背景下距電力線10 m內航拍得到。本文從TTPLA數據集和WireDataset數據集分別選取415張和437張包含電力線的圖像，并將這852張圖片經過旋轉、左右翻轉、放大、縮小、裁剪以及改變亮度的方式擴充至5 000張圖片作為本文的數據集，圖6(a)～(d)分別展示了數據集中背景為樹林、路面、草地以及復雜背景下的電力線圖片。將數據集的10%作為測試集，其余按照9∶1的比例劃分為訓練集和驗證集。

圖6 不同背景的數據集樣本Fig.6 Dataset samples with different backgrounds

3.3 損失函數的選取

由于電力線像素點在圖像中占有的比例較低，當用交叉熵損失函數(Cross Entropy Loss, CE Loss)進行訓練時，損失函數會偏向占比高的背景，將電力線的損失掩蓋，使網絡難以學習到電力線的特征。Dice Loss損失函數衡量不同類別樣本之間的重合部分，更傾向于挖掘前景區域，適用于樣本不平衡的數據集，但其在誤差反向傳播過程中振蕩幅度較大，訓練損失值不穩定。因此本文將CE Loss和Dice Loss兩種損失函數結合作為損失函數，其表達式如下：

Loss=LossCE+λLossDice=

(7)

式中，N和T分別表示像素個數和類別數量；yic表示像素i的指示變量；pic表示像素i預測為類別T的概率；X和Y分別表示真實分割像素與預測分割像素的集合；λ表示權重系數，設置為0.8。

將PBB-DeepLabv3+模型分別使用CE Loss+Dice Loss混合損失函數和CE Loss損失函數進行訓練，對PBB-DeepLabv3+模型分割精度影響的對比如表2所示。可以看出，使用CE Loss+Dice Loss混合損失函數時分割精度高于CE Loss損失函數，說明CE Loss+Dice Loss混合損失函數對處理樣本不平衡問題有明顯效果。

表2 本文損失函數與CE Loss損失函數對PBB-DeepLabv3+ 模型分割精度影響的對比Tab.2 Comparison of the impact of the proposed loss func- tion and the CE Loss loss function on the segmentation accuracy of the PBB-DeepLabv3+ model 單位：%

3.4 不同改進策略對于模型的影響

為驗證本文改進策略在電力線分割中的優化作用，本文設置了一組消融實驗，實驗結果如表3所示。本文在DeepLabv3+模型的基礎上依次進行主干網絡替換、解碼器引入3層淺層特征、對ASPP模塊進行改進及添加BAM，將這4種模型與DeepLabv3+模型進行對比實驗，分別比較了分割精度、預測速度以及參數量。

表3 PBB-DeepLabv3+模型消融實驗結果Tab.3 PBB-DeepLabv3+ model ablation experiment results

由表3可知，為滿足電力線分割實時性的需求，用PP-LCNet替換主干網絡Xception以后，參數量較原來減少89%，預測速度增加1倍，達到76.67幀/秒。但輕量化的PP-LCNet特征提取能力相對于深度值更高的Xception要低一些，這也使得模型分割精度較原來有所下降。為彌補更換主干網絡后對分割精度造成的損失，在解碼器部分引入3層淺層特征，更充分利用主干網絡提取到的不同層次特征以恢復降采樣過程中丟失的細節特征和空間信息，使得MPA和MIoU分別提高2.48%和1.56%。

將ASPP模塊替換為BC-ASPP模塊后，通過增加空洞卷積分支和級聯卷積，以及對空洞率組合進行修改，加強了對電力線細節特征的提取，有效減少了漏分割現象，MPA和MIoU分別提升1.28%和1.46%。進一步將BC-ASPP模塊中的空洞卷積分支改為瓶頸結構以后，模型變得更加輕量化，參數量減小到13.32 MB。通過添加BAM更多的關注電力線特征，減少了背景的干擾，使分割精度得到進一步提升，MPA和MIoU分別達到91.90%和82.07%。

3.5 與其他模型的分割效果對比

為進一步驗證本文改進算法對電力線分割的有效性，圖7展示了PBB-DeepLabv3+模型與PSPNet，U-Net，SegNet，DeepLabv3+，以MobileNetV3為主干網絡的DeepLabv3+這5種分割模型在4張電力線圖像上的預測結果。圖7(a)和(b)分別為4張電力線圖像的原始圖像和標記圖像。由圖7(c)～(e)可知，PSPNet模型對電力線出現大量斷續分割，且對電力線邊界分割過于粗糙。U-Net模型在與電力線特征較接近的窗戶邊緣出現了錯分割，在電力線和石塊重合位置和較細的電力線處有漏分割現象。SegNet模型也對背景物產生了錯分割，對電力線邊界分割精度有所欠缺。以上3種模型對電力線均存在明顯的錯分割、漏分割問題，無法滿足分割精度的要求。

圖7 PBB-DeepLabv3+與其他5種模型預測效果對比Fig.7 Comparison of prediction effects between PBB-DeepLabv3+ and other five models

由圖7(f)～(g)可知，DeepLabv3+模型對第1，2張圖出現了一些誤分割的噪點和斷續分割，對第3，4張圖出現了較明顯的錯分割，說明DeepLabv3+模型對于細節的分割能力不足且易受到背景物的干擾。當用MobileNetV3作為DeepLabv3+模型主干網絡時，出現分割不連續的現象和明顯的錯分割，可見用MobileNetV3作為主干網絡的DeepLabv3+模型特征提取能力不足，分割精度有待提高。由圖7(h)可知，本文提出的PBB-DeepLabv3+模型能夠將電力線完整地分割出來，基本沒有出現錯分割、漏分割問題，具有較高的分割精度。

通過橫向對比第1，2行圖片可知，對ASPP模塊進行改進和在解碼器引入3層淺層特征使得漏分割問題得到明顯改善，電力線邊界分割精度也得到提升。通過橫向對比第3，4行圖片可知，改進算法的錯分割問題明顯減少，主要原因在于引入的BAM能有效減少背景和其他因素的干擾。綜合來看，PBB-DeepLabv3+模型能夠明顯減少錯分割、漏分割現象，取得了最好的分割效果。

PBB-DeepLabv3+模型與PSPNet，U-Net，SegNet，DeepLabv3+，以MobileNetV3為主干網絡的DeepLabv3+這5種分割模型在分割精度、預測速度以及參數量上進行對比，如表4所示。

由表4可知，DeepLabv3+模型對電力線分割的精度優于前3組對比模型，但模型參數量很大，預測速度有待提升。將DeepLabv3+模型的主干網絡用MobileNetV3代替后，有效減小參數量并提升預測速度，但MPA和MIoU下降明顯，無法滿足分割精度的要求。本文提出的PBB-DeepLabv3+模型在評價指標MPA和MIoU均優于其他對比模型，相對于DeepLabv3+模型分別提升1.18%和3.50%，預測速度也有了54.39%的提升，模型的參數量遠小于其他模型，僅為13.32 MB，證明本文提出算法在分割精度和預測速度均具有很好的效果，可以有效適用于電力線分割。

表4 PBB-DeepLabv3+與其他5種模型實驗結果對比Tab.4 Comparison of experimental results between PBB-DeepLabv3+ and other five models

4 結束語

本文提出一種基于改進DeepLabv3+算法的電力線分割模型——PBB-DeepLabv3+。結合電力線特點和實際應用中對分割速度和精度的需求，首先用輕量級PP-LCNet替換原始主干網絡Xception，有效減少參數量并提高預測速度。然后對ASPP模塊增加空洞卷積分支和級聯卷積減少漏分割現象，并將空洞卷積分支改為瓶頸結構減少參數量。在解碼器部分融合3層淺層特征提高電力線邊界分割精度。最后引入BAM減少對背景物的錯誤分割。通過進行消融實驗驗證了本文改進策略的有效性，將PBB-DeepLabv3+模型與其他5種分割模型進行對比實驗，PBB-DeepLabv3+模型在預測速度和分割精度的平衡性上表現更優。實驗結果表明，與DeepLabv3+模型相比，本文算法預測速度提升54.39%，MPA和MIoU分別提升1.18%和3.50%，兼顧了分割速度和精度，可以有效應用于電力線分割。后續研究任務是在嵌入式設備上進行實驗，檢驗模型的實際應用能力。