基于輕量級Fast-Unet網絡的航拍圖像電力線快速精確分割

楊 鍇，周順勇，曾雅蘭，趙 亮

（1.四川輕化工大學自動化與信息工程學院，四川 宜賓 644000；2.人工智能四川省重點實驗室，四川 宜賓 644000）

引 言

直升機在低空飛行時，因誤觸電力線而造成的墜毀事故占到了其通航總事故的30%。為了避免此類事故的發生，目前常用方法是以機載攝像機獲取圖像實現基于機器視覺的電力線防撞系統［1-3］，而系統的首要工作就是從航拍圖像中精確而快速地分割出電力線。

目前已有一些較好的電力線檢測算法，例如，將Canny 邊緣檢測算子與Hough 變換結合起來設計電力線檢測算法［4-10］，此類算法能有效檢測到航拍圖像中的直線形結構電力線。張從新等［4］首先使用Canny 邊緣檢測算子生成邊緣圖，再利用Hough 變換來檢測邊緣圖中的直線。Li等［5］使用脈沖耦合濾波器，在Hough 變換時結合使用了基于先驗知識的線聚類方法，但是算法速度過慢。Candamo 等［6］采用窗口式Hough 變換跟蹤檢測電力線。陳建等［7］使用黑塞矩陣進行邊緣檢測，并提出基于區域的隨機Hough 變換。王堅俊等［8］通過Otsu 獲取高低閾值，采用分式查表法改進Hough 變換，最后結合空間信息平滑檢測結果。Aggarwal等［10］使用正則化形式合并先驗信息來增強基于Hough 變換的線檢測的性能。

但是，電力線在航拍圖像中并不總是呈現單一的直線型特征。針對這一問題，Yetgin 等［11］通過Edlines 算法提取圖像中的所有完整曲線，并使用K-means均值聚類過濾線性噪聲。譚金石等［12］采用Lsd 提取圖像中所有線段，并運用統計學特征濾除噪聲，最后使用最小二乘法擬合電力線曲線，該算法精度很高，但速度較慢。林火煅等［13］使用Ratio算子與Ransac 算法結合檢測電力線。Song 等［14］采用零均值高斯濾波器（MF）和一階高斯導數（FDOG）生成邊緣圖，最后使用基于圖論的圖割法擬合電力線。

上述大多數算法都使用電力線自身特征進行匹配濾波檢測，容易檢測到線性結構噪聲，需要進行大量后處理用以濾除噪聲和平滑檢測結果。為了避免大量的后處理運算，從而提升算法的運行速度及檢測精度，卷積神經網絡開始用于設計端到端的電力線檢測算法［15-18］。Li等［15］設計了空間信息的注意力機制，用以減少神經網絡對背景的注意力，提高對目標的注意力。Zhang 等［16］將各特征層進行權重組合，用以生成最終檢測圖。Jenssen 等［17］以人工合成訓練數據，并提出了一種快速單發線段檢測器（LS-Net）。卷積神經網絡雖然避免了大量后處理運算，但自身網絡體積較大，運算較多，在保證檢測精度的同時，難以保證足夠的檢測速度，還是難以應用于實際。

基于此，本文對Unet 卷積神經網絡進行改進，設計了輕量級Fast-Unet語義分割網絡，采用的金字塔池化結構與多損失函數協同訓練方法，提高了網絡檢測精度；并刪減網絡卷積核數量用以減小模型的體積，同時使用深度可分離殘差卷積結構對網絡進一步優化，達到了速度與精度的較好平衡。

1 Fast-Unet輕量級語義分割網絡

Unet 語義分割網絡作為典型的編解碼結構卷積神經網絡［19］，在醫學圖像分割任務與衛星遙感圖像分割任務中都有優異的表現［20］。電力線航拍圖像與遙感圖像都存在前景與背景分布極度不均衡的問題［21］，又與醫學圖像都存在待分割目標結構信息極為簡單的難點［22］。因此，本文以Unet 為基礎，設計Fast-Unet輕量級語義分割網絡，用于快速而精確地檢測航拍圖像中的電力線。

1.1 Unet

Unet 網絡結構如圖1 所示，圖中給出了當輸入圖片的尺寸為512×512，通道為3 時，網絡中特征的尺寸、通道變化情況。網絡中最后一層卷積的卷積核尺寸為1×1，其他卷積層的卷積核參數相同，尺寸為3×3，步長為1，填充為1。上采樣采用雙線性插值算法，池化運算為最大池化，池化核尺寸為2×2。

圖1 Unet網絡結構圖

Unet 網絡雖然具有較高的檢測精度，但模型有約3.14×107個參數，模型參數體積較大，運算速度較慢，為了滿足實際應用需求，不僅需要提升Unet 網絡的檢測速度、減小模型參數體積，還要保證模型檢測精度不能有太多損失。

1.2 Fast-Unet

Fast-Unet 網絡結構如圖2 所示，在Unet 的基礎上，首先，將網絡中所有卷積核的數量減半。過多的卷積核對于分割電力線這種簡單目標，會提取過多的冗余信息，不能提高模型檢測精度，且會減低模型運算速度［23］。然后，增加金字塔池化結構，增強特征上下文信息的融合程度。最后，使用深度可分離殘差卷積及深度可分離殘差卷積塊替換掉原始卷積運算，進一步減少了網絡參數量，同時增加了網絡深度，有利于學習到更魯棒的網絡參數［22］。

圖2 Fast-Unet網絡結構圖

2 具體改進方法

2.1 金字塔池化

Unet 網絡中編碼端最終特征的尺寸為32×32，相對于輸入圖像的尺寸壓縮了16 倍。網絡所提取的特征的最大感受野為16×16，也就是最大全局信息為16×16。為了增大網絡的感受野及增強網絡所提取的全局信息，添加了金字塔池化結構，如圖3所示。首先，結構將輸入的特征進行4 種尺度的平均池化，池化后4個特征通道數不變，尺寸大小變為1×1、2×2、3×3、6×6，分別包含了4種尺寸的高級語義信息。然后，使用1×1 的卷積壓縮通道至輸入通道的1/4，再經雙線性插值上采樣將尺寸變換到與輸入特征的尺寸一致。最后，將4 個特征與輸入特征拼接到一起，再用1×1 的卷積壓縮通道至與輸入特征的通道一致。

圖3 金字塔池化結構圖

經過金字塔池化結構運算后，網絡額外增加了4 種尺寸的全局信息，分別為512×512、256×256、170×170、85×85。特征的上下文信息得到了充分融合，且該結構主要使用池化運算，并未增加太多參數量。

2.2 深度可分離殘差卷積與卷積塊

Unet 網絡中使用了大量尺寸為3×3，步長為1，填充為1 的的卷積，用于特征通道數變換。這些卷積會大量增加網絡的參數量，為了進一步減少網絡的參數量，提高算法的運算速度，可將這些普通的卷積層替換為深度可分離卷積［24］。

圖4 演示了輸入通道為3，輸出通道為32 的普通卷積，共使用了32個3通道的3×3卷積核，總共參數為864個。

圖4 普通卷積過程示意圖

圖5 演示了輸入通道為3，輸出通道為32 的深度可分離卷積。計算過程分為兩步：第一步為逐深度卷積，在逐深度卷積中使用的是3個單通道的3×3卷積核，每個卷積核對輸入特征的其中一個通道進行卷積運算，整體輸出特征的通道為3；第二步為逐點卷積，這步運算使用32 個3 通道的1×1 卷積核進行普通卷積，整體輸出特征的通道為32。深度可分離卷積總共參數為123 個，相比于普通卷積減少了741個參數。

圖5 深度可分離卷積計算過程圖

深度可分離卷積減少了卷積參數，但還存在一部分冗余運算。因為經卷積運算后得到的特征各通道存在一定的相似性，部分通道可以由其他通道經過簡單的線性變換組合而來［25］。逐點卷積就是將逐深度卷積的輸出進行一系列組合變換。因此，可以將逐深度卷積的輸出直接作為最終輸出的一部分，逐點卷積只需計算其余部分即可，修改后的逐點卷積計算如圖6所示。

圖6 逐點殘差卷積

使用逐深度卷積與逐點殘差卷積共同構成深度可分離殘差卷積，深度可分離殘差卷積總共參數為114 個，相比于普通卷積減少了750 個參數，相比于深度可分離卷積減少了9個參數。

當輸入特征的通道為c，輸出特征的通道為n(n＞c)時，普通卷積的參數量為n×c×(3×3)=9nc，深度可分離卷積參數量為c×(3×3)+n×c×(1×1)=(9+n)c，深度可分離殘差卷積參數量為c×(3×3)+(n-c)×c×(1×1)=(9+n-c)c，深度可分離卷積相比于普通卷積減少了(8n-9)c個參數，深度可分離殘差卷積相比于深度可分離卷積減少了c2個參數，可以看出當輸入特征與輸出特征的通道數越大，深度可分離殘差卷積減少的參數也就越多。

深度可分離殘差卷積只能用于輸入通道數小于輸出特征通道數的運算。為了將其應用于其他情況下的運算，分別設計了深度可分離殘差卷積塊1、深度可分離殘差卷積塊2，其結構如圖7所示。

圖7 深度可分離殘差卷積塊

卷積塊1用于輸入特征通道與輸出特征通道相等的卷積運算，當輸入通道為c時，普通卷積參數量為9c2，卷積塊1 的參數量為0.75c2+4.5c，減少了8.25c2-4.5c。卷積塊2用于輸入特征通道大于輸出特征通道的卷積運算，當輸入通道為c，輸出通道為n(c＞n)時，普通卷積參數量為9nc，卷積塊2 參數量為3nc+9n-n2，減少了n2-9n+6nc。

2.3 多損失函數

原始Unet 的損失函數為普通的交叉熵損失函數(Cross Entropy Loss)。當網絡為二分類時，CE loss(Cross Entropy Loss)可以表示為：

其中：y^ 為模型預測為前景的概率，y是樣本標簽，前景取1，背景取0。

式（1）給出了單個像素的損失計算方法。在進行語義分割時，圖像中每個像素點都會產生一個損失值，神經網絡會將圖像中所有點的損失值加起來進行反向傳播。而電力線圖像中，前景只占少數部分，所貢獻的損失占比很少，神經網絡將難以通過損失反向傳播對前景進行擬合訓練。這種類別分布極為不均衡的問題將會影響網絡對前景的判別能力［26］。因此，可以給前景與背景所產生的損失添加一個權重，讓前景貢獻更多的損失用于訓練網絡。修改后的交叉熵損失函數BCE loss(Balance Cross Entropy loss)表達式為：

式中：α為前景的損失權重，通過調節α可以調節前景在訓練時的損失值貢獻程度。

雖然增加一個權重系數，可以在一定程度上改善前景難以擬合的問題，但這種所有同類像素都使用同一個系數的方法過于直接。圖像中前景中的邊界位置及背景中線性噪聲才是最難以訓練的，還應該關注此類像素的損失值占比。Focal loss 能自適應地調節每個像素的損失值占比，其表達式為：

式中：β為調節因子，α與β分別取經驗值0.25、2。

假若當前像素標簽為前景，且y^ 較大，那么該像素為容易辨別的一類，權重項(1-y^)β會自適應地降低其損失貢獻，減輕網絡對該像素點的關注度。反之，則增加其損失貢獻，增強網絡對該點的關注度。同理，權重項y^β會自適應地調整標簽為背景的各個像素的損失貢獻。

除了Focal loss 能改善類別分布不均的問題，Huang等［27］所采用的Dice loss損失函數，也能達到類似的效果，且能改善分割的邊界精確度，Dice loss表達式為：

Dice 系數為度量兩個集合相似性程度的數值，其表達式為：

式中：X為分割后的預測圖的點集，Y為當前標簽圖的點集，Dice的取值范圍為[0,1]，其值越大表示預測得越準。

兩種損失函數都有助于提高網絡性能，因此，用于訓練Fast-Unet 的多損失函數（Multiple loss）由這兩個損失函數組成，M loss（Multiple loss）的表達式為：

3 實驗及分析

3.1 實驗環境及訓練

本次實驗，計算機硬件配置為I3-9100F（CPU）、GTX1060 6GB（GPU）、微星B365（主板）；操作系統為Windows10 專業版；軟件配置為Anaconda、Pycharm；編程語言為Python3.6，深度學習框架為Pytorch1.2.0。

實驗數據為Yetgin等［9］提供的4000張無人機航拍圖像，通過人工逐像素標注后，將數據按(8∶1∶1)的比例分為訓練集、驗證集、測試集。訓練時，輸入圖片的尺寸為512×512，12 張圖片為一個batch，優化器為Adam，初始學習率采用0.001，采用學習率下降策略，每迭代訓練一次，學習率降低為上一次的0.9倍，訓練至驗證集損失不再下降為止。

3.2 結果與分析

為了驗證本文改進之處的有效性，首先進行消融實驗。使用CE loss、M loss 分別訓練Fast-Unet，訓練數據、方式相同。訓練后使用測試集測試網絡的檢測精度，檢測精度采用平均交并比（Miou）計算,其計算方式為：

其中：N為測試集圖片數量，i為測試集第i張圖片，TPi、FNi、FPi分別為第i張圖片中，電力線被成功預測的像素（真正例）；把背景誤測為電力線的像素（假正例）；背景被成功預測的像素（真反例）。

采用CE loss、M loss 訓練Fast-Unet 后，得到兩個模型，分別為Fast-Unet-CE loss 與Fast-Unet-M loss。兩個模型經測試，Miou分別為79.15 與80.26，部分測試結果如圖8所示。

圖8 部分測試結果對比圖

由圖8（b）中可以看出，Fast-Unet-CE loss 模型能檢測出大部分電力線，但存在一些誤檢測，但電力線均已完整檢測。由圖8（c）可見，Fast-Unet-M loss 完整檢測出了所有電力線，且沒有誤檢測，實驗結果表明M loss能有效提高網絡的檢測精度。

為了進一步測試本文算法的性能，選取另外4種算法與基于M loss 訓練的Fast-Unet 進行對比實驗，4 種算法分別為PsPnet、Deeplab、SegNet、Unet。采用相同的數據訓練4 種算法，并用同一個測試集測試了各算法的檢測精度、運算速度。其中檢測精度使用Miou計算。圖9 給出部分檢測結果對比，圖10 對比了各算法精度與速度，表1 對比了各算法參數量。

圖9 中可見，Unet 表現最為良好,其逐級編解碼結構，較好地使用了特征金字塔中的上下文信息，且Unet 網絡較為復雜，能提取到較為深層次的信息，所以并未出現誤檢測。Fast-Unet 在處理較為密集的的電力線時容易分割不清，這是由于大量減少了網絡參數，損失了一點檢測精度。SegNet 在處理電力線較為密集的圖像時，性能較差，在其余情況下，能較為完整的分割出電力線，但邊界參差不齊，這是由于SegNet 在解碼過程僅使用了池化索引，并沒有充分運用特征金字塔中的低級細節信息所造成的。PsPnet 存在電力線邊界定位不準，與密集電力線漏檢的問題，這是由于PsPnet 只使用了最后一層特征進行解碼預測，并直接一次性上采樣回原圖大小，運算過于直接，導致邊界定位不準與漏檢。Deeplab不能較為完整地分割出電力線，這是由于沒有充分運用圖像的上下文信息，加重了圖像類別分布不均對網絡的影響。

圖9 各算法部分測試結果對比圖

Fast-Unet 相對于另外4 種算法，減少了大量參數，因此更容易受到圖像中類別不均衡問題的影響。金字塔池化能在不過多增加參數的同時，增強特征上下文信息的融合，使算法能完整地檢測出電力線。M loss 能有效減小圖像類別分布不均所帶來的影響，減少誤檢測。因此Fast-Unet在檢測精度上僅次于Unet，且精度可以接受。

圖10 中可見，Fast-Unet 具有最快的檢測速度，處理單張512×512 大小的彩色圖像耗時0.048 s，處理速度超過每秒20 幀，Miou為80.26。相比于Deeplab、PsPnet、SegNet、Unet，速度提升了約204%、243%、119%、140%，檢測精度提升了約14.3%、8.1%、4.8%、-1.4%。Fast-Unet 損失了一定精度，但速度提升較大，較好地平衡了精度與速度。

圖10 各算法精度、速度散點圖

表1 給出了各算法的參數量，Fast-Unet 的模型大小只有10.31 MB，運行顯存為936 MB，相比于Deeplab、PsPnet、SegNet、Unet，模型體積減少了約93.4%、94.1%、90.9%、91.3%；運行顯存減少了約53.9%、49.6%、26.9%、28.9%。結合表1 與圖10 可見，Fast-Unet 在大量減少參數后，并沒有過多降低檢測精度。

表1 模型性能測試表

4 結 論

經過實驗論證，得出以下結論：

（1）Unet 語義分割網絡相比于其他主流算法，更適合用于檢測航拍圖像中的電力線，但整體網絡參數較多，運算較慢。

（2）深度可分離殘差卷積與深度可分離殘差卷積塊能有效減少模型參數，縮小模型體積，加快模型運算。金字塔池化結構與多損失函數能有效提高網絡檢測精度。

（3）Fast-Unet 推理512×512 大小圖片耗時為0.048 秒，精度為80.26，較好地平衡了速度與精度，滿足了實際應用需求，且模型體積僅為10.31MB。

（4）由于數據集較少，存在一定的過擬合風險，后期工作需要增加電力線數據進行訓練，但使用無人機采集數據費時費力，擬研究基于生成對抗神經網絡合成電力線圖像的相關技術。