基于改進FPN與SVM的樹障檢測方法

斯建東，湯義勤，趙文浩

（國網浙江省電力有限公司臺州供電公司，浙江 臺州 318000）

0 引言

輸電線路是電網的一個重要組成部分，其主要任務是輸送和分配電能到目標點，當輸電線路出現故障時，會對供電工作產生嚴重影響［1］。在實際環境中，輸電線路走廊上的樹木存在較大的安全隱患，距離輸電線路較近的茂密樹木極易引發閃絡、跳閘等事故［2］。因此，如何及時發現樹障以保障電力安全供應成為運維人員關注的焦點。

針對樹障檢測問題，傳統的樹障檢測多采用人工巡檢的方式，由于樹障難以被精確測量，導致人工巡檢難以發現和獲取樹障信息，且極易對人身安全構成威脅，因此采用無人機進行輸電線路巡檢不失為一種合理的解決方案。現多采用無人機搭載激光雷達向輸電線路和地面發射激光信號［3］，獲得大量的激光點云數據，并通過光電探測器進行接收，數據經過處理后可得到輸電線路、塔桿以及周圍環境的三維立體模型，輔助巡檢作業人員決策。激光雷達作為采集數據傳感器的優點是響應時間快，且不受地表雜波干擾，測距精度高，缺點是成本較高，不能全天工作，且遇到濃霧、雨雪天氣無法工作。現如今機載攝像頭常作為采集數據傳感器，質量較輕，便于攜帶，價格低廉，以圖像的形式展示監測數據，具有較高的可操作性。隨著目標檢測算法的不斷改進與發展，該算法在許多應用場景中都取得了不錯的成績［4-6］。基于此，本文將深度學習技術應用于樹障檢測中。現有的目標檢測算法大致步驟為：首先通過主干網絡對圖片的信息進行初步提取，然后通過neck結構對所提取的圖片特征進行更深層次的提取與融合，最后使用檢測頭對目標位置進行預測。

Girshick R提出的R-CNN［7］（區域卷積神經網絡）首次將深度學習引入目標檢測領域，并使得諸多學者對其進行改進，例如SPP-Net［8］（空間金字塔池化網絡）在R-CNN的基礎上引入空間金字塔池化層，降低了圖像大小對網絡的影響；Faster R-CNN［9］（快速區域卷積神經網絡）在提取候選區域時引入區域建議網絡，實現了端到端的訓練并提高了區域提取的精度；Mask R-CNN［10］（掩膜區域卷積神經網絡）將Faster R-CNN對池化層進行改進，并利用雙線性插值算法降低誤差，同時增加了預測分割模塊，在一定程度上提高了整體的精度。然而若將Mask R-CNN用于解決樹障檢測問題，其預測分割模塊相對冗余，提取的多層特征映射圖未被充分利用，高層特征映射圖的處理方式極易導致信息丟失，難以達到較高的檢測精度。因此本文主要采用了Mask R-CNN中網絡深度更深、運算量更小的深度殘差網絡（ResNet 50）對圖像特征進行提取。

高層特征映射圖擁有更多的語義信息，但丟失了大量的位置信息，底層特征映射圖則恰恰相反，此外不同的物體在不同的時空中存在不同的大小和分布。使用單一尺度的特征映射圖，將會極大地限制模型性能。為了解決多尺度問題，Tsung-Yi Li等人提出了FPN（特征金字塔）［11］，通過使用不同尺度的特征圖對目標進行檢測從而提升模型的性能。由于樹障檢測應用場景的復雜性，因此要提高模型的定位性能，必須要讓模型包含更多尺度的信息。

針對上述問題，本文以攝像頭作為傳感器搭載在無人機上，結合基于改進FPN與SVM（支持向量機）的樹障檢測算法，進行識別和提取樹障的特征，查找被樹障覆蓋的區域。該算法采用Mask R-CNN中的ResNet 50和改進的FPN作為特征提取網絡，隨后將提取到的特征向量傳入基于遺傳算法的SVM［12］進行二分類，判斷該圖像中是否含有樹障。本文在硬件設備上采用更為輕便、成本更低的攝像頭作為數據采集傳感器，在算法上選擇輕量級的ResNet（殘差網絡）聯合改進后的FPN算法，并用計算速度較快的SVM進行分類，在保證不影響檢測速度的前提下，提高了樹障檢測的精度，為無人機在輸電線路巡檢方向上探索出更多的可能性。

綜上所述，本文的主要貢獻如下：

1）提出了基于深度學習的電力線樹障檢測方法。

2）提出了一種改進的FPN結構來解決樹障邊緣不確定問題。

3）提出了一種基于遺傳算法的SVM方法來解決Mask R-CNN檢測模型存在的樹障置信度低和推理速度慢的問題。

1 總體設計方案

如圖1所示，樹障檢測方法總體設計方案由輸電線路提取、候選區域選擇和樹障檢測三部分組成。

該方案首先從無人機采集的圖像中提取輸電線路，具體步驟為：

1）提取ROI（候選區域），利用高斯濾波和灰度化進行圖像預處理；隨后對得到的灰度圖進行邊緣檢測、二值化以及形態學處理，實現輸電線路的邊緣檢測，并利用Hough變換提取輸電線路；以輸入圖像的寬度像素值確定滑動窗口的大小，分割出含有輸電線路的區域圖像。

2）將分割出含有輸電線路的區域圖像進行候選區域選擇，使用Selective Search算法從待檢測圖像中提取2 000個區域候選框，這些候選框可能包含樹障目標；再將候選框圖像進行歸一化，得到224×224的用于特征提取的待處理圖像。

3）將待處理圖像輸入由ResNet 50網絡模型和改進FPN構成的特征提取網絡，并將計算得到的特征向量傳入SVM進行二分類，從而判別出該圖像上是否存在樹障。

2 樹障檢測算法

2.1 ResNet模型

ResNet是由何凱明在2015年提出的卷積神經網絡，該網絡在多個分類比賽中取得較好的成績，并被廣泛應用于解決生活問題。除了ResNet以外，LeNet［13］（LECUN Y等人提出的一種深度卷積網絡）、VGGNet［14］（牛津大學計算機視覺組和谷歌人工智能研發的一種深度卷積網絡）和GoogleNet［15］（谷歌團隊研發的一種深度卷積網絡）針對圖像分類問題都具有較好的表現，但是這些網絡模型會出現退化問題，即在準確率飽和的狀態下，繼續加深網絡會導致準確率下降。針對該問題何凱明在ResNet結構中加入了恒等映射，如果經歷一次卷積之后準確率下降，則繼續保持權重的參數不變，等同于沒有進行此次卷積［16］，從而保證了該模型不會因為網絡深度的增加而導致準確率下降。殘差模塊是ResNet的核心結構，其結構如圖2（a）所示，x為殘差塊的輸入，復制成兩部分，一部分輸入到卷積層之中，進行層間運算，將x輸入到一個函數中做映射，得到f（x）；另一部分作為分支結構，輸出還是原本的x，最后將兩部分的輸出進行疊加，得到f（x）+x，再通過激活函數ReLu。在殘差模塊中，網絡模型擬合的不是原本的映射，而是殘差映射。ResNet中殘差模塊分為兩種結構，一種是用于50層以下的網絡結構，如圖2（b）所示；另一種是用于50層以上的網絡結構，如圖2（c）所示。

圖2 ResNet殘差模塊Fig.2 ResNet residual module

ResNet 50能夠在不影響精度的條件下，訓練樣本占用內存小，訓練時間較快，能夠加快整體進程，所以本文采用ResNet 50模型。

2.2 改進FPN

目標檢測通常采用ResNet與FPN結合作為特征提取網絡，實現多尺度融合，增強目標檢測的有效性［11］。ResNet50與FPN結合的特征提取網絡結構如圖3所示，其中的C2—C5表示殘差模塊，分別代表不同深度下特征映射圖，P2—P5表示由FPN和側邊連接得到的不同尺寸的特征映射圖［17］。首先對輸入圖片進行自下而上的特征圖提取，為了得到不同尺寸的特征映射，隨后進行1×1的卷積操作，再通過自上而下的2倍上采樣將其轉化為更清晰的特征，同時通過1×1的卷積進行側邊連接，與ResNet 50特征融合，最后使用3×3的卷積以消除圖像融合的混疊效應。

圖3 特征提取網絡結構Fig.3 Structure of the feature extraction network

采用FPN進行樹障檢測時，樹障界限邊緣不夠分明，而FPN只采用自上而下的方式，多層特征映射圖并沒有被充分利用。高層特征映射圖，經過多次特征提取之后，擁有更多抽象的語義信息，可以實現更加準確的樹障識別。但是由于高層特征映射圖在模型中被壓縮了數倍，導致大量位置信息丟失，僅僅使用高層特征映射圖對樹障進行定位，難以獲得精確的位置信息，甚至會由于電力線特征的丟失導致定位的錯誤。與高層特征映射圖不同的是，淺層特征映射圖的尺寸與原始輸入的圖片更加接近，保留了更多的位置信息和圖片原始信息，這些信息對于樹障的定位十分關鍵。為此，本文提出一種改進FPN結構來更好地融合不同語義和層次的特征，以適配樹障檢測場景。本算法在ResNet 50聯合FPN作為特征提取網絡的基礎上，對FPN做出了相應的改進，其整體框架如圖4所示，其中的N2—N5和M2—M5表示改進增加的特征映射圖。

在FPN生成不同尺寸大小的特征映射圖的框架下，增加一條自下而上的路徑，N2和P2的尺寸相同，N2—N4采用步長為2的3×3的卷積，得到與P3—P5尺寸相同的特征映射圖，并將其分別與P3—P5相加，再進行卷積操作得到N3—N5。上述卷積操作的核數量為256。隨后將N5行1×1的卷積得到M5，將M3—M5進行2倍上采樣得到N2—N4尺寸相同的特征映射圖，并將其分別與N2—N4相加，再經過3×3卷積操作得到M2—M4。

2.3 基于遺傳算法的SVM

針對樹障目標檢測置信度低和推理速度慢的問題，本文引入一種基于遺傳算法的SVM方法對檢測框特征進行進一步分類。SVM是一種用于分類的監督算法，具有良好的泛化能力，在線性可分的情況下，對訓練小樣本有相對的優勢［18］。除此之外，相比于一個完整的分類神經網絡可以減少運算量，加快系統的運行效率，對于是否存在樹障這種不太復雜的二分類問題，是比較合適的選擇。當樹障遮蓋住輸電線路時，灰色的輸電線路上的像素值會發生改變，因此可以利用SVM判定該幀圖像中是否存在樹障。

SVM分類效果的好壞與懲罰因子δ和核函數參數c相關。當懲罰因子越大，分類越粗，容易出現欠擬合，反之會出現過擬合。根據鉸鏈最小損失原則，計算δ和c的最優解［19］，當忽略兩個參數的范圍時，求得的僅為局部的最優解。如若想要達到更好的分類效果，需要求解這兩個參數的全局最優解。

本文參照遺傳算法的編碼、選擇和交叉變異的算法流程對SVM的參數調優進行改進，使得懲罰因子δ和核函數參數c能夠達到全局最優。具體調參步驟如下。

1）初始化：對SVM的參數δ和c進行初始化，對其進行20位的二進制編碼，得到初始種群。

2）篩選父類：將參數δ和c進行解碼并將其代入SVM的適應函數中，多次訓練后得到適應值，通過適應值保留概率大于0.5的個體當做父類。

3）創造子類：對步驟2中父類個體的參數δ和c進行兩點交叉［20］，根據交叉概率創造新的子類個體；對步驟2中父類個體的參數δ和c進行變異操作，根據變異概率創造新的子類個體。

4）計算最優值：設定適應度閾值和迭代次數，若達到適應度閾值或者迭代次數，停止計算，返回參數δ和c的最優值；否則，返回步驟2。

3 實驗與分析

3.1 數據采集和增強

本實驗區域為浙江省杭州市錢塘區某村落，當地植被茂密，樹障情況復雜，且海拔較低，利于無人機進行拍攝實驗。采用大疆御MAVIC 2行業版無人機進行拍攝，拍攝輸電線路長度約2 km，作業高度高于輸電線路高度5 m以上，以避免無人機作業時高度過低形成陰影而影響實驗結果。

本實驗一共采集了400張輸電線路圖像，由于數據樣本數量較少會影響樹障檢測結果的精度，容易導致欠擬合。為此，對采集的圖像進行數據增強，通過數據增強庫對原始數據進行平移、旋轉、鏡像、亮度增強以及增加高斯噪聲等一系列操作，最終得到2 000張圖像。

訓練模型前用Labelme標注工具對數據增強后的2 000張圖像打標，將數據集分成有樹障樣本與無樹障樣本，其打標樣本如圖5所示。

圖5 打標樣本圖像Fig.5 Images of the marking samples

隨后將標注好的數據集按照3∶1的比例進行劃分得到訓練樣本1 500張，測試樣本500張，具體數值如表1所示。

表1 樹障的訓練集與測試集樣本統計Table 1 Sample statistics of training set and test set of tree barrier

每次巡檢檢測到樹障后，將樹障圖像保存下來，并在樹障圖像打上標簽用于之后的神經網絡訓練，訓練出新的模型用于下次無人機巡檢樹障分析。通過模型的不斷擴大與完善，模型的泛化性大大提高，提升了無人機巡線時樹障檢測的精準度。

3.2 輸電線路提取

無人機巡線時俯拍的圖像背景較為復雜，輸電線路特征不明顯，因此需要對圖像進行預處理，提取圖像的ROI，并進行高斯濾波和灰度化處理，對圖像的噪聲進行抑制。圖像中的輸電線路近似為豎直方向上的灰色直線，其寬度方向上的像素較少。通過邊緣檢測、二值化處理以及形態學處理實現輸電線路的邊緣檢測，同時利用Hough變化算法實現輸電線路的提取，其結果如圖6（a）所示。最后依靠滑動窗口技術分割出含有輸電線路的區域圖像，縮小候選區域的范圍，其結果如圖6（b）所示。

圖6 輸電線路提取圖像Fig.6 Extracted images of transmission lines

3.3 實驗配置

本實驗的硬件配置：GPU為NVIDIA Ge Force GTX 1070 Ti，CPU為AMD Ryzen 7 1700 16核，16 GB內存，8 GB顯存。深度學習的平臺是Pytorch1.4，編譯環境是Linux Ubuntu 16.04，GPU運算平臺是CUDA10.1，使用的Python版本為3.6。

3.4 SVM參數調優

本實驗的SVM模型訓練參數如表2所示。

表2 SVM模型基本參數Table 2 Basic parameters of SVM model

根據幀數合集將每一份圖像序列進行剪裁分割，隨后對其輸入特征網絡進行特征提取，將其輸出送入SVM進行分類訓練。其輸出SVM的適應度曲線如圖7所示，可以看出，隨著訓練次數不斷增加，SVM的適應度值增大；當訓練次數達到89次時，曲線趨于平穩；當訓練次數為100時，對應的適應度值為98.2%。模型停止訓練后，輸出的全局最優懲罰因子δ為5.4，核函數參數c為240.2。

圖7 SVM的適應度曲線Fig.7 Adaptation curve of SVM

3.5 結果分析

3.5.1 改進FPN性能測評

為了驗證ResNet 50聯合改進FPN構成的特征提取網絡的效果，采用熱力圖［17］對訓練模型進行分析，直觀地獲取神經網絡對圖像不同部分的關注度。采用類激活熱力圖來顯示輸入圖像中的某些區域對樹障檢測判別的重要性，該圖像需要對卷積網絡中的特征圖加權求和，得到該卷積層的熱力圖；隨后求解該卷積層的梯度值并進行降維操作，計算得到該卷積層中的每個通道權重［21］，再乘以該層特征圖最終得到含有熱力區域映射的圖像。類激活熱力圖中每個區域的重要程度與顏色的亮度有關，顏色越高亮越重要。改進前后的特征提取網絡模型的熱力圖如圖8、圖9所示。

圖8 無樹障圖像改進前后的類激活熱力圖Fig.8 Heat map of class activation before and after improvement of the barrier-free image

圖9 有樹障圖像改進前后的類激活熱力圖Fig.9 Heat map of class activation before and after improvement of the image with tree barriers

圖8、圖9中的類激活熱力圖越高亮的位置，表明網絡判斷樹障存在的可能性越大。圖8（b）中沒有樹障的圖像使用改進前的特征提取網絡得到的類激活熱力圖中有3個區域出現高亮，而實際上該區域并無樹障，判斷失誤；使用改進后的特征提取網絡得到圖8（c）類激活熱力圖并無高亮，則表明該圖像中無樹障，判讀正確。圖9（a）中有2處樹障的圖像使用改進前的特征提取網絡得到圖9（b）類激活熱力圖中有4個區域出現高亮，且實際有樹障的區域高亮范圍過大；使用改進后的特征提取網絡得到圖9（c）類激活熱力圖正確顯示2處樹障區域，且范圍較為精準。由此可得，ResNet 50聯合改進FPN構成的特征提取網絡特征提取的準確率得到提升。

在ResNet 50聯合FPN提取特征后，將其輸送到SVM進行分類預測，得到檢測結果如圖10所示。

圖10 不同算法樹障檢測結果Fig.10 Tree barrier detection results obtained from different algorithms

由圖10可得，黃色框為本文提出的算法ResNet50+改進的FPN+SVM的預測框，與真實的紅色框的重疊度最高，預測得分為0.96；藍色框為ResNet50+FPN+SVM組合的檢測結果，預測得分為0.93；紫色框為Mask R-CNN檢測結果，預測得分為0.79；黑色框為Mask R-CNN+SVM組合的檢測結果，預測得分為0.88。再次證明改進后的FPN能夠提升樹障檢測的精度。

3.5.2 檢測性能對比

深度學習在目標檢測過程中，常采用精確率和召回率評價模型的好壞，結合二者繪制一個關系曲線（P-R曲線），該曲線與橫縱坐標圍成的面積即為準確率。

由圖11可得，本文提出的樹障檢測算法精確率達到0.934，相較于算法未改進的組合提高了3.2個百分點，相較于Mask R-CNN算法提高了7.2個百分點；對比Mask R-CNN算法與其結合了基于遺傳算法的SVM算法，則說明改進后的SVM在一定程度上提升了算法的準確率。

圖11 樹障檢測的P-R曲線Fig.11 P-R curve of tree barrier detection

同時，為了更好地展示樣本測試的結果，本實驗選擇3個重要的性能指標，分別是準確率P、漏檢率O和誤檢率F，其表達公式如下：

式中：NA表示為無樹障的輸電線路圖像數量；NB表示為有樹障的輸電線路圖像數量；NC表示實際漏檢的圖像數量；ND表示實際誤檢的圖像數量。在實驗中其他3種算法選擇與本算法采用相同的ResNet 50作為主干網絡，利用訓練好的模型進行樣本測試，其結果如表3所示。

表3 不同算法檢測結果Table 3 Detection results of different algorithms

本文針對檢測樹障隱患問題，在ResNet 50聯合FPN構成的特征提取網絡原有結構上增加了一條自下而上的路徑，包含了低層準確的定位信息和高層特征信息，使得整體檢測精度有所提升。由表3可得，有樹障樣本輸入本文提出的算法模型，與未改進的算法組合模型，在檢測速度變化不大的情況下，將樹障檢測的準確率從89.9%提升到93.5%，在原始準確率較高的情況下提高了3.6個百分點，同時漏檢率和誤檢率也較之前有所下降。同時，本文提出的算法模型檢測在無樹障樣本時，每秒可以處理12張圖片，相較于一段式Mask R-CNN算法的處理速度，提升了1倍。無樹障樣本圖像大多輸電線路較為突出，相較于有樹障樣本的檢測具有更高的準確率和更快的檢測速度。因此，本文提出改進的FPN提高了樹障檢測的精度，同時采用輕量級的Resnet50網絡和SVM占用內存小，計算速度明顯提升。

4 結語

目前無人機搭載激光雷達進行樹障檢測成本較高，且計算量較大。本文提出了一種基于改進的FPN與SVM的樹障檢測算法。該算法將ResNet50模型結合改進的FPN算法作為特征提取網絡，降低了模型占用的計算機內存，提高了特征提取的精度；隨后將特征向量輸入基于遺傳算法的SVM，保證了樹障檢測的運算速度和精度，在一定程度上降低了樹障檢測的誤檢率和漏檢率。