基于特征融合Faster R-CNN 的電力塔基目標檢測

曹志勇，豐 佳，毛文利，李治國，張小燕，賴懷景

（1.國網浙江省電力有限公司電力科學研究院，杭州 310014；2.國網浙江省電力有限公司，杭州 310007；3.深圳大學 計算機與軟件學院，廣東 深圳 518052）

0 引言

輸變電線路建設過程中出現的電力塔基水土流失問題日益得到相關部門的重視。為了獲取輸電鐵塔的位置并了解輸電鐵塔環保缺陷、塔基水土流失情況，對電力塔基進行巡檢是非常有必要的。傳統的電力塔基環保缺陷識別和塔基水土保持檢測通常依靠人力巡視來記錄并收集電力塔基圖像數據。而對分布在高山、密林中的輸電鐵塔進行巡視非常不方便，因此近年來隨著無人機技術和圖像識別技術的發展，研究者們更傾向于應用無人機收集電力桿塔的圖像數據，同時通過圖像識別技術來進行自動診斷[1]。

近年來，隨著人工智能的高速發展，深度學習的目標檢測方法層出不窮，讓基于無人機圖像數據的電力桿塔檢測成為了可能[2-4]。隨著深度CNN（卷積神經網絡）的興起，使基于CNN 的深度學習算法迅猛發展。目前應用較為廣泛的深度學習目標檢測算法可分為單階段網絡和雙階段網絡。雙階段網絡為基于區域的目標檢測算法，代表算法有Faster R-CNN（快速區域卷積神經網絡）[5]、Mask R-CNN（實例分割框架卷積神經網絡）[6]等，該類算法有較高的檢測精度，但檢測速度較慢；單階段網絡為基于回歸的目標檢測算法如YOLO（目標檢測算法）[7-9]、SSD（單發多盒探測器）[10]等，它們的特點是采用端到端的檢測，具有較快的檢測速度。

文獻[11]提出一種基于單目視覺的無人機近距離對電力桿塔檢測的方法，采用啟發式提取塔架的顯著線特征并進行匹配，然后對線的交點特征進行處理，實現無人機近距離檢測電力桿塔；文獻[12]提出了新的基于二維特征描述符網格的電力桿塔檢測方法；文獻[13]提出了一種新的電力桿塔檢測方法，讓鐵塔在背景雜波和多目標情況下也能有較好的檢測性能；文獻[14]采用CannyEdge 檢測器和霍夫變換提取電力塔基的直線特征。雖然上述研究者們都對電力桿塔的檢測做出了貢獻，但是針對無人機拍攝圖像的電力塔基地面目標檢測尚未提出可行的解決方法。

在電力塔基的地面目標檢測中，圖像數據通常包含著各種復雜的背景，如農田、草原、樹木、房屋等復雜背景，影響電力塔基的檢測精度。為了提高航拍圖像中電力塔基的檢測精度，本文在改進的Faster R-CNN 算法中引入多尺度特征融合技術[15-16]和SE（通道注意力機制）[17]模塊，提出了一種基于特征融合Faster R-CNN 算法的電力塔基地面目標檢測方法，提高了航拍圖像中電力塔基的檢測準確率。

1 基于特征融合的Faster R-CNN 的電力塔基目標檢測方法

圖像目標檢測是深度學習的一個重要應用，指在圖片中將想要的物體識別出來，并標出物體在圖像中的位置。由于物體的尺寸變化范圍很大、擺放角度多變、姿態不定，而且物體有很多種類別，還可以在圖片中出現多種物體、出現在任意位置，因此，目標檢測是一個非常復雜的問題。R-CNN（區域卷積神經網絡）算法通過對原始圖像生成候選區域然后通過卷積神經網絡提取圖像特征，最后進行分類判斷，很好的實現了圖像的目標檢測。Faster R-CNN 算法是從R-CNN 算法發展而來的一種雙階段網絡目標檢測算法，相比R-CNN 算法具有更高的檢測精度和檢測速度。本文對傳統的Faster R-CNN 算法進行適當的改進，進一步提高了對電力塔基的檢測精度和檢測速度。

1.1 整體網絡結構的改進

本文提出的基于多尺度特征融合技術的Faster R-CNN 電力塔基目標檢測方法，其主干網絡由改進的ResNet-50[18]代替VGG-16（卷積神經網絡結構）。這主要是因為ResNet-50 是每隔2 層或3 層進行相加求下一步的輸入，而不是像VGG-16 每一層直接進行卷積送入下一層；而且不同于VGG-16 固定每一層的核大小原則，ResNet-50 網絡結構在設計過程中根據不同的特征圖尺寸改變濾波器的數量，以便保持每一層的時間復雜度，確保當檢測精度達到最高后，不會隨著繼續訓練導致精度下降。完整的網絡結構如圖1 所示。由圖1 可以看出，在ResNet 網絡中引入SE 模塊后，可以對網絡中的各大卷積層所產生的特征圖進行特征重新校準，選擇性地強調信息特征并且抑制無用的特征；為了防止信息丟失過多，在卷積過程中使用了多尺度特征圖融合技術，結合淺層和深層特征圖，從而得到信息更為完整的圖像特征。

圖1 改進的Faster R-CNN 算法整體網絡結構

1.2 對損失函數的改進

RPN（候選區域網絡）是一種用于自動在原圖上生成大量候選區域的卷積神經網絡。原圖經過基礎特征圖的每一個像素點的映射后，在原圖上會生成不同比例大小的錨框。在訓練時，為RPN網絡生成的每個錨框都分配一個二進制類標簽。通過判定錨框與真實標注框之間的IoU（重疊度）對錨框是否在最終檢測結果中起作用進行篩選。IoU 的閾值是一個可優化的參數，計算公式為：

式中：A 為人為在訓練集圖像中標出的要檢測物體的范圍；B 為算法得出的結果范圍；是范圍A 與范圍B 的交集；是范圍A 與范圍B 的并集。

當錨框與真實標注框的IoU 最高或者錨框和真實標注框的IoU 大于0.7 時，將錨框的標簽設置為正標簽；如果一個非正錨的IoU 比率低于0.3，本文將給它分配一個負標簽。非正或者負標簽的錨框對于本文訓練的目標沒有任何的貢獻，所以可以舍棄這類錨框。

通過這些定義，圖像損失函數可以表示為：

式中：i 為在小批量中某一錨框的索引值，第i 個錨框的預測分類概率為pi，其對應的真實標注框標簽為，如果錨框的標簽是正標簽，則對應的值為1，否則為0；ti是一個向量[3]，表示第i 個錨框預測的定界框的參數化坐標，其對應的真實標注框的坐標為；Lcls為對數分類損失；Lreg為邊框回歸損失，對于Lreg（ti，）=R（ti-），其中R為smooth L1 損失函數；表示回歸損失僅對正標簽錨框計算，此時的值為1，而在其他情況下禁用，此時的值為0；Lcls和Lreg分別為分類層及邊框回歸層輸出歸一化之后的結果，并由一個平衡參數λ 加權，默認情況下，設置λ=10。

1.3 對SEResNet-50 主干網絡的改進

在本文中，加入SE 模塊的SEResNet-50 作為Faster R-CNN 的主干網絡，相比以VGG-16 作為主干網絡的原始Faster R-CNN 來說，ResNet-50有50 層。更深的網絡結構，使得其在特征提取階段表現更為出色，可以提取出比VGG-16 更加精細的圖像深層特征。

SE 模塊作為一個通道注意力機制，通過賦予不同通道特征以不同的權重，使得算法更加有效地關注有用通道的特征信息，抑制無用信息的影響。

1.4 引入多尺度特征圖融合技術

隨著網絡的加深，在網絡進行特征提取階段，每層卷積層在產生特征圖時，會不可避免的丟失之前卷積層所產生的某些特征圖信息，最后導致信息丟失越來越多，使得最后一層得出的特征圖信息并不完全。為了解決這個問題，本文引入了多尺度特征融合技術。通過采用多尺度特征圖融合技術，將每一層所產生的特征圖與之前各層所產生的特征圖進行融合，獲得淺層的特征信息，從而得到更好的檢測效果。

從圖1 可以看出，算法將ResNet-50 的conv2、conv3 所產生的特征圖，通過最大池化的方式，將其分辨率縮小到與conv4 所輸出的特征圖相同的大小，將3 個特征圖進行連接操作，并對結果進行L2 歸一化，接著輸入到1×1 的卷積中進行通道降維，最后將結果送入RPN 網絡產生ROIS（關注區域），使用產生的ROIS 對融合后的特征圖進行池化操作，將所得結果送入后面進行最后檢測。

2 電力塔基數據集的搭建

在最近的電力塔基研究中，尚未發現有類型豐富、角度多樣的無人機航拍電力塔基地面目標檢測的數據集。因此，為了解決電力塔基地面目標檢測問題，本文在多個自然地點采用無人機拍攝采集實驗數據。為了數據多樣性以及增強目標檢測算法對于不同拍攝角度的魯棒性，本文從各個角度對電力塔基進行拍攝。

在本文的數據集中，原始電力塔基圖片共有898 張，每張圖片原始像素是4 000×3 000。使用公開的LabelImg 標注軟件為每一張圖片的電力塔基區域進行人工手動標注，并生成與之對應的XML 格式的文件作為數據集的標簽文件。為了增強模型的泛化能力，在數據預處理階段，將圖像壓縮為600×600 像素的圖像，同時將圖像進行隨機縮放、隨機平移、隨機旋轉、垂直和水平翻轉等數據增強操作，最終得到3 457 張圖片，其中訓練集1 358 張圖片，驗證集339 張圖片，測試集1 760 張圖片。同時按照PASAL VOC2007 數據集的格式進行保存和實驗。

3 實驗結果與分析

3.1 實驗環境

本文實驗均在64 位的Ubuntu 16.04.5 系統下完成，Python 的安裝版本為3.7.4，PyTorch[19]深度學習框架的版本為1.3.1，添加英偉達CUDA的版本為10.2.108。實驗的訓練、測試以及驗證的硬件設備：Intel Xeon（R）CPU E5-2690 v4@2.60 GHz 十四核，配備251.8 GB 內存以及英偉達TESLA P100 PCIe GPU ACCELERATOR（16 GB顯存）。

3.2 模型訓練與測試

本文對改進的Faster R-CNN 模型進行了155 個Epoch 的訓練期，批尺寸設置為1，初始學習率為1×10-4，且學習率在每個Epoch 結束時，按照原學習率的94%進行衰減，同時模型采用Adam 的優化器。算法的錨框大小設置為8×8、16×16、32×32 三種尺度，縱橫比設置為1∶2、1∶1、2∶1 比例。測試過程置信度為0.5，基于SERes-Net-50 進行圖像特征提取。

圖2 所示為隨迭代次數增加與平均損失的變化曲線，在迭代次數達到155 時，損失函數趨于收斂。

圖2 損失變化曲線

在本文中，分別實驗了使用ResNet-50、SEResNet-50 作為主干網絡，以及分別增加多尺度特征融合技術的Faster R-CNN 的檢測方法。

表1 表示了4 種檢測方法的檢測時間以及AP（平均精度）值。其中：VAP50表示當設置IoU 閾值為0.5 時4 種檢測方法的AP 值，VAP75表示當設置IoU 閾值為0.75 時4 種檢測方法的AP 值，FPS（每秒幀率）表示每秒識別的圖像數量。當設置IoU 閾值為0.75 時，描繪4 種檢測方法各自的PR（精確率-召回率）曲線，如圖3 所示。

表1 不同檢測方法和IoU 閾值下的AP 值及檢測時間

圖3 P-R 曲線

從圖3 和表1 中可以看出，在設置IoU 閾值為0.75 時，本文通過使用SERetNet-50 結合多尺度特征融合技術的Faster R-CNN 檢測方法相比網絡為RetNet-50 的Faster R-CNN 檢測方法，AP 值提高了2.9%。同時可以看出，加入了SE 模塊的Faster R-CNN 檢測方法也提高了檢測的準確率。當設置IoU 閾值為0.5 時，4 種檢測方法效果較為接近，改進方法對精度提升的效果并不明顯。當提高IoU 閾值到0.75 時，4 種檢測方法的檢測精度均明顯下降，但改進方法對精度的提升效果較IoU 閾值為0.5 時變得明顯。IoU 取值范圍對平均精度的影響還有待進一步研究。

通過使用訓練好的權值，本文可以得到如圖4 的檢測效果。由圖4 可知，該算法對由無人機拍攝的圖片上的電力塔基目標檢測效果較好。

圖4 測試效果

3.3 算法對比以及分析

本文通過不同IoU 閾值下的AP 值作為評估指標對Faster R-CNN、SSD 以及YOLOv4 三種目標檢測方法進行對比分析。表2 顯示了在同樣的實驗環境中，改進的Faster R-CNN、SSD、YOLOv4的AP 值。從表2 中可以看出，當IoU 閾值設置為0.5 時，本文使用SEResNet-50 網絡并結合多尺度特征融合技術Faster R-CNN 的目標檢測方法AP 值最高，比原始的SSD 高出了5.61%。這主要是因為Faster R-CNN 本身具有良好的魯棒性，改進的Faster R-CNN 算法進一步提高了原有算法的檢測準確率，使得其AP 值高于YOLOv4 和SSD 算法。

表2 不同算法和IoU 閾值下的AP 值

4 結語

本文提出了一種基于多尺度特征融合的Faster R-CNN 算法的電力塔基檢測方法。該方法首先將模型主干網絡換成SEResNet-50；其次結合多尺度特征融合技術，將各卷積層輸出的特征圖通過最大池化操作，將特征圖分辨率進行統一；接著將特征圖連接在一起并進行L2 歸一化后，使用1×1 卷積將通道數調整到適合的數量，將結果傳輸到RPN 網絡和最后的檢測模塊。通過對比Faster R-CNN、SSD、YOLOv4 三種目標檢測方法，可知：改進的Faster R-CNN 算法在適當的IoU 閾值范圍內具有較高的檢測精度。

但是由于該檢測方法分兩階段進行，相對其他算法來說，所需檢測時間略長，因此，本文提出的SEResNet-50 網絡結合多尺度融合技術的電力塔基檢測方法在一定程度上，是以犧牲檢測時間為代價來提高檢測率的。

但應用該算法可使通過圖像識別技術進行識別塔基環保缺陷及檢測塔基周圍的水土保持情況成為可能，進一步的實驗驗證有待后續研究進行。