利用卷積神經網絡對GF-3輸電塔的檢測與分類

孫震笙，柳鵬，余濤，楊健，米曉飛

(1.中國科學院遙感與數字地球研究所 遙感衛星應用國家工程實驗室，北京 100101；2.中國科學院大學 電子電氣與通信工程學院，北京 100049)

0 引言

電能是人類社會生產生活不可或缺的重要能源之一。電能的遠距離輸送能力是一個國家現代化水平和工業發展程度的重要指標。高壓輸電塔是電力輸送的重要基礎設施，承載著國家的電力生命線。因此，快速、全天候、大范圍的高壓輸電塔等電力基礎設施監測能力對于國家的能源安全戰略至關重要。例如，2008年5月12日汶川大地震中，國家電網系統內有258座110 kV及以上變電站、204條110 kV以上線路等設施存在不同程度的損毀[1]。如果地震發生后能夠第一時間內獲取到震區內的電力設施損毀信息，這將會給搶險救災和災區人民的能源保障提供重要的信息。輸電塔的形狀一般可分為：酒杯型、鼓型、羊角型、上字型、干字型等。輸電塔的類型可以反映出輸電廊道的輸送能力與功能指標。例如，酒杯型輸電塔上架2個避雷針，三相導線排在同一水平面上，通常用于110 kV及以上的等級的線路中，適用于重冰區和多雷區。因此，對于輸電塔大尺度的快速監測識別也能夠反映出目標區域內的電力輸送與保障能力體系建設水平，進而反映經濟與工業水平。遙感技術在不接觸目標的情況下，對目標進行遠距離感知，能夠快速獲取目標發展和變化的相關信息，既能夠獲取大尺度上的城市宏觀全貌和土地利用類型的綜合數據，又有城市橋梁、道路、房屋等精細目標數據，且航空航天遙感又具有傳統地面勘察無法比擬的高時效性，使得我們可以全面、高效和近乎實時地了解目標的發展變化。

與光學傳感器相比，合成孔徑雷達具有全天時、全天候、穿透能力強等眾多優勢，能夠為遙感監測提供穩定的數據源。SAR數據的眾多優勢使其在目標搜索、目標分類、變化監測等方面發揮了巨大作用。利用遙感技術對關注目標的研究過程通常遵循發現、識別、確認、理解、評價與利用的規律[2]。MIT林肯實驗室將SAR目標的研究分為了3個階段：發現、識別、分類。多年來，研究人員利用SAR數據對電力設施的遙感監測取得了很多成果，為電力基礎設施規劃、建設和維護提供了高效的時空信息。其中，劉曉偉、張雪峰等[3]根據壓縮感知方法對SAR輸電塔背景雜波重建，采用恒虛警率算法對SAR影像中輸電鐵塔進行目標檢測，實現了輸電線走廊區域輸電塔的檢測。王國勝等[4]基于SAR數據和GIS技術對輸電線路進行了廣域監測，提高了對于輸電線路鐵塔、輸電走廊地形、違章建筑和廣域火災等的分析、預警和評估能力。劉艷、劉經南等[5]利用基于特征點分布的匹配準則，對SAR影像進行特征點匹配，實現了對高分辨率SAR影像中覆冰輸電塔形變的監測。傳統的SAR輸電塔目標識別和分類研究方法遵循相似的規律，即采用恒虛警率方法進行目標發現，然后采用一系列人工設計的特征提取器進行特征提取，最后利用分類器進行目標分類。這類人工設計特征的方法具有很大的局限性，在目標存在形態上的變化時精度會產生很大的波動。由于成像機理的復雜性以及相干斑噪聲等的影響，相同規格的輸電塔在SAR影像中也會存在巨大的差異，此外復雜的背景場也會給解譯帶來一定的困難(圖1)。

近年來，深度卷積神經網絡以其強大的特征自學習能力在目標檢測、圖像分類等領域取得了突破性進展[6-7]。與傳統的目標識別和分類方法相比，深度卷積神經網絡方法的優勢主要體現在大數據處理能力、特征自學習能力、高模型泛化能力等方面。這些優勢使得深度卷積神經網絡方法在SAR影像智能解譯方面成果矚目[8-14]。然而，在SAR目標識別和分類方面，大多數研究所采用的數據為背景場單一的陸面靜態目標[8-9]和海面艦船目標[10-11]。它們的背景場往往是均一的裸土地和水面。但是，對于復雜背景場下的陸地目標關注較少。卷積神經網絡的訓練需要大量的標注數據，而這一監督過程的成本開銷相對較高。加之SAR影像的解譯本身就存在一定的難度，人工標注一定規模的數據集將會耗費大量的人力物力。因此，本研究首先采用一定量SAR輸電塔樣本來訓練檢測網絡，然后利用檢測網絡實現SAR影像自動標注擴充樣本集，最后利用分類網絡實現對于復雜陸地背景下的SAR輸電塔目標的分類。

(圖1中A，B，C分別為鼓型，角型，杯型輸電塔圖。其后為對應類型輸電塔的GF-3影像瓦片。瓦片下方角度信息代表各影像對應的雷達波束中心視角。)圖1 3種類型的輸電塔及其在GF-3影像中的表現

圖2 輸電塔快速檢測分類技術框架

1 基本原理

利用卷積神經網絡方法對輸電塔的快速檢測和分類技術框架如圖2所示，其主要包含3個模塊：①數據預處理模塊：主要包括了SAR原始圖像預處理、SAR影像瓦片切分和輸電塔樣本集制作等；②輸電塔檢測模塊：利用標注樣本集訓練輸電塔檢測網絡，而后利用此檢測網絡對未標注樣本集進行自動檢測標注，構建輸電塔樣本集；③輸電塔分類模塊：將輸電塔樣本集劃分為訓練集和測試集，對于訓練集中的輸電塔進行人工類別劃分，利用包含先驗知識的訓練集對分類網絡進行訓練，然后在測試集中進行分類精度評定。

1.1 數據預處理模塊

卷積神經網絡的訓練和測試需要建立在一定規模的樣本集上。SAR影像的一系列預處理操作對于制作高質量的輸電塔樣本集是至關重要的。數據預處理模塊包含了3個重要步驟：SAR影像濾波和重采樣等基本處理、SAR影像瓦片構建、輸電塔樣本制作。

1)SAR影像基本處理。GF-3二級影像產品是經過了幾何糾正、地圖投影生產的地理編碼影像產品。在影像預處理操作中首先對SAR影像進行精制Lee濾波以減少噪聲，濾波窗口大小選擇3×3(圖3)。隨后將像元重采樣到1 m，量化值采用GF-3數據原始的16 bit。

圖3 GF-3影像濾波

2)SAR影像瓦片構建。卷積神經網絡目標檢測算法對于輸入的數據大小通常有明確的限定，不符合規格的數據將會被強制的重采樣。因此，我們需要對影像進行切分以構建規范化的數據集，避免后續重采樣可能帶來的目標畸變。本研究中，目標區域的SAR影像首先被切分為512像素×512像素大小的瓦片以構建統一規格的影像數據庫[15]。

3)輸電塔樣本制作。樣本集構建是深度學習方法中的重要一環。高質量的樣本集對于模型精度至關重要。研究中利用統一規格的SAR瓦片數據集以人工解譯的方式構建出一套輸電塔樣本集。每張樣本集影像都有一個對應的標簽文件，記錄了影像基本信息以及其中感興趣目標的圖像位置bounding-box[16]和類別屬性。本研究中的關注對象為輸電塔，因此感興趣的輸電塔目標在樣本集中被人工標注記錄，其他地物則統一設置為背景場。

1.2 輸電塔檢測模塊

1)SSD檢測算法的核心思想。輸電塔的檢測采用基于卷積神經網絡構建的SSD(single shot multibox detector)算法[15]。SSD算法是近年來深度學習目標檢測領域里程碑式的方法之一。在VOC等數據集的測試中，SSD算法與Faster R-CNN和YOLO等目標檢測算法相比取得了更高的速度和精度。

SSD算法的核心思想是同時采用不同卷積層的特征圖以及固定的默認邊界框做檢測。如圖4所示，在檢測過程中算法將直接在不同尺度的特征圖上評估不同橫縱比例的默認邊界框。在訓練時，算法會首先把多比例默認邊界框與真值框相匹配。例如，對于紅色框標記的電塔，它的真值框與2個橫縱比例接近的默認邊界框相匹配。在不同層級的特征圖上，默認邊界框的尺度計算方法如下：

(1)

圖4 SSD原理圖

2)算法結構。SSD算法的主體網絡結構在VGG-16網絡基礎上進行了修改(圖5)。其中，全連接層FC6和FC7替換為了卷積層Conv6和Conv7，緊接著又增加了4個卷積層。模型對其中的Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2卷積層輸出的特征圖分別采用了2個3×3大小的卷積核進行卷積，一個用于計算目標類別的置信度，另一個用于做回歸定位。

算法的整體損失函數是類別損失函數與位置損失函數的加權和：

(2)

式中：L是整體損失值；Lconf是類別損失值；Lloc是位置回歸損失值；x是默認框與真值框匹配指示因子；c是類別置信度；l是預測框參數；g是真值框參數；N是匹配的默認框數目；α是權重系數。

圖5 SSD算法結構

3)自動標注擴充本集。深度學習算法需要一定規模的標注數據集來完成訓練過程。目前，大規模的數據集標注往往需要耗費較多的人力物力。由于SAR復雜的成像機理和相干斑噪聲，其本身的解譯就存在一定困難。因此，僅靠人力完成大規模的SAR數據集標注的開銷是巨大的。本研究利用SSD檢測算法和人工判讀相結合的方式對大量的數據瓦片進行自動解譯和標注來制作輸電塔樣本集。自動標注輸電塔樣本需要使用預訓練好的檢測網絡對未標注的SAR瓦片數據進行輸電塔檢測，隨后僅需要少量的人工判讀方式來完成目標類別的認定。通過增加算法中的置信度閾值來提高檢測網絡獲取輸電塔的準確率，這種方法可以幫助我們從海量SAR瓦片中快速檢索高置信度的“疑似”輸電塔目標(圖6)。經過第一步檢索之后，我們可以更加有的放矢地對SAR瓦片進行快速高效的解譯工作。對于被檢測網絡自動標注的輸電塔目標，人工判讀只需確定其“是”與“不是”，這大大縮小了海量SAR數據的解譯范圍。未標注瓦片中被確定的新輸電塔目標可以加入到原始輸電塔樣本集中，這大大提高了輸電塔目標樣本庫的構建速度。

圖6 自動輸電塔檢測

1.3 輸電塔分類模塊

輸電塔分類模塊采用一個6層的卷積神經網絡結構，模型主要由輸入層、卷積層、池化層、全連接層和輸出層組成(圖7)。其中，前4層采用卷積層，在每個卷積層后是一個對應的池化層，第5和第6層采用全連接層，其后是一個SoftMax分類器。

圖7 輸電塔分類網絡

1)卷積層。卷積層是重要的特征提取層，在每個卷積層中通過設置一定數目固定大小的卷積核來對圖像進行卷積操作，實現特征圖的提取。卷積層的優勢在于局部感受野和權值共享[17]。相比于傳統的全連接式的神經網絡，卷積神經網絡更好地考慮了圖像的空間結構特征。局部感受野思想使得下一層的神經元只與上一層感受野內神經元相關，對于圖像來說，我們主要關注的即是像素及其周圍鄰近像素的關系。因此，這種思想很好地考慮了空間特征，也大大減少了權重數目。每個卷積核中的權重都是通過自學習得到，在同層卷積操作過程中，其權值共享，即通過一個卷積核我們可以提取圖像中不同位置的相同特征。換言之，對于圖像中不同位置的相同目標，每個共享的卷積核提取出的特征是基本相同的。在每個卷積層中，我們引入一定數量的卷積核，它們將提取出原圖像的不同特征(圖8)。

圖8 SAR輸電塔與Conv1層32個feature map

2)最大值池化。輸電塔分類網絡中的卷積層之間設置有最大值池化層，它用來提取特征圖中局部范圍的最大值。例如，在Conv1和Conv2 2個卷積層之間設置有一個2×2范圍，步長為2的最大值池化層，則Conv2的輸入數據是Conv1輸出特征圖的最大池化結果。本研究中，最大值池化層獲取了卷積特征圖中每4個鄰近像素的最大值，因此第一個池化層的輸出特征圖的大小是Conv1特征圖的一半。這樣做可以對特征向量進行降維，并且模型參數也會大大減少，使得模型的平移、旋轉、縮放的不變性進一步增強。

3)全連接層。輸電塔分類網絡的第五和第六層是2個全連接層。全連接層中的所有神經元都與上一層的神經元相連接，它可以把二維特征圖映射成為一維特征向量。全連接層的主要作用是特征綜合，它將前面卷積層和池化層提取到的特征做加權，使其得到更為抽象的表達。此外，特征由二維向一維的轉換也有利于后續的回歸分類。

4)SoftMax分類器。SoftMax模型是logistic模型的推廣。它很好地將傳統二分類回歸模型推廣為多分類模型，適合于解決卷積神經網絡的多分類問題。在分類網絡中，SoftMax層最后將輸出一個j維向量，分別代表j個類別的概率。其函數模型如下：

(3)

(4)

式中：模型參數向量θ將會在訓練過程中不斷更新，使得損失函數值減小。

2 數據結果處理與分析

2.1 實驗數據介紹

實驗中采用的SAR數據為高分三號衛星數據。高分三號衛星是“國家高分辨率對地觀測系統重大專項”中唯一的民用微波遙感成像衛星，也是我國首顆C頻段多極化高分辨率合成孔徑雷達衛星[18]。高分三號有包括聚束模式、精細條帶模式、全極化條帶模式等12種工作模式，圖像分辨率1～500 m，幅寬10～650 km。高分三號衛星等效后向散射系數指標為：分辨率1～10 m，成像邊緣優于-19 dB；分辨率10～500 m，成像邊緣優于-21 dB。本研究關注的主要是城市范圍及周邊的輸電走廊區域，因此選取了40余景全國范圍內多個城市及其周邊區域高分三號聚束模式影像數據，圖像分辨率為1 m。

2.2 輸電塔檢測模塊實驗結果與分析

為了構建一定規模的輸電塔樣本集，首先對GF-3影像數據進行粗解譯，選取部分典型的輸電廊道區域作為人工標注目標區，這些區域包含了大量不同類型的輸電塔。聚束模式下的GF-3 SAR影像幅寬在10 km左右，空間分辨率1 m左右，單景影像即包含了龐大的數據量。按照檢測算法對于數據集規格的要求，對SAR影像進行切分，并將目標區與非目標區切分得到的瓦片數據分開存儲。這里我們引入數據增廣策略[6]。數據增廣能夠有效增強深度卷積神經網絡的學習效果，提高模型泛化能力。對于小樣本集而言，合理的數據增廣還能夠有效減少過擬合。數據增廣的方法有很多，如等步長平移[8]、鏡像、旋轉、縮放、加噪[11]、生成對抗學習[19-21]等。考慮到星載合成孔徑雷達的成像機理，其成像幾何屬于斜距投影類型，因此對于輸電塔較多的區域我們采用平移、鏡像的數據增廣方法，通過改變目標背景場范圍，擴充含有輸電塔的瓦片數量。利用人工解譯方法從中標注了4 079個含有輸電塔目標的影像瓦片。同時產生了4 079個與其相匹配的標簽文件，記錄了每個瓦片中所有輸電塔的位置信息。根據輸電塔檢測數據集對檢測網絡模型超參數進行調整。為了使模型盡快收斂，減少過擬合，初始學習率設定為0.001，批量大小設置為32，模型優化方法采用隨機梯度下降法(SGD)[22]。

對于模型超參數集合中初始學習率的設置決定了卷積神經網絡權值更新速度。針對研究中輸電塔檢測網絡的訓練，當初始學習率設定為0.01時，模型訓練速度快，但是模型并沒有達到很好的收斂，陷入了局部最優；當初始學習率設定為0.000 1時，雖精度有所提高，但是模型訓練速度緩慢。最終，將模型初始學習率調整為0.001，使得速度和精度都達到平衡。檢測模型超參數設置如表1所示。

表1 輸電塔檢測模型超參數設置

輸電塔檢測模型算法運行在Core i7-4790K CPU(4.00 GHz)，32 G內存，NVIDIA Tesla K20c顯卡的硬件環境下。在合適的參數調整后，檢測模型達到了很好地收斂。輸電塔檢測模型的精度隨迭代次數和時間變化如圖9所示。從精度變化圖中可以看到，模型在迭代10 000次之后基本達到了收斂，時間消耗為6.8 h。從表2中可以看到，在迭代到10 000次時，學習率發生了第一次下降，輸電塔檢測模型精度已經達到了90%以上。在調參過程中我們可以參考模型精度變化曲線，在模型達到穩定收斂情況下，可以采取提前結束的策略來減少過擬合現象。

利用訓練好的輸電塔檢測網絡對未被解譯的非目標區SAR瓦片數據進行檢測，共得到1 275個帶有檢測標注的圖像，經人工確認并舍棄掉模糊和畸形的疑似目標，共得到1 077個含有輸電塔的影像瓦片。如圖10所示，人工確認后將輸電塔目標從512像素×512像素規格的檢測片中切分出來用于構建輸電塔分類樣本集，黃色框中的建筑物虛警目標被舍棄。

圖9 輸電塔檢測算法準確率變化圖

迭代次數時間學習率精度8 00021 5141e-030.905 4029 00024 2101e-030.904 11210 000?26 8921e-040.906 70211 00029 5881e-040.907 15012 00032 2701e-040.907 221

圖10 輸電塔樣本集構建

對于輸電塔分類樣本集我們仍采用等步長平移、鏡像的數據增廣方法，通過改變目標背景場范圍，擴充含有輸電塔的瓦片數量。經過目標確認、虛警剔除、分類樣本瓦片制作、數據增廣等步驟，我們構建了一套國產高分辨率合成孔徑雷達輸電塔分類樣本集“RAD-GFEP”。原始樣本集中包含的輸電塔形狀有“鼓型”“羊角型”“酒杯型”“干字型”“上字型”等。但是，有些類型的樣本數量較少。不同類別數目差距過于懸殊容易導致目標分類模型過擬合，影響分類精度。因此，在分類樣本集中將少數類別目標剔除。RAD-GFEP分類數據集規模為2 800個輸電塔瓦片，數據來源為我國首顆C波段多極化高分辨率合成孔徑雷達衛星“高分三號”，成像模式為滑動聚束，圖像瓦片分辨率為1 m，極化方式為HH或VV，入射角度20°～50°。

2.3 輸電塔分類模塊實驗結果與分析

從形狀上劃分，輸電塔一般可分為：酒杯型、鼓型、羊角型、上字型、干字型等。不同地區輸電塔的設置往往要考慮能源需求、氣候(如冰雪)、線路走向、間距、地形等因素。因此，輸電塔的類型往往可以反映出輸電廊道的輸送能力與功能指標。RAD-GFEP輸電塔分類數據集類別數目以及訓練集、測試集瓦片數目如表3所示。

表3 RAD-GFEP數據集

其中訓練集和測試集瓦片數目的比例為6∶4。利用輸電塔分類模塊中的6層卷積神經網絡模型在RAD-GFEP數據集上進行訓練。模型輸入的初始瓦片大小為512像素×512像素，根據數據規格和規模的大小，分類網絡具體參數設置如表4所示。每個卷積層后都增加一個最大值池化層，它們能夠減少模型參數數量，并且避免過擬合現象。在分類算法中對原始數據集采用鏡像、平移、縮放等增廣策略以提高多樣性，增強模型泛化能力。此外，在訓練過程中及時關注損失函數值與精度值變化，在模型達到較好收斂條件下采用提早結束的訓練策略。這些訓練策略的綜合使用能夠加快參數調整過程，防止模型過擬合現象的發生。模型優化算法采用自適應優化方法(Adam)，這種方法可以使模型收斂的更快，損失值更小[23]。

圖11中顯示出在整個數據集上達到30輪完整的訓練后，模型達到了收斂。利用訓練好的分類網絡對RAD-GFEP測試集進行分類精度檢驗，表5展示了輸電塔分類網絡在測試集上的分類混淆矩陣。模型分類的總體精度達到了98.21%，混淆矩陣的Kappa系數值為0.972 9。

表4 輸電塔分類網絡參數設置

圖11 輸電塔分類網絡精度和損失

類別杯型鼓型角型合計杯型36604370鼓型74396452角型12297300合計3744413071 122

實驗中采用了3種人工設計特征算法對輸電塔數據集進行分類對比實驗。它們分別是：密集尺度不變特征變換[24](D-SIFT)、視覺詞袋模型[25](BoVW)、空間塔式直方圖詞包[26](PHoW)。算法對比測試精度結果如表6所示。基于卷積神經網絡的輸電塔分類算法精度遠遠超過了傳統的視覺算法。卷積神經網絡方法以強大的特征自學習和高泛化能力能夠很好地實現對于SAR影像的解譯工作。在復雜的陸地背景場下，SAR影像輸電塔等微小人工目標的發現、識別、確認精度得到進一步提高。

表6 不同算法分類精度比較

3 結束語

針對復雜背景場下SAR輸電塔目標的快速識別、分類問題，本研究提出了一個基于卷積神經網絡的算法框架。利用少量人工標注樣本集實現對于大尺度范圍內輸電塔目標的快速提取，以構建一定規模的輸電塔樣本集RAD-GFEP，然后利用分類網絡實現對于輸電塔類別的區分。與傳統的視覺算法相比，實驗所采用的識別分類框架方法取得了更高的精度。在SAR智能解譯領域，卷積神經網絡以特征自學習和高模型泛化優勢展現出了巨大的潛力。研究團隊利用本文提出的輸電塔快速識別分類框架在城市輸電廊道快速提取、輸電廊道高度估算等應用中取得了很好的成果。復雜背景場下輸電塔等微小目標在SAR影像中的快速、高精度檢測研究也表明了高分三號數據具有很好的目標區分性能，也進一步證明了我國首顆C頻段多極化合成孔徑雷達衛星進行廣域輸電設施監測的可行性。