基于圖像切片的移動端輸電線路鳥類檢測算法研究*

吳 鵬 姜海波 王永強 高 超 孫凌卿 張永澤 王敏鑒 李淵博

（江蘇電力信息技術有限公司 南京 210000）

1 引言

輸電線路作為電力系統輸電模塊的載體，是供電、用電之間的橋梁［1］，其運轉的高效、安全與否直接決定著電力系統是否能夠穩定運行［2］。隨著生態環境的不斷改善以及人們對野生動物保護意識的增強，鳥類數量逐漸增加，鳥類活動也更加頻繁，而且輸電線路大部分架設在野外環境，因此由鳥類引發的輸電線路跳閘事故也在不斷增加［3～4］。據統計資料表明，由于鳥類活動引起的線路故障僅次于雷害和外力破壞，占線路故障總數的第三位，已經嚴重危害了輸電線路的安全運行［5～6］。因此，輸電線路鳥害問題亟待解決。

傳統的驅鳥方式多采用安裝防鳥刺、防鳥擋板，使用驅鳥劑等方法［7～8］，這些方法不僅需要大量的人力物力，而且效果并不是很好。隨著深度學習的興起，研究人員將其思想應用于目標檢測，由于深度學習提取的深度特征更加準確并且表達能力更強，因而取得了很好的檢測效果［9］。因此，采用深度學習的方法對輸電線路鳥類進行檢測，根據檢測結果啟動驅鳥器，在節省人力成本的同時又能精準、高效地解決輸電線路的鳥害問題。

但是輸電線路鳥類檢測是一個典型的實時小目標檢測任務，為了減少圖像傳輸到中央服務器過程中因網絡問題帶來的不可靠性和時延性，本文的鳥類檢測任務在移動終端內實現。目前針對小目標檢測問題，深度學習大多是通過結合不同層級特征的方式來實現［10～11］，但是該方法會額外增加大量的計算資源，與任務的實時檢測目的相違背，此外，目標檢測任務包括檢測框預測和檢測框分類，其深度學習模型結構較大，需要大量的計算資源，很難在移動端進行應用［12～13］。然而對于輸電線路驅鳥任務來說，任務的關鍵是檢測輸電線路是否存在鳥，并根據檢測結果啟動驅鳥器。因此，本文將輸電線路鳥類檢測任務轉化為分類任務，減少模型計算量，從而可將其應用于移動端?；诖?，本文提出了一種基于圖像切片的移動端輸電線路鳥類檢測算法，該算法首先對采集到的輸電線路圖像進行切片，然后采用ResNet18識別每張切片是否有鳥，并根據檢測結果啟動驅鳥器。與直接采用原圖進行ResNet18識別相比，切片會增加小目標即鳥類的語義信息，可以有效提高識別的精度。本算法可實現在檢測到有一定數目鳥類活動時啟動驅鳥器對輸電線路上的鳥進行驅趕，節約能源的同時實時、高效地解決了輸電線路的鳥害問題，具有良好的應用前景。

2 研究內容

2.1 基于圖像切片的移動端鳥類檢測模型介紹

本文提出的基于圖像切片的移動端輸電線路鳥類檢測模型的總體流程如圖1所示。

由圖1可看出，本算法的具體步驟如下：

圖1 鳥類檢測模型總體流程圖

1）建立比對模板庫。比對模板庫是特定場景特定時間不存在鳥的現場圖片，因為用于監控鳥類的攝像頭是安裝在不同線路桿塔上的，因此每個攝像頭都需要維護一套獨立的模板庫。此外，由于從早晨到晚上的光照變化，反映在圖像上是圖像色彩、亮度的變化，因此需要在不同的時間段設置不同的對比模板。同時，由于本算法的主要思想是對圖片進行切片，然后針對切片進行鳥類識別，因此不僅原圖需要對比模板，而且切片也應該設置對應的對比模板。綜上所述，比對模板庫包括兩類模板：原圖比對模版和切片比對模版，每類模板還應根據光照變化設置不同的模板圖片。

2）圖像采集。由安裝在不同桿塔的固定位置的攝像頭以固定時間間隔拍攝現場圖像，每次采集的圖像作為鳥類檢測算法的輸入信息，以判斷該圖像中是否存在鳥。

3）原圖對比。圖像采集完成后，為了加快鳥類檢測中無鳥的識別效率，首先通過編碼標識在比對模板庫中查詢到該時段的模板原圖，將采集到的實時圖像與模板原圖進行對比，兩張圖像差值計算的方法是計算所有像素點的像素值差值的均值，經實驗得出，差值閾值為0.1時效果最好，如果兩者的差值大于閾值0.1，則進行步驟4），否則，認為該時間段輸電線路上沒有鳥，不啟動驅鳥器。

4）原圖切片。由于移動端計算資源較少，因此本文采用對切片進行圖像分類代替對原圖的目標檢測，因此該步驟需要對圖像進行切片，即把原圖劃分成更小的區域。當原圖和模板的差值小于閾值時，則可認為原圖中可能存在鳥，為了定位引起相似度變化的區域，將實時圖像按n×n等分進行切片處理。經實驗驗證，將實時圖像按6×6等分進行切片處理時，實驗效果最好。輸電線路實時圖像切片處理的結果如圖2所示。

圖2 經切片處理的輸電線路實時圖像

5）選擇分塊。用滑動窗口的方式，以切片為單位，逐個選取每個切片進行步驟6）的處理。如果所有切片都已選擇完成，則認為該圖像沒有鳥，不啟動驅鳥器。

6）分塊對比。以切片為單位，查詢對應的模板原圖切片，進行切片之間的差值計算，計算方式和步驟3）保持一致，如果兩者的差值大于閾值0.1，則認為該切片變化明顯，進行步驟7），反之進行步驟5）。

7）鳥類識別。若切片與模板的差值大于閾值，則該切片中包含鳥類的可能性很高，需要采用深度學習算法對該切片進一步識別。本文采用輕量級的訓練好的深度學習分類模型ResNet18對該切片進行類別預測，如果分類結果為存在鳥類，則啟動驅鳥器，如果分類結果為沒鳥，則進行步驟5）。

2.2 輕量級分類模型ResNet18介紹

ResNet分類網絡始提于2015年，是當前應用最為廣泛的CNN特征提取網絡，其主要思想是在網絡中增加了直連通道，即Highway Network的思想［14］。此前的網絡結構是對輸入直接進行非線性變換，而Highway Network則允許保留之前網絡層的一定比例的輸出［15］。

ResNet又稱為“殘差網絡”，其主要是在網絡中使用了大量的殘差模塊作為網絡的基本組成部分，殘差模塊如圖3所示。

圖3 ResNet的殘差學習模塊

由圖3可以看到，殘差網絡與傳統的網絡相比，最大的變化是加入了一個恒等映射層y=x層，其最主要的作用是使得網絡隨著深度的增加不會產生權重衰減和梯度衰減或者消失這些問題。上圖中，F(x)表示的是殘差，F(x)+x是最終的映射輸出，設深度網絡中某隱含層為H(x)-x→F(x)，如果假設多個非線性組合可以近似于一個復雜函數，那么也同樣可以假設隱含層的殘差近似于某個復雜函數。因此可以得到網絡的最終輸出為H(x)=F(x)+x，而由于網絡框架中有兩個卷積層和兩個ReLU函數，因此最終的輸出結果可以表示為

其中H1(x)是第一層的輸出，H2(x)是第二層的輸出。

ResNet網絡一經提出，就因其巧妙的網絡結構設計以及極高的識別精度吸引了眾多學者的注意，因此很多實驗都開始采用ResNet作為backbone network，例如Faster rcnn［16］、Mask rcnn［17］等，其已成為在高性能服務器上進行特征提取的標桿網絡。但是，由于ResNet的網絡層數很深，計算量很大，因此無法在移動端直接使用。不過ResNet論文也提出了一種輕量級的模型ResNet18，其有自己獨特的殘差結構，可以在損失一定精度的情況下運行在移動端，因此本文使用訓練好的深度學習分類模型ResNet18對輸電線路圖像的切片進行類別預測，其具體的殘差學習模塊如圖4所示。

圖4 ResNet18的殘差學習模塊

ResNet18的結構組成如表1所示。

表1 ResNet18結構組成

3 實驗與分析

3.1 數據集及實驗環境

本文采用的數據集由安裝在江蘇地區輸電線路桿塔上固定位置的攝像頭進行采集，共8000張來自8個不同位置的攝像頭采集的圖像，圖像分辨率為1920×1080像素。在實際場景中雨天、霧天、雪天等特殊天氣、太陽日照情況及四季變化等自然因素會對模型訓練和檢測效果產生一定影響，因此在制作數據集時，需要考慮上述自然條件的變化，因此按照不同時間段、不同季節、不同天氣情況以及不同地點合理地制作數據集，同時為了訓練模型具有較好的魯棒性，在數據集中加入一些來自網絡的鳥類圖像。

實驗所使用的硬件環境如表2所示，此外軟件環境為Ubuntu16.04、Python、TensorFlow、TFrecords等。

表2 實驗硬件環境配置

3.2 模型訓練

在進行模型訓練前，需要對數據集進行預處理，在模型中進行識別圖像為切片后圖像，因此將每張1920×1080像素的圖像用6×6的網格劃分為36張像素為320×180像素的圖像，共得到288000張圖像，再從中隨機等比例的選出正負樣本圖片8000張，按7∶1的比例劃分為訓練集和測試集，即7000張訓練集，1000張測試集，同時對圖片進行標注。

在模型訓練中，超參數的設置對模型效果有著很大的影響，在經過多次調整后，設置批次大小為64，初始學習率為0.001，為了防止網絡陷入局部最小，學習率隨著訓練逐步減少，學習率最終值是0.0001，迭代次數為10000次，訓練過程中loss值的變化如圖5所示。

圖5 loss值變化曲線圖

由圖5可知，模型迭代到4000次時開始收斂，在6000次左右loss值穩定在0.3左右，不再有明顯的變化，所以本實驗選取迭代次數為6000次的模型進行測試。

3.3 模型測試及效果

為了進一步驗證模型的性能，本實驗中用精確率（Precision）和召回率（Recall）作為模型評價指標。從測試集中隨機抽取500張圖片進行10次測試，并計算精確率和召回率，結果如表3所示。

表3 測試實驗結果

從測試結果可知，該模型具有較好的穩定性、實時性及準確性，精確率在97%左右小幅波動，綜上所述該模型達到了應用于輸電線路鳥類檢測任務的準確性要求。

最后，對輸電線路鳥類檢測模型進行測試，該模型部署在驅鳥器嵌入式主板上，硬件參數為CPU：聯發科MT6750CT 8核心ARM A53 1.5Hz，內存：4GB LPDDR3 667MHz，存儲：16GB eMMC5.1，操作系統：Android 7.0。在實驗中，采用來自8個不同位置的攝像頭在實際場景中采集的視頻數據進行測試，圖像抽取間隔為2min，經測試模型平均精度達到85%，一張分辨率為1920×1080像素的圖片的平均檢測時間為9.7s，其中精度降低主要是由于數據集的內容及圖像差值計算算法的影響。由實驗可知，本文提出的輸電線路鳥類檢測模型，可以滿足輸電線路鳥類檢測任務所需的準確性和實時性要求。

4 結語

針對輸電線路的鳥害問題，本文提出了一種基于圖像切片的移動端鳥類檢測算法。為了實現移動端的鳥類識別，首先采用對比算法篩選出可能包含鳥的圖像，然后對這些圖像進行切片，對切片先采用對比算法篩選可能有鳥的切片，然后再對這些切片采用ResNet18進行識別，降低了檢測時間，提高了檢測精度，從實驗結果可知，ResNet18分類模型在輸電線路鳥類檢測任務中有著較好的準確性和穩定性。同時，本文提出的輸電線路鳥類檢測模型可運行在移動端嵌入式主板中，實現了鳥的實時檢測，避免了數據傳輸帶來的時延影響，具有較好的準確性和實時性，滿足輸電線路鳥類檢測任務所需的基本要求。