無人機圖像風力發電機輪轂中心檢測與跟蹤

范玉瑩，何赟澤，孫高森，王洪金，劉 昊，李 杰

(1. 湖南大學，湖南 長沙 410082; 2. 中南勘測設計研究院有限公司，湖南 長沙 410014)

0 引 言

在風力發電機運行期間，風機葉片可能會遭受結構損壞，表面或內部出現損傷。為了獲取最大的運營效率，應定期對風機葉片進行巡檢。長時間高空作業的停機檢查會帶來昂貴的成本[1-2]。使用無人機對風機葉片進行自主巡檢可以降低風電場運營商的成本和成本不確定性；輪轂是風力發電機的中心部位，也是自主巡檢的重要參考點。風力發電機輪轂中心的高精度定位與快速跟蹤從是實現無人機達后續飛行控制的重要前提。目前國內外文獻中提到的技術多使用直線特征定位風機對象，通過提取的直線輪廓特征定位塔架、葉片，輪轂等風機組件，根據圖像中風機組件與無人機的相對位置關系實時調整無人機運動狀態。2015年，Martin Stokkeland等人提出無人機巡檢的第一個步驟，在無人機與風機對齊過程中采用直線檢測方法確定輪轂中心并設計控制策略導航無人機至風機前方固定位置，算法可以在無人機的單板計算機上實時執行[3]。2019年，Yizhuo Rao等人總結了現有的葉片檢測方法，包括望遠鏡檢測，繩索塔吊檢測以及無人機檢測，但仍舊使用直線作為風機的識別特征，計算輪轂位置[4]。2020年，Marko Car等人利用激光雷達進行預飛行掃描風機，構建風力渦輪機結構的3D模型，以推算風機輪轂及葉片平面位置[5]。

盡管現有文獻多數提到利用直線檢測提取風機特征，但該方法對運行環境的條件要求嚴苛，單一的直線檢測會受地理環境，天氣，圖像視角等的影響。因而本文提出利用改進YOLO目標檢測算法以及卡爾曼濾波的非直線輪轂中心定位與跟蹤方法，使后續自主巡檢過程更加穩定可靠。深度學習是近年來流行的一種多層結構神經網絡，非線性的網絡結構提高了復雜分類問題的泛化能力?？梢赃_到更高的處理效率和準確率以用于目標檢測[6]。2013年，Girshick等人率先提出R-CNN目標檢測方法。隨后在目標檢測領域陸續出現了SPP-net、Fast RCNIN、Faster R-CNIN、R-FCN、YOLO、SSD等算法[7-10]。其中，YOLO系列深度卷積網絡以其強大的特征提取能力成為目標檢測領域的研究熱點。單一的圖像檢測提取目標位置信息會造成檢測結果的不穩定，給后續無人機位置調整帶來突變導致抖動或失去檢測目標，經典卡爾曼濾波以極低的參數量和計算時間成本對檢測目標定位進行校正，改進YOLO目標檢測算法與卡爾曼濾波的結合使定位有更高的精度，適用于無人機機載實時計算設備[11]。

輪轂作為風機組件具有可以明顯區分的特征，對風機輪轂中心的高精度、高穩定度定位與跟蹤確定巡檢初始位置是自主巡檢的關鍵一步。本文設計了融合CBAM注意力機制的改進YOLO目標檢測方法；建立了無人機相機運動模型，應用卡爾曼濾波器實現對檢測目標的穩定跟蹤；并基于改進YOLOv5和卡爾曼濾波器提出了一種非直線的風機輪轂中心定位與跟蹤方法，相對現有的直線特征定位輪轂中心方法，大大提高了定位精度，為實現高精度無人機自主巡檢提供了新的輪轂定位跟蹤思路，并具有實際工程應用價值。

1 風機輪轂中心檢測及跟蹤方法

通常情況下風力發電機尺寸過大，實際工業應用中難以獲取全尺寸的風機圖像。輪轂為風力發電機中心部件，通過輪轂可以確定與之對應的風機對象。本文選擇風機輪轂作為無人機跟蹤目標，在無人機上升過程中對輪轂中心進行檢測跟蹤，以便后續根據目標在獲取圖像中的位置推算目標與無人機間的相對位置關系進而發布無人機控制指令。

1.1 霍夫直線檢測方法

首先對圖像進行預處理，邊緣檢測算法提取輪廓，霍夫直線檢測對圖像直線進行提取。根據三個葉片之間夾角為120°設計投票算法初步排除非葉片直線，計算葉片直線的兩兩交點，圖1 (a)表示投票算法提取的葉片直線?？紤]正Y及倒Y型風機狀態，交點計算必須將垂線考慮在內，因此塔筒垂線會對葉片直線提取產生影響。設置誤差范圍為±20°，計算夾角度數，記錄在誤差范圍內的直線交點。根據所計算的直線交點，加入塔筒特征約束，排除距離塔筒垂線過遠交點(根據圖像大小設置閾值)，計算篩選后所有交點的平均值，作為計算的輪轂中心位置，如圖1 (b)所示。

圖1 直線檢測方法提取輪轂中心

1.2 YOLOv5目標檢測方法

2020 年 6 月，主流目標檢測算法YOLOv5發布，YOLOv5的表現要優于谷歌開源的目標檢測框架 EfficientDet，開發者表明 YOLOv5 能在 Tesla P100 上實現 140 F/s 的快速檢測。YOLOv5具有輕量級檢測模型大小，處理速度高，準確率高，因此選用YOLOv5作為風機輪轂目標檢測方法。由以上風機輪轂特征分析可知，輪轂獨特的夾角特征和中心區域類圓特征可以通過神經網絡方法提取。且由于特征明顯，可使用小型網絡進行處理。在最新的6.0版本的 YOLOv5中棄用了 Focus模塊，在Backbone模塊對CSP層與SPP層進行了交換。Input模塊包含自適應錨框和Mosaic數據增強，支持圖片的隨機縮放、隨機裁剪、隨機排布。Backbone模塊中包含CSP(Cross Stage Partial Network)結構，增強CNN的學習能力的同時保持輕量化和準確性。Neck模塊包含 FPN(Feature Pyramid Networks)和PAN(Pixel Aggregation Network)結構，FPN層自頂向下傳達強語義特征，而特征金字塔則自底向上傳達強定位特征。Prediction模塊采用GIOU-Loss損失函數，同時關注重疊區域和非重疊區域，可以綜合反映目標框的重合度。

1.3 CBAM注意力機制

CBAM(convolutional block attention module)是于2018年首次提出的結合通道域和空間域計算注意力圖的卷積注意力模塊，在通道維度對通道中的多特征進行加權，空間注意力模塊利用特征的空間關系生成空間注意力圖，是通道注意力的補充[12]。兩個模塊順序排列，均采用最大池化和平均池化產生輸出，極大提高了網絡提取關鍵信息的表達能力，如圖2所示。同時CBAM能夠以微小開銷集成至卷積神經網絡中。

圖2 CBAM結構

通道注意力計算過程如下：

1.4 改進后的YOLOv5

本文設計適應于YOLOv5主干網絡的CBAM模塊，根據CBAM特征提取特性，在網絡嵌入選擇上有兩種方法。其一，修改卷積層，以CBAM模塊替換。其二，選擇卷積層之間合適位置，嵌入CBAM模塊。經實驗，增加模塊方法的mAP精度高于替換方法。因此，本文在選擇加入至主干網絡Backbone上層，一方面在上層獲取目標關鍵信息，以最大程度上獲取有效通道，保留高注意力通道，棄用低注意力成分，另一方面由于忽略低注意力成分，達到一定的軟剪枝效果，提高了網絡的推理速率，并在實驗中得到了證明。改進后的YOLOv5 Backbone模塊結構組成如圖3所示。

圖3 改進后的Backbone模塊

對于CBAM模塊，為與原網絡結構對應，將接口設計為原始標準卷積層接口，并在其中嵌入通道和空間注意力機制，其中，卷積層卷積核個數設置為64，大小設置為3，步長為2?？臻g注意力涉及通道軸方向卷積，卷積核大小設置為7。CBAM模塊結構如圖4所示。

圖4 CBAM模塊組成

1.5 卡爾曼濾波目標跟蹤

在定位輪轂中心的檢測過程中，由于輪轂檢測完全依賴于特征提取，當出現檢測偏差時可能導致對輪轂的跟蹤出現突變[11]；如當無人機上升過程中相機視角范圍內的背景出現其他特征明顯的風機。為了解決這一現象，引入卡爾曼濾波器，結合云臺相機運動的物理規律對檢測結果進行跟蹤。

特征跟蹤要求跟蹤特征在一系列圖像中隨時間移動或演變，因而需要圖像幀之間更新有關其位置的狀態信息。將無人機運行至輪轂中心正對等高的過程建模為二維平面的勻速運動，使用卡爾曼濾波跟蹤圖像幀中輪轂中心的位置從而實現幀間的狀態信息更新?？柭鼮V波包括預測和更新兩個操作，預測使用歷史信息產生當前狀態變量及其不確定性的估計。對于風機輪轂的跟蹤，觀測值為輪轂檢測位置，卡爾曼濾波結果為校正值。考慮風機輪轂的跟蹤為線性系統，建立狀態方程，預測過程如下：

2 實驗與結果分析

2.1 模型訓練

考慮運行條件及算力，采用的硬件設備及軟件平臺如表1所示。

表1 軟硬件平臺

實際風電場實驗中利用無人機采集風機輪轂正面及側面數據，對風機輪轂進行標注，建立風力發電機輪轂數據集，然后利用本文的改進YOLOv5_CBAM算法自動提取輪轂特征。數據集大小為590張風機正面圖像，訓練集大小為590，測試集大小為118，訓練及驗證比例為9∶1，數據集標注示例如圖5所示。

圖5 數據集標注示例

進行網絡訓練時根據已有數據集運行總結出了較好的數值，本數據集的超參數設置如表2所示。

表2 網絡訓練超參數設置

模型精度評估指標選用mAP(mean Average Precision)，精確率(Percision)表示被預測為正樣本中預測正確的比率，召回率(Recall)表示正樣本中被預測正確的比例。設TP真正類，FP假正類，FN假負類，精確率與召回率可由式(8)計算[13-14]。

2.2 結果比對

CBAM模塊的前16個特征圖的可視化效果如圖6所示。

圖6 CBAM可視化特征圖

選擇原始YOLOv5進行訓練并與改進方法結果進行比對，結果如圖7所示。其中，mAP_0.5:0.95表示當置信度閾值以0.05的步長從0.5～0.95之間變化時，mAP在置信度上的平均精度。

圖7 網絡訓練平均精度變化

當置信度閾值為0.5時兩者訓練收斂速度與精度相似，mAP達到99.5%。對mAP_0.5:0.95時的訓練結果進行比對，YOLOv5的收斂速度相對較快，改進YOLOv5_CBAM方案的收斂速度雖然略低于YOLOv5，但最終在驗證集上表現出85.9%的精度，高于YOLOv5 1.2%，在測試集上表現出的80.4%精度，高于YOLOv5 0.7%。

由于模塊加入導致網絡結構發生變化，使得YOLOv5預訓練模型失效，改進網絡的訓練過程未采用預訓練模型，實驗發現當使用原數據隨機劃分訓練集，進行40epoch的訓練模型作為預訓練模型輸入后，驗證集精度達到85.3%，測試集精度達到83.7%，相對原始YOLOv5算法平均mAP提升了4.0%。

此外，由表3可得，YOLOv5_CBAM的推理速度相對于YOLOv5提高了115%，圖片處理的全耗時減小至原來的59.5%，處理速度達212.7 F/s，大大提高了圖片的處理速度，滿足無人機機載設備實時計算的要求。

表3 檢測方案性能對比

2.3 實際應用效果

實際應用過程中，數據采集環境為山區風力發電場，實驗設備及風場環境如圖8所示。其中，無人機使用大疆經緯 Matrice 300 RTK行業應用級四旋翼無人機，配置禪思 Zenmuse H20T云臺相機，禪思H20T可見光相機視頻分辨率1 920×1 080，幀率30 F/s。采集過程采用飛手遙控飛行方式定焦拍攝無人機沿塔筒至輪轂整個上升過程的視頻，并對視頻數據進行抽幀進行數據集制作。

圖8 無人機相機設備及風場環境

網絡檢測時將圖像尺寸同比縮小至480×270，模型從第一幀開始檢測到輪轂。圖9為隨機挑選得到檢測結果的幀序號得到的檢測和濾波結果；圖中第一行為檢測結果，第二行為跟蹤結果。

圖9 改進方案的檢測及濾波結果

由于無人機上升過程中保持水平居中，對視頻幀中風力發電機輪轂中心檢測值的縱坐標和濾波跟蹤結果的縱坐標予以展示。將本文的改進檢測方法和跟蹤結果與現有直線檢測與跟蹤結果進行對比，可以看到采用本文方法后，輪轂檢測率達到100%，檢測精度得到了極大提升，卡爾曼濾波在檢測數據抖動強烈時展現了良好的跟蹤效果，如圖10、圖11所示。

圖10 直線檢測方案實驗結果

圖11 YOLOv5_CBAM改進檢測方案實驗結果

本文設計的輪轂中心定位與跟蹤方案的性能如表4所示，均方誤差為2.10像素，推理速度為212.7 F/s，相較直線方案而言，定位精度和推理速度得到大幅提升。

表4 檢測方案性能對比

3 結束語

本文選取風機輪轂作為無人機自主巡檢過程中用于定位的特征組件，基于改進YOLOv5方法設計了風力發電機輪轂檢測方案，將通道和空間卷積注意力融入目標檢測算法，并應用卡爾曼濾波算法，將主流卷積神經網絡與經典濾波器算法結合，得到穩定高效的特征定位與跟蹤。實驗證明，相比于傳統直線檢測算法而言，雖然對計算性能和程序內存要求更高，但對于現代具有高計算效率和大內存的物理計算機而言并沒有壓力，均方誤差大幅度下降說明本文方法大大提高了輪轂檢測精度和速率。相對于原始YOLOv5方法，改進的YOLOv5_CBAM在檢測精度和速度上都表現出更加優異的性能，使用預訓練策略將檢測精度提至高于原方法4.0%。尤其檢測速率提高115%，大大提升檢測速度，適用于高即時性要求的場景。結合卡爾曼濾波器的設計高效地對運行位置進行校正，使得運行軌跡的跟蹤平穩而連續，以便后續對無人機發布控制指令。本方案算法對圖像質量要求低，不易受外部情況干擾，檢測速度快，泛化性好，適用性高，在風力發電機輪轂上表現了良好的檢測跟蹤性能。本文提出的方案優于風電領域現有的基于直線特征的輪轂提取方案，滿足實時系統的精度和速度要求，具有實際工程應用價值。