基于多源動態(tài)圖像識別技術(shù)的風(fēng)電故障檢測研究

唐珉，史海濤，王 劍

（河北華電沽源風(fēng)電有限公司，河北張家口 075000）

多旋翼直升機在災(zāi)后建筑核查、橋梁巡檢、精準(zhǔn)農(nóng)業(yè)和搜救任務(wù)等場景中的應(yīng)用日益廣泛。具有圖像采集功能的無人機在對電力設(shè)施進(jìn)行巡檢時也表現(xiàn)出了理想的效果，但風(fēng)電設(shè)施通常位于陡峭山巒等人類難以進(jìn)入的地區(qū)，無人機控制員幾乎不可能在控制相機的同時操控?zé)o人機，因此需要設(shè)計自動化的無人機巡檢技術(shù)方案。

該研究的主要目的是在無人機自主飛行過程中對風(fēng)電設(shè)備是否損壞進(jìn)行檢測，并應(yīng)用圖像處理技術(shù)進(jìn)行實時識別與檢測。

1 無人機圖像采集系統(tǒng)架構(gòu)

風(fēng)電圖像采集是基于四旋翼無人機的電力線路檢測系統(tǒng)的一部分[1]。四旋翼無人機配備了一個萬向云臺，在該萬向云臺上安裝有激光測距儀（LRF）以及具有數(shù)控對焦和變焦的圖像采集相機[2]。使用LRF 測量到的被檢物體（傳輸線或絕緣體）的距離進(jìn)行聚焦和變焦校正。無人機使用一個標(biāo)準(zhǔn)的GPS接收器和一個額外的實時運動（RTK）控制電路，保證無人機的精確位置控制。由于風(fēng)電設(shè)備可能存在強磁場，因此使用3D 磁力計測量輸電線路的磁場[3]。由于磁場可能會導(dǎo)致羅盤和慣性測量單元（IMU）發(fā)生測量故障并導(dǎo)致事故，所以在無人機內(nèi)嵌入了一種避障算法，以保證無人機在安全范圍內(nèi)工作[4]。

無人機由Pixhawk 飛行控制器和基于64 位四核ARM 處理器的系統(tǒng)控制器實現(xiàn)綜合控制，該處理器從傳感器收集數(shù)據(jù)并執(zhí)行自動引導(dǎo)控制。根據(jù)控制算法，計算機向飛行控制器發(fā)送MAVLink 命令[5]，無人機與基站計算機之間的通信采用TCP/IP 協(xié)議[6]。通過使用安裝在附加無人機上的中繼站，可以監(jiān)視在視線外飛行的無人機并支持飛行員手動駕駛[7]。

控制軟件是基于Python 實現(xiàn)的，大部分工作在ROS（機器人操作系統(tǒng)）下進(jìn)行[8]。軟件的主要組成部分包括傳感器數(shù)據(jù)采集和處理模塊、攝像機控制節(jié)點。傳感器將數(shù)據(jù)傳輸?shù)较到y(tǒng)控制過程的同時，還將數(shù)據(jù)傳輸?shù)搅嘶居嬎銠C的節(jié)點[9]。控制過程還需要接收檢查對象的位置、待檢查塔的坐標(biāo)、GPS 接收器狀態(tài)、電池狀態(tài)和FC 控制器狀態(tài)等信息。控制過程使用了三個PID控制器，用于飛行高度和姿態(tài)控制、預(yù)成型路徑生成以及安全飛行的數(shù)據(jù)流程控制[10]。此次設(shè)計的風(fēng)電巡檢系統(tǒng)的圖像采集模塊框架圖如圖1 所示。攝像機節(jié)點執(zhí)行相機聚焦和縮放控制、圖像采集以及物體識別任務(wù)，而用于監(jiān)控飛行任務(wù)的節(jié)點與地面計算機之間的通信是在ROS下實現(xiàn)的[11]。

圖1 圖像采集模塊結(jié)構(gòu)

風(fēng)電設(shè)備的圖像采集是電力自主巡檢系統(tǒng)的一部分。為了根據(jù)獲取的圖像進(jìn)行檢查，需使用高分辨率相機單獨拍攝風(fēng)電設(shè)備的照片[12]。為了自動獲取風(fēng)電設(shè)備的圖像，系統(tǒng)需要自動生成無人機的飛行軌跡，其不僅可以控制無人機的位置與方向，還可以控制相機的方向、對焦和變焦[13]。軌跡生成基于設(shè)備結(jié)構(gòu)的先驗信息，其包括元件的位置和方向。而相機焦距的調(diào)整過程，則以LRF 測量到的絕緣體距離作為依據(jù)[14]。

此次設(shè)計的絕緣子圖像采集流程如下：

1）使用關(guān)于風(fēng)機坐標(biāo)、位置和大小的先驗信息，安裝在無人機上的控制計算機生成必要的飛行路徑，并將無人機帶到要檢查的葉片附近，飛行路徑示例如圖2 所示。

圖2 飛行路徑示例

2）采用避障算法，使無人機與未知障礙物（例如周圍植被）、風(fēng)電塔和線路產(chǎn)生的強磁場保持安全距離。使用3D 磁力計電路測量輸電線路的磁場，并利用機載的多個紅外傳感器檢測未知障礙物。

3）對于垂直布置的風(fēng)機葉片，攝像機指向水平方向，從無人機的橫向位置進(jìn)行圖像采集。

4）對絕緣子進(jìn)行圖像采集時，只調(diào)整無人機的高度和偏航角，并使用來自LRF 及其變焦的測量值調(diào)整相機焦距。

此外，風(fēng)機圖像的后續(xù)處理包括以下步驟：

1）獲取風(fēng)機葉片的圖像并分別計算其重心；

2）控制四旋翼位置，使每個風(fēng)機葉片的重心均在要拍攝的圖像中心；

3）校正相機的焦距和變焦，以獲取最大分辨率的圖像。

2 風(fēng)機葉片探傷模塊設(shè)計

2.1 無人機圖像采集部署算法

此次將無人機風(fēng)電圖像轉(zhuǎn)換為一個位置優(yōu)化問題，以獲得風(fēng)電場中所需的無人機路線拓?fù)浣Y(jié)構(gòu)，然后制定路徑優(yōu)化問題以找到檢查的最佳路徑[15]。

首先引入無人機i的一個重要參數(shù)，即飛行距離。這里假設(shè)無人機在相同的高度飛行，因此可以忽略在z軸方向上的運動。無人機i在風(fēng)力條件w下的飛行距離可表示為：

無人機i的飛行范圍受不同風(fēng)況的影響，因此無人機的飛行范圍是不同風(fēng)況下飛行范圍的交集，如下所示：

引入A=[ai]1×N、B=[bi,k]N×T、C=[ci,j]N×N分別表示無人機的狀態(tài)、無人機與風(fēng)機之間的拓?fù)潢P(guān)系以及無人機之間的通信鏈路[16]。

當(dāng)候選無人機被放置在風(fēng)電場中時，ai被設(shè)置為1。若ai為0，則候選無人機應(yīng)被移除。另外，此次使用一個備用站，以便無人機充電和更換電池。若將風(fēng)機k分配給無人機i，則bi,k設(shè)置為1；否則bi,k為0。為維護(hù)無人機的拓?fù)浣Y(jié)構(gòu)，需要保護(hù)無人機的通信鏈路，以防止無人機發(fā)生碰撞。若無人機i和j存在通信鏈路，則數(shù)量ci,j為1。

2.2 基于CNN的葉片探傷算法

圖3 為該文所提出探傷檢測方法的流程圖。采集到的圖像在增強后通過人工標(biāo)注，分為二元故障分類數(shù)據(jù)和多類故障分類。下一步使用CNN 進(jìn)行訓(xùn)練，得到的訓(xùn)練模型被保存并用于滑動窗口中的損傷檢測。對于兩種不同的模型，最終使用FlaskWeb框架進(jìn)行部署。

圖3 葉片探傷算法流程圖

為了避免復(fù)雜的計算過程，并直接對原始圖像進(jìn)行分類，該文選取CNN 網(wǎng)絡(luò)進(jìn)行圖像預(yù)處理。通過應(yīng)用卷積檢測分類所需的重要圖像特征，并丟棄不需要的特征來減小圖像的實際輸入尺寸。

此次設(shè)計的CNN 圖像分類工作算法如下：首先收集和注釋數(shù)據(jù)；然后形成一個卷積神經(jīng)網(wǎng)絡(luò)，其中所有層均具有默認(rèn)參數(shù)；訓(xùn)練從圖像增強開始，繪制二元分類的準(zhǔn)確率曲線和損失曲線；模型以系統(tǒng)預(yù)設(shè)的格式保存數(shù)據(jù)，用于通過神經(jīng)網(wǎng)絡(luò)檢測新圖像中的損壞情況。

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練分為七個步驟：

1）將數(shù)據(jù)集劃分為訓(xùn)練、驗證和測試數(shù)據(jù)；

2）使用默認(rèn)參數(shù)形成神經(jīng)網(wǎng)絡(luò)；

3）使用訓(xùn)練數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并在驗證數(shù)據(jù)上進(jìn)行驗證；

4）繪制準(zhǔn)確率曲線和損失曲線，從而形成混淆矩陣；

5）根據(jù)準(zhǔn)確率，改變CNN 的參數(shù)并重新訓(xùn)練模型；

6）保存最佳模型，并在滑動窗口法中使用最佳模型來檢測故障；

7）使用FlaskWeb 框架部署模型。

3 實驗驗證

該文基于真實的數(shù)據(jù)集來評估所提出無人機風(fēng)電故障檢測方法的性能。所采用的數(shù)據(jù)集中，風(fēng)電場面積為218 km2，發(fā)電容量約為1 GW，共有189 臺風(fēng)力發(fā)電機。由于風(fēng)機環(huán)境的數(shù)據(jù)還包含有氣象測量數(shù)據(jù)，所以該文主要通過電廠內(nèi)部的數(shù)據(jù)進(jìn)行模擬計算。

為方便無人機部署，使用墨卡托投影將風(fēng)力渦輪機的經(jīng)度和緯度轉(zhuǎn)換為笛卡爾坐標(biāo)。從189 個風(fēng)電機中挑選47 個來創(chuàng)建用于無人機實驗的風(fēng)力數(shù)據(jù)，可視化的風(fēng)力數(shù)據(jù)Ws如圖4 所示。

圖4 風(fēng)力數(shù)據(jù)可視化結(jié)果

實驗選用的驗證無人機可以攜帶多種傳感器，即激光雷達(dá)、超聲波傳感器和攝像頭，以檢查渦輪機。最大速度限制為16 m/s，最大飛行時間在12～22 min 之間，無人機通信的最大距離為5 km。

圖5 為所提出算法的迭代過程和最終部署規(guī)劃結(jié)果。在迭代開始時，風(fēng)電場中放置了47 架無人機。經(jīng)過30 次迭代后，算法對無人機數(shù)量進(jìn)行了優(yōu)化。實驗結(jié)果表明，只需要17 架無人機即可覆蓋數(shù)據(jù)集中的所有風(fēng)力渦輪機。

圖5 算法迭代結(jié)果

表1 所示為一架無人機一輪檢查的結(jié)果統(tǒng)計。結(jié)果表明，使用所提出的算法可以確保無人機飛行時間不超過無人機的最大飛行時間。

表1 無人機飛行路線

在部署圖像識別算法時，該文使用了675 幅損壞圖像，1 000 幅非故障圖像數(shù)據(jù)，并使用三個卷積層用于訓(xùn)練二元分類模型。第一個卷積參數(shù)引入了卷積層的輸入圖像，此次選擇輸入64×64×3 的圖像，大小為（2，2）的最大池化層。該模型通過周期性的訓(xùn)練，為二元分類提供了準(zhǔn)確度、損失曲線，所選取的損失函數(shù)為平均絕對誤差損失，如式（4）所示：

式中，yi是來自數(shù)據(jù)集的真實值，是模型輸出的預(yù)測值，由于數(shù)據(jù)經(jīng)過歸一化處理，因此損失J為無量綱標(biāo)量。準(zhǔn)確度、損失曲線如圖6 所示。

圖6 準(zhǔn)確度和損失曲線

為了將訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)部署至巡檢地面站，使用Flask 微型網(wǎng)絡(luò)框架來部署模型。此次創(chuàng)建了一個簡單的索引網(wǎng)頁，從本地系統(tǒng)中選擇并上傳一張需要進(jìn)行分類的測試圖像。測試圖像上傳后，模型將輸入圖像與訓(xùn)練好的模型進(jìn)行比較，并輸出準(zhǔn)確度百分比和識別損壞檢測的結(jié)果。

4 結(jié)束語

該文針對風(fēng)機故障檢測問題，研究了多源動態(tài)圖像識別技術(shù)。根據(jù)應(yīng)用場景選取搭載多種傳感器的巡檢無人機，并依照場景設(shè)計無人機路徑規(guī)劃算法，且部署了葉片探傷圖像檢測模塊。通過真實數(shù)據(jù)集驗證可發(fā)現(xiàn)，無人機針對不同風(fēng)力環(huán)境均能在飛行極限時間內(nèi)完成巡檢任務(wù)，并對損傷葉片進(jìn)行準(zhǔn)確的檢測。

風(fēng)電設(shè)備的維護(hù)是一個系統(tǒng)工程，風(fēng)電葉片的維護(hù)管理需要系統(tǒng)周期的管理。如何針對風(fēng)電場內(nèi)的風(fēng)電設(shè)備建立長久的數(shù)據(jù)管理系統(tǒng)并進(jìn)行科學(xué)管理將是接下來的研究重點。