基于關鍵點匹配和深度特征的水電站無人機巡檢圖像異常目標識別

摘"要：為了滿足不斷上漲的電力能源需求，分布式能源并入大電網規模逐漸加大，尤其是水力發電機組（水電站），其占據比重最大，對電網運行安全性影響最大，需要保障水電站運行的可靠性，因此提出了基于關鍵點匹配和深度特征的水電站無人機巡檢圖像異常目標識別方法研究。預處理水電站無人機巡檢圖像，提升巡檢圖像的清晰度，以此為基礎，采用方向梯度直方圖模式提取巡檢圖像深度特征，選取較重要的深度特征作為關鍵點，對巡檢圖像進行匹配，將同一水電站場景巡檢圖像整合為一個集合，根據深度特征是否具有離群點判定巡檢圖像是否存在異常目標，計算異常目標深度特征與已知異常目標特征之間的相似度，從而實現巡檢圖像異常目標的識別。實驗數據顯示：應用提出方法獲得的異常目標識別結果與實際異常目標識別結果一致，異常目標識別平均精度最大值為95%，充分證實了提出方法應用性能更優。

關鍵詞：異常目標識別；深度特征提取；水電站；關鍵點匹配算法；無人機巡檢圖像

中圖分類號：TP183""""""文獻標識碼：A

Recognition"of"Abnormal"Targets"in"UAV"Inspection

Images"of"Hydropower"Stations"Based"on"Key"Point

Matching"and"Depth"Features

CUI"Jielian，YU"Yang

（State"Grid"Northeast"Branch"Luyuan"Hydroelectric"Power"Company"Taipingwan"

Power"Plant，"Dandong，Liaoning"118000，China）

Abstract：In"order"to"meet"the"constantly"increasing"demand"for"power"energy，"the"scale"of"integrating"distributed"energy"into"the"large"power"grid"is"gradually"increasing，"especially"for"hydropower"units"（hydropower"stations），"which"account"for"the"largest"proportion"and"have"the"greatest"impact"on"the"safety"of"power"grid"operation."It"is"necessary"to"ensure"the"reliability"of"hydropower"station"operation."A"method"for"identifying"abnormal"targets"in"unmanned"aerial"vehicle"inspection"images"of"hydropower"stations"based"on"key"point"matching"and"deep"features"is"proposed."Preprocess"the"UAV"patrol"image"of"the"hydropower"station"to"improve"the"clarity"of"the"patrol"image."On"this"basis，"use"the"directional"gradient"histogram"mode"to"extract"the"depth"features"of"the"patrol"image，"select"the"more"important"depth"features"as"the"key"points，"match"the"patrol"image，"integrate"the"patrol"image"of"the"same"hydropower"station"scene"into"a"collection，"and"determine"whether"there"are"abnormal"targets"in"the"patrol"image"according"to"whether"the"depth"features"have"outliers，"Calculate"the"similarity"between"the"depth"features"of"abnormal"targets"and"known"abnormal"target"features，"in"order"to"achieve"the"recognition"of"abnormal"targets"in"inspection"images."The"experimental"data"shows"that"the"abnormal"target"recognition"results"obtained"by"applying"the"proposed"method"are"consistent"with"the"actual"abnormal"target"recognition"results."The"maximum"average"accuracy"of"abnormal"target"recognition"is"95%，"fully"confirming"that"the"proposed"method"has"better"application"performance.

Key"words：abnormal"target"recognition;"deep"feature"extraction;"hydropower"stations;"key"point"matching"algorithm;"unmanned"aerial"vehicle"inspection"images

現今社會電力能源已經躍升成為人們生產與生活中必不可少的能源種類之一，在多個領域中扮演著重要的角色，例如國防領域、醫療領域、交通領域等。隨著化石能源儲量的逐漸匱乏，可再生能源發電技術研究力度大大增加，水力發電技術、風力發電技術、光伏發電技術等逐漸成熟與普及，尤其是水力發電技術，其發電能力位于可再生能源發電技術的首位[1]。近年來，伴隨著電力能源需求量的增加，水電站建設規模與數量呈現逐漸上升的趨勢，其并入大電網的規模也越來越大，對水電站運行狀態穩定性提出了更高的要求。由此可見，如何對水電站運行狀態進行實時監測具有一定的現實意義。

水電站建設初期主要采用人工定期巡檢方式對其運行狀態、設備情況等進行檢測與維修，此種方式存在工作人員工作量大、巡檢效率低、漏檢率高等缺陷，已經無法滿足現今水電站的巡檢需求。而無人機具有高效、靈活等優勢，更加適用于水電站精細化巡檢任務。無人機能搭載視覺設備、探測設備等對水電站內部進行全面檢測，獲取相應的巡檢圖像，以此為基礎，對水電站內部運行情況進行分析與判定。由于無人機巡檢圖像數量龐大，加之環境因素的影響，致使巡檢圖像存在較多的干擾信息，造成異常目標識別性能較差，因此需要研究無人機圖像目標識別方法。對此，研究者仲林林等人[2]提出一種基于生成對抗網絡的無人機巡檢圖像異常目標檢測方法。結合兩種監督學習方法構件生成對抗網絡模型，利用壓縮激活網絡對其進行改進；利用遷移學習策略進一步提升模型的泛化性能，實現人機圖像目標識別。該方法解決了圖像背景復雜情況下的正負樣本不均衡問題，但未預處理無人機巡檢圖像，影響了圖像的清晰度，導致異常目標識別精度不夠理想。研究者陳旭等人[3]研究了基于YOLOv5算法的無人機圖像實時目標檢測方法。引入殘差空洞卷積網絡提高空間特征的利用率，基于YOLOv5s構建目標識別網絡；通過局部特征自監督融合多尺度特征，通過目標位置回歸與分類解耦完成無人機圖像異常目標識別。該方法可以在目標尺度差異較大的條件下完成目標實時識別。但該方法未對巡檢圖像進行特征匹配，異常目標的識別精度還有提升空間。

基于上述研究方法的成果與不足，為了進一步提升無人機巡檢圖像異常目標識別精度，保障水電站運行的安全性與可靠性，本文提出了基于關鍵點匹配和深度特征的水電站無人機巡檢圖像異常目標識別方法研究。

1"水電站無人機巡檢圖像異常目標識別方

法研究

1.1"無人機巡檢圖像預處理

無人機在作業過程中，主要視角為空中向下的視角，具有獨特的觀測優勢，但由于光照與天氣的影響，尤其是霧天，巡檢圖像清晰度較差，嚴重的還會造成圖像失真，影響后續異常目標識別的效果[4]。因此，為了提升異常目標識別性能，對無人機巡檢圖像進行一定的預處理，具體流程如圖1所示。

圖1"無人機巡檢圖像預處理流程圖

如圖1所示，原始無人機巡檢圖像表達式為：

I（x，y）=p（x，y）α（x，y）+A1－α（x，y）（1）

式（1）中，I（x，y）表示原始無人機巡檢圖像；p（x，y）表示（x，y）處的顏色數值；α（x，y）表示（x，y）處的光照透射率；A表示大氣光值。

利用He算法將原始無人機巡檢圖像處理成暗原色巡檢圖像[5]，表達式為：

I′pdark（x，y）=min"p（x，y）∈I（x，y）p（x，y）（2）

式（2）中，I′pdark（x，y）表示的是暗原色巡檢圖像，呈現為暗原色像素點分布函數形式；pdark（x，y）表示的是（x，y）處的暗原色數值。

依據暗原色巡檢圖像生成粗略傳播圖，聯合拉普拉斯算子L，獲取精細傳播圖，結合大氣光值影響，即可完成無人機巡檢圖像的預處理[6]，最終結果表示為：

f（x，y）=β2（x，y）－A×pdark（x，y）I（x，y）β2（x，y）=β1（x，y）L2ε（x，y）β1（x，y）=I′pdark（x，y）9χΔL=式（3）中，f（x，y）表示預處理后的無人機巡檢圖像；β2（x，y）表示巡檢圖像精細傳播圖；β1（x，y）表示巡檢圖像粗略傳播圖；ε（x，y）表示精細化處理因子，取值范圍為1，5；χΔ表示粗略傳播圖生成的輔助參量；取值范圍為0，10；

2F（x，y）表示（x，y）處的梯度數值；表示拉普拉斯算子L的特殊運算符號；

F（x，y）表示（x，y）處的散度數值。

依據圖1對無人機巡檢圖像進行相應的預處理，獲得巡檢圖像預處理結果如圖2所示。

如圖2所示，應用圖1所示流程可以實現無人機巡檢圖像的預處理，大幅度地提升巡檢圖像的清晰度，為后續圖像深度特征提取奠定堅實的基礎[7]。

1.2"巡檢圖像深度特征提取

以上述預處理后的無人機巡檢圖像f（x，y）為基礎，將其轉換為方向梯度直方圖形式，提取深度特征，為后續巡檢圖像關鍵點選取與匹配做好充足的準備工作。

巡檢圖像深度特征提取步驟如下所示：

步驟一：采用Gamma變換方法對巡檢圖像進行歸一化處理，降低光照與噪聲對于圖像的負面影響，獲取巡檢圖像對應的方向梯度直方圖[8]，表達式為：

g（x，y）=f（x，y）γ（4）

式（4）中，g（x，y）表示巡檢圖像對應的方向梯度直方圖；γ表示Gamma變換因子。

步驟二：衡量巡檢圖像X與Y方向梯度數值[9]，計算公式為：

gX（x，y）=H（x+1，y）－H（x－1，y）gY（x，y）=H（x，y+1）－H（x，y－1）（5）

式（5）中，gX（x，y）與gY（x，y）表示巡檢圖像X與Y方向梯度數值；H（·）表示某像素點對應的梯度數值。

步驟三：衡量巡檢圖像的梯度幅值與方向，表達式為：

G（x，y）=gX（x，y）2+gY（x，y）2

Φ（x，y）=tan"－1gY（x，y）gX（x，y）（6）

式（6）中，G（x，y）表示巡檢圖像的梯度幅值；Φ（x，y）表示巡檢圖像的梯度方向。

步驟四：將方向梯度直方圖g（x，y）合理劃分為N個單元，對每個單元進行加權投票，投票結果就是每個單元特征向量，對其進行整合，即可獲得巡檢圖像深度特征集合[10]，表達式為：

δ=δ1，δ2，…，δi，…，δN

δi=G（x，y）QiΦ（x，y）gi（x，y）±φi（7）

式（7）中，δ表示巡檢圖像深度特征集合；δi表示巡檢圖像第i個深度特征；gi（x，y）表示方向梯度直方圖中的第i個劃分單元；Qi表示gi（x，y）的加權投票結果；φi表示深度特征提取的輔助參量，取值范圍為2，15。

上述過程完成了巡檢圖像深度特征的提取，為后續研究進行提供支撐[11]。

1.3"巡檢圖像關鍵點選取與匹配

以上述巡檢圖像深度特征提取結果δ=δ1，δ2，…，δi，…，δN為依據，在其中選取較重要的深度特征作為關鍵點，以此為基礎，對巡檢圖像進行匹配，將同一水電站場景巡檢圖像整合為一個集合，為后續異常目標的識別提供一定的便利。

依據深度特征對于巡檢圖像的潛在價值，計算深度特征的權重系數[12]，表達式為：

ωi=δi×PiPtotal（8）

式（8）中，ωi表示巡檢圖像深度特征δi的權重系數；Pi表示巡檢圖像深度特征δi的潛在價值；Ptotal表示巡檢圖像的全部價值。

以式（8）計算結果為依據，對巡檢圖像深度特征進行降序排列，選取前M個深度特征作為關鍵點（需要注意的是，關鍵點數量需要根據實際情況進行具體設置），記為δ={δ1，δ2，…，δi，…，δM}，以此為基礎，獲取每個巡檢圖像關鍵點，制定關鍵點匹配規則，具體如下式所示：

ηij=cov"（δfi（x，y），δfj（x，y））ωiσ（δfi（x，y））σ（δfj（x，y））ηij≥ηΔδfi（x，y）與δfj（x，y）匹配成功ηijlt;ηΔδfi（x，y）與δfj（x，y）匹配失敗（9）

式（9）中，ηij表示的是巡檢圖像關鍵點δfi（x，y）與δfj（x，y）的匹配數值；cov與σ表示的是協方差與方差數值；ηΔ表示的是關鍵點匹配閾值。

依據式（9）所示規則將水電站巡檢圖像匹配為多個集合，記為f1，f2，…，fn，為研究目標的實現提供依據。

1.4"巡檢圖像異常目標識別

以上述關鍵點匹配結果f1，f2，…，fn為依據，以巡檢圖像深度特征為基礎，根據深度特征是否具有離群點判定巡檢圖像是否存在異常目標，若存在異常目標，則對其進行進一步識別，為水電站的穩定運行提供保障。

巡檢圖像異常目標判定規則如下式所示：

d（δi，δc）≥D存在異常目標d（δi，δc）lt;D不存在異常目標（10）

式（10）中，d（δi，δc）表示的是深度特征δi與其中心深度特征δc之間的歐氏距離；D表示的是離群點判定閾值。

當巡檢圖像存在異常目標時，分割異常目標區域，依據1.2節所示流程提取異常目標深度特征，計算其與已知異常目標特征之間的相似度，以此為依據，實現異常目標的識別[13]，表達式為：

ζ（δj，δ″k）≥Ψ完成識別

ζ（δj，δ″k）lt;Ψ繼續識別（11）

式（11）中，ζ（δj，δ″k）表示的是巡檢圖像異常目標深度特征δj與已知異常目標特征δ″k之間的相似度；Ψ表示的是異常目標識別閾值。

上述過程實現了水電站無人機巡檢圖像異常目標的判定與識別，為水電站可靠運行提供幫助。

2"實驗與結果分析

選取基于改進生成對抗網絡的無人機電力桿塔巡檢圖像異常檢測（文獻[2]）與基于改進YOLOv5s的無人機圖像實時目標檢測（文獻[3]）作為對比方法1與對比方法2，聯合提出方法共同進行水電站無人機巡檢圖像異常目標識別對比實驗，以此來驗證提出方法的應用效果。

2.1"關鍵點數量確定

提出方法應用了關鍵點匹配算法，而關鍵點數量的選擇至關重要，直接關系著關鍵點匹配效率的高低。因此，在實驗進行之前，需要對關鍵點最佳數量進行確定。

通過測試獲得關鍵點數量與關鍵點匹配效率之間的關系如圖3所示。

如圖3所示，隨著關鍵點數量的增加，關鍵點匹配效率呈現先增加后下降的變化趨勢。當關鍵點數量為10個時，關鍵點匹配效率達到峰值98%。因此，確定關鍵點最佳數量為10個。

上述過程完成了關鍵點最佳數量的確定，為后續實驗的順利進行提供一定的便利。

2.2"實驗結果分析

以上述確定的關鍵點最佳數量為依據，聯合標準實驗環境進行水電站無人機巡檢圖像異常目標識別對比實驗，通過巡檢圖像異常目標識別結果與異常目標識別平均精度來顯示提出方法的應用性能，具體實驗結果分析過程如下所示。

2.2.1"巡檢圖像異常目標識別結果分析

以某一幅水電站無人機巡檢圖像（泄洪口共為7個，從左到右編號為1～7，水電站開啟1、3、5與7泄洪口進行泄洪發電）作為實驗對象，應用提出方法、對比方法1與對比方法2對其異常目標進行識別，獲得識別結果如圖4所示。

如圖4所示，實驗對象——巡檢圖像存在泄洪口未開啟異常，應用提出方法獲得的異常目標識別結果與實際異常目標識別結果一致，而對比方法1存在異常目標未識別現象，對比方法2存在異常目標未識別及其識別錯誤現象，充分表明提出方法異常目標識別精準度更高。這主要是因為本文在目標識別前先對水電站無人機巡檢圖像進行了預處理，提升了巡檢圖像的清晰度，然后采用Gamma變換方法對巡檢圖像進行歸一化處理，降低了光照與噪聲對于圖像的負面影響，后續從清晰圖像中更容易識別出異常目標，因此精準度較高。

2.2.2"異常目標識別平均精度分析

2.2.1節實驗對象較為單一，獲得的實驗結論可信度較差，故設置10種差異性較大的實驗工況，每種實驗工況中的巡檢圖像數量、異常目標數量等均不一致，進行多次實驗，計算異常目標識別平均精度，具體如表1所示。

如表1數據所示，在不同實驗工況背景下，應用提出方法獲得的異常目標識別平均精度遠遠高于對比方法1與對比方法2，在第9種實驗工況背景下獲得異常目標識別平均精度最大值為95%。這是因為本文在預處理圖像的基礎上，采用方向梯度直方圖模式提取巡檢圖像深度特征，選取較重要的深度特征作為關鍵點，對巡檢圖像進行匹配整合，為后續異常目標準確識別提供便利，因此應用性能更優。

3"結"論

電力能源需求的不斷增加，使得水電站建設規模逐漸擴大，其在大電網中的占比逐漸增大，自身運行穩定性與可靠性愈加重要，故提出基于關鍵點匹配和深度特征的水電站無人機巡檢圖像異常目標識別方法研究。實驗數據顯示，提出方法應用后，巡檢圖像異常目標識別平均精度得到了大幅度的提升，為水電站可靠運行提供更有效的方法支撐。

參考文獻

［１］"王軍，劉春國，樊俊屹.基于CNN的地震前兆臺網觀測數據異常圖像識別方法[J].地震工程學報，"2021，"43（1）：28-32，49.

[2]"仲林林，胡霞，劉柯妤.基于改進生成對抗網絡的無人機電力桿塔巡檢圖像異常檢測[J].電工技術學報，"2022，"37（9）：2230-2240，2262.

[3]"陳旭，"彭冬亮，"谷雨.基于改進YOLOv5s的無人機圖像實時目標檢測[J].光電工程，"2022，"49（3）：67-79.

[4]"盧毅，陳亞冉，趙冬斌，等.關鍵點圖對比圖像分類方法[J].智能系統學報，"2023，"18（1）：36-46.

[5]"楊子固，李海芳，劉劍超，等.結合異常檢測的X射線安檢圖像識別方法[J].科學技術與工程，"2021，"21（26）：11240-11245.

[6]"霍志浩，金煒東，唐鵬.融合自監督學習的單幀圖像運動視差關鍵點估計[J].系統仿真學報，"2021，"33（11）：2753-2759.

[7]"孫俊，張林，周鑫，等.采用高光譜圖像深度特征檢測水稻種子活力等級[J].農業工程學報，"2021，"37（14）：171-178.

[8]"尤錕，張全成，李凱勇.基于三維激光點云的運動圖像動態目標識別方法[J].應用激光，"2022，"42（4）：147-153.

[9]"王龍號，藍朝楨，姚富山，等.多源遙感影像深度特征融合匹配算法[J].地球信息科學學報，"2023，"25（2）：380-395.

[10]顧曉東，唐丹宏，黃曉華.基于深度學習的電網巡檢圖像缺陷檢測與識別[J].電力系統保護與控制，"2021，"49（5）：91-97.

[11]李孟錫，任笑圓，王粲雨，等.基于HOURGLASS網絡語義關鍵點提取的光學圖像空間目標姿態估計方法[J].信號處理，"2021，"37（9）：1653-1662.

[12]李忠偉，張浩，王雷全，等.融合空譜-梯度特征的深度高光譜圖像去噪[J].光學精密工程，"2022，"30（5）：615-629.

[13]鄭柏倫，冼楚華，張東九.融合RGB圖像特征的多尺度深度圖像補全方法[J].計算機輔助設計與圖形學學報，"2021，"33（9）：1407-1417.