基于簡單線性迭代聚類優化的無人機圖像去霧算法及其在風電場中的應用

劉廈，孫哲，仇梓峰*，胡炎

基于簡單線性迭代聚類優化的無人機圖像去霧算法及其在風電場中的應用

劉廈1,3，孫哲2，仇梓峰1,3*，胡炎3

（1．中國電子科技集團公司第五十四研究所，河北省 石家莊市 050081；2．海裝駐邯鄲地區軍事代表室，河北省 石家莊市 050081；3．中國電子科技集團公司航天信息應用技術重點實驗室，河北省 石家莊市 050081）

針對電力巡檢過程中無人機(unmanned aerial vehicle，UAV)載荷因受霧氣顆粒影響而導致UAV圖像不清晰的問題，提出一種基于簡單線性迭代聚類(simple linear iterative clustering，SLIC)優化的UAV圖像去霧算法。通過霧天成像物理模型、暗通道先驗定律、同質濾波與SLIC算法，改善電力巡檢圖像中白色區域及不均勻光照的影響，提升UAV圖像去霧處理的效率，并對大氣光強度參數進行自適應計算，以防止去霧過程中復原失真。實驗結果表明提出的算法可有效恢復電力巡檢圖像的原始細節，并通過主觀視覺評估及融合多種客觀評價指標的對比，說明該算法相對于傳統算法的優越性。

風電場；電力巡檢；圖像去霧；同質濾波；簡單線性迭代聚類(SLIC)

0 引言

電力線路是輸送電能的重要組成部分，對電力線路進行定期的巡檢十分必要[1-2]。目前，已出現將無人機(unmanned aerial vehicle，UAV)遙感技術應用于電力巡檢的案例[3-6]，可以大幅提高巡檢效率和安全性。在無人機對電力線路進行高空巡檢時，必須保證其攜帶載荷能夠在電力線路所經過地帶的復雜環境中采集到清晰的圖像數據，以免影響后續目標的檢測和識別。但在霧霾天氣中存在較多的霧氣顆粒，UAV的成像系統會受到顆粒的反射、散射、吸收自然光的影響，從而造成UAV圖像質量的下降，嚴重影響了后續巡檢任務的完成[7]。因此，在電力巡檢領域中，對UAV圖像進行去霧算法的研究具有重要意義。

對圖像進行去霧處理是計算機視覺中的一個重要任務，目前去霧方法主要分為基于圖像表面增強和內在物理大氣模型2種方法[8]。前者對圖像中的顯著區域進行突出，并通過增強多種色彩信息來實現圖像去霧，主要方法有直方圖均衡化增強算法[9]、小波變換去霧算法[10]、視網膜大腦皮質論去霧算法[11]等，此類算法未考慮有霧圖像的內在成因，雖然具有較快的處理速度，但會丟失圖像的細節信息[12]。后者對圖像的內在物理大氣模型進行研究，主要分為基于多幅圖像的去霧算法及基于單幅圖像的去霧算法，此類算法對霧霾天氣下的成像原理進行剖析，去霧效果良好，得到了廣泛的應用和研究。

基于多幅圖像的去霧算法主要取決于附加信息的深度或對同一場景的多次觀察。FANG等[13]根據散射光的不同偏振特性，使用2個或多個具有不同偏振度的相同場景圖像來恢復場景深度圖像。KOPF等[14]采用圖像的景深信息進行除霧。NARASIMHAN等[15]提出了一種基于物理大氣散射的模型來恢復圖像內在結構。基于多幅圖像的去霧算法依賴于圖像之間的附加信息，未對圖像霧氣的成因進行深入分析，存在一定的局限性。

基于單幅圖像的去霧算法結合先驗統計知識，并將霧度和其他雜質作為圖像退化的主要原因，利用大氣環境下成像的概念，根據大氣散射生成退化模型。FATTAL[16]通過考慮表面投影和光透射的不相關性來估計場景透射率。MENG等[17]通過使用上下文正則化加權L1范數限制邊界的傳遞函數來建立模型。HE等[18]提出了一種暗通道先驗(dark channel prior)方法，認為大多數沒有霧塊的自然圖像通常在色彩通道的一個小像素內包含一些亮度值，稱為先驗暗通道。基于單幅圖像的去霧算法深入分析了圖像中霧氣存在的原因，涌現出多種有效可行的去霧理論方法，其中暗通道先驗方法具有較強的實用性。

暗通道先驗方法將現有知識與軟消光算法相結合，可以簡單而有效地恢復大部分霧度圖像，但當場景中有白色物體存在或接近大氣光學特性時，去霧效果將有所降低。基于HE的去霧算法，研究人員提出了顏色轉移算法、雙邊濾波算法、貝葉斯優化方法等多種改進方法[19-21]，但是在電力巡檢時場景多變，輸電線路、風力發電機圖像中常出現大片白色區域，現有基于先驗暗通道的衍生算法均表現不佳，有必要對其進行改進優化。

針對電力巡檢中的復雜圖像，并考慮去霧過程中白色區域的影響，本文提出一種利用同質濾波算子來改善UAV圖像，并采用簡單線性迭代聚類(simple linear iterative clustering，SLIC)優化導向濾波計算方法的去霧算法。

1 圖像去霧處理模型

1.1 霧天成像物理模型

在天氣中存在霧霾因素時，物體表面上的光在傳播到UAV載荷的過程中會被漂浮在空氣中的霧霾顆粒散射，并伴隨傳輸過程而不斷衰減。基于此規則，在霧天成像中描述圖像退化過程的大氣散射物理模型表示為

式中：()為UAV載荷拍攝到的原始有霧圖像；eg為衰減退化模型，代表光傳播在透射懸浮顆粒中的衰減退化過程，可表示為

其中()為待復原的清晰圖像，()為大氣透射參數率；L為大氣光模型，代表整體大氣全光路的散射作用，可表示為

1.2 暗通道先驗模型

暗通道先驗模型[22]是一種基于大量室外無霧圖像統計數據的定律：在絕大多數圖像的局部區域中，總有一些像素存在至少一個低值的色彩通道，可表示為

式中：c()為原始圖像中的色彩通道；()為以為中心的像素區域；dark()為暗通道像素值，存在于?{,,}中的最小值。

暗通道先驗方法通過以下2個假設條件進行去霧：1）假設圖像傳輸和暗通道信息的圖像在局部小尺度上是一致的；2）假設大氣光為恒定值。根據式(1)將兩側算子最小化，可得

將式(5)除以大氣光強度參數值，并計算其暗通道，可得

由暗通道先驗定律可知，無霧條件下的暗通道值()接近于0，大氣光強度參數值通常是一個相對較大的值，則由式(6)可得出大氣透射參數率：

式中c為去霧控制閾值，本文設置為0.11，可有效防止()趨于0時導致的霧圖噪聲化。

1.3 SLIC超像素分割

SLIC算法[23]根據像素顏色與距離相似度進行分割，具有效率高且生成的超像素塊大小均致、輪廓規則等優點，廣泛應用于無人機、遙感檢測等圖像分割中。原始的SLIC超像素分割算法步驟為：1）根據圖像大小劃分網格并初始化聚類中心；2）在相鄰區間中移動聚類中心到最小梯度位置；3）在每個聚類中心附近空間相鄰區域內，由距離測量公式設置最佳匹配像素；4）計算新聚類中心誤差，滿足閾值后強制連通性。其中所涉及的距離測量如下：

2 基于SLIC優化的去霧算法

2.1 改進的同質濾波算法

為了消除白色區域的影響并增強圖像細節，將基于頻域的同質濾波算法[24]用于初期圖像處理，可保證高亮顯示的圖像質量，同時增強圖像細節。

圖像的同質濾波建立在基于入射光和反射光的圖像模型上。將圖像函數(,)表示為照明函數(,)和反射函數(,)的乘積，圖像模型及其取值范圍如下：

通過對式(12)取對數、傅里葉變換頻域、選取濾波函數來控制右側分量，可得濾波結果：

式中：(,)、(,)、(,)分別為(,)、(,)、(,)的頻域函數；(,)為濾波函數，常用高斯型、巴特沃斯型濾波函數，但其參數較多且計算復雜。

本文提出一種改進的同質濾波函數：

式中：(,)為頻率點(,)到濾波器中心點的距離；和的取值范圍分別為0.7￡￡1.4和0.01￡￡0.5。改進的同質濾波算法取=1.06，=0.35，由此得到的濾波效果如圖1所示。

圖1 同質濾波效果對比

由圖1可知，使用同質濾波算法對原圖的光照補償均有一定的增強效果，但是圖1(b)增加了很多噪聲；而在圖1(c)中，其白色區域亮度得到較大改善且提升了整體亮度及清晰度，證明了改進的同質濾波算法的優越性。

2.2 基于SLIC的導向濾波改進算法

1.2節中使用軟摳圖算法對()進行細化，使時間復雜度有所增加，可使用導向濾波算法[25]提高處理速度和()計算的準確度，并結合降維的SLIC算法對導向濾波算法進行優化改進。

導向濾波是一種可對邊緣進行保持的平滑濾波器，可以對背景進行有效平滑并保持圖像的邊緣細節，其濾波表達式如下：

式中：表示輸出圖像；表示導向圖像；表示輸入圖像；為窗口半徑；為窗口像素；為正則化系數；a和b為窗口常系數；w表示濾波窗口，w的約束方程為

通過對約束方程取最小值來使輸入、輸出圖像之間的偏差最小，得到的常規系數a和b分別表示如下：

導向濾波窗口w位于局部小區域中，類似于SLIC中聚類中心附近的超像素塊。本文將SLIC算法中的超像素塊代替w，對每個超像素區域進行式(20)與(21)的計算，并降低SLIC的特征維度，如式(22)、(23)所示。

式中：表示SLIC的超像素塊；為每個像素點與聚類中心的距離；D為灰度特征距離；D為空間特征距離；g和g分別為、點的灰度顏色空間坐標。

由圖2可知，利用基于SLIC的導向濾波改進算法對()的計算進行優化，使細節輪廓清晰化，接近于原始圖像。

2.3 優化后的圖像去霧算法

圖3 基于SLIC優化的UAV圖像去霧算法流程圖

3 實驗結果及分析

3.1 主觀評估

對輸電線路進行電力巡檢的UAV圖像去霧處理結果如圖4所示，圖4(a)是在霧霾環境下拍攝的原圖，圖4(b)—(d)分別為使用本文算法、HE算法[18]及PEI算法[19]對原圖進行去霧后的圖像。由圖4可看出，HE算法對原圖的對比度有所增強，但部分區域存在光暈及塊效應；PEI算法減弱了光暈效應，但整體顏色偏暗；本文算法的處理效果整體通透，復原了真實場景顏色，且去除了白色區域的影響，使得輸電塔的邊緣細節更為清晰。

圖4 輸電線路去霧處理結果

為進一步驗證本文算法的適用性，對電力巡檢中的風力發電機圖像進行去霧處理，如圖5所示。由圖5可知，HE算法對近景區域的去霧效果不佳，且去霧后的整體明亮度降低；PEI算法在一定程度上改善了原圖的霧度，但是圖像白色區域附近存在細節信息丟失，天空區域也存在一些噪點；而本文算法考慮到白色區域的影響，復原后的圖像去霧效果較為徹底，風力發電機細節清晰，視覺效果良好。

3.2 客觀評估

去霧算法的客觀評估是基于數學模型得到的量化指標，可以對實驗結果進行更加準確的衡量。本文采用對比度、色偏度及信息熵3個指標對3種算法進行評估，各指標的計算公式如下：

式中：為對比度，表示圖像細節的表達能力；()表示像素點的亮度；為像素點個數；為色偏度，表示顏色的偏離程度；、分別為空間中、的均值；為空間中的均方差；th為偏離閾值；N為信息熵，表示圖像信息的豐富程度；為灰度級數；()為灰度級的分布概率。

以上3個指標中，與N越大、越小，表明圖像去霧后的整體質量越優。使用本文算法、HE算法及PEI算法對圖4、5中的圖像各指標進行計算并統計，結果如表1所示，其中粗體為各指標的最佳值。

由表1可知，與HE、PEI算法相比，本文算法顯著提升了原圖的對比度，并有效降低了非一致性顏色偏離程度；同時本文算法的信息熵值均最大，說明可明顯去除電力巡檢UAV圖像的霧氣，并復原圖像中的大量細節信息。3種算法的去霧處理時間如表2所示，可見本文算法可有效提升去霧算法的計算效率，降低處理時間。

表1 3種算法的去霧性能客觀評估

表2 3種算法的去霧處理時間

4 結論

針對無人機在電力巡檢過程中采集圖像的特點，使用同質濾波、SLIC、導向濾波等算法，對單幅圖像去霧算法進行了適應性優化，有效解決了UAV圖像中白色區域及不均勻光照對去霧過程的影響，并通過對多種參數的優化加快了去霧算法的處理速度。實驗結果表明：在多種電力巡檢場景下，所提算法在主觀視覺評估和客觀參數指標上均比傳統算法表現好。下一步，將結合多樣化及晴天條件下的電力巡檢過程，對復雜背景下的UAV圖像進行更加深入的去霧研究。

[1]宋慧娟．基于混合現實的人工智能在電力巡檢中的應用[J]．電網與清潔能源，2020，36(2)：75-79．

SONG H J．Application of the artificial intelligence based on mixed reality in power patrol inspection service[J]．Power System and Clean Energy，2020，36(2)：75-79．

[2]孫旭日，李延真，彭博，等．基于生成對抗網絡和深度殘差神經網絡的變電站異物檢測[J]．電網與清潔能源，2020，36(9)：68-75．

SUN X R，LI Y Z，PENG B，et al．Substation foreign object detection based on generative adversarial network and deep residual neural network[J]．Power System and Clean Energy，2020，36(9)：68-75．

[3]楊東升，王道浩，周博文，等．泛在電力物聯網的關鍵技術與應用前景[J]．發電技術，2019，40(2)：107-114．

YANG D S，WANG D H，ZHOU B W，et al．Key technologies and application prospects of ubiquitous power internet of things[J]．Power Generation Technology，2019，40(2)：107-114．

[4]彭福先，張瑋，祝曉軍，等．基于激光點云精確定位的輸電線路無人機自主巡檢系統研究[J]．智慧電力，2019，47(7)：117-122．

PENG F X，ZHANG W，ZHU X J，et al．Autonomous patrol and inspection system of unmanned aerial vehicle for electric transmission lines based on precise positioning of laser point cloud[J]．Smart Power，2019，47(7)：117-122．

[5]仇梓峰，王爽心，李蒙．基于無人機圖像的風力發電機葉片缺陷識別[J]．發電技術，2018，39(3)：277-285．

QIU Z F，WANG S X，LI M．Defect detection of wind turbine blade based on unmanned aerial vehicle-taken images[J]．Power Generation Technology，2018，39(3)：277-285．

[6]毛天奇，王傳策，李云，等．基于SGC算法的復雜背景無人機巡檢圖像輸電線提取方法[J]．智慧電力，2018，46(12)：105-111．

MAO T Q，WANG C C，LI Y，et al．Transmission line extraction method based on SGC stereo matching algorithm for UAV inspection image under complex background[J]．Smart Power，2018，46(12)：105-111．

[7]王丹，李建岐，廖斌．基于優化去霧算法的配網開關狀態視頻識別技術研究[J]．電力信息與通信技術，2017，15(10)：31-37．

WANG D，LI J Q，LIAO B．Research on video recognition technology of distribution switch based on optimized defogging algorithm[J]．Electric Power Information and Communication Technology，2017，15(10)：31-37．

[8]禹晶，徐東彬，廖慶敏．圖像去霧技術研究進展[J]．中國圖象圖形學報，2011，16(9)：1561-1576．

YU J，XU D B，LIAO Q M．Image defogging：a survey[J]．Journal of Image and Graphics，2011，16(9)：1561-1576．

[9]KIM J Y，KIM L S，HWANG S H．An advanced contrast enhancement using partially overlapped sub-block histogram equalization[J]．IEEE Transactions on Circuits and Systems for Video Technology，2001，11(4)：475-484．

[10]XIE C H，QIAO W W，ZHANG X X，et al．Single image dehazing algorithm using wavelet decomposition and fast kernel regression model[J]．Journal of Electronic Imaging，2016，25(4)：43-58．

[11]肖勝筆，李燕．具有顏色保真性的快速多尺度Retinex去霧算法[J]．計算機工程與應用，2015，51(6)：176-180．

XIAO S B，LI Y．Fast multiscale Retinex algorithm of image haze removal with color fidelity[J]．Computer Engineering and Applications，2015，51(6)：176-180．

[12]GAO Y K，CHEN H Y，LI H B，et al．Single image dehazing using local linear fusion[J]．IET Image Processing，2018，12(5)：637-643．

[13]FANG S，XIA X S，HUO X，et al．Image dehazing using polarization effects of objects and airlight[J]．Optics Express，2014，22(16)：195-211．

[14]KOPF J，NEUBERT B，CHEN B，et al．Deep photo：model-based photograph enhancement and viewing[J]．ACM Transactions on Graphics，2008，27(5)：116-125．

[15]NARASIMHAN S G，NAYAR S K．Contrast restoration of weather degraded images[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(6)：711-724．

[16]FATTAL R．Single image dehazing[J]．ACM Transactions on Graphics，2008，27(3)：1-13．

[17]MENG G，WANG Y，DUAN J，et al．Efficient image dehazing with boundary constraint and contextual regularization[C]//2013 IEEE International Conference on Computer Vision．IEEE，2014：1-13．

[18]HE K M，SUN J，TANG X O，et al．Single image haze removal using dark channel prior[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33(12)：2341-2353．

[19]PEI S C，LEE T Y．Nighttime haze removal using color transfer pre-processing and dark channel prior[C]// 2012 19th IEEE International Conference on Image Processing (ICIP)．IEEE，2012：3-15．

[20]FENG C，ZHUO S，ZHANG X，et al．Near-infrared guided color image dehazing[C]//2013 IEEE International Conference on Image Processing．IEEE，2013：1-13．

[21]BUI T M，TRAN H N，KIM W，et al．Segmenting dark channel prior in single image dehazing[J]．Electronics Letters，2014，50(7)：516-518．

[22]YUE B X，LIU K L，WANG Z Y，et al．Accelerated haze removal for a single image by dark channel prior[J]．Frontiers of Information Technology & Electronic Engineering，2019，20(8)：1109-1118．

[23]CONG J，WEI B，YIN Y，et al．Performance evaluation of simple linear iterative clustering algorithm on medical image processing[J]．Bio-medical Materials and Engineering，2014，24(6)：3231-3238．

[24]SHAHAMAT H，POUYAN A A．Face recognition under large illumination variations using homomorphic filtering in spatial domain[J]．Journal of Visual Communication and Image Representation，2014，25(5)：970-977．

[25]QU J，LI Y，DONG W．Fusion of hyperspectral and panchromatic images using an average filter and a guided filter[J]．Journal of Visual Communication & Image Representation，2018：52-63．

Unmanned Aerial Vehicle Image Dehazing Algorithm Based on Simple Linear Iterative Clustering Optimization and Its Application in Wind Farm

LIU Sha1,3, SUN Zhe2, QIU Zifeng1,3*, HU Yan3

(1. The 54th Research Institute of CETC, Shijiazhuang 050081, Hebei Province, China; 2. Military Representatives Office of NED in Handan, Shijiazhuang 050081, Hebei Province, China; 3. Key Laboratory of Aerospace Information Applications of CETC, Shijiazhuang 050081, Hebei Province, China)

In order to solve the problem that the unmanned aerial vehicle (UAV) image is not clear due to the influence of fog particles, a UAV image dehazing algorithm based on simple linear iterative clustering (SLIC) optimization was proposed. Through the physical model of fog imaging, the prior law of dark channel, homogeneous filtering and SLIC algorithm, the influence of white area and uneven light in power inspection image was improved, the efficiency of UAV image dehazing was improved, andthe adaptive calculation of atmospheric light intensityparameters was carried out to prevent the distortion in the dehazing process. The experimental results show that the algorithm can effectively restore the original details of the power inspection image. Through the comparison of subjective visual evaluation and fusion of a variety of objective evaluation indexes, it shows the superiority of the algorithm compared with the traditional algorithms.

wind farm; power inspection; image dehazing; homogeneous filtering; simple linear iterative clustering (SLIC)

10.12096/j.2096-4528.pgt.20006

TK83; TP391.41

國家重點研發計劃項目(2017YFB0503003)。

Project Supported by National Key Research & Development Program of China (2017YFB0503003).

2020-03-17。

(責任編輯 尚彩娟)