風電葉片圖像直線特征檢測與拼接方法

馬寶琰 湯磊 趙晶 何勇軍

摘 要：風電機組運行過程中需要定期巡檢葉片表面。人工巡檢方式工作量大、成本高且檢出率低，迫切需要引入智能巡檢系統。風電葉片圖像的拼接是智能巡檢系統的關鍵環節，直接決定著系統性能。目前的拼接方法在面對風電葉片這樣結構與顏色單一的條形對象時無法提取出足夠的特征點，拼接成功率低。針對這一問題提出了基于直線特征的拼接方法。該方法首先檢測風電葉片圖像中的直線，然后篩選去重作為特征進行圖像配準，最后根據平移旋轉矩陣拼接葉片圖像。實驗結果表明，所提出的方法能適應拼接結構單一、重合度小和背景多樣等復雜的情況，具有較強的魯棒性和穩定性。

關鍵詞：圖像拼接;直線特征;差異度

DOI：10.15938/j.jhust.2020.05.012

中圖分類號： TP399

文獻標志碼： A

文章編號： 1007-2683（2020）05-0083-10

Abstract：It is necessary to periodically inspect the blade surface of the wind turbines operation. The widely used manual inspection method brings a heavy workload， high cost and low detection rate， so it is urgent to need anautomatic inspection system.Image mosaic of wind power blades is a key part of the intelligent inspection system， which directly determines the system performance. Current splicing methods cannot extract enough feature points when facing a strip object with a single structure and color such as wind power blade， causing failure in splicing success. A splicing method based on line features is proposed to solve this problem. This method first detects straight lines in the images of the wind power blade， then selects the de-duplication as the feature for image registration， and finally splices the blade image according to translation rotation matrix.Experimental results show that the proposed method shows strong robustness and stability in complex situations such as single structure， small coincidence degree and diverse backgroundstability.

Keywords：image mosaic; straight line features; degree of difference

0 引 言

目前我國風力發電機組裝機容量高達6000萬千瓦，已經超過美國，穩居世界第一。風電葉片是風力發電機組的核心部件之一，容易受到雷擊、腐蝕等影響而損壞。定期巡檢風電葉片，及時發現其表面缺陷并檢修或更換，保證機組正常運行，以節約成本、降低損失。以往主要采用蜘蛛人、吊車、望遠鏡等形式檢測，檢出率低，迫切需要研發一種智能巡檢系統。為了能夠檢測出毫米級的缺陷，巡檢系統需要采集高分辨率的葉片圖像。而風力發電機葉片長達40米，在拍攝同一葉片圖像時，相機鏡頭需要連續移動、多次拍攝才能覆蓋葉片所有區域。為了準確測量缺陷的大小、長度與面積，并準確定位缺陷，需要拼接拍攝到的多張圖片。因此，圖像拼接是自動風電葉片檢測的關鍵技術。

圖像拼接首先檢測特征，然后配準圖像[1]。現有的圖像拼接方法有SIFT、SURF、BRISK、ORB、KAZE或AKAZE等算法。其中SIFT（scale invariant feature transform，SIFT）[2-3]首先通過不同尺度的高斯函數以及圖像卷積構建圖像尺度空間，再檢測尺度空間的極值點，并篩選這些極值點，確定這些極值點的位置與方向，最后對這些點進行描述，得到具有128維的特征描述子[4]。與SIFT不同的是SURF（speeded up robust reatures， SURF）[5-6]首選引入了Hessian矩陣來構建尺度空間，再采用harr描述特征點，最后生成64維的特征描述子，特征數目比SIFT減少了一半[7]。BRISK（binary robust invariant scalable keypoints， BRISK）[8-9]是一種二進制的特征描述算子，首選使用FAST檢測不同尺度空間圖像的特征點，再用高斯濾波描述特征點。與BRISK一樣，ORB（oriented FAST and rotated BRIEF， ORB）[10-11]也是用FAST檢測不同尺度空間圖像的特征點，但其描述特征點使用的是BRIEF（binary robust independent elementary features， BRIEF）方法。KAZE[12-13]是一種非線性尺度空間的特征檢測和描述方法，利用非線性濾波改進了高斯尺度空間不能自然的順應物體邊界和平滑細節以及噪聲的問題，相比SIFT和SURF具有更好的性能。AKAZE（accelerated KAZE， AKAZE）[14-15]對KAZE在構建非線性尺度空間與特征描述上進行了改進，即采用FED（fast explicit diffusion， FED）快速構建非線性尺度空間，并采用M-LDB（modified local difference binary， M-LDB）改進了特征描述，從整體上減少了內存與計算時間[16-17]。這些算法在背景復雜的情況下可以檢測到足夠合適的特征點，具有較高的拼接成功率。但是風電葉片結構、顏色簡單，且明暗程度對比的不顯著。現有拼接方法很難在風電葉片上檢測出足夠且有效的特征點，其拼接成功率很低。

對葉片進行深入研究我們發現，葉片邊緣的直線特征比較明顯，而且相鄰的兩幅圖像邊緣上直線的斜率基本一致，而非邊緣直線的斜率一致的可能性很小。根據這些特征本文提出了一種基于直線特征的葉片圖像拼接方法。該方法要解決兩個問題：一是如何檢測并去掉圖像上重合的直線特征，二是如何配準直線特征。對于直線去重，首先根據霍夫變換直線檢測原理檢測葉片圖像上邊的直線，選擇其中一條直線，尋找其它直線與該條直線差異度較小的直線，再分別求出這些直線的斜率與截距的均值，計算出一條去重后的直線，最后重復以上操作確定用于配準的直線集。對于直線匹配，首先分別計算兩個直線集中兩兩直線的交點，生成兩個交點集，再根據交點計算坐標系的平移轉換矩陣，從而減少直線所在坐標系的轉換次數，然后采用直線差異度配準直線特征，計算出最大匹配數，最后計算出葉片圖像的平移旋轉矩陣。在直線特征配準完成之后，根據平移旋轉矩陣實現圖像拼接。

1 直線特征檢測

風電葉片圖像在采集時，會暫停風機，使葉片懸停在豎直方向，采集時相機沿著葉片從上到下拍攝葉片一個面的所有圖像。因此，葉片圖像上直線特征的方向大致豎直，采用圖像微分可以使單方向的圖像紋理表現的更為明顯。由于拍攝角度不同，直線特征也會有一定的傾斜。為了能更好的檢測出直線特征，本文采用加權的圖像微分提出直線，即先分別求出橫向與縱向的圖像微分然后加權。輪廓提取公式如下：

在直線檢測前需要計算出二值圖像，即對濾波后的圖像閾值分割，以便擬合出直線特征。不同的葉片圖像的葉片邊緣灰度值差別比較大。如果固定閾值很難適應各種光照強度與背景下的圖像分割，分割效果比較差。對于這個問題本文采用加權灰度均值作為閾值來分割葉片圖像，即對濾波后的圖像計算灰度均值，再使用圖像灰度值均值的ω倍作為圖像分割的閾值。I1加權閾值分割可得I2：

本文檢測直線所采用的方法為霍夫變換[18-19]，其檢測原理如下：在極坐標系中，采用（φ，α）表示一條直線區域，其中φ（0≤φ≤n）為直線到原點的距離，n為圖像對角線長度，α（0°≤α≤360°）限定直線斜率，α步長為1°。采用H（φ，α）記錄經過直線（φ，α）的像素點次數。依次遍歷圖像中所有的像素，如果當前像素經過（φ，α），那么H（φ，α）的數值加1，最后根據經過直線（φ，α）像素點個數的閾值來確定所檢測到的直線。

2 直線特征去重

葉片圖像直線特征以豎直方向為主。但是檢測出的直線特征也會有水平方向的，這些直線特征屬于無效特征，會降低匹配效率。可以由ki>ε0去掉直線集Li中水平方向的直線生成直線集Lj：y=kjx+bj，（j=1，2，3…n2）。由于葉片圖像的邊緣輪廓寬度較大，且檢測是存在偏差，不可避免地會在同一條輪廓上檢測出有微小偏差的重復直線。重復直線只需要保留一條。為了進去掉直線集Lj中的重復直線，減少不必要的運算，把這些直線擬合成一條直線。為此，我們定義直線差異度：

3 直線配準與拼接

在采集葉片圖像的時候，相機距離風柱100m。風柱高為80m，葉片長為40m。采集圖像的時候保持風機停機，葉片向下垂直于地面，相機從輪轂處開始向葉片尖端依次拍攝。為了保證葉片圖像有足夠的重疊部分，采集完一個葉片需要拍攝20張左右的圖像。每張圖像的對應的葉片實際高度為2m左右，仰角變化約為1°，圖像寬為4000像素。若以其中一張圖像為基準，則投影后的圖像寬約為3999.39（4000·cos1）像素。相鄰兩張圖像的相對誤差在1像素之內，所以本文在計算的時候忽略了仿射變換。

3.1 配準與拼接

對于一組葉片圖像取連續的兩張A、B，通過上述過程分別檢測得到A與B上的直線集。定義圖像A上的直線集：

其中j=1，2，3…n1，k為斜率b為截距。為了配準一組葉片圖像上的直線特征，把第一張圖像的坐標系作為基準坐標系，其它圖像的坐標系進行平移旋轉變換，變換到第一張圖像上的坐標系，以方便直線特征的配準。如果直接用滑動窗口的形式配準直線特征，配準效率會大幅度下降。針對這個問題，本文引入了直線交點特征。每幅圖像所檢測出的直線集，經過去重后的元素個數在10以內。根據直線計算出的交點個數在50以內。由葉片特征可知，每幅葉片圖像至少有兩條直線可以配準成功。那么配準成功的兩對直線的交點在誤差范圍內也會重合。如圖1所示在直線特征配準的過程中，可以使用直線交點計算坐標系的平移旋轉變換來代替滑動窗口以提高直線特征的配準效率。通過A上直線集中直線交點計算公式：

根據LAi與LBj中的直線交點計算從LBj所在坐標系到LAi所在坐標系的平移旋轉變換。計算方法如下，首先分別任取點集PAr、PBs中一點（xr，yr）與（us，vs），通過式（16）把LBj所在坐標系平移旋轉變換到LAi所在坐標系：

3.2 拼接圖像修正

風電場提供的風電葉片具有相同的規格，每個葉片的兩個邊緣不是平行的，他們具有一定角度。相鄰的兩張圖像中的葉片，其重合部分的邊緣直線方向經過旋轉后基本一致。如圖2所示，我們根據風電場提供的葉片尺寸信息，利用葉片邊緣建立一個標準的模型M。一組葉片圖像通過上述方法拼接完后得到完整的葉片圖像長度，該長度與標準模型長度的比值γ作為整組圖像的縮放比例。最后采用葉片圖像的邊緣信息與縮放比例γ把葉片圖像投影到標準模型上。這樣可以在一定程度上較少累積誤差。

圖2 修正拼接圖像

Fig.2 Revisingmosaic image

4 實驗與分析

實驗中選擇了SIFT、SURF、BRISK、ORB、KAZE與AKAZE特征點的檢測與本文方法對比，以驗證本文提出的基于直線特征的拼接方法。用于實驗的計算機CPU為Intel（R） Core（TM） i5-6500 3.20GHz，內存為8GB，操作系統為64位Win10。編程環境為Visual Studio 2013，編程語言為C++語言。

算法的實現[20]以及所有實驗的驗證使用的是OpenCV-3.4.1。葉片圖像使用佳能EOS800D相機拍攝。風力發電機輪轂距離地面80米，葉片長40米，相機距離風柱100米。所采集的葉片圖像分辨率均為6000×4000。

4.1 對比方法特征點提取情況

對于現有方法檢測出的特征點和特征點匹配，文獻[20]使用了OpenCV來檢測圖像特征點與拼接圖像。葉片圖像采用采用OpenCV庫函數檢測出的特征點有限甚至檢測不出特征點，成功匹配個數也較少，導致大部分圖像無法拼接成功，并不適合葉片圖像拼接任務。為此我們來以成功匹配個數為大于等于2的時候表示正確匹配成功，這樣來確定相鄰兩幅圖像的拼接位置。SIFT、SURF、BRISK、ORB、與AKAZE所檢測出的特征點位置如圖2所示，KAZE圖像所檢測出的特征點與AKAZE算法檢測出的結果相同。圖3（a）為原始圖像Image1與Image2。圖3（b）為采用SIFT方法檢測出的特征點圖像，其中Image1圖像沒有檢測出特征點。圖3（c）為采用SURF方法檢測出的特征點圖像，檢測出的特征點數目較多。圖3（d）與圖3（e）為分別采用BRISK與ORB方法檢測出的特征點圖像。圖3（f）為采用AKAZE方法檢測出的特征點圖像，其中Image1圖像沒有檢測出特征點。

圖3 現有方法檢測出的特征點

Fig.3 Feature points detected by existing methods

由圖3可以看出現有圖像拼接算法，對于葉片這種結構單一的圖像所檢測出的特征點較少，甚至檢測不到特征點，并且兩幅相鄰的圖像所檢測出的有效特征點較少。這些問題會導致葉片圖像拼接失敗。

采用SURF方法對圖像Image1與Image2檢測特征點并采用Flann匹配特征點的效果圖像，結果如圖4所示。可以看出在Image1與Image2上，SURF特征點沒有匹配成功。

4.2 葉片圖像直線檢測

圖5圖6是分別對Image1與Image2檢測直線特征的分步效果圖，圖5（b）與圖6（b）分別是對原始圖像在x方向求微分的效果圖，可以看出x方向微分圖像邊緣比較明顯。圖5（b）與圖6（b）分別是對原始圖像在y方向求微分的效果圖，可以看出y方向微分圖像邊緣不太明顯，所以x方向微分圖像所占的比重要大于y方向微分圖像。根據實驗，本文加權邊緣檢測參數θ取0.9。根據x方向微分圖像與y方向微分圖像可以分別計算得到圖5（d）與圖6（d）的邊緣圖像。圖5（e）與圖6（e）是對邊緣圖像進行銳化后的圖像。圖5（f）與圖6（f）是對銳化后的圖像進行加權閾值分割所得到，其中閾值為ωT，T為銳化后圖像的均值，本文實驗ω為5。圖5（g）與圖6（g）是對閾值分割后的圖像進行直線檢測的結果圖。圖5（h）與圖6（h）是對直線去重后的結果圖，其中直線差異度ρ為0.08。通過本文方法在實驗過程中準確的檢測出了葉片邊緣直線，經過去重之后得到了有效的邊緣直線特征。

4.3 葉片圖像直線配準與拼接

直線配準與拼接是葉片圖像拼接的關鍵步驟，由圖7可以看出在葉片圖像重合較多的時候，直線特征配準與拼接效果較好。由圖8（c）可以看出，Image3與Image4圖像幾乎沒有重合，但是直線特征并不受圖像重合度的影響，仍然可以拼接成功。

4.4 實驗統計與分析

圖9為實驗所采用的不同情況下葉片圖像數據，其中圖9（a）為帶輪轂的葉片圖像，圖9（b）為沒有重合的葉片圖像，圖9（c）為背景云層較薄的葉片圖像，圖9（d）為背景云層較厚的葉片圖像。本次實驗共采用50組各種情況的葉片圖像，每組葉片圖像為2張。

其中：（△u，△v）為拼接結果的坐標平移向量;（u0，v0）為圖像重合的坐標平移向量。在不同誤差情況下的拼接成功率也有所不同，那么計算拼接成功率（MSR）為：

表1為每種方法對于不同誤差容忍度拼接成功率的實驗統計數據。表1顯示采用直線特征在誤差容忍度為0像素的時候拼接成功率為38%，誤差容忍度為5像素的時候拼接成功率為60%，誤差容忍度為10像素的時候拼接成功率為74%，誤差容忍度為20像素的時候拼接成功率為86%;采用SURF方法，當誤差大于10像素的時候，拼接成功率穩定在33%;采用SIFT方法，當誤差大于5像素的時候，拼接成功率穩定在10%;采用KAZE方法，拼接成功率不超過10%;采用AKAZE、BRISK與ORB方法進行拼接則拼接成功率為0%。

風電場的檢測任務要求定位缺陷的精度為0.2～0.5m。拼接葉片圖像是為了定位缺陷位置，在實現系統的時候定位會出現一些誤差，但是不會出現漏檢或丟失的情況，故障點重合也會在拼接結果的圖像上分別定位出來。實驗表明，在誤差允許的情況下，本文提出的葉片圖像拼接方法具有較高的拼接成功率，而現有的圖像拼接方法拼接成功率較低，說明使用直線特征拼接葉片圖像是一種有效的方法。

5 結 論

針對風電葉片圖像現有圖像拼接方法拼接成功率低的問題，本文提出了直線特征風電葉片圖像拼接方法，該方法不但提高了拼接成功率而且具有較強的魯棒性。在直線特征的檢測過程中，使用加權的圖像微分，可以有效的提取風電葉片圖像的邊緣紋理。加權閾值分割，使葉片圖像分割實現了自動的閾值設定，而不是固定閾值。直線特征去重后得到有效的直線特征，并且提高了直線特征的配準速率。采用直線特征配準與拼接，在葉片圖像重合度較小的情況下仍然有較好的效果，使本算法具有較強的魯棒性。因此在風電葉片圖像拼接的時候可以采用本文算法完成圖像拼接。

參 考 文 獻：

[1] WANG Z， CHEN Y， ZHU Z， et al. An Automatic Panoramic Image Mosaic Method Based on Graph Model[J]. Multimedia Tools and Applications， 2016， 75（5）： 2725.

[2] ZHANG J， CHEN G， JIA Z. An Image Stitching Algorithm Based on Histogram Matching and SIFT Algorithm[J]. International Journal of Pattern Recognition and Artificial Intelligence， 2017， 31（4）： 1754006.

[3] 文偉東， 張明. 基于 SIFT 算法的全景圖像拼接技術研究[J]. 計算機系統應用， 2017， 26（7）： 227.

WEN Weidong， ZHANG Ming. Research on Panoramic Image Mosaic Technology Based on SIFT Algorithm[J]. Computer Systems & Applications， 2017， 26（7）： 227.

[4] LOWE D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision，2004， 60：91.

[5] HERBERT Bay， ANDREAS Ess， TINNE Tuytelaars， et al. Speeded-Up Robust FeaturesSURF）[J]. Comput. Vis. Image Underst. ，2008，110（3） ： 346.

[6] TAREEN S A K， SALEEM Z. A Comparative Analysis of Sift， Surf， Kaze， Akaze， Orb， and Brisk[C]//2018 International Conference on Computing， Mathematics and Engineering TechnologiesiCoMET）. IEEE， 2018： 1.

[7] YANG Z， SHEN D， YAP P T. Image Mosaicking Using SURF Features of Line Segments[J]. PloS One， 2017， 12（3）： e0173627.

[8] LEUTENEGGER S， CHLI M， SIEGWART R. BRISK： Binary Robust Invariant Scalable Keypoints[C]//2011 IEEE International Conference on Computer VisionICCV）. Ieee， 2011： 2548.

[9] 樊佩琦， 吳誠， 楊瑞宇， 等. 一種基于 BRISK 改進的 SURF 紅外圖像拼接方法[J]. 紅外技術， 2018， 40（1）： 27.

FAN Peiqi， WU Cheng， YANG Ruiyu， et al. An Improved SURF Infrared Image Mosaic Method Based on BRISK[J]. Infrared Technology， 2018， 40（1）： 27.

[10]RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An Efficient Alternative to SIFT or SURF[C]//ICCV. 2011， 11（1）： 2.

[11]劉婷婷， 張驚雷. 基于 ORB 特征的無人機遙感圖像拼接改進算法[J]. 計算機工程與應用， 2018， 54（2）： 193.

LIU Tingting， ZHANG Jinglei. Improved Image Stitching Algorithm Based on ORB Features by UAV Remote Sensing[J]. Computer Engineering and Applications， 2018， 54（2）： 193.

[12]ALCANTARILLA P F， BARTOLI A， DAVISON A J. KAZE Features[C]//European Conference on Computer Vision. Springer， Berlin， Heidelberg， 2012： 214.

[13]韓敏， 閆闊， 秦國帥. 基于改進 KAZE 的無人機航拍圖像拼接算法[J]. 自動化學報， 2019， 45（2）： 305.

HAN Min， YAN Kuo， QIN Guo-Shuai[J]. A Mosaic Algorithm for UAV Aerial Image with Improved KAZE. ActaAutomatica Sinica， 2019， 45（2）： 305.

[14]ALCANTARILLA P F， SOLUTIONS T. Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces[J]. IEEE Trans. Patt. Anal. Mach. Intell， 2011， 34（7）： 1281.

[15]梁煥青， 范永弘， 萬惠瓊， 等. 一種運用 AKAZE 特征的無人機遙感影像拼接方法[J]. 測繪科學技術學報， 2016， 33（1）： 71.

LIANG Huanqing， FAN Yonghong， WAN Huiqiong， et al. Mosaic Algorithm of UAV Images Based on AKAZE Features [J]. Journal of Geomatics Science and Technology， 2016， 33（1）： 71.

[16]QU Z， BU W， LIU L. The Algorithm of Seamless Image Mosaic Based on A-KAZE Features Extraction and Reducing the Inclination of Image[J]. IEEJ Transactions on Electrical and Electronic Engineering， 2018， 13（1）： 134.

[17]YANG X， CHENG K T T. Local Difference Binary for Ultrafast and Distinctive Feature Description[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 36（1）： 188.

[18]DUDA R O， HART P E. Use of the Hough Transformation to Detect Lines and Curves in Pictures[R]. Sri International Menlo Park Ca Artificial Intelligence Center， 1971.

[19]董梁. 基于哈夫變換的圖像邊緣連接[J]. 現代電子技術， 2008， 31（18）： 149.

DONG Liang. Image Edge Linking Based on Hough Transform [J]. Modern Electronics Technique 2008， 31（18）： 149.

[20]NOBLE F K. Comparison of OpenCV′s Feature Detectors and Feature Matchers[C]//2016 23rd International Conference on Mechatronics and Machine Vision in PracticeM2VIP）， IEEE， 2016： 1.

（編輯：王 萍）