王立力，夏飛

（上海電力學院，上海 200090）

0 引言

在變電站中，應用紅外熱成像技術，對電力設備進行非接觸的熱輻射掃描成像，得到熱像圖，通過研究紅外的圖像，判斷設備是否故障。紅外診斷技術是一種非接觸，被動式的測量技術，可以檢測和診斷變電站設備大量的內外部缺陷。

在紅外電氣設備的運行狀態監測中，為了掌握設備的運行狀況，以及故障的演變，需要在不同時期連續記錄設備的紅外圖像。然而，由于搭載的運行設備的小車底盤無法每次都精確的停在同一位置，導致紅外熱成像傳感器出現觀測角的偏移，由此無法獲得目標的準確參數。因此，需要對偏差圖像進行配準，消除位置偏差和透視的影響。

為了將不同的兩張圖的部分點的坐標找到一一對應的關系，需要獲得歐氏尺度上和灰度級的轉換關系。主要任務是尋找最佳的空間變換 f與灰度變換關系g，實現兩幅圖像的對準。圖像的配準需要以下幾步：建立特征向量的高維空間、搜尋匹配特征、求解轉換參數、特征點變換。

我們選擇AKAZE進行紅外圖像匹配，可以使結果不因旋轉發生變形、光照改變無法匹配、匹配速度塊、不受環境擾動影響。

1 算法設計

1.1 檢測流程

首先采用MSRCR增強模板圖像，第一步通過頻域低通濾波去除噪聲。之后，采用Canny提取模板輪廓，通過人工或者機器學習，由輪廓圖構建興趣區域。第二步，采集到新的紅外熱成像圖之后，應用AKAZE算法，將采集到的新圖像與模板圖像進行配準，通過FLANN對特征點進行粗匹配，然后通過兩級篩選，獲得精確的特征點匹配結果。第三部，從匹配的特征點計算出單應性矩陣，將新圖像映射到模板的區域，提取出興趣目標。

1.2 圖像預處理

首先對圖像采用MSRCR算法增強紅外灰度圖。

因為采集的圖像的灰度分布較為集中，部分區域對比不明顯，為了可以高效的檢測圖像中的特征點，提高圖像的配準效率，這里采用MSRCR提升對灰度圖像的細節。

自然界或者人造場景中的光線部分直接進入人眼作為背景亮度，部分光線照射到物體上反射進入人眼，使得物體可以背人感知。這部分光線取決于物體表面的物理性質，不受環境光的干擾。因此，人眼感知的圖像，來源于環境和反射光線的疊加：

式中：I(x,y)表示觀察者看到的圖像，L(x,y)表示背景光照的部分量R(x,y)表示觀察物體反射出來的部分量對I(x,y)做高斯模糊得到L(x,y)。加上帶權重偏置量w后，得到公式：

下圖是MSRCR算法對圖像進行增強的前后對比，左側是采集到的圖像右側是經過增強后顯示的圖像。可以看到算法可以將圖像的細節的清晰度大大增強的。

圖1 算法流程圖

圖2 左圖是增強前灰度圖，右圖MSRCR增強后灰度圖

由于使用MSRCR算法增強了圖像，使得圖像在有效部分增強的同時，引入了高斯噪聲信號，同時把熱成像元件中的高頻噪聲信號增強了，這里采用頻域低通濾波對圖像圖像作濾波處理。

圖3 左圖原圖經中值濾波后提取的邊緣圖右圖原圖經維納濾波后提取的邊緣圖

圖4 濾波后提取邊緣的效果，可以明顯看到噪點干擾的消失

2 紅外圖像配準

2.1 AKAZE搜尋特征點

非線性擴散濾波（Nonlinear Diffusion Filtering）：這個過程采用流量函數描述紅外圖像的亮度的變化，表示為偏微分方程。圖像明暗的變化對應到非線性空間的擴散過程。以便克服高斯尺度空間邊緣模糊的問題：

其中，L是采集到的紅外圖像亮度;div，，?分別是發散和梯度算子。c(x,y,t)是取決于圖像差分結構的傳導函數，表示為:

其中，采用函數?Lm對紅外圖進行高斯平滑，獲得的梯度圖像。為了增強較小區域的擴散效果，傳導函數g(x)：

其中，kd是調整因子，用來改變特征對比度，確定增強和保留的邊緣。這個方法計算開銷很大，需要多次迭代才能獲得近似解。

建立快速顯性擴散（Fast Explicit Diffusion，FED）的費尺度空間：建立一個考慮各向異性擴散的非線性尺度空間。為了加快非線性尺度空間的構建。

使用外部FED函數周期計算時，首先求出迭代步長Tj。

其中Tmax是符合顯式擴展穩定性條件的最大步長。然后計算如下的迭代：

I是單位矩陣。輸入梯度圖像A(Li)和初始值Li+1,0，代入；不同的迭代步長 Tj。最后更新梯度圖像A(Li)。

其中，Tmax是滿足顯性算法的穩定性條件的最大步長。將FED循環嵌入到尺度由精到粗的浸漬法結構中，可以極大改善計算速度。

建立非線性尺度空間：金字塔結構有O層級和S子層組成，對了對圖像像素縮放，采用如下公式建立層與像素尺度的對應關系：每層與原始圖像具有相同分辨率，尺度參數可以表示為:

每層有S個子層，所以共有N=O·S幅圖像。像素尺度無法直接使用非線性擴散濾波，因此要將其轉化為時間尺度：

特征點檢測與描述：首先計算獲得的金字塔每一層濾波圖像Li的Hessia行列式，表示為

由于特征值具有旋轉不變性，所以求取以特征點為中心的局部主導方向。采用π/3扇形區域作為局部區域，δi為采樣步長，計算區域中像素的一階導數Lx和Ly，對結果高斯加權，算出特征點主方向。

在尺度為δi圖像上，選擇特征點為中心，大小為(24?δi)?(24?δi)的區間計算特征點一階導數 Lx和 Ly。該區域再細分為16個子方格，共4行4列，邊長是(9?δi)。在每個子區間中心高，使用高斯（半徑δ1=2.5*δi）加權，然后采用下式疊加：

獲得16個子區域的特征描述符，然后以特征點為中心，采用高斯（半徑δ2=1.5*δi）對特征描述符加權，每個子區間有4個描述子，因此，最終獲得的64個長度的歸一化特征向量。

2.2 AKAZE特征點匹配與篩選

為了提高算法的運算速度，實現紅外匹配的實時性。這里選擇 Fast Library for Approximate Nearest?Neighbor（快速近似最鄰近庫，FLANN）[15]算法。通常使用KNN近鄰算法建立不同圖像特征點的映射關系。

FLANN算法流程如下：

（1）首先建立隨機樹，對于多維特征，首先選擇維度D=5作為起始維度。當搜索樹優先級隊列，以便可以順序搜索隨機樹。通過檢查固定數量的葉節點，計算獲得近似程度，之后，搜索中值，返回最佳候選對象。

（2）使用K均值聚類將不同層的點分割到K個不同的區域，然后遞歸地對每個區域中的點應用相同的方法來構造分層k均值樹。當區域中的點數小于K，我們停止遞歸。

（3）算法以最佳bin-first方式探索分層K-means樹，首先單次遍歷整個樹，將遍歷路徑中每個節點的所有未探索的分支添加到一個有限隊列中。然后，從優先隊列中提取與請求點中心距離最近的分支，再從該分支處，重新開始遍歷樹。在遍歷樹的過程中，不斷向優先隊里添加未探索的分支。當檢查的樹葉節點數滿足預先設定的值時，停止探索。搜索的精度由用戶指定。

2.3 單應矩陣的計算

在處理實時圖像到模板的映射時，我們需要計算平面單應性映射矩陣。一個單應矩陣是大小為3×3的矩陣H,滿足給定一個點P1=[x1,y1,w1]T,H把點P1變成新的點P2=[x2,y2,w2]T=HP1,對應的圖像上的兩個點分別是得到等價的矩陣形式：Au=v

如果存在四對不共線匹配點對，可以構建8個方程，存在唯一解。

3 實驗分析

3.1 圖像采集平臺

實驗硬件設備，使用上海熱像826型紅外熱成像儀。

實驗平臺是Windows 10（Intel Core 3632,8G內存）。

3.2 實驗結果分析

為了驗證基于AKAZE和flann及RANSAC紅外熱成像圖像配準算法的有效性，這里將其與基于SIFT、基于orb、基于surf、基于brisk算法進行定量的分析比較。

定量分析的指標如下：

重復率：兩幅圖像Ia和Ib上分別檢測到的特征點a和b，兩幅圖像Ia和Ib上分別檢測到的特征點a和b，A是點集b到a的單應性矩陣的線性化表示，(ATμbA)表示點集b映射到圖像Ia上的點對。 μa∩(ATμbA)表示b映射到圖像Ia的有效集，μa∪(ATμbA)表示b映射到圖像Ia的總點集。可以用來判斷匹配點的是否可以多次重復檢出。那么重復率表示如下：

匹配率，為了驗證匹配的效果，采用匹配率來衡量

表1 重復率統計

其中0.8d表示，基于公式d2＜0.8*d1，即最近似匹配點對歐氏距離的0.8倍大于次近似匹配的歐氏距離。

采用這個評判方式，可以初步部分篩除誤匹配的情況。

召回率（recall）：指算法正確匹配的特征點對占總有效匹配特征點數的比例。召回率通常用于評價特征描述子的匹配性能。召回率越高，描述子的描述效果越好。

表2 召回率

匹配誤差：采用均方根誤差RMSE來評判圖像特征點的匹配效率，圖像運用單應性矩陣變換分析模板的特征點和檢測到的新特征點之間差異的大小。

兩幅圖像Ia和Ib上分別檢測到的特征點a和b，如果a與通過單應性矩陣映射到Ib的點之間的距離的均方根誤差小于1.5，可以認為匹配轉換效果滿足要求。

表3 匹配誤差

其中Td是特征點檢測算法提取兩幅圖像特征點的時間。正向映射，表示輸入圖像Ib的特征點映射模板圖像Ia上的RMSE值。反向映射，表示表示模板圖像Ia的特征點映射到輸入圖像Ib上的RMSE值。RMSE值越小，表示特征匹配率越好。

3.3 實驗測試

實驗測試了多組數據，這里列舉其中3組加以說明。從上至下依次是模板輪廓圖、紅外熱成像輸入圖像、MSRCR增強圖像、AKAZE特征匹配、輸出目標提取結果。

可以看到三組實驗都將目標對象從背景中抓取了出來，以便后期對目標的識別。實驗內容如下所示。

圖5 紅外圖像匹配與特定目標提取實驗

4 結語

本文研究了基于AKAZE特征并結合MSRCR圖像增強的紅外圖像目標抓取算法。采用快速近似最鄰近庫FLANN匹配AKAZE算法從兩幅紅外圖像上提取的特征點。然后次用MSRCR算法對紅外圖像進行增強，對模板圖像采用頻域低通濾波去除噪聲，然后使用Canny算子提取目標輪廓。最后，將輸入圖像投射到模板，提取出目標對象，以便后續處理。AKAZE算法較原先采用的SURF算法更為穩定，速度也更快。MSR?CR圖像增強相比直方圖均衡算法，對目標的增強更為均勻，對噪聲有一定的抑制。下一步計劃將可見光圖像與紅外圖像進行配準，增加圖像的細節特征。

[1]郝偉偉,張曉芳,黃宇,楊峰,郭百巍.Determining Relativeposition and Attitude of a Close Non-cooperative Target Based on the SIFT Algorithm[J/OL].Journal of Beijing Institute of Technology,2014,23（03）:390-394.

[2]Alcantarilla P F，Nuevo J，Bartoli A.Fast Explicit Diffusion for Accelerated Features in Nonlinear ScaleSpaces[C].Proceedings of British Machine VisionConference.Berlin，Germany:Springer，2013:131-142.

[3]P.F.Alcantarilla,A.Bartoli,A.J.Davison.KAZE features[C].In Eur.Conf.on Computer Vision（ECCV）,2012:214–227.

[4]Krystian Mikolajczyk and Cordelia Schmid.A Performance Evaluation of Local Descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005（10）:VOL.27,NO.10.

[5]JulioZaragoza,Tat-Jun Chin,Michael SBrown.As-Projective-As-Possible Image Stitching with Moving DLT［C］.Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition，2013:2339-2346．

[6]STONE H S，BO T，GUIRE M M.Analysis of Image Registration Noise Due to Rotationally Dependent Aliasing[J].Journal of Visual Communication and Image Representation，2003，14（2）:114-135．

[7]Daniel J.Jobson,Zia-ur Rahman,Glenn A.Woodell.A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes[J].IEEE Transactions on Image Processing,Vol.6,No.7,JULY 1997.

[8]Sunglok Choi，Taemin Kim，Wonpil Yu．Performance Evaluation of RANSAC Family[C].Proceedings of British Machine Vision Conference.Berlin，Germany:Springer，2009:1-12.

[9]LU F，WU ZH ZH，XIANG L.Fast Image Diffusion for Feature Detection and Description[J].InternationalJournal of Computer Theory sand Engineering，2016，8（1）:58-62．

[10]David G.Lowe.Distinctive Image Features from Scale-Invariant Keypoints.International Journal of Computer Vision,2004（5）.

[11]Muja M，Lowe D G.Fast Approximate Nearest Neighbors with Automatic Algorithm Configuration[C].Proceedings of the 4th International Conference on Computer Vision Theory and Applications.Berlin，Germany:Springer，2009:213-220.

[12]ZHENG Y B，HUANG X SH，FENG S J.An Image Matching Algorithm based on Combination of SIFT and Therotation Invariant LBP[J].Journal of Computer-AidedDesign&Computer Graphics，2010，22（2）：286-292．

[13]鄭永斌，黃新生，豐松江.SIFT和旋轉不變LBP相結合的圖像匹配算法[J].計算機輔助設計與圖形學學報，2010，22（2）：286-292．

[14]李瑩.基于Retinex理論的圖像增強算法研究[D].西北大學,2014.

[15]王宇.長線列紅外中長波圖像融合關鍵技術研究[D].中國科學院研究生院（上海技術物理研究所）,2014.

[16]趙振兵,王琴,余萍,王颯颯.基于BEMD的電力設備紅外與可見光圖像的配準研究[J].電力系統保護與控制,2011,39（23）:25-29.[2017-09-29]