基于深度學(xué)習(xí)的電力設(shè)備紅外可見光圖像智能配準(zhǔn)方法研究

林 穎，劉 萌，白德盟，劉曉東，張利孟，叢培強(qiáng)

（1.國網(wǎng)山東省電力公司電力科學(xué)研究院，山東 濟(jì)南 250003；2.國網(wǎng)山東省電力公司日照供電公司，山東 日照 276800；3.國網(wǎng)威海市文登區(qū)供電公司，山東 威海 264400）

0 引言

紅外檢測技術(shù)作為一種常見的帶電檢測手段，可以有效發(fā)現(xiàn)設(shè)備內(nèi)部的缺陷問題，及時對缺陷進(jìn)行處置［1］。近年來，隨著人工智能技術(shù)的飛速發(fā)展，基于人工智能圖像處理技術(shù)的紅外圖像缺陷分析，在電力系統(tǒng)中的應(yīng)用越來越多［2］。

當(dāng)前的大多數(shù)紅外熱像儀可同時采集紅外圖像與可見光圖像。紅外圖像記錄的是物體的輻射信息，能夠直接反映變電設(shè)備及環(huán)境的溫度，便于發(fā)現(xiàn)因電流致熱等導(dǎo)致的過熱缺陷。但紅外圖像是基于溫度信息顯示的，當(dāng)設(shè)備部件具有相近溫度時，難以與前景區(qū)分。與之相反，可見光圖像記錄的是物體的反射信息，能夠清晰地呈現(xiàn)設(shè)備的外觀及輪廓，便于定位設(shè)備部件或發(fā)現(xiàn)可視缺陷。因此，將紅外圖像與可見光圖像進(jìn)行融合分析，可以有效利用兩種模態(tài)的優(yōu)點(diǎn)，從而提高設(shè)備定位的精度和缺陷診斷的準(zhǔn)確度。

然而，由于紅外鏡頭與可見光鏡頭所在位置不同，并且兩者的焦距、圖像分辨率及畸變參數(shù)等不同時，同一紅外熱像儀采集的兩種模態(tài)圖像之間存在偏移、縮放等形變問題。將紅外圖像與可見光圖像進(jìn)行融合分析，首先需要對兩種模態(tài)的圖像進(jìn)行準(zhǔn)確配準(zhǔn)。

現(xiàn)有的紅外圖像與可見光圖像配準(zhǔn)的方法大致可分為兩大類：基于全局信息的方法和基于局部特征的方法［3-8］。基于全局信息的方法包括互信息法、變換域分析法和梯度圖像相關(guān)法等［3，8］，利用優(yōu)化全局目標(biāo)函數(shù)進(jìn)行配準(zhǔn)，其算法復(fù)雜度高。因此在實際使用中，該類方法常采用金字塔模型來提升速度。基于局部特征的方法利用稀疏的特征如點(diǎn)、線特征等進(jìn)行配準(zhǔn)［8-10］。該類方法通常包含特征提取、特征匹配、和變換參數(shù)估計等步驟，算法的計算復(fù)雜度相對較低。在現(xiàn)有方法中，局部特征最常使用的是SIFT、SURF 等人工設(shè)計的點(diǎn)特征［11-12］，這些特征雖然具有較好的尺度與旋轉(zhuǎn)不變性，對單模態(tài)圖像中的視角變化等亦具有一定的魯棒性，但對紅外圖像與可見光圖像等不同模態(tài)的變化，往往不夠魯棒。此外，在特征匹配中，通常采用最好優(yōu)先（Best Bin First，BBF）策略等，這些策略在匹配時孤立地處理每個特征點(diǎn)，而忽視了鄰近特征點(diǎn)的上下文信息，亦容易導(dǎo)致匹配錯誤。

針對上述問題，提出采用基于局部特征的方法進(jìn)行紅外圖像與可見光圖像的配準(zhǔn)。針對人工設(shè)計的特征對模態(tài)變化缺乏魯棒性的問題，提出采用基于深度自監(jiān)督學(xué)習(xí)的SuperPoint 點(diǎn)特征提取與描述方法［13］；同時，采用基于深度圖卷積網(wǎng)絡(luò)的SuperGlue 匹配方法［14］，有效利用特征點(diǎn)的上下文信息，提高特征匹配的準(zhǔn)確度。此外，在參數(shù)估計中，采用漸近采樣一致性的PROSAC 方法［15］，相較于現(xiàn)有配準(zhǔn)工作中使用的隨機(jī)采樣一致性方法RANSAC［16］，提升了參數(shù)估計的準(zhǔn)確度。實驗結(jié)果表明，對比現(xiàn)有的稀疏特征點(diǎn)提取與匹配算法，本文所設(shè)計方法對紅外與可見光兩種不同模態(tài)圖像的配準(zhǔn)，具有更好的魯棒性。

1 紅外圖像與可見光圖像配準(zhǔn)算法

紅外圖像與可見光圖像的配準(zhǔn)方法涉及圖像特征提取與描述、圖像特征匹配、圖像參數(shù)估計3 個關(guān)鍵步驟，整體流程如圖1所示，主要包括以下步驟：

圖1 紅外-可見光圖像配準(zhǔn)流程

1）利用深度自監(jiān)督學(xué)習(xí)的SuperPoint方法，對紅外與可見光圖像進(jìn)行稀疏特征點(diǎn)提取，并對特征點(diǎn)進(jìn)行描述；

2）利用深度圖卷積網(wǎng)絡(luò)的SuperGlue 方法對紅外與可見光圖像中的稀疏特征點(diǎn)進(jìn)行匹配；

3）根據(jù)匹配的特征點(diǎn)對在兩幅圖像中的像素坐標(biāo)，利用漸近采樣一致性PROSAC 算法估計紅外圖像到可見光圖像的變換參數(shù)；

4）根據(jù)變換參數(shù)，將紅外圖像的坐標(biāo)變換到可見光圖像坐標(biāo)系下，實現(xiàn)配準(zhǔn)。

1.1 SuperPoint特征提取與描述

鑒于人工設(shè)計的點(diǎn)特征提取與描述方法如SIFT、SURF 等對模態(tài)的變化缺乏魯棒性，采用基于深度學(xué)習(xí)的SuperPoint 方法對紅外圖像與可見光圖像兩種不同模態(tài)圖像進(jìn)行特征點(diǎn)提取與描述。

SuperPoint 是由DeTone 等人在2018 年提出的一種基于自監(jiān)督學(xué)習(xí)的深度特征點(diǎn)提取與描述方法［13］。其網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，由一個編碼器和兩個解碼器構(gòu)成。編碼器是一個類似VGGNet［15］的卷積網(wǎng)絡(luò)，包含多個卷積層和池化層，用于對尺寸為W×H的輸入圖像進(jìn)行編碼。兩個解碼器則分別用于特征點(diǎn)提取和特征點(diǎn)描述。其中，特征點(diǎn)提取解碼器由卷積層、Softmax 層和Reshape 層構(gòu)成，輸出一張W×H× 1的圖像，其中每個像素的值表示該像素是特征點(diǎn)的概率。特征描述解碼器由卷積層、雙線性插值層和L2 模歸一化層構(gòu)成，最后輸出一張W×H×D的特征圖，其中每個像素對應(yīng)一個D維的特征向量。

圖2 SuperPoint特征提取與描述網(wǎng)絡(luò)

由于特征點(diǎn)的真值難以進(jìn)行人工標(biāo)注，該方法設(shè)計了一種不需要真值的自監(jiān)督學(xué)習(xí)策略。首先，構(gòu)建一個包含三角形、四邊形、立方體、和棋盤格等簡單形狀的合成圖像集，這些圖像具有明確的角點(diǎn)信息。然后，對圖像隨機(jī)進(jìn)行多種單應(yīng)變換并加噪處理。由于這些單應(yīng)變換是仿真生成的，所以變換后圖像中的特征點(diǎn)位置可以準(zhǔn)確獲得。最后，利用各種仿真圖像及其角點(diǎn)信息，對特征提取網(wǎng)絡(luò)進(jìn)行監(jiān)督，學(xué)習(xí)得到MagicPoint 網(wǎng)絡(luò)［17］。然后用該MagicPoint 對真實的圖像進(jìn)行標(biāo)記，進(jìn)一步訓(xùn)練得到SuperPoint網(wǎng)絡(luò)。

1.2 SuperGlue特征匹配

鑒于現(xiàn)有的特征匹配方法多是對每個特征點(diǎn)獨(dú)立匹配因此易導(dǎo)致錯誤的問題，受Transformer 的自圖像以及跨圖像間注意力機(jī)制的啟發(fā)［18］，本項目采用基于深度圖神經(jīng)網(wǎng)絡(luò)的SuperGlue 方法，利用特征點(diǎn)之間的空間幾何關(guān)系，提升特征匹配的準(zhǔn)確度。

SuperGlue是由Sarlin 與DeTone等人在2020 年提出的一種基于深度圖神經(jīng)網(wǎng)絡(luò)的特征點(diǎn)匹配方法［14］。其網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，主要由注意力圖卷積網(wǎng)絡(luò)和優(yōu)化匹配層兩個模塊構(gòu)成。其中，注意力圖卷積網(wǎng)絡(luò)的輸入為圖像A和圖像B中的特征點(diǎn)位置與描述向量的集合，輸出空間信息聚合后的特征描述符。優(yōu)化匹配層的輸入為注意力圖卷積網(wǎng)絡(luò)輸出的特征描述符，輸出匹配結(jié)果。

圖3 SuperGlue特征匹配網(wǎng)絡(luò)

在此，我們對兩個模塊進(jìn)行簡要介紹。假設(shè)圖像A和圖像B的特征點(diǎn)總數(shù)分別為M和N。圖像A中的特征點(diǎn)位置和描述向量記為：{，i=1，2，…，M}和{，i=1，2，…，M}；圖像B中的特征點(diǎn)位置和描述向量記為：{，i=1，2，…，N}和{，i=1，2，…，N}。

在注意力圖卷積網(wǎng)絡(luò)中，首先將特征點(diǎn)的位置經(jīng)過一個由多層感知器（Multilayer Perceptron，MLP）構(gòu)成的特征點(diǎn)編碼器進(jìn)行升維，得到高維向量后與特征描述符向量進(jìn)行相加，得到每個特征點(diǎn)的初始表示。即：

然后，構(gòu)建一個多元圖。該圖的頂點(diǎn)為兩幅圖像中的所有特征點(diǎn)，邊則包含圖像內(nèi)邊和跨圖像邊兩類。其中，圖像內(nèi)邊連接的是單幅圖像內(nèi)的特征點(diǎn)對，而跨圖像邊則連接來源于兩幅圖像的特征點(diǎn)對。構(gòu)建圖后，利用消息傳遞機(jī)制對圖中所有頂點(diǎn)的特征進(jìn)行消息匯聚與更新。其更新方式為

式中：[ ·||· ]表示聯(lián)結(jié)；mε→i為通過自注意力機(jī)制從圖中所有其他節(jié)點(diǎn)傳遞到節(jié)點(diǎn)i的信息。通過信息聚合更新后，得到每個特征點(diǎn)的描述向量為

由此，每個特征向量匯聚了其所在圖像內(nèi)所有特征點(diǎn)和另一圖像中所有特征點(diǎn)的空間和描述信息。

優(yōu)化匹配層根據(jù)更新后的特征，計算一個M×N的相似度矩陣S，矩陣中的每個單元(i，j)表示的是圖像A中的特征和圖像B中的特征的相似度，即：

由于遮擋或視野范圍不同等原因，一幅圖像中的特征點(diǎn)在另一幅圖像中可能不存在匹配的特征點(diǎn)。為此，將矩陣S擴(kuò)展為(M+1)×(N+1)的矩陣，其中新增的一行與一列用來描述特征點(diǎn)不存在匹配的情況，即：

隨即，特征點(diǎn)匹配的問題轉(zhuǎn)化為了一個最優(yōu)運(yùn)輸?shù)膯栴}，可利用Sinkhorn 算法進(jìn)行求解。由于Sinkhorn 算法具有可導(dǎo)性，因此可以用一個網(wǎng)絡(luò)層實現(xiàn)。

1.3 PROSAC變換參數(shù)估計

在得到紅外圖像與可見光圖像中匹配的特征點(diǎn)對后，可根據(jù)特征點(diǎn)對所在的像素坐標(biāo)，估算圖像間的變換參數(shù)。由于紅外鏡頭和可見光鏡頭之間的偏移相對拍攝的物體距離來說很小，因此可近似為共光心，利用單應(yīng)性變換矩陣H，將紅外圖像變換到可見光圖像的坐標(biāo)系下。在齊次坐標(biāo)系下，兩幅圖像中的像素坐標(biāo)變換可表示為以下關(guān)系：

其中，單應(yīng)性變換矩陣H中的h33=1。所以，變換矩陣的參數(shù)自由度為8，可利用四對或以上的特征點(diǎn)對進(jìn)行估計。

由于存在匹配噪聲甚至錯誤匹配的外點(diǎn)，因此常用最小二乘法或RANSAC 方法［18］等進(jìn)行參數(shù)估計。然而，在RANSAC 中，每對特征點(diǎn)對同等對待，并且從整個特征點(diǎn)對的集合中隨機(jī)選取樣本，存在估算結(jié)果的隨機(jī)性且收斂速度偏慢等問題。為此，本文采用PROSAC［15］算法進(jìn)行變換參數(shù)的估計。

PROSAC 算法設(shè)計了一種半隨機(jī)的方法，對所有匹配點(diǎn)對進(jìn)行質(zhì)量評價計算得到Q值，然后根據(jù)Q值降序排列，每次迭代優(yōu)先在高質(zhì)量點(diǎn)對中進(jìn)行隨機(jī)采樣，進(jìn)行模型假設(shè)與驗證，從而降低算法復(fù)雜度，提升效率，并且避免了RANSAC 隨機(jī)算法面臨的無法保證收斂的情況。PROSAC 算法的步驟可分為以下幾步：

1）利用半隨機(jī)采樣的方法，選擇樣本集；

2）根據(jù)選取的樣本，計算變換矩陣H；

3）根據(jù)估算的變換矩陣H選擇內(nèi)點(diǎn)集；

4）判斷收斂條件是否滿足，若未滿足，重復(fù)上述步驟；否則，返回估算結(jié)果。

2 實驗分析

在自行采集的變電設(shè)備紅外圖像與可見光圖像數(shù)據(jù)集上進(jìn)行實驗驗證。首先，對本文采用的SuperPoint 特征點(diǎn)提取與描述方法與傳統(tǒng)的SIFT 算法進(jìn)行比較。然后，對本文采用的SuperGlue 特征匹配算法與傳統(tǒng)的BBF 方法進(jìn)行比較。最后，比較了使用最小二乘、RANSAC 和PROSAC 算法的參數(shù)估計結(jié)果。

2.1 特征點(diǎn)提取方法比較

首先，對本文采用的SuperPoint特征點(diǎn)提取方法和傳統(tǒng)的SIFT算法在紅外圖像與可見光圖像上的結(jié)果進(jìn)行比較。如圖4 所示，與SIFT 特征點(diǎn)相比，SuperPoint 提取的特征更多地分布在物體邊緣或角點(diǎn)位置，具有更好的模態(tài)不變性。也因此在紅外與可見光兩種不同模態(tài)的圖像中能夠得到更多可匹配的特征點(diǎn)對。

圖4 特征點(diǎn)提取算法比較

2.2 特征匹配方法比較

在SuperPoint 特征點(diǎn)提取的基礎(chǔ)上，對所采用的SuperGlue 特征匹配算法與傳統(tǒng)的BBF 算法進(jìn)行比較。圖5 展示了兩種算法的匹配結(jié)果。從圖中可以看到，SuperGlue 算法能夠得到更多匹配的特征點(diǎn)對，匹配結(jié)果的準(zhǔn)確性也更高。

圖5 不同的特征匹配算法比較

2.3 參數(shù)估計方法比較

利用SuperPoint 特征點(diǎn)提取及SuperGlue 特征匹配得到的結(jié)果，采用PROSAC 方法對單應(yīng)性矩陣的參數(shù)進(jìn)行估計，后將紅外圖像轉(zhuǎn)換到可見光圖像坐標(biāo)系下，并疊加在可見光圖像上，得到如圖6 所示的配準(zhǔn)結(jié)果。為了展示PROSAC 方法的有效性，將其與最小二乘估計、最小中值估計及RANSAC 方法估計變換參數(shù)得到的配準(zhǔn)結(jié)果進(jìn)行比較。如圖6 所示，PROSAC的方法較之其他方法，配準(zhǔn)結(jié)果更加準(zhǔn)確。

圖6 不同的參數(shù)估計方法比較

2.4 更多結(jié)果展示

圖7—圖8 展示了更多的紅外-可見光圖像的特征點(diǎn)提取、匹配和圖像配準(zhǔn)的結(jié)果。從圖中可以看到，對于不同角度拍攝的不同變電設(shè)備場景的圖像，所采用的方法均能得到不錯的特征點(diǎn)提取和特征匹配結(jié)果，并得到準(zhǔn)確的圖像配準(zhǔn)結(jié)果。

圖7 變電設(shè)備紅外與可見光圖像配準(zhǔn)示例

圖8 變電設(shè)備紅外與可見光圖像配準(zhǔn)示例

3 結(jié)語

提出一種新的紅外圖像與可見光圖像配準(zhǔn)的方法，鑒于紅外與可見光兩種模態(tài)的差異性，采用基于深度自監(jiān)督的SuperPoint 特征點(diǎn)提取與基于深度圖卷積網(wǎng)絡(luò)的SuperGlue 特征匹配方法，具有較好的模態(tài)魯棒性。采用的漸近采樣一致性PROSAC 方法亦得到了更準(zhǔn)確的參數(shù)估計結(jié)果。

實驗結(jié)果表明，所提方法相對于傳統(tǒng)的方法，具有更好的性能。并且，對于所給樣例中絕大多數(shù)不同角度拍攝的不同變電設(shè)備的圖像，均能得到準(zhǔn)確的配準(zhǔn)結(jié)果。融合的圖像中，既清晰地呈現(xiàn)了設(shè)備的外觀形狀，又體現(xiàn)了其溫度信息，可用于在保證設(shè)備定位的精度的前提下，提升缺陷診斷的準(zhǔn)確度。

本文工作的局限性為，所有基于深度學(xué)習(xí)的模塊的訓(xùn)練是基于海量可見光圖像對的，訓(xùn)練得到的模型具有足夠的泛化性以及對切換到紅外模態(tài)的魯棒性使得我們得到了尚可的配準(zhǔn)結(jié)果。但如果使用更具有針對性的基于紅外圖像和可見光圖像對的訓(xùn)練數(shù)據(jù)集，使用相對較小規(guī)模的訓(xùn)練集就有望得到更好的結(jié)果。而這類數(shù)據(jù)集目前仍待進(jìn)一步補(bǔ)充，同時在該類數(shù)據(jù)集上進(jìn)行訓(xùn)練的方法仍待進(jìn)一步研究。