改進最佳縫合線的紅外圖像拼接方法

盧 泉，楊振華，黃粒峰

（廣西大學 電氣工程學院，廣西 南寧 530004）

0 引言

紅外熱像儀在變電設備的熱故障監測具有廣泛的應用，但單幀紅外圖像普遍存在視場窄、分辨率低等缺點，難以準確、及時地獲取變電設備的整體狀態[1]。通過圖像拼接可將若干存在重疊區域的圖像拼接成一幅無縫、無重影的寬視場圖像，有助于監測變電設備整體的狀態，提高巡檢效率。但傳統最佳縫合線或漸入漸出融合法進行融合時，往往會導致重疊區域存在明顯的拼接痕跡或重影現象。因此研究一種適用于變電設備的紅外圖像拼接方法具有十分重要的意義。

針對成像場景不同而導致紅外圖像間存在亮度差異問題，文獻[2]等提出了一種改進的紅外圖像拼接算法，該算法采用平臺直方圖均衡化提高紅外圖像對比度，解決了因圖像亮度差異而導致的拼接痕跡，但該算法對變電站復雜場景的適應性并不強。而文獻[3]通過在感興趣區域中提取SIFT 特征點并結合KLT（Kanade-Lucas-Tomasi）跟蹤算法確定特征點的位置信息并進行匹配，采用漸入漸出融合算法消除拼接痕跡，使得配準率提高了3.491%。文獻[4]引入圖像梯度信息，利用像素亮度差計算重疊區域的邊權值，并采用圖切割法尋求最佳縫合線，最后利用漸入漸出方法融合過渡，對于序列遙感圖像的拼接取得了較好效果，但對于變電站紅外圖像拼接存在鬼影現象。文獻[5]為解決圖像融合中運動物體與縫合線過于靠近而造成鬼影的問題，引入顏色飽和度S改進能量函數，并在最佳縫合線搜索準則中加入局部信息權重來提高搜索靈活度，一定程度上消除了因運動物體靠近縫合線而產生的鬼影，但對于噪聲嚴重的變電站紅外圖像拼接存在一定的局限性。

上述研究成果為變電站紅外圖像拼接提供較好的參考思路，但由于成像環境復雜、紅外圖像噪聲干擾大，導致部分圖像拼接出現明顯的拼接痕跡或重影現象。因此，本文提出一種改進最佳縫合線的紅外圖像拼接方法，該方法在拼接區域上引入局部權重系數，并對圖像顏色差異強度進行形態學操作抑制噪聲干擾，并通過動態規劃改進縫合線搜索準則，搜索出最佳縫合線。

1 改進的最佳縫合線算法

為改善因成像環境復雜而造成配準效果不佳的問題，本文首先使用SIFT 算法對圖像進行配準，從而實現圖像的一次拼接[6]，然后再采用最佳縫合線算法進行圖像融合[7]。

1.1 最佳縫合線獲取

最佳縫合線的目的是使得拼接線從兩幅圖像重疊區域中差異最小的位置穿過，以盡可能地減少圖像的偏差而帶來拼接痕跡。其求解準則E(x,y)為：

式中：Ec(x,y)為圖像顏色差異強度值；Egeometry(x,y)為圖像結構差異強度值。Ec(x,y)表達式為：

式中：Igray1(x,y)和Igray2(x,y)分別表示兩幅待拼接圖像I1和I2對應的灰度圖。

而Egeometry(x,y)表達式為：

式中：Diff 為計算I1和I2兩幅圖像在x和y方向梯度差的乘積因子。

1.2 能量函數的改進

紅外圖像相較于可見光圖像而言，其邊界模糊，信噪比低，采用式(1)求解準則所得到的能量函數圖存在較多噪聲，圖像的邊緣信息模糊，如圖1(a)所示，搜索到的最佳縫合線往往不是從能量差異值最小的位置穿過，容易導致拼接重疊區域存在明顯拼縫或重影。

因此，對能量函數改進，在式(1)中引入權重系數ωxy，并對圖像顏色差異強度值Ecolor(x,y)的求解進行改進，求解準則Ea(x,y)定義為：

式中：Ecolor(x,y)為改進后的圖像顏色差異強度值；而Egeometry(x,y)通過式(3)求解；ωxy為I1和I2重疊區域上點(x,y)處加權值。

式中：k為差異圖像加權系數；δxy為I1和I2重疊區域上點(x,y)處的差異值，δM＝max(δxy)。δxy定義為：

引入形態學操作對Ecolor(x,y)的求解進行改進，采用灰度差圖像的絕對值來近似計算，則：

式中：I12為灰度差圖像；Ibin為二值圖像；Wcolor為權重系數。

灰度差圖像I12通過式(8)求解：

二值圖像Ibin根據式(9)求解：

式中：Imageavg為灰度差圖像I12重疊區域內(x,y)像素的平均值。

圖1(a)和圖1(b)分別為改進前與本文改進后的能量函數圖。通過對比可以發現，圖1(a)噪聲較多，紋理不清晰；圖1(b)圖像中大量噪聲已經被濾除，同時也保留了圖像重要的紋理信息，圖像目標邊緣和結構信息更清晰，更能突顯紅外圖像的顏色差異與結構差異。

圖1 能量函數圖Fig.1 Energy function diagram

1.3 動態規劃搜索

傳統的最佳縫合線搜索路徑時，僅搜索所在位置下一行中的3 個緊鄰點，最大僅能向下方45°方向擴展，搜索路徑上存在一定限制。因此，本文對搜索方法進行改進，由原來只搜索3 個緊鄰點擴展至搜索下一行中9 個緊鄰點，改進的搜索流程圖，如圖2所示。

圖2 基于動態規劃搜索準則的改進搜索流程圖Fig.2 Improved search flow chart is based on dynamic programming search criteria

①設兩幅待拼接圖像I1和I2的重疊區域列數為m，把圖像重疊區域中第一行的每個像素點作為縫合線的初始點，即m列對應m條縫合線；

②搜索縫合線的擴展點。選擇每條縫合線當前點(x,k)下一行的9 個緊鄰點作為備選擴展點，當前點與備選擴展點之間路徑的能量值計算公式為：

式中：Esum(x,y)表示第x行中的第y列到第k列之間所有點的能量值之和。EN(x,i)為點(x,i)的能量值。

將每個備選擴展點的能量值與式(10)計算路徑的能量值Esum(x,y)相加，得到備選擴展點總的能量值。進而一一比較每個備選擴展點總的能量值，選擇最小值Es(x＋1,y)的備選擴展點作為縫合線的擴展點。Es(x＋1,y)的計算式為：

式中：k為縫合線擴展當前點(x,k)前所在的列，x＋1、y為當前點在下一行備選擴展點的行、列。確定新擴展點后，更新得到縫合線擴展后的能量值S(x＋1,y)，即：

式中：S(x,k)表示縫合線擴展前的能量值。

③完成當前行后繼續返回步驟②擴展下一行的點，直至擴展至圖像最后一行，跳轉到步驟④；

④經過前面3 個步驟，得到m條縫合線。從m條縫合線中，將能量值最小的縫合線選定為最佳縫合線。

1.4 算法實現流程

改進最佳縫合線的紅外圖像拼接算法流程圖，如圖3所示。

圖3 改進最佳縫合線的紅外圖像拼接方法流程Fig.3 Improved infrared image Mosaic algorithm flow of the best seam-line

先采用SIFT 算法提取圖像區域特征，實現圖像配準；然后在重合區域上引入局部權重系數對圖像顏色差異強度進行形態學操作，抑制噪聲干擾進而改善能量函數圖的紋理信息；最后通過動態規劃改進縫合線搜索準則，搜索出最佳縫合線，進而完成圖像拼接。

2 紅外圖像拼接實驗驗證與分析

為了驗證算法的有效性，將本文方法與漸入漸出法、ORB 算法、基于顏色校正的全景圖像拼接方法[8]、傳統最佳縫合線法進行對比實驗，實驗平臺為PyCharm2019＋Python3.6。

2.1 紅外圖像拼接效果分析

2.1.1 絕緣子紅外圖像拼接

使用紅外熱像儀采集絕緣子圖像，分辨率為384×288。絕緣子圖像如圖4所示。

圖4 絕緣子圖像Fig.4 Two insulator images

對圖4 的紅外圖像進行初步拼接，然后由最佳縫合線求解準則得到能量函數圖，再通過動態規劃方法搜索到縫合線，如圖5所示。

由圖5(a)和圖5(b)可知，改進前能量函數圖的噪聲嚴重，縫合線受噪聲干擾較大，改進后能量函數圖的噪聲得到了明顯抑制，使得圖像重疊區域的結構和邊緣更清晰，縫合線很好地沿著能量最低的區域經過，避免拼接圖像出現局部錯位。

圖5 絕緣子圖像的能量函數圖Fig.5 Energy function diagram of insulator image

不同算法的拼接效果如圖6所示。由圖得知，通過漸入漸出法拼接后的圖像，在電纜處出現明顯重影。采用ORB 算法拼接的圖像，在絕緣子頂部的電纜接頭處存在噪聲斑點。基于顏色校正的全景圖像拼接方法得到的圖像，雖然噪聲斑點較少，但是在電纜處存在明顯的重疊和錯位現象。采用傳統最佳縫合線法拼接的圖像同樣存在錯位現象。

圖6 絕緣子圖像拼接效果Fig.6 Insulator image stitching effect

相對于以上算法的拼接結果，采用本文改進最佳縫合線法拼接的圖像，圖像中局部放大區域未出現重影，融合的過渡區域無錯位現象，細節更加清晰。這有助于后續獲取變電設備的細節信息，從而更加高效地監測電氣設備的整體狀態。

2.1.2 變壓器紅外圖像拼接

使用紅外熱像儀采集的變壓器圖像如圖7所示。

圖7 變壓器圖像Fig.7 Transformer image

對圖7 的紅外圖像進行初步拼接，然后由最佳縫合線求解準則得到能量函數圖，再通過動態規劃方法搜索找到縫合線，如圖8所示。

圖8 變壓器圖像的能量函數圖Fig.8 Energy function diagrams of the transformer images

通過圖8(a)和圖8(b)對比可知，改進前能量函數圖的噪聲嚴重，縫合線受噪聲干擾較大；改進后能量函數圖去除了大部分干擾信息，圖像重疊區域的結構和邊緣更清晰，使得縫合線能很好地沿著能量最低的區域經過，能有效避免拼接圖像局部出現變形錯位。

不同算法的拼接效果如圖9所示。由圖得知，采用漸入漸出法拼接后的圖像，雖然沒有明顯的拼接縫隙，但在圖像重疊區域邊緣出現了重影現象。基于ORB 算法的拼接圖像同樣出現重影現象。基于顏色校正的全景圖像拼接方法拼接后的圖像，由于圖像配準存在偏差，導致圖像出現錯位現象。傳統最佳縫合線法拼接后的圖像，雖然沒有明顯的重影現象，但在融合區域存在拼接痕跡。

圖9 變壓器圖像拼接效果Fig.9 Transformer image stitching effect

本文改進最佳縫合線法拼接后的圖像，由于最大限度地避免縫合線穿過兩幅圖像差異較大的區域，相對以上算法的拼接結果，均未出現重影和錯位現象，整體視覺效果更好。

2.2 紅外圖像拼接質量評價

為評價改進算法的效果，反映紅外圖像的細節信息，選取了文獻[9]所用的平均梯度AG、圖像清晰度FD和圖像邊緣強度EI指標衡量改進算法的圖像拼接效果。

平均梯度AG表示圖像平滑程度，反映圖像細節反差能力，其數值越高，表示圖像信息更豐富，圖像細節保留更好，拼接效果過渡更自然。計算式為：

式中：M×N為圖像的尺寸；?f/?x表示圖像在水平方向的梯度，而?f/?y表示圖像在垂直方向的梯度。

圖像清晰度FD反映細節紋理信息，數值越高，表示圖像的清晰程度越好，細節保留得越好。圖像邊緣強度EI則反映圖像的邊緣信息，其數值越高，表示圖像邊緣越清晰。

表1 給出了平均梯度AG、圖像清晰度FD和圖像邊緣強度EI的評價結果，從表中的數據可以看出：在絕緣子和變壓器圖像拼接實驗中，采用本文改進的最佳縫合線方法與漸入漸出法、ORB 算法、基于顏色校正的全景圖像拼接方法和傳統最佳縫合線方法相比，平均梯度AG的均值分別提高了2.74%、14.84%、8.54%和1.18%，這表明圖像的信息更豐富，圖像細節保留更好。圖像清晰度FD的均值分別提高了3.27%、21.03%、8.75%和1.5%，即改進算法的拼接圖像效果清晰度更好。邊緣強度EI的均值分別提高了2.40%、5.7%、0.93%和1.05%，這表明改進算法在紅外圖像拼接中，圖像邊緣清晰度更好。

表1 拼接效果性能評價指標Table 1 Performance evaluation of image fusion algorithms

3 結論

本文針對變電站場景的紅外圖像，提出了一種改進最佳縫合線的紅外圖像拼接方法。利用改進的算法進行圖像拼接后，圖像融合區域過渡更平滑，拼接痕跡明顯減少，且拼接后的圖像在平均梯度、圖像清晰度和圖像邊緣強度均有所提高，有效地避免了結果圖像出現明顯拼接痕跡等問題，有助于后續獲取變電設備整體的準確狀態，對提高巡檢效率具有重要意義。