基于聚類分析的紅外圖像配準算法

摘" 要： 為提高圖像處理的精度和效率，并擴展紅外圖像在實際應用中的使用范圍，提出一種基于聚類分析的紅外圖像配準算法。該算法先構建紅外圖像觀測模型，利用該模型描述理想的紅外圖像與實際紅外圖像之間的關系，得到低分辨率的實際紅外圖像；然后使用最大后驗估計方法對低分辨率紅外圖像進行超分辨率重建；接著以超分辨率重建后的紅外圖像為基礎，利用Harris角點檢測算法提取紅外圖像內角點特征并建立紅外圖像配準特征集，通過K?means聚類算法對紅外圖像角點特征之間距離、方向特征向量夾角進行計算；最后選擇聚類中心，并依據角點特征距離與方向特征向量夾角對紅外圖像角點特征進行聚類處理，得到紅外圖像配準結果。實驗結果表明：所提算法對低分辨率紅外圖像的超分辨率重建效果較好，可有效提取紅外圖像內的角點特征，并實現(xiàn)不同紅外圖像配準，應用效果較佳。

關鍵詞： 紅外圖像； 配準算法； 聚類分析； 觀測模型； 角點特征； Harris角點檢測； K?means聚類算法

中圖分類號： TN911.73?34； TP391" " " " " " " " " "文獻標識碼： A" " " " " " " " " 文章編號： 1004?373X（2024）24?0115?05

Infrared image registration algorithm based on cluster analysis

ZHANG Xiaoyu

（Xinjiang University of Finance and Economics， Urumqi 830012， China）

Abstract： In order to the accuracy and efficiency of image processing， and expand the application range of infrared images in practical applications， a clustering analysis based infrared image registration algorithm is proposed. In this algorithm， an infrared image observation model is constructed， the relationship between ideal infrared image and actual infrared image is described by this model， and the actual infrared image with low resolution is obtained. The maximum a posteriori estimation method is used to reconstruct the low resolution infrared image. Based on the infrared image reconstructed with super resolution， the Harris corner detection algorithm is used to extract the internal corner features of the infrared image and establish the infrared image registration feature set. The distance and direction feature vector angle between corner features in infrared images are calculated by means of the K?means clustering algorithm. The infrared image registration results are obtained by selecting the cluster center and clustering the infrared image corner features according to the angle between the corner feature distance and the direction feature vector. The experimental results show that the proposed algorithm has good effect on super?resolution reconstruction of low resolution infrared images， can effectively extract corner features in infrared images， effectively realize different infrared image registration， and has good application effect.

Keywords： infrared image; registration algorithm; cluster analysis; observation model; corner feature; Harris corner detection; K?means clustering algorithm

0" 引" 言

紅外圖像配準算法是圖像處理領域中的一個重要研究方向，旨在通過一定的算法將不同時間、不同視角或不同傳感器獲取的紅外圖像進行精確對齊，從而實現(xiàn)對目標物體的準確識別與定位。紅外圖像配準算法的研究面臨著諸多挑戰(zhàn)，如圖像噪聲干擾、目標遮擋、視角變化等問題，這些都可能導致配準精度下降[1?2]。因此，如何設計一種高效、魯棒性強的紅外圖像配準算法成為了當前研究的熱點。目前也有很多學者研究紅外圖像配準方法，如文獻[3]提出改進AKAZE算法圖像配準方法。該方法利用改進AKAZE算法建立紅外圖像非線性尺度空間，然后提取紅外圖像內的特征點，運用基于網格的運動估計方法對紅外圖像特征點進行匹配。紅外圖像往往受到各種噪聲和干擾的影響，如熱噪聲、背景輻射等，這些噪聲和干擾會干擾特征點的提取和匹配過程，導致匹配精度下降。文獻[4]提出一種高效和穩(wěn)健的圖像配準方法，該方法提取紅外圖像特征后，先消除紅外圖像的尺度、旋轉和平移差異，再使用聯(lián)合點特征匹配的方式實現(xiàn)紅外圖像配準。盡管在算法中嘗試消除紅外圖像的尺度、旋轉和平移差異，但由于實際圖像中可能存在的復雜變換或噪聲干擾，這些差異的消除并不完全，這種殘余的差異會對特征匹配產生負面影響，導致匹配精度下降。文獻[5]提出NSCT輪廓與主方向一致的圖像配準方法，該方法利用NSCT變換方式提取紅外圖像內的輪廓曲線，再使用CSS角點檢測方法提取紅外圖像內輪廓曲線特征點，然后依據特征點主方向對紅外圖像進行配準處理。由于紅外圖像的紋理和細節(jié)信息相對較少，會導致CSS角點檢測方法無法準確地檢測出輪廓曲線的特征點，導致特征點主方向不確定，進而降低配準精度。文獻[6]提出邊緣結構特征的圖像配準方法，該方法分別提取紅外圖像和可見光圖像的邊緣結構特征后，使用ORB算法生成邊緣結構特征描述子，利用幾何變換方式對紅外圖像進行變換，使其與可見光圖像在空間上對齊，實現(xiàn)圖像的配準。ORB算法雖然具有較快的運算速度和較好的實時性能，但在某些情況下，其對于特征點的描述可能不夠精確或穩(wěn)定。特別是在紅外圖像中，由于目標的紋理和顏色信息相對較少，ORB算法可能無法有效地描述和匹配特征點，從而導致匹配精度下降。

聚類分析是一種重要的數(shù)據分析方法，它將物理或抽象對象的集合分組為由類似的對象組成的多個類。目標是基于相似性對數(shù)據進行分類[7]，使得同一類別內的數(shù)據盡可能相似，不同類別間的數(shù)據盡可能不同。本文以聚類分析算法為基礎，提出一種基于聚類分析的紅外圖像配準算法，為紅外圖像在多領域應用提供一種圖像處理技術。

1" 紅外圖像配準算法

1.1" 紅外圖像觀測模型構建

紅外光的波長較長，通常在可見光的波長范圍之外，因此相同的探測器尺寸下所包含的像素數(shù)量就會減少[8]，這導致紅外攝像機與可見光攝像機相比，其拍攝的紅外圖像通常具有較低的分辨率。為此，本文構建一種紅外圖像觀測模型，用來描述理想的紅外圖像與實際紅外圖像時間的關系。

令[q]表示實際紅外圖像，[D]表示該紅外圖像的下采樣矩陣，則該紅外圖像的觀測模型公式如下：

[q=DBz+δ] （1）

式中：[z]表示待重建的高分辨率紅外圖像；[B]表示[q]的模糊矩陣；[δ]表示加性噪聲。

對公式（1）內的下采樣矩陣和模糊矩陣進行合并處理，得到實際紅外圖像[q]的退化矩陣，則紅外圖像觀測模型公式如下：

[q=Hz+δ] （2）

式中[H]表示實際紅外圖像[q]的退化矩陣。

公式（2）描述了實際紅外圖像由高分辨率退化成低分辨率的過程。

1.2" 基于最大后驗估計的紅外圖像超分辨率重建

最大后驗估計是一種強大的參數(shù)估計方法，通過融入先驗知識，能夠在給定數(shù)據的情況下更準確地估計參數(shù)[9]。在此運用最大后驗估計方式，對1.1節(jié)低分辨率的紅外圖像進行超分辨率重建處理。

以公式（2）結果作為前提條件，使高分辨率紅外圖像[x]出現(xiàn)的后驗概率數(shù)值最大，公式為：

[z=argmaxzPr（zq）] （3）

式中：[z]表示超分辨率重建后的紅外圖像；[Pr（zq）]表示高分辨率紅外圖像[z]出現(xiàn)的后驗概率。

將公式（3）改寫成貝葉斯形式，公式如下：

[z=argmaxzPr（zq）Pr（q）×1Pr（q）] （4）

式中：[Pr（z）]、[Pr（q）]分別表示高分辨率紅外圖像[z]和低分辨率紅外圖像[q]的后驗概率。

由于低分辨率紅外圖像[q]的后驗概率對高分辨率紅外圖像的[z]估計不影響[10?11]，則公式（4）可改寫為：

[z=argmaxzPr（zq）Pr（z）] （5）

式（5）描述了高分辨率紅外圖像在低分辨率紅外圖像中出現(xiàn)的概率密度。通過公式（3）可知，[Pr（zq）=Pr（δ）]，表示紅外圖像觀測模型內含有的噪聲。

令紅外圖像觀測模型內的噪聲均值為0，噪聲的方差由[σ2]表示，則高分辨率紅外圖像[z]出現(xiàn)的后驗概率表達式如下：

[Pr（zq）=1σ22πexp-q-Hz2×12σ2] （6）

使用拉普拉斯先驗描述高分辨率圖像的概率[12]，公式如下：

[Pr（z）=exp-λ2z2] （7）

式中[λ]表示控制分布寬度的超參數(shù)。

結合式（6）、式（7），超分辨率重建后的紅外圖像最終計算公式如下：

[z=argmaxzq-Hz2+λz2] （8）

利用公式（8）得到超分辨率重建后的紅外圖像，為后續(xù)紅外圖像配準提供較為清晰的紅外圖像。

1.3" 基于Harris角點檢測算法的紅外圖像匹配角點特征提取

Harris角點檢測算法是圖像處理中提取特征的算法之一，本文運用Harris角點檢測算法提取紅外圖像匹配角點特征，其詳細實現(xiàn)過程如下。

以公式（8）結果為基礎，令[E（u，v）]表示超分辨率重建后紅外圖像[z]窗口內像素灰度，其中[u]、[v]表示像素橫縱坐標。[E（u，v）]公式如下：

[E（u，v）=x，yw（x，y）Φ（x+u，y+v）2-Φ（x，y）2] （9）

式中：[w（x，y）]表示超分辨率重建后紅外圖像[x]的窗口函數(shù)，其中[x]、[y]為窗口坐標；[Φ（x，y）]表示紅外圖像的灰度函數(shù)。

式（9）中，希望尋找到使[E（u，v）]數(shù)值盡可能大的紅外圖像像素點。在不考慮窗口函數(shù)[13]的情況下，將公式（9）等號右側進行泰勒展開，則有：

[Φ（x+u，y+v）=Φ（x，y）+Φxu+Φyv+O（u2，v2）] （10）

式中：[Φx]、[Φy]分別表示像素在橫縱坐標[u]、[v]位置展開后的梯度；[O（u2，v2）]表示泰勒展開后的余項。

將公式（10）代入到公式（9）內，則有：

[E（u，v）= Φ2xΦxΦyΦxΦyΦ2yuv] （11）

[u，v]描述Harris角點檢測過程中微小移動量，則公式（11）可近似表達為：

[E（u，v）≈u，vGuv] （12）

式中[G]是實對稱矩陣。在該矩陣內的紅外圖像特征值與交點、邊緣直線等均存在一定關系，當矩陣[G]內有2個特征值均較小，且特征數(shù)值較為接近[14]，則說明這2個特征點對應的紅外圖像區(qū)域為平滑區(qū)域；當2個特征值之間差值較大，則表明這2個特征值區(qū)域對應的是紅外圖像邊緣。當2個特征點數(shù)值差值較小，但數(shù)值均較大時，說明這2個特征點為紅外圖像內的角點，該角點可作為紅外圖像配準的一個特征點。在實際紅外圖像配準過程中，為降低運算的復雜度，定義紅外圖像角點響應函數(shù)公式如下：

[R=det（G）-k·trace2（G）] （13）

式中：[R]表示紅外圖像角點響應函數(shù)；[k]表示常數(shù)項；[trace（G）]表示矩陣[G]的跡；[det（G）]表示矩陣[G]的行列式。

通過公式（13）即可得到紅外圖像內的角點特征。

1.4" 基于K?means聚類分析的紅外圖像配準實現(xiàn)

聚類分析方法包括層次分析法、密度法等，其中K?means算法是依據距離實現(xiàn)聚類的分析方法，在實際應用中具有運算速度快、受數(shù)據維度影響較小等優(yōu)點[15]。本文運用聚類分析方法中的K?means聚類算法實現(xiàn)紅外圖像配準，其詳細實現(xiàn)過程如下。

令[Φ1]、[Φ2]表示任意兩幅紅外圖像的灰度梯度，這兩幅紅外圖像的匹配窗口大小為[n×n]，其中紅外圖像1的角點特征由[Ri]，[i=1，2，…，m1]表示，紅外圖像2的角點特征由[Rj]，[j=1，2，…，m2]表示，角點特征的橫縱坐標由[（u，v）]表示，則這2幅紅外圖像的待配準的特征點[i]和[j]坐標分別為[（u1i，v1i）]和[（u2j，v2j）]。然后使用歸一化互相關函數(shù)描述[（u1i，v1i）]和[（u2j，v2j）]之間的相關程度，公式如下：

[Mij=m=-（n-1）2（n-1）2 n=-（n-1）2（n-1）2Φ1（m+u1i，n+v1i）-Φ1（u1i，v1i）·" " " " " " " " " " " " " " " " "Φ2（m+u2j，n+v1j）-Φ2（u2j，v2j）m=-（n-1）2（n-1）2 n=-（n-1）2（n-1）2Φ1（m+u1i，n+v1i）-Φ1（u1i，v1i）2·" " " " " " " " " " " n=-（n-1）2（n-1）2Φ1（m+u1i，n+v1i）-Φ1（u1i，v1i）2] （14）

式中：[Φ1（u1i，v1i）]、[Φ2（u2j，v2j）]表示2幅紅外圖像灰度梯度均值；[Mij]表示角點特征[Ri]和[Rj]的相關程度。當[Mij]數(shù)值較大時，說明角點特征[Ri]和[Rj]的相關程度較高，選擇相關程度較高的紅外圖像角點特征組成紅外圖像配準點集[R']。[R']公式如下：

[R'=Ri，Rj] （15）

式中：[Ri]、[Rj]為紅外圖像內待配準的一組角點特征。令這兩個特征角點的距離為[dist（Ri，Rj）]，其計算公式如下：

[dist（Ri，Rj）=（Rix-Rjx）2-（Riy-Rjy）2] （16）

式中：[Rix]、[Riy]和[Rjx]、[Rjy]分別表示[Ri]和[Rj]在坐標系內[x]、[y]方向上的數(shù)值。

令[angle（Ri，Rj）]表示紅外圖像角點特征配準方向特征向量的夾角，其計算公式如下：

[angle（Ri，Rj）=arctanRiy-Rjy·1Rix-Rjx] （17）

在利用K?means聚類分析方法對紅外圖像進行配準時，將紅外圖像角點特征配準方向特征向量的夾角小于10°且角點距離較小的角點特征聚類為一類，最終實現(xiàn)紅外圖像配準，其詳細實現(xiàn)過程如下。

Step1：運用公式（14）對紅外圖像待配準角點特征進行相關程度計算，將相關程度較高的角點特征劃分為聚類特征集。

Step2：利用公式（16）計算兩個待配準角點特征距離，當該角點特征距離小于預設的距離閾值[Γ]時，將該距離作為聚類中心，將滿足距離閾值的角點劃分為一個類簇；反之則重新選擇新聚類中心，經過上述過程，得到滿足聚類分析條件的[c]個類簇。

Step3：在滿足聚類分析條件的[c]個類簇基礎上，運用公式（17）計算每個類簇內紅外圖像配準角點特征的特征向量夾角，將夾角數(shù)值小于10°的角點特征劃分為一個類簇；去除類簇內不滿足特征向量夾角條件的冗余角點特征。

Step4：經過Step1～Step3反復迭代，當聚類分析類簇不在發(fā)生變化或者滿足迭代次數(shù)后，輸出當前聚類結果，該聚類結果內的角點特征滿足紅外圖像配準條件，實現(xiàn)紅外圖像配準。

2" 實驗結果與分析

紅外圖像應用領域較為廣泛，本文中多個領域的1 000幅紅外圖像建立的紅外圖像數(shù)據集作為實驗對象，運用算法對這1 000幅紅外圖像進行配準，分析并驗證算法的實際應用效果。以紅外圖像數(shù)據集內某幅紅外圖像作為實驗對象，使用本文算法對其進行超分辨率重建處理，結果如圖1所示。

分析圖1可以明顯看出，原始紅外圖像受到大量干擾噪聲的影響，整體圖像顯得較為模糊。特別是圖像中設備的邊界，由于噪聲的干擾，其邊緣并不清晰，這在故障檢測、設備在線監(jiān)控等應用中無疑會大大降低效果。然而，經過本文算法對該紅外圖像進行超分辨率重建后，效果顯著提升，圖像中設備的邊緣變得清晰銳利，原本困擾的干擾噪聲也被有效去除。這一顯著改進不僅提升了紅外圖像的視覺效果，更為后續(xù)的圖像配準工作提供了高質量的圖像基礎。本文算法展現(xiàn)出的強大紅外圖像超分辨率重建能力，無疑為紅外圖像處理領域注入了新的活力。提取紅外圖像角點特征是實現(xiàn)紅外圖像配準的基礎，以紅外圖像集內的某幅紅外圖像作為實驗對象，使用本文算法提取其角點特征，提取結果如圖2所示。

分析圖2，本文算法在紅外圖像角點特征提取上展現(xiàn)出顯著效果。圖中，紅外圖像的角點特征被精確提取，并以矩形框清晰標識，這些角點特征為后續(xù)的紅外圖像配準提供了重要依據。采用本文算法，紅外圖像的角點特征得以準確捕捉，為后續(xù)圖像配準工作打下了堅實基礎。該方法的應用將有助于提高紅外圖像配準的精度和效率，為相關領域的研究和應用提供有力支持。以2幅人臉紅外圖像作為實驗對象，對其進行紅外圖像配準處理，配準結果如圖3所示。

分析圖3可以清晰地看到，運用本文算法后，紅外圖像配準取得了顯著效果。在配準結果中，面部區(qū)域的角點特征均實現(xiàn)了精準匹配，這充分證明了2幅人臉圖像所展現(xiàn)的人物為同一人。本文算法不僅能夠有效提取紅外圖像中的角點特征，還能通過精確匹配這些特征點，實現(xiàn)高質量的圖像配準。這一成果不僅展示了本文算法在人臉紅外圖像配準方面的強大能力，也為其在安防監(jiān)控、身份識別等領域的應用提供了有力支撐。綜上所述，本文算法具備優(yōu)秀的人臉紅外圖像配準能力，其應用效果較為顯著。以2幅電力設備紅外圖像作為實驗對象，使用本文算法對其進行配準處理，配準結果如圖4所示。

分析圖4可知，本文算法在設備紅外圖像配準方面同樣表現(xiàn)出色。通過精準獲取設備的角點特征，依據這些特征點進行配準，有效提升了圖像配準的準確性和穩(wěn)定性。這一方法的應用，為設備監(jiān)測、故障識別等領域提供了強有力的技術支持。無論是設備的微小變化還是故障征兆，都能通過本文算法得到及時準確地識別和判斷，為設備的運行維護提供了重要保障。在采集紅外圖像時，受采集設備視角影響，采集的紅外圖像會存在不同程度的遮擋，以紅外圖像配準精度作為衡量指標，測試在紅外圖像遮擋程度不同情況下，本文算法對紅外圖像的配準能力，同時使用文獻[5]的NSCT輪廓與主方向一致性圖像配準方法和文獻[6]的邊緣結構特征圖像配準方法進行對比，測試結果如表1所示。

由表1可知在對比的三種方法中，本文算法在紅外圖像遮擋程度相同的情況下，展現(xiàn)出了最高的配準精度數(shù)值。說明本文算法在配準紅外圖像時，受圖像遮擋程度的影響較小，其配準的穩(wěn)定性和準確性均表現(xiàn)出色。在實際應用和理論研究上，本文算法都展現(xiàn)出了較強的應用性能，為紅外圖像配準領域的發(fā)展做出了積極貢獻。

3" 結" 論

本文提出一種基于聚類分析的紅外圖像配準算法，在圖像處理領域展現(xiàn)出了顯著的優(yōu)勢。通過聚類分析，算法能夠有效地提取圖像中的特征信息，實現(xiàn)精確的對齊與匹配。在圖像處理技術不斷發(fā)展背景下，未來該算法有望在更多領域得到應用，為紅外圖像處理技術的發(fā)展注入新的活力。總體而言，基于聚類分析的紅外圖像配準算法是一項具有重要意義的技術創(chuàng)新，對于提升圖像處理的效率和精度具有重要的推動作用。

參考文獻

[1] 黃超，郭浩，高巖，等.基于棧式自編碼網絡的非線性變化灰度差異圖像配準[J].激光與光電子學進展，2021，58（16）：233?239.

[2] 任永強，呂華鑫，晏文彬，等.一種基于PCB板圖像配準優(yōu)化算法[J].合肥工業(yè)大學學報（自然科學版），2022，45（10）：1305?1309.

[3] 趙衛(wèi)東，劉俊德，王慢慢，等.基于改進AKAZE算法的快速圖像配準方法[J].激光與光電子學進展，2023，60（6）：90?96.

[4] BOCK F， GRUBER A， LEOPOLD K， et al. Efficient and robust image registration for two?dimensional micro?X?ray fluorescence measurements [J]. Journal of analytical atomic spectrometry， 2023， 38（5）： 1021?1031.

[5] 段琳鋒，侯新國，胡致遠.NSCT輪廓與主方向一致性紅外與可見光圖像配準[J].電光與控制，2022，29（6）：1?5.

[6] 徐海洋，趙偉，劉建業(yè).基于邊緣結構特征的紅外與可見光圖像配準算法[J].紅外技術，2023，45（8）：858?862.

[7] 郭璠，李小虎，朱洪，等.基于sMLD特征的遠紅外航空圖像配準算法[J].紅外與毫米波學報，2023，42（4）：558?567.

[8] 楊冰超，王鵬，李曉艷，等.基于模態(tài)轉換結合魯棒特征的紅外圖像和可見光圖像配準[J].激光與光電子學進展，2022，59（4）：180?189.

[9] 陳磊，陳穎，李文舉，等.殘差塊改進暹羅網絡的遙感圖像配準[J].計算機仿真，2022，39（3）：224?229.

[10] 陳彤，郭劍鋒，韓心中，等.基于生成對抗模型的可見光?紅外圖像匹配方法[J].浙江大學學報（工學版），2022，56（1）：63?74.

[11] 付添，鄧長征，韓欣月，等.基于深度學習的電力設備紅外與可見光圖像配準[J].紅外技術，2022，44（9）：936?943.

[12] 王洪淼，楊健，殷君君.基于Wishart梯度和SIFT方法的極化SAR圖像配準[J].中國科學：信息科學，2022，52（4）：687?699.

[13] 汪崟，蔣崢，劉斌.具有局部自適應閾值的SIFT快速圖像匹配算法[J].液晶與顯示，2024，39（2）：228?236.

[14] 薛慶，楊樹文，閆恒，等.基于SIFT與互信息篩選優(yōu)化的遙感影像配準[J].遙感技術與應用，2022，37（5）：1209?1216.

[15] 宋智禮，張家齊，熊亮，等.利用風格遷移和特征點的多模態(tài)圖像配準算法[J].遙感信息，2021，36（1）：1?6.

作者簡介：張曉宇（1981—），男，安徽蚌埠人，碩士研究生，高級實驗師，主要從事計算機視覺技術研究工作。