基于模態轉換的紅外與可見光圖像配準方法

周美琪，高陳強，木 松，劉芳岑

(重慶郵電大學 通信與信息工程學院， 重慶 400065)

0 引 言

紅外圖像和可見光圖像包含的信息具有很強的互補性。紅外圖像根據物體的熱輻射成像，有不受光線、背景雜波、成像距離的影響的優勢，但紅外圖像會丟失紋理、結構等細節信息[1]；可見光圖像通過物體的反射成像，有豐富的顏色和紋理信息，但容易受到照明，遮擋等因素的影響。同時利用紅外與可見光兩種圖像對在計算機視覺的各項任務中存在較大的優勢，而準確、高效的圖像配準是重要前提。紅外與可見光圖像配準的定義請參見文獻[2]。紅外與可見光圖像配準技術已在遙感圖像、現代軍隊、夜間監視等領域有廣泛的應用。

現有的圖像配準方法主要分為基于區域的方法和基于特征的方法。基于區域的方法使用圖像相同部分中原始的像素，通過尋找參考圖像和待配準圖像之間的最小距離，達到配準的效果。如相關運算的方法和互信息方法[3-6]。基于特征的方法首先提取圖像中穩定的特征，再通過相關矩陣實現特征點匹配。如常見的基于尺度不變特征變換(scale-invariant feature transform，SIFT)算法，以及加速的尺度不變特征變換(speeded up robust features，SURF)算法、彩色尺度不變特征變換(colored scale-invariant feature transform，CSIFT)算法。

在本文中可見光圖像模態轉換后得到的紅外光譜信息對提取模態獨立鄰域特征[7]至關重要，首先將可見光圖像轉換生成類似于紅外光譜圖像，然后提取生成的紅外圖像和原紅外圖像的模態獨立鄰域特征，實現圖像配準。實驗結果表明，與現有的方法相比，本文的方法具有較好的配準效果。

1 特征的提取與表示

圖1展示了本文的算法框架，首先使用紅外與可見光圖像對訓練生成網絡，得到生成圖像，然后對生成圖像與紅外圖像提取模態獨立鄰域特征，再計算兩者變形域，得到配準圖像。

圖1 本文算法框架

1.1 圖像生成

在本文中使用圖像生成來實現模態轉換，以減少可見光與紅外圖像的光譜的差異性，進而在近似模態進行圖像配準。圖像生成的方法采用生成式對抗網絡模型(generative adversarial network，GAN)。生成式對抗網絡最早是由Ian Goodfellow等提出，其基本思想是學習訓練樣本的概率分布。其實現的方法是讓生成網絡與對抗網絡互相競爭，其中生成網絡學習訓練集中圖片的概率分布，用習得的概率分布將隨機噪聲轉變生成新的樣本。判別網絡同時觀察真實和生成的樣本，并判斷這個樣本真偽。在此基礎上Isola, Phillip等提出條件生成式對抗網絡(conditional GAN，CGAN)[8]，將待轉換的圖像作為條件，高斯噪聲作為生成器的輸入，轉換為需要的目標圖像。為了讓生成器產生的圖像逼近真實的目標圖像，生成器的損失函數添加目標圖像匹配度的懲罰項。該網絡在訓練時不需要對隱變量做推斷，生成器的參數更新不是直接來自于數據樣本而是使用來自判別器的反傳梯度，在不同的圖像生成任務中都取得了較好的效果。本文采用該網絡結構進行模態轉換，原理如圖2所示。

圖2 GAN工作原理示例

1.2 模態獨立鄰域算子

在圖像配準任務中，有許多特征可以用來計算圖像的相似性，例如角點、邊緣、漸變、紋理或強度值。大多數基于像素強度的相似性度量僅使用這些特征中的一個，或者定義不同特征的組合以及它們之間的權重。此外，由于圖像塊能夠較好表示不同類型的圖像特征(包括邊緣、點和紋理)，因此配準算法常采用圖像塊進行相似度計算。本文采用多種特征融合的方式，并通過圖像塊計算圖像的局部獨立特征。

模態獨立鄰域算子是圖像特征的局部表示，是一個獨立于不同圖像模態、對比度和噪聲水平的圖像描述算子。在經過模態轉換后，紅外與可見光圖像仍然存在細節上的差別。而模態獨立鄰域算子能表示不同類型的圖像特征，可以通過一種模態中的圖像塊的相似性估計圖像特征，實現跨模態共享。在本文方法中，對生成圖像與紅外圖像兩個模態的圖像塊分別提取模態獨立鄰域算子，表示局部鄰域中的獨特圖像結構，然后計算兩者變形域，得到配準圖像。模態獨立鄰域算子通常可以由距離Dp、方差估計V和空間搜索區域R來定義

(1)

其中，n是歸一化常數(最大值為1)，r∈R是搜索區域。使用模態獨立鄰域算子，可以通過位置x處的大小為|R|的向量表示圖像。式(1)中同一圖像的兩個像素x1和x2之間的距離測量表示：分別以x1和x2為中心，大小為(2p+1)d(d為圖像維度)的兩個圖像塊P之間的所有像素的平方差(sum of squared differences，SSD)的總和

(2)

Dp(I,x,x+r)=C?(I-I′(r))2

(3)

(4)

(5)

噪聲ε在整個圖像域Ω上取平均值，以獲得恒定的方差量度V(I,x)，這增加了模態獨立鄰域算子對空間變化噪聲的靈敏度，有利于提取模態獨立鄰域特征。確定V(I,x)的方法是在四鄰域n∈N內使用圖像塊距離本身的平均值

(6)

通過式(6)，可以自動計算模態獨立鄰域特征，無需其它參數。圖3中示出了模態獨立鄰域算子對于生成紅外圖像和紅外圖像的兩個不同圖像特征。

圖3 模態獨立鄰域算子在不同模態的特征

2 圖像配準

在圖像配準中，本文的目標是最小化變形場u的成本函數，該目標函數由非線性相似項φ和擴散正則化項組成

(7)

(8)

使用連續的迭代求解器求解等式(8)，通過添加更新步驟ugn來計算最終變形字段。參數α平衡相似性項與歸一化項，α的值通過實驗確定。

3 實驗分析

3.1 數據集

評估數據集包含1000張圖像，12個不同的場景，包括學校、街道、游樂場、公園等。場景中的主要對象是行人、植物、建筑物和車輛。紅外圖像的分辨率為293×256，可見光圖像的分辨率為720×480。待配準的圖像對來自同一時間同一場景的紅外和可見光視頻，圖4展示了待配準的紅外圖片與對應的可見光圖片實例。為了驗證本文算法的效果，分別與兩種經典配準方法進行比較：①基于SURF特征的引導匹配圖像配準方法；②基于相位特征變換的圖像配準方法。

圖4 紅外圖片與對應的可見光圖片示例

3.2 實驗對比及分析

為了定量評估本文算法，文中使用學術界通用的平均絕對誤差(mean absolute error，MAE)、峰值信噪比(peak signal to noise ratio，PSNR)和圖片間的歸一化互信息NMI(normalized mutual information，NMI)作為評價算法的指標。MAE的定義如下

(9)

其中，fi表示預測值，yi表示真實值，平均絕對誤差能反映預測值誤差的實際情況。PSNR的定義如下

(10)

(11)

MSE表示均方差，式(10)中MAXI表示圖像點顏色的最大數值。NMI的定義如下

(12)

其中，H(A)和H(B)代表圖像A和圖像B的邊緣熵，H(A，B)表示兩幅圖像的聯合熵。歸一化互信息將重疊區域的變化考慮在內，能較好反映圖像間相似程度。

圖5第一行展示了兩組待配準的紅外與可見光圖像對，余下3行依次為3種不同方法實現紅外與可見光圖像配準效果圖和融合圖：第二行為根據模態獨立鄰域特征實現紅外與可見光圖像對配準示例；第三行為根據SURF特征實現配準示例；第四行為根據相位相關特征實現配準示例。從圖中可以看出：本文所用的基于模態獨立鄰域特征的圖像變形配準方法綜合效果最佳；基于相位特征的方法有較好效果；SURF特征方法在部分圖片上沒有效果，由融合圖片可看出圖中人物頭部輪廓形狀未完全重合。

圖5 紅外與可見光圖片配準結果示例

為了定量分析基于模態轉換和模態獨立鄰域特征的紅外與可見光圖像配準方法的效果，我們在表1中展示了3種方法配準后的圖像與原圖像的結果，表2展示了3種方法的融合圖片與原圖比較結果。其中MAE越低說明配準效果越好；PSNR與NMI越高，配準效果越好。由表1中數據可以看出基于模態獨立鄰域特征的紅外與可見光圖像配準方法在MAE和PSNR兩項指標上均有最佳表現，在NMI上與其它方法相當。

表1 3種方法的配準圖片與原圖比較結果

表2 3種方法的融合圖片與原圖比較結果

4 結束語

本文提出基于模態轉換的紅外與可見光圖像配準方法，針對紅外與可見光圖像灰度差異大的問題，基于圖像塊的相似性，提取局部鄰域中的獨特結構并保存特征，圖像轉換過程中實現跨模態特征共享。同時針對相似灰度較多的情況下景物間可能存在誤配準的情況，采用歸一化互信息作為配準度量。實驗結果表明，模態轉換后的紅外光譜信息對提取模態獨立鄰域特征具有效性，在同類算法中有較好的配準效果，為進一步的圖片分析提供了基礎。