關(guān)于紅外與可見光圖像配準(zhǔn)的研究

趙晨+陳天華+李子伊+王聰聰

摘要：在紅外與可見光的配準(zhǔn)中，可見光圖像和紅外圖像之間存在較大的灰度差異，對同一景物所表現(xiàn)出的特征也不相同，這是造成配準(zhǔn)精度不高的主要原因。目前，對于邊緣特征比較明顯的圖像，主要通過歸一化互信息和邊緣特征相結(jié)合的方法來將其配準(zhǔn)。這種方法的優(yōu)點(diǎn)是容易實(shí)現(xiàn)，魯棒性高；缺點(diǎn)是計算量大、速度慢。因此我們比較了3種不同算法間的優(yōu)缺點(diǎn)，能為圖像的融合和配準(zhǔn)研究提出新的研究方向和想法。

關(guān)鍵詞：小波變換；主要成分分析；相似三角形匹配

圖像融合是將兩幅或多幅圖像組合成一幅保持重要圖像特征的過程。圖像的融合通常需要從不同的圖像獲得原始圖像的特征。在同一場景下，通常不同的儀器或捕獲技術(shù)（如多傳感器、多焦點(diǎn)和多模態(tài)）進(jìn)行取景并融合配準(zhǔn)。對于遙感圖像，一些具有良好的光譜信息，而一些具有相對較高的幾何分辨率。因此，這些圖像在許多方面都是互補(bǔ)的，沒有一個圖像能清晰展示場景的全部特征。通過整合這些圖像，充分利用這些圖像的優(yōu)點(diǎn)和各自的不同的信息，在不同的圖像中看到互補(bǔ)的特征，從而生成相對較清晰的圖像。融合技術(shù)包括最簡單的像素平均方法，更復(fù)雜的方法，有主要成分分析和小波變換融合等等。

1.三種算法的基本介紹

1.1 基于相似三角形法

基于相似三角形法的首要任務(wù)是將提取出來的Harris角點(diǎn)組成相似三角形，通過算法搜索出兩副圖像中最匹配的一對相似三角形即找出最匹配的三個角點(diǎn)并通過相似三角形的性質(zhì)，計算出相關(guān)的匹配點(diǎn)，最后利用RANSAC算法擬合出匹配參數(shù)對圖像進(jìn)行配準(zhǔn)。

1.2 主要成分分析法

主要成分分析法（PCA）的主要過程是將一些相關(guān)變量轉(zhuǎn)換成一些非相關(guān)變量，其核心算法是計算出經(jīng)過壓縮后的最優(yōu)的數(shù)據(jù)組的描述。本方法可以在保留大量信息的情況下，通過突出圖片的相似點(diǎn)和不同點(diǎn)來進(jìn)行匹配。在圖像融合時，PCA主要分析維度減少前后的數(shù)據(jù)，幫助減少多余的信息并且重點(diǎn)突出特征最為明顯的成分，近一步增加信號對噪聲的比例。

1.3 小波變換法

該方法的基本思想是通過選擇合適的基礎(chǔ)函數(shù)來影響圖像采樣的時間-頻率變換數(shù)值，運(yùn)用小波變換，能有效地從圖像中提取有用信息。它還提供了一個可以隨著信號頻率改變的時間-頻率窗口，能夠隨著頻率的不同而改變窗口大小。它通過伸縮和平移等方法可對函數(shù)或信號進(jìn)行多尺度的細(xì)化分析，從而解決了很多Fourier變換不能解決的復(fù)雜信號處理問題。

2.三種算法的基本原理

2.1 基于相似三角形法

該算法主要包括三個主要步驟：1.特征點(diǎn)提??；2.搜索最佳匹配的三個特征點(diǎn)組成的相似三角形；3.RANSAC算法擬合出配準(zhǔn)參數(shù)。

首先是提取Harris角點(diǎn)。Harris角點(diǎn)檢測算法就是對角點(diǎn)響應(yīng)函數(shù)R進(jìn)行閾值處理：R > threshold，即提取R的局部極大值；

其次是搜索最優(yōu)匹配和判別相似三角形。為加快計算速度，提取的三角形需滿足三邊互不相等，利用三角形三邊對應(yīng)成比例的判定條件，判別相似三角形。但三角形的一條邊需要與另一三角形的每一條邊進(jìn)行匹配，才能判斷出是否相似，這樣計算量很大。如果三角形相似，對應(yīng)長度的邊應(yīng)匹配：即長邊對應(yīng)長邊，為此，先計算三角形每一條邊的長度。按邊長從大到小的順序，求對應(yīng)長度的邊長的比值。設(shè)置誤差閾值k當(dāng)三角形對應(yīng)長度的邊長比值在誤差閾值內(nèi)近似相等時，即認(rèn)為兩個三角形相似。由三角形頂點(diǎn)與對邊一一對應(yīng)的關(guān)系，可以通過三角形對應(yīng)長度的邊，判斷出三對匹配的角點(diǎn)。

但相似三角形中會存在誤匹配問題，為解決此問題，提出了位置相似三角形的概念。位置相似三角形滿足一般相似三角形的性質(zhì)，相似三角形對應(yīng)邊正向夾角相等，規(guī)定逆時針為夾角的正方向。通過位置相似三角形，可以去除掉大量誤匹配三角形，但當(dāng)兩幅圖像間旋轉(zhuǎn)角度很小或圖像間僅存在平移問題時，不滿足位置相似三角形的條件。且由于紅外與可見光圖像中角點(diǎn)間相關(guān)度較小，如果去除掉類似這種情況的匹配三角形，可能會使配準(zhǔn)誤差變大，甚至找不到匹配點(diǎn)。因此，可以通過設(shè)置兩個誤差閾值k1，k2來控制相似三角形匹配，即當(dāng)圖像間旋轉(zhuǎn)角度較大時（設(shè)置旋轉(zhuǎn)角度大于等于2°），通過K1控制相似三角形對應(yīng)邊正方向夾角的誤差；設(shè)置α，β，γ為對應(yīng)邊正方向夾角，當(dāng)滿足|α-β|，|α-γ|，|β-γ|都小于等于k1時，兩三角形位置相似，當(dāng)圖像間旋轉(zhuǎn)角度很小或僅存在平移問題時，通過閾值K2控制，即設(shè)三角形對應(yīng)邊的正方向夾角為α，當(dāng)三條對應(yīng)邊正方向夾角同時滿足α≤k2或α≥π-k2時，認(rèn)為是位置相似三角形，即誤差小于k1或k2時，為最優(yōu)匹配三角形。

通過上述方法，提取出的三對匹配的角點(diǎn)為可疑匹配特征點(diǎn)。接下來要估算相關(guān)匹配點(diǎn)。傳統(tǒng)的特征點(diǎn)匹配需找出滿足求取變換模型參數(shù)的特征點(diǎn)個數(shù)，這樣在匹配的特征點(diǎn)中有些誤差較大會降低匹配精度。本文提出利用三角形相似的相關(guān)性質(zhì)，如：對應(yīng)三邊中點(diǎn)匹配。三角形內(nèi)切圓圓心，外接圓圓心匹配等。通過最佳匹配的三對特征點(diǎn)生成的匹配點(diǎn)，精度會更高。本文通過三角形的性質(zhì)：對應(yīng)三邊中點(diǎn)匹配，外接圓圓心匹配，計算出四對匹配點(diǎn)，與搜索出的三對可疑匹配特征點(diǎn)組成一組可以匹配點(diǎn)。

在RANSAC算法求取θ（參數(shù)矩陣θ=[cosΦ sinΦ tx]T）中，可通過RANSAC算法求取θ的最優(yōu)解，步驟如下：

1.選取四對匹配點(diǎn)計算參數(shù)矩陣θ

2.計算其他匹配點(diǎn)離θ的距離d

3.設(shè)定閾值計算出此對應(yīng)θ的內(nèi)點(diǎn)；

4.找到內(nèi)點(diǎn)最多的θ的估計和對應(yīng)的內(nèi)點(diǎn)；

2.2 主要成分分析法

PCA的實(shí)現(xiàn)方法主要有三種：原始PCA，基于PCA的奇異值分解和基于PCA的經(jīng)濟(jì)型奇異值分解。接下來將詳細(xì)論述這三種實(shí)現(xiàn)方法。

2.2.1原始PCA

在原始PCA中，將原始空間的數(shù)據(jù)投射到特征空間，來增加方差并且減少協(xié)方差，以便識別數(shù)據(jù)中的模式。原始PCA的流程主要由建立類似柵格矩陣、標(biāo)準(zhǔn)化圖像、建立協(xié)方差矩陣、尋找特征向量和特征值、找到主要成分和重建圖像幾部分組成。endprint

2.2.2基于PCA的奇異值分解

基于PCA的奇異值分解的主要理念是通過對奇異值的分解來尋找特征值和特征變量。總體上來看，一個M×N的矩陣可以被分解成三個小的矩陣。

A=UΣV T式（2-1）

其中M≥N，U是一個M×M的矩陣，Σ是一個M×N的非負(fù)的對角矩陣，代表矩陣A的奇異值。V是一個N×N的矩陣。并且U的每一列給出矩陣A在主要成分空間里的坐標(biāo)。通過保持矩陣U的列并且重建結(jié)果圖像，這樣很容易減少原始圖像序列中的多余數(shù)據(jù)。相同的，一但類柵格矩陣被建立和標(biāo)準(zhǔn)化，SVD變換就會被式子2-1用來去特征值和特征向量。

式（2-2）

式（2-3）

2.2.1基于PCA的經(jīng)濟(jì)型奇異值分解

一種更簡潔的，更省時的方法，是基于PCA的奇異值分解法。因為在該種方法中，只有矩陣U的各別列被保留，用來重建結(jié)果圖片。跟普通的基于PCA的SVD相比，這種方法在建立類光柵的矩陣有所不同（2-2）。用相同的標(biāo)準(zhǔn)化操作在每個維度來建立以零為中心數(shù)據(jù)（2-3）。

接下來，用經(jīng)濟(jì)型SVD來標(biāo)準(zhǔn)化矩陣（2-1）當(dāng)標(biāo)準(zhǔn)化矩陣是M×N，且，，的矩陣時，這種方法只計算M矩陣中最開始的N列和的矩陣Σ的大小，而不是的矩陣Σ的大小。最后，通過最開始的矩陣U（呈現(xiàn)將近百分之八十到百分之九十的原始圖像的序列的方差）的經(jīng)驗正交函數(shù)重建結(jié)果圖像。

2.3 小波變換法

在小波變換中，時間上的延長將順應(yīng)相關(guān)的分析頻率的基函數(shù)變化。基于信號處理的不確定性原理：

?T ?ω≥1/2

其中，T代表時間，ω代表角頻率（ω=2πF，其中F是時間頻率）。我們在時域中要求的分辨率越高，則相應(yīng)的頻率分辨率就越低。所以要選擇較大的分析窗口去擴(kuò)展。還有一個很重要的參考標(biāo)準(zhǔn)是?T。

當(dāng)?T很大時，時間分辨率差，但頻率分辨率較高，低頻成分占到了很大的比例；當(dāng)ΔT很小的時候，時間分辨率較高，但頻率分辨率變差。高頻成分只占一小部分。

換句話說，基函數(shù)Ψ可以被視為一個系統(tǒng)的脈沖響應(yīng)函數(shù)x（t）而被過濾掉。經(jīng)過轉(zhuǎn)換后的信號提供了有關(guān)時間和頻率的信息。因此，小波變換不僅包含了與快速傅立葉變換類似的信息，還具有小波的特殊性質(zhì)，即在基函數(shù)的較高分析頻率下及時顯示出分辨率的特性。

基于此，小波變換在圖像融合中的步驟如下：

首先要對紅外與可見光的圖像分別進(jìn)行小波變換，建立他們的小波塔型分解；

接著對每一分解層分別進(jìn)行融合處理，各分解層上的頻率分量根據(jù)融合規(guī)則進(jìn)行融合處理，最終得到融合后的小波金字塔；

對融合后的小波金字塔進(jìn)行小波逆變換，所得到的圖像即為重構(gòu)的融合圖像。

3.結(jié)論與對比

1.基于相似三角形匹配的紅外與可見光圖像配準(zhǔn)方法通過最優(yōu)的三個匹配角點(diǎn)計算出相關(guān)的匹配點(diǎn)，師匹配點(diǎn)精度更高；因為該算法只考慮特征點(diǎn)間的幾何性質(zhì)，所以對圖像間的灰度變化、縮放、旋轉(zhuǎn)、平移具有較強(qiáng)的魯棒性，可以較好地解決在剛體變換條件下紅外與可見光圖像配準(zhǔn)的問題。

2. PCA可以減少背景中不需要的物體，保留關(guān)鍵物體。同時，背景和所要突出的物體的對比度提高了。關(guān)鍵物體的邊沿被增強(qiáng)，有利于接下來的融合和進(jìn)程的跟蹤?；赑CA的圖像融合成功的保留了所有關(guān)鍵特征，并且增強(qiáng)了信噪比，增強(qiáng)邊緣，突出主要特征。但是在空間域上有時候會發(fā)生光譜退化，導(dǎo)致圖像失真，因為待融合的圖片的近似圖片差異過大，即相關(guān)性較弱，往往不能準(zhǔn)確的分配權(quán)重。

3.小波變換在高頻時分辨能力較好，而對于慢變函數(shù)而言，頻率分辨率是顯著的?；诙囝l域分別融合的小波變換技術(shù)，將一幅圖像分別變換到不同的頻域，用不同的融合規(guī)則進(jìn)行處理，得到的新圖像能有效提高多焦點(diǎn)圖像的清晰程度。

參考文獻(xiàn)：

[1]Different Image Fusion Techniques –A Critical Review，Deepak Kumar Sahu1，M.P.Parsai2，2012

[2]紅外與可見光圖像配準(zhǔn)研究現(xiàn)狀與展望，趙振兵，高強(qiáng)等，2009

[3]PHS Tor A Zissernan Feature based methods for structure and motion estimation，Proc of Workshop on Vision A gorithms，1999

[4]基于PCA分解的圖像融合框架，潘瑜，孫權(quán)森，夏德深，2011

[5]KIM Y S，LEE J H，RA J B.Multi-sensor image registration based on intensity and edge orientation information[J].Pattern Recognition，2008，41（11）：3356-3365.

[6]王阿妮，馬彩文，劉爽，等.基于角點(diǎn)的紅外與可見光圖像自動配準(zhǔn)方法[J].光子學(xué)報，2009，38（12）：3328-3332.

[7]馮宇平，戴明，孫立悅，等.圖像自動拼接融合的優(yōu)化設(shè)計[J].光學(xué) 精密工程，2010，18（2）：471-475.

[8]MIKOLAJCZYK K，SCHMID C.A performance evaluation of local descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（10）：1615-1630.

[9]紀(jì)華，吳元昊，孫宏海，等.結(jié)合全局信息的SIFT特征匹配算法[J].光學(xué) 精密工程，2009，17（2）：339-444.endprint