紅外可見光圖像配準綜述

萬 昕

(中南民族大學 生物醫學工程學院，湖北 武漢 430074)

1 引言

紅外傳感器和可見光傳感器作為兩種最常見的圖像源被廣泛地應用在計算機視覺、自動控制、目標識別跟蹤等領域。紅外圖像定位具有較高溫度的物體，而可見光圖像則能保存細節信息，將二者融合便能實現在背景中定位高溫物體的功能。因此，紅外和可見光圖像的自動配準技術對二者融合具有重要意義。

由于傳感器之間成像方式和成像平臺的不同，即使在同一時間對同一區域成像所得到的紅外圖像與可見光圖像也存在較大的差別，導致紅外與可見光圖像的配準有著較大的難度。首先是成像原理帶來的差異，紅外與可見光分別處于光譜的不同波段，有其固有特征。可見光圖像灰度值由物體表面反著率和陰影決定，而紅外則由物體表面的發射率和溫度決定。特別是紅外圖像，作為溫差的一個結果具有很高的動態范圍。其次，由于紅外與可見光鏡頭在拍攝同一時間同一區域時不可能在完全相同的位置，會導致二者存在一定的視角差，從而導致圖像產生幾何畸變，給配準時的模型參數估計帶來困難。

根據圖像配準中利用的圖像信息，可將現有的配準方法大致分為兩類：基于特征的配準方法和基于區域的配準方法。

2 基于特征的配準方法

基于特征的配準方法從紅外與可見光圖像中分別抽取共有特征，在特征空間尋找變換模型參數，是目前紅外和可見光圖像配準的研究熱點。從特征提取的類型來看，可分為點特征、線特征和區域特征。

2.1 基于點特征的配準方法

基于點特征的配準是基于特征配準方法中較為熱門的研究方向。點特征的提取一般使用Harris、SIFT、SURF等算法，目前的研究大部分也是圍繞這幾種算法進行改進。也有一些研究學者對特征點的匹配過程進行優化，如相似三角形法、RANSAC特征點篩選等。

(1)基于SIFT的特征點提取。2008年田阿靈等人對SIFT算子提取的特征點采用最近鄰/次近鄰的方法進行配準[1]，同時使用RANSCA算法對匹配的特征點進行篩選[2]。2010年Wang等人提出一種基于改進SIFT的配準方法，他通過檢測當前點在上下兩個尺度和當前尺度8領域內是否是最大或最小值點來判斷該點是不是特征點[3]。2011年趙明等人在使用SIFT算子提取特征點是設定閾值來約束受灰度弱相關影響較大的特征向量幅值，同時在配準過程中使用相似四邊形精確匹配特征點對[4]。2012年Huang等人采用非下采樣輪廓波變換分解圖像，對分解后的圖像使用SIFT算法獲得大量特征點[5]。2016年Dou等人提出一種基于SIFT和稀疏表示的配準算法，他們使用紅外圖像的SIFT描述子稀疏表示可見光圖像描述子[6]。

(2)基于SURF的特征點提取。2011年李寒等人利用SURF算子提取圖像特征點，通過RANSAC進行特征點配對完成配準[7]。2012年Yi等人使用SURF算法提取小波變換獲得的邊緣圖像特征點，并使用最近鄰/次近鄰搜索和RANSAC算法匹配特征點[8]。2014年紀利娥等人對提取的SURF特征進行雙向最近鄰/次近鄰搜索，他們根據可見光特征在紅外圖像一定范圍內搜索匹配點，然后根據紅外特征可見光圖像一定范圍內搜索匹配點，當點對滿足雙向搜索結果均匹配時確定為精確匹配點對[9]。2017年許金鑫等人對圖像邊緣使用SURF算法提取特征點，然后根據正確的匹配點對之間斜率一致性的先驗知識完成特征點匹配[10]。

(3)其他方法。2010年張秀偉等人引入Co-motion運動統計特征，同時結合了同名點選取和外點去除算法進行紅外和可見光序列圖像配準[11]。同年，陳潔等人利用Harris算法提取特征點，在特征點集中搜索最優的相似三角形，利用三角形的一些幾何特征點通過RANSAC算法擬合仿射變換參數[12]。2011年侯晴宇等人針對配準過程的優化方法做出了改進，提出了基于似然函數EM迭代的圖像配準算法，他們使用基于概率密度的自適應閾值分割的外點剔除機制，同時使用EM迭代優化方法求解最優變換參數[13]。2016年徐軍等人將顯著性分析加入到特征點提取中，他們針對圖像不同顯著性區域采用不同的參數提取特征點[14]。

2.2 基于線特征和區域特征的配準方法

基于線特征和區域特征的配準主要還是與特征點相結合，在圖像的邊緣和區域上提取特征點。

(1)基于邊緣和特征點相結合的方法。2007年高峰等人提出一種基于干線對的配準算法，他們使用分支限定法求解紅外和可見光圖像干線配對的最優解[15]。同年，金寶剛等人使用Canny算子提取圖像邊緣，同時以相關系數作為度量，迭代尋找最優仿射變換參數[16]。2009年周鋒飛等人通過在Canny邊緣上尋找位置夾角相似的點作為匹配點完成配準[17]。2011年侯晴宇等人針對配準過程的優化方法做出了改進，提出了基于似然函數EM迭代的圖像配準算法，他們對Canny邊緣點集使用EM迭代優化方法求解最優變換參數，在迭代過程中通過高斯混合概率密度值判斷內外點，剔除外點[18]。2012年吳東東等人使用DP算法對圖像輪廓進行多邊形逼近，對多邊形進行匹配后選取頂點、平行線段等作為特征空間，計算仿射變換參數[19]。2013年閆鈞華等人在多尺度空間下將Harris特征點和Canny邊緣特征相結合，同時通過使用LTS距離進行特征匹配來完成配準[20]。同年胡永利等人提出一種從粗到精的衛星圖像配準算法，他們首先在邊緣圖像上使用Fourier-Mellin變換快速計算仿射變換參數，然后使用Harris算子進行特征點精度匹配確定最終變換參數[21]。同年Han等人利用圖像直線特征估計全局形變參數，形變Harris特征點，并在形變后的特征點一定范圍內搜索精確匹配點[22]。2015年李振華等人提出一種基于輪廓多邊形擬合的配準算法[23]。2016年劉暢等人通過在圖像邊緣上提取曲率變化的局部極值點，同時通過改進的相似三角形匹配法記性特征匹配完成紅外和可見光的配準[24]。

(2)基于區域與特征點結合的方法。2017年陳世偉等人基于最穩定極值區域提取圖像中具有尺度和仿射不變形的橢圓區域，利用橢圓對稱方向矩描述區域特征邊界各個方向上的相似程度獲取匹配特征對[25]。

3 基于區域的配準方法

基于區域的配準方法主要利用圖像灰度信息進行圖像配準，如互信息、梯度信息等。在實際使用過程中，常采用金字塔模型和最優化算法降低計算量，也有一些學者也進行了結合圖像特征與灰度信息配準方面的研究。

基于互信息的配準在醫學圖像領域得到成功應用后，被廣泛延伸至其他多模特圖像配準中。常用的互信息度量有最大化互信息，歸一化互信息等，一些學者也進行了圖像梯度信息或特征與互信息相結合方面的研究。

3.1 基于改進互信息的方法

2010年Zhang等人使用二維經驗模式分解算法對圖像進行分解，然后對分解后的圖像使用最大化互信息進行配準[26]。同年孫雅琳等人使用小波變換提取的邊緣圖像，然后使用歸一化互信息度量邊緣圖像進行配準[27]。2011年Guo等人通過粗配準進行目標輪廓點匹配，然后在此基礎上使用最大化互信息進行精確配準[28]。2013年張家良等人將對其度和歸一化互信息自適應加權平均得到新的相似性測量函數對邊緣圖像進行配準[29]。2015年Yang等人提出一種全局到局部的紅外可見光序列圖像配準算法，他們使用每幅圖像互信息的和作為度量對圖像序列進行全局配準，同時將全局配準結果作為局部配準的初始形變參數進行每幀圖像之間的配準[30]。

3.2 結合梯度信息或圖像特征的方法

2011年崔偉等人在梯度圖像上根據自定義的擴展結構獲得邊緣區域圖像，然后選擇歸一化互信息作為相似性測度，使用Powell算法獲得最優配準參數[31]。2012年柏連發等人使用直接統計梯度圖像的互信息將圖像梯度和灰度信息結合起來，同時使用改進的粒子群優化算法進行參數尋優[32]。同年，彭逸月等人通過圖像邊緣提取特征點，在特征點匹配過程計算原始圖像互信息，以及梯度邊角緣曲線分布圖像互信息，去均值作為最終互信息對特征點進行度量[33]。2016年劉剛等人對紅外和可見光圖像進行非下采樣輪廓波分解，引入梯度歸一化互信息對圖像高尺度低頻圖像和低尺度低頻圖像進行配準[34]。2018年陳震等人提出了一種結合特征點和互信息的配準方法，他們使用Harris角點函數提取特征點，并用renyi互信息作為相似性度量進行配準[35]。

4 結語

因紅外可見光鏡頭的視場角、傳感器的位置或分辨率等方面不一致的問題，圖像間不可避免地出現縮放、平移、旋轉等差異，所以在紅外和可見光圖像融合之前需要進行配準。目前國內外針對紅外和可見光圖像的配準進行了一定的研究，但文獻中提出的方法往往針對性較強，如針對電力圖像的配準或針對遙感圖像的配準。當這些算法應用到一些其他圖像時，效果并不一定理想。

總的來說，基于特征的匹配算法較適合與圖像結構信息豐富、目標輪廓清晰的情況，但是其最終配準結果受特征提取和匹配精度影響較大。現有的一些特征提取與匹配算法在同源圖像上能取得較好的結果，但在非同源圖像上表現不好。基于區域的配準方法適合圖像細節較少、紋理不豐富的情況，但在尋找最優的模型參數過程中搜索空間大，導致算法耗時久。同時，由于紅外反映景物的輻射信息不同于可見光反映景物的反射信息，所以紅外與可見光圖像間相關性小，圖像灰度特征性差應很大，使得一些基于灰度的配準方法很難取得較好的效果。

基于紅外與可見光成像原理所導致的灰度差異大的問題，在紅外和可見光配準技術的研究過程中可以優先考慮基于特征的配準算法。在提取特征的過程中可以嘗試引入新的圖像分解方法，以獲得圖像不同層次的信息。同時嘗試構造新的或改進已有的不變特征及相應描述子，提取更精確的特征。另外結合區域和特征進行配準，也是值得深入研究的方法。