基于融合協方差的紅外和可見光圖像特征融合方法

常春 房艷飛

【摘 要】考慮到不同特征代表了圖像的不同信息，融合后的特征更能體現圖像的本質，重點闡述分析了基于融合區域協方差的特征融合方法，該方法可以自然地融合多個相關的特征，協方差計算本身具有濾波能力且效率高，最后通過設計合適的目標特征，基于區域協方差融合特征實現艦船目標識別。實驗表明，融合協方差描述子可以較好地融合艦船可見光圖像和紅外圖像的聯合目標特征，提高目標識別能力。

【關鍵詞】特征融合;融合區域協方差;目標識別

近年來，出現了用二階統計（比如協方差矩陣， Covariance）來表示圖像區域[1-3]。是因為其如下優點：（1）自然地融合多個相關的特征;（2）計算過程中，去除了大部分噪聲;（3）維數低。因為協方差描述子的這些優點，自從被提出之后，獲得了學者們的高度關注[4]。考慮到協方差特征對噪聲、光照變化和尺度變化是魯棒的，文獻[4]提出用協方差特征來識別足球運動員衣服上的號碼，采用的特征包括：空間位置、灰度和高階梯度等。為了建模時間上變化和火焰中的亮光，文獻[5]引入時間擴展的協方差描述子，提出了基于時空協方差矩陣的視頻火焰檢測方法。該方法將視頻劃分為時空模塊，然后計算這些模塊的協方差特征來檢測火焰。文獻[6]提出用協方差描述子來描述一組人，進行人群匹配。圖像特征沒有使用RGB和灰度梯度，而是在Opponent顏色空間表示像素，這意味著包含了光照變化的不變性。文獻[7]將協方差描述子用于目標跟蹤，跟蹤性能良好，但是效率偏低。為了改善協方差的計算效率，文獻[8]利用log歐氏距離度量來代替協方差計算中的黎曼空間度量。緊跟國際研究熱點，國內近幾年也已將區域協方差描述子用于目標跟蹤等領域[9]。

1 基本原理

令I是一維灰度或三維彩色圖像，F是從I提取的W×H×d維特征圖像，記作：F（x，y）=？覫（I，x，y）。其中，函數？覫可以是任何映射，比如：灰度、顏色、梯度和濾波器響應等，W是區域寬度，H是區域高度，d是特征個數。對給定矩形區域，R？奐F，令{Z}是R內部的d維特征點。我們用特征點的d×d維協方差矩陣來表示區域R為：

C=（z-μ）（z-μ）（1）

其中，μ是特征點的均值，n是區域像素數。

協方差矩陣的對角線表示每個特征的方差，非對角線表示特征間的相關。在協方差計算過程中均值可以濾掉大部分噪聲點。由于對稱矩陣C僅有（d+d）/2個不同值，因此，協方差矩陣是低維的。試想，如果用原始像素值表示，需要n×d維，如果用聯合特征直方圖表示，則需要b維，其中b是代表每個特征的直方圖的級數。

2 積分圖像快速計算協方差

積分圖像思想首先在文獻[10]中被用于快速計算Haar特征。文獻[2]將積分圖像用于快速計算協方差，通過簡單的算術運算即可求解協方差。

積分圖像的每個像素是當前像素和圖像左上角像素所形成矩形區域的所有像素的和。對灰度圖像I來說，積分圖像定義為：

Integral Image（x′，y′）=I（x，y）（2）

基于公式（2），任何矩形區域的和的計算復雜度都是常量。根據積分圖像的思想，區域協方差的計算可以重新表述如下。

令R（x′，y′;x″，y″）是矩形區域，其中（x′，y′）是左上角坐標;（x″，y″）是右下角坐標，每個點是一個d維向量。區域R（x′，y′;x″，y″）的協方差為：

C=[Q+Q-Q-Q-（P+P-P-P）（P+P-P-P）]（3）

其中，n=（x″-x′）（y″-y′）。因此，在重構積分圖像后，任何矩形區域的協方差計算量為O（d）。

3 矩陣的距離計算

最近鄰算法僅需要計算兩個點之間的距離。因此，我們采用最近鄰算法來匹配特征向量。兩個協方差矩陣之間的相似度通過如下距離測度來衡量[9]：ρ（C，C）=。其中，{λ（C，C）}是C和C的廣義特征值，通過如下公式計算：λCx-Cx=0 i=1，…，d。這里x≠0，是廣義特征向量。

4 特征的設計

本文針對艦船目標可見光圖像，設計了11個特征的協方差，包括：W不變量、彩色梯度不變量的x和y方向微分的大小以及方向，來表示感興趣區域。針對紅外圖像，設計了5個特征的協方差，包括：像素灰度、灰度的一階和二階梯度的范數，來表示感興趣區域。然后采用最近鄰算法對協方差融合特征進行圖像匹配，實現艦船目標識別。

對可見光圖像的每個像素，我們用如下d=11維向量表示：

F（x，y）=[（E（x，y）E（x，y）arctan）]（4）

其中，和是位置（x，y）處，定義在opponent 顏色空間的W不變量，具體如下：

OOO=（5）

另外，E和E是彩色梯度不變量的x和y方向微分，i=1，2，3分別對應灰度、黃藍通道和紅綠通道，具體如下：

E（x，y）E（x，y）E（x，y）=0.06 0.630.270.30 0.04 -0.350.34 ?-0.60 ? ?0.17R（x，y）G（x，y）B（x，y）（6）

對紅外圖像的每個像素，我們提取如下幾個特征：圖像灰度、x和y方向一階和二階梯度的范數，這樣，每個像素映射為d=5維的特征空間。

F（x，y）=[I（x，y）]（7）

其中，I是圖像灰度，圖像梯度通過濾波器[-101]和[-12-1]來計算。

5 圖像目標識別

5.1 紅外和可見光協方差矩陣的融合

首先將特征向量歸一化。假定y是Y中的一個樣本，歸一化過程為：y=（y-μ）/σ，其中，μ和σ是訓練樣本集Y的均值和標準差，結果y就是可見光艦船圖像的歸一化特征向量。類似地，可以得到紅外艦船圖像的歸一化特征向量y。通過歸一化，y和y具有相同的均值（0）和相同的標準差（1）。然后，我們用相同的權重串行的結合可見光圖像特征向量y和紅外圖像特征向量y。

5.2 圖像目標識別步驟

事先說明，訓練樣本和測試樣本中的紅外和可見光圖像時一一對應的，即對應的兩幅圖像是同一目標分別在不同傳感器模式下獲取的。

區域協方差表示融合圖像類的過程為：對訓練樣本集中的每個紅外圖像采樣s個隨機位置和大小的矩形區域，記憶此位置和大小，對與之相對應的可見光圖像采樣。然后使用積分圖像計算每個區域的協方差矩陣。之后將紅外和可見光圖像中對應區域的協方差用相同權重融合。

目標識別過程為：對給定測試的紅外圖像和可見光，用同樣的方法得到融合協方差。對每個協方差矩陣，根據公式計算到訓練樣本集中所有協方差矩陣的距離，根據k個最近鄰中，少數服從多數的原則，預測分類結果。這個分類結果作為弱分類結果，真正分類結果則根據s個弱分類器中投票最多的原則來確定。

6 仿真實驗

實驗用兩組艦船紅外和可見光圖像見圖1。每類均5張，前3張作為訓練集，后2張作為測試集。實驗中，對訓練和測試集中每個圖像，都采樣s=50個隨機協方差，KNN算法中k=5。由于窗口位置和大小的隨機性，進行10次實驗，然后取平均值來代表融合協方差描述子的分類性能，見表1。

圖1 實驗圖像

表1 融合協方差描述子的識別率

從實驗結果可以看出，融合協方差描述子具有較高的識別率。另外，為了具有較高的識別率，比如100%，可以考慮記憶隨機位置參數，然后針對某類圖像的識別問題，將識別率高時的位置參數就作為這類圖像的采樣位置。另外一個解決辦法是增加采樣窗口數，但這會增加計算量。

為了驗證其優越性，將此方法與單模的紅外和可見光協方差目標識別進行比較。采樣數同樣是s=50，也是進行十次求其平均識別率。

表2 不同模式的協方差描述子識別性能比較

從實驗結果可以看出，融合協方差描述子比單模協方差描述子可以更好的融合艦船圖像特征，具有相對更高的識別率。

7 結束語

圖像中的不同特征總是反映目標的不同特性，對它們的優化組合，既保留了參與融合的多特征的有效鑒別信息，又一定程度上消除了冗余信息，對提高目標特征描述的準確度無疑具有重要意義。因此，本文重點分析了如何將基于融合區域協方差的方法用于艦船紅外和可見光圖像聯合目標識別。該方法的主要特點有：（1）用協方差表示圖像特征，維數更少;（2）用積分圖像來快速計算協方差，效率更高;（3）多傳感器圖像聯合識別可以融合更多有效的目標特征，比單模效果更好。仿真實驗表明，融合區域協方差可以較好地融合艦船可見光圖像和紅外圖像的目標特征，目標識別率較高。

【參考文獻】

[1]O. Tuzel， F. Porikli， P. Meer. Pedestrian detection via classification on Riemannian Manifolds[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence， 2008， 30（10）： 1713-1727.

[2]Oncel Tuzel， Fatih Porikli， Peter Meer. Region covariance： a fast descriptor for detection and classification[C]//Proceedings of ECCV.Graz， Austria， 2006： 589-600.

[3]Ryuya Ando， Hidehiro Ohki， Yoneharu Fujita. A comparison with covariance features on player uniform number recognition[C]//Proceedings of FCV. Korea， 2011： 1-4.

[4]Yusuf Hakan Habiboglu， Osman Gunay， A. Enis Cetin. Flame detection method in video using covariance descriptors[C]//Proceedings of ICASSP.Prague， Czech， 2011： 1817-1820.

[5]Yinghao Cai， Valtteri Takala， Matti Pietikainen. Matching groups of people by covariance descriptor[C]//Proceedings of ICPR.Istanbul， Turkey， 2010： 2744-2747.

[6]F. Porikli， O. Tuzel， P. Meer. Covariance tracking using model update based on means on Riemannian manifolds[C]//Proceedings of CVPR. New York， USA， 2006： 728-735.

[7]Peihua Li， Guolong Wu. Iris Recognition Using Ordinal Encoding of Log-Euclidean Covariance Matrices[C]//Proceedings of ICPR.Tsukuba， Japan， 2012. 2420-2423.

[8]朱明清，陳宗海.基于橢圓區域協方差描述子和卡爾曼粒子濾波的魯棒視覺跟蹤方法[J].控制與決策，2011，26（5）：721-725.

[9]F¨orstner W.， Moonen B. A metric for covariance matrices[R]. Dept. of Geodesy and Geoinformatics， Stuttgart University， 1999.

[10]P. Viola， M. Jones. Rapid object detection using a boosted cascade of simple features[C]//Proceedings of CVPR. Kauai， HI， 2001： 511-518.

[責任編輯：楊玉潔]