利用風(fēng)格遷移和特征點(diǎn)的多模態(tài)圖像配準(zhǔn)算法

宋智禮，張家齊，熊亮，何鵠

(1.上海應(yīng)用技術(shù)大學(xué) 計(jì)算機(jī)科學(xué)與信息工程學(xué)院，上海 201418；2.中國(guó)人民解放軍32184部隊(duì)，北京 100071)

0 引言

隨著遙感技術(shù)的發(fā)展，多模態(tài)遙感圖像數(shù)量海量增長(zhǎng)。不同模態(tài)之間有著豐富的互補(bǔ)特性，將不同模態(tài)的遙感圖像聯(lián)合起來應(yīng)用有著極大的研究?jī)r(jià)值[1-2]。多模態(tài)遙感圖像的配準(zhǔn)作為多模態(tài)圖像融合分析的第一步，其準(zhǔn)確性直接影響著后續(xù)目標(biāo)檢測(cè)、目標(biāo)識(shí)別、變化檢測(cè)等應(yīng)用的結(jié)果。雖然在遙感圖像配準(zhǔn)領(lǐng)域已經(jīng)取得了顯著的成就，但由于輻射差異、幾何形變以及不同傳感器和不同視點(diǎn)引起的非線性變化，多模態(tài)遙感圖像的配準(zhǔn)仍然是一個(gè)極具挑戰(zhàn)性的任務(wù)。

圖像配準(zhǔn)方法一般可以分為2類：基于灰度信息的圖像配準(zhǔn)算法[3-4]和基于特征的圖像配準(zhǔn)算法[5-7]。基于灰度信息的方法利用一種相似度量函數(shù)來尋找2幅圖像之間匹配的灰度模式信息；由于噪聲引起的光強(qiáng)分布、光照變化和幾何形變，該方法具有一定的局限性。基于特征的方法利用2幅圖像中共有的特征信息(包括點(diǎn)、線、區(qū)域等)進(jìn)行匹配。對(duì)于多模態(tài)圖像，雖然圖像對(duì)之間的結(jié)構(gòu)特性和景觀特性相似，但它們之間的紋理特性、噪聲分布和灰度信息有很大的不同。經(jīng)典的圖像配準(zhǔn)算法，包括尺度不變特征變換(scale-invariant feature transform，SIFT)[8]和加速魯棒性特征(speed up robust features，SURF)[9]往往會(huì)受到影響，導(dǎo)致正確匹配率低。因此，提出一種可以用于多種遙感圖像，具有較高精度和魯棒性的圖像配準(zhǔn)算法，是一個(gè)亟待解決的問題。這個(gè)問題可以通過2種方式來解決：第一種方法是設(shè)計(jì)一種更有表現(xiàn)力的特征描述符[10-13]；另一種方法是消除2幅圖像之間的差異[14]。本文使用風(fēng)格遷移的方法使得待配準(zhǔn)圖像與標(biāo)準(zhǔn)圖像的紋理特性以及灰度信息更加接近，然后結(jié)合傳統(tǒng)的配準(zhǔn)算法實(shí)現(xiàn)多模態(tài)遙感圖像的配準(zhǔn)，提高配準(zhǔn)的精度以及魯棒性。

1 配準(zhǔn)方法

給定基準(zhǔn)圖像R以及浮動(dòng)圖像S，具體步驟如圖1所示。首先，對(duì)圖像S進(jìn)行風(fēng)格遷移，得到風(fēng)格化圖像TS，圖像TS由浮動(dòng)圖像S提供內(nèi)容信息，由基準(zhǔn)圖像R提供紋理、色彩等風(fēng)格信息，風(fēng)格遷移方法詳見2.1節(jié)；然后，清除風(fēng)格化圖像TS中多余的紋理信息，得到圖像S′，方法詳見2.2節(jié)；最后，采用SURF算法對(duì)S′與基準(zhǔn)圖像R進(jìn)行圖像配準(zhǔn)。由于圖像S′經(jīng)過了風(fēng)格遷移，與基準(zhǔn)圖像R之間差異性較小，因此，相對(duì)于圖像S，S′與R配準(zhǔn)效果更好，魯棒性更強(qiáng)，相關(guān)實(shí)驗(yàn)結(jié)果見文章的第3節(jié)。

圖1 本文配準(zhǔn)方法流程圖

2 主要算法

2.1 風(fēng)格遷移

第一個(gè)基于神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移算法[15]由Gatys等人提出。該算法可以將任意圖像的風(fēng)格和內(nèi)容進(jìn)行分離、重組。向系統(tǒng)輸入2幅圖像，一幅為內(nèi)容圖像，另一幅為風(fēng)格圖像，系統(tǒng)輸出一幅合成圖像。合成圖像同時(shí)具有內(nèi)容圖像的結(jié)構(gòu)特性以及風(fēng)格圖像的色彩、紋理特性。風(fēng)格遷移算法示意圖如圖2所示。

圖2 風(fēng)格遷移算法示意圖

(1)

對(duì)第l層活性值進(jìn)行求導(dǎo)可得式(2)。

(2)

(3)

(4)

總損失函數(shù)表示為式(5)。

(5)

式中：wl為各層對(duì)總損失貢獻(xiàn)的權(quán)重因子。El對(duì)第l層活性值進(jìn)行求導(dǎo)，得到式(6)。

(6)

利用標(biāo)準(zhǔn)誤差反向傳播，可以很容易計(jì)算出El相對(duì)于活性值的梯度。

(7)

式中：α和β分別代表內(nèi)容圖像和權(quán)重圖像的權(quán)重因子。

2.2 清除多余紋理

風(fēng)格遷移后的生成圖像TS中會(huì)產(chǎn)生多余的紋理，直接用于圖像的配準(zhǔn)會(huì)影響配準(zhǔn)結(jié)果，因此，需要消除這部分多余的紋理。基本思路是：1)根據(jù)原始浮動(dòng)圖像S，將圖像TS分割為有明顯紋理信息和沒有明顯紋理信息的2個(gè)部分；2)保留有明顯紋理信息的部分，將沒有明顯紋理信息的部分用圖像S中相應(yīng)部分替換。實(shí)現(xiàn)方法如圖3所示，具體步驟如下。

圖3 清除多余紋理算法示意圖

對(duì)圖像S進(jìn)行圖像分割，將圖像分割為2個(gè)部分，得到圖像PS。PS矩陣表示為I∈Rw×h，w和h分別表示圖像PS的寬度和高度，單位為像素。有明顯紋理部分為黑色，灰度值為0，在矩陣I中表示為0；沒有明顯紋理部分為白色，灰度值為255，在矩陣I中表示為1。矩陣I的表達(dá)如式(8)所示，其中Iij表示圖像PS中坐標(biāo)位置為(i，j)處的值。

(8)

式中：A代表有明顯紋理部分；B代表沒有明顯紋理部分。

將圖像PS取反得到圖像NS，矩陣表示為Y∈Rw×h，Yij表示圖像NS中坐標(biāo)位置為(i，j)處的值，其表達(dá)式為式(9)。

(9)

對(duì)圖像S和圖像PS進(jìn)行乘法運(yùn)算，可以提取出圖像S中沒有明顯紋理部分；同樣地，對(duì)圖像TS和圖像NS進(jìn)行乘法運(yùn)算，提取出有明顯紋理部分，再將互補(bǔ)的2部分進(jìn)行加法運(yùn)算即可得到清除多余紋理后的圖像S′。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本實(shí)驗(yàn)所用遙感圖像數(shù)據(jù)如圖4所示。圖像選自USGS和NASA/JPL，其圖像大小、經(jīng)緯度、空間分辨率、拍攝時(shí)間以及成像設(shè)備的詳細(xì)信息見表1。

圖4 實(shí)驗(yàn)數(shù)據(jù)及實(shí)驗(yàn)生成圖像

表1 實(shí)驗(yàn)數(shù)據(jù)詳細(xì)信息表

3.2 評(píng)價(jià)指標(biāo)

1)主觀評(píng)價(jià)。采用偽色圖(false color)作為配準(zhǔn)結(jié)果的主觀評(píng)價(jià)指標(biāo)。配準(zhǔn)結(jié)果中顯示基準(zhǔn)圖像與經(jīng)過變換后的浮動(dòng)圖像重疊后的效果，基準(zhǔn)圖像為綠色，浮動(dòng)圖像為洋紅色，并且重疊處強(qiáng)度越接近，色彩越接近于灰色。從合成的偽色圖中，可以直觀地觀察出2幅圖像是否匹配正確。

2)客觀評(píng)價(jià)。采用均方根誤差(root of mean square error，RMSE)、正確匹配特征點(diǎn)對(duì)個(gè)數(shù)(number of correct matches，NCM)以及運(yùn)行時(shí)間(running time，RT)作為配準(zhǔn)結(jié)果的客觀評(píng)價(jià)指標(biāo)。RMSE和NCM可以反映配準(zhǔn)結(jié)果的準(zhǔn)確性和魯棒性，RT反映了所用方法的時(shí)間性能。

3.3 實(shí)驗(yàn)結(jié)果分析

將本文所提方法與SURF算法進(jìn)行了對(duì)比。圖5(a)、圖5(c)、圖5(e)、圖5(g)為使用SURF算法配準(zhǔn)的結(jié)果，圖5(b)、圖5(d)、圖5(f)、圖5(h)為使用本文方法配準(zhǔn)的結(jié)果。

圖5 配準(zhǔn)結(jié)果偽色合成圖

觀察圖5可知，針對(duì)實(shí)驗(yàn)數(shù)據(jù)組1、實(shí)驗(yàn)數(shù)據(jù)組2，使用SURF算法匹配失敗，使用本文方法可以成功匹配。針對(duì)實(shí)驗(yàn)數(shù)據(jù)組3、實(shí)驗(yàn)數(shù)據(jù)組4，使用SURF算法配準(zhǔn)的結(jié)果中，基準(zhǔn)圖像與浮動(dòng)圖像之間有偏移、錯(cuò)位現(xiàn)象，沒有完全重合，匹配效果不理想；使用本文算法配準(zhǔn)的結(jié)果中，基準(zhǔn)圖像與浮動(dòng)圖像完全重合，沒有錯(cuò)位現(xiàn)象。

從表2可以看出，本文方法在RMSE、NCM 2項(xiàng)指標(biāo)上均優(yōu)于SURF算法，而在時(shí)間性能上，SURF算法表現(xiàn)更佳。

表2 對(duì)比實(shí)驗(yàn)結(jié)果表

綜上所述，本文算法可以有效提高SURF算法在多模態(tài)遙感圖像配準(zhǔn)上的成功率、正確性以及魯棒性，這是由于風(fēng)格遷移減小了多模態(tài)遙感圖像之間的差異性。缺點(diǎn)在于風(fēng)格遷移過程耗時(shí)長(zhǎng)，時(shí)間性能較差。

4 結(jié)束語(yǔ)

本文針對(duì)多模態(tài)遙感圖像使用傳統(tǒng)圖像配準(zhǔn)方法匹配成功率低這一問題，提出了一種基于風(fēng)格遷移和SURF算法的圖像配準(zhǔn)算法。實(shí)驗(yàn)結(jié)果表明，該方法有效提高了SURF算法對(duì)于多模態(tài)遙感圖像配準(zhǔn)的成功率、正確性以及魯棒性。本文方法仍需要在時(shí)間性能上進(jìn)行改進(jìn)，下一步的研究方向是改進(jìn)風(fēng)格遷移方法，提高風(fēng)格遷移速度。