一種基于IHS和NSST的多光譜圖像融合方法?

余楚恒 任明武

（南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 南京 210094）

1 引言

迷彩服的設(shè)計(jì)初衷［1］就是為了偽裝迷彩人員，其技術(shù)原理是減少迷彩服飾與背景在可見(jiàn)光、紅外等某一波譜上的輻射強(qiáng)度的差異，使得迷彩目標(biāo)與背景進(jìn)行混淆，達(dá)到偽裝的目的。在實(shí)際應(yīng)用中，迷彩服、偽裝網(wǎng)等與背景極為相似，使用可見(jiàn)光設(shè)備采集的圖像，迷彩光譜特征較弱，成像細(xì)節(jié)不明顯，導(dǎo)致很難進(jìn)行區(qū)分，造成目標(biāo)檢測(cè)效果較差，難以達(dá)到預(yù)期的要求。但是迷彩服飾與植物在材料組成上仍然存在本質(zhì)的區(qū)別，不同波譜下的反射強(qiáng)度存在明顯差異，可結(jié)合不同波段下的圖像進(jìn)行聯(lián)合檢測(cè)。相關(guān)研究表明，基于多傳感器或多譜段數(shù)據(jù)的融合能夠達(dá)到增強(qiáng)目標(biāo)，抑制背景的目的。通過(guò)多光譜圖像的有效融合，可以充分利用不同光譜波段圖像之間的冗余數(shù)據(jù)和互補(bǔ)信息，獲得對(duì)于某一特定目標(biāo)更為精確的描述，從而提高目標(biāo)檢測(cè)的效果［2～3］。

傳統(tǒng)的多光譜圖像融合算法主要分為兩類(lèi)，第一類(lèi)是基于空間域的方法，包括ICA［4］、主成分分析法PCA［5］以及人工神經(jīng)網(wǎng)絡(luò)［6］等，該類(lèi)方法較為容易實(shí)現(xiàn)，但是融合后圖像細(xì)節(jié)不明顯，目標(biāo)特征不明確。第二類(lèi)是基于變換域的方法，主要有小波變換DWT［7］、NSCT變換［8］和NSST變換等。2004年宋建社［9］提出將小波變換應(yīng)用于遙感圖像融中，但是DWT的多尺度分解僅僅在少數(shù)幾個(gè)方向上，導(dǎo)致融合結(jié)果難以反映良好的空間邊緣信息；NSCT則具備多尺度各向異性的能力，具有平移不變性，但是由于結(jié)構(gòu)復(fù)雜，使得運(yùn)算數(shù)據(jù)量過(guò)大，耗時(shí)較長(zhǎng)。NSST則是在剪切波的基礎(chǔ)上發(fā)展而來(lái)的，具有較好的多尺度分解能力，較好地描述圖像的細(xì)節(jié)特征，并且運(yùn)行速度快。

因此，針對(duì)叢林環(huán)境中迷彩人員檢測(cè)問(wèn)題，本文結(jié)合IHS變換能有效區(qū)分亮度信息和光譜信息這一優(yōu)點(diǎn)，以及NSST變化在多尺度分析和平移不變性的優(yōu)勢(shì)，提出一種基于IHS變化和NSST變換的多光譜圖像融合方法。

2 基本理論

2.1 IHS空間

IHS顏色空間［10］是根據(jù)色彩、亮度以及飽和度對(duì)于圖像進(jìn)行描述，亮度分量與色度是相互獨(dú)立，色彩和飽和度分量與視覺(jué)感知相關(guān)聯(lián)，適用于人的視覺(jué)來(lái)感知彩色特征的圖像融合算法，因此對(duì)于不同迷彩服在色彩上的特征能借助該變換進(jìn)行圖像融合。

從RGB可見(jiàn)光圖像到IHS顏色空間的變換公式如下所示：

其中，I表示亮度分量，H和S分別表示色彩分量和飽和度分量。

從IHS空間轉(zhuǎn)換到RGB坐標(biāo)的逆變換如下所示：

2.2 非下采樣剪切波NSST變換

2007年Guo［11］通過(guò)反射系統(tǒng)將幾何和多尺度相結(jié)合構(gòu)成了剪切波（shearlet），但是不具備平移不變性，在圖像重構(gòu)過(guò)程中容易出現(xiàn)偽吉布斯現(xiàn)象，因此Guo基于shearlet進(jìn)行改進(jìn)，提出了NSST變換，該變換具有一定的各向異性、計(jì)算效率高、無(wú)方向數(shù)和支撐尺度尺寸限制等優(yōu)點(diǎn)，內(nèi)部的基函數(shù)具有可變的楔形支撐空間，通過(guò)膨脹和剪切操作自適應(yīng)表示圖像的幾何特性，將其應(yīng)用于多光譜圖像融合，可以為融合圖像提供更多有用的信息。

非下采樣剪切波變換［12］屬于非正交變換，主要是由基于非下采樣金字塔濾波（NSP）的多尺度分解和基于改進(jìn)的剪切波濾波（SF）多方向分解組成。多尺度分解是通過(guò)K次反復(fù)的分解，每一級(jí)分解均根據(jù)對(duì)于上一級(jí)分解過(guò)程中使用的錄波器組進(jìn)行上采樣，最終得到K個(gè)高頻分量和單個(gè)低頻分量，與原圖像具有相同的尺寸大小。多方向分解使用標(biāo)準(zhǔn)的SF分解器，將偽極化網(wǎng)格系統(tǒng)直接映射到直角坐標(biāo)系上，并進(jìn)行傅里葉變換，實(shí)現(xiàn)二維卷積操作，從而避免了SF分解過(guò)程中的下采樣步驟，保證了尺度平移不變特性。NSST離散化過(guò)程如圖1所示。

圖1 IHS顏色空間

2.3 融合規(guī)則

多光譜圖像融合的目的就是將特征波段下的邊緣特征和可見(jiàn)光下的紋理特征結(jié)合到一起。低頻分量主要包含圖像的特征目標(biāo)輪廓信息和可見(jiàn)光圖像中的背景信息，本文對(duì)于特征波段圖像采用局部能量取大值原則，因?yàn)槊圆史诓煌ǘ蜗碌姆瓷鋸?qiáng)度不相同，在圖像上所顯示則是亮度信息的差異，即局部能量的差異，因此對(duì)于特征波段圖像采用基于局部能量取大原則［13］。

其中：

式中：(i，j)表示圖像中的像素點(diǎn)，M，N分別表示局部尺寸大小，c代表低頻分量序號(hào)。

對(duì)于彩色圖像分解出來(lái)的亮度分量，則使用自適應(yīng)模糊邏輯［14］原則，因?yàn)槟繕?biāo)的不同特征和相鄰像素之間以及圖像系統(tǒng)內(nèi)部的不確定性。利用模糊邏輯隸屬度函數(shù)能自適應(yīng)地決定分量中的像素點(diǎn)歸屬于特征目標(biāo)還是背景，對(duì)應(yīng)的隸屬度函數(shù)如下所示：

式中：U表示對(duì)象構(gòu)成的集合，x為集合中的元素，A為U的模糊集合，μA(x)表示A的隸屬度，取值在0～1之間。常見(jiàn)的隸屬度函數(shù)包括三角形隸屬度函數(shù)，高斯分布隸屬度函數(shù)以及廣義鐘形隸屬度函數(shù)，文中采用高斯函數(shù)隸屬度函數(shù)作為加權(quán)系數(shù)，應(yīng)用于圖像融合中，表達(dá)式如下所示：

式中：μ為函數(shù)的中心，文中表示圖像均值；σ為函數(shù)寬度，文中表示圖像標(biāo)準(zhǔn)差。

高頻分量主要反映的是圖像細(xì)節(jié)信息，包含了圖像的紋理特性、邊緣特性等信息，細(xì)節(jié)信息之間具有很大的獨(dú)立性，采用模值取大的規(guī)則，能極大程度保留目標(biāo)的邊緣細(xì)節(jié)，保證融合圖像的清晰度，并且算法運(yùn)行效率高。表達(dá)式如下所示：

3 融合步驟和流程圖

特征波段圖像記錄了迷彩服飾在不同波段下的反射信息，輪廓特征較為明顯，細(xì)節(jié)信息較弱。而可見(jiàn)光圖像記錄場(chǎng)景中的更多細(xì)節(jié)信息，適合于人眼觀察。

針對(duì)全色圖像和特征波段圖像融合的特點(diǎn)，根據(jù)IHS變換和NSST變換各自的優(yōu)勢(shì)進(jìn)行融合策略的設(shè)計(jì)，提出了一種結(jié)合IHS和NSST變化的多光譜圖像融合方法，具體步驟如下：

1）對(duì)于特征波段圖像和全色圖像進(jìn)行圖像配準(zhǔn)，本文算法中的圖像均已完成圖像配準(zhǔn)操作。

2）將全色圖像進(jìn)行IHS變換，分離出亮度分量I，和對(duì)應(yīng)的H、S分量。

3）特征波段圖像之間進(jìn)行多層NSST變換，其中低頻分量采用基于局部能量比與基于局部能量加權(quán)原則，高頻分量采用模值取大策略進(jìn)行圖像融合，得到特征波段融合圖像F2。

4）利用NSST變換對(duì)于亮度分量I和融合圖像F2進(jìn)行多尺度多方向分解，得到對(duì)應(yīng)的高低頻分量，按照低頻分量進(jìn)行自適應(yīng)模糊邏輯操作，高頻分量模值取大規(guī)則進(jìn)行融合，得到新的亮度分量I'。

5）將新亮度分量I'、H和S分量進(jìn)行逆HIS變換，得到融合圖像新RGB。

圖像融合流程如圖2所示。

圖2 NSST變換流程

圖3 算法流程

4 實(shí)驗(yàn)和結(jié)果分析

為驗(yàn)證本文所提出的基于IHS和NSST變換的多光譜圖像融合方法的有效性，使用采集的多光譜圖像進(jìn)行試驗(yàn)，采集圖像時(shí)的氣象條件為晴朗天氣，采集時(shí)間覆蓋日出后、正午以及日落前等時(shí)間段，采集場(chǎng)景主要為叢林背景，并且所使用的圖像均已進(jìn)行配準(zhǔn)，圖像大小為1920*1000。圖4為一組多光譜圖像實(shí)例。

圖4 多光譜圖像實(shí)例

實(shí)驗(yàn)的驗(yàn)證環(huán)境為Inter Core i5-8300H，CPU主頻為2.3GHz，內(nèi)存16GB，軟件實(shí)驗(yàn)平臺(tái)為MAT?LAB R2014a。并與DWT、NSCT、文獻(xiàn)［15］中使用的NSST_PCNN［15］等方法進(jìn)行實(shí)驗(yàn)比較，其中DWT采用2層“bior”小波分解；NSCT選擇使用相同的融合規(guī)則，即低頻、高頻分別采用自適應(yīng)模糊邏輯和模值取大的融合規(guī)則；文獻(xiàn)中采用NSST變換，其中低頻基于PCNN融合規(guī)則，各類(lèi)算法的融合實(shí)驗(yàn)結(jié)果如下所示。

圖5 融合結(jié)果實(shí)驗(yàn)圖

由于缺少標(biāo)準(zhǔn)參考圖像，使用可見(jiàn)光圖像作為參考圖像，選擇相關(guān)系數(shù)（CC）、標(biāo)準(zhǔn)差（STD）、平均梯度（AG）、通用質(zhì)量評(píng)價(jià)指標(biāo)（UIQI）和信息熵（IE）等五種客觀評(píng)價(jià)指標(biāo)對(duì)于融合圖像進(jìn)行客觀評(píng)估［16］。其中，CC表示圖像之間的相關(guān)程度。STD表示像素點(diǎn)與圖像平均值之間的離散程度，值越大圖像信息越多，融合質(zhì)量越好；AG反映圖像對(duì)于細(xì)節(jié)的表達(dá)能力，值越大圖像對(duì)比度越高，圖像越清晰；IE表示圖像所攜帶的信息量的大小。UIQI表示圖像的相似程度，越接近1表示圖像質(zhì)量越好。對(duì)應(yīng)的融合圖像質(zhì)量評(píng)價(jià)指標(biāo)數(shù)據(jù)如表1。

表1 圖像融合結(jié)果的客觀評(píng)價(jià)

從融合圖像進(jìn)行分析，各類(lèi)算法均能實(shí)現(xiàn)信息的有效提取，但是效果存在一定的差異。DWT算法實(shí)現(xiàn)的算法中迷彩人員的輪廓信息與周?chē)h(huán)境對(duì)比效果不明顯，并且圖像較為模糊；NSCT算法融合圖像在視覺(jué)上存在色彩失真的情況，并且迷彩人員亮度信息明顯，丟失了一部分紋理特征信息；文獻(xiàn)［15］使用的算法實(shí)現(xiàn)的融合結(jié)果，目標(biāo)特征不明顯；本文實(shí)現(xiàn)的融合圖像結(jié)合了前兩種方法的優(yōu)點(diǎn)，既增強(qiáng)了亮度信息，有保留了圖像的紋理特征信息。從圖像質(zhì)量評(píng)價(jià)指標(biāo)上分析，本文提出的方法在各類(lèi)指標(biāo)上均得到較好的指標(biāo)。

并且分別對(duì)于可見(jiàn)光圖像、融合圖像以及單通道圖像進(jìn)行YOLOv3網(wǎng)絡(luò)訓(xùn)練并進(jìn)行目標(biāo)檢測(cè)，其中可見(jiàn)光圖像準(zhǔn)確率僅為65%；單通道圖像中不僅準(zhǔn)確率低，而且由于缺少顏色信息，對(duì)于不同顏色迷彩服無(wú)法準(zhǔn)確檢測(cè)，無(wú)法正確分辨荒漠迷彩和叢林迷彩；融合圖像檢測(cè)結(jié)果準(zhǔn)確率為75.8%，從而驗(yàn)證了本文算法具有一定的優(yōu)勢(shì)。

5 結(jié)語(yǔ)

本文基于多光譜圖像之間信息互補(bǔ)的特點(diǎn)，提出基于IHS顏色空間和非下采樣剪切波圖像融合的迷彩人員檢測(cè)方法，采用自適應(yīng)模糊邏輯作為低頻分量融合策略，模值取大作為高頻分量融合規(guī)則，通過(guò)特征波段圖像多級(jí)融合，增強(qiáng)了可見(jiàn)光圖像中迷彩人員信息，增大了目標(biāo)與背景之間的對(duì)比度，提高目標(biāo)檢測(cè)精度，并且在圖像質(zhì)量評(píng)價(jià)方面優(yōu)于傳統(tǒng)方法。