(廣東開放大學(xué)人工智能學(xué)院,廣州 510091)
目前在圖像處理領(lǐng)域出現(xiàn)的圖像融合技術(shù),能夠結(jié)合各單幅圖像中與識別目標(biāo)相關(guān)的顯著信息,使得來自于不同圖像的顯著信息特征得以互補(bǔ),獲取與識別目標(biāo)相關(guān)的更全面的信息,從而提高目標(biāo)識別的準(zhǔn)確性、確定性,以及快捷性[1]。在過去的幾年,MSI和SAR遙感數(shù)據(jù)的融合被有效用于改進(jìn)的土地覆蓋制圖[2],土地分類[3],以及森林分類[4]等。這些研究結(jié)果表明多源圖像的融合在具體應(yīng)用中具有一系列的優(yōu)勢,己被廣泛地應(yīng)用于資源、環(huán)境、災(zāi)害調(diào)查與監(jiān)測等領(lǐng)域。
Pohl和Genderen對圖像融合做了如下定義:
圖像融合就是通過一種特定算法將兩幅或多幅圖像合成為一幅新圖像[5](如圖1所示),從而使融合的圖像可信度更高,模糊較少,可理解性更好,更適合人的視覺及計(jì)算機(jī)檢測、分類、識別、理解等處理[6]。融合的多源圖像之間具有互補(bǔ)性,能夠從多個(gè)視點(diǎn)獲取信息,擴(kuò)大時(shí)空的傳感范圍,提高觀測的準(zhǔn)確性和魯棒性[7]。

圖1 圖像融合原理
圖像融合研究的內(nèi)容主要圍繞融合的對象、層次、方法、效果(評價(jià))以及應(yīng)用五個(gè)方面展開,如圖2所示。

圖2 圖像融合研究的內(nèi)容
目前這些基于圖像融合的應(yīng)用研究大多停留在實(shí)驗(yàn)驗(yàn)證階段,主要運(yùn)用一些現(xiàn)成的融合算法將不同源的數(shù)據(jù)集成起來。針對具體應(yīng)用時(shí),應(yīng)該考慮這些融合方案的適宜性和有效性。如何針對具體應(yīng)用設(shè)計(jì)高效的融合方案以提高多源圖像在具體應(yīng)用上的互補(bǔ)性非常必要。在進(jìn)行融合之前以及融合過程中,有如下一些問題需要考慮。
(1)面向具體的應(yīng)用任務(wù),如何選擇數(shù)據(jù)源。
(2)從融合方法來看,針對具體應(yīng)用,目前理論上比較成熟的一些融合算法是否可以成功地將不同數(shù)據(jù)源的優(yōu)勢信息結(jié)合起來。如果不能,需要開發(fā)什么樣的融合方法才能夠最大化地集成不同數(shù)據(jù)源在針對具體問題上的優(yōu)勢信息和互補(bǔ)信息。
(3) 當(dāng)前的融合評價(jià)是否適用于遙感圖像融合。
表1中給出了常見圖像融合的數(shù)據(jù)源,數(shù)據(jù)源的選取對最終融合結(jié)果以及具體應(yīng)用任務(wù)的完成有很大的影響。對于某一具體任務(wù),如水體提取,選用何種數(shù)據(jù)源進(jìn)行融合可以優(yōu)化目標(biāo)任務(wù)的完成。數(shù)據(jù)源有很多,盲目選取數(shù)據(jù)源進(jìn)行融合不一定能獲取最佳的效果。具體使用什么樣的數(shù)據(jù)源來優(yōu)化融合目標(biāo),一方面取決于大量的數(shù)據(jù)測試分析和經(jīng)驗(yàn)積累,一方面取決于對傳感器成像原理的分析。例如在進(jìn)行水體提取的時(shí)候,多光譜圖像可以提供很多細(xì)節(jié)和色彩信息,但是分辨率比較低,受云層和雨雪影響,對植被覆蓋區(qū)域的水體也無法識別,而SAR圖像分辨率較高,不受天氣影響,可以檢測到植被覆蓋的水體部分,但是SAR圖像的斑點(diǎn)很多。在對這兩類圖像進(jìn)行分析以后,可以初步斷定這兩類圖像在水體提取上應(yīng)該具備互補(bǔ)的特性。后期經(jīng)過實(shí)驗(yàn)驗(yàn)證,比較分析,進(jìn)一步證實(shí)他們在水體提取上的互補(bǔ)性。

表1 圖像融合對象
圖像融合通常在三個(gè)層次進(jìn)行,也即像素級融合、特征級融合和決策級融合[7]。目前很多理論研究的融合以像素級融合和特征級融合為主,而一些面對應(yīng)用的融合多以特征級和決策級的融合為主。融合層次的選擇取決于應(yīng)用目標(biāo),同時(shí)也影響融合的最終結(jié)果。
目前的圖像融合方法主要有三大類:第一類基于空間域的融合方法,直接對原始圖像的像素進(jìn)行操作,如平均與加權(quán)平均方法、像素灰度值選大(或小)方法等。第二類基于變換域的融合方法,其基本思想是:對圖像進(jìn)行變換,獲取分量圖像,對分量圖像實(shí)施融合規(guī)則,再實(shí)施逆變換。典型的基于變換域的融合方法有基于PCA、基于HIS、基于小波、基于金字塔、基于EMD變換的圖像融合方法等。第三類是一些新型方法,如遺傳算法、神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)、支持向量機(jī)等方法。
從融合的方法來看,針對具體應(yīng)用如水體提取,上述融合方法是否可以直接應(yīng)用于該任務(wù),采取何種融合方法能夠提高水體提取精度,如果現(xiàn)存的融合方法不能更好地服務(wù)于具體的應(yīng)用任務(wù),應(yīng)該開發(fā)什么樣的融合方法才能夠最大化地集成不同數(shù)據(jù)源在針對具體問題上的優(yōu)勢信息和互補(bǔ)信息。
目前文獻(xiàn)中對圖像融合的評價(jià)多以客觀評價(jià)為主,主要指標(biāo)見表2。

表2 圖像融合客觀評價(jià)指標(biāo)
表2中的評價(jià)方式在文獻(xiàn)中常用來評價(jià)圖像融合的效果,但是針對遙感領(lǐng)域中的具體應(yīng)用,如水體提取,需要重新思考這些評價(jià)系數(shù)的適宜性。是否融合圖像的信息熵越大對應(yīng)的水體提取的精度就越高,對于其它指標(biāo)來講也存在類似的問題。由于應(yīng)用目標(biāo)的不同,選區(qū)數(shù)據(jù)源的不同,針對遙感應(yīng)用的圖像融合評價(jià)的關(guān)注點(diǎn)也不同,如何合理有效地評價(jià)融合效果,是否可以建立通用的融合框架,需要展開深入的研究。
由于單一遙感數(shù)據(jù)受限于成像設(shè)備的物理?xiàng)l件以及時(shí)間的限制,難以全面考察觀察物,有必要在具體任務(wù)中將不同來源的數(shù)據(jù)結(jié)合起來,發(fā)揮優(yōu)勢。但盲目融合并不一定能夠有利于應(yīng)用目標(biāo)的有效完成,甚至?xí)碡?fù)面的結(jié)果。針對具體的應(yīng)用任務(wù),應(yīng)該從融合對象(數(shù)據(jù)源)、融合層次、融合方法的選擇以及評價(jià)體系的建立幾個(gè)方面綜合考慮,設(shè)計(jì)合理有效的融合方案,以提高圖像解譯或目標(biāo)識別的準(zhǔn)確性。