多源圖像融合技術研究＊

徐思寧 王世立 程威敏 管衛亮

（91336部隊 秦皇島 066326）

1 引言

隨著計算機、電子信息等技術的迅速發展，傳感器技術也得到飛速發展。多傳感器的使用導致所需處理的信息量增加并且呈現復雜多樣性，傳統的信息處理方法現已無法應對現狀。信息融合應運而生，所謂信息融合，是指對來自多個傳感器的多源信息進行多級別、多方面和多層次的處理與綜合，從而獲得更豐富、更精確、更可靠的有用信息［1］。圖像融合是信息融合范疇內主要以圖像為對象的研究領域，通過綜合提取各輸入圖像的信息，形成統一的圖像或數據來控制其他系統或指導決策［2］。

圖像融合是指將兩個或兩個以上的傳感器在同一時間（或不同時間）獲取的關于某個具體場景的圖像或者圖像序列信息綜合，以生成一個新的關于此場景的解釋的信息處理過程［3］。根據圖像融合在處理過程中所處的階段，從目標識別層上，多源圖像融合可分為三個層次：像素級融合、特征級融合和決策級融合［4］。根據圖像源的不同，多源圖像融合可大致分為多傳感器圖像融合、遙感圖像融合和多聚焦圖像融合。長期對多源圖像融合的研究發現，很難提出一種能夠適應各類圖像源的圖像融合算法，因此實際應用中一般針對不同的圖像源設計不同的圖像融合算法。本文首先介紹了常用的圖像融合算法，而后針對單一算算法難以達到要求，提出了圖像二次融合模型。

2 多源圖像融合常用算法

目前常用的多源圖像融合算法主要有加權平均法、IHS變換法、高通濾波（HPF）法、金字塔圖像融合法、小波變換法［5］。

2.1 加權平均法［6］

加權平均法是對配準后的兩幅待融合圖像中各對應像素做加權平均處理，融合成一幅新的圖像。設A、B為待融合圖像，大小為M×N，F為融合后的圖像，則加權平均算法可表示為

式中：m和n分別為圖像中像素的行號和列號，m＝1，2，…，M；n＝1，2，…，N。ω1和ω2為加權系數，ω1＋ω2＝1。

該算法的最大優點是簡單、運算速度快，此外還可以抑制源圖像中的噪聲。因為所有像素灰度進行加權平均，所以抑制了圖像中的顯著部分，導致對比度降低。而且，當融合圖像的灰度差異教大時，就會出現明顯的拼接痕跡。

2.2 IHS變換法［7］

IHS變換的主要思想就是用一副圖像替換另一幅圖像的一個分量。如用高分辨率全色圖像直接替換多光譜圖像的I分量來提高多光譜圖像的空間分辨率。

該算法一般用于遙感圖像融合中，對特征性強和特征差異大的數據間融合有較好的效果，但融合結果的光譜特性可能會有扭曲。

2.3 高通濾波（HPF）法［8］

高通濾波法是將高分辨率圖像通過高通濾波器濾除低頻信息得到圖像的高頻信息，然后將這些高頻信息疊加到多光譜圖像中，從而提高多光譜圖像的空間分辨率。

該算法的優點是在自動消除高分辨率圖像的低頻噪聲的同時增強了圖像的邊緣，多光譜圖像的空間分辨率有效地得到提高。但是高通濾波導致部分細節的損失，使得分辨率有一定損失，同時高通濾波也會帶來噪聲。

2.4 金字塔圖像融合法

金字塔圖像融合法就是將配準后的每幅待圖像作金字塔變換，得到每幅圖像的金字塔變換，將金字塔變換系數在各相應層上以一定的融合規則進行運算，可得到合成的金字塔變換系數。將合成的金字塔做逆變換可得到融合圖像［9］。常用的金字塔有拉普拉斯金字塔、對比度金字塔、梯度金字塔。

2.5 小波變換法

小波變換將待融合圖像分解成一系列具有不同方向分辨率和頻率特性的子圖像，能夠反映待融合圖像的局部變化特征，因此小波變換具有空間和頻率局部性。而且它的基函數可以根據實際問題的需要進行設計，體現了它在應用方面的靈活性［10］。

該算法融合的流程為：將配準后的待融合圖像進行小波分解，獲得不同分辨率下的小波系數；根據不同源圖像的特點選取融合規則，分別對小波每一分解層每一系數進行合成，獲得合成的各層小波系數序列；由合成的各層小波系數序列小波重構得到融合圖像。

小波變換法在信號分解和重建過程中不產生信息的丟失和冗余，因此有效地增強了圖像的空間細節表現能力，保持了圖像融合前后的光譜特性。

3 圖像二次融合模型

雖然融合算法很多，但是沒有一種算法是完美的，都存在自身的缺點，如加權平均算法降低圖像的清晰度、模糊邊緣和輪廓，金字塔變換算法增加運算數據量，小波變換算法模糊圖像清晰區域等。基于以上問題，本文提出一種新的圖像融合模型，稱作圖像二次融合。圖像二次融合的主要思想就是對兩幅圖像分別用兩種融合算法進行圖像融合得到兩個融合結果，然后對兩個融合結果再進行一次像素選擇的運算得到最終融合圖像。其主要目的是通過利用融合算法之間的互補性來彌補各自融合算法的缺點。原理框圖如圖1所示。

圖1 圖像二次融合原理框圖

圖像二次融合效果的好壞主要取決于兩個融合算法的選取和像素選擇算法的選取。兩個融合算法要具有一定的互補性，如加權平均融合算法和梯度選大融合算法，加權平均融合算法模糊了圖像的邊緣和輪廓，而梯度選大融合算法是選取清晰的邊緣作為融合圖像的邊緣，彌補了加權平均算法的缺點，通過像素選擇算法選取對比度大、清晰的像素作為最終的融合結果，可以提高融合效果。本文以這兩種算法為例，對該思想進行實驗驗證。

考慮到圖像二次融合的計算量，本文采用簡單的梯度運算方法，如下

梯度選大融合算法的思想是通過比較各像素點的梯度值，選取梯度值大的對應的像素作為融合圖像的像素值，其過程如下

fA（x，y）、fB（x，y）分別為圖像A、B在像素f（x，y）處的梯度。

令LP為圖像某一像素的灰度，LB為其對應的3×3窗口內像素灰度值的平均值，以此來計算每一像素的對比度C＝LP／LB。令F（x，y）表示融合圖像的像素值，A′（x，y）、B′（x，y）表示經加權平均和梯度選大的融合算法融合后的圖像的像素值，CA、CB表示融合后的圖像的對比度。則像素選擇法為

通過上述方法可以得到最終融合圖像F。

4 實驗結果

選取多聚焦圖像作為本文實驗圖像，如圖2（a）和圖2（b）所示。圖2（c）和圖2（d）為加權平均融合和梯度選大算法結果，圖2（e）為圖像二次融合結果。觀察分析圖像可知圖像二次融合所獲得的圖像優于單一算法獲取的圖像。

圖2 實驗圖像

從量化結果上可以看出，本文提出的圖像二次融合算法獲得的圖像標準差、平均梯度和熵比加權平均、梯度選大算法都要高，說明提出的融合方法融合結果的灰度級更分散，圖像更清晰，所含信息量更大。

表1 融合效果具體量化指標比較

5 結語

圖像融合在我國起步較晚，雖然已經獲得一些成就，但是技術還未發展成熟，沒有形成一個完整的理論體系。本文對圖像融合算法進行研究，介紹了常用算法，并提出圖像二次融合模型，實驗仿真證明此模型具有一定的效果。但是此模型因計算量較單一算法大，故適應于對實時性要求較低的系統中，有待改進。

［1］馬金福.多源圖像融合技術與應用研究［D］.西安：西安科技大學，2009：4－6.

［2］敬忠良，肖剛.圖像融合——理論與應用［M］.北京：高等教育出版社，2007：3－4.

［3］郝松傲.熱紅外圖像與可見光圖像的配準與融合［J］.四川測繪，2008，20（3）：46－48.

［4］閆敬文，卓琳，屈小波.圖像融合研究最新進展［J］.廈門理工學院學報，2007，15（4）：44－49.

［5］毛士藝，趙巍.多傳感器圖像融合綜述［J］.北京航空航天大學學報，2002（5）：512－518.

［6］張寅玥，付煒.多源遙感圖像融合算法研究［J］.電子測量技術，2010，33（6）：35－36.

［7］李弼程，魏俊，彭天強.基于HIS變換與小波變換的遙感圖像融合［J］.數據采集與處理，2003，3（6）：268－272.

［8］Emmanuel J.Candes，Laurent demanet.The curvelet represention of wave propagators is optim ally sparse［J］.Communications on Pure and Applied Mathematics，2005，58（11）：1472－1528.

［9］夏明革，何友，唐小明，等.多傳感器圖像融合綜述［J］.電光與控制，2002，9（4）：5－6.

［10］孫延奎.小波分析及應用［M］.北京：機械工業出版社，2005：126－135.