基于多尺度快速清晰度估計的多聚焦圖像超分辨融合技術研究

摘 要： 為了提高圖像融合清晰度，提出了一種基于多尺度快速清晰度估計的多聚焦圖像超分辨率融合技術，利用小波分解算法結合圖像清晰度估計算法，實現對多聚焦圖像清晰區域的分解、識別和提取，最終得到一幅各個區域都清晰的融合圖像。實驗結果表明，提出的技術保留了源圖像中的幾乎全部最清晰區域，融合后的圖像清晰度比傳統方法有了大幅度的提高，融合結果比較理想。

關鍵詞： 多尺度； 清晰度估計； 多聚焦圖像融合； 超分辨率融合

中圖分類號： TN911.73?34 文獻標識碼： A 文章編號： 1004?373X（2016）15?0047?03

Abstract： In order to improve the image fusion definition， a multi?focus image super?resolution fusion technology based on multiscale fast definition estimation is proposed. The wavelet decomposition algorithm combining with image definition estimation algorithm is used to decompose， recognize and extract the clear region of multi?focus image to obtain a fusion image with clear regions. The test results show that the proposed technology can reserve all clearest region in source image， and greatly improve the fused image definition in comparison with the traditional method. The fusion result is perfect.

Keywords： multiscale； definition estimation； multi?focus image fusion； super?resolution fusion

0 引 言

隨著計算機技術的不斷發展，圖像融合技術作為信息融合技術的一個重要分支，發展的速度越來越快，所起到的作用也越來越突出。在采集圖像時，聚焦和離焦物體所成像的清晰度有很大的差別，前者清晰，后者模糊。圖像融合，顧名思義就是將2張或以上的圖像融合到1張圖像上。多聚焦圖像則是攝取場景中的目標和相機傳感器距離不一樣，從而導致聚焦點也不一樣，進而拍攝出圖像清晰度有所不同的多幅圖像，如果將這些多清晰度略有區別的圖像相互融合，便可以得到一張十分清晰的圖像，這樣可以清楚地獲取到真實場景中更多的信息，也更加方便人的觀察或者計算機的處理。近幾年，圖像融合技術得到迅猛發展，在遙感探測、安全導航、醫學圖像分析、反恐檢查、環境保護、交通監測、清晰圖像重建、災情檢測與預報等領域都有著重大的應用價值。

1 多尺度快速清晰度估計

1.1 基本思想和概念

多尺度的基本思想是將被融合的圖像從多個尺度進行變換，依據特定的算法，把這些圖像融合起來構成一個新的圖像的多尺度組合。本文介紹的清晰度估計就是建立在多尺度變換的基礎上，對其進行估計然后進行應用。

在實際應用的過程中，圖像的融合依據信息的不同可以分為不同的三個階段：像素處理階段、特征處理階段和符號決策處理階段，見圖1。像素處理是最底層，圖像在該層級上的融合主要是物理參數的融合，這其中每一個像素都是由其他多個被融合圖像相對應區域的信息決定的；在特征處理階段，不同圖像被輸入系統后，由系統對圖像進行處理，抽取其形狀、紋理、對比度等特征進行融合，這樣就可以把有價值的圖像特征更好的表現出來；在符號決策處理階段，接收到的信息已經是用過前兩個階段抽取的原始圖像的特征值和分類值，這里是對圖像信息的進一步抽象與融合。

1.2 多尺度分解算法

對于圖像進行多尺度的分解，其方法有很多，目前常用的有兩種算法：一種是按圖像的空間域對圖像進行分解；另一種是按圖像的頻率域對圖像進行分解。

按空間域進行分解的算法叫金字塔算法，該算法是由Burt P.J早在1986年提出的，隨后Goutsias J和Heijmans 提出了金字塔算法的框架結構。該算法的特點是，不同的分解方法和重構方法可以得到不同的分界，其中非線性的金字塔應用最廣泛，它的分解和重構都利用了形態學算子。金字塔算法在圖像融合研究的初期得到了很大的重視和發展，但是隨著基于頻率域分解的小波算法的提出，金字塔算法的優勢越來越不明顯，最終被小波算法替代。

小波算法是基于圖像的頻率域進行的圖像分解算法，它是在1988年前后被提出的，基于圖像編碼和模式匹配提出的一種算法，由于其獨特的優越性，之后在信息處理方面得到了廣泛的應用。小波算法應用在圖像融合中，其計算的框架如圖2所示。

先將圖像進行變換，得到圖像的小波系數，然后對其按照融合規則進行融合，然后再反變換成融合的圖像。

按圖像頻率域進行多尺度分解與按圖像空間域分解的優點主要有以下幾個方面：

（1） 小波算法在進行小波變換時，可以在分解過程中引入空間的方向信息，但是金字塔算法做不到這一點；

（2） 金字塔算法分界的存在導致如果輸入圖像的清晰差別很大時，融合后的圖像的邊界會十分明顯，這大大影響了圖像融合的效果，但利用小波算法就不會出現這種情況；

（3） 在圖像融合的信噪比方面，小波變換比金字塔算法更好。

1.3 清晰度估計算法

當一幅圖像有清晰區域和模糊區域時，如何判斷出清晰區域與模糊區域是進行下一步圖像融合的關鍵。在多尺度分解圖像的基礎上對其分解后的清晰度進行估計，是區分清晰區域和模糊區域的主要做法。

2 多聚焦圖像超分辨融合

2.1 清晰區域判斷

數據放在同一層，用戶使用頻率高的數據放在主要層，不同的數據放在不同的層。對輸入的多聚焦圖像進行超分辨的融合，首先要對清晰區域進行識別和提取。如上文所述，本文利用頻率域將多個輸入的多聚焦圖像的清晰區域識別劃分，然后提取融合。以兩幅多聚焦圖像的融合為例說明融合的過程。

第三步，將經過以上步驟得到的圖像清晰區域通過降采樣，然后升采樣，這樣使兩幅圖像中區域的頻率域值相同，為后面的圖像融合做好準備。

2.2 圖像融合框架

基于多尺度快速清晰度估計的多聚焦圖像超分辨融合的框架，如圖3所示。在這一框架下，有提取特征、匹配、決策和組合等模塊。

多尺度分析模塊：如上文所述，將輸入的源圖像進行頻域或者空間域分解，然后進行多尺度清晰度估計。

顯著特征度量模塊：對于已經分解的圖像，在分析域中抽取其中比較顯著的部分，這些部分對圖像是明顯的反映或是圖像的特征。

匹配模塊：尋找相似的部分，匹配值反映了2個輸入源的相似性。

決策模塊：這個模塊是融合算法的核心模塊，它的輸出直接決定了最終的組合塊的效果。

組合模塊：該模塊將得到的系數按構成一幅圖像的方法進行組合。

多尺度反變換模塊：通過反變換將組合結果映射回去，得到最終融合的圖像。

3 實驗結果

本文以兩幅榕樹葉的多聚焦圖像的融合為例，對本文提出的方法進行了實驗驗證。實驗選取的兩幅多聚焦圖像來自網絡，首先對這兩幅圖像進行標記，分別記為[I1]和[I2，]將標記后的圖像進行分解，將兩幅圖像都依次分解為9×9大小的圖像塊，利用上文所述清晰度估計公式對分解后的區域進行清晰度估計，計算其頻率域值，其次按0.1的降采樣尺度遞減，計算出分解后的每個圖像塊的真實降采樣數據和相對數據，然后再從這些圖像塊中選取20個圖像塊，將其與源圖像具有相同內容的樹葉圖像進行比較，對提取的次清晰區域采用對應尺度進行超分辨率重建，這樣一來，就可以得到每個區域的重建圖像，即可得到最終的超分辨率重建的融合結果，融合結果如圖4所示。由圖4所示的實驗結果可以看出，本文提出的基于多尺度快速清晰去估計的多聚焦圖像超分辨融合技術是可行的，并且最終的圖像融合效果也是十分令人滿意的。

4 結 語

本文提出了一種基于多尺度快速清晰度估計的多聚焦圖像超分辨率融合的技術，通過分析研究對比傳統的對圖像的多尺度分解算法，指出基于圖像頻率域的小波分解算法比基于圖像空間域的金字塔算法具有優勢，利用小波分解算法結合圖像清晰度估計算法，實現對多聚焦圖像清晰區域的分解、識別和提取，通過對兩幅多聚焦圖像的研究，搭建圖像融合系統框架，提取兩幅圖像的不同清晰區域和模糊區域，分別計算并得到兩幅圖像清晰區到模糊區的降采樣尺度，然后對這些次清晰區域進行超分辨率重建，最終得到一幅各個區域都清晰的融合圖像。實驗結果表明，本文提出的基于多尺度快速清晰度估計的多聚焦圖像超分辨率融合技術保留了源圖像中的幾乎全部最清晰區域，相比于傳統的圖像融合方法有了極大提高和改善，融合后的圖像清晰度也比傳統方法得到的圖像的清晰度有了大幅度的提高，融合結果比較理想，值得借鑒。

參考文獻

[1] 徐海，安吉堯.一種新的結合SVM和FNN的多聚焦圖像融合算法[J].計算技術與自動化，2015（1）：81?87.

[2] 王振飛，范剛龍.基于神經網絡與對比度的多聚焦圖像融合技術[J].計算機應用，2006，26（7）：1590?1592.

[3] 張誠成，胡金春.基于支持向量聚類的多聚焦圖像融合算法[J].軟件學報，2007，18（10）：2445?2457.

[4] 劉松.基于SVM信息融合的圖像識別與并行實現[J].計算機工程與應用，2009，45（33）：168?170.

[5] 劉振宇，陳超，江濤.改進的多聚焦圖像融合方法研究[J].計算機工程與應用，2010，46（7）：187?189.

[6] 陸朝霞，潘泉.一種新的基于HIS和小波變換的圖像融合方法[J].計算機應用研究，2008，25（2）：450?452.

[7] 於時才，呂艷瓊.一種基于小波變換的圖像融合新算法[J].計算機應用研究，2009，26（1）：390?391.

[8] 朱煉，孫楓，夏芳莉，等.圖像融合研究綜述[J].傳感器與微系統，2014（2）：14?18.

[9] 彭真明，景亮，何艷敏，等.基于多尺度稀疏字典的多聚焦圖像超分辨融合[J].光學精密工程，2014（1）：170?176.

[10] 路錦正，張啟衡.超完備稀疏表示的圖像超分辨率重構方法[J].系統工程與電子技術，2012，34（2）：403?408.