基于VO圖像分解模型的多聚焦圖像融合

高冬梅

（重慶師范大學計算機與信息科學學院，重慶 401331）

0 引言

在一個信息呈現越來越繁雜的二十一世紀，圖像作為信息傳達的主要載體之一，有著比其他信息載體更高的關注度，相比于文字,人們更愿意從圖像中獲取信息。正因為如此，人們對于圖像的質量有更高的要求，例如清晰度、承載信息的多少、所需存儲空間的大小等，理想的狀態是在消耗低存儲空間的前提下能對場景全面描述，顯示更多的細節信息，圖像中的目標全部聚焦清晰。但由于大部分光學鏡頭難以將同一場景中的多個目標同時聚焦，因此圖像有局部失焦模糊現象的產生，通過對多個光學鏡頭獲取的聚焦圖像進行處理，得到一幅有著豐富信息的圖像的過程叫做多聚焦圖像融合，融合后的圖像多個目標均更加清晰。圖像融合作為圖像處理的一個分支，越來越多地被應用在醫學、軍事、目標識別、數碼相機等領域。

空間域和變換域主要是基于圖像像素級的融合算法。基于空間域的圖像摳圖、向導濾波融合、多尺度加權梯度等算法，空域圖像融合算法簡單易懂、容易操作，但精度不高，相鄰圖像子塊交界處易產生塊效應；變換域主要采用多尺度幾何變換進行圖像融合，如金字塔分解、離散小波變換（Discrete Wavelet Transform，DWT）[1]、雙樹復小波變換（Dual Tree-Complex Wavelet Transform，DT-CWT）[2]、非下采樣輪廓波變換（Non-Subsampled Contorulet Transform，NSCT）[3]等，但變換域的方法忽略了圖像的方向性特征，導致融合圖像信息不夠豐富，使得結果在視覺上清晰度不高、層次感不強，學者們不斷地對變換域圖像融合算法進行研究改進。

近年來，有學者提出基于圖像分解的多聚焦圖像融合算法。文獻[4]中Jiang Yong、Wang Minghui首次根據一張圖像是包含了不同空間形態結構的形態學成分分析（MCA）理論，用分解算法重點將圖像結構、紋理這兩種形態分解出來，然后用稀疏表示方式對結構、紋理兩部分的表示系數進行本質融合，通過融合結果的主觀視覺感知和客觀評價，與其他單分量融合相比，作者提出的方法可以產生更好的融合圖像。文獻[5]中Zhang Yongxin、Chen Li等人為了有效、完整地表示待融合圖像，提出了一種多分量融合方法，即將源圖像分解成動畫和紋理組件兩部分，然后利用清晰度函數構造出了最后的融合圖像。與傳統的融合方法相對，基于圖像分解的融合方法更新穎，它把待融合圖像轉化到一個單尺度特征空間，把有著復雜結構的圖像分解成多個單分量圖像，進一步對分解后的圖像做融合處理，能達到更好的融合效果，并且時間效率也更高。

1 圖像分解模型（Vese-Osher，VO）

將包含多分量的一張圖像分解成幾個單分量圖像的技術在圖像處理領域是一個比較難的問題，等同于對圖像進行逆操作。將原來的一張圖分解成兩張甚至幾張不同的圖像，每張圖像上包含源圖的部分信息，例如：f=u+v,源圖像f通過分解算法被分解成u和v兩部分，u展現的是源圖像框架部分，即紋理-結構中的結構部分。同樣，表示了源圖的重要細節信息和噪聲信息部分稱作源圖分解后的紋理部分。經典的圖像分解模型有 Rudin-Osher-Faltemi、Mumford-Shah、Perona-Malik、Aubert-Vese等。2001年Meyer[6]為紋理圖像的函數空間建立了振蕩函數空間，稱作G空間，是基于（Total Variation，TV）模型和有界變差（Bounded Variation，BV）函數空間上提出的。但是Meyer只是提出了模型，沒有給出模型的求解方法。2003年Vese、Osher[7]將Meyer在2001年提出的理論和TV模型結合，用LP逼近||?||G范數，嘗試結合用另一種方法——變分法成功求出了模型的數值解，由此提出了新的圖像紋理-結構分解模型，即VO模型[7-8]。新模型進一步提升了圖像分解效果。

VO模型的能量泛函表示如公式（1）[9]：

式中，Gp代表源圖，u是分解結果中的結構部分，，再根據（1）式得出紋理層v公式v(x,y)=?xg1(x,y)+?yg2(x,y),g1,g2∈L∞(R2)，公式中λ、μ的作用是調節能量泛函比重，滿足λ＞0,μ＞0。Vese、Osher實驗發現p∈[1,10]的區間時，p的任何取值對應的分解結果沒有過多的差別，且p取值為1時得到模型結果的速度最快。因此，為了在最短的時間得到最好的分解結果，利用該模型時直接將p的值設為1，故針對公式（1）（當p=1時）使用變分法求解得到相應的歐拉-拉格朗日方程（The Euler-Lagrange Equation）方程為[10]：

約束圖像區域邊界條件表示為：

（3）式中n滿足n=(nx,ny)，通過采用差分運算求偏導的方法對Euler-Lagrange方程（2）和約束條件方程（3）進行求解[11]，得到結構部分 u和紋理部分v=?xg1+?yg2。基于此，本文選用分解效果優于其他分解模型的VO模型首先分解待融合源圖像，將兩幅或者多幅待融合圖像全部分解成結構和紋理部分，再根據相應的規則去進行圖像融合處理，因為分解模型的優越性，使得各部分融合變得簡單，達到消除圖像局部失焦模糊現象，提升多聚焦圖像融合效果。

圖1 圖像分解結果

2 多聚焦圖像融合過程

基于偏微分方程的VO圖像分解模型，具有既快又簡單的計算方法，還能顯式地表達圖像的紋理部分，基于以上特點，它能更好地從源圖中同時提取紋理和結構部分，為后續的圖像處理操作（融合、識別等）順利進行提供良好的基礎條件。選擇從同一場景中獲取，并經過嚴格配準的源圖像，并且場景中任意目標物體至少有一幅圖像是清晰的。基于VO圖像模型的多聚焦圖像融合框架如圖2所示。

其具體步驟為：

Step1：將經過嚴格配準的源圖1和源圖2分別通過VO模型分解成結構部分U1、U2，紋理部分V1、V2；其中，源圖1=U1+V1，源圖2=U2+V2；

Step2：用滑動窗口技術結合改進的拉普拉斯能量和（NSML）[12]聚焦評價函數識別結構部分和紋理部分的聚焦區域；分別得到源圖1、2的聚焦區域A、B；

Step3：利用融合規則找出初始融合圖像的二值決策圖；

Step4：將得到的初始二值決策圖通過形態學處理（腐蝕、膨脹）以增強聚焦區域的連續性，最終得到一個場景中所有目標物體都清晰的聚焦圖像。

圖2 基于圖像分解的融合框架

3 結果評價

3.1 主觀評價方法

主觀評價方法是指觀測者通過肉眼和主觀直覺去觀察感受經融合處理后的圖像，主觀地根據個人感受給出評價的過程。但由于觀測者對圖像信息的敏感性各不相同，主觀評價方法存在一定的弊端，環境、人數、情緒等都會影響評價結果。近年來，學者提出了許多客觀的評價方法，這一方面評價算法本身的性能，另一方面也將融合質量通過量化的方式表示出來，使評價更直觀。

3.2 客觀評價方法

（1）標準差（Standard Deviation，SD）[13]：通常使用標準差來檢測一幅圖像的對比度。得到的值越大表示圖像涵蓋了越豐富的細節，其公式定義如下：

（2）信息熵（Information Entropy，IE）[14]：熵本質上展示的是圖像中像素體系的混亂情況，對焦好的圖像區域，熵值越大，反之越小。其公式定義如下：

L：圖像的灰度級，Pi：灰度級為i的像素在圖像中的概率。

（3）空間頻率（Spatial Frequency，SF）[15]：是圖像中有效信息的直觀反映，按行、列不同方向計算。RF：行頻率；CF：列頻率。

本文使用以上三種方法做圖像融合質量評價。此外，邊緣信息保留量指標、方差、梯度能量[13-15]等算法都是圖像融合的客觀評價指標。

4 實驗與分析

本實驗在MATLAB 2016軟件平臺上進行，微機配置為 Windows 7，Intel Core i5-4590S CPU@3.00GHz，RAM 4.00GB；為了對比算法的有效性，與文獻[16]結合小波變換和自適應分塊的多聚焦圖像快速融合算法進行比較，分別對兩組配準圖像進行融合（“clock”像素大小為 512×512。“lab”像素大小為 640×480）。運行結果如圖3所示。

圖3 實驗1-lab圖實驗結果

圖4 實驗2-clock圖實驗結果

實驗結果顯示，對比算法得到的融合圖像整體偏模糊，實驗1-lab圖像融合結果右聚焦區域部分，人物頭像處有明顯的模糊像素存在，本文算法的融合圖像無明顯多余像素，主觀視覺顯示上更平滑。同時在實驗2-clock圖像的對比算法融合結果在左聚焦區域小鬧鐘logo沒有比較清晰的展現出，但本文算法的融合結果可以清楚的看出鬧鐘logo；并且從算法得到融合圖像用時情況來看，本文用時相對較短。因此從實驗結果可以對比出，本文的方法在圖像融合的細節部分更具有優越性。

5 結語

多尺度的復雜圖像經分解模型分解后轉化到一個單尺度的特征空間，使得后續的融合處理更加方便簡單，本文利用這一特點結合VO圖像分解模型做多聚焦圖像的融合，實驗結果也顯示，該方法在細節處理上更具有優越性。但本文末找到一種更好的聚焦評價函數，今后的研究方向將主要側重于聚焦評價函數和融合規則的改進，以得到更優的融合圖像。