利用一致性低秩表示模型進行多聚焦圖像融合

劉 洋，周國眾，王 凡

(1．陸軍炮兵防空兵學院沈陽士官學校，遼寧 沈陽 110162；2．中國人民解放軍63612部隊，甘肅 敦煌 736200)

圖像是對現實場景的一種模擬的、生動性的描述或寫真，是人們在日常生活中最常用的信息載體之一，是人們感知和傳播信息的重要工具。現實中，一幅清晰完整的、信息量豐富的圖像能夠更好地幫助人們概括和理解現實場景的相關信息。因此，獲取一幅高質量的圖像對于人類獲取信息來說至關重要[1]。但因為成像器材景深有限，使得物體位于聚焦區域內或附近時，圖像較為清晰，反之較為模糊，給后期處理和信息獲取帶來不便。多聚焦圖像融合是解決這類問題的一種有效途徑，它能夠集成同一場景不同圖像上所有聚焦信息為一體，生成一幅全聚焦的清晰圖像，能夠更好地幫助人類感知場景信息。

現有的多聚焦圖像融合方法主要可以分為三個類型，即：基于空間域的融合方法、基于變換域的融合方法以和基于圖像稀疏表示的融合方法。傳統空域的圖像融合方法直接作用于源圖像，針對不同源圖像上的像素或區域，采用一定的方法，選擇出清晰度較高的區域，然后將這些清晰的區域融合起來生成最后的融合圖像。基于傳統空域的多聚焦融合方法整體來說，其思想簡單，計算量較小，融合速度比較快，但其融合結果一般，對噪聲和誤配準比較敏感，分塊融合時還會造成嚴重的“塊效應”。

基于變換域的融合方法主要是對圖像采用一種變換基，將其轉換到另一種計算域中進行分解和融合，最典型的變換域的融合方法為基于多尺度變換的圖像融合。一般處理過程是首先采用多尺度分解工具對輸入圖像進行多尺度分解，獲得多個分解層的多尺度圖像，然后在每一個分解層上設計相應的融合規則，將各層的融合結果進行多尺度重構得到最終的融合圖像。這種方法因為可以針對變換域內的不同尺度層選擇相應的較為高效的融合規則，因此，其具有較好的融合效果。常用的多尺度變換的方法主要有拉普拉斯金字塔[2]、離散小波變換(DWT)[3]、輪廓波變換[4]等。這些融合方法能夠快速執行，對圖像刻畫更為具體，但其對噪聲和誤配準比較敏感，同時會出現邊緣的模糊和變形以及丟失部分細節信息等。

近些年來稀疏表示在圖像處理領域得到了大量的應用，其基本思想是源圖像中的圖像塊可以使用少量的字典原子線性組合來進行表示。文獻[5]首次將稀疏表示應用到了圖像融合領域，在此之后，出現了大量的基于稀疏表示的融合方法，使得融合結果更加精確和穩定。但是，基于稀疏表示的圖像融合算法一般采用滑動窗工具(如文獻[6-7])對源圖像進行采樣，以減少“塊效應”，這就造成了融合圖像對比度的下降以及細節信息的丟失，同時使用滑動窗工具也增加了算法的計算復雜度。

針對以上問題，本文提出一種新的基于低秩表示和空間一致性約束相結合的多聚焦圖像融合算法，該算法利用低秩表示模型對源圖像進行低秩表示，將源圖像分解為低秩的背景信息和稀疏的細節信息，再利用細節信息進行多聚焦區域的判斷，較大程度上提高了融合結果的可靠性。這里，采用均值數據作為字典，節省了字典學習帶來的計算量，并且能夠對數據進行高效的表示。同時，在低秩模型中引用了拉普拉斯約束項，利用空間鄰域對結果進行約束，減少“塊效應”的同時，提高融合圖像的質量。

1 基本理論

1.1 低秩表示

低秩表示是將觀測的數據分解為低秩塊和稀疏塊之和的一種手段，由于該方法對噪聲具有較好的魯棒性而受廣大學者關注。目前，低秩表示方法已經較多地用于人臉識別、目標檢測等領域并取得了較好的效果。它的基本思想是假設對于某個字典，數據表示系數是低秩的，旨在尋求數據矩陣的最低秩表示。其模型如式(1)所示。

(1)

其中，DZ表示低秩部分，Z是X基于字典表示的系數矩陣，Z具有低秩特性，式中對Z進行了低秩約束。E是稀疏的噪聲，‖·‖2,1是l2,1范數，表示對E進行列稀疏約束[8]。在使用低秩表示時，原始數據能夠被分解為兩部分，一部分為低秩的純凈數據，另一部分為稀疏的噪聲數據，從而達到去噪的目的。而低秩表示在應用到多聚焦圖像融合中時，可以將圖像分解為低秩的背景信息和稀疏的細節信息，細節矩陣E包含較為豐富的結構和邊緣信息(如圖1所示)，從而利用細節信息就能夠判斷出圖像的清晰度。

圖1 利用低秩表示將源圖像分解為低秩的背景信息和稀疏的細節信息

1.2 基于圖論的一致性約束

流形學習中，拉普拉斯特征映射算法[10]假設：若兩個頂點xi與xj，其幾何分布是“相臨近”的，則這兩個數據頂點在利用相關變換基在表示時，其系數向量zi和zj通常也應是“相鄰近”的。利用此原理，通過最小化公式(2)的函數可實現從數據到系數之間的相似性映射：

(2)

(3)

式中，σ為方差(高斯核)，在本文中，其值設為1。

對式(2)進行矩陣變換，可將其轉換為式(4)。

Tr(ZCZT)-Tr(ZWZT)=Tr(ZLZT)

(4)

最小化公式(4)，可對特征相似的兩個數據點或區域的表示系數進行相似性約束，使其具有一致性，因此，Tr(ZLZ)為對數據表示系數的一致性約束項。

2 融合算法

2.1 算法框架

本文提出的算法是利用低秩表示模型和空間一致性結合進行多聚焦圖像融合，算法的整個過程包括：源圖像的塊劃分及向量化，一致性低秩表示，定義融合規則并構建融合圖像等過程，整個算法框架如圖2所示。

圖2 算法整體框架

2.2 構建源圖像對應的向量化矩陣

2.3 模型的構建和編碼

對于任意一個圖像塊，其聚焦特性與鄰域內其他圖像塊具有較大可能的相似性，即當圖像塊位于同一個鄰域內時，這些圖像很可能同時聚焦或者同時離焦。因此，可采用圖論的方式來約束這種相似性。以圖像塊為圖的頂點，權重矩陣的構建為

(5)

式(1)中，利用低秩模型可以將源圖像分解為低秩的背景圖像和稀疏的細節信息。細節信息能夠作為聚焦性因子，判斷出圖像區域的清晰度。為了提高E的準確性，本算法對E進一步進行了鄰域內一致性約束，得到的模型為

s.t.X=DZ+E

(6)

其中，‖·‖*為核范數約束，‖·‖2,1是進行l2,1范數約束，L為拉普拉斯矩陣，由公式(4)進行構建。

式(6)可以采用線性迭代方向法[12](LADMAP)進行求解，引入變量J，并通過最小化(8)式的增廣拉格朗日函數進行求解：

(7)

L(J,E,Z)=‖J‖*+λ‖E‖2,1+βtr(ELET)+

(8)

其中，H和P為拉格朗日乘子，μ>0是一個懲罰參數，〈A,B〉為矩陣A和B的歐氏內積。在更新時，每次更新一個變量，并固定其他所有變量，對該拉格朗日函數的求解問題可以轉換為以下子優化問題。

1)更新J

(9)

該子優化問題存在如下的閉式解[12]：

(10)

其中，SVTδ(A)=Udiag({(δi-δ)})VT，且A=Udiag({δi}1

2)更新Z

(11)

求導，并優化得

(12)

式中，I代表單位矩陣。

3)更新E

(13)

該子優化問題存在閉式解[13]：

(14)

該模型的求解和編碼過程見算法1。

算法1: 對一致性低秩表示模型的優化輸入:(a) 數據矩陣X,表示字典D,懲罰參數λ和β,最大迭代次數itermax,容許誤差ε。 (b) 算法初始化:Z0=J0=0,E0=0,H0=0,P0=0,μ=10-6,φ=1.1,μmax=106,ε=10-8,itermax=103。迭代步驟: 1)固定其他變量,更新J:Jj+1=SVT1μj(Zj+1μjPj)2)固定其他變量,更新Z:Zj+1=(DTD+I)-1(DT(X-Ej)+Jj+1+DTHj-Pjμj)3)固定其他變量,更新E:Ej+1(:,i)=(‖Q(:,i)‖2-ληj)‖Q(:,i)‖2Q(:,i), if‖Q(:,i)‖2>ληj0, otherwise4)更新拉格朗日乘子H和P:Hj+1=Hj+μj(X-DZj+1-Ej+1),Pj+1=Pj+μj(Zj+1-Jj+1)5)更新μ:μj+1=min(μjφ,μmax)6)檢查是否滿足收斂條件max‖X-DZj+1-Ej+1‖∞<εandmax‖Zj+1-Jj+1‖∞<ε‖·‖∞代表矩陣的無窮范數,如果滿足收斂條件,結束;否則,繼續步驟1-6。輸出:一致性低秩表示系數矩陣Z和誤差矩陣E。

2.4 融合規則的選取和優化

1)融合規則的選取

對源圖像進行低秩分解后，DZ描述的是圖像的背景信息，E描述的是圖像的細節信息。而細節信息中包含了圖像的結構和邊緣信息，能夠描述出圖像的清晰度，因此本算法中，采用E并利用l2范數取大作為活躍性測量因子對源圖像進行融合。利用該融合測量因子，可得到多聚焦圖像融合的初始決策標記圖，如式(15)。

(15)

其中，F(x,y)表示標記矩陣F在(x,y)位置處的元素值，EA(:,i)表示源圖像IA的低秩表示EA的第i列，EB(:,i)表示源圖像IB的低秩表示EB的第i列，‖·‖2表示向量的l2范數。

2)初始決策圖的優化

將F轉換為與源圖像相同大小的標記矩陣Do，F中每一列代表Do中對應的某一圖像塊。首先經過去洞處理，去除孤立區域，然后利用空間鄰域一致性對初始決策標記矩陣Do進行優化，得到最終的決策標記圖Df。主要實施過程：對于初始決策標記矩陣Do中每一個圖像塊，統計其8鄰域內被標記為1和0的圖像塊個數，若被鄰域內其他所有的圖像塊都被標記為1，則當前的圖像塊也被標記為1；若鄰域內所有圖像塊被標記為0，則當前圖像塊也被標記為0。

3)構建最終的融合圖像

利用Df構建最終的融合圖像IF：

IF=IA.×Df+IB.×(1-Df)

(16)

其中，1表示元素值全為1的矩陣。

3 實驗與分析

圖4 五種算法對“Student”的融合結果比較

圖3 待融合的六組多聚焦圖像

圖4為本文所選取的不同融合算法以及本文所提出的算法對“Student”源圖像的融合結果和歸一化差值圖像。“Student”圖像并未完全配準，存在一定的配準誤差，通過利用該圖像對算法進行融合比較，可反映出算法的穩定性和魯棒性。圖4為其融合結果，第一行為不同算法所對應的融合圖像，第二行為融合圖像與源圖像的歸一化差分圖像。圖中，(a-d)為所選取的四種算法所對應的融合結果，圖4(e)為本文所提出的算法的融合結果。通過對比可以看出，在差分圖像中，ASR和SR算法其融合結果包含較多的不一致區域(矩形框區域)，DSIFT算法，相比前兩種算法而言，其融合結果視覺效果較好，但仍然存在一定的形變，影響了融合算法的精度。這些算法得到的融合結果存在這些殘差或不一致區域，表明在融合圖像中引入了源圖像中的非聚焦區域，使得融合圖像出現大量的局部模糊和形變。在MRSR算法中，“鐘表”的右邊緣區域也存在一些殘差區域，說明該算法在對邊緣的提取和保留等方面存在不一致性，影響了融合質量。從圖4(e)結果可以看出，本文算法存在較少的殘差區域，尤其是在邊緣區域以及白色框中的平滑區域，本文算法都能夠保持較好的一致性，使得融合圖像具有較好的清晰度，誤差較少。因此從主觀上，通過這些實驗結果可得知，本文算法相比其他幾種算法，其能得到較好的融合結果，并且對圖像的誤配準也具有較好的穩定性。

圖5是其他五組圖像，采取不同的方法所得到的聚焦決策圖。對比該實驗結果可以看出，現有的幾種多聚焦圖像融合算法所構建的融合標記圖中基本上都包含有“孤立”的局部塊狀模糊區域，即“塊效應”。這些塊效應的存在表明算法在融合時，將圖像的離焦區域錯誤地判定為聚焦區域并將其保留到最終的融合圖像中，或是將聚焦區域錯誤判定為離焦區域而丟棄，降低了融合圖像的清晰度，進而影響了融合圖像的質量。如圖5所示，ASR算法和SR算法，在其融合標記圖中出現大量的“快效應”，可知這兩種算法融合效果較差，存在較多的不一致性，而本文提出的方法構建的決策標記圖中不存在“孤立”的塊狀區域，相比較其他四種方法具有較大的優勢，基本上消除了“塊狀”效應，同時準確度較高。

上述實驗從主觀上充分驗證了本文算法的有效性。為了從客觀上對不同算法的性能進行比較，本文在上述實驗的基礎上，統計了不同融合算法對六組源圖像進行融合得到的結果，所對應的五種客觀指標的平均值見表1。表1中實驗結果表明：本文算法相比其他幾種算法，幾種客觀指標都具有明顯的優勢，雖然在時間復雜度上，DSIFT算法有一定的優勢，但比較其他幾種客觀評價指標可發現，本文算法的在一致性、結構相似性等方面都優于DSIFT算法。從該客觀評價結果可知，本文提出的利用一致性低秩表示模型進行多聚焦圖像融合算法，其精度較高，融合效果較好。

圖5 五種多聚焦圖像融合算法對其他五組源圖像的融合決策標記圖

表1 六組多聚焦源圖像采用不同融合算法的客觀評價指標平均值對比

4 結束語

本文提出了一種新的多聚焦圖像融合算法，該算法利用低秩表示模型將圖像分解為背景信息和稀疏的細節信息，細節信息包含了圖像的結構和邊緣信息，能夠描述出圖像區域的清晰度。同時本文在進行低秩表示時，增加了空間一致性約束項，并利用拉普拉斯項構建了新的低秩表示模型。通過該模型對源圖像進行低秩表示，利用表示結果的細節信息，采用l2范數取大作為融合規則進行融合，具有較好的融合效果。最后，用現有的幾種多聚焦圖像融合算法和本文算法對多組不同的多聚焦圖像進行了融合比較，通過實驗驗證本文的算法無論從主觀上還是客觀上都明顯優于其他算法。