空間變化模糊的圖像復原算法

,

(浙江工業大學 信息工程學院,浙江 杭州 310023)

對于許多成像裝置來說,它們的圖像退化模型雖然可以被認為是線性的,但在圖像獲取傳輸過程中,由成像系統、傳輸介質方面的原因造成圖像退化模型并不是空間不變(Space-invariant)的,而是空間變化的(Space-variant)。其變化性的起因主要是傳輸介質的非均勻性和光學系統的成像缺陷。光學系統含有像差,且像差的大小通常會隨視場的變化而發生改變,而工作環境變化、系統平臺振動外界因素更會加劇光學系統的像差,引起成像系統不同視場PSF的變化。除了前面兩個引起空間變化的因素外,成像系統探測器響應的非均勻性,成像目標物與光學系統間的相對運動等因素也會造成系統不同視場的PSF不同。當空間不變圖像復原算法用于處理空間變化產生的模糊時,其性能會下降,產生較差的恢復結果。因此需要用空間變化圖像恢復模型。空間變化模型與空間不變的模型差異主要表現在:空間不變的模糊核(Point spread function)在圖像退化模型中是固定不變,而空間變化的模糊核在圖像的不同區域是不同的。空間變化模型,因為空間變化的特性,模糊核無法當作一個整體。從而導致空間變化模型在圖像復原過程要比空間不變模型要復雜得多。在關于如何解決空間變化模糊的問題上,Costello等[1-2]提出了分塊復原法,即將圖像分為幾塊區域,每個區域的模糊核都當作空間不變的,然后使用去模糊算法復原圖像后再將幾個區域拼接起來形成一個完整的圖像。分塊復原法將復原圖像塊拼接后容易出現邊緣效應。與之對應的是直接復原法,直接復原法中解決此類問題的一個較為普遍的方法是將模糊核用一系列基礎分解矩陣來表示。Tezaur等[3-4]的一些早期的嘗試,將原始模糊的子集作為分解矩陣,然后應用到圖像復原算法當中。而后,Popkin等[5]開始嘗試使用奇異值分解來分解模糊核。Miraut等[6]將奇異值分解模糊核運用到圖像復原算法當中,提出了基于小波框架正則化的L0范數圖像復原算法。Sroubek等[7]在SVD分解模糊核的基礎上,使用TV范數作為正則項也取得了不錯的復原效果,并橫向對比了模糊核分別基于行分解的奇異值分解和基于列分解的奇異值分解的復原效果。

干凈無損的圖像是稀疏的,近年來基于稀疏表達的圖像復原算法不斷出現且取得不錯的效果[8-9]。小波框架具有稀疏性和良好的局部頻域特性,在圖像復原中得到了很好的應用[10-12];Chan等[13]基于小波框架提出了針對空間變化模糊的高分辨率圖像重建算法。近年來在壓縮感知領域的一些實驗表明:將TV函數和小波框架的組合作為正則項能夠取得較好的復原效果[14-15]。新算法使用TV和小波框架的線性組合模型作為正則項,結合使用SVD技術將模糊核分解為一個基濾波矩陣和一個系數濾波矩陣,將正則化模型引入到空間變化去模糊領域。并運用交替方向乘子法(Alternating direction method of multipliers)對算法進行快速求解。實驗表明：新的算法能夠取得較好的峰值信噪比和結構相似度。

1 圖像退化模型

1.1 模糊核模型

點擴散函數(PSF)描述了一個成像系統對一個點光源(物體)的響應。與空間不變產生的模糊不同,空間變化產生的模糊,它產生的PSF在圖像中的每個點都是不同的。因此在圖像中某點s的PSF可以用函數h(x,s)來表示,空間變化的圖像退化模型可表示為

(1)

式中:u為想要恢復的清晰原始圖像;g為被相機捕捉到的影像;h為模糊核函數。轉化為向量矩陣的形式為g=Hu,其中H為離散空間變化模糊核的退化矩陣。

1.2 模糊核的分解

空間變化模糊核的分解有列分解(Column-wise decomposition)和行分解(Row-wise decomposition)兩種形式。Miraut等[6]將模糊核表示為IKs(Integration kernels)和PSFs(Point spread functions)兩種形式,IKs所對應的模糊核分解為行分解(RWD),PSFs所對應的分解形式為列分解(CWD)。通常使用PSFs來表示線性的空間變化裝置要比使用IKs表達地更加自然準確,主要原因在于PSF描述了點光源在經過光學系統后,由于衍射而形成一個擴大的像點,通過測量系統的PSF,能夠更準確地提取圖像信息,所以PSFs要比IKs更加直觀。在文獻[7]中,Sroubek等使用散焦模糊來模擬空間變化模糊,并將模糊圖像的模糊核分別用CWD和RWD分解方式來分解,并使用TV正則化的方法對圖像進行復原。通過文獻[7]的實驗結果,了解到使用CWD分解法后算法恢復的圖像質量要好于RWD分解法,與此同時，隨著所取分解取得的奇異值個數K的增加,CWD分解法所取得的恢復圖像與原始圖像的均方誤差(MSE)下降得更快。這表明在取得較好圖像復原效果的同時減少K的值,以便于簡化計算。因此,新算法采用CWD-SVD分解法來分解PSFs。

(2)

式中:sr按照從大到小排列取前k奇異值,sk=diag({σ1,…,σk})。由此可得模糊核分解公式為

(3)

式中:br(x),mr(s)分別為所需要的基濾波矩陣和系數矩陣[16]，其中br(x)=ur(x),mr(s)=srvr(s)。

結合圖像退化模型,分解后,相應的圖像退化模型為

g=[B1,B2,…,BK][M1,M2,…,MK]Tu+n=
BMu+n

(4)

式中:g為退化圖像的向量表示;u為原始圖像的向量表示;n為噪聲的向量表示;B,M分別為模糊核經SVD后得到的基濾波矩陣和系數濾波矩陣。

2 圖像復原算法

2.1 正則化復原模型

圖像復原是一個典型的病態問題,因此需要引入原始圖像的先驗信息,構造附加解的先驗信息作為約束條件,將病態問題良態化。這就是圖像復原正則化處理的基本思想。利用正則化方法將式(4)轉為求解最優化問題,求解泛函模型,即

E(u,g)=Q(u,g)+λJ(u)

(5)

(6)

2.2 基于ADMM的圖像去模糊算法

為了克服TV正則化方法計算困難的缺點,近年發展出了許多高效的計算方法,如原對偶方法、FTVd、增廣拉格朗日法和交替方向乘子法(ADMM)等。為了求解上述模型,將式(6)轉化為約束最優化問題。ADMM算法是機器學習中比較廣泛使用的約束問題最優化方法,它是增廣拉格朗日法的一種延伸,其主要目的是為了彌補了二次懲罰的缺點。在一些問題中,二次懲罰來近似約束問題在最優點附近需要懲罰項的系數趨于無窮,這會使得海森矩陣很大,因此近似的目標函數會很不穩定。ADMM能夠避免這種缺陷,該算法引入了線性逼近部分,通過線性系數不斷的接近最優解,使得在二次懲罰項系數很小的情況下,也能得到滿足要求精度的解。ADMM通過分解協調(Decomposition-coordination)過程,將大的全局問題分解為多個較小、較容易求解的局部子問題,并通過協調子問題的解而得到大的全局問題的解,所以新算法選用該方法求解模型。約束最優化問題為

(7)

s.t.ω=Mu,v=Cu,H=Wu

將式(7)改為增廣拉格朗日形式,得到

(8)

根據ADMM迭代求解算法,可以對式(8)變量進行分離求解,將式(8)轉化為分別對u,ω,v,H迭代求解問題。具體迭代求解算法為

(9)

要求解式(9)的變量u,ω,v,H,只需在對應項關于變量求導為零即可,即求解極小值問題。式(9)中的第1項是關于u求導,可得

(γMTM+βCTC+ρWTW)u=γMT(ω+q)+
βCT(v+p)+ρWT(H+t)

(10)

要求解式(10),需要求出(γMTM+βCTC+ρWTW)-1。W為緊小波框架分解算子,從而有WTW=I。C為差分算子,CTC為拉普拉斯算子矩陣,因此后2項都可以在頻域中快速計算,然而MTM

(11)

式(11)中：F和F-1分別代表傅里葉變換和傅里葉反變換。通過以上公式對變量的分離求解,再將其置入迭代優化便可以在迭代中求解u。直到在迭代過程中迭代停止準則小于已設定好的閾值或者超出最大設定迭代次數時,停止迭代。

3 仿真分析

新算法使用峰值信噪比(PSNR)和結構相似度(SSIM)來評估圖像復原效果,輔以主觀視覺效果的主觀評價。自然圖像具有極高的結構性,表現在圖像的像素間存在著很強的相關性,這些相關性在視覺場景中攜帶著關于物體結構的重要信息。SSIM能夠使圖像和參考圖像的結構比較失真。相較于傳統所使用的影像品質衡量指標,結構相似性在影像品質的衡量上更能符合人眼對影像品質的判斷。PSNR值越大,SSIM的值越接近于1,說明恢復圖像越接近原圖像,恢復效果越好。

實驗原始圖像分別選取分辨率為256×256的“Lena”“Cameraman”“House”“Barbara”圖像。實驗編程環境為Matlab2016b。實驗需要添加空間變化模糊,因其特殊性,退化模型采用文獻[7]提供的散焦模糊來獲取退化圖像。即假設模糊核函數已知,模糊程度可改變參數來手動控制。而在實際應用中,模糊核需要被估計出來才能進行圖像的復原。設置最大迭代次數為500。

新算法添加的模糊與文獻[7]相同,因此將新算法與文獻[7]所提出的TV復原模型進行比較,對比算法參數取原值。部分實驗結果如圖1～3所示。其中圖1(a)為原始清晰的圖像“Lena”,圖1(b)為添加散焦模糊后的圖像,圖1(c)為用文獻[7]算法復原的圖像,圖1(d)為新算法復原的圖像。圖2(a)和圖3(a)中為原始圖像,圖2(b)和圖3(b)為模糊圖像,圖2(c)和圖3(c)為新算法復原圖像。圖4為實驗圖1(b)新算法與文獻[7]算法的迭代次數與PSNR值的關系圖,圖5為實驗測試圖“Lena”在不同模糊程度下(PSF變化速率值越大,模糊程度越高),新方法和文獻[7]算法復原圖像PSNR值的對比數據圖。更多實驗數據對比結果如表1所示。

圖1 “Lena”模糊圖像復原結果Fig.1 The result of blurred image “Lena”

圖2 “Barbara”模糊圖像復原結果Fig.2 The result of blurred image “Barbara”

圖3 “Cameraman”模糊圖像復原結果Fig.3 The result of blurred image “Cameraman”

圖4 文獻[7]與新算法PSNR隨迭代次數對比Fig.4 PSNR comparison between proposed method and reference[7] with iteration number

圖5 文獻[7]與新算法PSNR隨模糊程度的對比Fig.5 PSNR comparison between proposed method and reference[7] with speed of PSF changes

測試圖像模糊程度(SSIM)峰值信噪比/dB文獻[7]新算法結構相似度文獻[7]新算法LenaCameramanHouse0.427 929.664 832.142 70.858 60.903 60.454 930.038 432.042 20.867 00.901 90.500 930.022 730.057 20.873 90.878 40.503 831.217 234.707 20.907 40.947 70.515 332.037 533.691 30.906 20.911 80.550 131.901 131.755 70.918 60.892 20.547 834.435 937.047 40.890 30.920 30.563 534.150 734.471 30.873 80.875 90.590 135.091 934.150 70.889 00.872 2

從圖1(c,d)的對比,可以看出新算法復原的圖像在發絲、帽檐紋理較多的區域比文獻[7]算法復原的圖像要更加清晰,而圖4也可以表明,新算法在迭代次數230之前效果差于對比算法,但隨著迭代次數的增加,新算法的復原效果要好于對比算法。表1“lena”圖像的第一行數據也表明,迭代最終結果新算法在PSNR上比文獻[7]算法產生的結果高出2.47 dB左右,在SSIM數值上要高出0.045左右。在表1的實驗中,具體的對比了3幅經典圖像在不同模糊程度下,新算法與文獻[7]算法的復原效果。每幅測試圖像的模糊程度,由上至下模糊程度越來越低(SSIM越高)。從實驗結果可以看出,新算法提出的結合TV和小波框架的雙正則化模型的復原效果在PSNR和SSIM都略優于文獻[7]提出的正則化恢復模型的復原效果。圖5的數據顯示,相比于文獻[7]算法,在測試圖像模糊程度較低時,新算法表現不太理想,產生的復原效果與對比算法持平甚至略低,但隨著原始圖像模糊程度的增加,新算法的最終復原效果越加明顯。新算法通過增加了小波框架作為先驗信息,每次迭代的計算量略有增加,但基本與文獻[7]相當,結合以上圖表數據顯示出的去模糊效果,當添加的模糊程度越深,新算法取得的恢復結果更加優于文獻[7]算法的恢復結果。

在實際例子中,模糊圖像恢復需要先計算模糊核參數,得到參數之后再使用圖像復原算法進行恢復。新算法未涉及到模糊核參數的估計,故無法在模糊核參數未知的情況下對圖像進行復原。圖6(a)是一幅車輛在行駛過程中拍下的圖像,由于相機曝光時間過長或者車速過快等原因,導致圖中車牌模糊不清。將模糊圖像使用算法[3]對其模糊核參數進行估計,可以得到相關的模糊中心、長度、方向等信息。再將估計好的模糊核參數代入到算法中進行復。對比圖6(a,b)兩幅圖像,車牌號由原始的模糊不清經過算法復原之后變得清晰可見。

圖6 模糊圖像的復原Fig.6 Restoration of fuzzy images

4 結 論

TV正則化和小波正則化圖像復原算法是近年來效果較好、效率較高的算法。針對在空間變化模糊中圖像恢復的問題,傳統復原算法表現效果不佳。新算法基于模糊核分解,結合傳統正則化技術,提出一種總變分和小波框架雙正則化模型。并使用ADMM算法將原問題分解為易于求解的子問題進行獨立求解,使得算法能快速迭代收斂。實驗結果表明,新算法提出的方法在圖像去模糊恢復過程中能夠較好地保存原始圖像的邊緣信息和細節。同其他算法相比,新算法取得了更好的客觀評價指標,在主觀上也具有更好的視覺效果。