基于分數階全變分和低秩正則化的彩色圖像去模糊方法

馬 飛, 王梓璇, 楊飛霞, 徐光憲

(遼寧工程技術大學,a.電子與信息工程學院; b.電氣與控制工程學院,遼寧 葫蘆島 125000)

0 引言

作為圖像恢復中最基礎的技術之一[1],圖像去模糊被廣泛應用于醫療影像、天文成像、智能監控等領域,獲得純凈的圖像十分重要[2]。圖像去模糊包括圖像盲去模糊和非盲去模糊兩類。

圖像盲去模糊的目的是根據給定的模糊圖像估計出未知的模糊核和潛在的純凈圖像[3]。SUN等[4]建立反卷積模型最終估計出模糊核的寬度和方向;DONG等[5]將L0范數與全變分正則項組合起來提出了一種新的自然圖像先驗; BAI等[6]提出了一個基于圖像的盲去模糊算法,但其高度不適定性會導致模糊核的不確定,使去模糊效果大打折扣。

圖像非盲去模糊是指在已知模糊核的前提下,恢復出潛在圖像的過程。經典的非盲去模糊方法主要分為深度學習方法[7-8]、濾波法[9-10]、正則化法[11-16]3類。ZHANG等[7]訓練一個迭代非盲的全卷積網絡用于去除梯度域內的噪聲,但大量的訓練數據集會降低小樣本圖像恢復準確率;CRUZ等[9]提出的濾波方法,減少了邊緣模糊效應,但是對加性噪聲特別敏感,恢復效果不佳。比較經典的正則化方法如全變分(TV)正則項[15,17],但TV正則項考慮的是像素點處的一階差分,會產生階梯效應。一些研究者在傳統TV正則項上進行了改進。CHOWDHURY等[18]提出了分數階全變分(FTV);GUO等[19]證實FTV可以更準確、更精細地表示圖像紋理,緩解階梯效應。由近年來的相關工作發現,對圖像施加低秩先驗約束[20-21],能夠保留邊緣信息并消除潛在圖像中不重要的紋理,同時還能抑制噪聲對去模糊過程的影響。然而,現有的正則化方法沒有考慮到彩色圖像RGB 3個通道具有高度相關性,會引起圖像處理前后顏色突變的問題[22]。

為了克服上述問題,本文提出了一種基于分數階全變分和低秩正則化(LRFTV)的彩色圖像去模糊方法。首先,分析并證明了RGB轉換為YCbCr后的去模糊方法是合理的,保持了色彩平衡;其次,通過自然圖像局部平滑性質和低秩性質提出了分數階全變分和低秩正則化的保真度項,既緩解了圖像去模糊中出現的階梯效應和偽影,又增加了圖像細節;最后,利用交替方向乘子 (ADMM) 法進行優化求解,恢復出純凈圖像。

1 信號模型

在高斯噪聲條件下,對應的圖像去模糊退化模型可以寫為

B=A?X+E

(1)

式中:B、X、E分別為模糊圖像、潛在圖像和噪聲;A為某種類型的模糊核;?表示卷積運算。

1.1 分數階定義

(2)

式中,權重gα(l)為

(3)

式中,Γ(·)為伽馬函數,對于指定的微分階α可取任意正實數。

將一幅圖像推廣到二維離散化,可以表示為歐幾里德空間Rm×n中的一個矩陣,即圖像X。其分數階的微分形式為

(4)

當式(3)中的l趨于0時,gα(l)的幅度很快衰減到零,因此只選擇合適的分數階推導的項作為近似。得到圖像X∈Rm×n沿垂直和水平方向的離散分數階差分并取前L項近似的截斷版本為

(5)

(6)

然后將FTV定義為

(7)

1.2 低秩正則項

秩的最小化是一個求解困難的非凸問題,可以采用凸松弛技術處理。核范數正則化作為秩約束問題的一種凸松弛表示,核范數最小化(NNM)方法證明了核范數是秩最小化問題的最緊凸松弛,并且得到了該問題的解

(8)

X*=USη(Σ)VT

(9)

其中,參數η>0,B∈Rm×n,假設m≥n,B=UΣVT,為矩陣B的奇異值分解,可以通過軟閾值算子收縮奇異值,將軟閾值算子定義為

(10)

式中:τ表示變量;T表示閾值。然而,奇異值的重要程度是不同的,較大的奇異值表示主特征分量包含了更豐富的信息,較小的奇異值包含細節特征及噪聲。為了提升核范數正則化的有效性,對不同的奇異值賦予不同的權值,因此,提出了加權核范數正則化(WNNM)方法,將矩陣X的加權核范數定義為

(11)

式中:Xj表示X中所有相似的圖塊堆疊成的一個矩陣;σi(Xj)為第i個奇異值,σ1(Xj)≥σ2(Xj)≥…≥σn(Xj)≥0;*表示核范數;權重向量w=[ω1,…,ωn],ωi≥0,其權重設置為

(12)

式中:c為矩陣的列數,即所選的相似圖塊數量;ε為無限小的數。此權值滿足0≤ω1≤ω2≤…≤ωn,使較大的奇異值收縮更小,較小的奇異值收縮更大,以保留數據矩陣中主要的信息。

2 提出的算法

本文旨在建立圖像去模糊的正則化模型以及設計相應的算法,在式(1)中提出了一個去模糊模型,并且考慮以下正則化問題

(13)

(14)

構造增廣拉格朗日函數

(15)

式中:Λi為對偶變量;μi為增廣拉格朗日的權重系數。

2.1 X的解析表達式

從增廣拉格朗日函數中提取X的項,可得

(16)

初始的σi(Xj)可以估計為

(17)

然后,通過廣義軟閾值算子soft(τ,T)收縮奇異值,迭代得到最優的Xk+1的解。

2.2 U的解析表達式

通過求解U的梯度,得到了一個閉式解

(18)

(19)

2.3 Z的解析表達式

通過調用已知的軟閾值算子soft(τ,T),且當τ>0,可得Z的更新為

(20)

2.4 G的解析表達式

(21)

解得G為

(22)

3 仿真實驗結果及分析

為了驗證本文提出的基于分數階全變分和低秩正則化(LRFTV)的彩色圖像去模糊方法的圖像去模糊效果,在CSet8圖像集上進行了實驗,大小為256×256×3,單位為像素。實驗中,采用高斯模糊核和運動模糊核兩種類型的模糊核產生模糊圖像,利用IAWCTT[23]、FCNN[7]、L0-RIG[5]和GBID[6]4種去模糊方法作對比算法,圖像恢復性能的評價核心指標為峰值信噪比(PSNR)和結構相似度(SSIM)。

一是愛在“困難”處。通過入戶走訪了解群眾困難訴求，分析研究對策解決。幫助170人實現就業，解決117人看病難、75名學生上學難、11戶貧困戶住房難問題；二是愛在“細微”處。通過換燈泡、修馬桶、探望住院群眾等一個個微行動，增進了和職工群眾的感情贏得群眾信任。截至目前，為群眾扶貧幫困298戶次，為民辦實事近300件；三是愛在“急需”時。共開展互助幫扶活動110余次，逢年過節走訪慰問，給特殊困難家庭發放慰問款物6.24萬元。

3.1 亮度通道去模糊的有效性分析

本文提出了在YCbCr顏色空間的亮度通道中實現去模糊處理。從模糊的圖像數據集、GoPro數據集、CSet8數據集中共計選取20幅圖像,圖1所示為不同顏色空間中各通道的MSE曲線。

圖1 20幅純凈圖像及其模糊圖像在不同通道中均方誤差Fig.1 The MSE of 20 clear images and blurred images in different channels

圖1(a)中,3個通道的MSE曲線在RGB顏色空間中均發生了顯著變化,因此模糊會對RGB的3個通道都造成影響。圖1(b)中,僅有Y通道的MSE有明顯變化,可以得出,在RGB顏色空間中模糊影響了3個通道,從而出現色彩失衡現象,而在YCbCr顏色空間中模糊主要施加在了亮度通道上,因此,在亮度通道中實現的去模糊方法是合理的。

3.2 參數設置

以 Lena圖像為例,反映了α=0.2的高斯模糊和α=0.3的運動模糊的參數及權重系數的變化曲線,如圖2所示。

圖2 不同參數去模糊的PSNR

從圖2結果可知,設置λ=1、β=1.6、μ1=0.1、μ2=0.1、μ3=0.1,性能達到最優,這些權重系數是用來平衡數據擬合項與正則項之間的關系的。設置模糊圖像相似斑塊大小為88,單位為像素,相鄰圖像分塊之間重疊1個像素。對于每個分塊,使用塊匹配算法[20]在30×30(單位為像素)的鄰近范圍內確定相似的分塊。

3.3 仿真與性能分析

3.3.1 不同分數階階次的圖像去模糊性能

本文提出的LRFTV方法中α的選擇影響著圖像的質量,圖3所示為不同α下PSNR曲線。

圖3 不同α下的PSNR

由圖3(a)可知,當去高斯模糊的α取0.2時,PSNR達到最佳;由圖3(b)可知,當α取0.3時,去運動模糊的PSNR達到最佳。分數階微分對不同種模糊有不同的影響,因此,選擇適合不同模糊圖像特征的階次建立去模糊方法進行實驗仿真。

選擇不同模糊核尺寸,即改變圖像的模糊程度會對圖像恢復效果產生不同的影響,通過對Lena圖像進行標準差不同的高斯模糊處理,如圖4所示。

圖4 不同模糊程度的PSNR

由圖4(a)可知,本文方法的PSNR性能最優;通過圖4(b)橫向比較發現,當模糊程度增大時,PSNR也隨之變小。這主要是因為模糊核尺寸的增加導致圖像差異度邊緣的模糊程度更高,圖像恢復難度提升,所以圖像恢復性能下降。

3.3.3 不同噪聲的圖像去模糊性能

采用6種均值為0且方差不等的高斯噪聲加入Parrots模糊圖像,如圖5所示。

圖5 不同噪聲下圖像去模糊的PSNR

從圖5可以看出,在不同模糊特征下,各方法的PSNR均隨著噪聲的增大而減小,這是因為噪聲增加導致有效圖像信號的提取難度提升;對比方差為0.1和0.6的各方法,LRFTV方法對圖像的PSNR值差異不明顯,且均高于其他方法,這是因為分數階全變分和低秩正則項能有效抑制噪聲的干擾。

3.3.4 不同正則項的圖像去模糊性能

表1給出了不同正則項去模糊的性能,分別對Peppers去高斯模糊處理以及Butterfly去運動模糊處理。本文表中加粗數據表示效果最優。

表1 不同正則項去模糊的PSNR Table 1 PSNR of deblurring with different regularization dB

由表1可知,本文提出的LRFTV方法均獲得了最優的PSNR,全變分和低秩組合的性能次之。因此,本文方法有很大的優勢。

3.3.5 不同方法的圖像去模糊性能

表2 不同測試圖像去高斯模糊問題中的PSNR和SSIM Table 2 PSNR and SSIM in Gaussian deblurring of different test images

表2中,FCNN利用了CNN網絡的方法,本文方法取得了相對最好的效果,測試圖像集的PSNR均在27.38 dB以上,SSIM均在0.95以上,其中,Parrots取得了最高的PSNR值36.76 dB。本文方法在7幅測試圖像上的平均PSNR比L0-RIG高出1.74 dB。

圖6為各種方法在測試圖像Peppers上的去高斯模糊的效果。

圖6 去高斯模糊的效果對比Fig.6 Effects of Gaussian deblurring

由圖6可知:IAWCTT方法能夠大體實現圖像的去模糊,但是細節恢復不好;L0-RIG方法較前面方法性能有所提升,但是仍然有很多細節并未恢復出來,且在圖像邊緣處產生了偽影,使圖像邊緣處信息丟失;GBID方法雖表現出不錯的去模糊性能,但是此方法會產生階梯效應,在去除紋理邊緣方面較弱;FCNN方法在細節部分恢復效果很好,但在邊緣處會產生偽影;而本文所提LRFTV方法對于細節的恢復更加精細,也在很大程度上緩解了階梯效應的存在,同時也抑制了偽影的產生。

表3給出了模糊角度35°,模糊長度為6像素的各方法去運動模糊性能。

表3 不同測試圖像去運動模糊問題中的PSNR和SSIM Table 3 PSNR and SSIM in motion deblurring of different test images

由表3可知,同去高斯模糊相似,在測試圖像上本文方法的平均PSNR和SSIM均高于其他方法,其中,FCNN方法取得了相對最低的PSNR,Parrots取得了最高的PSNR值36.51 dB。本文方法在7幅測試圖像上的平均PSNR比L0-RIG高出1.75 dB。

圖7為各種方法在測試圖像Parrots上去除運動模糊后的效果圖。

圖7 去運動模糊的效果對比Fig.7 Effects of motion deblurring

由圖7可知,對比視覺效果,本文方法恢復出的純凈圖像效果較好,在一定程度上緩解了階梯效應,且能更好地重建細節邊緣信息,去除偽影,具有比較高的穩定性。

3.3.6 不同方法的圖像去模糊運行時間

表4為不同方法的平均運行時間。

表4 不同方法的平均運行時間

由表4可知,FCNN恢復圖像最耗時,本文方法和GBID方法耗時很接近,兩者運算時間相差非常小,這可能是因為兩種方法都需要正則優化求解,而FCNN需要不斷迭代獲取穩定的網絡參數,因此消耗了大量時間。

4 結束語

本文提出了一種基于分數階全變分和低秩正則化的彩色圖像去模糊方法。證明了YCbCr的Y通道與CbCr兩個色度通道之間是不互相干擾的,保持了色彩平衡,通過引入分數階全變分和低秩正則化來表征圖像的兩個不同特征,可以更好地約束解空間,增強圖像的細節并減少階梯效應和偽影。實驗結果表明,本文方法不僅在客觀評價指標方面取得了很好的效果,使PSNR最少提升了1.74 dB,而且在主觀視覺方面恢復出了質量更好的圖像。在未來的研究中,將進一步改進方法,縮短運行時間,同時為了更全面地分析該方法的有效性,將拓展該方法用于去雨、去霧等其他圖像復原任務。