基于邊緣約束與范數比值的圖像盲復原

趙小強, 王 濤

(1. 蘭州理工大學 電氣工程與信息工程學院, 甘肅 蘭州 730050; 2. 蘭州理工大學 甘肅省工業過程先進控制重點實驗室, 甘肅 蘭州 730050; 3. 蘭州理工大學 國家級電氣與控制工程實驗教學中心, 甘肅 蘭州 730050)

隨著當今智能設備的普及與應用,圖像已經成為人們交流的一種方式,圖像的采集也變得愈發方便.但在對其采集時,可能會受到各種因素的干預,如相機的抖動、物體與采集設備的相對移動、大氣湍流效應、離焦等因素,由這些因素導致的圖像都會造成一定程度上的模糊[1-3].如果不對造成模糊的圖像進行復原,就很難進行一些后續操作,如圖像檢測[4-5]、圖像分類[6]和圖像識別[7]等.

由運動造成的圖像模糊普遍存在,給人們的實際生活帶來了諸多不便,因此,對運動模糊圖像的復原研究具有重要的意義.在對運動模糊圖像進行復原時,最重要的部分是點擴散函數(point spread function,PSF)的估計,但在實際成像過程中,點擴散函數是沒有規律的,這就變成了一個病態問題,為了解決這個問題,一般都會對要處理的模糊圖像施加相應的約束,然后再結合點擴散函數的一些先驗知識,推導出相應的最優準則.這類方法主要有迭代盲解卷積算法[8]和正則化算法[9-10].迭代盲解卷積算法主要是通過點擴散函數和先驗信息設置約束條件,繼而在空間域和頻率域中交替迭代進行,但是它具有可靠性不足和噪聲容易放大等缺點.正則化算法主要在于找到合適的懲罰項,當合適的懲罰項找到以后,結合經驗風險使得結構風險最小化,從而求解出能量函數.

最近幾年,許多學者對稀疏正則化特性做了很多詳細的研究.Chan等[11]通過總變分正則化方法來估計點擴散函數,但當圖像有噪聲或者點擴散函數中有較復雜的結構時,估計出的點擴散函數都不準確,且復原出的圖像中有明顯的振鈴效應.Fergus等[12]首先提出選用高斯模型的方法對圖像的梯度分布進行擬合,但是該方法在飽和區域具有嚴重的振鈴現象.Levin等[13-14]提出了一種基于有效邊緣通過概率逼近的方法,但是該方法不能完全恢復出圖像細節,用該方法估計出的點擴散函數中有明顯的噪聲.Krishnan等[15]提出運用超拉普拉斯分布來擬合圖像梯度,但是該方法不能有效地估計出圖像邊緣細節.Cai等[16]采用固定字典,分別使用兩種不同的緊密框對PSF進行稀疏化處理,但是得到的圖像結構細節方面具有一些約束.Hu等[17]沒有運用圖像先驗信息,僅使用稀疏系數對圖像進行處理,得到的圖像不夠平滑且容易呈現塊效應.Jia等[18]將字典稀疏與梯度稀疏進行結合,得到的復原效果較好,但在實際成像過程中,點擴散函數是沒有規律的,所以該方法適用性不高.以上方法在對模糊圖像進行預處理時,因為模糊圖像中含有很多噪聲,使得求導得到的梯度包含許多弱邊緣和偽邊緣,從而影響點擴散函數的估計,使得復原效果變差.

針對以上問題,為了更加精確估計PSF,提高圖像復原質量,本文提出了基于邊緣約束與范數比值的運動圖像盲復原算法.首先提取出圖像的強邊緣結構,然后構造范數比值的稀疏正則懲罰項與之結合指導PSF的復原,循壞迭代,使估計的PSF更加趨近于真實解,最終復原出的圖像具有大量細節,可以抑制圖像在復原過程中產生的大量偽跡.

1 運動退化圖像的復原模型

對運動模糊的起因進行分析時,需要使用數學公式來建立相應的運動退化圖像的復原模型,假定運動退化圖像的PSF是線性空間不變的,則退化圖像的復原模型可以用圖1表示.

圖1 退化圖像的復原模型Fig.1 Restoration model of degraded image

退化圖像的復原模型表達式為

g(x,y)=f(x,y)?h(x,y)+n(x,y)

(1)

其中:n(x,y)和?分別表示噪聲和卷積;f(x,y)、h(x,y)、g(x,y)分別表示清晰原始圖像、點擴散函數、退化圖像.

對式(1)采取傅里葉變換處理,則可以得到它對應的頻域表達式:

G(u,v)=F(u,v)H(u,v)+N(u,v)

(2)

對運動退化圖像進行復原,其本質是把退化圖像g(x,y)當作已知量來處理,然后采用逆向倒退的方法求解清晰原始圖像f(x,y).

2 邊緣約束與范數比值的圖像盲復原

本文所提算法主要分為三個步驟:步驟1,對退化圖像進行分層,然后對其邊緣進行約束,提取退化圖像的多尺度強邊緣,圖2給出了舉例的退化圖像多尺度分層結果圖,從左往右大小依次為21×21、44×44、63×63、89×89、126×126、179×179和255×255;步驟2,將提取出的圖像強邊緣信息與構造的范數比值正則項進行結合用于指引點擴散函數的復原;步驟3,對圖像進行非盲解卷積求解,使其復原,并將復原的圖像作為下一次的輸入圖像,直到迭代出最大尺度.

圖2 退化圖像多尺度分解圖

2.1 邊緣約束

(3)

圖3 提取強邊緣仿真流程圖Fig.3 Extract strong edge simulation flow chart

圖4 多尺度點擴散函數估計

2.2 能量函數的估計

針對圖像復原的病態性,通常選用正則懲罰項來改進,使得病態問題變成良態問題.Krishnan等[19]在研究繁雜的街景背景圖像模糊程度與范數的關系時提出了范數比值用于約束模型,表達式如下:

(4)

本文借鑒文獻[19],對退化圖像施加范數比值稀疏性約束,同時將l1范數作為估計點擴散函數的正則項,因此得到的基于邊緣約束與范數比值的圖像盲復原梯度域能量函數表達式為

(5)

為了解決式(5)這種類型的非凸難題,本文將上述能量函數拆分為2個子問題,依次更新邊緣圖像f和點擴散函數k,當符合最終迭代停止要求時,輸出最終k.

2.2.1更新圖像f

(6)

Sa(x)i=max(|fi|-a,0)sign(fi)

(7)

采用ISTA對圖像進行估計時,設置內部和外部兩部分交替,防止式(6)分母‖′f‖2發生改變而影響能量函數中的?.圖像估計算法步驟如下所示:

輸入:f0、?、k、t、y、Nx;

步驟1:計算?′=?‖fi‖2,

forj=0 toN-1 do.

步驟2:計算v=y-tKT(Kfj-y).

步驟3:計算fi+1=fj+1,fx=fi+1.

輸出:圖像f的fx.

盡管式(6)是一個非凸問題,但本文采用內外迭代交替算法,有效地提高了圖像估計的速度.在使用式(7)時,輸入的內外層循環迭代最大次數為2,ISTA中閾值t的值為0.001,參數?為20.

2.2.2更新點擴散函數k

(8)

(9)

其中:B表示一個對角正定矩陣.所以根據式(9)可以推導出J(k)的最優解表達式為

(10)

對式(10)進行求導可得:

(11)

用共軛梯度法對式(11)進行迭代計算.計算點擴散函數k的步驟如下:

步驟1,輸入初始值:上一次迭代的k,本次更新的強邊緣的數值F,Nmax=10,設置次數n=7開始取值為0,停止誤差為0.000 1,β/?取值為0.01;

步驟3,對梯度下降方向dn進行計算:

dn=AT(b-Akn)

步驟4,對步長u進行計算:

步驟5,計算kn+1=kn+udn和yn+1=AT(Akn-b);

步驟7,k=k(k+1),將k按照下式進行處理:

步驟8,輸出最終估計k值.

2.3 點擴散函數k的多尺度估計

由運動造成的圖像模糊比較嚴重的情況下,觀測得到的圖像f往往過于模糊,使求得的梯度圖中含有許多弱邊緣和偽邊緣,這對準確估計點擴散函數造成了很大的影響.為了更加精確估計點擴散函數,提高圖像復原質量,本文借鑒多尺度的思想,由粗到細多尺度循環迭代點擴散函數的最優解.首先,根據點擴散函數的尺寸大小對圖像進行分層處理,隨后,將原始圖像當作第0層圖像,對其進行下采樣處理,這樣處理以后就可以得到圖像的第1層,并將處理以后的圖像作為下一尺度邊緣約束的初始輸入圖像,然后依次迭代對圖像進行復原.圖4給出了點擴散函數的多尺度估計圖.

（1）對止水槽基面采用聚合物復合韌型環氧砂漿進行找平處理，折角部位加強厚度形成弧狀，解決因基面不平整而形成局部漏水空洞。

2.4 非盲復原

當最終估計的點擴散函數k確定以后,使用超拉普拉斯先驗的非盲復原方法對圖像進行復原,該方法的概率模型更滿足實際圖像的分布.該非盲復原的能量函數為

(12)

其中:f是當前復原圖像,也是下次迭代復原的初試輸入圖像;?是權重.

圖5給出了本文算法流程圖.首先,對輸入的退化圖像進行級數分解;再依次經過T-smooth圖像技術[22]平滑處理、梯度篩選處理,得到圖像的強邊緣結構;然后將得到的強邊緣與范數比值的懲罰約束項相結合用于點擴散函數的復原,之后將估計出來的點擴散函數用于非盲解卷積,當滿足終止條件時,輸出復原圖像.

圖5 本文所提算法流程圖

3 仿真實驗結果與分析

3.1 實驗準備工作

本次仿真硬件為CPU Intel(R) Core(TM) i7-6500UCPU@2.50 GHz、RAM 4GB的計算機,軟件環境為MATLAB R2018b.

本實驗分為合成數據集實驗和真實數據集實驗.合成數據集實驗用到的數據集是Levin公開運動模糊圖像的測試集,該測試集是由4張清晰圖像和8種不同尺寸(13×13～27×27)的點擴散函數卷積而成的32張退化圖片組成,其圖片分辨率均為255×255像素.Levin數據集是對三角支架的Z軸進行固定,然后讓手柄進行旋轉,在旋轉的同時,放開X軸和Y軸的手柄,從而捕捉均勻的模糊圖像.圖6給出了4張清晰圖像和8種不同的點擴散函數圖像.真實數據集實驗用到的是Pan的真實數據集.

圖6 4張清晰圖像和8種點擴散函數圖像Fig.6 4 clear images and 8 kinds of point spread function images

在評價指標上,對合成數據集實驗選用結構相似(SSIM)和峰值信噪比(PSNR)來衡量效果,對真實數據集實驗選用圖像熵(E)和空間頻率(SF)來衡量效果.

PSNR為峰值信噪比,它主要用來比較原始圖像的像素和復原以后圖像的像素之間的差異,當它的數值越大時,證明復原圖像采用的算法性能越好.PSNR的數學表達式為

(13)

其中:MAXI為圖像中點顏色所對應的最大數值.

SSIM為結構相似度,當它數值越大時,表示使用的算法越優越,它的最大值為1.相比PSNR來說,SSIM更加直接地比較原始圖像與復原以后圖像的結構.SSIM的數學表達式為

(14)

E為圖像熵,它是一種常見的無參評價指標,當它的數值越大時,表示圖像中的平均信息量越多.E的數學表達式為

(15)

其中:P(i)是指某個像素i在圖像中出現的概率;n為灰度0～255的范圍.

SF為空間頻率,它是由空間的行頻率(RF)和列頻率(CF)組成的,當它的數值越大時,表示圖像空間的總體活躍程度越好,圖像質量更優.行頻率RF、列頻率CF和空間頻率SF的數學表達式為

其中:m和n分別表示圖像的寬和高;f(i,j)為圖像像素(i,j)的灰度值.

3.2 合成數據集實驗

在實驗中,T-smooth圖像平滑技術設置的參數參考文[22]進行設置,在能量函數的估計中,參數?的取值為20,β的取值為0.001.在點擴散函數的多尺度估計中,本文選擇的最小結構為3×3的.本文對比算法分別為A等算法[8]、K等算法[19]和F等算法[23].表1和表2是本文算法同其他對比算法對Levin合成數據集32張退化圖片進行復原以后的平均PSNR值和平均SSIM值以及總體的平均PSNR值和SSIM值.通過表1和 表2可知,本文提出算法得到的平均PSNR值和SSIM值均高于對比算法.

表1 本文算法與對比算法的平均PSNR

表2 本文算法與對比算法的平均SSIM

為了驗證本文提出算法的有效性,合成數據集實驗選用child測試圖像與點擴散函數-05生成的模糊圖像進行仿真實驗.表3為本次實驗各算法的評價指標對比.

表3 合成數據集實驗各算法的評價指標

從表3中可以看出,本文算法得到的PSNR和SSIM值比A等算法、K等算法和F等算法得到的數值都優越.

各算法實驗結果如圖7所示.從圖7可以看出,A等算法同其他對比算法相比復原效果最差,沒有恢復出小孩的清晰輪廓且圖像中的小孩具有大量的重影;K等算法對小孩模糊圖像進行復原,恢復出了清晰結構,但在圖像邊緣處具有較嚴重的偽跡;F等算法復原出的圖像在小孩眼睛處、鼻子處、頭發處等也具有大量的重影,在圖像的邊緣處還有許多的振鈴效應;本文算法恢復出的小孩圖像效果最好,能清晰地恢復出小孩的細節,如衣服處、鼻子處等,且圖像邊緣處沒有偽跡、重影和振鈴效應.

圖7 各算法合成數據集實驗結果對比圖

3.3 真實數據集實驗

真實數據集實驗選用Pan真實數據集中女孩的真實模糊圖像,各算法得到的無參評價指標見表4.從表4可以看出,本文算法所求的圖像熵值和空間頻率值均高于其他對比算法求得的.

表4 真實數據集實驗各算法無參評價指標結果

另外,真實數據集實驗結果如圖8所示.從圖8可以看出,使用A等算法復原出來的女孩圖像沒有恢復出清晰圖像,圖中含有許多重影和噪聲;K等算法恢復出來的女孩圖像邊緣有許多偽跡;F等算法恢復出來的女孩圖像同樣有大量偽跡和重影,且圖像的邊緣不銳利;本文算法恢復出來的女孩圖像輪廓清晰,不管是結構上還是細節上都具有比較好的視覺成果.

圖8 各算法真實數據集實驗結果對比圖Fig.8 Comparison of experimental results of real data sets of each algorithm

4 結論

本文提出了基于邊緣約束與范數比值的圖像盲復原算法,將得到的強邊緣加入到范數比值懲罰項約束的算法中,使得模糊圖像的邊緣信息和自然圖像的邊緣稀疏先驗信息有效利用,解決了傳統算法先驗信息過于簡單,復原時會使圖像存在許多偽邊緣、錯邊緣和偽跡的問題,以及基于稀疏約束的盲復原算法沒有有效利用模糊圖像的邊緣信息和自然圖像的邊緣先驗信息的問題.同時,本文對點擴散函數多尺度交替迭代估計,使其更加精確.通過合成數據集實驗和真實數據集實驗可以看出,本文提出的算法相比于其他對比算法,恢復出的圖像邊緣更加清晰,且評價指標都是最優的.