暗像素先驗的模糊圖像盲復(fù)原方法

涂春梅，陳國彬，劉 超

1.重慶工商大學(xué) 融智學(xué)院，重慶市生態(tài)環(huán)境規(guī)劃空間信息管理與決策支持重點實驗室，重慶 401320

2.貴州航天電器股份有限公司，貴陽 550009

1 引言

圖像的盲去模糊旨在從一幅模糊的圖像中復(fù)原出一幅清晰的圖像以及估計出一個準(zhǔn)確的模糊核。這是一個經(jīng)典的圖像信號處理問題，在過去的幾十年中，在視覺和圖形領(lǐng)域已經(jīng)成為一個研究熱點。并且隨著手持?jǐn)z像機（特別是智能手機）拍攝的圖片的增多，去模糊問題的重要性也與之俱增，因此有必要研究怎么對圖像去除模糊以得到一幅高質(zhì)量的清晰圖像[1]。

眾所周知，圖像模糊的過程可以用以下的數(shù)學(xué)模型來表示：

其中，B、I、k和n分別代表觀察到的模糊噪聲圖像、原始的清晰圖像、模糊核和噪聲。表示卷積操作。在模糊圖像的盲去模糊中，因為只有B是已知的，而需要同時復(fù)原出I和k，所以該問題是一種嚴(yán)重的病態(tài)逆問題。為了能夠有效地實現(xiàn)模糊圖像的盲去模糊，需要對待復(fù)原的清晰圖像和模糊核給出正確的先驗約束。例如，大量的方法假設(shè)待復(fù)原清晰圖像的梯度具有稀疏特性，因此提出了一種嚴(yán)重拖尾分布的圖像先驗，并結(jié)合最大后驗概率（Maximum a Posterior，MAP），來估計原始的清晰圖像。但是Levin 等人也指出，這類去模糊方法并不能真正實現(xiàn)模糊圖像的清晰化復(fù)原，因為這種嚴(yán)重拖尾分布的圖像先驗會讓最終求解出的圖像趨向于偏愛模糊圖像而不是原始的清晰圖像[2]。為了改進這個問題，人們開始研究一些新的圖像先驗，以保證新的圖像先驗會偏愛原始清晰圖像而不是模糊的圖像，例如歸一化的稀疏先驗、L0 范數(shù)先驗和內(nèi)部圖像塊的復(fù)現(xiàn)先驗等。Fergus 等人利用一種混合的高斯分布來學(xué)習(xí)圖像梯度的先驗，實現(xiàn)了模糊圖像的盲復(fù)原，但是該方法的計算量太大[3]。Krishnan 等人提出了一種基于L1 范數(shù)和L2 范數(shù)的歸一化的圖像稀疏先驗，能夠強制復(fù)原圖像趨向于清晰的圖像而非模糊的圖像[4]。Xu等人提出了一種L0范數(shù)作為復(fù)原圖像的先驗[5]。Ma等人提出了一簇稀疏函數(shù)來作為復(fù)原圖像的先驗，對復(fù)原圖像的梯度進行稀疏性約束[6]。實驗證明該類函數(shù)先驗具有與Xu 等人提出的L0 范數(shù)[5]相似的特性，均會偏愛清晰的圖像而不是模糊的圖像。Pan 等人將L0 范數(shù)同時運用到了復(fù)原圖像的空間域和梯度域中，進一步強制復(fù)原圖像遠(yuǎn)離模糊[7]。Michaeli等人利用圖像不同尺度上模糊程度也會不同的特性，提出了一種內(nèi)部圖像塊復(fù)現(xiàn)的先驗來約束復(fù)原圖像趨向于清晰化[8]。Zuo等人提出了一種逐次迭代的模糊圖像盲復(fù)原方法。該方法通過學(xué)習(xí)找到每個尺度上每次迭代中所需的最優(yōu)的圖像稀疏先驗[9]。除了新的圖像先驗以外，近幾年，一種啟發(fā)式的邊緣選擇并結(jié)合MAP 的模糊圖像盲復(fù)原方法被提出，并引起了廣泛的關(guān)注。該類方法不僅能夠有效實現(xiàn)模糊圖像的盲復(fù)原，同時還具有計算量較小的優(yōu)勢。Cho等人在進行盲復(fù)原之前，提出了一種額外的圖像邊緣選擇步驟：利用雙邊濾波器、shock濾波器和梯度閾值的方法來首先提取出圖像中的顯著邊緣，然后僅利用提取出的邊緣來進行模糊核的估計[10]。Xu等人基于圖像邊緣與模糊核在空間尺度方面的關(guān)系，提出了一種基于空間尺度的圖像邊緣提取方法。實驗證明了該方法提取出的邊緣能夠有效復(fù)原出清晰的原始圖像，并估計出準(zhǔn)確的模糊核[11]。Sun 等人利用圖像塊的先驗，提出了一種基于塊先驗的邊緣提取方法以實現(xiàn)模糊核的準(zhǔn)確估計，進而實現(xiàn)模糊圖像的清晰化復(fù)原[12]。Pan等人利用外部的清晰圖像數(shù)據(jù)庫來擬合模糊圖像中的有利邊緣，實現(xiàn)了人臉圖像的去模糊復(fù)原[13]。

通過對現(xiàn)有方法的分析可知，它們幾乎都存在一種缺點：現(xiàn)有的圖像先驗幾乎都是基于統(tǒng)計的方式得到的[3-9，12-13]。因此現(xiàn)有方法都會傾向于某種特定的應(yīng)用領(lǐng)域，即對于不同內(nèi)容或者不同類型的模糊圖像，其復(fù)原效果是不同的，普適性較差。

2 基于暗像素先驗的模糊圖像盲復(fù)原模型

為了能夠讓讀者更好地理解本文提出方法的原理，接下來，將首先對暗像素進行定義：

其中，x和y表示圖像I中像素點的位置，是一個以x為中心的圖像塊，Ic是圖像I的第c個顏色信道。如果I是一幅灰度圖像，那么由式（2）可知，圖像中的暗像素其實就是一個圖像塊中像素值最小的像素。

由式（1）可知，模糊圖像是由清晰圖像與模糊核的卷積所產(chǎn)生的。既然是卷積運算，那么對于數(shù)字圖像（離散信號）來說，卷積操作是對其中一個信號進行反轉(zhuǎn)和平移，然后將反轉(zhuǎn)、平移后的信號與另一個信號進行對應(yīng)元素的相乘，再將其乘積全部相加后的結(jié)果：

其中，Ωk和s分別表示模糊核k的支持域和大小，是四舍五入操作。可以注意到：一方面，由式（3）可知，圖像I模糊的過程可被看作是圖像I的局部權(quán)重線性組合的和；另一方面，由模糊的過程（式（1））、卷積的定義（式（3））和暗信道的定義（式（2））可知，與清晰圖像相比，模糊圖像中暗像素的像素值會比清晰圖像中暗像素的像素值大。因為在一個局部的窗口中，像素值的權(quán)重和一定會大于或者等于該局部窗口中的最小像素值，即卷積運算增加了暗像素的像素值。因此，得到如下結(jié)論：如將作為復(fù)原圖像的先驗，那么對進行最小化，即可強制復(fù)原圖像遠(yuǎn)離模糊而向清晰化的方向發(fā)展，最終得到清晰銳化的復(fù)原圖像。接下來，用數(shù)學(xué)的方法來證明在區(qū)分清晰圖像和模糊圖像方面的能力：

3 對提出模型的求解

對提出模型（5）的求解是較為困難的，這是由于超拉普拉斯先驗和非線性函數(shù)。因此，為了實現(xiàn)對提出模型的有效求解，本文采用了一種變量分裂的策略：引入兩個輔助變量，然后引入兩個額外的約束和，那么，提出的模型（5）可被轉(zhuǎn)換為式（6）：

其中，β為懲罰參數(shù)。接下來將交互式地迭代求解I、k和b。文獻[4-13]已經(jīng)證明，利用變量分裂的策略能夠讓式（6）的解收斂于式（5）的解，因此本文采用的最優(yōu)化方法所引起的誤差可以忽略不計，對模糊圖像盲復(fù)原方法的性能幾乎沒有影響。

（1）固定I和k，那么b可通過求解下式得到：

很明顯，式（7）是一種典型的非凸的稀疏編碼問題，因此可采用廣義的迭代收縮算法[9]對其進行求解：

（2）固定b和k，那么I可通過求解下式得到：

很明顯，式（10）是一個二次性的方程，因此可直接對I求導(dǎo)來進行求解，但是難點卻是如何求解非線性函數(shù)。通過研究發(fā)現(xiàn)，對圖像I進行非線性操作等效于將一種線性操作符M作用到圖像I的向量化形式上，。讓M為：

（3）固定I和b，那么k可通過求解下式得到：

同樣的，式（13）是一個二次性的方程，因此可采用與求解I相同的方法，直接對k求導(dǎo)，并采用快速傅里葉變換得到：

然后對求解得到的k再進行非負(fù)性和歸一化的處理：

4 實驗結(jié)果及分析

將本文提出的方法在文獻[2]和文獻[14]兩個自然圖像的數(shù)據(jù)集上進行了實驗，并將提出的方法與文獻[5]、文獻[7]和文獻[11]三種最近較為成功的盲復(fù)原方法進行了比較。因為實驗的數(shù)量很大，所以本文只給出了其中的一部分實驗結(jié)果來進行主觀視覺的比較。除此之外，針對數(shù)據(jù)集[2]和[14]中的所有實驗，本文還采用了逆卷積錯誤率（Deconvolution Error Ratio，DER）和自相似性測量（Self-Similarity Measure，SSIM）兩種客觀的評價指標(biāo)來評價本文提出方法的性能。DER 和SSIM 的定義如下：

其中，Iest_res和Itur_res分別表示用估計的模糊核得到的復(fù)原圖像和用真實的模糊核得到的復(fù)原圖像。本文實驗中所有圖像的像素值都被歸一化到0～1之間。

4.1 參數(shù)設(shè)置

本文提出的方法共涉及到 4 個參數(shù)λI、λd、λk和β。其中λI=λd=0.004,λk=2 。對于參數(shù)β,β0=2λu，然后在每次迭代之后對其進行加倍，βt=2βt-1,t為迭代次數(shù)，直到達到βmax=105為止。

4.2 文獻[2]和文獻[14]圖像數(shù)據(jù)集上的實驗

文獻[2]和文獻[14]的圖像數(shù)據(jù)如圖1 和圖2 所示，圖3所示為兩個圖像數(shù)據(jù)庫中所用到的8種模糊核。由圖1、圖2和圖3可知，該圖像數(shù)據(jù)庫總共可產(chǎn)生64幅模糊圖像。這64 幅模糊的圖像是人為產(chǎn)生的，因此本節(jié)的實驗也稱為人造模糊圖像的實驗。本文對所有的64幅人造運動模糊圖像均進行了比較實驗，但是因為篇幅的原因，這里只給出了其中一幅復(fù)原圖像和與之對應(yīng)的估計的BK（Blur Kernel）的主觀視覺效果比較圖，如圖4所示。

如圖4（b）和4（c）所示，文獻[5]和文獻[7]的方法所估計的模糊核均出現(xiàn)了不完整的現(xiàn)象：尾部消失，沒有估計出來。同時文獻[7]方法所估計的模糊核還出現(xiàn)了橫豎交叉的瑕疵。因為不準(zhǔn)確的模糊核估計，導(dǎo)致文獻[5]和文獻[7]方法所復(fù)原出的圖像也出現(xiàn)了明顯的振鈴瑕疵，特別是在復(fù)原圖像的邊緣部分（請看右下角門框的周圍）。文獻[11]方法估計的模糊核更是出現(xiàn)了斷裂，其最終的復(fù)原圖像也不可避免地出現(xiàn)了嚴(yán)重的振鈴瑕疵。相比之下，本文提出的方法因為有了暗像素的先驗，所以能夠有效地強制復(fù)原圖像遠(yuǎn)離模糊而向清晰化的方向發(fā)展，從而得到清晰銳化的復(fù)原圖像，進而能夠有效地避免模糊核的斷裂，并且能夠有效地估計出模糊核的尾部，保證了模糊核的準(zhǔn)確估計，所估計的模糊核是最準(zhǔn)確的。而準(zhǔn)確的模糊核又能反過來促進復(fù)原圖像的進一步清晰和銳化，因此，如此交互式地迭代便是一種有效的良性循環(huán)，保證了在估計出準(zhǔn)確模糊核的同時，復(fù)原出更高質(zhì)量的清晰銳化圖像。不僅清晰、銳化，而且有效抑制了振鈴瑕疵（圖4（e）右下角門框的周圍），且最接近用真實模糊核得到的復(fù)原圖像（圖4（f））。圖4在給定的數(shù)據(jù)集上證明了本文方法較近幾年一些極具代表性的模糊圖像盲復(fù)原方法相比，具有最佳的主觀視覺效果。

圖1 文獻[2]的圖像數(shù)據(jù)

圖2 文獻[14]的圖像數(shù)據(jù)

圖3 八種不同的模糊核

圖4 所有方法在Corridor圖像和模糊核6上的實驗結(jié)果

接下來，將采用DER和SSIM評價指標(biāo)來客觀評價本文方法的性能。圖5 所示為所有方法在文獻[2]和文獻[14]兩個數(shù)據(jù)集和8 種不同的模糊核上的DER 百分比，其中橫坐標(biāo)2表示所有實驗結(jié)果中DER小于2的百分比。如文獻[2]中所說，DER小于2即證明復(fù)原圖像的質(zhì)量較好，大于2 且越大，則表明復(fù)原圖像的質(zhì)量越差。如圖5所示，本文方法在所有的64幅人造模糊圖像中，DER 小于2 的百分比是最高的，能夠復(fù)原出最多的高質(zhì)量復(fù)原圖像。表1是所有方法在文獻[2]和文獻[14]兩個數(shù)據(jù)集和8種不同的模糊核上所得到的平均SSIM值。由表1可以很明顯地看到，本文方法在所有的64幅人造模糊圖像的實驗中，在絕大部分的情況下總能獲得最高的平均SSIM 值（除了模糊核5）。圖5 和表1 證明了在人造的模糊圖像實驗中，本文方法在客觀的評價指標(biāo)方面也是優(yōu)于其他的模糊圖像盲復(fù)原方法。

4.3 真實模糊圖像的實驗

為了進一步驗證本文方法的性能，在真實的模糊圖像上進行實驗。

圖5 所有方法在文獻[2]和文獻[14]數(shù)據(jù)集中的DER百分比

表1 所有方法在人造模糊圖像盲復(fù)原的平均SSIM值

圖6（a）為一幅真實的模糊圖像，大小為685×561，BK的大小為97×97。如圖6（b）和圖6（c）所示，文獻[5]方法和文獻[7]方法所估計的模糊核出現(xiàn)了明顯的間斷。如圖6（d）所示，文獻[11]方法所估計的模糊核出現(xiàn)了明顯的噪聲。因此，文獻[5]方法、文獻[7]方法和文獻[11]方法所得到的復(fù)原圖像均出現(xiàn)了明顯的振鈴瑕疵（注意圖中的局部放大部分）。相比之下，本文方法估計出了最準(zhǔn)確的BK，不僅有效抑制了噪聲，還很好地保證了模糊核的連續(xù)性，阻止了間斷。同時，本文方法所得到的最后復(fù)原圖像不僅具有最清晰銳化的邊緣，同時還很好地抑制了振鈴瑕疵（圖6（e））。

圖7（a）為另一幅大小為2 853×1 843 的真實模糊圖像，其BK的大小為101×101。如圖7（b）所示，文獻[5]方法所估計的模糊核出現(xiàn)了斷裂瑕疵，而文獻[7]和文獻[11]方法所估計的模糊核出現(xiàn)了明顯的噪聲瑕疵。因此，文獻[5]、文獻[7]和文獻[11]方法所得的復(fù)原圖像出現(xiàn)了明顯的陰影瑕疵（圖7（b）和圖7（c））和明顯的振鈴瑕疵（圖7（d））。相比之下，本文方法能夠估計出最準(zhǔn)確的模糊核，沒有間斷，也沒有噪聲等瑕疵。同時在最終的復(fù)原圖像方面，本文方法不僅能夠有效復(fù)原出清晰銳化的圖像邊緣和細(xì)節(jié)，同時還能夠有效抑制陰影和振鈴等瑕疵，獲得最高質(zhì)量的復(fù)原圖像（圖7（e））。

圖6和圖7從真實的模糊圖像上進一步證明了本文方法的優(yōu)越性。除了主觀和客觀的比較之外，表2利用在圖6和圖7中所有方法的運行時間來反映本文方法的復(fù)雜度。

表2 所有方法在圖6和圖7的實驗中的運行時間

如圖6、圖7 和表2 所示，雖然本文方法的時間略高于文獻[11]的方法，但是估計和復(fù)原的效果都有較大的提升。而相比文獻[5]和文獻[7]，本文方法無論是在運行時間上還是在估計和復(fù)原的效果上都優(yōu)于這兩種方法。因此綜合復(fù)原效果和運行時間，本文提出的方法具有更好的性能。

5 結(jié)束語

圖像的盲去模糊問題是一個長期的且具有挑戰(zhàn)性的逆問題。為了能夠從模糊圖像中有效地復(fù)原出原始的清晰圖像，本文基于模糊圖像的內(nèi)在本質(zhì)特性——模糊圖像的暗像素是非稀疏的，提出了一種基于暗像素先驗的模糊圖像盲復(fù)原方法。因為本文提出的方法是基于模糊的內(nèi)在特性，所以該先驗不僅能夠獲得更好的復(fù)原效果，而且還能夠適用于大量的模糊圖像，具有更好的普適性。但是，提出的模型會導(dǎo)致一種非凸和非線性的最優(yōu)化問題，因此，本文引入了一種最小化操作的線性近似來實現(xiàn)提出模型的最優(yōu)化求解。大量的實驗證明了本文方法與近幾年一些極具代表性的模糊圖像盲復(fù)原方法相比，有更好的性能。如何將本文方法擴展到模糊視頻的清晰化復(fù)原中是接下來研究工作的重點。

圖6 真實模糊圖像的實驗結(jié)果和局部放大圖

圖7 真實模糊圖像的實驗結(jié)果和局部放大圖