基于維納濾波器和生成對抗網絡的動態模糊圖像處理方法①

王 楊,張 鑫,許閃閃,童珺儀,張衛東

(安徽師范大學 計算機與信息學院,241000)

1 引言

由于拍攝目標物的不穩定性以及光線疊加作用,使得模糊圖像的復原成為圖片處理領域的一個重要方向.恰當的處理對于犯罪現場的取證、大氣氣候的勘察與界定以及交通監控超速車輛車牌等有著重要意義.

人類的眼球存在視覺暫留效應,當人類看運動的物體時,看到的每一幀畫面都是一個時間長度大約為1/24 秒的運動過程.動態的畫面每一幀都是模糊的.當我們得到一張動態模糊的圖片時,由于圖片模糊,我們很難看清圖片中的

文字、場景等具體細節.此時需要設計一個合理的數學模型,使模型能夠對圖像進行處理,以達到當得到一張動態模糊的圖片時,能夠盡可能地得到清晰的畫面,并能識別圖片中的文字、場景的目的.為了便于考慮和建模,論文中假設圖片的模糊是由于攝像機的運動導致的,即圖中的全部畫面都以一個相同的速度運動.

圖像復原領域的傳統方式包括：(1)頻域法,包括逆濾波法、小波變換法等.其中徐大宏[1]主要采用基于正則化的處理方法,圍繞圖像去噪、圖像去模糊兩個方面進行構造正則項和模型求解.高如新等人[2]提出一種基于雙邊濾波的去高光方法,能夠有效去除圖像的多區域局部高光,完成圖像復原.黃文輝等人[3]在圖像客觀測試峰值信噪比的基礎上,對測試模糊及方塊效應等算法進行改進.金飛等人[4]提出改進的維納濾波圖像復原算法,對退化圖像進行二次維納濾波.(2)非線性代數復原法,包括最大熵復原法、神經網絡法等,其中唐賢倫[5]通過建立條件深度卷積生成對抗網絡模型提高圖像的識別準確率.徐一峰[6]對深度學習和生成對抗網絡的各種模型和應用進行總結和討論.蘭妙萍等人[7]將卷積神經網絡和BP 神經網絡相結合,解決了傳統圖像復原對先驗知識具有依賴性的問題.(3)線性代數復原法,包括有約束復原法、無約束復原法、奇異矩陣分解(SVD)法等,梁曉萍[8]主要研究了運動圖像去模糊等算法,對于有無噪聲和實拍情景均有一定效果.吳秋峰[9]主要圍繞散焦圖像的圖像去模糊和深度估計進行研究.張玉葉[10]等人利用多個點擴散函數(PSF)具有聯合可逆性的特點,對多點擴散函數聯合進行圖像復原.Zikmund T 等人[11]提出的算法使用加權最小二乘曲面識別并分割相位圖像中.(4)頻譜外推法等,包括外推法、能量連續降減法等.在應用領域Chaira T 等人[12]主要研究模糊集理論,并將其應用到圖像閾值化,分割,邊緣檢測,增強等工作中.袁飛等人[13]對當前多種網絡上的視頻質量客觀評價算法進行研究.Zhou W 等人[14]針對網絡傳輸視頻過程中的失真問題,對客觀圖像和視頻質量的評估展開研究.

本文提出一種基于維納濾波器和生成對抗網絡的動態模糊圖像處理方法.維納濾波用來去除含有噪聲的模糊圖像,其目標是找到未污染圖像的一個估計,使它們之間的均方差最小,可以去除噪聲,同時清晰化模糊圖像.不同圖像由于拍攝設備的移動不同,預測很難通過單一方式找到對于所有圖片的普適性還原模型,因而嘗試選擇了自由性強、不受預定條件分布的生成對抗網絡處理圖像.

2 相關算法及方法

2.1 維納濾波去模糊算法

基于濾波的去模糊是通過一些濾波估計器,從觀察到的模糊圖像u0中估計出理想的清晰圖像s,w為相應的濾波器,如式(1)表示：

對于沒有受模糊影響的噪聲圖像的純去噪過程,線性濾波可認為是一個自然的通過卷積來抑制噪聲的工具,對于去模糊,可認為是通過另一個卷積操作來去除某一個卷積操作影響的嘗試.例如在不考慮噪聲的情況下,可通過傅里葉頻域的形式(式(2))表示,其中傅里葉變換為已知,頻域量記為ω =(ω1,ω2)：

為了解決復原過程中這一不穩定因素,改進上式為：

其中,*表示復數的共軛,并嘗試通過加上一個正數因子r=r(ω)來正則化分母在高頻部分時的不穩定因素：

假設估計的結果記為u?r,則

或者在傅里葉頻域中：

在r＜＜|K|2的低頻部分,圖像的復原近似等同于預期；在r＞＞|K|2時,由于k幾乎消失的緣故,高頻部分嚴重扭曲.因此正則化因子r相當于一個閾值的作用.

由于圖像噪聲會對去模糊產生影響,所以選取一個最優的正則化因子尤為重要,為此我們采用維納最小均方誤差原來實現.

2.2 生成對抗網絡模型(GAN)

生成對抗網絡(GAN)是于2014年新型提出的,啟發于博弈論中的二人零和博弈,其中包含了一個類生成器和一個類判別器.類生成器根據輸入噪聲信號生成“看上去和真實樣本差不多的”樣本,類判別器用來區分類生成器生成的樣本和真實樣本.以生成照片為例進行說明(G為類生成器,D為類判別器)：

(1)G接收一個隨機的噪聲x,通過這個噪聲生成照片,記作G(x).

(2)D(y)判別這個照片是不是“真實的”.它的輸入參數為y,y代表一張照片,輸出結果為D(y)代表y是真實照片的概率,如果是1,代表是真實照片,而輸出0,代表不是真實照片.

(3)在整個訓練過程中,類生成器盡量生成真實照片欺騙類判別器.而類判別器盡量把真實照片和類生成器生成照片區分開來.這樣就實現了一個動態的“博弈過程”.

作為最新形式下的機器學習,生成對抗網絡相比于一般神經網絡,具有輸出圖像高清、高銳以及對生成器和判別器普適性的優點；相比于其他生成式模型,GAN 不再需要一個預先設定的數據分布,具有擬合的最大自由性.

3 基于維納濾波器和GAN 的動態模糊圖像處理

3.1 維納濾波算法的設計

維納濾波器w(x)是使得均方估計誤差

達到最小的最優濾波器：

其產生正交條件：

按相關函數可變換為：

從而得到最優維納濾波器的顯式形式：

針對模糊圖形u0=k×u+n,有：

其中,正則化因子r=snn/suu是噪聲信號比的平方.

圖1 維納濾波圖像處理效果對比圖

3.2 生成對抗網絡模型的設計

具體過程如下：

(1)輸入樣本：輸入數據集r(x),設定其為真實數據樣本.

(2)隨機生成：通過隨機輸入數y,生成參考是數據樣本s(y).

(3)鑒定：在鑒別網絡中,接收來自參考數據樣本s(y).和真實數據樣本r(x),開始鑒定過程.

(4)學習訓練：

① 訓練判別器,在不干涉生成器的情況下,使得參考數據樣本s(y)和真實數據樣本r(x)的差別盡可能小.

② 訓練生成器,在不干涉判別器的情況下,使得參考數據樣本s(y)和真實數據樣本r(x)的差別盡可能大.

(5)判斷：利用Sigmoid 函數,當對s(y)返回1,而r(x)返回0 時,重復進行(4),直至分類器對兩者都判為真.

(6)驗證：當訓練結束后,觀察輸出結果,驗證是否具有一定的迷惑性.

用數學表達式表示為：

圖2 生成對抗網絡(GAN)模型圖

4 實驗及結果分析

在上述濾波實驗后,我們發現單純使用傳統方式處理模糊圖像,并未得到較清晰的效果,考慮到可能是由于無法判定拍攝裝置的移動方位,使得圖片的還原不夠精準,故使用生成對抗網絡模型(GAN),通過類生成器和類判別器得到在原圖像上由于位移的影響重疊和損失的有效點,并由此得到更加清晰的圖像.對于本題圖像去模糊的流程如圖3.

圖3 圖像去模糊效果圖

利用這種方式可以在一定程度上解決了圖像在限定條件下,無法判斷模糊緣由導致的濾波誤差,在這種近似“機器學習”的基礎上,通過“點找點”的方式較好的還原了模糊的圖像.將這種模糊軌跡定義為“模糊核”,這使得每一幅圖像按照各自定義的特殊模糊核進行還原,因而具有可識別性以及較高的還原度,如圖4.

圖4 “模糊核”圖像處理圖

從圖4(a)可以看出在帆船周邊和山體的軌跡不一致,通過做出“模糊核”的軌跡,再進行復原得到圖4(b),此時盡管由于復原后仍存在一定程度的邊緣模糊情況,但圖像清晰度明顯得到改進.我們再通過選擇其他數據集,利用指標對于復原后的一些圖像進行對比,用三個評價指標對這些圖像進行客觀評價——峰值性噪比PSNR、模糊系數KBlur、質量因素Q,下面分別給出三個評價指標的定義：

峰值性噪比PSNR,MSE為原圖像與處理圖像的均方誤差,假設圖像大小為W×H.

模糊系數KBlur：

質量因素Q：

對roma,outdoor,lion,girl,flower,building,boat 等7 組圖片進行處理,每組中選出三個樣本,選取其中比較清晰的圖片作為參照,通過MATLAB 程序計算其余各圖片的PSNR,KBlur,Q指標,得到以下結果：

表1 指標對比圖

在上述圖表中可以看出,通過生成對抗網絡(GAN)的還原,圖片的PSNR,Q指標上升,Kblur指標下降,因而得出圖像還原較為成功的結論.

5 結束語

在科技進步的時代背景下,人們對于清晰照片的渴望日益增強,本文提出了一種基于維納濾波器和生成對抗網絡的動態模糊圖像處理方式,通過選取最優正則化因子以及類生成器模擬數據樣本從而對模糊圖像進行復原,并對評定圖像清晰度的影響因素指標進行測量,進而得到圖像復原較為成功的結論.由于模糊圖像的復原涉及到很多不可定因素的影響,故本文限制前提條件為：圖像的模糊是由于拍攝設備移動因素造成的.然而實際生活中,因受所拍物體移動的影響,導致圖像中的全部物體并非按照同一頻率、同一方向模糊,此時可以對各類影響因素之間的協同變化做進一步研究.

圖5 實驗對比圖