基于改進PSF估計的車載復雜圖像復原

吳春林，王正家，朱永平，何飛宇，白錦瑞

(1.湖北工業大學 機械工程學院，湖北 武漢 430068；2.湖北省產品質量監督檢驗研究院，湖北 武漢 430068)

0 引言

在相機傳感器拍攝的曝光時間內,場景與攝像機發生相對運動產生的模糊為運動模糊[1]。運動模糊會使車載圖像出現模糊現象,影響圖像的清晰度和質量。模糊的車載圖像會導致目標邊緣輪廓不清晰,降低圖像識別的準確率,觀察者出現乏力和不適等感受,無法掌握路況信息,增加交通事故的風險,因此需要對車載運動圖像進行復原。圖像運動模糊復原技術是圖像處理領域的一個重要分支[2],其研究涉及信號處理、圖像處理、數學等多個領域的交叉,對圖像處理領域的發展和進步起到推動作用。

根據圖像中模糊的范圍將運動模糊分為全局運動模糊和局部運動模糊。全局運動模糊是整幅圖像模糊,只有一個模糊核;局部運動模糊是僅有部分區域模糊,其他區域清晰。目前全局運動模糊去除方面取得了一定的成就[3-6],且效果較好。但是運動模糊不只有全局運動模糊,采用全局運動模糊復原的方法對局部模糊圖像處理時,會產生嚴重的振鈴效應,且圖像質量下降嚴重,所以學者們針對局部模糊圖像進行了研究,取得了較大的成果。文獻[7]基于再模糊理論對圖像進行再模糊,結合圖像的模糊前后奇異值的特點,提取出模糊區域;文獻[1]結合多尺度的奇異值特征和閉合型圖分割的方法得到模糊區域,對模糊區域提取并復原,再與清晰區域拼接完成局部運動模糊的復原。雖然上述的局部運動模糊復原方法都取得了不錯的效果,但是針對圖像中同時擁有局部運動模糊和全局運動模糊的復雜圖像,這些方法都不適用。文獻[8]把局部運動模糊和全局模糊進行分離,取得了一定的效果,將運動物體所在的矩形區域進行提取和恢復,但提取的模糊區域并不準確,所以在前景和背景融合后有分層現象,并且在運動模糊估計算法時間太久,實時性不強。因此,目前去模糊方法難以較好地復原復雜運動模糊圖像。

本文針對復雜的車載模糊圖像進行研究。車載圖像的背景區域包含全局運動模糊,而局部運動區域包含了2種運動模糊,借鑒上述再模糊理論與分區域復原的思想,提出一種復雜車載運動模糊圖像的復原方法。具體為:采用改進的模糊核估算方法,估算出圖像的全局運動模糊參數,對圖像進行全局運動模糊復原,改進的算法能更好地估算模糊參數,精度更高、效率更快;基于再模糊理論的思想,根據去全局運動模糊前后的圖像的結構相似度(Structural Similarity, SSIM)和局部均方差特點,檢測和分割出局部模糊區域,比文獻[8]提取的局部模糊區域更準確,合成不會出現過渡不自然;將復原后的模糊區域與背景區域拼接合成最終的清晰圖像。

1 相關理論

1.1 再模糊理論

Crete等[9]提出的圖像再模糊理論是對原待測圖像進行再模糊處理,借助模糊前后2幅圖像之間像素的差異以及變化來評價原始圖像的模糊程度。一副清晰的圖像,擁有突出的輪廓和細膩的紋理信息,經過模糊處理后會損失較多的細節信息,而再次對模糊的圖像進行模糊處理,可損失的細節信息將大大減少。從空間域來看:模糊處理主要是減小了相鄰像素之間的差異,使某一圖像塊中相鄰像素的差異減小,再模糊對像素之間差異的影響遠小于第一次模糊;而從頻域來看:模糊處理主要是減少了圖像塊的高頻部分,使得圖像分布在中低頻部分,再模糊則可減少高頻部分不多。如圖1(a)～圖1(c)依次為清晰圖像以及2次模糊圖像,第一次模糊后損失大量細節信息,模糊前后圖像差異大,再次模糊則損失細節較少。

圖1 再模糊實驗圖及直方圖Fig.1 Re-blur experiment diagram and histogram

圖1(d)～圖1(f)為原始圖像以及再模糊處理后的灰度直方圖。可以看出,原始圖像的灰度差很大,且高頻較多,經過再模糊處理后第二幅圖像的高頻減小,且灰度之間的差異變小,再到第三幅圖像可以明顯看出灰度差值不大,相鄰的灰度值比較平均。因此可以通過對比模糊前后的圖像的相關差異,來檢測識別出局部模糊區域的位置。

1.2 圖像局部均方差和SSIM

圖像的局部均方差可較好地體現圖像的細節信息,當圖像模糊時,圖像相鄰間的像素關聯性較強、變化緩慢,從而均方差變小。因此對于模糊失真的圖像比較敏感,可用均方差來比較2幅圖像是否模糊。圖像的均方差是基于像素點來判斷的,并未考慮人眼的視覺觀感,所以時常出現評價的圖像與人眼觀感有差異,從而導致采用均方差判斷的圖像為模糊,但是實際人眼觀察到的圖像并不模糊。圖像的SSIM是基于人眼視覺系統提出的一種圖像評價模型,因此結合圖像的局部均方差和SSIM來判斷圖像塊是否模糊,能使判定結果更準確且符合人的主觀感受。

圖像的局部均方差能夠反映圖像塊中像素的領域關系,且還可以表示圖像塊中像素灰度變化的劇烈程度。對于一副圖像計算局部方差時,區域大小一般取(2k+1)(2k+1),其中k為正整數。圖像的局部均方差如下:

(1)

圖像具有很高的結構性,主要表現為圖像像素間存在強相關性,可以通過SSIM來衡量圖像的質量。SSIM主要用在圖像的質量評估等領域,從亮度、對比度和結構三方面來衡量圖像的相似性[10-12]:

(2)

式中:μx、μy為灰度均值,σx、σy為灰度均方值,σxy為灰度協方差,C1、C2、C3為保證分母不為0的常數,l(x,y)、c(x,y)、s(x,y)分別為亮度、對比度和結構對比度計算,S(x,y)為SSIM。

2 基于再模糊理論的運動模糊檢測與復原

運動模糊分為全局運動模糊和局部運動模糊。全局運動模糊是整幅圖像只有一個模糊核,排除噪聲的干擾,若已知模糊核和模糊圖像則可復原圖像;局部運動模糊圖像中運動區域表現為模糊,而其他區域清晰,若采用相同模糊核對圖像進行復原,雖然模糊區域會恢復清晰,但原本清晰區域會產生振鈴效應,所以需要單獨分割出模糊區域進行模糊復原,再與清晰的區域拼接融合,完成圖像的復原。如果整幅圖像既有全局運動又有局部運動,則對整幅圖像的復原帶來困難,本文先求出全局運動模糊核,對圖像進行全局模糊恢復,去除全局運動模糊;再分割出局部模糊區域,對其進行復原;最后合成清晰的圖像。算法流程如圖2所示。

圖2 算法流程Fig.2 Flowchart of algorithm

2.1 全局運動模糊的檢測與復原

要求解出圖像的全局運動模糊參數,就是對僅有全局模糊的圖像塊進行模糊核估計,利用該模糊核對圖像進行全局運動模糊復原。圖像的車身區域無運動的物體,也為背景的一部分,而圖像背景部分具有統一的模糊參數,因此本文通過車身區域的模糊塊來計算出圖像的全局運動模糊核,排除局部運動的干擾。首先對圖像進行高斯低通濾波去除部分噪聲的影響,然后求出全局運動模糊核對圖像進行復原,得到清晰背景圖像。

(1)圖像模糊退化原理

相機運動生成模糊圖像,可表示為:

g(x,y)=f(x,y)*h(x,y)+n(x,y),

(3)

式中:*為卷積運算,g(x,y)為模糊的圖像,f(x,y)為理想清晰圖像,h(x,y)為退化函數,即點擴散函數(PSF);n(x,y)為噪聲。將上式通過傅里葉變換后,轉化為頻率域,得到:

G(u,v)=H(u,v)F(u,v)+N(u,v),

(4)

式中:G(u,v) 、H(u,v) 、F(u,v)、N(u,v)分別為g(x,y)、f(x,y)、h(x,y)、n(x,y)的傅里葉變換結果。可以看出,若要復原模糊圖像,模糊核和噪聲是影響復原效果的主要因素,而噪聲與H(u,v)的大小有關,當H(u,v)足夠小時,噪聲是影響圖像質量的主要因素,在復原過程中,部分噪聲被當作圖像的高頻造成圖像模糊[13]。

若已知模糊圖像以及退化函數,忽略噪聲的影響,則進行去卷積操作得到原始的清晰圖像,而PSF可用式(5)表示:

(5)

式中:θ為運動模糊角度,l為運動模糊尺度。

若已知模糊角度和運動模糊的尺度就可得到模糊核,在模糊圖像塊的頻譜圖中,亮暗條紋相間,可通過相間條紋的角度來計算出模糊角度,一般使用Radon變換來估算出方向。模糊圖像的像素點具有很強的相關性,像素點的灰度值逐漸變化,因此可通過模糊圖像的自相關函數圖求得模糊尺度。但是由于外界因素的影響以及圖像本身的特點,對圖像進行傅里葉變換得到的頻譜圖會出現大量的毛刺和噪聲,還有頻譜圖中心的十字亮線,因此現有的PSF估計方法還有一些不足[14]:頻譜圖中的十字亮線會影響條紋間的距離以及方向,導致Radon變換后估算出的模糊方向存在一定的偏差;頻譜圖中的噪聲也會影響亮條紋的檢測。若模糊長度較小,則條紋間距過大、數量較少,噪聲在條紋中間占比大,沒有足夠的明顯條紋信息支撐Radon變換,直接去除噪聲則會導致圖像估計有偏差。

(2)改進的PSF估計算法

綜上所述,本文提出一種改進的運動模糊估計方法,具體步驟如下:

① 獲得模糊圖像的頻譜圖。圖3為運動模糊圖像,對運動模糊圖像取車身圖像塊進行傅里葉變換,把得到的頻譜圖進行動態范圍的壓縮居中,如圖4所示。圖5為直接進行邊緣檢測圖。

圖3 運動模糊圖像Fig.3 Motion blur image

圖4 頻譜圖Fig.4 Spectrogram

圖5 直接邊緣檢測圖Fig.5 Direct edge detection diagram

② 把頻譜圖進行形態學運算。把步驟①中的頻譜圖進行膨脹腐蝕操作,如圖6所示,可以看出腐蝕操作去除了亮條紋中的噪聲點,與原頻譜圖相比,亮條紋更明顯,因此也降低了頻譜圖中的十字亮線的影響。

圖6 處理后頻譜圖Fig.6 Spectrogram after processing

③ 運動模糊長度的估計。把步驟②中的頻譜圖進行二值化操作,使得亮暗條紋更明顯且冗余信息少。對二值化后的圖像進行邊緣檢測,然后對邊緣檢測圖進行膨脹腐蝕操作,如圖7所示,從圖中可以看出幾乎沒出現十字亮線對邊緣檢測產生影響。采用Canny算子對邊緣圖像進行以及微分以及自相關計算,通過自相關圖像計算出模糊長度,如圖8所示。

圖7 邊緣檢測圖Fig.7 Edge detection graph

圖8 自相關圖Fig.8 Autocorrelation diagram

④ 運動模糊角度的估計。對步驟③中的邊緣檢測圖像進行Radon變換,通過變換圖估算出模糊方向,Radon變換如圖9所示。

圖9 Radon變換Fig.9 Radon transformation

(3)盲復原算法對比分析

噪聲和模糊核的準確性是運動模糊圖像復原的關鍵。因此,為進一步驗證噪聲對運動模糊圖像的復原影響以及幾種算法的復原效果,采用幾種典型的復原算法對模糊圖像進行復原。圖10和圖11為維納濾波、最小二乘方濾波法以及Lucy-Richardson(L-R)濾波對圖像進行復原。第一組實驗結果圖10為無噪聲的圖像復原實驗圖,第二組實驗圖11為含噪聲的模糊圖像復原結果。依次為原始圖、運動模糊圖、維納濾波復原圖、最小二乘方復原圖和L-R濾波算法復原圖。

圖10 無噪聲實驗對比Fig.10 Comparison of noise-free experiments

圖11 含噪聲實驗對比Fig.11 Comparison of experiments with noise

從無噪聲實驗的對比圖10可以看出,L-R算法的復原效果與迭代次數有關,迭代次數為25時復原效果最好,但產生了明顯的振鈴效應,圖像邊緣出現重影;而選取最佳K值的維納濾波以及最小二乘方復原效果比較理想。

從含噪聲的實驗對比圖11可以看出,迭代次數為30時為最佳選擇,L-R算法對噪聲有一定的抑制,但復原效果不理想;最小二乘方濾波法復原效果理想,但對噪聲抑制作用小;最佳K值的維納濾波復原效果最好,圖像中的噪點明顯減少,圖像細節信息基本恢復。綜上實驗結果對比分析,采用維納濾波算法復原圖像。

2.2 局部運動模糊的檢測

本文根據再模糊理論的思想,把全局運動模糊復原前的圖像視作再模糊后圖像,復原后的圖像視作模糊前的圖像,節省了對圖像再模糊的過程,節省了大量的時間。由于運動的物體在非車身區域,因此基于再模糊理論針對非車身區域進行局部運動模糊檢測,可以減少處理區域、節省時間。算法步驟如下:

① 把全局模糊復原前后圖像的非車身區域分為n×m塊,計算每一小塊區域的SSIM和局部均方差。對圖像分塊處理會減小運算量,極大縮短了算法時間,提高算法的實時性。

② 通過圖像塊模糊前后的局部均差來標記圖像的模糊塊和清晰塊。圖像塊經過模糊后局部均方差會減小,通過把模糊前后的圖像塊局部均方差相減,若差值較大,則說明圖像的變化大,標記為清晰塊,相反則標記為模糊塊;通過圖像塊模糊前后的SSIM來標記圖像的模糊塊和清晰塊。對模糊前后圖像塊的SSIM作差,若差值較大,則說明圖像的變化大,標記為清晰塊,相反則標記為模糊塊。

③ 對步驟②中的模糊塊集合求交集,即為所求的模糊塊。

④ 形態學處理。本文基于圖像塊來提取出模糊區域,因此存在邊緣不平滑、不精準的問題,在拼接融合過程中會出現邊緣過渡不自然;整個模糊區域中部分圖像塊被誤判為清晰塊,導致模糊區域中出現連接斷續,不利于模糊區域的整體分割。所以需要對圖像進行形態學中的先膨脹后腐蝕處理,精準標記出模糊區域。圖12為模糊區域檢測圖,從左往右依次為模糊區域粗提取、模糊區域分割和分割后的模糊區域。

圖12 模糊區域檢測Fig.12 Blurred area detection

2.3 局部運動模糊的恢復及融合

采用算法對局部運動模糊復原后,需要和全局運動模糊復原圖進行拼接融合,得到清晰的圖像。圖像融合是根據2幅圖像中已經配準的特征點,將2幅圖像拼接融合為1副圖像,2幅圖像拼接的交界處會存在不自然的過渡拼接縫,或者出現模糊重影,這是拼接融合的難點。由于線性融合流程簡單,且效果好,本文選用加權平均融合的算法[15]。

圖13為復原后的局部圖像塊與未復原的模糊圖的配準,可以看出配準效果較好,不存在誤匹配的特征點。配準的圖像進行融合,圖14為融合后結果,從圖中可以看出,只有圖中車輛邊緣存在少許融合后邊緣痕跡,對人眼觀察無影響,因此融合效果較好。

圖13 局部復原圖像配準Fig.13 Partial restoration image registration

圖14 清晰圖像融合Fig.14 Clear image blending

3 實驗結果與分析

為了驗證本文算法的有效性,本文采用模糊圖像進行對比實驗。

(1)模糊參數估計實驗對比

為驗證本文參數估計方法的有效性,采用文獻[3,16-17]以及本文算法進行對比,以圖10(a)為標準測試圖像,對圖像進行模糊處理,將模糊長度設置為5、15 pixel,將模糊角度在0°～180°取值,步長為35,表1為模糊角度估計實驗結果,表2為模糊長度估計實驗結果。

表1 模糊角度估計結果

表2 模糊尺度估計結果

由表1可知,文獻[3,16-17]估算的運動模糊角度平均誤差為1.0°、1.5°、1.9°,本文估算的運動模糊角度平均誤差為0.6°,最大誤差為1.7°;由表2可知,文獻[3,16-17]估算的運動模糊長度平均誤差為1.1、0.9、1.4,本文估算的運動模糊長度平均誤差為0.7 pixel,最大誤差為2 pixel,本文估算的運動模糊長度和角度平均誤差均小于其他方法,且最大誤差較小。綜上,本文方法具有更高的精度和魯棒性。

(2)全局運動模糊復原實驗

圖15～圖17為仿真結果,其中圖(a)為實拍原始模糊圖,圖(b)～圖(d)依次為文獻[16]、文獻[3]、文獻[17]以及本文算法對圖像進行模糊復原。為便于觀察,將局部區域圖像塊放大后置于原圖像下半部分。

圖15 運動模糊實驗1Fig.15 Motion blur experiment 1

從圖15可以看出,幾種算法對運動模糊復原都有不錯效果,文獻[16]算法細節處理較為平滑,但沒完全復原圖像中的模糊;文獻[3]算法在交通標志和樹葉的邊緣位置有振鈴效應;文獻[17]算法對細節處理較好,但存在一定噪聲;本文算法不僅清晰無振鈴效應,且過濾平滑更符合人眼的視覺效應。在圖16中,文獻[16]算法和文獻[3]算法在圖像中邊緣有明顯的振鈴效應;文獻[17]算法增強了噪聲,本文算法效果明顯。在圖17中,文獻[3,16-17]的算法雖然復原效果不錯,但存在振鈴效應。綜上,本文算法在車載模糊圖像上復原效果較好。

圖16 運動模糊實驗2Fig.16 Motion blur experiment 2

圖17 運動模糊實驗3Fig.17 Motion blur experiment 3

評價圖像的質量不僅有以上所述的主觀評價,還有用參數來體現圖像質量的客觀評價。客觀評價采用一種評價標準來評價圖像質量好壞,常用的客觀評價方法有峰值信噪比(Peak Signal to Noise Ratio, PSNR)和SSIM。PSNR反映了處理后的圖像與原始圖像失真程度,值越大算法復原效果越好。但有時采用PSNR評價的結果與人眼觀感不符,所以采用PSNR和SSIM來評價圖像的質量[18-19]。表3為幾種算法實驗對比圖對應的PSNR和SSIM值,表4為算法運行時間對比。

表3 對比實驗結果

表4 算法時間對比

由表3可知,本文算法的PSNR和SSIM平均最高,表明在客觀評價上,本文算法復原效果最好,復原后的圖像質量最高。由表4可以看出,本文算法效率比其他3個文獻的效率更高,算法運算時間為0.87 s。算法運算時間與估計的模糊區域范圍大小有關,本文是取整幅圖像的一小塊來進行模糊估計,極大縮短了算法時間。

(3)混合運動模糊復原實驗

圖18～圖20為實測的混合運動模糊車載圖像實驗圖,其中實驗1和實驗2為局部運動模糊為行駛車輛,實驗3的局部運動模糊為行人,3組實驗具有代表性。圖(a)為原始的混合模糊圖像,圖(b)為去除全局運動模糊后的圖像,圖(c)為局部運動和全局運動模糊復原后的清晰圖像。為便于觀察,截取圖中局部模糊和全局模糊部分圖像放大,置于原圖下方。

圖18 混合運動模糊實驗1Fig.18 Mixed motion blur experiment 1

在圖18及圖19中,由圖(b)可以看出,行駛的車輛區域比圖(a)中的更加清晰,而背景部分幾乎得到復原,無明顯的振鈴效應和噪聲,圖(c)中行駛的車輛基本得到復原,除邊緣有少許融合痕跡,整幅圖像較為清晰;在圖20(b)中的全局復原后的區域為車身,復原效果較好且無振鈴效應,雖然圖20中的局部模糊范圍小,但從圖(c)中可以看出行人部分復原效果不錯。

圖20 混合運動模糊實驗3Fig.20 Mixed motion blur experiment 3

表3為以上3組運動模糊復原實驗對應圖像的PSNR和SSIM值,表5中(a)～(c)分別為原始混合模糊、去全局運動模糊以及去局部運動模糊圖。可以看出3組實驗的原始混合運動模糊圖(a)的PSNR和SSIM都較低,經過全局運動模糊復原后的圖(b)和圖(a)相比,PSNR以及SSIM平均提高了15.2%、19.6%。經過局部模糊復原后,SSIM和PSNR也有一定提升。綜上對比分析可知,本文算法對混合運動模糊的車載圖像復原有不錯的效果。

表5 模糊復原實驗結果

(4)混合運動模糊復原實驗對比

采用本文算法與文獻[8]算法進行對比,圖21(a)～圖21(c)分別為原始模糊車載圖像、文獻[8]算法實驗以及本文實驗結果。可以看出,文獻[8]算法對局部和全局采用2種恢復算法存在差異,調整亮度后仍然存在分層現象,且局部運動的矩形區域復原后存在邊緣融合痕跡,提取的局部區域不準確,而本文算法復原后無明顯痕跡,效果好。在背景區域本文算法復原無明顯振鈴現象,文獻[8]邊緣存在振鈴現象。

圖21 混合運動模糊實驗對比Fig.21 Comparison of mixed motion blur experiment

4 結束語

本文對復雜的車載模糊圖像進行研究,提出一種基于再模糊理論的復雜車載模糊圖像復原方法。對PSF估計算法改進和優化,對車身區域估算出全局模糊參數,利用該參數對圖像進行全局模糊復原,充分利用了模糊圖像的特點;基于再模糊理論的思想,通過全局模糊復原前后的圖像提取出局部運動區域,節省了再模糊的時間,提高了算法的時效性;對局部運動區域復原后與背景區域融合,完成整幅圖像的復原。實驗證明,本文算法復原的圖像PSNR和SSIM值都得到了提升。本文算法的復原效果較好,且適用于復雜的車載模糊圖像,具有一定的應用價值。