改進(jìn)的基于雙向光流去除監(jiān)控中動(dòng)態(tài)場景模糊算法

孫曉寧 胡長嶺 侯森垚

1．西安石油大學(xué)電子工程學(xué)院；2．易事特集團(tuán)有限公司

傳統(tǒng)動(dòng)態(tài)場景去模糊的方法都基于相鄰幀之間的位移比較小，適用于處理平滑變化的模糊核，但難以處理包含多個(gè)運(yùn)動(dòng)物體的動(dòng)態(tài)場景中經(jīng)常出現(xiàn)的模糊核突變情況，而且對(duì)噪聲很敏感。對(duì)于監(jiān)控場景來說，攝像頭的運(yùn)動(dòng)、環(huán)境光照等因素的變化相對(duì)可控，而物體的劇烈運(yùn)動(dòng)是引起模糊核突變的主要原因。當(dāng)模糊圖像的部分模糊核發(fā)生突變，在向更低金字塔層傳播時(shí)會(huì)產(chǎn)生重構(gòu)誤差。在由粗到精的框架中，具有明顯運(yùn)動(dòng)模糊的微小結(jié)構(gòu)會(huì)導(dǎo)致嚴(yán)重的偽影。本文針對(duì)雙向光流去模糊方法中存在的微小結(jié)構(gòu)重構(gòu)失誤導(dǎo)致偽影的現(xiàn)象，提出了一種對(duì)多尺度分層處理的方法，有效地減少了振鈴效應(yīng)，使運(yùn)動(dòng)物體邊緣更加清晰、運(yùn)動(dòng)邊界處的光流精度更高，同時(shí)減少了計(jì)算開銷。

盲去模糊是指在模糊核未知的情況下，將因攝像機(jī)抖動(dòng)或物體運(yùn)動(dòng)而模糊的圖像恢復(fù)為清晰圖像的方法。不同的運(yùn)動(dòng)模糊類型對(duì)應(yīng)不同的模糊核估計(jì)方法。目前研究最全面的是二維相機(jī)運(yùn)動(dòng)引起的全局模糊，通過模擬真實(shí)攝像機(jī)的運(yùn)動(dòng)來恢復(fù)模糊圖像。但是這些全局模糊的方法應(yīng)用于局部模糊卻收效甚微。在各部分運(yùn)動(dòng)不同的情況下，試圖用單個(gè)模糊核來反卷積整個(gè)圖像會(huì)造成嚴(yán)重的偽影。

為了解決運(yùn)動(dòng)突變導(dǎo)致的模糊，Levin等人提出基于運(yùn)動(dòng)模糊類型分割的動(dòng)態(tài)場景去模糊方法。通過自然圖像統(tǒng)計(jì)區(qū)分模糊的程度，以模糊程度為分割標(biāo)準(zhǔn)將圖像分割成不同的模糊層，并在每一層重建模糊核。但是分割失誤可能會(huì)導(dǎo)致嚴(yán)重的偽影。還有部分學(xué)者利用視頻能夠提供長圖像序列這一優(yōu)勢，用清晰的區(qū)域?qū)δ：龓南鄳?yīng)區(qū)域進(jìn)行插值來恢復(fù)清晰幀。對(duì)于快速移動(dòng)的物體，物體的運(yùn)動(dòng)與背景相差較大，單應(yīng)性全局參數(shù)化的模糊核無法應(yīng)對(duì)這樣的場景。另外，插值所具有的平滑效果會(huì)使中頻紋理退化。

Kim等人創(chuàng)造性地提出了一種不分割區(qū)域也不限制運(yùn)動(dòng)模糊類型的方法，核心是將模糊核的計(jì)算轉(zhuǎn)換成光流的計(jì)算。稠密光流場記錄了每個(gè)像素的運(yùn)動(dòng)速度與方向，可以獲得精確到像素級(jí)別的模糊核，有助于修復(fù)劇烈運(yùn)動(dòng)引起的模糊。但在金字塔由粗到精的傳播過程中，具有明顯運(yùn)動(dòng)模糊的微小結(jié)構(gòu)在尺度較小的金字塔層上難以看到，待其傳播到較大尺度層時(shí)就會(huì)導(dǎo)致嚴(yán)重的偽影。因此，本文提出了一種多尺度分層處理的方法，用于減少振鈴效應(yīng)，使運(yùn)動(dòng)物體的邊緣更加清晰。由于只在金字塔的大尺度層進(jìn)行精確處理，有效地提高了計(jì)算效率。

1 改進(jìn)的雙向光流去模糊算法

1.1 多尺度金字塔的建立

在圖像金字塔的構(gòu)建過程中，首先建立尺寸數(shù)據(jù)，然后在圖像金字塔的每一層，將視頻幀、由上一層傳播而來的清晰幀以及上一層計(jì)算而來的光流進(jìn)行尺寸調(diào)整。由于在所有尺度層使用雙三次插值不僅浪費(fèi)大量的計(jì)算資源，而且會(huì)使小尺度層灰度值的計(jì)算受到過多地臨近像素的影響。因而對(duì)除最高層外的小尺度層采用最近鄰插值，對(duì)中間層進(jìn)行雙線性插值，對(duì)金字塔大尺度層采用雙三次插值。

1.2 利用光流估計(jì)模糊核

首先，我們假設(shè)幀間存在分段仿射運(yùn)動(dòng)。其次，假設(shè)運(yùn)動(dòng)模糊核是由線性分量控制的，局部變換的模糊核可以被近似為二維運(yùn)動(dòng)向量u

=(u,v)

?，F(xiàn)實(shí)情況中，有很多類型的運(yùn)動(dòng)可以被近似為線性運(yùn)動(dòng)。由于攝像機(jī)捕捉到的圖像序列幀率很高，因此更適合將線性化的假設(shè)作為先驗(yàn)用于去模糊。利用光流估計(jì)模糊核的公式如下：

其中，

h(x,y)

為光流所對(duì)應(yīng)的模糊核，

δ

代表克羅內(nèi)克函數(shù)。

1.3 求解能量函數(shù)最小化

由于盲去模糊問題的高度不適定性，需要引入更多的約束以確保收斂到可靠解。能量函數(shù)包括三部分：

其中，E為保真度約束，E為時(shí)間一致性約束，E為空間一致性約束。

保真度約束E主要是通過L2正則化來估計(jì)模糊核和清晰圖像，如式（3）：

其中，λ參數(shù)用于控制數(shù)據(jù)項(xiàng)的權(quán)重，τ為相機(jī)占空比，

B

代表模糊幀，

L

代表清晰幀，

K

代表模糊核矩陣，?代表Toeplitz矩陣。

空間一致性約束E主要作用是加強(qiáng)光流和清晰圖像各自的平滑性。借鑒稀疏梯度先驗(yàn)在描述自然圖像邊緣統(tǒng)計(jì)中的優(yōu)勢，采用TV模型對(duì)兩個(gè)變量進(jìn)行正則化。同時(shí)，將L1范數(shù)應(yīng)用于平滑度約束中的梯度，允許潛在清晰幀和光流的不連續(xù)性。E的公式如下：

時(shí)間一致性約束E是基于傳統(tǒng)的光流約束條件—即亮度恒定，假設(shè)像素在運(yùn)動(dòng)前后的光強(qiáng)度不變：

其中，參數(shù)μ用于控制權(quán)重。在求解“能量函數(shù)最小化”這個(gè)問題時(shí)，將其分解為兩個(gè)獨(dú)立的子問題，一個(gè)是求光流u的問題，一個(gè)是求清晰幀L的問題，然后交替迭代求解。

1．3．1固定光流求解清晰幀

將光流u固定求解清晰幀L時(shí)，目標(biāo)函數(shù)會(huì)變成凸函數(shù)，通過求解對(duì)偶問題解決凸優(yōu)化問題，L的更新過程表示為：

在恢復(fù)清晰幀的過程中需要保留紋理結(jié)構(gòu)，使最終得到的圖像具有豐富真實(shí)的細(xì)節(jié)。在更新清晰幀的過程中，本研究選取較大尺度層進(jìn)行非局部均值濾波處理，利用全局信息去除噪聲，修復(fù)紋理區(qū)域和周期性結(jié)構(gòu)。在實(shí)驗(yàn)過程中，選用的搜索窗口大小為5×5,匹配窗口大小為3×3。

1．3．2固定清晰幀求解光流

在計(jì)算稠密光流的過程中，需要去除光流場中的噪聲，提高光流的平滑性。但是對(duì)于小尺度層，過早地對(duì)突變值進(jìn)行濾波，會(huì)導(dǎo)致某些微小結(jié)構(gòu)和銳利邊緣在迭代過程中逐漸被平滑，不利于清晰圖像的恢復(fù)。

通過不同尺度層采用不同尺寸的中值濾波處理，可以較好地保留了邊緣及微小結(jié)構(gòu)，同時(shí)對(duì)孤立噪聲點(diǎn)的消除能力很強(qiáng)。實(shí)驗(yàn)過程中，在金字塔的3至10層，采用3×3的中值濾波器，在1至3層采用5×5的中值濾波器。通過圖一（b）與（c）對(duì)比可以看到，本文的算法車尾部光流的精細(xì)結(jié)構(gòu)恢復(fù)地更好。圖1中光流以顏色編碼的形式展示，色調(diào)代表角度，飽和度代表幅值。

圖1 光流圖對(duì)比Fig.1 Comparison of optical flow

2 實(shí)驗(yàn)結(jié)果和分析

2.1 實(shí)驗(yàn)細(xì)節(jié)說明

實(shí)驗(yàn)中選用的參數(shù)如下：μ=λ，v=0.08λ，N=1，

σ

=25/255，λ值根據(jù)不同的圖片數(shù)據(jù)選擇不同的值，一般采用的λ值為250。實(shí)驗(yàn)時(shí)選擇的金字塔層數(shù)為17層，尺度因子為0.9。

2.2 對(duì)比與結(jié)果展示

為了便于對(duì)比，實(shí)驗(yàn)中使用了Kim等人的研究中所使用的視頻序列。通過實(shí)驗(yàn)對(duì)比了兩種算法對(duì)相同的50幀視頻去模糊的結(jié)果。

在圖2中主要對(duì)運(yùn)動(dòng)邊界處去模糊效果進(jìn)行對(duì)比。可以看到，對(duì)于兩輛車的交界處，改進(jìn)后的算法得到的邊緣更加清晰，對(duì)細(xì)節(jié)的修復(fù)更細(xì)致。同時(shí)，對(duì)于視頻序列第49幀，計(jì)算峰值信噪比（PSNR）由26.6提升至27.4。

圖2 每組三幅圖從左到右依次是：模糊圖像、Kim[10]方法、本文方法Fig.2 From left to right: Blurry images, results of Kim[10],results of the proposed method

本文算法對(duì)振鈴效應(yīng)的抑制效果相較于雙向光流去模糊算法有明顯的提高。在圖3中，對(duì)(a)中模糊圖像車前部復(fù)原的過程中產(chǎn)生了振鈴效應(yīng)，(c)中的振鈴效應(yīng)相比于(b)有明顯的減弱。

圖3 算法對(duì)振鈴效應(yīng)的抑制對(duì)比Fig.3 Comparison of suppressing ringing artifacts

圖3 智慧建造模塊Fig.3 Smart construction module

3 結(jié)論

本文提出了多尺度分層處理的雙向光流去模糊方法，能夠放大多尺度金字塔由粗到精的優(yōu)勢，在兼顧光流平滑性的同時(shí)，獲得的光流具有更加清晰的邊緣，對(duì)物體的邊緣信息保留地更加完整，對(duì)于恢復(fù)運(yùn)動(dòng)物體邊界處的模糊有更好的效果。并且相比于原算法，本文改進(jìn)的方法可以縮短9%的運(yùn)行時(shí)間。目前該算法僅在CPU上實(shí)現(xiàn)，今后可以利用GPU的并行運(yùn)算來提高算法效率。