基于多幀參考的分塊視頻閃爍消除算法

趙培棟, 韓 軍, 閔友鋼, 蔣慧鈞

(1.上海大學通信與信息工程學院,上海 200072;2.上海音像資料館,上海 200051)

基于多幀參考的分塊視頻閃爍消除算法

趙培棟1, 韓 軍1, 閔友鋼2, 蔣慧鈞2

(1.上海大學通信與信息工程學院,上海 200072;2.上海音像資料館,上海 200051)

提出一種基于多幀參考的分塊視頻閃爍消除法.該方法通過多幀的時序亮度變化,估計每一個塊的閃爍增益,并通過該閃爍增益模型調整當前幀的亮度,消除閃爍.同時,設計一個針對局部塊運動的運動檢測器,來修正閃爍模型調整所帶來的運動模糊現象.該算法能有效去除視頻閃爍現象,并且具有復雜度低、處理速度快的特點.

視頻修復;閃爍修復;分塊修復;多幀修復

Abstract:Thispaper proposesa deflicker algorithm based onmulti-frame referenceof blocked video.The algorithm estimates every block’sflicker gain by considering the temporal change inmulti-frames to adjust intensity of the current frame by using this flick-gain-model.We design amotion detector to correctmotion blur caused by the adjustmentof the flickermodel.The algorithm can effectively remove video flicker and has low computation complexity therefore faster processing speed.

Key words:video restore;flicker restore;block restore;multi-frame restore

視頻畫面閃爍在 20世紀二三十年代的舊影像資料片中極為常見.閃爍的畫面不僅降低了影像本身的質量,同時也極易給觀賞者帶來視覺疲勞,最終可能導致觀賞者完全喪失繼續觀看的興趣.造成視頻畫面閃爍的原因有很多,包括膠片本身的局部退化反應、片面的灰塵、拍攝過程中受非正常光源干擾造成的曝光不均、舊攝像機本身存在的亮度自適應增益不均等[1-2].隨著數字視頻技術的發展,將數字技術運用到修復閃爍污染視頻中已成為閃爍修復的主要研究方向.

仔細觀察目前的舊影像資料可以發現,閃爍主要可分為整體閃爍和局部閃爍.整體閃爍是指,視頻場景中相鄰幀之間整體亮度急劇變化,以 1～2幀的時間間隔為周期連續發生明暗交替現象.整體閃爍是閃爍問題在時序上的表現形式.局部閃爍主要是指,局部位置發生與整體畫面不協調的亮度不均變化,在舊視頻中多發生在畫面的左右兩側以及邊角區域附近.局部閃爍是閃爍問題在空間上的表現形式.

1 閃爍消除研究概述

閃爍是指在整個圖像平面上分布光滑的信號.從信號頻率角度分析,閃爍信號屬于一種低頻信號.目前,已有的關于閃爍問題的研究主要分為非線性模型法和線性模型法.

非線性模型是將前后兩幀圖像之間的亮度關系視為一種非線性變化關系的數學模型,通過估計表示這種非線性關系的函數來消除兩幀圖像之間存在的閃爍.Naranjo等[3]提出了一種基于直方圖匹配的灰度映射估計方法,其思路是以多幀圖像的直方圖均值為參考直方圖,并假設參考直方圖均衡后的結果與待去閃爍幀圖像直方圖均衡后的結果一致.Vlachos[4]提出了一種基于視頻圖像中曝光不均的模型估計方法,其主題思想就是分析曝光強度、感光密度和圖像灰度之間的關系,并建立數學模型.該方法從原始曝光問題進行分析,更具有物理意義.但是文獻[3-4]都是基于圖像整體的變化,缺點是對復雜圖像的局部變化魯棒性差,對斑點噪聲敏感,從而降低了估計精度.

更多的研究是以線性模型作為閃爍問題的研究模型對象,對線性模型中的閃爍增益參數和閃爍偏移量參數進行估計和修復處理.文獻[5]提出了以視頻鏡頭所有幀的灰度平均值為基準,補償鏡頭中每一幀與平均值的差值來直接修正亮度閃爍,這是一種最簡單的基于亮度偏移量估計的線性模型.文獻[6]提出一種零階線性模型,該方法通過前后幀圖像的最大最小灰度值以及圖像均值來估計模型參數,但該方法將單幀畫面的閃爍參數看作一個固定值,而沒有考慮它們在空間上的變化.文獻 [2,7]是目前比較認可的去閃爍方法,其中文獻 [2]同時考慮了閃爍增益和偏移量,并利用最小均方誤差估計閃爍模型參數,但該方法的缺點在于采用了修復幀與未修復幀的合成輸出,導致最終結果永遠帶有輕微閃爍.此外,該方法只選用 1幀作為參考幀,同時估計增益參數和偏移量參數,計算極為復雜,對于復雜的場景畫面,很難保證參數估計的準確性.

2 基于多幀參考的分塊閃爍消除方法

根據上文的分析,目前的一些閃爍消除的算法主要有兩方面的不足:①認為閃爍只是一種時序上的表現,因此,將閃爍模型參數在單幀畫面中看作一個定值,而忽略了閃爍的空間特性;②在閃爍修復時,只考慮前后 1幀之間的亮度變化關系,而選取單幀作為參考幀會對參數估計的準確性帶來偏差.基于以上兩方面的綜合考慮,本研究提出一種基于多幀參考的分塊閃爍消除方法.

在空間上,該方法對畫面幀各個分塊的閃爍參數獨立計算,即在畫面的不同區域利用不同的參數進行閃爍修復.在時序上,以前向多幀畫面作為參考,從而提高參數估計的準確性,算法流程如圖1所示.算法分為分塊預處理、閃爍修正、運動修正 3個步驟進行.閃爍修正模塊在對亮度進行調整的同時,針對基于閃爍本身呈現的低頻特征[2,8-9]作空間和時序的平滑修正,以使視頻畫面亮度更加自然.運動修正模塊對閃爍修復幀各塊作運動檢測,以修正運動塊區域時序平滑后產生的運動模糊現象.

圖1 算法流程框圖Fig.1 Algor ithm flow char t

對于閃爍污染而言,亮度增益是全局性的影響,因此,算法采用增益型閃爍線性模型,其基本形式為

2.1 視頻分塊

在消除閃爍之前,充分考慮和利用閃爍在空間上呈現緩慢變化的特點,首先對視頻進行分塊.當圖像中的某個區域 φ足夠小時,對于 I(i,j)∈φ,閃爍參數在該區域可看作一個定值,因此,將視頻幀由原來W ×H的像素矩陣分塊為 W′×H′塊矩陣.這樣,在整個圖像上,閃爍參數既是一個隨位置變化的值,同時對于指定位置的塊 φm,n,其對應的閃爍增益am,n又為一個常數,即

分塊后,對整幀畫面中各個位置的閃爍增益a(i,j)的計算,就變成了對增益矩陣中與圖像塊對應位置的閃爍增益 am,n的計算 (其中 0≤i≤W-1,0≤j≤H-1,0≤m≤W′-1,0≤n≤H′-1).

2.2 閃爍修正

閃爍修正分為 4個步驟進行,即參數估計、亮度調整、單幀平滑和時序平滑.前兩步可消除閃爍畫面中亮度的不自然變化;后兩步則根據閃爍低頻特性對閃爍參數以及畫面亮度進行修正,以避免在去閃爍亮度調整時出現亮度突變失真或引入新的閃爍.

為了提高增益參數估計的準確性,本算法采用了前向多幀參考的方法來計算閃爍增益.對于當前幀的每一小塊 φk,m,n(其中 k為當前幀號),按圖2所示,搜索前向多幀與其位置對應的圖像塊.

圖2 前向幀搜索示意圖Fig.2 Previous frame search schematic d iagram

若參考的幀數為 F,塊寬和塊高分別為Wb和Hb,則該塊的亮度增益為

式中,分子代表當前幀自身該塊亮度均值,分母代表前F-1幀加上當前幀該位置圖像塊亮度的時序均值.

對視頻幀所有塊進行如上計算以后,即可得到如下的一個完整的閃爍增益塊矩陣

算法運行之初,由于 k

由于該算法針對每一個塊都作一次增益參數估計,因此,直接利用式 (5)進行調整,會破壞以遵循閃爍空間低頻特性的調整原則,勢必造成空間中局部閃爍嚴重的區域有亮度不均的情況,出現塊效應.為了消除這一影響,保證去閃爍的過程中遵循閃爍空間低頻特性,本研究使用 3×3平滑掩模濾波對增益參數矩陣進行空間平滑,平滑以后的增益參數調整矩陣為

這樣,當前幀每一塊內各像素值可通過下式調整:

同樣地,再采用時序平滑調整[7]來保證閃爍消除后畫面的平穩,不引入新的閃爍.對于當前幀的每個子塊都按圖3的方式進行調整,其中 Ts為一個平滑判決門限,該門限決定了算法對圖像前后幀像素差異的敏感程度.門限越大,算法對像素差異越不敏感,可以更好地保持畫面平穩,但會更多地殘留前幀信息,使運動區域更為模糊.當前一幀塊與當前幀對應塊的亮度差值大于 Ts時,則直接輸出當前幀塊結果;當差值小于 Ts/2時,則直接輸出前一幀塊結果;當差值在 Ts與 Ts/2之間時,以當前幀與前一幀 3∶1的加權方式進行時序平滑.

2.3 運動修正

根據 2.2節所述,由于時序平滑會對運動區域造成模糊現象,因此,有必要對運動區域進行適當修正.從信號角度分析,運動與閃爍的明顯區別在于,運動區域在時序上呈現高頻的特征,而閃爍在時序上呈現低頻特征.對于每一個塊,需添加運動檢測修正操作.本研究選用傳統的平均差值檢測法:

設置閾值門限 Td,用以區分運動塊和閃爍塊.若MADφm,n(k)大于 Td,則認為該塊存在運動,在處理中不對該塊進行時序平滑處理;若小于 Td,再利用式 (8),(9)判斷第 k-1幀與第 k-2幀;若仍小于 Td,則認為該塊的亮度差異是由閃爍的時序特性引起的,對該塊的像素作 2.2節中的時序平滑調整.Td越小,越能保持運動區域的清晰,但是對閃爍的修正也越差;Td越大,越能保證視頻亮度平穩,但對運動區域的檢測將變得不敏感.

圖3 時序平滑調整流程圖Fig.3 Tem poral-smooth adjustment flow char t

3 實驗結果

根據以上的分析,本研究對三段舊視頻資料進行實驗 (見表 1).取時序的平滑閾值 Ts=10,參考幀F=4,運動檢測閾值 Td=20.本算法通過和 MSU修復幀以及原始幀合成算法[9]進行比較,來作為分析的依據.

表 1 測試序列Table 1 Test sequences

3.1 花瓶序列測試結果

該視頻前后幀的平均亮度存在有規律的整體大幅周期波動,前后幀最大亮度差為 9.經過算法處理后,可以達到較理想的穩定效果,最大亮度差為 2.算法運算效率可達 20幀 /s的處理速度.

時序亮度對比如圖4所示.

圖4 花瓶序列時序亮度對比Fig.4 Temporal L uma curve compare of Vase

第 84～86幀效果對比如圖5所示.

3.2 演講序列測試結果

該視頻主要存在局部閃爍,在畫面左側以及頂角附近較為明顯.雖然,經算法處理后,圖像依然殘留了部分局部閃爍,這是由于在這些位置閃爍變化緩慢,導致在指定參考幀范圍內該位置始終呈現欠曝光或過曝光狀態 (如圖6(b)左上角所示).但是由圖7可見,算法處理后的修復視頻亮度曲線更趨平緩,算法對序列亮度的適應調整快于MSU算法.在576分辨率下,算法效率為 6～7幀 /s.由于采用分塊參數計算,圖像中的局部不均勻閃爍處有明顯改善.

第 32～34幀效果對比如圖6所示.

3.3 Paula序列測試結果

該視頻同樣存在周期為 1～2幀的整體大幅周期波動,同時視頻存在大的前景運動和鏡頭轉動.經過算法處理,畫面亮度得到很好的穩定,算法效率同樣可以達到 20幀 /s的準實時處理速度.由圖8可見,在保持亮度穩定的同時,與MSU算法相比,本算法更好地保證了畫面中自然亮度的變化 (例如鏡頭轉動使畫面內容產生變化而導致的正常畫面亮度變化).人物在運動中也保持了較好的清晰度,但由于只使用了簡單的平均差值運動檢測器,在鏡頭轉動時,可以看到圖9(b)中窗臺附近依然會存在一些運動模糊以及分塊處理所引起的塊效應.今后,可以采用基于運動矢量的局部運動預測和補償來更好地進行運動修正,以避免上述現象.

圖5 花瓶序列修復結果Fig.5 Restoration result of Vase

圖6 演講序列修復結果Fig.6 Restoration result of Speech

第 115～117幀效果對比如圖9所示.

表 2是 3個序列原始的和經過閃爍消除處理以后的時序亮度方差對比結果.

4 結 束 語

本工作主要針對舊視頻資料中的亮度閃爍問題進行研究,分析了一些經典算法的優缺點,并提出了一種基于多幀參考的分塊閃爍消除算法.從效果來看,對于前后幀在整體上亮度變化極快的閃爍損傷序列有很好的修復效果,在保持原有畫面的同時,可以完全感覺不到閃爍的存在.同時,算法對于每一個分塊參數僅用了極少的乘法運算,避免了諸如文獻[2]中為了作均方誤差估計而引入的大量乘法以及指數對數運算.因此,復雜度的降低使得算法在純軟件平臺上,對于小分辨率畫面也能達到準實時處理速度,而大分辨率畫面的處理也有 6～7幀 /s的處理速度.對于舊視頻中左右邊緣局部閃爍的問題,本算法也有明顯的效果,但在閃爍發生緩慢區域,空間上仍有輕微閃爍殘留.在今后的研究中,可以考慮完善算法模型,將閃爍增益與偏移量結合起來對視頻進行修正.同時,進一步研究一種基于運動矢量的局部運動檢測修正方法,以得到更好的完善修復效果.

圖7 演講序列時序亮度對比Fig.7 Tem poral L uma curve compare of Speech

圖8 Paula序列時序亮度對比Fig.8 Temporal L uma curve com pare of Paula

圖9 Paula序列修復結果Fig.9 Restoration result of Paula

表 2 序列方差對比Table 2 Sequence var iance compare

[1] SCHALLAUER P,PINZA,HAASW.Automatic restoration algorithms for 35 mm film [J].V idere:Journal of Computer Vision Research,1999,1(3):62-63.

[2] ROOSAMALEN P.Restoration of archived film and video[D].Delft:Delft University of Technology,1999:23-44.

[3] NARANJO V,ALBIOL A.Flicker reduction in old films[C]∥Proc of the 2000 International Conference on Image Processing (ICIP-2000),Vancouver,Canada.2000:657-659.

[4] VLACHOS T. Flicker correction for archived film sequences using a nonlinear model [J]. IEEE Transactions on Circuits and Systems for Video Technology,2004,14(4):508-516.

[5] WU Y,SUTER D.Historical film p rocessing[C]∥ Proc SPIE.1995:289-300.

[6] DECENCIECE E. Restauration automatique de films anciens[D]. Paris:Ecole Nationale Superieure des M ines de Paris,1997:35-46.

[7] VATOLIN D,STRELNIKOV K.VirtualDub MSU deflicker filter[EB/OL].[2009-04-08]. http:∥www.compression.ru/video/deflicker/index_en.html.

[8] 周磊,周源華.電影膠片修復及噪聲處理關鍵技術的研究 [D].上海:上海交通大學,2008:92-96.

[9] KOKARAM A C.On missing data treatment for degraded video and film archives:a survey and a new Bayesian approach[J]. IEEE Transactions on Image Processing,2004,13(3):397-415.

(編輯:趙 宇 )

Deflicker Algor ithm Based on M ulti-frame Reference of Blocked Video

ZHAO Pei-dong1, HAN Jun1, M IN You-gang2, JIANG Hui-jun2
(1.School of Communication and Information Engineering,ShanghaiUniversity,Shanghai200072,China;2.Shanghai Audio and Video Information Center,Shanghai200051,China)

TN 911.73

A

1007-2861(2010)04-0342-07

10.3969/j.issn.1007-2861.2010.04.003

2009-05-11

浙江省科技計劃重點科研資助項目 (2007C21014)

韓 軍 (1965～),男,副教授,博士,研究方向為視頻與圖像處理.E-mail:hanjun@shu.edu.cn