基于稠密矢量場及自適應(yīng)補償?shù)膸噬献儞Q

劉夢可，周 軍，高志勇，陳 立

(上海交通大學(xué) 圖像通信與網(wǎng)絡(luò)工程研究所,上海 200240)

基于稠密矢量場及自適應(yīng)補償?shù)膸噬献儞Q

劉夢可，周 軍，高志勇，陳 立

(上海交通大學(xué) 圖像通信與網(wǎng)絡(luò)工程研究所,上海 200240)

為了有效解決視頻幀率上變換中物體邊緣出現(xiàn)的模糊和塊效應(yīng)等問題，結(jié)合運動估計，優(yōu)化了矢量化后處理和運動補償算法。在基于塊的運動估計中，結(jié)合運動的時空相關(guān)性優(yōu)化塊匹配算法，提高物體邊緣運動矢量的準(zhǔn)確性；通過基于像素塊相關(guān)性的插值算法，獲取像素矢量場，并保持物體結(jié)構(gòu)完整性；在運動補償時，結(jié)合矢量后處理的分類信息，自適應(yīng)地進行加權(quán)插值計算，提高內(nèi)插幀的質(zhì)量。實驗結(jié)果表明，與傳統(tǒng)方法相比，該方法在主觀和客觀質(zhì)量上都有較大的提升。

幀率上變換；塊匹配；雙邊濾波；自適應(yīng)加權(quán)插值

目前，主流的液晶顯示器的刷新頻率越來越高，如每秒240幀，而大多數(shù)視頻源的固有幀率較低或者由于信道帶寬限制等原因，視頻的幀率一般為30～60 f/s(幀/秒)，為了提高視頻顯示質(zhì)量，幀率上變換技術(shù)已經(jīng)成為必不可少的工具。另外，由于液晶面板較慢的響應(yīng)時間和采樣保持時間等固有缺陷，在快速運動的場景中，會出現(xiàn)明顯的運動模糊，殘影等問題[1]，而幀率上變換技術(shù)可以有效地改善這些問題。

幀率上變換算法，可以分為非運動補償類算法和運動補償類(MCI)算法。非運動補償類算法不考慮物體的實際運動，僅僅對相鄰幀的像素進行重復(fù)或者平均等操作，該類算法容易會產(chǎn)生運動抖動或者模糊。運動補償算法根據(jù)物體的運動信息進行插值，分為運動估計(ME)和運動補償插值(MCI)兩個階段，主流的基于塊的運動估計算法能夠較好地匹配物體的結(jié)構(gòu)信息，并且有較低的時間復(fù)雜度[2]，因此常用于運動估計中；傳統(tǒng)的塊匹配算法選取SAD值最小的運動矢量(MV)作為最優(yōu)運動矢量，但是并不能確保獲取真實的MV[3]，如在一些平坦區(qū)域，周圍鄰域的像素比較接近，導(dǎo)致不同MV的SAD也比較接近，容易產(chǎn)生不連續(xù)的MV，而在運動物體遮蔽區(qū)域，由于其中一幀信息缺失，塊匹配失效等。當(dāng)宏塊含有多種運動時，運動估計并不準(zhǔn)確，會導(dǎo)致模糊的效果。運動補償算法通常對獲取的相應(yīng)像素取均值，但是由于人為的分塊及MV的不連續(xù)，很容易產(chǎn)生塊效應(yīng)，雖然重疊塊補償算法有效地改善了塊效應(yīng)問題[4]，但是由于未考慮塊之間的結(jié)構(gòu)相關(guān)性，容易造成運動物體邊界的模糊。

針對上述算法出現(xiàn)的問題，本文提出了一些新的解決方法。首先，針對遮蔽和暴露區(qū)域的信息缺失問題，在塊匹配時，加入時間相關(guān)MV的懲罰值，獲取更加真實的MV；在得到圖像塊的MV后，根據(jù)4個相鄰塊的MV，由基于像素塊相關(guān)性的雙邊濾波算法，計算出每個像素的MV，從而有效地解決了圖像塊內(nèi)包含多個物體邊界的問題；最后在運動補償中，根據(jù)運動估計得到的當(dāng)前MV的可信度值和時間相關(guān)MV的可信度值，對MV分類，并在運動補償時，自適應(yīng)加權(quán)插值計算，有效地改善了遮蔽和暴露區(qū)域的運動匹配失效的問題，并提高算法的魯棒性。

1 本文算法

1.1 算法整體框架

算法的框架圖如圖1所示。

圖1 算法整體框架圖

本文算法首先使用基于塊的單向運動估計，獲得每個宏塊的運動矢量(MV)，在塊匹配算法中，增加了時間和空間相關(guān)MV的懲罰值，獲取更加真實的MV；對獲取的矢量進行細(xì)化處理，然后根據(jù)時間MV的可信度與當(dāng)前MV的可信度，對宏塊的MV進行分類標(biāo)記，作為運動補償?shù)膮?shù)用于內(nèi)插幀的計算。使用基于像素塊的雙邊濾波算法，獲取每個像素的MV，然后對矢量場進行平滑處理。根據(jù)矢量的分類信息，進行自適應(yīng)插值計算，獲取更加準(zhǔn)確的圖像幀。

1.2 運動估計

傳統(tǒng)的運動估計的塊匹配算法使用塊的SAD(Sum of Absolute Difference)作為評價標(biāo)準(zhǔn)。SAD的計算為

(1)

式中：Bi,j表示當(dāng)前的塊，塊的大小為N×N；x和y是塊內(nèi)坐標(biāo)偏移量；v為運動矢量；vx和vy是運動矢量的橫縱坐標(biāo)；fn-1，fn+1為相鄰的兩個圖像幀，通過計算相鄰幀對應(yīng)塊的像素的差的絕對值的和獲取SAD，并選取SAD最小的MV作為最佳MV。

雖然SAD能夠很好地表示圖像的真實運動，但是在一些情景下，SAD并不是可靠的，首先，對于圖像的平坦區(qū)域，由于不同的MV對應(yīng)的SAD值差別不大，此時很容易產(chǎn)生不平滑的矢量場，而加入運動連續(xù)性相關(guān)的MV的懲罰值可以獲得較為平滑的矢量場，保持物體區(qū)域的整體結(jié)構(gòu)。

如圖2所示，當(dāng)運動物體向右運動，宏塊A在fn-1至fn+1過程出現(xiàn)遮蔽，宏塊A的信息在后一幀fn+1中缺失，因此塊匹配算法失效，該無效的MV很可能導(dǎo)致內(nèi)插幀中出現(xiàn)塊效應(yīng)等問題。而該宏塊在前一個內(nèi)插過程中并未發(fā)生遮蔽，因此可以得到一個可靠的MVb(由fn-1與fn-3單向運動估計獲得)，根據(jù)運動矢量的時間相關(guān)性，在進行塊匹配算法時，加入時間相關(guān)MV的懲罰值，可以使運動估計的MV更接近真實的MV，又可以有效減少塊匹配錯誤造成的影響。

圖2 遮蔽區(qū)域運動示意圖

優(yōu)化后的塊匹配公式為

(2)

其中

(3)

fn-1(i+x+vx,j+y+vy)

(4)

式中：第一項為原始的SAD值，其計算如式(4)，為了提高塊中心像素MV的準(zhǔn)確性，在SAD計算時加入像素的權(quán)值因子λ(x,y)，其權(quán)值因子設(shè)計為高斯分布，塊中心像素的權(quán)值最大，越靠近邊緣越小，這樣可以使MV更接近中心區(qū)域的運動，為后續(xù)的雙向性插值方法提供更加準(zhǔn)確的MV。第二項為鄰域懲罰值，其中λ1是幅值因子，vi為與當(dāng)前塊相鄰的塊的參考MV，第三個分量是時間懲罰值，該分量的幅值因子f(Pt)的計算如式(3)，據(jù)時間MVt的懲罰值pt自適應(yīng)地調(diào)整，該式中σ是尺度參數(shù)，λ是幅值參數(shù)，當(dāng)時間MVt的可信度較小時，該幅值因子較小，該分量的權(quán)值較小，反之亦然。最終選取使最終懲罰值Penalty(Bi,j,v)最小的MV作為初始的MV。

1.3 遮蔽塊分析

由于遮蔽區(qū)域的塊的MV并不能真實地反映物體的運動情況，因此必須有效地標(biāo)記出遮蔽塊，并在運動補償時采用相應(yīng)的插值算法計算內(nèi)插幀。如圖2所示，對于運動的物體，在當(dāng)前的內(nèi)插過程中，某個塊發(fā)生遮蔽時，由于參考幀中相應(yīng)塊的信息缺失，該塊運動估計時塊匹配的SADcurrent值很可能比較大，但是該塊在前一個內(nèi)插過程未發(fā)生遮蔽，因此時間相關(guān)MV的SADtemporal值較小，可以根據(jù)當(dāng)前塊的當(dāng)前最優(yōu)MV和時間MV的可信度值區(qū)分遮蔽塊，并進行標(biāo)記。

(5)

若當(dāng)前塊的懲罰值Penaltycurrent大于T1且時間MV的懲罰值Penaltytemporal小于T2時，將該區(qū)域MV標(biāo)記為L1(遮蔽區(qū)域)，其他標(biāo)記為L2(未遮蔽區(qū)域)。

1.4 像素矢量場計算

在基于塊的補償算法中，可能會出現(xiàn)宏塊中包含多個運動的情況，如宏塊中含有運動邊界，雖然通過矢量細(xì)化獲取更小塊的MV，從而改善塊效應(yīng)[5]，但是并不能保證細(xì)化后的基本塊中不包含多種運動。另外，分塊的存在不可避免地將圖像中的物體邊界分割在不同的區(qū)域，容易產(chǎn)生塊效應(yīng)等問題。直接使用雙線性插值計算像素MV[6]，雖然可以改善圖像的塊效應(yīng)，但是容易造成邊緣模糊，本文算法對像素MV的求解方法進行優(yōu)化。

如圖3所示，在相鄰的4個塊的中心像素點圍成的正方形區(qū)域中，由運動估計獲得的4個頂點的MV為MV1，MV2,MV3,MV4，為了保持同一物體內(nèi)像素MV的一致性，本文在雙線性插值的基礎(chǔ)上，加入像素塊相關(guān)性因子，求解每個像素的MV，即

(6)

式中：Wlocation是一個與當(dāng)前像素的位置相關(guān)的權(quán)值因子，其計算式如

(7)

式中：N為塊的大小；x和y為當(dāng)前像素在塊內(nèi)的坐標(biāo)；Wpixel是一個與當(dāng)前像素塊的灰度值有關(guān)的權(quán)值因子，它的大小與4個頂點的像素塊的灰度值相關(guān)，灰度值越接近，該值越大，這樣就可以使同一個物體內(nèi)部的像素MV保持統(tǒng)一，選取像素塊的像素做相關(guān)性計算，可以減少在紋理豐富區(qū)域的匹配錯誤，提高算法的魯棒性，本算法中選用指數(shù)函數(shù)作為求權(quán)值方法，計算如下

(8)

式中：σ是尺度參數(shù)；λ是幅值參數(shù)；pixelj(x,y)為當(dāng)前像素塊的像素；pixeli(x,y)為頂點像素塊的像素。最后將獲取的MV做歸一化處理，得到了每個像素的MV。

圖3 像素MV計算示意圖

1.5 矢量場平滑

由于不平滑的矢量會導(dǎo)致內(nèi)插幀中出現(xiàn)明顯的塊效應(yīng)，在獲得整個圖像像素的矢量場后，需要對矢量場做一定的平滑處理，本算法中采用的高斯濾波函數(shù)，對矢量場進行平滑，高斯濾波的函數(shù)為

(9)

本文中對濾波核的系數(shù)進行歸一化處理，獲取如下濾波核的矩陣

(10)

由于單向運動估計會造成內(nèi)插幀中出現(xiàn)重疊或者空洞問題，本文算法中，對于重疊的部分，選用SAD值較高的MV；對于空洞部分，使用中值濾波從鄰域MV獲取[7]。

1.6 自適應(yīng)加權(quán)運動補償

在獲取運動矢量之后，主流的計算內(nèi)插幀像素值的方法是，根據(jù)運動矢量獲取前后兩幀圖像的像素并求均值，雖然該方法對于運動物體的內(nèi)部區(qū)域能取得不錯的效果，但是對于運動物體的邊緣，出現(xiàn)遮蔽的區(qū)域，由于運動物體只存在其中一個參考幀中，在另外一幀中缺失，因此直接采用均值運動補償，會導(dǎo)致內(nèi)插針的圖像失真。本文算法在運動估計的時候，由于加入了時間相關(guān)的懲罰因子，保證了遮蔽區(qū)域運動矢量更接近真實值，并在遮蔽分析中進行了標(biāo)記，因此在遮蔽區(qū)域中，調(diào)整運動補償時前后幀像素的權(quán)值，可以有效提高內(nèi)插幀的質(zhì)量。

為了提高算法的魯棒性，避免遮擋區(qū)域邊緣不連續(xù)，對于遮蔽區(qū)域的內(nèi)插幀像素的計算，不是簡單地賦值為前一幀或者后一幀像素，而是根據(jù)周圍塊中遮蔽點的個數(shù)，來決定前一幀和后一幀像素的加權(quán)系數(shù)。

如圖4所示，以當(dāng)前像素為中心，選取N×N的鄰域區(qū)域，統(tǒng)計每個像素周圍的標(biāo)記為遮蔽區(qū)域的像素的個數(shù)，并根據(jù)遮蔽像素的個數(shù)，確定前幀fn-1和后幀fn+1像素的加權(quán)值，計算如下

(11)

其中加權(quán)系數(shù)λ1的計算公式如下

(12)

圖4 自適應(yīng)插值系數(shù)計算

由于在遮蔽區(qū)域的邊界處，加權(quán)系數(shù)平滑的變化，可以使內(nèi)插幀的圖像較為平滑，避免出現(xiàn)突變的問題。同時，該方法可以減少由于遮蔽分析不準(zhǔn)確導(dǎo)致的內(nèi)插幀中物體邊界不連續(xù)的問題。

2 實驗結(jié)果

本文算法選取YUV格式大小為CIF的視頻作為輸入，只對Y分量進行處理，基本塊大小為8×8，T1為3 000，T2為 5 000， 選取bus，mobile，foreman，football作為測試序列，bus運動復(fù)雜，含有中速移動和較多的遮蔽區(qū)域；mobile細(xì)節(jié)豐富，并有慢速移動；foreman前景運動豐富，背景分明，football運動復(fù)雜。

本實驗中，以原視頻序列中的奇數(shù)幀作為輸入序列，內(nèi)插結(jié)果與原始序列的偶數(shù)幀進行比較。為了比較本文算法的效果，本文最終算法分別與基于SAD塊匹配的OBMC算法、含遮蔽分析及自適應(yīng)插值(AMC)的改進算法進行比較，當(dāng)圖像邊緣像素超出邊界時，統(tǒng)一采用圖像內(nèi)鏡像位置的值，本文采用PSNR作為客觀比較標(biāo)準(zhǔn)，統(tǒng)計前50幀的平均PSNR值，并得出如表1的PSNR值。結(jié)果表明該算法的客觀質(zhì)量有了一定的提升。

表1 不同算法的平均PSNR對比 dB

為了比較本文算法的主觀效果，本文選取了幾個典型的內(nèi)插幀，如圖5所示。

從圖中可以看出，基于SAD塊匹配的OBMC算法(圖5b)，在遮蔽區(qū)域會出現(xiàn)一些不連續(xù)或者重影等問題，而對塊匹配算法進行改進并加入自適應(yīng)加權(quán)插值優(yōu)化后，內(nèi)插幀(圖5c)質(zhì)量得到了較大的改善。另外，從圖5e和圖5f的局部放大圖比較可以看到，基于像素塊相關(guān)性的雙線性插值法，有效地改善了物體邊緣。

3 結(jié)論

本文對基于塊的運動補償算法進行了優(yōu)化，依據(jù)運動估計MV時間相關(guān)性改進了塊匹配算法，獲取更加準(zhǔn)確的MV；通過分析時間相關(guān)MV和當(dāng)前MV的可信度值，將MV進行分類，標(biāo)記遮蔽區(qū)域；通過基于像素塊相關(guān)性的雙線性插值算法，計算出每個像素的MV，保持了運動物體整體一致性，避免產(chǎn)生明顯的塊效應(yīng)；另外，在內(nèi)插幀計算時，根據(jù)當(dāng)前像素周圍的標(biāo)記點個數(shù)，自適應(yīng)調(diào)整前后幀的權(quán)值系數(shù)，有效提高了遮蔽區(qū)域的圖像質(zhì)量，同時避免出現(xiàn)突變的像素點，提高了算法的魯棒性。實現(xiàn)結(jié)果表明，無論主觀還是客觀，本文算法取得明顯的改善。

[1] SHAY H N，NGUYEN T Q. LCD motion blur reduction：a signal processing approach[J].IEEE Trans. Image Processing，2008，17(2)：117-125.

[2] 王大偉，嚴(yán)俊，王彬，等. 視頻序列的運動估計技術(shù)綜述[J]. 電視技術(shù)，2012，36 (3)：20-23.[3] CETIN M. An adaptive true motion estimation algorithm for frame rate conversion of high definition video and its hardware implementations[J]. IEEE Trans. Consumers Electronics，2011，57(2)：923-931.

[4] CHOI B T， LEE S H， KO S J. New frame rate up-conversion using bi-directional motion estimation [J].IEEE Trans. Consumer Electronics，2000，46(3)： 603-609.

[5] HUANG A M，NGUYEN T Q. A multistage motion vector processing method for motion-compensated frame interpolation[J].IEEE Trans. Image Processing，2008，17(5)：694-708.

[6] Al-MUALLA M E. Motion field interpolation for frame rate conversion[C]//Proc. 2003 International Symposium， Circuits and Systems(ISCAS '03). [S.l.]：IEEE Press，2003：652-655

[7] DEMIN W，VINCENT A，BLANCHFIELD P，et al. Motion compensated frame rate up-conversion part II： new algorithms for frame interpolation[J]. IEEE Trans. Broadcasting，2010， 56 (2)： 142-149.

劉夢可，碩士生，主研圖像處理及算法；

周 軍，副教授，主研三維圖像處理；

高志勇，博士生導(dǎo)師，主研高速圖像與視頻處理、數(shù)字電視；

陳 立，講師，主研高速圖像處理及IC設(shè)計。

責(zé)任編輯：時 雯

騰訊五千萬元入股歡網(wǎng)科技

TCL集團近日發(fā)布公告，公司旗下的智能電視運營平臺廣州歡網(wǎng)科技有限公司簽署增資協(xié)議，正式引入騰訊投資作為戰(zhàn)略投資者，繼續(xù)推進騰訊與TCL TV+平臺的全面合作。

公告顯示，騰訊投資和天津誠柏各出資5 000萬元分別獲得增資后歡網(wǎng)科技7.143%的股權(quán)。增資完成后，TCL集團和長虹創(chuàng)新投資繼續(xù)各持有歡網(wǎng)科技27.394%股份為前二大股東，天津誠柏持股比例增至20%。此次歡網(wǎng)科技引進戰(zhàn)略投資者，騰訊的加盟無疑成為市場關(guān)注的焦點。作為國內(nèi)最大的互聯(lián)網(wǎng)綜合服務(wù)提供商之一，騰訊擁有雄厚的用戶基礎(chǔ)和強大的內(nèi)容生產(chǎn)能力，其獨特的行業(yè)優(yōu)勢地位和競爭優(yōu)勢不言而喻。

Frame Rate Up-conversion Based on Dense Vector Field and Adaptive Compensation

LIU Mengke，ZHOU Jun，GAO Zhiyong，CHEN Li

(ImageCommunicationandNetworkTechnologyInstitute，ShanghaiJiaotongUniversity，Shanghai200240，China)

In order to solve problems such as edge blur and blocking artifacts in frame rate up-conversion， block matching (BM) algorithm and motion compensation (ME) algorithm are improved based on motion estimation. In the block-based motion estimation way， BM algorithm is optimized by adding motion information of temporal and spatial correlation，and reducing the blocking effect of moving objects. Pixel MV is applied in the MC and is calculated by bilateral filter based on correlation between pixel blocks， to maintain the structural integrity of the objects. In motion compensation， the classification information of the MV processing is used for adaptively weighted interpolation to improve the quality of the interpolated frame. Experimental results show that， the image quality is improved in the subjective and objective quality.

FRUC；BM；bilateral filter；adaptively weighted interpolation

【本文獻信息】劉夢可，周軍，高志勇，等.基于稠密矢量場及自適應(yīng)補償?shù)膸噬献儞Q[J].電視技術(shù),2015，39(11).

國家科技重大專項項目(2013ZX01033001-002-002)；國家自然科學(xué)基金項目(61133009)；數(shù)字媒體處理與傳輸上海市重點實驗室項目(STCSM 12DZ2272600)

TN911.73

A

10.16280/j.videoe.2015.11.003

2014-09-30