安慧中,劉衛東,2
(1.中國海洋大學 信息學院,山東 青島 266100;2.青島海信電器股份有限公司 山東 青島 266072)
由于傳統模擬電視廣播傳輸帶寬的限制和陰極射線管電視的掃描頻率的限制,電視廣播信號是以隔行視頻格式傳輸的。而隨著數字電視和高清晰度電視技術的發展和成熟,逐行掃描的新型平板顯示器件成為主流的顯示終端。為了使隔行信號能夠在逐行掃描的設備上顯示,需要將隔行掃描的信號轉變為逐行掃描的信號。
去隔行技術大體可以分為3類:線性濾波[1]、運動自適應[2-3]和運動補償[4]。線性濾波方法主要有行復制、行平均、場合并等,其實現較為簡單,但實際應用效果較差。運動自適應方法是根據運動信息區分運動或靜止區域并采用不同的插值方式,對于靜止部分的處理效果較好,而對于運動部分也能消除場間插值帶來的鋸齒、羽化等現象。運動補償方法是目前比較先進的算法,但計算量太大,硬件實現復雜度過高,插值結果對運動估計的誤差非常敏感,所以這種算法一般應用在設計復雜的高端產品中。本文介紹的運動自適應方法是經過改良的運動檢測[5]和邊緣自適應插值的新型運動自適應方法,其算法主要包括運動檢測、改進的邊緣插值和加權求插值及濾波[6]。運動檢測方法,能夠有效的利用4個鄰場數據對待插值像素點的運動情況進行判斷,通過時空加權的方法計算介于靜止和運動之間的像素插值;對于邊緣插值,改善了無法進行水平邊緣判斷的狀況,加入了水平邊緣判斷的算法;對不同運動情況的像素的計算得到插值,聯合上下直接插值進行中值濾波,以減少誤差。
運動自適應方法本質上是通過運動檢測將待插像素所在區域分為靜止、慢速運動和運動區域,將場間直接插值和改良后的場內行平均插值混合的方法。運動檢測的好壞直接影響運動自適應方法處理圖像的效果,使用一種較為完善的運動檢測方法,是運動自適應達到理想效果的前提。
本算法以待插像素點為中心,取本身及周圍14個點,共14個點為一個單元塊,以這個單元塊為單位,通過與相鄰時刻的單元塊的像素值進行比較,得出這個單元塊的運動情況,并代表中心待插像素的運動情況。由于隔行視頻信號是按照奇偶行交替的順序進行傳輸,相鄰兩場的奇偶場并不能提供完整的兩個單元塊,于是引入相鄰四場的數據進行處理,將相鄰的不同時刻4場進行組合可以得出兩個完整的5×3單元塊,進行取差求和,求的一個量值MAD,經過與給出的閾值Tmin與Tmax比較,得出中心待插像素所在單元塊的運動情況,也就是中心待插像素的運動情況。如圖1所示,通過計算t-1和t+1場的i行對應的像素差和t與t-2場的i-1與i+1行對應的像素差,求得MAD:

將MAD值與閾值Tmin和Tmax進行比較,若MAD值小于閾值Tmin,則待插像素處于靜止狀態,若MAD值大于Tmax,則待插像素處于快速運動狀態,若MAD值處于Tmin與Tmax之間,則待插像素處于慢速運動狀態。其運動狀態用一個MD來表示:


圖1 連續四場的單元塊Fig. 1 Cell blocks of adjacent four fields
基于邊緣插值的方法一直得到廣泛的應用,最簡單的邊緣行平均算法,只能檢測45°、90°和135°的邊緣,邊緣檢測結果比較粗糙;后來又經過角度的擴展,增加周圍像素的搜索長度,這些算法逐步的縮小了邊緣搜索的角度,但是依然無法完全檢測出水平邊緣。
傳統的基于邊緣插值的方法如圖2所示,白色像素為待插像素X(i, j),灰色像素為本場已存在像素,通過尋找以待插像素為中心點的上下行具有相同邊緣方向的對角像素對來進行插值。對角像素的絕對差值越小,邊緣方向相關性越大,取絕對差值最小的方向作為邊緣方向,并對對角像素取平均值,作為待插像素的插值。

圖2 傳統邊緣插值法Fig. 2 Traditional edge-based line averaging
本文算法在以上算法的基礎上加以改進,提高了邊緣的檢測能力,算法的改進在于以下兩個方面:
一是對于具有相同邊緣的像素對求差值的同時,考慮到待搜索像素的誤差,將待搜索像素周圍的像素納入計算范圍,增加邊緣搜索的精確度。
如圖3所示,以X(i-1, j+2)與X(i+1, j-2)像素對為例,通過增加待插值像素周圍兩側的像素,共取五對對角線像素取絕對差值,分別為X(i+1, j-1)與X(i+1, j-2),X(i-1, j+2)與 X(i+1, j-2)、X(i-1, j+3)與 X(i+1, j-2)、X(i-1, j+2)與 X(i-1,j+3)、X(i-1, j+2)與X(i-1, j+1),將這5對像素絕對差值求和,比較搜索長度內所有5對像素絕對差值和,最小值對應的像素對的方向即為邊緣所在方向,在比較所有像素絕對差值和時都要與前一對的值進行插值,如果差值超過某個值,則此像素對及后面的像素對都要舍去,不予考慮,因為此時像素對已經發生跳變,失去搜索邊緣的價值。對求得的像素對取均值,即為待插像素的邊緣插值。

圖3 改進的邊緣插值法Fig. 3 Improved edge-based line averaging
二是增加水平邊緣搜索,解決了傳統邊緣搜索無法判斷水平方向邊緣的缺點。

圖4 水平邊緣搜索Fig. 4 Horizonal edge search
如圖4所示,如果在待插像素的上下行的像素邊緣在一定的搜索范圍內是相同的,則直接取上下平均插值,即為待插像素插值。
上文通過運動檢測獲得了待插像素的運動狀態MD,由MD的值表示待插像素的實際運動狀態。
1)當MD=0時,待插像素是靜止狀態,待插像素的插值由場間插值得到,取兩場對應位置的像素均值,X(i, j, t)'=Xif(i, j, t)=(X(i, j, t-1)+X(i, j, t+1))/2,即為插值像素。
2)當MD=1時,待插像素是運動狀態,待插像素由改進的邊緣插值方法得到,即X(i, j, t)=Xm_ela(i, j, t)。
3)當0<MD<1時,待插像素處于慢速運動狀態,其插值由場間插值和改進的邊緣插值的加權求和得到,若場間插值為Xif,改進的邊緣插值為Xm_ela,則待插像素的插值為X(i, j, t)'=(1-MD)×Xif(i, j, t)+MD×Xm_ela(i, j, t)。
4)經插值獲得的新像素可能會與周圍像素差別很大,在圖像中形成噪點。為了消除誤差,本算法采用濾波方法,如果插值獲得的值是此三像素的中值,則插值即為新像素值,若新像素值同時大于或者同時小于另外兩個像素,則新像素值取對應位置上下行像素的均值,即

將上述算法在MATLAB[7-8]中實現所得結果如圖5~圖7所示。

圖5 待處理的相鄰場圖像Fig. 5 Images of adjacent fields to be processed

圖6 基于傳統邊緣插值得出的相鄰幀Fig. 6 Images of adjacent frames based on traditional edge-based line averaging

圖7 基于改進的邊緣插值得出的相鄰幀Fig. 7 Images of adjacent frames based on improved edge-based line averaging
如圖5所示,圖(a)、圖(b)是飄揚的旗子的相鄰場圖像,圖(c)、圖(d)是鐘擺的相鄰場圖像。將場圖進行處理后得到的相應場所對應的相應幀的圖像。如圖6所示,是基于傳統邊緣插值所獲得的相鄰幀圖像。如圖7所示,是基于改進的邊緣插值得出的相鄰幀圖像。在細節的邊緣上圖7的效果優于圖6的效果。

圖8 不同方法的細節Fig. 8 Details based on different methods
下面以邊緣效果明顯的細節圖像來說明,如圖8所示,圖(a)、圖(b)分別為完整相鄰場圖像,圖(c)為基于傳統邊緣插值的局部細節圖,圖(d)為未引入水平邊緣搜索的改進的小角度邊緣插值局部細節圖,圖(e)為改進引入了水平邊緣搜索的改進的小角度邊緣插值局部細節圖。通過3個細節圖的對比得出引入水平邊緣搜索的改進的邊緣插值算法為最優。
本文提供的運動自適應去隔行算法改進了運動自適應去隔行算法運動部分的傳統邊緣插值算法,不僅使小角度邊緣搜索更加準確,使得到的插值圖像更為清晰,更提出了基于水平邊緣的邊緣搜索方法,改善了傳統邊緣插值無法進行水平邊緣搜索的弱點,進一步的提高了圖像的清晰度。
[1] Haan G de,Bellers E B.Deinterlacing)An overview [J].Proceedings of the IEEE,1998,86(9):1839-1857.
[2] 劉政林,劉菊,鄒雪城,等.一種新型運動自適應去隔行算法[J].微處理機,2008(6):116-118.LIU Zheng-lin,LIU Ju,ZOU Xue-cheng et al.A novel motion adaptive de-interlacing algorithm[J].Microprocesso rs,2008(6):116-118.
[3] Lin S F,ChangY L,Chen LG. Motion adaptive de-interlacing with horizontal motion detection and ELA with median [C]//Proceedings of 2003 IEEE International Symposium on Circuits and Systems(ISCAS 2003),2003: 696-699.
[4] 楊柳,徐維樸.一種新型基于運動補償的自適應去隔行算法[J].微電子學與計算機,2002(9):4-6,11.YANG Liu,XU Wei-pu.Anoveladaptive de-interlacing algorithm based on motion compensation[J].Microelectronics and computer,2002(9):4-6,11.
[5] 普玉偉,葉兵,曾德瑞,等.一種運動自適應去隔行技術及其VLSI結構[J].電視技術,2011(21):40-44.PU Yu-wei,YE Bing,ZENG De-rui,et al.A motion adaptive de-interlacing technique and VLSI architecture[J]. Video Engineering,2011(21):40-44.
[6] 羅韜,姚素英,史再峰,等.自適應加權濾波的去隔行算法及其FPGA實現[J].吉林大學學報:工學版,增刊2,2008(9):281-286.LUO Tao,YAO Su-ying,SHI Zai-feng,et al.Adaptive weighted filter de-interlacing algorithm and FPGA implementation[J].Journal of Jilin University:Engineering Science,Sup2,2008(9):281-286.
[7] 韋煒.常用圖像邊緣檢測方法及Matlab研究[J].現代電子技術,2011(4):91-94.WEI Wei.Comparative study on some common edge detection methods based on Matlab[J].Modern Electronics Technique,2011(4):91-94.
[8] 劉麗,蘇賦,田芳,等. 基于Matlab的圖像感興趣區域提取[J].現代電子技術,2013(8):117-120.LIU Li,SU Fu,TIAN Fang,et al.Matlab-based extraction of interested image regions[J].Modern Electronics Technique,2013(8):117-120.