適合硬件實(shí)現(xiàn)的解決色度上采樣錯(cuò)誤的算法實(shí)現(xiàn)

袁 野，鄭戟明

（上海對(duì)外貿(mào)易學(xué)院商務(wù)信息學(xué)院，上海 201620）

適合硬件實(shí)現(xiàn)的解決色度上采樣錯(cuò)誤的算法實(shí)現(xiàn)

袁 野，鄭戟明

（上海對(duì)外貿(mào)易學(xué)院商務(wù)信息學(xué)院，上海 201620）

為了適應(yīng)視頻后處理芯片低成本的需求，提出一種每場(chǎng)僅需用兩行緩存、適合硬件實(shí)現(xiàn)的解決色度上采樣錯(cuò)誤的算法。首先，檢測(cè)出現(xiàn)色度上采樣錯(cuò)誤的地方;然后，對(duì)上采樣錯(cuò)誤的地方進(jìn)行處理。具體表現(xiàn)為，檢測(cè)出有上采樣錯(cuò)誤的地方，用幀處理方法來進(jìn)行修復(fù);否則用傳統(tǒng)的場(chǎng)處理方法來處理。實(shí)驗(yàn)結(jié)果表明該算法在較少的資源下，仍然可以有效檢測(cè)到出現(xiàn)CUE現(xiàn)象的像素點(diǎn)，較好地解決了該錯(cuò)誤，并且便于硬件實(shí)現(xiàn)，可應(yīng)用于低成本的數(shù)字視頻后處理芯片中。

CUE;色度上采樣;緩存

1 色度上采樣算法

在數(shù)字電視SOC芯片中，需要一種色度上采樣算法［1］。這是因?yàn)镸PEG視頻幀中，為了節(jié)約存儲(chǔ)空間，通常采用4∶2∶0隔行掃描，擁有480條掃描線的4∶2∶0隔行掃描幀的色度采樣掃描線在垂直方向上只有240條，單個(gè)色度場(chǎng)僅僅有120條色度采樣掃描線。而視頻后處理的去隔行模塊則需要4∶2∶2的隔行視頻，因此從解碼器出來，進(jìn)入視頻后處理模塊之前，需要色度上采樣算法將4∶2∶0轉(zhuǎn)為4∶2∶2［2］。

圖1a為4∶2∶0逐行掃描視頻格式的亮度和色度采樣點(diǎn)，可見色度采樣點(diǎn)個(gè)數(shù)是亮度采樣點(diǎn)的水平方向和垂直方向各二分之一。圖1b為4∶2∶0隔行掃描視頻格式的亮度和色度采樣點(diǎn)，可見隔行掃描視頻格式與圖1a垂直方向不同，第一行的色度采樣點(diǎn)不是來自Line1和Line2的平均，而是來自Line1的75%和Line3的25%。因此在色度上采樣時(shí)，需要對(duì)逐行、隔行掃描視頻格式區(qū)別對(duì)待。

圖1 逐行與隔行視頻采樣點(diǎn)亮度色度的布局

然而為了讓芯片設(shè)計(jì)更為簡(jiǎn)單，一般的MPEG解碼器無論是隔行場(chǎng)視頻還是逐行幀視頻，統(tǒng)統(tǒng)僅使用隔行上采樣算法。而且上采樣算法通常采用簡(jiǎn)單的行復(fù)制算法或者是場(chǎng)內(nèi)多行數(shù)據(jù)的插值算法，這不利于逐行掃描圖像，本來色度上采樣應(yīng)該插值出Line1和Line2的色度采樣，實(shí)際上因?yàn)槭褂酶粜袙呙杷惴▉砩喜蓸樱瑓s插值出了Line1和Line3的色度采樣。當(dāng)將場(chǎng)合并成幀時(shí)，如果正好Line2和Line3的色度有很大差異，就會(huì)導(dǎo)致顏色的錯(cuò)位，形成一條條的拉絲現(xiàn)象，這就是所謂的色度上采樣錯(cuò)誤現(xiàn)象（Chroma Upsampling Error，CUE）［3］。隨著高清電視的普及，一經(jīng)放大這種錯(cuò)誤將變得十分明顯，因此找到一個(gè)適合硬件實(shí)現(xiàn)的解決色度上采樣錯(cuò)誤的算法已成為必要。

為了克服上述的色度上采樣錯(cuò)誤，多個(gè)專利提出了多種解決方法［4－9］，如文獻(xiàn)［4］公開的一種檢測(cè)和修復(fù)MPEG－2色度上采樣偽像的方法，采用每場(chǎng)4行以上的數(shù)據(jù)，可以解決CUE問題，但是卻耗費(fèi)較多硬件資源。并且傳統(tǒng)的上采樣算法通常是只產(chǎn)生一行新的色度數(shù)據(jù)，采用原始的420數(shù)據(jù)作為另一行，但是從圖1的位置關(guān)系看，原始的420數(shù)據(jù)實(shí)際上是上下兩行數(shù)據(jù)的綜合，與正確位置相比有1/4行的誤差。

本文提出了一種檢測(cè)和修復(fù)色度上采樣的CUE現(xiàn)象的方法，根據(jù)正確的位置關(guān)系，生成兩行新的色度數(shù)據(jù)。首先檢測(cè)色度上采樣存在CUE問題的地方，然后對(duì)這些檢測(cè)出存在問題的地方進(jìn)行處理。即如有色度上采樣錯(cuò)誤現(xiàn)象，則用幀處理方法來進(jìn)行修復(fù);如不符，則用傳統(tǒng)的場(chǎng)處理方法來處理。應(yīng)用此算法，能夠在較少的硬件資源下，進(jìn)行檢測(cè)和修復(fù)色度上采樣錯(cuò)誤現(xiàn)象。實(shí)驗(yàn)結(jié)果表明該算法在較少的硬件資源下，可以有效檢測(cè)出CUE現(xiàn)象，得到較好的上采樣效果，并且便于硬件實(shí)現(xiàn)。

2 解決色度上采樣錯(cuò)誤的算法的實(shí)現(xiàn)

2.1 步驟1:場(chǎng)處理濾波法

如圖2所示，以奇場(chǎng)在上偶場(chǎng)在下為例，按照位置關(guān)系，場(chǎng)處理濾波使用了垂直插值濾波器，即

式中:yuv422_field_odd1代表奇場(chǎng)奇行的場(chǎng)處理濾波;

yuv422_field_odd2代表奇場(chǎng)偶行的場(chǎng)處理濾波;

yuv422_frame_even1代表偶場(chǎng)奇行的場(chǎng)處理濾波;

yuv422_frame_even2代表偶場(chǎng)偶行的場(chǎng)處理濾波。

圖2 場(chǎng)處理濾波示意圖

2.2 步驟2:幀處理濾波法

如圖3所示，以奇場(chǎng)在上偶場(chǎng)在下為例子，按照位置關(guān)系，幀處理濾波法使用了垂直低通濾波器，即

式中:yuv422_frame_odd1代表奇場(chǎng)奇行的幀處理濾波;

yuv422_frame_odd2代表奇場(chǎng)偶行的幀處理濾波;

yuv422_frame_even1代表偶場(chǎng)奇行的幀處理濾波;

yuv422_frame_even2代表偶場(chǎng)偶行的幀處理濾波。

圖3 幀處理濾波示意圖

可以看出，經(jīng)幀處理濾波法后的上采樣，如果是在逐行掃描視頻色度變化的邊界處，色度上采樣錯(cuò)誤現(xiàn)象會(huì)從根本上消失。所以只要有效檢測(cè)出色度上采樣錯(cuò)誤的地方進(jìn)行幀處理濾波即可。

2.3 步驟3:檢測(cè)色度上采樣錯(cuò)誤部位

在場(chǎng)內(nèi)哪些是屬于幀處理，哪些是屬于場(chǎng)處理的像素點(diǎn)，這需要進(jìn)行檢測(cè)。只要檢測(cè)出逐行掃描格式中有顏色跳變的部分進(jìn)行幀處理濾波即可。

如圖4所示，按原有的位置關(guān)系，需要重新生成2行色度，所以當(dāng)A（奇場(chǎng)）、B（偶場(chǎng)）、C（奇場(chǎng)）、D（偶場(chǎng)）四場(chǎng)魚貫進(jìn)入時(shí)，能得到X'，Y這兩個(gè)色度插入點(diǎn)的色度。當(dāng)B（偶場(chǎng)）、C（奇場(chǎng)）、D（偶場(chǎng)）、E（奇場(chǎng)）四場(chǎng)魚貫進(jìn)入時(shí)，能得到Y(jié)'，Z這兩個(gè)色度插入點(diǎn)的色度。所以每生成2行色度時(shí)，只需要奇場(chǎng)2行和偶場(chǎng)2行的數(shù)據(jù)。

圖4 色度上采樣的位置關(guān)系

判斷前象素點(diǎn)是屬于色度上采樣錯(cuò)誤現(xiàn)象的方法如下。

如果以下條件符合，則認(rèn)為屬于CUE現(xiàn)象。

1）如果插入點(diǎn)所在幀中的共4行色度有1行是有跳變并且?guī)瑑?nèi)數(shù)據(jù)是漸變過渡的，有可能出現(xiàn)上采樣錯(cuò)誤現(xiàn)象。

結(jié)合圖4來理解，對(duì)于插入點(diǎn)X'來說，只要A，B，C，D有1行有跳變且是漸變過渡的，則設(shè)Flageven=1;對(duì)于插入點(diǎn)Y來說，只要A，B，C，D有1行有跳變且是漸變過渡的，則設(shè)為Flagodd=1。

這里，F(xiàn)lagodd代表奇場(chǎng)的漸變跳變標(biāo)志，F(xiàn)lageven代表偶場(chǎng)的漸變跳變標(biāo)志。

2）排除兩場(chǎng)中至少有一場(chǎng)場(chǎng)數(shù)據(jù)差很接近的情況。

（1）分別求取本場(chǎng)內(nèi)和本幀內(nèi)的上下兩行的差值

式中:sad_field_even代表偶場(chǎng)內(nèi)的當(dāng)前行與上行的差值的絕對(duì)值;sad_field_odd代表奇場(chǎng)內(nèi)的當(dāng)前行與上行的差值的絕對(duì)值;sad_frame代表兩場(chǎng)對(duì)應(yīng)行差值的和的絕對(duì)值。

（2）如至少有一場(chǎng)上下兩行的差值很接近，則認(rèn)為是運(yùn)動(dòng)的兩個(gè)不同的場(chǎng)，不屬于色度上采樣錯(cuò)誤情況，需要排除。該某場(chǎng)一致標(biāo)志求取如下

其中:single_odd代表奇場(chǎng)的某場(chǎng)一致標(biāo)志;single_even代表偶場(chǎng)的某場(chǎng)一致標(biāo)志;T_small為最小閾值，小于它認(rèn)為屬于一種色度。

3）合并以上信息，獲得up_error_Flag。

用以上4點(diǎn)來標(biāo)識(shí)有色度上采樣CUE問題的像素點(diǎn):up_error_Flag_odd為1，表示奇場(chǎng)是符合幀的色度上采樣錯(cuò)誤情況;up_error_Flag_even為1，表示偶場(chǎng)符合幀的色度上采樣錯(cuò)誤情況，可以進(jìn)行下一步的處理。

2.4 步驟4:色度上采樣錯(cuò)誤處理方法

如果上述up_error_Flag_odd或up_error_Flag_even為1，說明此象素點(diǎn)是出現(xiàn)色度上采樣錯(cuò)誤的地方，可采用式（2）的幀處理方法yuv422_frame，即相鄰異極性場(chǎng)的低通處理方法，否則采用式（1）的場(chǎng)處理方法yuv422_field，即通用的相鄰?fù)瑯O性場(chǎng)的低通處理方法。

3 算法的仿真結(jié)果及其分析

采用Verilog語言設(shè)計(jì)本文算法的仿真驗(yàn)證，視頻處理平臺(tái)采用系列型號(hào)為Virtex－5的FPGA芯片，圖5是系統(tǒng)仿真的結(jié)果。選擇視頻后處理測(cè)試專用碟片進(jìn)行測(cè)試，對(duì)靜止的幀測(cè)試圖（如圖5a所示），分別采用簡(jiǎn)單的上采樣復(fù)制法（如圖5b所示）、線性插值上采樣算法（如圖5c所示），以及本文提出的算法（如圖5d所示），對(duì)圖像效果進(jìn)行比較。從圖5可以看出，圖5b的色度變化邊緣出現(xiàn)明顯的拉絲現(xiàn)象，即同一場(chǎng)的色度被另一場(chǎng)的色度分離，非常明顯;圖5c對(duì)幾行數(shù)據(jù)進(jìn)行線性插值，較圖5b平滑些，但仍有拉絲現(xiàn)象;圖5d應(yīng)用本文算法，則能夠較好地消除拉絲現(xiàn)象。為防止幀處理方法會(huì)帶來副作用，影響到場(chǎng)圖像，使得一個(gè)運(yùn)動(dòng)場(chǎng)里面包含另一場(chǎng)的色度，而出現(xiàn)運(yùn)動(dòng)圖像色度的錯(cuò)誤，對(duì)動(dòng)態(tài)旋轉(zhuǎn)的色度條測(cè)試視頻進(jìn)行實(shí)驗(yàn)。如圖6所示，圖6a和圖6b為應(yīng)用了該色度上采樣算法連續(xù)的兩場(chǎng)，從圖中可以看出，沒有色度串場(chǎng)現(xiàn)象，說明每場(chǎng)數(shù)據(jù)沒有其他場(chǎng)的色度引入。將場(chǎng)數(shù)據(jù)通過通用的去隔行模塊轉(zhuǎn)成隔行數(shù)據(jù)，在電視機(jī)上播放，在旋轉(zhuǎn)邊緣處看不到其他場(chǎng)的色度影子。實(shí)驗(yàn)結(jié)果說明應(yīng)用本文提出的改善色度上采樣算法，可以很好地解決CUE色度上采樣問題，并且對(duì)運(yùn)動(dòng)的圖像沒有產(chǎn)生色度串場(chǎng)的現(xiàn)象，有較好的實(shí)驗(yàn)效果。

圖5 靜止圖像的色度上采樣算法比較

4 結(jié)束語

圖6 應(yīng)用于運(yùn)動(dòng)色度條的本文算法

本文提出一種檢測(cè)和修復(fù)色度上采樣的CUE現(xiàn)象的方法，通過判斷原始幀內(nèi)數(shù)據(jù)在垂直方向是否有漸變過渡和色度的跳變，根據(jù)本場(chǎng)內(nèi)和本幀內(nèi)的上下兩行的差值的特點(diǎn)，排除兩場(chǎng)中至少有一場(chǎng)場(chǎng)數(shù)據(jù)差很接近的情況，可以檢測(cè)出色度上采樣出現(xiàn)CUE現(xiàn)象的地方。如有色度上采樣錯(cuò)誤現(xiàn)象，則取逐幀處理方法來進(jìn)行修復(fù);如沒有，則取場(chǎng)處理方法的低通濾波值。實(shí)驗(yàn)結(jié)果表明，在每場(chǎng)各2行這樣較少的硬件資源下，可以有效地檢測(cè)和修復(fù)色度上采樣錯(cuò)誤現(xiàn)象。

:

［1］王飛飛.視頻中色度重采樣算法的ASIC設(shè)計(jì)［D］.天津:天津大學(xué)，2007.

［2］明軍，倪志榮.隔行色度信號(hào)及其應(yīng)用研究［J］.數(shù)字電視，1995，19（10）:62－64.

［3］MUNSIL D，SPEARS S.DVD benchmark－The chroma upsampling errorandThe 4:2:0 Interlaced Chroma Problem［EB/OL］.［2013－01－01］.http://www.hometheaterhifi.com/volume_7_4/dvd－benchmark－The Chroma Upsampling ErrorandThe 4:2:0 Interlaced Chroma Problem－1－2003.html.

［4］DALE R，SAN J.Detection and repair of MPEG－2 chroma upconversion artifacts:USA，US7408992 ［EB/OL］.［2013－01－11］.http://www.google.com/patents/US7408992.

［5］NAVEEN T，TABATABAI A.Chrominance resampling for color images:USA，US5712687［EB/OL］.［2013－01－11］.http://www.google.com.hk/patents/US5712687.

［6］JIANG H.Edge－adaptive chroma up－conversion:USA，US6297801［EB/OL］.［2013－01－11］.http://www.google.co.jp/patents/US6297801.

［7］ARTURO A，RODRIGUEZ C.Conversion optimization:USA，US7136417［EB/OL］.［2013－01－11］.http://www.google.com/patents/US7136417?hl=zh－CN＆dq=richard+swier+wireless.

［8］HENRY D.Method and system for MPEG chroma de－interlacing:USA，US7006147［EB/OL］.［2013－01－11］.http://www.google.com/patents/US7006147?hl=zh－CN＆dq=5661645.

［9］LEONE P，CHOW W ，GILL A.Chroma upsampling method and apparatus therefor:USA，US7474355.［EB/OL］.［2013－01－16］.http://www.google.com.hk/patents/US7474355?hl=zh－CN＆dq=7，958，388.

Implementation Method of Solving Chroma Upsampling Error

YUAN Ye，ZHENG Jiming

（School of Business Information Management，Shanghai Institute of Foreign Trade，Shanghai 201620，China）

In order to meet the need of low－cost digital video processing chip，a new algorithm to solve the Chroma Up－sampling Error using only two line buffers is presented.Firstly，Chroma Up－sampling Error pixels are detected.Next，frame interpolation method is used in these pixels.Then，traditional field interpolation method is used in other pixels.Experimental results demonstrate that the algorithm can not only detect the Chroma Up－sampling Error pixels，but also removes the error.It can be used in the chip of low－cost digital video processing.

CUE;chroma up－sampling;line buffer

TN911.73;TP302.1

A

【本文獻(xiàn)信息】袁野，鄭戟明.適合硬件實(shí)現(xiàn)的解決色度上采樣錯(cuò)誤的算法實(shí)現(xiàn)［J］.電視技術(shù)，2014，38（3）.

國家科技重大專項(xiàng)（2009ZX01033－001－004）

袁 野（1972— ），女，副教授，博士后，主要研究方向?yàn)閿?shù)字電視視頻后處理;

鄭戟明（1968— ），副教授，主要研究方向?yàn)閿?shù)字圖像處理。

責(zé)任編輯:時(shí) 雯

2013－03－12