基于AVS解碼端的空域錯(cuò)誤隱藏算法

陳 錚，于鴻洋，張 萍

（電子科技大學(xué)電子工程學(xué)院，四川 成都 610054）

1 引言

數(shù)字視頻業(yè)務(wù)隨著多媒體通信技術(shù)的發(fā)展，在現(xiàn)實(shí)生活中受到越來(lái)越多的重視。但是數(shù)字視頻通信信道受外界環(huán)境影響很大，網(wǎng)絡(luò)傳輸也受網(wǎng)絡(luò)帶寬、網(wǎng)絡(luò)擁塞等因素影響，導(dǎo)致傳輸過(guò)程中可能會(huì)出現(xiàn)誤碼或者數(shù)據(jù)包的丟失。視頻傳輸中的誤碼通常包含兩類，一類是隨機(jī)比特錯(cuò)誤，比如比特跳轉(zhuǎn)、刪除、插入等，這是由于信道的物理缺陷產(chǎn)生。另一類是突發(fā)錯(cuò)誤，集中或連續(xù)突發(fā)產(chǎn)生錯(cuò)誤，比如網(wǎng)絡(luò)中數(shù)據(jù)包的丟失。

視頻解碼端錯(cuò)誤隱藏是解決丟包現(xiàn)象較好的途徑之一，主要利用圖像內(nèi)的空間冗余和圖像間的時(shí)間冗余對(duì)解碼端的錯(cuò)誤宏塊進(jìn)行恢復(fù)，完全不影響編碼端。

AVS作為我國(guó)自主知識(shí)產(chǎn)權(quán)的視頻編解碼標(biāo)準(zhǔn)，可以廣泛運(yùn)用到各種視頻場(chǎng)合，支持地面廣播、有線電視、IP網(wǎng)絡(luò)等傳輸協(xié)議。現(xiàn)階段AVS官方標(biāo)準(zhǔn)參考代碼中，還沒(méi)有加入解碼端錯(cuò)誤隱藏算法。筆者根據(jù)AVS視頻編解碼特點(diǎn)，參考傳統(tǒng)的解碼端空域錯(cuò)誤隱藏算法，利用雙線性插值結(jié)果，進(jìn)一步得到多個(gè)參考像素，提出改進(jìn)的空域錯(cuò)誤隱藏算法，在AVS平臺(tái)上進(jìn)行實(shí)驗(yàn)仿真。算法復(fù)雜度低，能夠得到良好的恢復(fù)效果。

2 AVS錯(cuò)誤隱藏技術(shù)

AVS工作組成立于2002年，建立了中國(guó)自主知識(shí)產(chǎn)權(quán)的音視頻國(guó)家標(biāo)準(zhǔn)[1]。其視頻方面包括兩個(gè)內(nèi)容，AVSP2，即第2部分，主要運(yùn)用于高清廣播和數(shù)字存儲(chǔ)領(lǐng)域；AVS-P7，即第7部分，主要運(yùn)用于移動(dòng)視頻等低碼率領(lǐng)域。和AVC/H.264具有相同的編解碼結(jié)構(gòu)，如圖1所示。

圖1 AVS解碼結(jié)構(gòu)圖

錯(cuò)誤隱藏技術(shù)是在檢測(cè)到損失宏塊后進(jìn)行處理以盡量隱藏對(duì)視覺(jué)的影響。因此錯(cuò)誤隱藏技術(shù)并不是真正消除傳輸中的丟包現(xiàn)象，只是盡可能的彌補(bǔ)其帶來(lái)視覺(jué)損傷。

解碼端錯(cuò)誤隱藏流程如圖2所示，解碼端的錯(cuò)誤隱藏技術(shù)分為時(shí)域誤碼掩蓋和空域誤碼掩蓋。現(xiàn)在常用的空域誤碼掩蓋方法包括最優(yōu)平滑恢復(fù)、凸集投影法、最小化相鄰像素方差、利用周圍臨近像素插值等。

圖2 解碼端錯(cuò)誤隱藏流程圖

信道上接收到的壓縮視頻碼流首先送到碼流語(yǔ)法分析單元，進(jìn)行相應(yīng)的碼流語(yǔ)法分析。如果沒(méi)有丟包，則送到視頻解碼單元，然后將正確解碼的圖像送入幀存儲(chǔ)器，最后到顯示器去現(xiàn)實(shí)解碼圖像。如果信道有丟包，則語(yǔ)法分析程序給出錯(cuò)誤指示，立刻停止當(dāng)前解碼，將錯(cuò)誤數(shù)據(jù)送入錯(cuò)誤定位單元，得到錯(cuò)誤位置信息，并送入錯(cuò)誤掩蓋單元。

一旦檢測(cè)出錯(cuò)誤，就開始進(jìn)行錯(cuò)誤隱藏的過(guò)程。錯(cuò)誤掩蓋單元在幀存儲(chǔ)器中，按照算法設(shè)計(jì)尋找到與丟失宏塊圖像最相似的圖像塊來(lái)替代丟失的部分，以達(dá)到錯(cuò)誤隱藏的目的。

AVS的語(yǔ)法層次分為塊、宏塊、條帶、圖像、序列。條帶結(jié)構(gòu)為一行或者多行宏塊。對(duì)于條帶、圖像、序列這3層，都有再同步碼，發(fā)生錯(cuò)誤時(shí)能夠通過(guò)重定位至下一個(gè)同步碼來(lái)避免錯(cuò)誤的傳遞，但是塊和宏塊層沒(méi)有再同步碼，因此一旦發(fā)生錯(cuò)誤，當(dāng)前條帶的數(shù)據(jù)將全部丟失。AVS所采用的VLC編碼導(dǎo)致當(dāng)前錯(cuò)誤可能影響到整幀或者后續(xù)解碼圖像中，因此進(jìn)行錯(cuò)誤隱藏十分必要。

語(yǔ)法語(yǔ)義檢測(cè)錯(cuò)誤檢查包括無(wú)效碼值、無(wú)效VLC值、運(yùn)動(dòng)矢量超出圖像外界、量化信息越界、無(wú)效的DC直流系數(shù)、DCT系數(shù)個(gè)數(shù)超出等。

3 空域錯(cuò)誤掩蓋算法及仿真

空域錯(cuò)誤隱藏技術(shù)主要是利用視頻空域的冗余信息，從相鄰宏塊的臨近像素中對(duì)解碼端錯(cuò)誤圖像進(jìn)行恢復(fù)。適用于運(yùn)動(dòng)矢量不存在的幀內(nèi)編碼幀（I幀）和運(yùn)動(dòng)復(fù)雜的幀間編碼幀（P幀）。

3.1 雙線性插值算法兩步法

對(duì)于I幀，由于缺少參考幀，因此在幀內(nèi)進(jìn)行空域錯(cuò)誤掩蓋，利用出錯(cuò)宏塊上下左右相鄰宏塊的邊界像素值插值出丟失宏塊的像素值[2]。

對(duì)于丟失宏塊內(nèi)的每一個(gè)像素，首先利用水平和垂直方向上的相鄰宏塊的邊界像素，通過(guò)加權(quán)插值得到此像素值，權(quán)值與像素到邊界像素的距離成反比，如圖3所示。

可以得到雙線性插值算法公式

式中：R為第1步恢復(fù)的像素值，也即傳統(tǒng)雙線性插值恢復(fù)的像素值；Y1，Y2，Y3，Y4為圖中對(duì)應(yīng)的邊界像素值，也即與受損宏塊相鄰水平和垂直宏塊的邊界像素值；D1，D2，D3，D4為恢復(fù)像素值與邊界像素值的距離。

通過(guò)第1步傳統(tǒng)的雙線性插值，得到待恢復(fù)像素的值。接下來(lái)進(jìn)行進(jìn)一步匹配，確定需要恢復(fù)的像素值。

圖3 雙線性插值示意圖

第2步在第一步插值的基礎(chǔ)上面進(jìn)行更加精確的恢復(fù)像素值，在給定像素誤差范圍E內(nèi)，逐步搜索水平和垂直宏塊的臨近像素值，得到與第1步預(yù)測(cè)像素值在該誤差范圍內(nèi)的臨近像素點(diǎn)，并記錄這些像素點(diǎn)的像素值。利用更多實(shí)際的臨近像素點(diǎn)去預(yù)測(cè)損失像素的值，最終像素值的大小為相似像素點(diǎn)均值。

經(jīng)過(guò)反復(fù)試驗(yàn)，誤差E取值為15左右能夠得到比較滿意的結(jié)果。算法流程圖如圖4所示。線性插值之后，再進(jìn)一步運(yùn)用更多實(shí)際臨近像素點(diǎn)進(jìn)行預(yù)測(cè)，能夠得到更加精確的恢復(fù)像素點(diǎn)。并且其方法簡(jiǎn)單，容易實(shí)現(xiàn)。

圖4 雙線性兩步算法流程圖

3.2 仿真結(jié)果及分析

所提出的解碼端錯(cuò)誤隱藏算法在AVS平臺(tái)上進(jìn)行圖像的恢復(fù)，對(duì)不同的視頻序列進(jìn)行了大量仿真試驗(yàn)。AVS版本為RM 52g，測(cè)試序列為經(jīng)典Forman YUV文件測(cè)試序列，格式為CIF（352×288）。編碼方式為全I(xiàn)幀編碼。利用AVS編碼Forman圖像序列30幀，通過(guò)隨機(jī)掉包，產(chǎn)生數(shù)據(jù)丟失。對(duì)序列進(jìn)行10%的隨機(jī)加錯(cuò)后，得到的錯(cuò)誤恢復(fù)效果圖如圖5～7所示。

圖5 Forman原始第3幀

圖6 Forman第3幀出錯(cuò)

圖7 Forman第3幀錯(cuò)誤掩蓋

由圖5～7可見，雙線性兩步算法對(duì)于全I(xiàn)幀出錯(cuò)情況具有良好的掩蓋效果。表1客觀反應(yīng)了前10幀Y，U，V分量的評(píng)價(jià)信噪比，可以看出雙線性兩步法對(duì)于出錯(cuò)圖像進(jìn)行空域掩蓋之后，各個(gè)分量平均信噪比增加了約4 dB。

表1 Forman掩蓋序列前30幀平均信噪比表

4 結(jié)論

AVS視頻編解碼標(biāo)準(zhǔn)正在繼續(xù)發(fā)展之中，以后肯定會(huì)增加標(biāo)準(zhǔn)工作組制定的錯(cuò)誤隱藏算法部分。

筆者通過(guò)研究視頻解碼端錯(cuò)誤隱藏算法，并將改進(jìn)的雙線性插值法在AVS平臺(tái)上進(jìn)行仿真實(shí)驗(yàn)，得到了良好的錯(cuò)誤恢復(fù)結(jié)果。此算法保留了雙線性插值法的簡(jiǎn)潔性，易于實(shí)現(xiàn)。能夠有效恢復(fù)出損失宏塊的像素值，具有可移植性，能廣泛運(yùn)用到視頻通信之中。

[1]GB/T 200090.2-2006.信息技術(shù)先進(jìn)音視頻編碼第2部分：視頻[S].北京：中國(guó)標(biāo)準(zhǔn)出版社，2006.

[2]SULLIVAN G，WIEGAND T，LIM K P.Joint model reference encoding methods and decoding concealment methods.Doc.JVT-I049[R].[S.l.]：JVT，2003.

[3]畢厚杰.新一代視頻壓縮編碼標(biāo)準(zhǔn)——H.264/AVC[M].北京：人民郵電出版社，2005.