一種基于Ｈ．２６４的混合視頻轉碼方法

（武漢大學 a.電氣工程學院； b.計算機學院 武漢 430072）

摘 要：為了提高比特率縮減的H.264視頻轉碼速度，提出了一種混合型視頻轉碼（mixtuevideo transcode，MVT）方法。該方法選擇串聯結構對intra幀進行轉換編碼，選擇開環結構對inter幀進行轉換編碼，同時對inter幀進行部分誤差消除操作。對intra幀，轉換編碼操作后可以得到無誤差的intra幀；對于inter幀，轉碼后圖像質量的損失大于串聯結構，但因為進行了消除誤差漂移的操作，這一損失可以控制在可接受的最小范圍內。實驗結果表明，提出的混合型視頻轉碼結構在轉碼速度上遠遠高于串聯結構，轉碼后的圖像質量接近串聯結構，且遠遠好于開環結構。

關鍵詞：轉碼； 串聯結構； 開環結構； 誤差漂移

中圖分類號：TP391.72文獻標志碼：A

文章編號：1001-3695(2009)05-1961-04

Mixture video transcoding method for H.264

WANG Bo LIU Di-chen LI Minb

（a.School of Electrical Engineering b. School of Computer Wuhan University Wuhan 430072 China）

Abstract:In order to improve the speed of H.264 bit rate reduction transcoding，this paper proposed a mixture video transcoding method with limited drifting error. Selected cascaded pixel-domain architecture to transcode intra frame and selec-ted open-loop architecture to transcode inter frame，at the same time implemented drift error compensation operation for inter frame. Experimental results show that using this video transcoding architecture the picture quality obtained from the proposed transcoder is close to that of the traditional cascade pixel-domain transcoder，while the transcoding speed is close to the open-loop architecture video transcoder.

Key words： transcode; cascade architecture; open-loop architecture; drift error

將高碼率的視頻碼流轉碼成低碼率的視頻碼流，以適應不同網絡帶寬的需要，這是視頻轉碼的一個最重要的應用^[1~3]。存在三種不同結構的碼率縮減視頻轉碼器，即全解全編結構、串聯結構和開環結構。其中全解全編結構所得轉碼效果最好，但是運算復雜度最高，不適合實時視頻轉碼應用^[1，4，5]；開環結構的速度最快，但是因為漂移誤差的影響，轉碼后的圖像質量損失較大^[1，5~7]；串聯結構重用了原始碼流中的運動矢量和運動模式，加快了轉碼速度，因而轉碼速度與全解全編結構相比有了很大提高，并且轉碼后的圖像質量與全解全編相比，差別不是很大。但是，串聯結構中閉合回路的使用增加了轉碼的復雜度，使其轉碼速度不如開環結構^[7~9]。針對這三種轉碼結構的優缺點以及H.264的特點，本文提出了一種混合型像素域視頻轉碼方法。

1 碼率縮減的視頻轉碼結構

根據文獻[5，6，10，11]可以得到如圖1所示的基于H.264的串聯像素域視頻轉碼器結構（cascaded pixel domain transco-der，CPDT）。H.264視頻編/解碼采用了預測編碼方法，所以視頻幀Fn包括運動補償得到的預測參考值Pn和預測殘差值Rn兩部分。假設當前的視頻幀為F1n，而它的參考幀為F1n-1，那么原始視頻碼流解碼得到的當前視頻幀的值F1n可以表示為

其中：P1n是運動補償得到的預測參考值；R1n是直接解碼得到的預測殘差值；編碼部分的輸入，因此F1n又可以表示為

式(2)中，新的運動補償得到的預測參考值P2n來自于轉碼之后參考幀的值F2由于重新編碼時使用了與原始視頻碼流一致的運動模式和運動矢量，式(3)又可表示成

在H.264中，整數變換為線性操作，式(4)可以改寫成T(R2n)=T(R1

這樣，可以得到如圖2所示的CPDT簡化結構。

式(4)中，F1n-1-F2n-1表示參考幀轉碼前與轉碼后的差值，這就是漂移誤差的來源。如果F1n-1-F2n-1忽略這個差值，即認為轉碼前與轉碼后F1n-1= F2n-1，那么就可以將圖2所示的串聯結構簡化成開環結構^[5]。但是因為誤差累積放大效應，這一簡化不可避免地帶來較大的圖像損失。

在圖1中，預測殘差值R2n經過T變換和量化(Q2)得到量化后的預測殘差值，該值經過可變長編碼(VLC)得到編碼的比特流。同時它經過IT和IQ變換，得到重建的預測殘差值R3n，那么轉碼后，當前視頻幀的值就是

F2n= R3n+P2n= R3n+MC(F2n-1)(6)

由式(1)和(6)得

式(7)表明，當前幀的漂移誤差包括預測殘差編碼前后的差值R1n-R3n和參考幀的漂移誤差MC(F1n-1 - F2n-1)兩部分。也就是說，因為預測編碼，參考幀的漂移誤差將帶到當前幀，即使參考幀只有很小的漂移誤差，經過逐級放大累積，也會變得很大，這就是漂移誤差的累積放大效應。式(4)和(7)也給出了解決漂移誤差的方法:在轉碼過程中，對參考幀的漂移誤差進行緩存;在轉碼器進行重新編碼時，根據式(4)從解碼部分得到預測殘差R1n，要補償相應的漂移誤差值MC(F1根據整數變換的線性性質，式(7)可以表示成

按照上述方法，根據式(5)和(8)，對CPDT作進一步簡化，就得到如圖3所示的快速像素域視頻轉碼器（fast pixel domain transcoder，FPDT）。

與CPDT結構相比較，FPDT少了一次IT操作 一次運動估計操作和一次環狀濾波操作，所以轉碼速度得到了很大提高。CPDT結構中有兩個幀存緩沖器，分別用來存儲轉碼前參考數據幀和轉碼后參考數據幀；而FPDT結構中只有一個幀緩存，存儲的是參考幀轉碼前與轉碼后的差值，所以快速視頻轉碼器能夠節省存儲空間。但是，由于FPDT少了一次環狀濾波操作和一次運動估計操作，會導致轉碼誤差；同時由于誤差累積的放大效應，就導致用FPDT所得轉碼幀質量遠遠低于用CPDT所得轉碼幀質量，這種差別對intra幀尤其明顯。 文獻[12]分別用全解全結構（full decode and re-encode，FDR）、CPDT和FPDT對同一組合視頻序列進行轉碼，得出了如下結論：用FDR和CPDT對視頻序列進行轉碼，所得轉碼圖像質量差別很小；用FPDT所得轉碼質量圖像最差，尤其對intra幀，轉碼后圖像的PSNR值與轉碼前相比下降了很多，且轉碼后的視頻質量波動很大。受intra幀的影響，inter幀的PSNR值也降低了很多，但是相對intra幀而言，inter幀的轉碼質量波動不大。為了保證intra幀的轉碼質量，同時提高轉碼速度，本文提出了一種混合型像素域視頻轉碼器（mixture pixel domain transcoder，MPDT）。該MPDT結構選擇用CPDT結構對intra幀進行轉換編碼，選擇FPDT對inter幀進行轉換編碼，同時對inter幀進行部分誤差消除操作。

2 基于H.264的混合型視頻轉碼結構

對于H.264視頻碼流，存在三種不同類型的編碼視頻幀，即I幀、P幀和B幀。在MPDT結構中，選擇用CPDT結構對intra幀進行轉換編碼，轉碼后可得到無誤差的intra幀；選用開環結構對inter幀進行轉換編碼。由于開環結構會帶來漂移誤差，必須對誤差進行補償。補償方法為：對于P幀圖像，它既參考前面的I幀或P幀，又將作為后續的P幀或B幀的參考圖像，因此必須進行誤差補償和誤差累積操作；對于B幀圖像，它不會作為后續幀的參考圖像，因此不可能傳遞漂移誤差，無須誤差累積操作，但是B幀圖像因為參考了前面的I幀或P幀，需要進行誤差補償操作。不過，因為B幀圖像的漂移誤差來自鄰近的P幀，而這些圖像都進行了誤差補償，如果B幀圖像不進行誤差補償，其轉碼后圖像質量的損失不會很大。本章提出的轉碼器結構中B幀圖像將不進行誤差補償。

根據這一思想，MVT轉碼器結構如圖4所示。

轉碼器按照如下方式進行操作：

a）I幀。在MPDT結構中，選擇用CPDT結構對intra幀進行轉換編碼，此時SW2打開，SW1、SW3 和SW4閉合。執行過程為：對輸入的源數據進行解碼操作，并將所得結果放入F1n-1中作為后續宏塊的參考值；同時，根據式（5）計算B2n，所得結果經過Q2/IQ2及IT等操作后，放入F2n-1中作為后續宏塊的參考值。通過這種方式進行轉碼，可以得到無誤差的intra轉碼幀。

b）P幀。在MPDT結構中，選擇用開環結構對intra幀進行轉換編碼操作。因為P幀將是后續幀的參考幀，所以P幀轉碼需要進行誤差累積操作;又因為參考了前面緊鄰的非B幀(I幀或P幀)，所以P幀轉碼需要進行誤差補償。此時SW1打開，SW2、SW3 和SW4閉合。執行過程為：對經過反量化后的數據，一方面通過誤差補償操作得到B2n；另一方面與經過Q2/IQ2操作后的B3n進行減法操作，所得結果經過IT變換，與error緩沖區中所積累的參考幀誤差相加，得到當前轉碼宏塊的誤差，其結果存入error緩沖區中作為后續宏塊的誤差補償值。

c）B幀。盡管B幀參考了前面緊鄰的I幀或P幀，但是B幀不做后續幀的參考幀，所以即使B幀不進行誤差補償，其漂移誤差不會影響其他視頻幀；并且，由于對B幀的參考幀進行了誤差補償操作，即使對B不進行誤差補償，其轉碼后圖像質量的損失也不會很大。對B幀進行轉碼操作時，SW1、SW2、SW3 和SW4均打開。

為了盡可能獲得高質量的轉碼視頻幀，可以在碼率控制的基礎上，選擇合適的二次量化參數，保證在降低碼率的同時，獲得較好的轉碼視頻質量。關于碼率控制及二次量化參數的選取，可以參考文獻[13，14]。

3 實驗結果及分析

要驗證視頻轉碼方法的有效性，需要從轉碼速度以及轉碼后的圖像質量兩方面進行比較。為此，筆者分別實現了四種不同結構的視頻轉碼器，即開環視頻轉碼結構（open-loop video transcoder，OVT）、串聯像素域視頻轉碼器結構（CPDT）、快速像素域視頻轉碼器（FPDT）以及本文提出的混合型像素域視頻轉碼器（MPDT）。實驗中所用的硬件平臺是P4 2.4 GHz CPU，256 MB的內存，軟件環境為Windows XP，Visual C++6.0 JM10.0^[15]。實驗中采用了news、Stefan和football三組視頻測試序列。其中：news和Stefan的格式為CIF；Football的格式為QCIF。三組視頻序列的長度均為90幀，幀率為30 fps 幀順序為IBPBP…IBPBP…，且每隔30幀為一個intra幀。

首先，通過JM10.0軟件對測試序列news、Stefan和football進行編碼，分別生成8、10和6Mbps的H.264視頻碼流，它們是實驗中使用的原始碼流。在轉碼實驗中，每段碼流都將進行五次不同的轉碼，每次采用固定的量化參數(QP)(其中：news和Stefan序列采用的量化參數分別是24、26、28、30和32；Football序列所用的量化參數分別是 20、22、24、 26和28)，所有的結果分別列在表1~3中，同時圖5~7中給出了相應的RD曲線用來比較轉碼質量。為了公平起見，在CPDT和FPDT結構中，B幀都沒有進行誤差補償(如同混合型轉碼器結構)。

從表1~3可以看出，隨著量化參數的增加，轉碼輸出比特率降低，轉碼后所得視頻幀質量下降，同時轉碼所花時間減少。這是因為當量化參數變大時，越來越多整數變換后的系數量化后的結果落入零量化區域，輸出比特率降低，但是量化過程帶入的量化誤差會增加，所以轉碼幀質量下降。同時，量化結果中零系數，VLD 、IQ及IT變換的處理時間會降低，轉碼所花時間會減少。同時，從表1~3所列的轉碼時間值可以看出，MPDT比CPDT節約了約24%的時間 比FPDT多花約1%的時間，即MPDT在速度上遠遠超過了CPDT結構，略微低于FPDT結構。表4和5中給出了對news序列第二次的量化參數等于28時，用CPDT和FPDT進行轉碼，各個模塊所占的開銷。

從表4和5可以看出，FPDT與CPDT相比較節約了25%的時間。這與所得實驗結果相符合。轉碼速度提高的主要原因是 FPDT與CPDT相比，省略了一次IT操作、 一次運動補償操作和一次環狀濾波操作。對于MPDT，由于其對inter幀采用的是FPDT結構，在對inter幀進行轉碼操作時，可以節約約25%的時間。盡管MPDT對intra幀采用的是CPDT結構，但由于視頻序列中intra幀數目較少（只占整個視頻序列的1/30），MPDT轉碼速度與FPDT接近且遠遠高于CPDT。

圖5~7給出用不同方法進行轉碼所得PSNR結果的比較。可以看出，MPDT所得轉碼視頻幀質量略微低于CPDT結構，但是遠遠高于FPDT結構。因為MPDT對intra幀的轉碼采用CPDT結構，所以intra幀質量幾乎沒有誤差，后面的B幀和P幀質量也得到相應的提高，特別是當視頻序列中場景變化較大時，MPDT的優點尤其明顯。例如對football序列，用MPDT所得轉碼視頻幀的PSNR值比FPDT增加了約9 dB。

4 結束語

在研究碼率縮減的視頻轉碼技術時，大多選用串聯和開環兩種轉碼結構，它們在轉碼速度和轉碼后的圖像質量上各有優缺點。本文提出了一種混合型的視頻轉碼結構，在轉碼速度和轉碼后圖像質量兩者間有了更好的折中。實現結果表明，混合型的視頻轉碼器能夠以與傳統開環結構差不多的速度進行轉碼，而且轉碼后的圖像質量遠好于開環結構，且較串聯結構最多不過有1 dB的下降。此外，如果有選擇地設定量化參數，就能調整轉碼后的圖像質量，這就使得視頻轉碼器能夠更好地應用在更多的場合和領域。下一步的研究方向是實現DCT域的轉碼，以進一步減少轉換編碼的復雜度。

參考文獻：

［1］ANTHONY V，CHAILAOS C，SUN Hui-fang.Video transcoding architectures and techniques: an overview[J].IEEE Signal Processing，2003 10(8):18-29.

[2]XIN Jun LIN Ch C W SUN Ming-ting. Digital video transcoding[J].Proceedings of the IEEE ，2005 93(1):84-97.

[3]AHMAD I，WEI Xiao-hui，SUN Yu，et al. Video transcoding: an overview of various techniques and research issues [J]. IEEE Trans on Multimedia 20057(5):793-804.

[4]SUN Hui-fang，KWOK W，ZDEPSKI J W.Architectures for MPEG compressed bit stream scaling[J].IEEE Trans on Circuits and Systems for Video Technology，19966(2): 191-199.

[5]袁祿軍.視頻轉碼技術的研究及應用[D].北京：中國科學院計算技術研究所，2005.

[6]YIN Ping，VETRO A，LIU Be-de，et al. Drift compensation for reduced spatial resolution transcoding[J].IEEE Trans on Circuits and Systems for Video Technology，2002 12(11): 1009-1020.

[7]肖有能，薛向陽，曾瑋.視頻轉碼技術回顧[J].通信學報，2002 23（8）：72-80.

[8]NAKAJIMA Y，HORI H，KANOH T. Rate conversion of MPEG coded video by re-quantization process[C]//Proc of IEEE International Conference on Image Processing.Washington DC:IEEE Cpmputer Society，1995:408-411.

[9]LEI Zhi-jun.Video transcoding techniques for wireless video communications[D]. Ottawa:University of Ottawa，2004.

[10]劉峰.視頻圖像編碼技術及國際標準[M].北京：北京郵電大學出版社，2005：68-72.

[11]Draft ITU-T recommendation H.264 and final draft international standard 14496-10 advanced video coding joint video team of ISO/IEC JTC1/SC29/WG11 and ITU-T SG16/Q.6 Doc.JVT-G050[S]. 2003.

[12]LEFOL D BULL D CANAGARAJAH N. Performance evaluation of transcoding algorithms for H.264[J].IEEE Trans on Consumer Electronics 2006 52(1): 215-222.

[13]SHEN Bo.Perfect requantization for video transcoding[J]. Multimedia Tools and Application 200735(2):163-173.

[14]SHEN Bo. Optimal requantization-based rate adaptation for H.264[C]//Proc of International Conference on Multimedia and Expo.Toronto ont:[s.n] 2006:317-320.

[15]Joint video team(JVT)reference software[EB/OL]. http://iphome.hhi.de/suehring/tml/download/.