無線網(wǎng)絡(luò)中基于H.264/SVC的RoI視頻流傳輸

袁 濤，樊 豐

（成都電子科技大學(xué) 電子工程學(xué)院，四川 成都 611731）

0 引言

隨著無線設(shè)備得到越來越廣泛使用，無線視頻通信的需求也日益強烈。然而，無線終端的多樣性對網(wǎng)絡(luò)傳輸?shù)姆€(wěn)定性、視頻編碼速率、視頻信息質(zhì)量都提出了不同的要求；無線網(wǎng)絡(luò)信道固有的特性，如易受干擾、帶寬多變、多徑效應(yīng)等，給視頻傳輸帶來巨大挑戰(zhàn)，視頻無線通信需要很好的錯誤保護。很多時候，基于視頻內(nèi)容重要性的不同，不等差錯保護（Unequal Error Protection，UEP）方案用來優(yōu)化資源的使用，要使這種方案有效發(fā)揮作用，必須定義一個可靠的數(shù)據(jù)重要性，這種數(shù)據(jù)重要性一般是指編碼過程產(chǎn)生的數(shù)據(jù)優(yōu)先級。

視頻編碼傳輸技術(shù)在不斷發(fā)展，這些問題將會得到解決，視頻分層編碼是一種有效的方法。H.264具有較高的編碼性能[1-2]，而在此基礎(chǔ)上發(fā)展起來的H.264/SVC分層編碼算法已趨近完善[3]。隨著通信技術(shù)的不斷發(fā)展，特別是第三代移動通信網(wǎng)絡(luò)的普及，視頻分層編碼已經(jīng)進入實際應(yīng)用，H.264/SVC可以稱為第一種進入大規(guī)模應(yīng)用的視頻分層編碼標(biāo)準(zhǔn)。現(xiàn)在H.264/SVC提供時間、空間和質(zhì)量可分層，這些分層機制使得時間分辨力、空間分辨力和圖像質(zhì)量在不同帶寬需求和不同種類終端之間能很好地權(quán)衡。此外，這些分層機制還非常適合在UEP中應(yīng)用[4]，對編碼之后不同層的碼流設(shè)定不同的保護優(yōu)先級，可以很容易實現(xiàn)UEP。

當(dāng)人眼面對一幅畫面時，并不是對整幅畫面的關(guān)注度一樣，特別是在視頻序列中，其注意力會集中在一部分畫面區(qū)域，這部分區(qū)域就是視覺感興趣區(qū)域（Region of Interest，RoI）[5]，把圖像序列中的 RoI提取出來，單獨編碼，減小量化參數(shù)，那么質(zhì)量就有所較高，客觀上，RoI區(qū)域的PSNR會有所提高；主觀上，圖像整體視覺效果會有所改善。

筆者提出一種在無線網(wǎng)絡(luò)中對已編碼視頻流進行傳輸以及傳輸時的碼率控制優(yōu)化算法，并通過仿真實驗進行論證。

1 H.264/SVC及RoI相關(guān)原理介紹

1.1 H.264/SVC簡介

作為H.264編碼標(biāo)準(zhǔn)的可分級擴展，H.264/SVC可提供時域可分級、空域可分級和質(zhì)量可分級。時域可分級一般采用分級B幀結(jié)構(gòu)編碼。編碼時，在一個圖像組（GoP）中先對關(guān)鍵幀I幀和P幀進行編碼作為基本時間層，接著其余各幀都是B幀，根據(jù)GoP的大小，分級編號進行，編碼以后的碼流中可以根據(jù)用戶要求，提取出某一幀率的碼流進行解碼。空域可分級在編碼時將圖像進行下采樣，先對低分辨力的編碼作為基本層，再利用內(nèi)容的相似性對增強層編碼，不同終端的顯示分辨力不同，可以相應(yīng)地選擇不同的空間分層，基本層分辨力最低，加上增強層后分辨力增大。筆者所用的測試序列為foreman_cif.yuv，編碼工具為JSVM 9.18，編碼時，為了提高效率，進行了一定的優(yōu)化[6]，編碼后的碼流結(jié)構(gòu)如表1所示，其中空間域分為2個等級，可以在CIF和QCIF兩個不同的分辨力尺寸中進行選擇。時間域有4個等級，幀率從3.75～30 Hz，傳輸優(yōu)先級別分為7個等級。空間和時間分層具體情況如表1所示。

表1 空間和時間分層

表1中的優(yōu)先序列號是使用JSVM編碼之后的優(yōu)先級排序號，優(yōu)先級隨編號增大而減小，0為最高優(yōu)先級。

1.2 RoI簡介及轉(zhuǎn)碼

H.264/SVC標(biāo)準(zhǔn)中的質(zhì)量增強層編碼是對序列中整幅畫面進行編碼，這樣編碼簡單，但是會帶來兩個問題：1）沒有碼率控制，編碼之后的碼率不可預(yù)知；2）當(dāng)網(wǎng)絡(luò)可用帶寬變小時，丟掉整個質(zhì)量增強層會使視頻質(zhì)量降低很多。如果在增強層編碼時將其中的RoI區(qū)域提取出來進行單獨編碼，或者將編碼后的增強層的碼流分為RoI和非RoI，那么在網(wǎng)絡(luò)傳輸中將會有更多選擇，在帶寬不足的情況下，可以先選擇丟掉非RoI碼流，這樣視頻的視覺質(zhì)量也不會降低很多。現(xiàn)今RoI區(qū)域分割技術(shù)研究比較多，也比較成熟，解決了傳輸過程中丟失背景信息不能正確解碼RoI的問題[7-8]，本文所用的碼流是把預(yù)編碼的碼流進行轉(zhuǎn)碼，提取出RoI區(qū)域后，非RoI的QP與原編碼時的QP0相同，而RoI的QP為QP0減去6，同時對每一層碼流重新設(shè)定優(yōu)先級編號，轉(zhuǎn)碼后的碼流結(jié)構(gòu)如表2所示。

表2 轉(zhuǎn)碼后的碼流結(jié)構(gòu)

1.3 RTP/RTCP簡介

RTP協(xié)議是IP網(wǎng)絡(luò)中針對實時業(yè)務(wù)的一種傳輸協(xié)議[9]，一般構(gòu)架在UDP協(xié)議之上。另外，它也是一個數(shù)據(jù)封裝協(xié)議，實時業(yè)務(wù)數(shù)據(jù)封裝于RTP包的數(shù)據(jù)域中。RTP提供實時數(shù)據(jù)端到端的網(wǎng)絡(luò)傳輸服務(wù)，但它不為實時業(yè)務(wù)保留資源，也不保證服務(wù)質(zhì)量。RTCP的主要功能是提供關(guān)于服務(wù)質(zhì)量（Quality of Service，QoS）的信息反饋，網(wǎng)絡(luò)終端系統(tǒng)可根據(jù)這些反饋信息來適應(yīng)不同的網(wǎng)絡(luò)狀況。實時傳輸協(xié)議RTP和傳輸控制協(xié)議RTCP一起為網(wǎng)絡(luò)提供流量控制和擁塞控制服務(wù)。

2 算法描述

為了適應(yīng)無線網(wǎng)絡(luò)中不同終端和多變帶寬信道，設(shè)計的算法通過兩方面的控制來優(yōu)化視頻質(zhì)量和充分利用帶寬。服務(wù)器端通過RTCP協(xié)議獲得終端信息和信道狀態(tài)：1）終端信息包括終端的顯示分辨力和處理能力（能處理的最大幀率）；2）信道狀態(tài)主要是丟包率，通過丟包率可以估計出相應(yīng)的有效帶寬。估計出最大可用帶寬之后，再提取合適的碼流進行發(fā)送。

2.1 估計有效帶寬

估計有效帶寬的算法如下：

1）計算網(wǎng)絡(luò)丟包率 Ploss（i）

式中：Nexpect是期望的數(shù)據(jù)包的個數(shù)，由RTP中的序列號可得；Nloss是丟失包的個數(shù)；Nreceived是收到的數(shù)據(jù)包的個數(shù)。

2）估計最大可用帶寬

式中：β是權(quán)重系數(shù)，典型值為2～5。K是循環(huán)次數(shù)，Kup是步長。在試驗中，接收端檢測網(wǎng)絡(luò)擁塞，把丟包率通過RTCP傳送給發(fā)送端，發(fā)送端計算出可用帶寬。

2.2 調(diào)整發(fā)送碼流

為了充分利用帶寬，選擇提取合適的碼流進行發(fā)送，應(yīng)該滿足

式中：Rt為t時刻的可用帶寬，Rx為提取出的碼流比特率。算法由以下偽代碼實現(xiàn)：

代碼中k為優(yōu)先級編號。

3 實驗平臺描述

筆者設(shè)計的是一個無線網(wǎng)絡(luò)環(huán)境，通信系統(tǒng)結(jié)構(gòu)如圖1所示。每個終端直接與服務(wù)器相連，使用一個單獨的傳輸?shù)刂贰⒁粋€IP和一對端口號，RTP/UDP使用x號端口，RTCP使用x+1號端口；建立鏈接之后，客戶終端通過RTCP發(fā)送請求，將終端的信息傳到服務(wù)器端，服務(wù)器端響應(yīng)請求；通過RTCP獲得信息后，計算可用帶寬，式（2）中 β 值取 3，Kup值取 1，K 取 3；可用帶寬估計出之后，提取碼流并調(diào)整發(fā)送速率，再通過RTP進行發(fā)送；接收端接收到碼流后進行解碼播放。

圖1 視頻傳輸系統(tǒng)結(jié)構(gòu)

4 試驗結(jié)果分析

本文通過使用兩種不同的算法在NS2[10]仿真平臺上做實驗，并對結(jié)果進行比較：一種使用表1所示的預(yù)編碼碼流和3GPP Release7 TR 26.937[11]中提出的傳輸控制調(diào)整方案，另一種使用經(jīng)轉(zhuǎn)碼實現(xiàn)的RoI增強碼流（表2）和本文第2節(jié)中描述的傳輸控制算法。可任意提取一幀圖像作比較，圖2為提取出的第142幀。

圖2 不同編碼及發(fā)送方式的效果比較

通過圖2中的對比可以看出，比起采用SVC碼流，采用RoI碼流采用使得圖像中人的臉部區(qū)域更清晰，主觀質(zhì)量有所提高。通過比較圖3和圖4可以看出，在無線網(wǎng)絡(luò)這種惡劣的環(huán)境下，使用筆者設(shè)計的算法能及時調(diào)整發(fā)送速率，選取盡量多的碼流進行發(fā)送，很好地提高了QoS性能。

5 總結(jié)展望

筆者提出的基于丟包率的碼流控制算法使得視頻流在無線網(wǎng)絡(luò)中傳輸時能及時調(diào)整發(fā)送速率，很好地適應(yīng)了無線網(wǎng)絡(luò)的帶寬易變的特性。RoI碼流結(jié)構(gòu)使得視頻的主觀質(zhì)量得到很好的改善，但是同時編碼復(fù)雜度提高了一些，在多個RoI的情況下效果不太好，需要進一步改進。

圖3 采用SVC碼流和3GPP TS 26.937

圖4 采用RoI碼流和本文所提碼率控制算法

[1]WIEGAND T，SULLIVAN G J.Overview of the h.264/avc video coding standard[J].IEEE Trans.Circuits and Systems for Video Technology，2003，13（7）：560-576.

[2]畢厚杰.新一代視頻壓縮編碼標(biāo)準(zhǔn)——H.264/AVC[M].北京：人民郵電出版社，2005.

[3]SCHWARZ H，MARPE D，WIEGAND T.Overview of the scalable video coding extension of the H.264/AVC standard[J].IEEE Trans.Circuits and Systems for Video Technology，2007，17（9）：1103.

[4]SCHIERL T，HELLGE C，MIRTA S，et al.Using H.264/AVC-based scalable video coding （SVC）for real time streaming in wireless IP networks[C]//IEEE International Symposium on Circuits and Systems 2007.[S.l.]：IEEE Press，2007：3455-3458.

[5]WANG Zhou，BOVIK A C，LU Ligang.Wavelet-based foveated image quality Measurement of region of interest image coding[C]//Proc.IEEE 2001 Int.Conf.[S.l.]：IEEE Press，2001：89-92.

[6]王日霞，朱偉興，陳先勇.H.264基于宏塊自適應(yīng)的快速模式選擇算法[J].電視技術(shù)，2009，33（2）：14-17.

[7]LIN T，RAO K R.Region of interest based H.263 compatible codec and Its rate control for low bit rate video conferencing[C]//Proc.2005 InternationalSymposium on IntelligentSignalProcessing and Communication Systems.[S.l.]：IEEE Press，2005：249-252.

[8]周磊.視頻通信中ROI視頻壓縮算法的研究與應(yīng)用[D].長沙：中南大學(xué)，2007.

[9]SCHULZRINNE H，CASNER S，F(xiàn)REDERICK R.RTP：a transport protocol for realtime applications[EB/OL]. （2003-05-05）[2010-04-10].http：//www.ietf.org/rfc/rfc1889.txt.

[10]The network simulator-ns-2：version 2.33[EB/OL].[2010-04-10].http：//www.isi.edu/nsnam/ns/.

[11]3GPP TS 26.937，Transparent end-to-end packet-switched streaming service（PSS）； real-time transport protocol （RTP）usage model：Release 7[S].2007.