無線視頻傳輸的容錯編碼研究*

柴鑫剛，鄭冬冬

（中國移動通信集團有限公司研究院 北京100053）

1 引言

基于無線視頻監控技術，可以將各個監控點的現場圖像信息實時地通過無線通信手段傳送到監控中心。目前無線監控系統主要應用于不易、不便或無條件布設有線網絡的監控場所，增強了監控系統的靈活性、便利性和可擴充性，所以現在市場對于無線視頻監控有大量的需求。采用H.264/AVC高壓縮性能的編碼器，無線視頻監控可滿足大部分用戶對視頻監控的需要。但是無線信道屬于不可靠傳輸信道，具有時變、易受干擾等特點；無線信道的視頻數據容易受到干擾和破壞，導致數據包錯誤或者丟失，需要采取高效的容錯算法保證數據的有效傳輸。

SVC作為H.264/AVC的可分級擴展，通過時域、空域和質量的分層機制，分成基本層和若干增強層，具有很強的抗誤碼能力?；緦由系膱D像數據最重要，增強層的數據對圖像質量起到增強作用，當基本層和增強層的數據受到影響時很容易誤碼擴散到其他層和下一幀數據,并最終導致圖像錯誤累積，因此有必要在SVC中采用有效的抗誤碼方法保證可伸縮視頻流的魯棒性。目前視頻傳輸的容錯技術主要有以下幾種。

（1）自動重傳機制

屬于無失真的容錯技術，對丟失或錯誤數據包采用重傳方式，可以完好恢復圖像并保證圖像質量不失真，自動重傳機制要額外占用網絡資源并且增加延時，特別是在低網絡帶寬時，雖然能完整恢復圖像質量，但是占用的網絡資源會導致后面需要編碼的圖像可使用的網絡資源減少，使得視頻幀率降低或者圖像質量下降。

（2）前向糾錯編碼方式

用來克服信道錯誤，當信道出錯概率波動比較劇烈時，為了獲得一定的傳輸質量，前向糾錯編碼必須根據當前估計的最差情況增加冗余校驗比特，這會導致帶寬資源的浪費。對帶寬資源本來就有限的無線信道而言，顯然是不能滿足要求的；對于丟失的數據包無法恢復，且無法保證無失真的恢復。

（3）解碼端端圖像錯誤恢復技術

利用視頻的時間和空間相關性，恢復丟失或有誤碼的圖像，不會占用額外的網絡資源，但當需要恢復的圖像之間的相關性不好時，恢復圖像的失真度非常大且圖像質量差，進而形成了錯誤累積，導致多幀圖像錯誤，圖像質量下降，影響用戶使用。

本文在自動重傳、可伸縮視頻編碼和解碼端圖像錯誤恢復技術的基礎上，提出了一種基于B-D率失真代價函數的對增強層有選擇的重傳算法，增強層的視頻流重要性不如基本層，當有些數據包對圖像質量影響較小時，可以對丟失或有誤碼的增強層數據包采用基于B-D率失真代價函數判斷是否重發，失真代價函數充分考慮失真度、帶寬和延時信息，決定當前的數據包是否需要重新傳送，當接收端發現錯誤后，利用解碼端圖像錯誤恢復技術進行圖像恢復，如果錯誤恢復得很好，恢復后圖像的失真度在人們容忍的范圍內，則向發送端傳送當前包接收成功的反饋信息，這樣可以有效避免信道帶寬的浪費。反之，恢復后的失真度很高且在當前帶寬允許的條件下，則要求編碼端重新發送，恢復出完好的重構圖像，保證了圖像質量，可以盡早防止圖像的錯誤擴散，避免占用額外網絡帶寬，減少延時。

通過上面的分析可以看出，本文的方法充分克服了已有方法的缺點，能夠有效降低無線信道的丟包、誤碼等對視頻傳輸質量的影響，同時大大提高了視頻碼流的抗誤碼能力，對推動無線視頻傳輸的廣泛應用具有重大意義。

2 H.264/SVC介紹

H.264/SVC以先進視頻編解碼器標準H.264 AVC為基礎，高度利用了運動估計等各種工具及概念，結合了分層編碼 (layer coding)和精細度伸縮編碼 (fine granular scalability，FGS)，實現了空間、時間和質量的完全伸縮?？臻g上是通過上/下采樣濾波器實現空間分辨率的變化，時間上是通過運動補償預測的編碼結構具有的內在時間可伸縮性實現的，質量可伸縮則采用基于嵌入式位平面的精細編碼實現。也就是說，能夠產生不同幀率、分辨率或質量等級的解碼視頻。

（1）空間可伸縮性

空間可伸縮性采用分層編碼的方法，將原始空間分辨率的視頻序列分解生成多個不同空間分辨率的視頻子圖像序列，如 4CIF、CIF、QCIF，每個空間分辨率都是一個新的空間編碼層。為了去除各空間層之間的冗余信息，采用了層間預測（即幀內預測和幀間預測），可以跨層進行，對低空間層的紋理信息和運動信息進行插值。

（2）時間可伸縮性

每個空間層通過時間分解實現時間的可伸縮性，需要重建已編碼的幀作為下一步預測的參考幀，有些重建幀不作為下一幀的參考幀，就可以根據系統需要進行取舍，實現時間軸播放幀率的可調性，也是時間的可伸縮性。

（3）質量可伸縮性

質量基本層采用了與H.264相同的變換、量化及編碼方法；而增強層則采用以較小的量化步長進行重新量化的方法減小量化誤差，生成精細度由大到小的質量層，這種質量可伸縮的編碼方法也叫做漸進精細化，實現了質量可伸縮性。

3 基于B-D率失真代價函數的自動重傳機制

采用幀內預測和運動估計的幀間預測方法，可以有效去除圖像之間的空間和時間冗余信息，借鑒H.264/AVC的率失真算法，在編碼器中對運動矢量、參考幀選擇和宏塊編碼模式的判決中都使用了率失真判決策略，有效抑制誤差擴散。下面是H.264/AVC的率失真算法：

其中，C表示率失真代價，D表示失真度，R表示熵編碼后的碼率。

編碼器通過計算率失真判決函數，將最小的代價函數對應的宏塊編碼模式確定為率失真最優宏塊編碼模式：

由于信道的錯誤率和重傳次數有密切的關系，而每次重傳都要耗費一定的帶寬，考慮到這個因素，利用帶寬失真代價函數的概念，在一定的丟包率、信道帶寬和傳輸延時限制的條件下，接收端接收質量和傳輸中所用的帶寬不僅和視頻信源的率失真性能相關，而且和信道的錯誤率(丟包率)及終端錯誤恢復技術相關，將其作為衡量視頻包是否予以重傳的準則。視頻數據流根據恢復后的失真度對圖像質量的影響決定是否重發，這樣可以有效避免有限信道帶寬的浪費，提高可伸縮視頻流的魯棒性。

綜合考慮失真度、帶寬和延時信息，下式為B-D率失真代價函數定義：

其中，Ro包含了重傳比特需要的總體帶寬資源；Dec為增強層數據的編碼失真度；Ddc為增強層數據錯誤恢復導致的失真度；ωec是權重系數，根據不同層的重要性進行調節；Bs=TmaxBw，Bw是當前層視頻流的有效帶寬，Tmax是當前層的最大延時。

Dec可用圖像的均方誤差表示,是增強層編碼后重構圖像與基本層重構圖像的均方誤差。

Ddc可用圖像的均方誤差表示,是增強層錯誤恢復后重構圖像與基本層重構圖像的均方誤差。

當有誤碼發生時，Ddc通過錯誤恢復的失真度及所消耗的帶寬值得到，如果大于某閾值，則表明此誤碼包需要重傳，否則不需要重傳。

通過網絡傳輸，最終耗用帶寬比特和失真分別為R、D,經過丟失率為p的信道傳輸后，最后的閾值計算如下：

對于SVC的視頻數據流，通過無線信道傳輸，設其滿足Shannon率失真理論的比特和失真分別為R、D,經過丟失率為p的信道傳輸后，其理論上最終耗用帶寬R0和對應的接收端失真D0關系如下：

其中，γ、σ是與信源本身相關的統計量，對于特定的視頻圖像可以看作常量。

通過上面分析可知，率失真代價函數對丟失或有誤碼的增強層數據包，采用基于帶寬失真代價函數判斷是否重發，帶寬失真代價函數充分考慮失真度、帶寬和延時信息，決定當前的數據包是否需要重新傳送，這樣可以有效避免浪費有限的信道帶寬，錯誤恢復后的失真度很高且在當前帶寬允許的條件下，則要求編碼端重新發送，恢復出完好的重構圖像，保證了圖像質量，可以盡早地防止圖像的錯誤擴散，避免占用額外網絡帶寬，減少延時。

4 實驗結果及仿真

為了驗證本文算法的性能，選用foreman （YUV 4∶2∶0，30 f/s，逐行掃描）作為測試序列，實驗仿真采用基于H.264/SVC的參考軟件JSVM作為對比，編碼結構采用低延時應用IPPP，每個序列編碼和解碼300幀，GOP是30，僅第1幀編碼為I幀，不使用FMO，錯誤恢復使用前幀拷貝，基本層是QCIF格式，增強層是CIF格式。亮度的信噪比隨著碼率和丟包率變化的曲線如圖1、圖2所示。

從圖1可以看出，對于foreman序列，丟包率相同時，本文算法結合率失真優化并根據B-D代價函數決定自動重傳的機制，更好地考慮可恢復圖像的失真度和帶寬資源，誤碼擴散得到有效的控制，得到較高的重建圖像的PSNR值。

從圖2可以看出，信道丟包率不同時，本文算法得到較好的PSNR值，丟包率較高時，應該考慮在帶寬允許的情況下，采用B-D代價函數決定是否自動重傳的機制，對圖像失真度影響比較大的視頻數據包進行重傳處理，有效地防止了誤碼擴散。

5 結束語

本文結合率失真優化算法以可伸縮編碼作為容錯工具，利用帶寬失真代價函數的概念，在一定的丟包率、信道帶寬和傳輸延時限制的條件下，同時考慮可伸縮視頻編碼的分層機制，不同層的視頻數據對圖像的失真度影響不一樣，接收端接收質量和傳輸中所用的帶寬不僅和視頻信源的率失真性能相關，而且和信道的錯誤率(丟包率)及終端錯誤恢復技術相關，所以提出了一種基于B-D代價函數的對增強層有選擇的重傳算法，將其作為衡量視頻包是否予以重傳的準則。仿真實驗表明，其能有效抑制誤碼的擴散，對圖像質量影響較大的數據包進行重傳，有效保證了圖像質量，較少占用網絡帶寬，同時大大提高了視頻碼流的抗誤碼能力和魯棒性。

本文方法不足之處在于運算量大，圖像的失真度Ddc是通過圖像的均方誤差得到的。本文目前只對增強層的數據采用B-D代價函數決定自動重傳的方法，如果對基本層圖像數據采用B-D方法代價函數決定自動重傳，可能會進一步提高本文算法的效果，這是下一步的研究工作。

1 Schwarz H,Hinz T,Marpe D,et al.Constrained interlayer prediction for single-loop decoding in spatial scalability.In:Proc ICIP’05,Genova,Ital,Sep 2005

2 Kwok W,Sun Huifang．Multi-directional interpolation for spatial error concealment.IEEE Transactions on Consumer Electronics,1993,39(3):455～460

3 Schwarz H,Marpe D,Wiegand T.Overview of scalable video coding extension of H.264/AVC standard.IEEE Trans on Circuits Syst Video Technol,2007,17(9):1 103～1 120

4 Zhang Qian,Zhu Wenwu,Zhang Ya-Qin.Channel adaptive resource allocation for scalable video transmission over 3G network.IEEE Transactions on Circuits and Systems for Video Technology,2004,14(8):1 049～1 053

5 Lu J.Signal processing of Internet video streaming:a review proceedings of the SPIE image and video.In:Communications and Processing,San Jose,CA,USA,2000

6 Cheng H S,Fairhurst G,Samaraweera N.Efficient partial retransmission ARQ strategy with error detection codesby feedback channel.IEEE Proceedings on Communications,2000,147(5):263～268

7 ITU-T Rec.H.264.Advanced video coding generic audiovisual services,2005

8 Wang Y,Zhu Q.Error control and concealment for video communication.Proc IEEE,1998,86(5):974～997

9 Lam Wai-Man,Reibman A R,Liu Bede.Recovery of lost or erroneously received motion vect.In:IEEE Proceedings of InternationalConference on Acoustics,Speech and Signal Processing(1CASSP93),Minneapolis,USA,1993

10 ITU-T H.264.Wiegand T,Sullivan G,Reichel J,et al.Joint draft 11of SVC amendment.Joint Video Team,JVT-X201,2007

11 WangY,Ostermann J,ZhangY Q.Videoprocessand communication englewood cliffs.In:NJ,Prentice Hall,2002

12 Wenger S,Wang Y K,Schierl T.Transport and signaling of SVC in IP networks.IEEE Trans Circuits Syst Video Technol,2007,17(9):1 164～1 173

13 Kallel S,Haccoun D.Sequential decoding with an efficient partialrestransmission ARQ strategy.IEEE Transactions on Communications,1991,39(2):208～213

14 Sun Huifang,Kwok W.Concealment of damaged block transform coded images using projections onto convex sets.IEEE Transactions on Image Processing,1995,4(4):470～477

15 Tian D,Hannuksela M M,Wang Y K,et al.Error resilient video coding techniques using spare pictures.In:Proc Packet Video Workshop’03,Nantes,France,Apr 2003

16 Wang Y,Wenger S,Wen J,et al.Error resilient video coding techniques.IEEE Signal Process Mag,2000,17(4):61～82