AVS標準中的靈活條帶結構

許曉中，毛 振，鄭蕭楨，鄭建樺，梅順良

（1.清華大學 電子工程系，北京 100084；2.海思半導體有限公司，廣東 深圳 518129）

1 引言

視頻傳輸是一個重要的研究領域[1]，在現有視頻編碼標準的編碼層中，圖像層和宏塊層之間引入了條帶這一高層語法。條帶的引入打斷了幀內預測機制，起到重同步的作用，因而增強了抗誤碼能力。另外，可以通過調整條帶編碼長度大小，使得條帶數據包長度適應不同的信道最大傳輸單元 （Maximum Transmission Unit，MTU）大小的限制，有利于在系統層實現有效的抗誤碼策略。

H.264/AVC[2]中，一個條帶由按光柵掃描順序的若干連續宏塊組成，宏塊的數目不受限制，即一個條帶可以只包含一個宏塊或者包含整個圖像的所有宏塊。條帶的編碼長度可以靈活地做調整。另外，H.264/AVC還采用了條帶組技術[3]，圖像中的每個宏塊按照宏塊配置圖固定地分配給一個條帶組，也就是說條帶組可由圖像中任意位置的若干宏塊組成。這一技術的主要作用是在易發生誤碼的環境中有利于解碼端實現有效的錯誤隱藏來提高重建圖像主觀質量，另一方面可以實現基于區域的編碼，并對關鍵區域實施特別的抗誤碼措施以增強關鍵區域的抗誤碼能力。但是，為了實現條帶組技術，需要在碼流中傳送圖像中每個宏塊所屬條帶組的標識信息，即宏塊配置圖，增加了編碼的比特開銷。

如圖1所示，相比H.264/AVC中以連續宏塊為單位的條帶結構，AVS中的條帶結構必須以連續宏塊行為單位，同一圖像內不同條帶之間編碼時不能相互參考[4]。這就造成將條帶編碼數據打成RTP包進行網絡傳輸時，包長不能靈活適應信道MTU大小。當包長超過MTU大小時，需在底層進行包分割。而這種與視頻編碼層隔離的底層分割自然不可能以視頻編碼層的語法語義為基礎來進行，只能以分割后的目標包長小于MTU大小為依據，因此無法保證分割位置在字節對齊處，更不用談宏塊對齊。如果分割不能保證在字節對齊處，則需要在分割位置前的一個包的末尾以及分割位置后的一個包的開始分別填充比特以保證比特對齊，為了保證填充比特不影響解碼器解碼，還需要在分割后的包頭信息中提示如何填充比特的負載頭信息（Payload Header）。另外，AVS中也無類似H.264/AVC中的條帶組技術，不能實現基于區域的編碼，進而實現基于關鍵區域的單獨打包及抗丟包技術以確保關鍵區域具有良好的容錯性。

基于以上分析可以看到：AVS中的條帶結構在抗誤碼功能上與H.264/AVC還存在一定差距。因此，筆者通過完善AVS中的條帶高層語法，提出了靈活條帶集技術，很好地解決了以上問題。

圖1 AVS條帶結構示意圖

2 靈活條帶集

2.1 條帶集技術

條帶集作為一個新的編碼層被引入到圖像層和條帶層之間，是圖像中條帶集索引值相同的所有條帶的集合。一般將若干具有共同屬性的條帶劃分為一個條帶集，這些共同屬性可以為：空間分辨力、圖像區域內容、圖像的編碼質量等。條帶集劃分的具體方法由編碼系統決定，解碼系統根據條帶頭信息獲知條帶集的劃分方法。

這里的條帶結構以宏塊為單位，即AVS中以宏塊行為單位的條帶定義擴展成了按光柵掃描順序連續的若干宏塊，條帶內的宏塊不應重疊，條帶之間也不應重疊，條帶內的宏塊解碼處理不能使用本圖像內其他條帶的數據。但是如果圖像中存在條帶集，條帶內宏塊的解碼處理可使用本條帶集其他條帶的數據，但是不能使用本圖像其他條帶集的數據。如果隔行圖像的兩場數據依次出現，這兩場數據應屬于不同的條帶和條帶集。

條帶集結構示例如圖 2所示， 圖中A，C，D，E，F，G，J，K等條帶分別組成不同的條帶集；B0，B1，B2條帶組成一個條帶集；H0，H1組成一個條帶集。

圖2 條帶集結構示

2.2 條帶集語法

當使用條帶集技術時，條帶層頭需要添加的主要信息如下：

1）條帶垂直位置slice_vertical_position，給出條帶的第1個宏塊在圖像中的垂直位置，以宏塊為單位。

2）條帶水平位置slice_horizontal_position，給出條帶的第1個宏塊在圖像中的水平位置，以宏塊為單位。

3）條帶集索引slice_set_index，給出當前條帶的條帶集索引值。圖像中條帶集索引值相同的條帶組成1個條帶集。

4）條帶頭信息標志slice_header_flag，值為“1”表示條帶 比 特 流 中 應 包 含 fixed_slice_qp，slice_qp，slice_weighting_flag，luma_scale，luma_shift，ch roma_scale ，chroma_shift和mb_weighting_flag，值為“0”表示條帶比特流不應包含上述語法元素。SliceHeaderFlag的值等于slice_header_flag的值。如果比特流中沒有slice_header_flag，則Slice-HeaderFlag的值應為“1”。條帶集中條帶的上述語法元素的值應一致。如果當前條帶中不包含上述語法元素，當前條帶應使用所在條帶集其他條帶中上述語法元素的值。

5）條帶集結束標志 end_of_slice_set_flag，值為“1”，表示當前條帶是所在條帶集的最后一個條帶；值為“0”，表示當前條帶不是所在條帶集的最后一個條帶。

3 條帶集功能

在靈活條帶集的基礎上，可以引入新的語法元素及編碼技術實現更多的編碼功能，如可實現多分辨力編碼、分區域獨立解碼及顯示、視頻水印、增強網絡抗誤碼等功能。本文重點分析基于區域的抗誤碼和基于區域的變質量編碼。

3.1 基于區域的抗誤碼

考慮到條帶集技術的特點，可以適當改進碼流打包和傳輸的過程以獲得更強的抗誤碼性能，即可在打包過程中將同屬一個條帶集的多個條帶編碼碼流組合在一起，實現以條帶集為單位的打包，并可對不同的條帶集采取不同強度的抗誤碼措施。典型的應用場景比如，某個條帶集所在區域是一關注區域，可通過對該條帶集實施更強的抗誤碼策略，如更強的包級RS信道編碼等，保證該關鍵區域能夠獲得更好的重建質量，從而實現基于區域的抗誤碼功能。

3.2 基于區域的變質量編碼

靈活條帶集技術的使用，可方便對視頻圖像進行區域劃分，進行基于區域的編碼，且可支持用戶重點調整關注區域的編碼質量以實現在同等碼率下用戶關注區域的主客觀質量的明顯提升，給用戶帶來更佳的視頻感受。

下面對一些典型的視頻序列使用條帶集技術進行編碼，在同等碼率下關注區域均得到了0.6～1.4 dB的編碼增益。 選擇了視頻序列 news（704×480，隔行），lions（704×480，逐行）進行實驗，區域劃分及實驗結果如下：

1）news序列共劃分了3個關注區域，圖像示例見圖3，區域信息及其所屬條帶集和slice_qp信息見表1。anchor數據不劃分條帶集和條帶，使用的QP為28。序列編碼了28幀，對整個圖像而言，anchor和使用條帶集技術的碼率分別為1 685.56 Kbit/s和1 640.62 Kbit/s。統計關注區域的YPSNR值，結果見表2。

圖3 news序列關注區域示意圖

表1 news序列條帶集劃分

表2 news序列關注區域編碼效率 dB

2）截取了lions第45～75幀內容進行編碼，圖像示例見圖4。第1個碼幀的區域劃分信息及其所屬條帶集和slice_qp信息見表3。此視頻中共有2個關注區域，根據視頻內容進行動態劃分，這里僅給出第1幀的劃分信息。anchor數據不劃分條帶集和條帶，使用的QP為32。序列編碼了28幀，對整個圖像而言，anchor和使用條帶集技術的碼率分別為1 200.19 Kbit/s和1 209.83 Kbit/s。關注區域的YPSNR值，結果見表4。

圖4 lions序列關注區域示意圖

表3 lions序列條帶集劃分

表4 lions序列關注區域編碼效率 dB

4 小結

提出了靈活條帶集技術，介紹了靈活條帶集技術的比特流語法、劃分方式、碼流結構、打包方式以及對現有編碼框架中其他技術的影響，并通過實驗演示了靈活條帶集技術可以帶來的功能性好處。

本文的創新在于：1）在圖像層和條帶層之間創新性地引入了條帶集層，提出了靈活條帶集技術。通過在條帶頭語法參數集中引入新的語法元素，在與目前AVS語法完全兼容的基礎上將現有條帶結構從以宏塊行為單位擴展為以宏塊為單位，并將具有相同slice_set_index參數的條帶組成一個條帶集；2）設置條帶集內各條帶編碼時可互相參考，減小了劃分條帶對編碼效率的影響；3）通過slice_header_flag參數的設置支持條帶集內各條帶共用一套條帶層語法參數集，節省了條帶頭開銷；4）采用靈活條帶集技術，可通過對一個條帶集中所有條帶整體打包并在系統層實施非均衡抗誤碼策略以確保條帶集表示的關鍵區域具有良好的容錯性；5）采用靈活條帶集技術，還可實現基于區域的不同質量編碼。可方便地通過調整條帶的量化參數（slice_qp）使得在總碼流相當的情況下重建圖像的關注區域主客觀質量得到明顯的提升。目前，所提靈活條帶集技術被AVS工作組接收進入標準的伸展檔次（面向監控需求）。

[1]HANNUKSELA M M，WANG Y K，HOROWITZ M.Enhancements to FMO[EB/OL].[2009-08-08].http://wftp3.itu.int/av-arch/jvt-site/2002_07_Klagenfurt/JVT-D095.doc.

[2]GB/T 20090.2-2006，信息技術：先進音視頻編碼 第2部分：視頻[S].2006.

[3]ITU-TRecommendationH.264-ISO/IEC14496-10，Advancedvideo coding for generic audiovisual services[S].2003.

[4]余華，曹維娜，趙力.信源信道聯合編碼技術用于AVS傳輸的研究[J].電視技術，2007，31（8）：9-10.