基于3D-DCT能量感知的DASH-HDA視頻傳輸方案

黃 森，霍 旭，王安紅

（太原科技大學 電子信息工程學院，山西 太原 030024）

0 引 言

隨著多媒體技術的發展，5G移動網絡和千兆無線網的快速普及，視頻逐漸成為互聯網內容的主流，人們對網絡視頻的質量要求越來越高。根據思科公司發布的最新預測，到2022年，全球IP流量使用預計達到4.8 ZB，視頻將占所有IP流量的82%。傳統的流媒體技術基于UDP的RTP（Real Time Protocol）和RTSP（Real Time Streaming Protocol）協議族，但是該技術兼容性差，對防火墻有較高要求，運行成本也高。傳統的流媒體技術已經滿足不了人們的需求，因此急需新的流媒體技術。基于HTTP協議的自適應流媒體技術（Dynamic Adaptive Streaming over HTTP，DASH）[1-2]是一種新的流媒體技術，解決了傳統流媒體技術不兼容的問題，可滿足人們對高質量視頻的需求。在DASH系統的編碼端，每個完整的視頻被分割成多個小視頻段，每個視頻端被編碼成多種碼率版本的視頻流，并形成對應的多媒體描述（Media Presentation Description，MPD）文件，多碼流版本的視頻流及其對應的MPD文件都存儲在服務器中。DASH客戶端首先根據自身的網絡條件向服務器發送HTTP請求，得到MPD文件。之后根據MPD文件，客戶端可以選擇適合的視頻內容進行播放，保證了客戶端播放視頻的流暢性，提高了用戶體驗。但是在DASH系統中，為了保證用戶體驗，通常會增加多個碼率版本，盡管可以使得視頻分片更加細膩，但同時也增加了服務器的存儲壓力。同時，現有的DASH系統都采用數字編碼方式，其中的量化技術不可避免地會產生視頻質量“閾值效應”；而當信道質量下降時，由于數字編碼傳輸所采用的熵編碼和數字解調等技術不能與信道質量相匹配，將會引起視頻質量的突然下降，即“懸崖效應”或者“階梯效應”。

新近出現的類模擬編碼（Softcast）[3]和混合數字模擬視頻編碼（Hybrid Digital Analog，HDA）[4-5]可以克服傳統數字編碼傳輸的缺點，使得恢復視頻質量隨著信道質量線性變化。其中，HDA信號由數字部分和模擬部分疊加而成，數字部分利用傳統的數字編碼、數字調制而形成，模擬部分由原始視頻與解碼視頻的殘差信號經過Softcast編碼而得到。將HDA技術運用到DASH傳輸系統上，可以在提升視頻質量的同時適應信道的時變特性，因此，王宣[7]提出基于DASH-HDA的流媒體技術方法，溫韜[8]在DASH-HDA的基礎上提出了單QP和多QP碼率方案下的DASH-HDA傳輸方案，并提出多QP碼率方案的自適應功率分配算法，但是在信道碼率持續增加的情況下，仍存在“階梯效應”。

本文為進一步提高DASH-HDA的性能，提出一種基于3D-DCT能量感知的DASH-HDA傳輸系統。充分研究DASH-HDA的模擬部分，取代參考方案DASH-HDA中的2D-DCT，利用3D-DCT進一步去除時間相關性，形成視頻幀的模擬部分；根據3D-DCT系數的能量大小，對模擬信號進行重要性排序打包，并將系數包重組為優先級不同的DASH層。實驗結果表明，與參考方案相比，在較低的信道碼率條件下，由于采用3D-DCT域的能量感知，可以傳輸能量較大的數據包，所提方案提升了視頻的重構質量[9]；同時，當可用的信道碼率逐漸升高時，由于采用了HDA方式，所提方案可以降低視頻質量的“階梯效應”。

1 基于3D-DCT能量感知的DASH-HDA 傳輸系統

1.1 DASH-HDA編碼框架

DASH-HDA的編碼框架如圖1所示。原始視頻序列經過DASH分段，每8幀分為一個視頻段，以視頻段為單位進行編碼傳輸。每個視頻段首先利用H.264/AVC進行數字編碼，其中，設置5個不同的量化參數（Quantizing parameters，QP），生成5個不同版本、不同質量的數字碼流。每個數字碼流經過碼率為1/2的前向糾錯碼（Forward error correction，FEC），生成多QP碼率的數字集。多QP的H.264數字碼流經過H.264/AVC解碼恢復的視頻與原始視頻段相減得到殘差數據。殘差數據經過3D-DCT之后，組成多碼率方案下的模擬集，數字集合和模擬集存儲在DASH服務器上。客戶端對信道帶寬進行預測，把帶寬預測結果傳給DASH服務器，并請求與帶寬匹配的數字集視頻版本以及與數字集對應的模擬集，被選中的數字集和模擬集組成DASH-HDA數據流。在服務器存儲能力低的情況下，也可以將方案設置單個QP參數以降低存儲壓力。單QP碼率的DASH-HDA系統與上述模型相同。設置單QP碼率的好處是可以降低服務器的存儲成本，在信道條件差或者波動較大的情況下，可以減少客戶端碼率切換次數，減少視頻的卡頓。

圖1 DASH-HDA編碼框架

1.2 基于能量感知的DASH-HDA數據流組織

1.2.1 基于能量感知的DASH數據重組

3D-DCT在2D-DCT的基礎上增加了時間軸上的一維DCT變換，能消除時間上的冗余，保證高的壓縮率。因此，本文方案利用3D-DCT以去除視頻段的幀間相關性。同時，由于3D-DCT不同頻帶系數的能量不同，根據DCT系數[10]特性（即能量大的數據集中在圖像的左上角），提出基于能量感知的DASH數據重組。具體做法為：將視頻每8幀組成一個視頻段，將模擬殘差數據抽取為288×352×8的三維立方體數據，劃分每個塊的大小為36×44，組成一個數據包，因此一個視頻幀由512個數據包組成。對這512個數據包按照能量大小進行排序，并記錄包的位置信息。模擬數據的512個數據包如圖2所示。位置信息以元數據的方式進行傳輸，數據包（Packet）的能量關系為：

圖2 視頻段的模擬數據包

經過能量大小排序后，將這些數據包分成64個 DASH層，每一層包含8個數據包，DASH層的優先級依次降低，如圖3所示。由于一個圖像經過DCT變換后能量低的高頻部分基本為零，因此在編碼模擬部分的數據時可以丟掉高頻部分，而在恢復的時候用零填補丟掉的數據，這樣可以達到壓縮的目的。在形成DASH層之后，對模擬DASH數據進行去均值、功率分配以及哈達瑪變換。在傳輸過程中，根據帶寬大小，優先傳輸那些優先級較高的DASH層；在一個數字版本的帶寬范圍內，隨著帶寬的逐漸增大，傳輸的DASH層數也逐漸增多；DASH層數傳輸越多，解碼的視頻質量越高。除了DASH層數據，DASH-HDA要傳輸的元數據包括DASH層中的模擬數據包的位置信息、方差以及均值，客戶端需要這些元數據進行LLSE視頻重建。

圖3 DASH層重組模型

1.2.2 DASH-HDA數據流生成

DASH-HDA數據流是模擬和數字部分的疊加信號，因此，要確定數字部分碼率，并選擇合適的DASH層，而DASH層的選擇必須與數字碼率相對應。在本文方案中，QP參數設置為5個，因此數字版本1≤n≤5。當選擇數字版本m時，對應的模擬集1≤m≤64。DASH-HDA數據流生成過程如圖4所示。

圖4 DASH-HDA數據流生成

與傳統方案相比，在64個DASH層中，兩種方案在第一層能量相差最大。隨著優先級降低，能量相差越來越小。在帶寬不足的情況下，本文方案可以傳輸能量較大的數據包。在傳輸過程中，數據包的位置信息數據以元數據的方式與包的均值方差一并進行傳輸。位置信息所產生的元數據可以忽略不計。隨著帶寬逐漸增加，傳輸的數據包也隨之增加。

1.3 DASH-HDA的自適應碼率選擇

本文系統可以根據用戶信道條件自適應地改變傳送視頻的碼率。設視頻的數字帶寬為BWd，信道帶寬為BW，客戶端根據解析的MPD文件，向服務器請求相應的視頻段索引。因此，請求的數字碼率應滿足：

設置n種數字碼率，對應的數字碼率為BWd,n，則：

在已知帶寬下，為了得到所能傳輸的數字版本的最高碼率，數字碼率對應的索引為i，則i的取值應滿足：

由于HDA要傳送的調制符號[11]是復數形式，如a+bj，實部由一個數字信號和一個模擬信號疊加，虛部是另一個模擬符號，即一個HDA符號包含兩個模擬符號，因此一個DASH層的數據大小為：

式中：BWpacket是一個DCT系數包的帶寬；Fsegment是每段的幀數。帶寬是隨機的，要傳輸的DASH層數必須為整數。因此，在帶寬BW的情況下，能傳輸的DASH層數為NUM：

式中：NUM向下取整。

2 實驗結果與分析

2.1 對比2D-DCT和3D-DCT在DASH-HDA中的 性能

選取Foreman序列的36個視頻段進行測試。在相同的信道噪聲比（Signal-Noise Ratio，SNR）和信道碼率下，分別仿真了基于2D-DCT的DASHHDA和基于3D-DCT的DASH-HDA的峰值信噪比（Peak Signal to Noise Ratio，PSNR）性能，對比結果如圖5所示。可以看出，對模擬數據進行3D-DCT變換，恢復視頻的PSNR比2D-DCT增加了0.1～0.5 dB。

圖5 不同維度DCT性能對比

2.2 測試不同信道SNR下的3D-DCT能量感知傳輸性能

在本實驗中，選取Foreman序列的其中一個視頻段進行仿真。用JM編碼器設置5個QP，得到5種不同碼率版本的視頻段。假設信道所能傳輸的碼率是逐漸增加的，對比方案的模擬數據采用2D-DCT變換，對DCT系數從上到下、從左到右進行逐幀分組。為了方便對比，選取5 dB、10 dB、 15 dB及20 dB共4個固定的SNR，信道模型為平坦衰落的高斯白噪聲信道。實驗結果如圖6所示，其中，M-QP-bitrate是多QP碼率下基于2D-DCT的傳統能量感知方案[11]，本文方案是基于3D-DCT的能量感知方案。

圖6 在特定SNR下峰值信噪比隨信道碼率變換曲線

從圖6的結果可以看出，在SNR確定的情況下，本文方案要優于對比方案。在信道所能傳輸數據較少的情況下，可選擇的數據包數量較少時，傳輸的DASH層數也少；在傳輸相同DASH層數時，兩種方案DASH層之間的能量相差較大。當信道所能傳輸的數據逐漸增加，所能傳輸的數據包增多，兩種方案DASH層之間的能量相差越來越小。因此，在信道碼率逐漸增加時，兩者的仿真曲線越來越接近。隨著SNR增加，兩個方案性能都逐漸增加，本文方案的增加幅度要大于對比方案。因為數字部分具有多個版本碼率，所以隨著信道碼率增加，會產生“階梯效應”。從圖中可以看出，本文方案可以降低“階梯效應”，提高用戶體驗質量。Foreman序列第一幀的視覺質量對比如圖7所示，其中，文獻[11]方案的PSNR=37.03 dB，本文方案的PSNR=39.27 dB。可以看出，在信道條件較好的情況下，本文方案更接近原始圖像，與對比方案相比，可以顯示更多的細節信息。

圖7 Foreman序列第一幀的視覺質量對比

2.3 測試本文方案對不同視頻序列的性能并對比文獻[11]中的DASH-HDA的性能

實驗2.2選取Foreman序列的一個視頻段進行仿真，在實際應用中使用較多的是整個視頻段。因此本實驗選取Foreman序列的所有視頻段進行測試。為了方便對比，選取News序列、Bridge序列以及Hall序列的所有視頻段進行仿真，實驗結果如 圖8所示。可以看出，由于3D-DCT相比2D-DCT減少了幀間相關性，本文的能量感知方案可以傳輸能量更高的數據包，因此本文方案對4個視頻測試的結果都優于對比方案的結果。對Foreman序列，本文方案有0.1～3 dB的提升，對Bridge序列有4 dB左右的提升，對News序列有5 dB左右的提升。同時，由于視頻內容之間存在差異，如有的視頻段轉場和細節等信息較多，視頻之間的性能差異就越大。

圖8 兩種方案對不同視頻序列的性能對比

3 結 語

針對流媒體技術需求的提升，本文深入研究了DASH-HDA傳輸系統，提出基于3D-DCT能量感知的DASH-HDA傳輸方案。對視頻幀的模擬部分進行3D-DCT變換，對視頻的DCT系數進行重要性劃分，重組為優先級不同的DASH層；客戶端根據自身的網絡條件向服務器請求相適應的數字碼率版本和對應的DASH層。實驗結果表明，在低信道碼率下，所提方案具有明顯優勢，有效提升了視頻的PSNR；在信道碼率持續增加時，降低了傳輸系統的“階梯效應”。