多視點視頻無線軟傳輸技術研究

桑 濤 唐 述

1(中國冶金科工集團有限公司信息化管理部 北京 100028) 2(重慶郵電大學計算機科學與技術學院 重慶 400065)

0 引 言

隨著無線通信技術(如LTE、5G、移動云計算等)的快速發展以及近期諸多裸眼三維移動智能終端設備的不斷涌現(如HTC EVO 3D、Optimus 3D、Sharp Lynx等)，基于三維視頻(Three-dimensional Video，3DV)的移動應用展現出了巨大的市場潛力。目前，多視點視頻+深度圖格式(Multi-view Video plus Depth，MVD)[1]被廣泛應用于三維視頻的表示。MVD格式包含一組從不同角度的攝像機同時拍攝的多視點視頻(Multi-View Video，MVV)以及其對應的深度圖。顯然地，三維視頻的數據量與傳統的二維視頻相比成多倍數增加。另一方面，無線網絡信道的劇烈變化對于三維視頻的傳輸也是一個巨大的挑戰，這也極大地阻礙了移動三維視頻應用的發展。

典型的無線視頻傳輸技術建立在香農理論的基礎之上，通過設計串聯的獨立信源編碼以及信道編碼來實現高效的傳輸。信源編碼即是通常所指的視頻編碼/壓縮技術，通過消除原始視頻信號中的冗余來降低視頻信號的數據量進而有效降低傳輸帶寬，三維視頻編碼通常采用3D-HEVC[2]編碼技術。信道編碼則采用前向糾錯編碼(Forward Error Correction，FEC)以處理并糾正由于無線信道干擾帶來的傳輸錯誤。目前被廣泛使用的信道編碼包括Turbo碼、卷積碼、LDPC碼等。在信源信道編碼之前信道條件已知的假設前提下，香農的獨立編碼理論可以通過為信源編碼和信道編碼分別分配合適的碼率來實現傳輸帶寬受限情況下的最優傳輸性能。然而，這個假設條件顯然不適于無線傳輸場景，因為無線信道在很多情況下都存在劇烈的變化。獨立信源+信道編碼方法的一個主要缺點是懸崖效應(Cliff Effect)。當實際信道質量低于一個下界時，接收端的視頻重建質量會急劇惡化，這主要是由于信道編碼已經無法恢復惡劣的信道條件帶來的傳輸錯誤；而當信道質量高于一個上界時，接收端的視頻重建質量將不會再繼續提高，這主要是由于視頻質量的上限值已經在信源編碼時由視頻壓縮的量化參數事先所決定。而理想的情況是視頻質量隨著信道質量的提高不斷線性提升。

近年，MIT的研究人員提出一種被稱為軟傳輸(SoftCast)的跨層技術用于無線視頻傳輸[3-5]。不同于典型的獨立信源+信道編碼方法最終傳輸的信號是二進制比特流，軟傳輸最終傳輸的信號是一系列線性相關于像素值的實變換系數。這種傳輸方式本質上是有損的，信道噪聲直接轉化為視頻信號的重構誤差。基于此，軟傳輸技術消除了懸崖效應，并在一個寬范圍的信道信噪比(Signal-to-Noise Ratio，SNR)內實現了接收端視頻重建質量的線性變化。同時，軟傳輸只需要在發送端發送唯一的視頻信號便可滿足許多不同信道條件的接收端。

由于軟傳輸技術隨信道條件變化具有的良好的質量線性變化特性，使之成為一個非常具有吸引力的方向。文獻[6]對軟傳輸技術進行了理論分析，并建立了一個量化指標用于衡量變換及信號能量分布的效率。文獻[7]分別提出了能量建模、系數偏移、數據劃分策略用于進一步提升軟傳輸技術的性能。Hadizadeh[8]提出結合顯著性分析的方法用于提升軟傳輸接收端的主觀視頻質量。為了進一步消除時域和空域的冗余度，文獻[9]采用運動補償時域濾波技術(Motion Compensate Temporal Filter，MCTF)和離散小波變換(Discrete Wavelet Transform，DWT)實現更為高效的軟傳輸方案。文獻[10]則將軟傳輸技術與分布式視頻編碼技術相結合以獲得分布式的性能提升。基于軟傳輸技術，文獻[11]提出了一種被稱為混合數字模擬編碼(Hybrid Digital-Analog，HDA)的方案。HAD的關鍵點是將軟傳輸結合到典型的數字視頻編碼架構中，從而實現對數字編碼和軟傳輸優點的同時利用。此外，軟傳輸技術還被應用于衛星遙感圖像的傳輸[12]和云視頻的無線傳輸。綜上所述的軟傳輸技術的目標都是針對傳統的二維自然視頻信號，針對三維視頻軟傳輸的研究目前還比較欠缺。文獻[13]及文獻[14]針對自由視點視頻提出將紋理視頻和深度圖組合并簡單地擴展三維DCT變換到五維DCT變換以提升軟傳輸的變換增益，但由于深度圖和紋理視頻的特性存在極大差異，因此性能還有較大的提升空間。文獻[15]針對三維視頻的深度圖軟傳輸提出了基于分塊DCT變換的優化方案，但該方案暫時未對多視點紋理視頻軟傳輸進行研究。文獻[16]對多視點紋理視頻和深度圖的傳輸進行了功率分配，以期在功率一定的情況下，最大化接收端合成視點的重建質量。

雖然軟傳輸技術實現了高效的二維視頻無線傳輸性能，但其并不適應于三維視頻的無線傳輸。直觀地，為了實現高效的多視點視頻傳輸性能，需要充分利用多視點之間的冗余性[13]。受此啟示，本文提出一種多視點視頻無線軟傳輸方法。本文的創新點主要體現在兩個方面：(1) 從理論增益公式出發，分析了多維DCT變換的增益影響因素，并針對多視點紋理視頻提出四維離散余弦變換用于提升軟傳輸的變換增益；(2) 根據變換系數分布特性出發，對輔助數據的傳輸進行了推導優化以降低傳輸塊的平均能量。

1 軟傳輸技術分析

軟傳輸是一種非常簡單但高效的無線視頻傳輸方案。為了保證整個系統是完全線性的，軟傳輸丟棄了典型的量化和熵編碼過程。軟傳輸方案的結構如圖1所示。發送端包含五個步驟：線性變換、塊劃分、功率分配、哈達瑪變換、實值映射。首先，線性變換被作用于每一個圖像組(Group of Picture，GOP)以消除原始視頻信號的空域和時域冗余。軟傳輸方案采用的變換是三維離散余弦變換(3D-DCT)；第二，變換后的系數被分組組成若干數量的塊(chunk)以便于傳輸(塊是軟傳輸的基本傳輸單元，用于減小輔助數據的數據量)；第三，塊級的功率分配通過為傳輸系數分配最優的縮放因子以用于減小傳輸失真；第四，哈達瑪變換通過進行塊間的能量重分布以增強對信道噪聲的容錯能力；最后，成對的變換系數被直接映射到正交頻分復用(Orthogonal Frequency Division Multiplexing,OFDM)的同相(in-phase，I)和正交(quadrature，Q)分量進行發送。此外，圖1中的輔助數據A用于傳輸塊劃分信息(塊均值和方差)，圖1中的輔助數據B用于傳輸分塊的功率分配縮放因子。文獻[7]中指出該輔助數據A和B的數據量可以被忽略不計(僅僅只有0.014bit/pixel)。同時，為了保護該輔助數據不受信道噪聲的干擾，采用最低碼率的FEC編碼和二進制相移鍵控調制(Binary Phase Shift Keying，BPSK)以保證可靠傳輸。

接收端首先采用最小二乘估計(Least Linear Square Estimation，LLSE)獲取原始傳輸系數的最優估計。其余的步驟均為發送端對應過程的完全可逆操作。

最優的策略是為每一個傳輸系數分配一個縮放因子。然而，這需要傳輸大量的輔助數據以至于不可實現。作為折中方案，軟傳輸采用塊級的功率分配，即每一個分塊分配一個縮放因子。假設劃分的塊數目為M，每一個塊的系數個數為N，則第i個塊的最優功率分配縮放因子為[3]：

(1)

式中：Ptotal為可用總功率；λi為第i個分塊的平均能量(方差)。因此，整個重建視頻信號的最小失真為：

(2)

2 多視點視頻無線軟傳輸優化

基于如圖1所示的軟傳輸框架，針對多視點視頻提出兩個方面的優化策略以實現更高的傳輸性能。優化策略的詳細描述如下。

2.1 針對多視點視頻的四維離散余弦變換

類似于離散余弦變換(DCT)的線性變換主要用于降低原始視頻信號的冗余度進而提升傳輸效率。面向傳統二維視頻的軟傳輸技術采用三維離線余弦變換(3D-DCT)消除空域(水平和垂直方向)以及時域的冗余。對多視點視頻而言，還存在視角之間的冗余。因此，直觀的思路即是將3D-DCT擴展至四維離散余弦變換(4D-DCT)，其中增加的第四個維度用于處理視角間的冗余。假設用I(v,t,x,y)表示多視點視頻的像素值，其中：v為視角索引；t為幀索引；x和y為水平和垂直坐標。則對I進行4D-DCT可以表示為：

(3)

式中：S是一個集合，S={V,T,X,Y}。

(4)

式中：D為總視角數；G為圖像組的幀數；N為分塊大小；cv(V)、ct(T)、cxy(X)、cxy(Y)為式(5)所示的四個常量。

(5)

根據文獻[6]的分析可知，軟傳輸中某種特定變換的傳輸增益的測量如下：

(6)

2.2 基于變換系數分布特性的輔助數據優化

在軟傳輸的設計中，每一個系數分塊的均值被當作輔助數據傳輸，而殘差系數則直接映射到OFDM的I和Q分量進行傳輸。然而，這樣的設計離最優性能還有很大的差距。假設ωi是第i個分塊中絕對值最大的變換系數，μi為第i個分塊的系數均值。如果ωi被當作輔助數據進行傳輸，而分塊中其他的系數均采用OFDM直接傳輸，則第i個分塊的平均能量會變為：

(7)

假設如下關系成立：

(8)

則有：

(9)

因此，式(9)的結論會降低Α，進而有效地提高傳輸性能。

DCT變換最重要的性質是將信號能量集中在一小部分系數，且變換系數的數值大小從低頻到高頻急速衰減。更為具體地說，系數近似地沿對角線方向從DCT變換塊的左上角到右下角迅速遞減。因此，同一個DCT變換塊的系數值差異非常大。基于這樣的性能，對兩個典型的圖像(Lenna和Pepper)分析ωi和μi是否滿足如式(8)所示的關系。結果表明，70%的分塊滿足式(8)所示的關系。同時，通過采用ωi取代μi作為輔助數據，可以極大地降低左上角分塊的平均能量。另一方面，左上角的系數通常具有最大的信號能量。因此，可以通過如下的策略對多視點視頻軟傳輸的輔助數據進行優化：

圖4展示了上述基于變換系數分布性質的輔助數據優化的效果。可以看到，該優化將分塊平均能量和從908.456 5降低至590.636 9，實現了40%的降低，這可以實現非常明顯的傳輸性能改進。

3 仿真結果及分析

為驗證本文所提出多視點視頻無線軟傳輸優化技術的性能，對典型的三維視頻序列進行仿真實驗。

測試序列：四組三維視頻序列用于仿真實驗，表1給出了測試序列及其參數配置。

表1 測試序列及配置

無線仿真環境：802.11無線仿真物理層鏈路被用于仿真實驗，采用MATLAB Communication ToolBox實現，并在高斯信道下進行仿真實驗。輔助數據采用1/2碼率的卷積碼和BPSK調制進行傳輸；變換系數成對直接映射到OFDM進行傳輸，其中OFDM的參數配置采用802.11 a/g的參數設置。此外，仿真的信道信噪比范圍為4～15 dB，圖5為物理層鏈路實現細節。

評價指標：峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)指標用于評估重建視頻質量。PSNR指標定義如下：

(10)

式中：MSE為重建視頻像素與原始視頻像素的均方誤差。在本文涉及的多視點視頻中，所有視點的平均PSNR作為最終的評價標準。

在仿真實驗中，分塊大小設置為64×48，GOP大小設置為8。實驗對比測試分別為本文方法、原始軟傳輸方法[3]、采用4D-DCT的軟傳輸方法及參考文獻[13]所提方法。

4個測試序列的仿真實驗結果如圖6所示。可以看到，4種軟傳輸方法都在整個信道信噪比范圍內實現了線性的質量變換，從而消除了典型信源信道編碼傳輸方法的懸崖效應。橫向對比4種軟傳輸方法，可以看到采用4D-DCT的軟傳輸方法及參考文獻[13]相比于原始的軟傳輸方法實現了2至4 dB的性能提升；而本文所提結合了基于變換系數分布特性的輔助數據優化的方法則可以進一步提升傳輸性能，提升幅度為2至5 dB。此外，圖7給出了兩幀圖像的主觀質量對比。可以看到，本文方法相比于原始軟傳輸方法提供了更佳的視覺主觀視頻質量。

4 結 語

本文提出一種多視點視頻無線軟傳輸優化方法。首先為了降低視點間的冗余，將線性變換擴展至四維離散余弦變換；其次，為了進一步降低分塊的平均能量，提出基于變換系數分布特性的輔助數據優化方法。仿真實驗結果表明，本文方法可以對多視點視頻軟傳輸提升5～8 dB的傳輸性能，同時也提高了重建視頻的主觀視頻質量。