嵌入式在線視頻幀間信號自適應壓縮方法

曹 強，周 存

(景德鎮陶瓷大學，江西景德鎮 333000)

1 引言

視頻一般是指通過電信號捕捉、記錄、處理、存儲、傳輸和再現的一系列靜態圖像。如果連續圖像每秒變化超過24幀，根據視覺保持原理，人眼無法分辨出單一的靜態圖像。數字圖像和視頻作為可視化和信息交互的重要媒介，在視頻通話、視頻會議、視頻廣播、高清電視、網絡協議電視、視頻監控和視頻點播等領域取得了長足的發展。

為了解決圖像和視頻在帶寬有限的信道中傳輸的問題，減少這些圖像和視頻數據的存儲空間，提出了圖像和視頻壓縮編碼方法。數字視頻壓縮的根本是數字視頻中存在大量的冗余信息[1]。壓縮編碼分為無損壓縮和無損壓縮，無損壓縮為了保證解壓縮后的數據與原始數據一致，通常壓縮效率不太高，壓縮比一般只有50%左右。有損壓縮雖然可以大大降低壓縮速率，但會帶來不同程度的失真。在圖像失真最小的情況下，如何盡可能提高壓縮效率是視頻壓縮編碼優化研究的重點。

幀間和幀內的高相關性意味著視頻圖像中存在大量冗余信息。冗余信息可分為空域冗余信息、時間冗余信息和視覺冗余信息。視頻壓縮就是在保證視頻解碼質量的前提下，最大限度地減少數據量，消除各種冗余信息[2]。傳統的視頻壓縮編碼方法包括變換壓縮編碼方法、量化壓縮編碼方法、熵編碼等，然而上述傳統的主要針對的是離線的視頻，將其應用到嵌入式在線視頻的壓縮工作中會存在壓縮失真率和誤碼率高的問題，同時由于算法輸出的圖像尺寸較大，會占用大量的存儲空間和網絡傳輸的在線視頻空間。針對傳統壓縮方法存在的一系列問題，提出了一種基于幀間信號的嵌入式在線視頻自適應壓縮方法，優化了壓縮性能和壓縮效率。

2 在線視頻幀間信號自適應壓縮方法設計

嵌入式在線視頻是基于分組傳輸的間歇異步傳輸。對于一個實時視頻源，它在傳輸過程中被分解成多個包。由于網絡是動態變化的，每個包可能選擇不同的路由，所以到達客戶端的時間也不同，甚至第一次發送的包也可能延遲[3]。為了達到這一目的，采用緩存系統來補償時延和抖動，保證正確的分組順序，使媒體數據能夠不間斷地連續輸出，不因網絡的暫時擁塞而中斷，從而實現在線視頻的實時壓縮。設計方法的自適應壓縮過程如圖1所示。

圖1 嵌入式在線視頻幀間信號壓縮流程圖

2.1 設置嵌入式視頻信號壓縮編碼標準

H264/AVC視頻編碼標準的設計目標之一是實現高收縮性能。AVC的基本功能模塊包括預測編碼、變換、量化和編碼。為了提高數據壓縮率，H.264編解碼器對各功能模塊進行了改進和改進。H264/AVC功能可分為兩個層次：視頻編碼層VCL和網絡提取層NAL[4]。其中，視頻編碼層主要負責視頻內容的高效編碼，而網絡提取層主要負責視頻的適當映射或封裝。其中，相應的信令和封裝屬于網絡抽取層。在視頻編碼層和網絡提取層之間定義了基于包的接口。H264/AVC的主要功能層是視頻編碼層和網絡提取層，分別負責高效編碼和網絡友好性。在H.264視頻編碼標準中，幀間預測主要利用視頻幀間的時間相關性，通過運動估計和運動補償來去除視頻圖像中的冗余信息，支持1/4像素和1/8像素的運動矢量。6抽頭濾波線的插值類似于1/8像素精度運動矢量和8抽頭濾波線的插值。在H.264/AVC標準中，增加了大小塊的分割方法。根據待編碼視頻圖像的特點，選擇更合適的塊大小進行自適應編碼，大大提高了編碼精度和效率[5]。在H.264/AVC標準中，增加了大小塊的分割方法。根據待編碼視頻圖像的特點，選擇更合適的塊大小進行自適應編碼，大大提高了編碼精度和效率。整數離散余弦變換的正變換過程如式(1)所示

(1)

同理可以得到整數離散余弦變換的反余弦變換。對于視頻圖像大面積緩慢變化的情況，可以采用直流系數的二次變換方法來消除小尺寸引起的灰度差[6]。視頻圖像中對亮度塊的哈達碼變換如下

(2)

式中，WD為初始視頻圖像中的亮度塊矩陣。另外視頻圖像中色度快的哈達碼變換可以表示為

YD=Hj×WD

(3)

式中，Hj表示視頻圖像標準化轉化系數。根據視頻標準量化過程中圖像的動態范圍大小，確定量化參數，既能減少碼流，又能保持圖像的必要細節[7]。具體量化原理如下式所示

(4)

式中，FQ為y的量化值，y為輸入樣本點編碼，QP為量化步長，round()表示的是取整函數。定量步驟Qstep定義了52個不同大小的值，這些值以12.5%的增量變化，由QP索引。如果QP的最大值為51，則為最粗量化；如果最小值為0，則為最精細量化[8]。每增加6個QPS，量化步長的Qstep將加倍。在實踐中，可以根據需要選擇寬范圍的量化步長。顏色編碼和亮度編碼一般采用相同的量化步長[9]。在現有的H.264標準中，色度的最大QP值通常被限制在亮度的最大QP值的80%，以避免在高量化步長的情況下進行人工顏色量化。綜上所述可以得出嵌入式視頻的距離量化算法為

(5)

式中，Yij代表轉換系數，量化計算結果為輸出的量化系數。

2.2 提取在線視頻動畫關鍵幀

從視頻幀中提取視頻的運動特征，根據所提取的運動信息來獲取關鍵幀，就是基于運動特征的關鍵幀提取算法的基本原理。計算相鄰兩幀圖像中對應位置像素值變化的平均值，并將相鄰幀之間的差值定義為

(6)

式中Ik(x，y)和Ik+1(x，y)分別表示第k幀和第k+1幀在(x，y)處的亮度值，M和N分別表示該幀的高度和寬度。式(6)計算出的值小表示幀間差異小，反之則表示幀間發生了較大的變化。當式(6)的計算結果大于某一設定的閾值時，則認為此幀為關鍵幀。

2.3 幀間相關性分類

在分析提取的嵌入式在線視頻關鍵幀數據的基礎上，考慮了目標幀與前一幀的相關性和參考幀與下一幀的強相關性[10]。為此，將第一幀設置為關鍵參考幀，第三幀設置為前向預測幀，第二幀設置為雙向預測幀，三個設定幀分別記為I幀、P幀和B幀。該算法對P幀和I幀進行相同的非重疊塊處理，并將其分別分為D*D和K塊。P幀Xt+1的第i塊圖像塊的原始數據與I幀Xt-1中對應位置的圖像塊之間的差值反映了這兩幀對應圖像塊之間的相關性。因此，相應圖像塊之間的殘差能量值的大小可以作為P幀圖像塊的分類依據，其表達式如下

(7)

2.4 嵌入式在線視頻幀間運動估計

嵌入在線視頻幀間運動范圍以其亮度值的最大值和最小值之比來估計幀間運動范圍內的視頻運動。幀間運動估計對搜索區域內所有可能的候選位置，從中尋找最小SAD值，其對應的偏移即為運動矢量，具體的搜索估計過程如圖2所示。

圖2 視頻動畫幀間運動搜索估計圖示

從圖2中的原點開始，沿順時針方向從近到遠計算每個像素的SAD值，直到遍歷整個搜索區域中的所有點[11]。找出所有SAD中塊誤差最小的MBD點，該點對應于最優運動矢量。通過對提取的關鍵幀進行合成，可以得到下一幀的運動估計結果。

2.5 安裝視頻幀間信號壓縮編碼器

圖3表示的是視頻幀間信號壓縮編碼器的基本結構。

圖3 視頻幀間信號編碼器工作原理圖

該編碼器可以實現視頻信號的紋理編碼和運動編碼。該代碼確定編碼位是0還是1，最終編碼結果由編碼器規范化。寄存器的位移位，每個寄存器的移位數為1。當CT為0時，壓縮后的數據將通過字節輸出過程從寄存器C中刪除，并繼續進行規范化處理，直到A不小于0×8000為止。將關鍵幀提取和幀間運動估計的結果作為編碼器的輸入，根據設定的壓縮編碼規則得到最終的幀間信號壓縮結果。

2.6 選擇自適應門限

利用壓縮編碼器可以實現關鍵幀之間的壓縮，但在實際的在線視頻回放或傳輸過程中，需要設置一定的自適應閾值，對關鍵幀進行自適應提取和量化[12]。不同的在線視頻動畫運動特征參數σx，可以得到不同的幀間信號分布函數范例，因此視頻動畫圖像編碼風險最小意義上的最佳門限值為：

(8)

式中r(T)為在線視頻動畫圖像運動的估計結果。

2.7 實現在線視頻幀間信號自適應壓縮

為了在H.264標準約束下獲得更高的壓縮比，編碼器將根據現有的語法元素自適應地動態調整碼表。對于不同對象的編碼，可以使用同一碼表進行編碼，這樣更有利于編碼的實現。經過預測編碼、變換和量化后，需要對視頻圖像進行掃描和重新排序，為后續的幀間信號編碼做準備。在基本層對比度壓縮過程中，引入f(t)并得到視頻幀間信號對比度的壓縮結果，如式(9)所示

I′base(x，y)=lg(2+f(t)×8)×Ibase(x，y)

(9)

其中Ibase(x，y)和I′base(x，y)分別為壓縮對比度操作前后的圖像亮度分量。為了降低視頻動畫圖像編碼壓縮產生的失真情況，對壓縮結果的細節進行補償和色彩保持。經過上述處理后，通過安裝的壓縮編碼器輸出嵌入式在線視頻幀間信號自適應的壓縮結果。

3 仿真分析

為了測試設計的嵌入式在線視頻幀間信號自適應壓縮方法，將其應用到實際的在線視頻播放軟件中進行仿真測試，并觀察設計的壓縮方法與傳統壓縮方法相比存在的性能優勢。

3.1 仿真環境

實時讀取視頻數據，顯示YUv4:2:0顏色采樣和8位量化4-K序列。幀速30時，讀寫速度要求為373.25MB/s，主測試計算機安裝在仿真環境中，計算機主板型號為Dell 06 FWOP，處理器為IntelXeonX650@2.67GHZ，圖形卡為GEFORGTX 680，存儲空間為24G。在設備上安裝MediaPlayerClassic視頻播放器，并調整播放器與網絡的比率模式。顯示器的亮度、對比度、飽和度等參數應根據試驗要求進行調整和校準。除試驗設備外，還按照ITU-RBT500-13的要求，建立了試驗環境和試驗環境。測試環境的亮度和測試環境墻的背景亮度都在一定范圍內。

3.2 嵌入式在線視頻樣本序列

網絡環境下調用視頻源6個，局域網調用9個，網絡視頻源調用12個，局域網調用12個，網絡視頻源調用12個。用兩個視頻序列訓練測試過程，用10個視頻序列測試樣本。在分辨率為3840x2160和30幀速率的情況下，所有視頻序列具有相同的分辨率和幀速率。三個基本序列的持續時間分別為10、8和8秒，而其它視頻源的持續時間僅為10秒。所選視頻源全部采用逐行掃描格式，顏色采樣率為位量化。

3.3 仿真過程

為了形成實驗對比，體現出設計自適應壓縮方法的運行優勢，在仿真中還設置了傳統的壓縮方法和文獻[8]提出的VPx幀內壓縮方法作為實驗的兩個對比方法。在主測計算機的驅動下，得出壓縮方法的登錄主界面，其中設計方法的運行界面如圖4所示。

圖4 在線視頻幀間信號壓縮登錄界面

分別將準備的仿真視頻樣本序列導入到視頻幀間信號壓縮登錄運行界面中，并通過壓縮方法的運行輸出壓縮結果。

3.4 仿真結果分析與對比

為測量設計自適應壓縮方法的編碼效率，通過實驗研究了三種組態下視頻幀間信號的壓縮性能。統計視頻壓縮結果的誤碼率、壓縮體積之間的差別，從而得出仿真的對比結果。

3.4.1壓縮誤碼率

綜合不同嵌入式在線視頻的播放速度情況，得出壓縮誤碼率統計結果，如圖5所示。

圖5 壓縮誤碼率統計對比曲線

壓縮誤碼率指標是錯誤壓縮編碼與總壓縮編碼之間的比值，由此便可以得出不同樣本在不同播放速度下的誤碼率變化情況。從圖6中的曲線波動情況可以看出，相比于兩種對比壓縮方法，設計方法的誤碼率更低。

3.4.2視頻幀間信號壓縮體積

將所有關于壓縮體積和壓縮文件占用內存空間的相關數據進行統計，統計結果如表1所示。

表1 壓縮體積對比結果

綜合表1中的所有數據，通過橫向對比可以看出，針對相同的視頻樣本設計方法的壓縮結果占用空間更小。

4 結束語

綜上所述，通過嵌入式在線視頻幀間信號自適應壓縮方法的設計與應用，能夠同時實現視頻的播放與壓縮，為視頻用戶提供更好的體驗。然而此次實驗中主要使用的是與壓縮方法兼容的視頻播放器設備，然而在實際的應用中會出現自適應壓縮方法與播放器不兼容的情況，針對這一問題還需要進一步研究和分析。