一種高效視頻編碼插值濾波VLSI架構設計

連曉聰，周 巍，段哲民，李 茸

(西北工業大學電子信息學院，西安710072)

1 概述

由聯合視頻編碼組制定的高效視頻編碼(High Efficiency Video Coding，HEVC)標準，比以前的編碼標準實現了更高的編碼效率［1］，尤其是在高分辨率和高幀率的視頻應用中［2］。HEVC較高的編碼性能主要體現在自適應內插值濾波器、1/8像素運動估計、多參考幀內預測、基于塊的自適應環路濾波器等［3］。然而，這些先進的視頻編碼技術在編碼進程中需要更大的計算復雜度和內存帶寬。因此，設計一個快速的編碼器超大規模集成電路(Very Large Scale Integration，VLSI)架構對于實現實時視頻應用是十分重要的。

運動估計［4］(Motion estimation，ME)是 HEVC中運用相鄰幀的時間相關性最多的部分［5］，它也是編碼過程中消耗時間最長的進程。在HEVC中，一個全新的8抽頭的內插值濾波器應用于ME的分數像素點預測中。對于亮度插值，其精確度是1/4像素，所以總共有15個位置的像素值需要被計算出來。對于8×8子塊的預測，最多需要16×16的參考像素。相比H．264/AVC標準中使用的6抽頭濾波器［6］，8抽頭濾波器在硬件實現時將花費更多的面積。因此，設計一個高效的內插值濾波器VLSI架構對于實時實現高品質的視頻是必要的。

本文設計一個內插值濾波器VLSI架構。為便于VLSI實現，提出一種快速內插值濾波算法［7］，將所有的4×8，4×16和12×16預測單元從處理隊列中跳過。然后根據提出的快速算法，設計和實現內插值濾波器VLSI架構，提出一個可重新配置的濾波器，減少使用的加法器的數目，并設計單元塊復用的硬件結構，以降低硬件的實現面積。

2 HEVC內插值濾波算法

在最新的視頻編碼標準HEVC中［8］，一個全新的8抽頭內插值濾波器應用于分數像素運動估計中［9］。對于亮度塊來說，精度是1/4像素，而對于色度塊，精度是1/8像素。本文的研究是對亮度塊的內插值濾波器進行的，對1/2像素點采用的8抽頭內插值濾波器，而對于1/4像素點，采用的是7抽頭內插值濾波器。

先進行1/2像素點的內插值濾波。圖1給出的是插值點的位置和參考像素點的位置，其中02像素點是對水平方向上的8個00像素點應用式(2)進行水平1/2插值得到的，20像素點是對垂直方向上的8個00像素點應用式(2)進行垂直1/2插值得到的，22像素點是經水平1/2插值和垂直1/2插值后得到的。在完成1/2像素點的內插值濾波之后，計算結果將被傳輸到下一模塊，經哈達瑪變換后計算數據塊的預測殘差絕對值總和(SATD)，找到最佳的運動矢量(Motion Estimation，MV)［10］，再進行 1/4像素點的內插值濾波。在不同的運動矢量下需要得到的就是00，02，20，22像素點周圍的8個1/4像素點的插值結果。其中，01，03像素點分別是在水平方向上利用式(1)和式(3)對00像素點進行插值得到的;10，11，12，13像素點分別是在垂直方向上應用式(1)對00，01，02，03 像素點進行插值得到的;21，23像素點分別是在垂直方向上應用式(2)對01，03像素點進行插值得到的;30，31，32，33像素點分別是在垂直方向上應用式(3)對00，01，02，03像素點進行插值得到的。

圖1 像素點的位置

對于8×8子塊的預測，最多需要16×16預測塊的參考像素值。相比于 H．264/AVC中使用的6抽頭內插值濾波器，HEVC中使用的8抽頭內插值濾波器需要消耗更多的面積。因此，設計一個高效的亮度插值的VLSI架構對于實時實現視頻編碼是十分重要的。

3 架構設計

3．1 快速內插值濾波算法

HEVC中的幀間預測的預測單元(PU)有8種不同的分割塊［11］:4種對稱的分割塊(2N×2N，2N×N，N×2N，N×N)和4種非對稱的分割塊(2N×nU，2N ×nD，nL×2N，nR ×2N)。

在HEVC中幀間預測的PU塊中最大處理單元(LPU)為64×64塊，根據上述所描述的分割規則，每個 LPU可以分割成21種 sub-PU，如表1所示。

表1 幀間預測PU塊的分割模式

從表1中可以看出，如果要對每種大小的塊分別設計插值濾波的硬件結構，硬件的門數和面積是非常大的，所以，在VLSI架構的設計中，要考慮通過將最小的單元塊拼接復用來實現較大塊的插值濾波操作［12］。但如果選擇寬度為4的塊為最小復用塊，對64×64塊要復用16次，結構會很復雜，所以提出一種快速算法，如圖2所示。將4×8，4×16，12×16大小的PU從處理隊列中跳過，再用A，B，C 3種類型的濾波器進行插值。

圖2 快速內插值算法流程

針對本文提出的快速內插值算法，對分辨率為416×240(A)，832 ×480(B)，1 280 ×720(C)，1 920×1 080(D)，2 560×1 600(E)的視頻序列進行測試，得到的編碼性能及碼率的變化如表2所示。

表2 不同分辨率的視頻序列編碼性能及碼率

從表2可以看出，在對內插值濾波器的算法進行改進之后，視頻編碼的峰值信噪比(detal_BR)［13］(改進算法的PSNR–原始算法的PSNR)下降平均值為0．041 1 dB，對于編碼的性能改變不太明顯。同時比特率平均提高1．158%，并能節約10．06%的編碼時間，說明多數視頻序列在進行內插值操作時對于寬度為4的塊并不是很敏感，提出的快速算法能夠高效實時地完成內插值濾波操作，并可以較大幅度地降低硬件的實現面積。

3．2 高性能內插值濾波器VLSI架構

基于上述提出的快速內插值濾波算法，本文對內插值濾波器VLSI架構進行設計，結構框圖如圖3所示，將輸入數據進行劃分，用8個處理模塊進行處理，每個模塊處理寬度為8的數據塊(在圖3中標示為“8×”)。單元塊的內插值濾波結構框圖如圖4所示。

圖3 內插值濾波器整體的結構框圖

圖4 單元塊的內插值濾波架構

首先對于水平濾波，設計有3組濾波器(Level1:H_F1/4，H_F2/4，H_F3/4)。其中在進行第 1 輪1/2像素點濾波時，打開 H_F2/4，關閉H_F1/4和H_F3/4。在進行第2輪1/4像素點濾波時，全部打開。對于垂直濾波，設計有4組濾波器(level2，僅在第2輪1/4像素點濾波時打開)，V_F1/4，V_F3/4分別對01，03位置進行1/4，3/4垂直濾波，得到11，31和13，33像素點。此外還有另外4組濾波器(level3)，其中有2組根據1/2插值時確定的最優MV進行，僅在第2輪1/4像素點濾波打開。在 HOR=0時，V_F1/4，V_F3/4對00進行1/4，3/4垂直濾波得到10，30像素點;否則對02進行1/4，3/4垂直濾波得到12，32像素點。另外2組在第1輪1/2像素點濾波時打開對00，02進行1/2垂直濾波得到20，22像素點;在第2輪1/4像素點濾波時，在1/2插值時確定的最優MV的垂直分量不等于0的情況下，對01，03進行2/4的垂直濾波得到21，23像素點。

3．3 內插值濾波器計算模式的架構設計

從式(1)～式(3)中內插值濾波器插值系數可見，類型A和類型C的系數是對稱的。所以A型和C型濾波器的插值可以通過僅由反轉輸入的參考像素的順序而用相同的硬件架構來實現。從公式中的系數可以看出，需要10個加法器來實現A型濾波器，9個加法器來實現B型濾波器。因此，8抽頭濾波器總共需要至少19個加法器實現硬件。本文所設計的最優的A，B型濾波器硬件結構如圖5(a)和圖5(b)所示。

圖5 內插值濾波器的硬件架構

a，b，c，d，e，f，g，h 為 8 個輸入參考像素，使用 C型濾波器時，只要將它們的順序顛倒過來作為濾波器輸入。輸出Afir和輸出Bfir是A、B型濾波器的內插結果。所提出的濾波器由19個加法器組成，與原有的3種類型的濾波器(29個加法器)可以節省10個加法器，面積降低30%以上。水平和垂直濾波器的結構是相同的。

3．4 單元塊復用的數據分割

在得到輸入數據時，先要按寬度對數據進行分割，以寬度為64的數據為例。由于在進行插值濾波時使用的是8抽頭的內插值濾波器，因此輸入數據的寬度應為72，而分割給每個寬度為8復用塊的數據寬度都為16，有大量數據重疊。寬度為64的數據分割圖表示數據分割的情況如圖6和圖7所示，其中，對于1/4像素點的數據分割，在1/4水平插值時2組數字分別表示hor＜0/hor≥0;而對于3/4水平插值分別表示hor≤0/hor＞0。

圖6 1/2像素點的數據分割

圖7 1/4像素點的數據分割

在進行完數據分割之后，就依次進行水平插值和垂直插值。插值單元的結構如圖8所示。這個插值濾波器可以支持大部分不同的塊尺寸。例如，一個16×16塊可以被劃分為2個8×16塊，對于64×64的PU，要復用這個基本的插值單元8次。由于進行垂直插值需要8行水平插值的結果，因此使用了一個移位寄存器對水平插值的結果進行處理，避免時序混亂。

圖8 8抽頭插值單元的結構

4 實現結果

本文針對內插值濾波器進行的內插值濾波算法優化和硬件實現是基于HEVC參考編碼器HM8．1的編碼結構進行的。編碼器配置采用HM8．1的基本類(編碼配置文件為encoder_lowdelay_main．cfg)。實驗中主要編碼參數如下:FramesToBeEncoded=500，Frame–Rate=50，SearchRange=64，其他參數為缺省設置。

本文所設計的硬件結構通過Modelsim仿真進行驗證，總共通過了30萬PB驗證了架構的正確性。表3給出本文設計的架構的實現結果，以及與其他方法的實現結果的比較。

表3 實驗結果對比

最大工作頻率能夠達到193 MHz，在不使用RAM的情況下，實現面積為64．5千門。雖然與文獻［15］的HEVC方法相比，實現面積增大了接近一倍，但工作頻率能夠達到它的4倍，能很好地實現視頻的網絡傳輸。同時處理時間也能降低8%。與原始的HEVC方法相比，面積能夠降低30%，處理時間節約一半以上。本文所提出的并行8像素插值濾波結構的優勢就在于能夠在400 MHz的頻率下完成720 P視頻的實時傳輸，并能節約131 040 bit的RAM。同時，本文的設計完全能夠滿足3 840×2 160(4:2:0格式)視頻的實時傳輸。

5 結束語

本文設計了一個高效的內插值濾波器VLSI架構。為便于VLSI實現，首先對內插值濾波器的算法進行了改進，將所有的4×8，4×16和12×16預測單元從處理隊列中跳過。在視頻編碼質量PSNR只降低0．125 6%的基礎上，編碼時間減少10．06%。然后根據提出的改進算法，設計和實現了內插值濾波器VLSI架構，提出一個可重新配置的濾波器，減少了使用的加法器的數目，并設計了單元塊復用的硬件結構。通過采用以上方法，本文的設計僅使用64．5千門來實現，工作頻率能夠達到193 MHz，并能節約131 040 bit的RAM，可高效實時地完成視頻的編碼傳輸工作。

［1］ 沈燕飛，李錦濤，朱珍民，等．高效視頻編碼［J］．計算機學報，2013，36(11):2340-2355．

［2］ Bull D B，Delp E J，Takamura S，et al．Introduction to the Issue on Emerging Technologies for Video Compression［J］．IEEE Journal of Selected Topics in Signal Processing，2011，5(7):1277-1281．

［3］ Sullivan G J，Ohm J R，Han Woo-Jin，et al．Overview of the High Efficiency Video Coding(HEVC)Standard［J］．IEEE Transaction on Circuits and Systems for Video Technology，2012，22(12):1649-1668．

［4］ Favorskaya M，Pyankov D，Popov A．Motion Estimations Based on Invariant Moments for Frames Interpolation in Stereovision［J］．Procedia Computer Science，2013，22:1102-1111．

［5］ 李 元，何小海，鐘國韻，等．一種基于時域相關性的高性能視頻編碼快速幀間預測單元模式判決算法［J］．電子與信息學報，2013，35(10):2365-2370．

［6］ Ruiz G A，Michell J A．An Efficient VLSI Architecture of Fractional Motion Estimation in H．264 for HDTV［J］．Journal ofSignal Processing Systems，2011，62(3):443-457．

［7］ Rhee Chae Eun，Lee Kyujoong，Kim Tae Sung，et al．A Survey of Fast Mode Decision Algorithms for Interprediction and Their Applications to High Efficiency Video Coding［J］．IEEE Transactions on Consumer Electronics，2012，58(4):1375-1383．

［8］ Ohm J R，Sullivan G J．High Efficiency Video Coding:The Next Frontier in Video Compression［J］．IEEE Signal Processing Magazine，2013，30(1):152-158．

［9］ Ugur K，Alshin A，Alshina E，et al．Motion Compensated Prediction and Interpolation Filter Design in H．265/HEVC［J］．IEEE Journal of Selected Topics in Signal Processing，2013，7(6):946-956．

［10］ Lin Jianliang，Chen Yiwen，Huang Yuwen，et al．Motion Vector Coding in the HEVC Standard［J］．IEEE Journal of Selected Topics in Signal Processing，2013，7(6):957-968．

［11］ Kim Il-Koo，Min Jung-Hye，Lee T，etal．Block Partitioning Structure in the HEVC Standard［J］．IEEE Transactions on Circuits and Systems for Video Technology，2012，22(12):1697-1706．

［12］ Tanskanen J K，Niittylahti J T．Scalable Parallel Memory Architectures for Video Coding［J］．The Journal of VLSI Signal Processing，2004，38(2):173-199．

［13］ Lee B，Kim M．No-reference PSNR Estimation for HEVC Encoded Video［J］．IEEE Transactions on Brodcasting，2013，59(1):20-27．

［14］ Wang Shengzen，Lin Ting’an，Liu Tsu-Ming，et al．A New Motion Compensation Design for H．264/AVC Decoder［C］//Proceedings of IEEE International Symposium on Circuits and Systems．Washington D．C．，USA:IEEE Press，2005:4558-4561．

［15］ Guo Zhengyan，Zhou Dajiang，Guto S．An Optimized MC Interpolation Architecture for HEVC［C］//Proceedings of IEEE International Conference on Acoustics，Speech and Signal Processing．Washington D．C．，USA:IEEE Press，2012:1117-1120．