面向HEVC的時空域感知量化

彭宗舉，鄒文輝，陳 芬，費馬燕

（1.寧波大學　信息科學與工程學院，浙江　寧波 315211；2.西華師范大學　電子信息工程學院，四川　南充 637009）

面向HEVC的時空域感知量化

彭宗舉1，鄒文輝2，陳 芬1，費馬燕1

（1.寧波大學信息科學與工程學院，浙江寧波 315211；2.西華師范大學電子信息工程學院，四川南充 637009）

針對高效視頻編碼（High Efficiency Video Coding，HEVC）標準在編碼過程中沒有考慮到人類視覺系統的感知特性的問題，提出了一種基于HEVC的時空域感知量化編碼策略。首先，對輸入的視頻序列在變換域求取恰可察覺失真（Just Noticeable Distortion，JND），在最大編碼單元（Largest Coding Unit，LCU）層根據JND求取相應的量化參數。其次，通過運動估計方法對輸入的視頻序列求取運動區域，由于視頻序列中存在著各種各樣的噪聲，影響運動估計的準確性，因此對運動估計后的圖像進行濾波處理，以減弱噪聲的影響，并將運動區域視為時域感興趣區域，之后根據是否為運動區域分策略調節量化參數。最后，在LCU編碼時，對根據空域感知特性調節的量化參數以及時域感知特性調節的量化參數進行加權，作為LCU最終編碼量化參數。實驗結果表明，提出的算法在編碼時視覺感興趣區域選擇了細量化，而視覺非感興趣區域選擇了粗量化。感興趣區域的PNSR相對HM11.0能提高0.20—0.59dB，率失真性能最小能提升3.8%，最大能提升6.8%。與代表性文獻算法相比，PSNR提升較大。

高效視頻編碼；感興趣區域；感知編碼；量化參數

0 引 言

2013年，視頻編碼聯合專家組頒布了新一代視頻編碼標準——高效視頻編碼（High Efficiency Video Coding，HEVC）［1］，其編碼性能是H.264/AVC［2］的兩倍，更適合于高清視頻序列的編碼。視頻編碼技術的迅猛發展影響了電視廣播、互聯網以及消費類電子產品中視頻服務的推廣。然而，這些編碼技術并沒有將人類視覺系統的感知特性考慮在內，不管是哪種視頻應用類服務，人類才是視頻信號的最終接收者。因此，在編碼過程中考慮人類視覺系統的感知特性是一種提高視頻編碼性能的有效方式。

目前，利用視覺注意力或敏感度模型指導編碼已有較多的研究，可以分為三類：根據顯著圖調節視頻編碼過程中的量化參數［3，4］，根據恰可察覺失真（Just Noticeable Distortion，JND）調節視頻編碼過程中的殘差系數或變換系數［5-8］和根據人類視覺系統的感興趣區域調節碼率控制中的比特分配［9］。Hadizadeh等人將IKN顯著模型用于視頻壓縮編碼中，通過提取視頻序列中的顯著區域，將視頻序列中的編碼幀分為視覺感興趣區域與視覺非感興趣區域，進而調節這些區域的量化參數。雖然編碼性能得到了一定的提高，但是這種策略需要提供視覺注意力的能量圖且沒有考慮視頻序列的時域特性［3］。Chen等人將基于中心凹的恰可察覺失真（Foveated JND，FJND）作為視覺敏感度模型，FJND在空域JND的基礎上考慮了視網膜中心凹到顯示器的距離，Chen等人認為JND閾值越大的區域引起的視覺敏感度越高，因此編碼量化參數也越小。雖然視頻序列中一些視覺敏感的邊緣區域得到了更好的保護，然而其僅考慮了空域特征沒有考慮視頻序列中運動區域更易引起人眼的視覺關注［5］。Kim等人在HEVC上提出了基于JND模型的視覺感知策略，通過JND最大程度上去除空域視覺冗余。雖然其算法在保持視覺質量的同時節省了較多的碼率，然而其只考慮了空域的視覺感知特征，沒有考慮時域特征［7］。Meddeb等人提出了基于感興趣區域的碼率控制算法，他們認為人類視覺系統更加關注視頻序列中的人臉區域，通過人臉檢測算法提取出視頻序列中的人臉區域，將人臉作為人類視覺系統的感興趣區域，在碼率控制比特分配過程中，感興趣區域相對于非感興趣區域分配更多的比特。雖然感興趣區域的編碼質量得到了一定的提高［9］，然而這種策略只適用于視頻會議場合。

針對以上算法的缺陷，本文提出一種基于HEVC的時空域感知量化編碼策略。首先該策略考慮了空域感知特性，將JND作為視覺敏感度調節編碼過程中的量化參數。其次該策略考慮了時域感知特性，相對空域感知特性，視頻序列中的運動目標更易吸引人眼的關注，通過運動估計求取視頻序列中的運動區域，根據是否運動區域分策略調節編碼過程中的量化參數。最終將空域感知特性計算的量化參數以及時域感知特性計算的量化參數進行加權。實驗結果表明提出的算法能夠有效提高視頻重建質量，PSNR平均提高0.20-0. 59dB，編碼率失真性能最低能提升3.8%，最高能提升6.8%。

1 時空域感興趣區域提取

視覺注意是人類的一種潛意識過程，根據注意力的驅動方式，可將視覺注意力分為自底向上和自頂向下型驅動。前者是指由外界信號的特性而決定注意的導向，例如視頻場景中和人眼視網膜以及光學屬性相關的因素，后者來自于人類復雜的心理過程，跟個人的興趣愛好等因素有關。由于自頂向下的注意力驅動機制跟心理學、人的閱歷等都有一定的關系，成為了實際應用中難以突破的瓶頸。因此本文從自底向上的注意力驅動機制即數據型驅動出發，考慮到人眼在觀察一個陌生的視頻場景時，剛開始往往會在視頻場景中搜索感興趣區域等，人眼適應于這種視頻場景后，場景中的運動對象會更加吸引人眼的高度關注。為此，本文利用該特性設計了一種符合人的視覺感知特性的感知量化編碼策略。

1.1 空域感興趣區域

人眼是視頻信號的最終接收者，建立符合人眼的感知編碼特性相當重要，已有學者建立了一些模擬人眼感知的模型，例如顯著圖模型［10］、離散余弦變換（Discret Cosine Transform，DCT）域JND模型［11］。本文采用（Discret cosine Transform，DCT）域JND模型來描述人類視覺系統的感知特性，其考慮了人眼的對比度以及掩膜效應。DCT域JND在數學上表示為基本閾值和調節因子的乘積形式［11］，即：

式中，n表示輸入視頻第k幀中第n個編碼塊；i，j表示DCT系數的索引號；Thbasic、Flum以及Fcontrast分別表示基本閾值、亮度掩膜調節因子和亮度的對比度掩膜調節因子。

1.1.1 基本閾值

在編號為n的編碼塊中（i，j）位置的子帶系數，其相應的空間頻域ωi，j表示為：

式中，N表示編碼塊的維數，θx，θy分別表示像素水平和垂直方向視角，Rvd表示視距到圖像高度的距離權重，Pich表示圖像的高度。

DCT子帶基本閾值的計算公式為：

式中，s表示集合效應，取值為0.25，Фi、Фj表示DCT歸一化系數，?ij表示DCT系數的方向角，參數a、b以及c分別取值為1.33、0.11和0.18。

1.1.2亮度掩膜調節因子

亮度掩膜機制跟圖像中的亮度變化有關，根據Weber定律，最小可感知亮度差可能隨著背景亮度的增加而增加，即背景亮度過高過低的情況下人眼不易察覺量化誤差，亮度掩膜調節因子的計算公式為：

式中，ˉI表示第n個編碼塊的亮度均值。

1.1.3 對比度掩膜調節因子

對比度掩膜效應是人類視覺系統中一個重要的成分，在計算對比度掩膜因子時，首先需要利用Canny算子對圖像進行歸類，即紋理區、邊緣區以及平坦區。然后對這些區域賦予不同的權重，其中若是平坦與邊緣區域，加權系數ψ=1；如果紋理區域且坐標索引滿足（i2+j2）≤16，加權系數ψ=2.25；如果紋理區域且坐標索引滿足（i2+j2）＞16，加權系數ψ=1.25。最終對比度掩膜調節因子的計算公式為：

式中，ε=0.36，C（k，n，i，j）是第n個編碼塊（i，j）位置的DCT系數。

圖1（a）是BasketballPass序列第7幀的原圖像，圖1（b）是對BasketballPass第7幀求取的JND圖。由于在編碼過程中，用同一個QP對圖1（b）中具有較多白色像素點的編碼單元對應著的彩色圖像中的編碼單元進行編碼，和對同尺寸具有較少白色像素點的編碼單元對應著的彩色圖像的編碼單元進行編碼，往往具有較多白色像素點的編碼單元造成的視覺失真大于具有較少白色像素點的編碼單元。另外人眼對圖像中的對象邊界由編碼造成的失真也比較敏感。為此，本文將JND圖中白色像素點對應著的彩色圖像中像素點的位置視為視覺感興趣點，一些視覺感興趣點組成視覺感興趣區域。

圖1　BasketballPass序列第7幀圖像以及相應的JND圖

1.2 時域感興趣區域

運動檢測在視頻分析中一直是一項比較重要的技術，視頻場景中的前景運動區域檢測也是一個棘手的問題。主要原因有二：一是視頻場景中的背景區域具有動態的復雜紋理；二是拍攝相機的移動，固定相機不適合用于實際場合的序列拍攝。現有的運動檢測技術有幀差法、全局搜索法以及灰度投影法。幀差法簡單、效率高，然而相鄰幀直接差分以提取前景運動區域不夠準確。灰度投影法是一種全局運動矢量的估計方法，已被應用于電子穩像中，然而，其只適應于拍攝相機平行移動的場合，不適應于推進式拍攝相機。本文中采用全局搜索算法進行前景運動區域的檢測。

編碼當前幀時，首先設定運動估計的搜索范圍（4個像素點）以及運動估計塊大小（8×8），根據搜索范圍在當前幀的前一幀中去搜索與當前運動估計塊的最佳匹配塊。如圖2所示。

圖2　運動估計示意圖

運動估計過程中根據匹配塊的最佳代價值選擇當前運動估計塊的最佳運動矢量，代價值的求取如式（9）所示：

式中，C（x，y）和P（x，y）分別為當前編碼幀以及當前編碼幀的前一幀中坐標為（x，y）的像素值，mv為運動矢量，mvx和mvy分別為運動估計塊水平方向和垂直方向的運動矢量，mvs為運動矢量的集合，J為運動估計塊在mv下的代價值，SR為搜索范圍。

求出運動估計塊在每個運動矢量下的代價值，選擇代價值最小的運動矢量作為運動估計塊的最佳運動矢量，如式（11）所示：

式中，mv*為最佳運動矢量。

運動估計的過程受序列中各種噪聲的影響，因此本文采用一個3×3的濾波窗口對整個編碼幀中運動估計塊的運動矢量進行濾波處理，濾波窗口如圖3所示。其中Current MB為當塊。如果當前待濾波的運動估計塊周圍運動估計塊的個數少于4個，則認為當前塊不是運動區域。用公式描述為：

式中，num為當前待濾波運動估計塊周圍運動估計塊的個數。

由于在HEVC編碼的過程中，是以LCU為單位對視頻序列進行編碼的，因此最終的感興趣區域需要以LCU為單位。本文的做法是對LCU進行統計，如果LCU中存在運動部分，則對應LCU為運動感興趣區域。圖4（a）、4（b）和4（c）分別為BasketballPass序列第7幀中的濾波前運動區域、濾波后的運動區域和最終的感興趣區域。圖中白色為運動區域或者感興趣區域。

圖3　濾波窗口

2 HEVC中時空域感知量化

在編碼過程中，量化參數的調節直接影響到視頻的重建質量。如果編碼單元選擇粗量化，視頻重建質量較差，碼率較低；選擇細量化，視頻重建質量較好，碼率較高。本文首先根據編碼單元的DCT域JND計算相應的量化參數（QP），用公式表示為：

圖4　感興趣區域提取

式中，QPHEVC為HEVC編碼平臺所用的量化參數，ωn為調節因子，計算公式為：

式中，a，b以及c是常量［5］，取值分別為 a=0.7，b=0.6，c=4，JNDAvg表示DCT域JND的平均特征值。定義根據JND調節QP，QP的變化量為△QPJND，其計算公式為：

由于在HEVC編碼平臺中，如果不開啟量化組層編碼控制，即-dqd使能端，量化都是以最大編碼單元進行調節，也就是一個最大編碼單元里面的編碼單元共享同一個QP。而通過步驟1.2求出的運動感興趣區域是以8×8的塊為單位，有學者通過運動感興趣區域的面積調節QP，但是往往會造成那些有運動但又運動較小的區域得不到較好的保護。作者采取一種簡單溫和的策略，即如果當前編碼的LCU中包含運動區域則△QPMV=-2；否則△QPMV=2。用公式描述為：

式中，ROI表示運動感興趣區域，No ROI表示非運動感興趣區域。

由于在第一幀編碼時，無前一幀用來作為運動估計的參考幀，因此視頻序列的第一幀僅將空域JND作為視覺感知特性。而在第二幀及之后的編碼幀采用DCT域JND以及時域的運動特性作為最終的視覺感知特性。綜上，利用視覺感知特性調節 LCU編碼量化參數的策略為：

式中，n′、m′的取值跟編碼幀的幀號有關，如果編碼幀為第一幀，則 n′=1、m′=0；如果編碼幀非第一幀，則 n′=0.5、m′=0.5。同時為了保持最大編碼單元之間的視覺連續性，△QP被限制在區間［-2.0，+3.0］。

3 實驗結果及分析

本文所提出的方法在HM11.0上進行實現，采用全I幀編碼配置環境［12］，初始量化參數分別為22、27、32、37。為了驗證本文算法的普適性，選取了三種分辨率類型的序列，這三種分辨率分別為416×240、832× 480以及1920×1080。每種分辨率類型的序列選取兩個，這些序列有不同的運動程度，序列內容也由簡單到復雜。為了驗證本文算法的有效性，采用BDBR［13］評價其率失真性能。BDBR表示在相同的PSNR條件下節省的碼率，即BDBR負的越多表示在相同的PSNR條件下節省的碼率越多。

從表1中可看出，提出的算法不管是整幀的平均PSNR還是感興趣區域的平均PSNR均有很大的提升，整幀的平均PSNR提高了 0.12—0.46dB，感興趣區域的平均PSNR平均提高了 0.2—0.59dB。雖然編碼碼率稍有上升但是其率失真性能提高了，BDBR最小有3.8%的提升，最大有6.8%的提升。文獻［7］的編碼策略相對 HM11.0碼率節省了較多，然而 PSNR最小下降了0.64dB，最大下降了1.67dB。從編碼性能上可看出本文的算法優于文獻［7］。

表1　在Intra_main配置文件下的測試結果

圖5（a）、5（b）以及5（c）分別是BasketballDrive序列第2幀的彩色圖像、相應的JND圖像以及運動區域，從圖中可發現其運動區域和 JND圖像非常類似，在編碼過程中本策略傾向于對這些區域選擇細量化，而對既不是JND圖中的視覺興趣區域又不是運動區域圖中的運動區域選擇粗量化。如果不采用本策略，視覺顯著的區域和視覺非顯著的區域采取同樣的量化參數編碼，則會導致視覺顯著的區域發生的失真明顯大于視覺非顯著的區域。圖5（d）是采用本策略的最終編碼 QP圖，其和圖5（b）、圖5（c）非常吻合，圖中方塊越白，表示相應的編碼QP越小，反之亦然。圖5（d）之所以是以方塊為單位，是因為在實際編碼過程中，一個LCU及其里面的CU都是共享同一個QP對變換系數進行量化處理。

圖5 BasketballDrive第2幀彩色圖及相應的運動區域、JND圖、最終編碼QP

圖6（a）、（b）以及（c）分別是BQMall序列第43幀的彩色圖像、相應的JND圖以及運動區域。從圖中可看出DCT域JND求出的視覺顯著區域較多，這些區域往往是在對象的邊緣區域。如果用同一個量化參數對同尺寸的兩個編碼塊編碼，其中一個塊不具有邊緣信息，另一個塊具有邊緣信息，編碼后具有邊緣信息的編碼塊極有可能邊緣出現塊效應。而利用本策略，這些區域會選擇細量化，塊效應產生的概率也會很大程度上降低。本策略同時也考慮了運動對象，運動對象也會選擇細量化。BQMall序列相對BasketballDrive序列率失真性能提升較小，很大原因是由于求取的視覺顯著區域面積較大，如果全都采用細量化，編碼質量提升的同時勢必造成碼率的上升。如果編碼區域中視覺顯著區域與視覺非顯著區域各占一半這樣的編碼效果會更好，因為這些非視覺區域采用粗量化，編碼質量雖然略有下降，但下降速度沒有碼率下降的速度快，就如BasketballDrive序列。

圖6 BQMall第43幀彩色圖及相應的JND圖和運動區域

圖7（a）和7（b）是BasketballDrive以及BQMall這兩個序列在本文算法、HM11.0以及文獻［7］下的率失真性能對比圖。從圖中可看出本文算法的率失真性能明顯優于HM11.0以及文獻［7］的算法，從而驗證了本文算法的有效性。

圖7　率失真性能對比

4 結 論

本文在HEVC上提出了一種基于HEVC的時空域感知量化編碼策略，該策略考慮了時空域的視覺感知特性。首先在DCT域，考慮了JND模型，在編碼時能夠根據顯著性調節編碼過程中的量化參數。在時域，由于自然場景下的序列存在著各種各樣的對象運動，這些運動對象相對于靜止對象更容易引起人類視覺系統的關注。因此，借助運動估計求取視頻序列中的運動對象，再根據編碼塊中是否存在運動對象對編碼過程中的量化參數進行優化。最后對時空域優化的量化參數進行加權。實驗結果表明，本文算法在編碼率失真性能上具有較大提升，最大能提升6.8%，感興趣區域 PNSR最大能提升0.59dB。

［1］SULLIVAN G J，OHM J，HAN W J，et al.Overview of the high efficiency video coding（HEVC）standard［J］.IEEE Transactions on Circuits and Systems for Video Technology，2012，22（12）：1649-1668.

［2］OHM J R，SULLIVAN G J，SCHWARZ H，et al.Comparison of the coding efficiency of video coding standards—including high efficiency video coding（HEVC）［J］.IEEE Transactions on Circuits and Systems for Video Technology，2012，22（12）：1669-1684.

［3］HADIZADEH H，BAJIC IV.Saliency-aware video compression［J］.IEEE Transactions on Image Processing，2014，23（1）：19-33.

［4］LIY，LIAOW，HUANG J，et al.Saliency based perceptual HEVC［C］//2014 IEEE International Conference on Multimedia and Expo Workshops（ICMEW），Chengdu，2014：1-5.

［5］CHEN Z，GUILLEMOT C.Perceptually-friendly H.264/AVC video coding based on foveated just-noticeable-distortion model［J］.IEEE Transactions on Circuits and Systems for Video Technology，2010，20（6）：806-819.

［6］CABRITA A S，PEREIRA F，NACCARIM.Perceptually driven coefficients pruning and quantization for the H.264/AVC standard［C］//EUROCON-International Conference on Computer as a Tool（EUROCON），Lisbon，2011：1-4.

［7］KIM JH，BAE S，KIM M G.An HEVC-compliant perceptual video coding scheme based on JND models for variable blocksized transform kernels［J］.IEEE Transactions on Circuits and Systems for Video Technology，2015，25（11）：1-15.

［8］KIM J，KIM M.Analysis of the JND-suppression effect in quantization perspective for HEVC-based perceptual video coding［J］.IEIE Transactions on Smart Processing&Computing，2015，4（1）：22-27.

［9］MEDDEB M，CAGNAZZO M，PESQUET-POPESCU B.Region-of-interest-based rate control scheme for high-efficiency video coding［J］.APSIPA Transactions on Signal and Information Processing，2014，3：e16.

［10］ITTI L，KOCH C，NIEBUR E.A model of saliency-based visual attention for rapid scene analysis［J］.IEEE Transactions on Pattern Analysis&Machine Intelligence，1998，（11）：1254-1259.

［11］WEI Z，NGAN K N.Spatio-temporal just noticeable distortion profile for grey scale image/video in DCT domain［J］.IEEE Transactions on Circuits and Systems for Video Technology，2009，19（3）：337-346.

［12］BOSSEN F.Common HM test conditions and software reference configurations［C］//Proceedings of the 12th JCTVC Meeting. Geneva：JCTVC，2013：1-3.

［13］BJONTEGAARD G.Calculation of average PSNR differences between RD-Curves［EB/OL］.（2001-03-28）［2015-01-15］. http：//w ftp3.itu.int/av-arch/video-site/0104_Aus/

Spatial-tem poral Perception Quantization for HEVC

PENG Zongju1，ZOUWenhui2，CHEN Fen1，FEIMayan1
（1.Faculty of Information Science and Engineering，Ningbo Zhejiang University，Ningbo Zhejiang 315211，China；2.College of Electronic and Information Engineering，China West Normal University，Nanchong Sichuan 637009，China）

To solve the drawback of high efficiency video coding（HEVC）which ignores the property of human visual system in the process of video coding，a spatial-temporal perception quantization method is proposed in this paper.Three steps were taken in the experiment.First，just noticeable distortion（JND）in transform domain is obtained for input video sequence，and then used to calculate the quantization parameter（QP）for largest coding unit（LCU）.Second，motion area is extracted according to input video sequence by motion estimation.Yet due to the variety of noise in the natural sequence，motion estimation would not be accurate enough.Thus，a novel filter is proposed to weaken the influence aroused by noise.The motion area is regarded as region of interest（ROI）and used to adjust the QP.Third，the ultimate QP is obtained by weighting the QP calculated by JND and ROI.Experimental results showed that the proposed method improves the rate distortion performance and PSNR.For the same PSNR，the proposed approach can save 5.1%bit on average.Maximal bit rate saving can reach 6.8%.The PSNR in ROI can be improved by 0.20～0.59dB compared with the HEVC reference software.

high efficiency video coding；region of interest；perceptual coding；quantization parameter

TN919

A

10.16246/j.issn.1673-5072.2016.01.010

1673-5072（2016）01-0067-08

2016-01-28

國家自然科學基金（U1301257，61271270）

彭宗舉（1973—），四川南部人，教授，博士，博士生導師，主要從事圖像處理、3D視頻信號編碼與通信領域的研究。

彭宗舉，E-mail：pengzongju@nbu.edu.cn