基于失真傳遞的時域自適應量化算法

殷海兵,王鴻奎，王忠霄

(中國計量大學 信息工程學院， 浙江 杭州 310018)

基于失真傳遞的時域自適應量化算法

殷海兵,王鴻奎，王忠霄

(中國計量大學 信息工程學院， 浙江 杭州 310018)

碼率控制是視頻編碼器中的關鍵模塊，其算法直接決定編碼器率失真性能.視頻編碼幀間預測導致的編碼失真會在時域產生傳遞效應，考慮該傳遞效應是優化碼率控制算法性能的關鍵.宏塊樹碼率控制是一種典型的時域量化控制算法，核心是根據編碼單元失真傳遞量(相對傳遞代價ρ)自適應地調整量化參數(偏移量δ)，合適的δ-ρ映射關系是宏塊樹量化控制算法的核心.宏塊樹算法采用基于經驗的δ-ρ模型，對不同視頻序列的普適性有待改進，模型準確度和精度也需進一步優化.針對上述問題，將競爭決策方法用于探索最優δ-ρ映射關系，提出了一種率失真性能優化的失真時域傳遞自適應量化δ-ρ模型，以改進時域自適應量化算法.實驗結果表明，信噪比BD-PSNR較原模型提升了0.14 dB以上，SSIM性能提升了0.29 dB.算法能更好地控制碼率時域分配，降低失真時域傳遞惡化.

視頻編碼；碼率控制；率失真優化；失真傳遞；競爭決策

A temporally adaptive quantization algorithm with constrained distortion propagation in video coding. Journal of Zhejiang University(Science Edition), 2017,44(1):057-063

0 引 言

視頻編碼器是數字電視、視頻監控、網絡流媒體等數字媒體應用中重要的源端設備.碼率控制是視頻編碼器中非常重要的算法可定制模塊，其任務是為各編碼單元選擇合適的量化參數[1-2].量化直接決定編碼失真和碼率，碼率控制算法則直接決定編碼器的率失真性能[1-3].視頻編碼器通常將視頻依次分為GOP、幀和編碼塊等粒度編碼單元，碼率控制也常通過多層次量化調整實現量化控制[1,4].目前，已有的碼率控制算法通常不考慮或弱化編碼單元之間的依賴，單獨進行算法設計和優化[4].

實際上，視頻編碼存在復雜度的多層次空時域依賴，如：幀內預測導致的編碼單元失真會發生空域傳遞，幀間預測導致的失真則在時域產生傳遞效應；上下文自適應熵編碼會導致鄰近編碼單元之間編碼碼率消耗相互依賴，不再滿足傳統編碼單元相互獨立的假設.編碼單元之間依賴的全局優化成為提高性能的關鍵.動態規劃優化適用于存在失真碼率傳遞效應的編碼算法優化，如考慮幀間依賴的幀級量化控制以及塊內系數依賴的率失真優化量化等[4].因編碼參數眾多，且關聯復雜度隨動態規劃網格數的增加而劇增，故無法應用于多層次和同時優化多編碼單元的編碼參數[3-4].

近年來，一些學者對空時域依賴全局算法優化開展了研究.LIU等[5]提出了時域失真傳遞失真模型，優化可伸縮編碼碼率分配.陳杰等[6]分析并重建了圖像失真與當前幀及參考幀q的關系，并研究參考幀壓縮導致的失真對總體失真的影響.一些文獻基于幀級編碼失真和源端誤差及參考失真之間的關系，構建了時域傳遞失真模型，優化了幀級碼率控制算法：如PANG等[7]構建了幀級失真傳遞模型[8]，文獻[8]基于DCT系數混合分布模型，構建了幀級依賴率失真模型；朱策等[9]建立了源端失真傳播模型，通過估計當前編碼單元對后續單元的影響，調整當前單元編碼參數以實現優化.率失真優化是視頻算法設計的理論基礎[10]，率失真性能是視頻算法性能的評判標準[11].感知失真度量和感知編碼是視頻算法設計和優化需要考慮的重要因素[11-14].

工業界也在視頻編碼優化方面做了有益探索，如廣泛應用的x264編碼器，采用基于感知的模糊復雜度模型、時域MBTree和空域VAQ感知量化技術[15]；這些算法雖在一定程度上提升了x264的編碼性能，但往往是基于經驗方法構建的算法模型.MBTree算法度量反映每個編碼單元時域失真傳遞大小的參數ρ，即“相對傳遞代價”.根據ρ確定量化參數調節量δ.該算法的關鍵是如何度量ρ，以及采用何種自適應調整策略，即確定δ-ρ函數.ρ越大的編碼單元，失真時域傳遞量越大.從時域碼率分配優化角度看，應該控制δ-ρ函數，減小量化參數，減小失真以降低失真傳遞惡化，從而實現時域量化控制優化.目前，默認δ-ρ模型采用基于經驗的log函數，缺少理論依據；實驗結果表明，該簡單log函數不能準確刻畫最優函數關系，模型對于不同視頻序列的普適性有待改進，這一不足在很大程度上影響了MBTree算法性能的充分發揮.

針對上述問題，將競爭決策方法應用于探索最優δ-ρ模型，收集大量最優(ρ,δ)樣本數據，進行離線分析，提出一種率失真性能優化的δ-ρ模型.下文安排如下：第1節分析時域自適應量化控制算法框架及其不足；第2節給出基于競爭決策的δ-ρ新模型及其量化控制算法；第3節給出實驗結果；第4節為總結與展望.

1 MBtree算法分析

1.1 相對傳遞代價ρ

MBTree算法基于視頻預分析的結果，度量各編碼單元相對傳遞代價ρ.預編碼分析在幀滑動窗內進行，滑動窗由當前幀及若干鄰近幀組成.基于滑動窗內降采樣原始圖像進行預編碼分析，采用預測誤差SATD度量幀內和幀間預測代價ζintra和ζinter，以及幀間運動預測的參考傳遞代價γpropagate，基于這些參量計算編碼單元時域失真的相對傳遞代價ρ：

(1)算法的關鍵是如何度量參考傳遞代價γpropagate.假設當前幀s中位于(i,j)處的編碼單元標記為(s,i,j)，其γpropagate的估計和傳遞過程如圖1所示，分析如下：

①估算用SATD度量的幀內、幀間預測代價ζintra和ζinter；若ζinter<ζintra，令ζinter=ζintra；

②計算當前單元的代價傳遞權重系數ωpropagate:

(2)

③估算當前單元可以傳遞給參考幀位移匹配塊的總體傳遞代價量γamount：

γamount(s,i,j)=[ζintra(s,i,j)+γpropagate(s,i,j)]×

ωpropagate(s,i,j).

(3)

γpropagate為當前單元(失真傳遞目標塊dst)被所有鄰近塊(失真傳遞源塊src)預測參考產生的傳入參考代價γin(dst,src)之和，如⑤步分析.

④當前單元在鄰近幀中的匹配塊可能覆蓋4個塊(t1,pf,qf)，f=1～4，按照實際參考像素面積估算代價傳遞權重Λ(dst,src)，根據權重按比例分配γamount，計算t1幀4個塊(t1,pf,qf)，參考當前編碼單元(s,i,j)產生的傳入代價γin(t1,pf,qf;s,i,j)，計算如下：

γin(t1,pf,qf;s,i,j)=γamount(s,i,j)×

Λ(t1,pf,qf;s,i,j).

(4)

⑤如圖1所示，假設鄰近幀有k個圖像塊(rk,mk,nk)，部分或全部地參考了當前單元(s,i,j)，按式(4)分別計算傳入參考代價γin(s,i,j;rk,mk,nk)，然后計算鄰近參考幀匹配塊傳遞給當前單元的參考傳遞代價γpropagate：

(5)

⑥計算當前圖像單元的ζintra，ζinter和γpropagate，根據式(1)計算相對傳遞代價ρ，然后根據式(6)計算量化參數偏移量δ，用于調整當前編碼單元量化參數.

δ=5(1-qcompress)×log2(1+ρ).

(6)

圖1 參考傳遞代價估算及分配傳遞過程示意圖(k=1,2,…,k)Fig.1 Diagram of estimation, distribution and transferprocess for reference propagation cost(k=1,2,…,k)

1.2 傳統δ-ρ模型的不足

式(6)中采用log函數描述相對傳遞代價ρ和量化偏移量δ之間的關系.qcompress是基于經驗預先設置的值，默認為0.6.圖2是qcompress分別取0.3，0.6，0.9時的δ-ρ圖.

實驗結果表明，MBTree算法的性能因序列特征不同而變化，少數序列性能提升很小甚至無提升，如表1所示.這是因為不同序列對應的最優δ-ρ不同，而MBTree算法默認的δ-ρ模型基于經驗因而相對粗糙，從而限制了其應用，不利于進一步優化建模.本文嘗試探索更精細的模型以描述δ-ρ的關系，這對于改進MBTree時域量化控制算法有積極意義.

圖2 不同qcompress情況下的δ-ρ映射曲線Fig.2 The δ-ρ mapping functions in the casesof different qcompress

序列log模型PSNR提升量/dB本文未迭代PSNR提升量/dB一次迭代PSNR提升量/dB二次迭代PSNR提升量/dBlog模型SSIMdB提升量/dB未迭代SSIMdB提升量/dB一次迭代SSIMdB提升量/dB二次迭代SSIMdB提升量/dBBridge?close0．67140．66240．72340．75250．43220．47280．51820．5454Mobile0．38720．24030．0202-0．10690．85520．92190．92530．8824News1．25411．30271．30841．24551．20221．29131．36771．3248Paris1．81581．85031．87411．82991．47701．57831．66311．6902Highway-0．0891-0．0626-0．0388-0．09530．07720．09870．12390．1256Bridge?far-0．2056-0．04060．01830．08880．05230．13290．13870．1589Foreman0．42300．45950．42470．46910．34770．44460．50520．5917Coastguard0．21290．17580．14430．10670．33560．37360．34890．3265Container0．58930．66040．72770．72290．33570．47180．55170．5767Hall0．28960．42200．43800．45430．30050．44840．50880．5920平均0．53480．56700．56400．54670．54160．62340．66520．6814

2 基于競爭決策的δ-ρ模型

2.1 ρ樣本統計特性

基于多個視頻序列收集了大量ρ樣本，統計分析結果如圖3所示.發現ρ主要集中在30之內，大于30的樣本所占比例極小.實驗測試證明，小比例范圍的δ-ρ函數，模型精度對算法影響極小，因此本文重點關注ρ∈[0,30]區間，根據收集的最優δ-ρ樣本對，采用競爭決策方法離線分析構建的δ-ρ函數模型.

圖3 ρ值柱狀分布圖Fig.3 The histogram of ρ

2.2 基于競爭決策的建模

競爭決策算法[16]基于競爭機制和決策原理，利用競爭決策優化確定最優結果，是一種尋優算法.實際上，競爭決策是多個競爭者經過多次競爭和決策后達到最優競爭均衡狀態的過程.對于每個輸入的ρ值，有多個可能的候選競爭者δ，有且僅有一個最優的δ值與之對應，使得率失真性能最優.基于此，本文擬采用競爭決策方法離線探索優化的δ-ρ模型.

為了得到最優δ-ρ模型，擬對ρ進行分段優化競爭，分別分段尋找率失真性能最優的δ值.假設ρ取值區間為[0,T]，將該區間等分成N段(索引為i)，第i段對應的ρi可表示為

(7)

每段ρi對應的δ值標記為κi=f(ρi)，初始值由式(6)確定，但初始值對應的性能并非最優；本文試圖給第i段κi施加一個偏移量ωi，得到調整后的δ值κi′=κi+ωi.采用競爭決策為κi選擇最優ωi：假定在κi基礎上ωi可上下偏移的最大值為Δδmax，將這個動態范圍分為M個子段(M為奇數)，每個子段索引為j；第j子段對應的ωi記為ωij,算式如下：

(8)

在第i段優化過程中，其他段ρi取式(6)確定的默認偏移量.因此，對于第i段ρi而言，M個子段確定了M個可能競爭者ωij,在第i段M個競爭者確定的子段優化過程中，各段和子段對應偏移量κl′(j)：

(9)

(10)

(11)

(12)

然后進行第i+1段競爭決策，直到得到所有N段對應點(ρi,δi)，即為δ-ρ新模型.

算法流程如下：

(1)確定競爭者：根據式(7)將[0,T]內ρ值分成N段，由式(9)對每段ρi計算M個競爭者ωij，如圖4所示.實驗表明，T，N和M分別取30，120和21時，能獲得較滿意的精度，此時Δδmax為5.25.

(3)計算競爭力：由競爭力函數式(10)，計算各競爭者的率失真性能，如圖5所示.

圖4 競爭者示意圖Fig.4 Competitors in CDA based model building

圖5 決策函數示意圖Fig.5 The competition function

圖6 競爭決策示意圖Fig.6 Flow diagram of CDA based model building

2.3 改進的量化控制算法

競爭決策每次迭代得到新的δ-ρ模型，體現為N段分段函數，各段縱坐標δ值相同.以i為區間索引，創建大小為N的一維數組δ[i].對當前編碼單元按照1.1節步驟計算ρ值，并計算數組索引i：

(13)

數組δ[i]中存儲的是時域量化偏移量δMBTree，方差自適應量化(VAQ)算法確定空域量化偏移量δVAQ，兩者共同調節幀級量化參數Qpfrm，得到最終量化系數Qpfinal，如式(14)所示，實現了宏塊級自適應量化控制.

Qpfinal=Qpfrm+δVAQ+δMBTree.

(14)

3 實驗結果

文獻[9]提出的算法和時域MBTree量化算法相對類似，該算法應用在AVS參考代碼中，不同標準的參考代碼性能之間存在的差異是由眾多因素決定的，跨平臺特定模塊算法性能之間的比較缺乏公平性.考慮到x264是工業界性能最好的H.264/AVC編碼器，本文算法在x264平臺MBTree算法基礎上做了改進，所以將MBTree作為比較算法性能時的參考.

本文基于x264平臺進行算法性能驗證，設置編碼參數為：presetslower-bframes2-slow-firstpass.圖7～9分別給出了hall序列3次競爭決策算法得到的δ-ρ模型，以MBTree算法中原始模型作為對比.圖10分別給出了關閉MBTree算法、使用原log模型和使用本文二次迭代模型時的幀級失真結果.圖11與12給出了上述3種算法的率失真性能對比.結果表明，二次迭代的模型對MBTree算法的主客觀性能都有較明顯的提升；另外，如圖10所示，在幀級失真波動與log模型相似的情況下，序列前面圖像幀失真明顯降低，表明本文算法的時域碼率分配調節發揮了作用.

圖7 未迭代的δ-ρ模型Fig.7 The δ-ρ model without iteration

圖8 一次迭代的δ-ρ模型Fig.8 The δ-ρ model with one iteration

圖9 二次迭代的δ-ρ模型Fig.9 The δ-ρ model with two iterations

圖10 幀級失真波動Fig.10 The frame-level distortion fluctuation result

圖11 率失真曲線(PSNR)Fig.11 The rate distortion curve (PSNR)

圖12 率失真曲線(SSIMdB)Fig.12 The rate distortion curve(SSIMdB)

為了綜合評判算法性能，對10個常用的標準序列進行測試，率失真性能結果如表1所示.SSIM被廣泛用于評價主觀質量[12-13]，這里參考PSNR的定義，將SSIM分數經-10×log10(1-SSIM)轉化為dB度量的SSIM值(SSIMdB)，用于比較算法的主觀圖像質量.實驗結果表明：大多數序列情況下本文模型的主客觀性能都有提升，BD-PSNR最大可提高0.14dB；SSIMdB最大可提高0.29dB，平均可提高0.14dB，且隨著迭代次數的增多，性能也有所提升.對于一些原始MBTree算法客觀性能損害的bridge-far序列，本文模型相較于log模型，其BD-PSNR性能提升了0.28dB.另外，多次迭代模型在BD-PSNR方面提升較少，但SSIMdB提升較顯著.表明經過迭代的模型能更好地實現時域感知量化控制，提升主觀視頻質量.

本文提出的模型可應用于實時編碼器.將離線獲得的模型存儲在表格中，在實際視頻編碼時，通過查表獲得不同ρ值對應的δ值.該模型與傳統的log函數模型復雜度接近.

4 結 語

視頻編碼幀間預測導致的失真在時域發生傳遞效應，考慮此時域失真依賴是提高碼率控制算法性能的有效方法.x264中MBTree算法根據失真傳遞的相對代價ρ，度量宏塊被參考的重要性程度，由簡單的log函數模型計算量化偏移量δ，實現了宏塊級自適應碼率控制.但是，原算法中δ-ρ模型基于經驗獲得，尚待進一步優化.針對該問題，本文將競爭決策方法應用于探索優化的δ-ρ映射關系，提出了一種率失真性能優化的δ-ρ模型.實驗證明，相較于原log模型，本文模型在主客觀性能上均有明顯提升，同時有效改善了序列頭部失真的狀況.本文δ-ρ模型針對各個序列單獨優化，分析序列特征、構建內容自適應的數學模型，是下一步研究的目標.

[1]LIB,LIHQ,LIL,etal.λdomainratecontrolalgorithmforhighefficiencyvideocoding[J]. IEEE Transactions on Image Processing, 2014,23(9):23-50.

[2] LEE B, KIM M, NGUYEN T Q. A frame-level rate control scheme based on texture and nontexture rate models for high efficiency video coding[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2014,24(3):465-479.

[3] YIN H B, YANG E H, YU X. Fast soft decision quantization with adaptive preselection and dynamic trellis graph [J]. IEEE Transactions on Circuits and Systems for Video Technology, 2015,25(8):1362-1375.

[4] RAMCHANDRAN K, ORTEGA A, VETTERLI M. Bit allocation for dependent quantization with applications to multi resolution and MPEG video coders[J]. IEEE Transactions on Image Processing, 1994,3(5):533-545.

[5] LIU J Y, CHO Y, GUO Z M, et al. Bit allocation for spatial scalability coding of H.264/SVC with dependent rate-distortion analysis [J]. IEEE Transactions on Circuits and Systems for Video Technology, 2010,20(7):967-981.

[6] 陳杰,虞露.視頻編碼中考慮參考幀質量的重建圖像失真模型[D].杭州：浙江大學，2012. CHEN J，YU L. The Distortion Model of the Reconstructed Picture Considering Reference Frame in Video Coding[D]. Hangzhou: Zhejiang University, 2012.

[7] PANG C, AU O C, ZOU F, et al. An analytic framework for frame-level dependent bit allocation in hybrid video coding [J]. IEEE Transactions on Circuits and Systems for Video Technology,2013,23(6):990-1002.

[8] WANG S S, MA S W, WANG S Q, et al. Rate-GOP based rate control for high efficiency video coding [J]. IEEE Journal of Selected Topics in Signal Processing, 2013,7(6):1101-1111.

[9] 朱策,周益民,李帥,等,基于信源失真時域傳播的視頻編碼率失真優化(AVS-M3406)[C]//The 49th Meeting of AVS. 大連：大連理工大學，2014. ZHU C, ZHOU Y M, LI S, et al. Rate distortion optimization for video coding based on source-end distortion propagation Chain (AVS-M3406)[C]//The 49th Meeting of AVS. Dalian: Dalian University of Technology,2014.

[10] ORTEGA A, RAMCHANDRAN K. Rate-distortion methods for image and video compression [J]. IEEE Signal Processing Magazine, 1998,15(6):23-50.

[11] LEE J S, EBRAHIMI T. Perceptual video compression: A survey [J]. IEEE Journal of Selected Topics in Signal Processing, 2012,6(6):684-697.

[12] 蔣剛毅,朱亞培,郁梅，等.基于感知的視頻編碼方法綜述[J].電子與信息學報,2013,35(2):474-483.

JIANG G Y, ZHU Y P, YU M, et al. Perceptual video coding: A survey[J]. Journal of Electronics & Information Technology, 2013,35(2):474-483.

[13] 崔子冠,朱秀昌.基于結構相似的H.264主觀率失真性能改進機制[J].電子與信息學報,2012,34(2):433-439. CUI Z G, ZHU X C. Subjective rate-distortion performance improvement scheme for H.264 based on SSIM[J]. Journal of Electronics & Information Technology,2012,34(2):433-439.

[14] 鄭明魁,蘇凱雄,王衛星，等.基于視覺感知的高效視頻編碼標準幀內量化矩陣優化方法[J].電子與信息學報,2014,36(12):2861-2868. ZHENG M K, SU K X, WANG W X, et al. An improved intra quantization matrix for high efficiency video coding based on visual perception[J]. Journal of Electronics & Information Technology, 2014,36(12):2861-2868.

[15] JASON G. A novel macroblock-tree algorithm for high-performance optimization of dependent video coding in H.264/AVC [EB]. http://x264.nl/developers/Dark_Shikari/MBtree%20paper.pdf.

[16] FUSS I G, NAVARRO D J. Open parallel cooperative and competitive decision processes: A potential provenance for quantum probability decision models [J]. Topics in Cognitive Science, 2013,5(4):818-843.

YIN Haibing, WANG Hongkui, WANG Zhongxiao

(CollegeofInformationEngineering,ChinaJiliangUniversity,Hangzhou310018,China)

Rate control is crucial to rate distortion performance optimization in video coding design. In video coder, temporal prediction bring about distortion propagation along adjacent frames, and it is an efficient way to further improve the video coding efficiency by taking the temporal distortion dependency into consideration. The MBTree rate control is a typical temporal quantization control algorithm, in which the quantization parameter offsetδis employed for quantization adjustment according to the distortion propagation amount, i.e. the relative propagation costρ. An appropriateδ-ρmodel is therefore the key for the MBTree-like adaptive quantization algorithm. Nevertheless, the currentδ-ρmodel in MBTree algorithm is designed in an empirical way with rough accuracy. This model has unsatisfactory universality to different video sequences, thus there is still room left to be improved. This paper focuses on this problem and applies the competitive decision mechanism in exploring the optimizedδ-ρmodel, and then proposes an improvedδ-ρmodel with rate distortion optimization. The simulation results show that the improved MBTree algorithm based on the proposed model can achieve up to 0.14 dB BD-PSNR improvement and 0.29 dB SSIM improvement. The proposed algorithm can also implement better bit allocation in temporal domain and reduce the temporal distortion fluctuation, achieving adaptive quantization control.

video coding; rate control; rate distortion optimization; distortion propagation; competitive decision

2016-01-03.

國家自然科學基金資助項目(61572449)；浙江省自然科學基金資助項目(LY15F020022, LY13H180011).

殷海兵(1974-)，ORCID:http://orcid.org/0000-0002-3025-0938,男，碩士，教授，主要從事數字視頻編解碼研究，E-mail:haibingyin@163.com.

10.3785/j.issn.1008-9497.2017.01.009

TN 919

A

1008-9497(2017)01-057-07