高效的H.265/HEVC快速幀內編碼方法

何書前，余緒杭，鄧正杰

(1.海南師范大學 信息科學技術學院，海南 海口 571158；2.海南師范大學 信息網絡與數據中心，海南 海口 571158)

0 引 言

相對于H.264/AVC，高效視頻編碼H.265/HEVC幀內編碼采用了更加豐富的編碼單元結構組合、變換單元大小組合和35種編碼模式等高計算復雜度的編碼工具，帶來50%以上率失真性能的提升；其中，計算復雜度占比重最大的模塊是率失真最優化的編碼單元選擇，該部分計算復雜度占比達到了50%以上[1,2]。2020年7月7日下一代視頻編解碼標準H.266/VVC(versatile video coding)制定完成，相比于H.265/HEVC，針對4K/8K視頻應用率失真性能進一步提高一倍。當前，因視覺技術的成熟與發展，視覺傳感器網絡得到了廣泛的應用，節點數大，因此，急需投入成本低，消耗功率小，能夠達到實時高清視頻通信的具有一定產業基礎視覺終端。現階段能夠滿足該需求的唯有H.265/HEVC能夠符合。如何降低H.265/HEVC預測編碼的計算復雜度，實現視覺傳感器網絡的實時視頻通信，已成為當前視覺傳感器網絡大規模應用的研究熱點問題。預測編碼中幀內編碼方式在計算復雜度和降低功耗方面都比幀間編碼更有優勢，本文針對以上應用場景提出一種高效的幀內編碼方法。

1 相關研究現狀

近年來，很多學者在H.265/HEVC和H.266/VVC幀內優化領域取得了大量成果[3-20]，提出了多種快速幀內優化方法，在保持率失真性能較小損失的同時大大降低計算復雜度[3-6]。其中，Zhang Y等[3]基于空間相鄰編碼單元的紋理和編碼單元深度遞歸預測當前編碼單元的深度范圍，利用統計模型來優化提前中止和提前跳過編碼單元決策。Zhang T等[4]分別提取了深度差、Hadamard變換代價與率失真代價為特征，用于線性支持向量機執行CU拆分與中止決策。文獻[5]在每個編碼單元大小上設定提前終止條件，提出了一種基于分層方法的有效復雜度控制算法。Lim K等[6]利用圖像復雜度和自適應深度預測來進行早期分割CU決策，并在提前中止CU決策過程中使用了貝葉斯決策規則和二次判別分析。諸志龍等[7]分析了相鄰CU之間的統計相關性，融合已編碼幀率失真代價，用于更新CU決策算法參數，控制誤差傳播。Kim TS等[8]提出了一種使用分層和跳過方法的HEVC幀內預測的自適應快速模式決策算法。Tariq J等[9]使用Hadamard計算代價，并結合時空相關統計特性來改善初始模式范圍，也使用了最優停止理論預測提前中止決策。Podder PK等[10]通過引入人的視覺特征，有效地選擇合適的塊劃分模式來降低HEVC編碼器的時間復雜度。Correa G等[11]基于HEVC編碼樹塊(coding tree block，CTB)的動態約束，以解決權衡率失真性能條件下的計算復雜度控制問題。文獻[10-15]結合了編碼單元和模式選擇優化，進一步降低計算復雜度。最典型的方法是文獻[15]，結合了絕對變換差分低成本代價和Prewitt算子來估計率失真代價，減少預測幀內模式處理，大大降低了幀內模式選擇的計算復雜度。

近幾年，文獻[15-20]中引入機器學習方法，融合了多種解決方案。Xu M等[16]通過卷積神經網絡(convolutional neural networks，CNN)和長短期記憶(long short-term memory，LSTM)網絡抽取特征向量，直接預測獲得最佳的幀內與幀間編碼單元分塊結構，從而極大降低了預測編碼非最優模式的率失真計算復雜度。Sun HM等[17]則使用多種神經網絡模式來映射相鄰參考信息與當前傳統編碼模式的關系，以獲得更準確的最佳模式集合，降低了幀內編碼的比特率。Wang Y等[18]提出了一種用于幀內角度預測的多尺度卷積神經網絡，將角度預測信息與相鄰數據輸入神經網絡，得到更準確的預測塊，平均節省3.4%比特率。Dong X等[19]針對H.266/VVC幀內編碼環境，利用機器學習分類器針對集中特殊模式選擇進行提前判決，并結合提前終止算法，節省了計算復雜度。Zhang Q等[20]基于隨機森林分類器(random forest classifier，RFC)模型的快速編碼單元分割和基于紋理區域特征的快速幀內預測模式優化，節省了54.91%的編碼時間，BDBR幾乎不變。這類方法因其需要配置更多的計算和存儲資源支持深度神經網絡，無法在H.265/HEVC的視覺傳感器網絡推廣。

無論是編碼單元提前中止還是幀內模式判決，幀內預測編碼還有進一步的優化提升空間。本文利用不同編碼單元深度的非紋理(殘差編碼之外信息)代價和紋理(殘差編碼信息)率失真代價之間的關系，定義了一種編碼單元內容復雜度的判定準則。利用內容復雜度與編碼單元判決條件之間的關系，提出了一種簡單高效的H.265/HEVC幀內編碼單元提前中止閾值方法。同時，分析了最優編碼單元結構深度的統計特性和空間相關性，預測當前編碼單元最佳的初始編碼深度，節省了非最佳深度范圍的處理。

2 編碼單元深度分布統計分析

H.265/HEVC幀內預測過程是將待編碼幀分割為一序列相同大小的正方形編碼單元，每個編碼單元根據四叉樹的結構進行迭代分割，分割大小從64×64到8×8的尺寸，每個編碼單元再進行35種編碼模式的代價計算，最終選擇代價最小的編碼分割組合作為最佳的預測編碼結果。下面主要從非紋理信息與紋理代價的角度分析最佳編碼單元選擇結果。對編碼內容來說，包含不同對象的區域，選擇較大的編碼單元意味著較高的預測殘差，但編碼結構、模式和變換等非紋理信息則較小；相反，選擇較小的編碼單元和復雜的編碼分割結構將獲得更高的預測殘差精度，但要求傳輸更多的非紋理參數信息。

每個編碼單元模式選擇由量化參數和視頻內容決定。一般來說，小的編碼深度(大的編碼單元尺寸)更適合于平滑區域，而大的編碼深度(小的編碼單元尺寸)對高紋理復雜內容更有效。為了驗證以上的觀察結果，本文選擇3個紋理特征有明顯差異的視頻序列(BasketballDrill、Kimono和BQTerrace)進行驗證實驗測試，采用原始HM編碼器的全搜索率失真最優化幀內編碼模式選擇，量化參數為22、27、32和37，編碼幀數為50幀。結果見表1，最佳的編碼單元深度“0”、“1”、“2”和“3”的平均占比分別為19.8%、33.7%、19.9%和26.6%。對不同紋理復雜度的視頻序列各種比例也不一樣，如高紋理復雜序列“BasketballDrill”中，“0”深度的比重較小，在0.6%～1.7%的范圍；而與平滑內容的視頻序列“Kimono”比較，深度“0”為最佳編碼單元大小的比例較高(為25.6%～38.3%)。從以上數據可以得出：最佳編碼單元大小與視頻內容紋理復雜度有明顯的對應關系，可通過當前編碼單元內容復雜度預測最佳的編碼單元大小。另外，大多數編碼結果選擇前3個低深度最佳編碼單元，在高量化參數情況下更為明顯。以視頻序列“BQTerrace”為例，最佳深度“3”的比例變化較大，從量化參數22至37，占比差異達到了22%。根據H.265/HEVC編碼器中編碼單元編碼順序，即從“0”到“3”進行順序迭代分割編碼，最佳編碼單元深度為非“3”時，省略后續的編碼單元處理對最佳編碼選擇并無影響。同時，最佳編碼單元深度為“2”或“3”時，可省略“0”和“1”深度的計算復雜度。因此，可選擇最佳編碼單元深度范圍預測和提前中止方法，將在不改變編碼性能的情況下節省大量的編碼計算復雜度。

表1 最優編碼單元深度分布結果/%

3 幀內預測編碼單元提前判決方法

根據以上分析，本節將介紹基于非紋理信息與紋理代價關系提出的編碼單元大小提前中止閾值算法，并融合空間率失真代價統計特性，提出初始編碼單元深度預測算法，通過分級簡化幀內預測的四叉樹CU大小決策過程計算復雜度來加快編碼過程。

3.1 提前中止閾值方法

在幀內預測編碼中，編碼單元從最大64×64尺寸，分割為最小8×8單元尺寸，每個編碼單元固定用35種模式進行預測編碼，在編碼單元分割結構和模式表示所用的比特數與編碼結構深度存在單調線性關系。本文通過分析紋理信號和非紋理信息之間的關系，推導出一種編碼單元深度之間存在穩定關系的判別準則。根據紋理殘差和非紋理信息的分類，每個最大的編碼單元比特率由非紋理信息和紋理信息組成

R=Rnontexture+Rtexture

(1)

式中：Rnontexture為非紋理信息，包括了殘差信息之外的頭信息和量化參數等，Rtexture為紋理殘差信號經過變換量化和熵編碼得到的比特數。將式(1)代入率失真代價函數JRD=SSE(Qp)+λ×R， 其中SSE為失真平方和，率失真代價則分解為兩個部分

(2)

式中：JRDtexture、JRDnontexture分別為紋理代價和非紋理代價，紋理代價包含了殘差的失真和碼率，非紋理代價包含了非紋理信息，信息與失真通過歸一化參數λ統一尺度。非紋理信息由編碼單元的分割結構決定，即編碼單元深度越大，則編碼分割結構越復雜，非紋理信息則越多；因此，當前深度的非紋理信息小于下一層深度的非紋理信息，則非紋理代價深度間關系如下

JRDnontexture,dpi

(3)

(4)

從非紋理代價與編碼單元深度之間的關系，可以得到紋理代價與編碼單元深度之間的關系

JRDtexture,dpi>JRDtexture,dpi+1

(5)

其中， JRDtexture,dpi=SSEdpi(Qp)+λRtexture,dpi(Qp)， 由于JRDtexture,dpi

(6)

因此，存在一個確定最佳率失真代價的中止閾值TH，當TOC小于該閾值時，后續深度編碼可被省略而不影響編碼率失真性能。當然，也可以用計算復雜度換取一定的性能損失，為確定合適的TOC中止閾值，以最大限度降低CU編碼的計算復雜度的同時保證編碼性能不變。通過定義參數ω統一計算復雜度和編碼效率的尺度，將該優化問題構建為非約束的最優化問題。

首先，定義最佳的中止代價

J(TH)=PA(TH)+ω×TR(TH)

(7)

其中，在中止閾值TH確定之后，TR為計算復雜度縮小率(%)

(8)

PA表示中止閾值結果的準確率

(9)

一個合適的TOC閾值TH選擇，實現在較高的預測精度的情況下獲得較高的計算復雜度降低率。該最佳的優化問題可表述為

(10)

ω為預測精度和計算復雜度之間的權衡因子。以上最優函數的求解過程，可得

(11)

從式(11)，相對于TH、PA和TR之間存在耦合關系，即最佳中止閾值為PA增加率等于TR的降低率時的折中結果。在實際操作中，因PA和TR的取值范圍均為[0,1]，為簡化權重因子的選擇，將ω參數設置為1。式(11)則簡化為

(12)

如圖1所示，將TOC的分布取值與編碼結果統計PA、TR值對應分析，為視頻序列“Kimono”量化參數為27采集的數據，選擇最低的TOC值0.5時，預測精度保證100%，計算復雜度降低了12%；在測試實驗中保證預測精度80%以上，TOC的最佳中止閾值為0.6，以保證編碼性能。

圖1 PA和TR相對于TOC分布關系

3.2 初始最佳深度預測

幀內編碼從64×64的編碼單元大小執行率失真最優化編碼，直至8×8的編碼單元大小，選擇最優的編碼單元組合，存在最優深度范圍 [dpimin_o,dpimax_o]， 其中， dpimin_o為初始最小深度級，當深度級小于初始最小深度時，可省略當前深度級的代價計算。這里討論如何確定dpimin_o。 因率失真最優化選擇方法，該最優的深度范圍與每一深度級率失真編碼代價具有高相關性。首先得到64×64深度級的率失真編碼代價RDdpi=0， 如RDdpi=0小于預選閾值TRD0=α×min(RDopt,i)， 則判定該單元為平滑紋理單元，即最佳深度級為“0”；其中， RDopt,i為空間相鄰(上、左、左上、右上)已編碼單元的最佳率失真代價；如RDdpi=0大于預選閾值，最佳深度dpimin_o>0。 定義當前編碼單元深度為“0”時，以該“0”級代價區域分為4個編碼單元“0、1、2、3”，如圖2所示，第j個區域(j為0，1，2，3)的紋理復雜度為第j個“0”深度代價與該區域最佳代價比值： Cj=RDdpi=0,j/RDopt,j， 其中，因RDdpi=0,j≥RDopt， 則Cj≥1。 當前編碼單元最佳率失真代價預測值為相鄰編碼單元的最小代價

RDopt_pre=min{RDopt,i}

(13)

則可得當前單元的紋理復雜度預測值為： Cpre=RDdepth0,cur/RDopt_pre。 將相鄰編碼單元的紋理復雜度按升序排序： C1≤C2≤C3≤C4； 最優初始深度級可按照下式確定

(14)

dpimax_o的確定是上一節中介紹的提前中止閾值算法來確定。

圖2 深度層級關系

3.3 本文算法整體流程

從第2節分析中可知，各類深度為最佳分割單元所占的比重較為均勻，可采用分類處理的辦法節省計算復雜度。對于最佳深度為“0”或“1”的編碼單元，可采用提前中止后續深度單元的計算；對于最佳深度為“2”和“3”的編碼單元，可省略“0”和“1”深度單元的計算；從而達到降低計算復雜度的同時保持最佳編碼性能不變。本文的編碼單元優化算法具體流程如圖3所示，具體步驟如下：首先對“0”級深度進行率失真最優化代價計算，利用時空相鄰已編碼單元相關性信息，可提前確定“0”級最優選擇閾值，根據該閾值判定該“0”級代價是否符合最佳編碼單元；其次，“0”級率失真編碼代價與最優編碼單元分割存在相關性，利用該關系可準確預測最佳深度范圍的初始最小深度級，如當前編碼深度小于該最小深度級，則省略該編碼深度級的計算；最后，編碼深度級均未滿足以上2個條件，則進入當前深度級率失真最優化處理，可利用深度級之間的非紋理和紋理代價比值之間的固有線性關系，在保證達到最佳編碼深度級的前提下，提前中止后續編碼深度級單元的處理。

圖3 整體算法流程

4 實驗結果分析

本文中，選擇H.265/HEVC參考軟件平臺HM15，實驗中選擇默認的幀內率失真最優化預測編碼作為對比參考，并選擇H.265/HEVC幀內編碼單元快速選擇算法[15]進行比較。實驗中，編碼環境選擇為：全部為幀內編碼，最大編碼單元為64×64，最大的深度為4。采用JCT-VC推薦的5類視頻序列：A(4K×4K)，B(1080p)，C(WVGA)，D(QWVGA) 和E(720p)作為測試視頻。選擇4種量化參數22、27、32和37。編碼結果的對比參數指標選擇平均比特率變化BDBR(%)，平均峰值信噪比BD-PSNR(dB)和默認配置HM15的編碼時間縮小率

(15)

式中：TFast為快速算法得到的處理時間，THM為原始參考軟件模型得到的處理時間。

表2為本文方法中初始編碼單元深度預測和提前中止閾值方法的單獨比較。一方面，初始編碼單元深度預測實現了平均25%的編碼時間降低率，BDBR提高了0.34%，幾乎沒有損失編碼效率。對一些視頻序列，最佳編碼單元深度范圍比較集中，排除較多的非最佳深度編碼處理，帶來較大計算量的下降，如”Johnny”、“BQTerrace”、“Cacus”、“Kimono”和“ParkScene”視頻序列，降低計算量從17.7%至35.4%不等，最高1.14%的BD-Rate增加。以上數據表明，初始編碼單元深度預測有效預測當前編碼單元初始深度，準確判決最佳的“0”深度單元，在保證編碼性能不變的同時，降低了計算復雜度。另一方面，提前中止閾值實現40.28%的編碼時間降低率，BDBR增加了0.27%，損失相對初始編碼單元深度預測較少的編碼效率。對不同的視頻內容，由于紋理內容的特性不同，得到的結果也不一樣；如“PartyScene”、“Kimono”、“BasketballDrill”視頻序列包含較低的紋理復雜度，最大復雜度降低率達到了54.1%；而“BQTerrace”則包含較高的紋理信息，只獲得23.1%的計算復雜度減小率。對于大部分低紋理特性的視頻序列“Traffic”,“BasketballDrill”，“Cactus”，“PartyScene”，“Kimono”，“FourPeople”和“Johnny”，本文快速方法均實現了高于42%的計算復雜度降低率。而對于高紋理內容的視頻序列“BQTerrace”，“RaceHorse”和“BQMall”，計算復雜度節省率的范圍在23.1%～37.5%之間。因此，從以上分析可以得到，本文方法對紋理內容復雜度的準確預測，并提前中止后續的計算代價，引起0.27%的性能損失。

表2 本文方法與HM的對比結果

表3為聯合初始編碼單元深度預測和提前中止閾值方法的判決算法得到的結果，并與近年同類典型的算法[15]進行了比較。無論是編碼時間節省還是客觀的BDBR、BD-PSNR性能，本文方法均優于文獻[15]。在各類編碼性能均優于文獻[15]，相比于文獻[15]算法，編碼時間多節省了2.06%，BDBR節省了0.84%比特率，BD-PSNR提高了0.011 dB。對于各類(A，B，C，D和E)視頻測試序列，本文方法實現了34.5%～69.1%編碼時間的優化，編碼性能損失BDBR平均增加了0.49%，BD-PSNR損失了-0.039。而文獻[15]降低了39.6%～49.7%的編碼時間，增加了1.33%的BDBR，BD-PSNR損失了0.05 dB。在各類視頻序列中，本文方法因引入了“0”深度最佳編碼單元判決，相比于文獻[15]方法，帶來了較高的編碼時間節省，最高達到了69.1%，而文獻[15]方法最高只達到49.7%。綜上所述，聯合初始編碼單元深度預測方法，本文方法實現較高計算復雜度降低的同時，達到了編碼率失真性能幾乎不變的目標。

表3 本文方法與文獻[15]的對比結果

5 結束語

本文圍繞視覺傳感器網絡對視覺節點對視頻編碼器低成本、低功耗和低延時的需求，針對幀內預測編碼計算復雜度的優化問題，提出了一種高效的混合優化編碼方案。其中，分析了H.265/HEVC標準編碼單元深度的統計分布與視頻編碼內容之間的關系；采用省略非最優深度級的計算復雜度而不影響編碼性能的策略，提出了一種高效的快速幀內編碼算法。算法包括了兩個重要的編碼單元大小提前中止方法：①利用64×64編碼單元的率失真代價，提前判決64×64是否為最佳深度，并精確預測初始最小深度級；②以非紋理復雜度和紋理率失真復雜度的比重為基本判決準則，推導出該準則與編碼單元深度之間存在一種單調遞減關系。利用判決準則與編碼單元深度之間的關系，提出了編碼單元最佳的提前中止閾值方法。實驗結果顯示，對于各類不同的視頻內容序列，本文方法在保持編碼性能不變的情況下，計算復雜度平均降低了48.74%。