視頻主觀觀測實驗啟發的HEVC 感知幀內碼率控制

公衍超，王玲，劉穎，楊楷芳，林慶帆,4，王富平

（1.西安郵電大學通信與信息工程學院，陜西 西安 710121；2.無線通信與信息處理技術國際聯合研究中心，陜西 西安 710121；3.陜西師范大學計算機科學學院，陜西 西安 710119；4.新加坡Maschine Technology 有限公司，新加坡 787820）

1 引言

視頻作為重要的信息傳輸載體，已經被廣泛應用于人們的日常生活。在實時的視頻通信系統中，傳輸信道的帶寬通常是有限且時變的，如何在滿足信道帶寬限制的條件下盡可能提高視頻的質量，是一個被廣泛關注的研究問題。為了解決這一問題，碼率控制技術[1]應運而生。碼率控制技術的基本原理是綜合考慮編碼視頻內容特性、信道帶寬大小、緩存器狀態等因素，給編碼視頻選擇一組最優的量化參數（QP,quantization parameter）。使用這組QP編碼視頻后所產生的碼率最接近信道帶寬大小的同時，其對應的重建視頻的質量最高。

隨著硬件技術、信息處理技術等的飛速發展，在各類視頻系統中，高清視頻及其設備已經被普及。為了提高高清視頻的編碼效率，高效視頻編碼標準（HEVC,high efficiency video coding）被廣泛應用[2]。在HEVC 標準化過程中，研究者先后提出了基于碼率與QP 二次模型的碼率控制算法、基于ρ域的碼率控制算法和基于λ域的碼率控制算法[3-4]，其中，ρ表示預測變換量化后取值為0 的系數的百分比，λ表示拉格朗日因子。由于基于λ域的碼率控制算法具有更加高效的碼率控制性能，因此其被HEVC 采用[5]。

文獻[1,5]從拉格朗日率失真優化角度分析指出，相比于傳統使用的QP，λ與碼率的關系更加密切，通過調整λ可以獲得更加精確的碼率值。基于此，文獻[1,5]提出了基于λ域的碼率控制算法，其算法過程主要包括目標比特分配及QP 確定兩大部分，即由分配的目標碼率獲得λ，再由λ得到最終編碼的QP。文獻[6-8]針對文獻[1,5]中的一些算法細節進行了進一步的改進。針對幀內圖像，文獻[6]提出了一種基于絕對變換誤差和（SATD,sum of absolute transformed difference）[9]的最大編碼單元（LCU,largest coding unit）級碼率控制算法。該算法將哈達瑪變換后的SATD 作為復雜度衡量測度，根據LCU 的SATD 占剩余未編碼LCU 的SATD 的比重為每個LCU 分配合適的目標比特。文獻[7]考慮圖像所處的時間層和視頻內容特性的影響，提出了一種在編碼過程中自適應更新計算圖像目標比特分配權重的方法。為了在碼率控制過程中獲得更好的編碼率失真性能，文獻[7]構建了失真與λ的關系模型，并進一步結合已有的碼率與λ的關系模型，從率失真優化的角度出發針對LCU 級的碼率控制提出了考慮視頻內容特性的最優比特分配方法。目前，文獻[1,5-8]提出的算法由于高效的編碼性能已經被HEVC 采用并集成到最新的測試模型HM[10]中。

但是上述算法[1,5-8]都是在優化編碼視頻的客觀率失真性能，沒有考慮人類視覺系統（HVS,human visual system）感知特性對于編碼重建視頻質量的影響。在視頻通信系統中，重建視頻的最終接收端通常是人眼。所以理論上，考慮HVS 相關感知特性，以優化重建視頻感知率失真性能為目標的感知碼率控制算法可以獲得更好的編碼性能及用戶感知體驗。因此，針對HEVC 標準，一些考慮HVS 感知特性的感知碼率控制算法被相繼提出[11-18]。

文獻[11]把LCU 分成背景LCU 和前景LCU，并根據分類信息調整編碼QP 以提高重建視頻的感知質量，但是，在性能測試時還是以峰值信噪比（PSNR,peak signal to noise ratio）為質量測度。面向感興趣區域（RoI,region of interest）視頻編碼應用，文獻[12]提出了一種基于離散傅里葉變換系數模型和徑向基函數神經網絡的碼率控制算法，使用均方誤差（MSE,mean square error）作為質量測度用于率失真優化過程指導λ與QP 的選擇。文獻[13]采用梯度衡量圖像中不同編碼樹單元（CTU,coding tree unit）的復雜度，并在幀內圖像CTU 碼率分配及QP 確定中考慮CTU 的梯度信息，最終為不同復雜度的CTU 分配優化的QP，但是在性能測試時也是以PSNR 為測度衡量人眼的感知質量。目前，大量研究已經表明，PSNR 或MSE 等不考慮HVS 感知特性的質量測度與人眼的感知質量一致性較差[14-16]。所以文獻[11-13]中報道的感知率失真性能的提升還有待商榷。

文獻[14-18]使用了一些考慮HVS 相關感知特性的質量測度以提高碼率控制的感知率失真性能。針對幀內圖像，文獻[14]以結構相似度（SSIM,structural similarity）為質量測度，提出了一種CTU級的目標比特分配方法。同樣以SSIM 為失真測度，文獻[15]首先提出了LCU目標比特分配權重計算方法，并創建了與SSIM 匹配的新的碼率與λ的關系模型用于指導λ與QP 的計算。面向幀內圖像，文獻[16]采用感知加權均方誤差（PWMSE,perceptually weighted mean squared error）代替MSE，建立了碼率與感知加權失真的關系模型，然后基于此率失真模型應用拉格朗日率失真優化理論推導得到感知加權因子，并最終利用感知加權因子指導CTU 級的目標比特分配。文獻[17]提出了一種基于感知敏感測度（PSM,perceptual sensitivity measurement）的面向HEVC 幀間圖像的感知碼率控制方法，圖像中的每個CTU 都對應一個PSM，PSM的取值與CTU 的空時復雜度及其對應的MSE 線性相關，PSM 的大小反映了人眼對于當前CTU 的感知敏感程度，將PSM 應用于目標比特分配中以提高碼率控制的感知率失真性能。文獻[18]采用一種經典的面向圖像的考慮亮度掩蓋與紋理掩蓋的像素域恰可感知失真（JND,just noticeable distortion）模型[19]作為失真的基本衡量，然后基于此JND 模型構建了相應的率失真模型，并將其應用于HEVC碼率控制中，以提高編碼視頻的感知率失真性能。但是由于包含了像素域JND 的計算過程及基于KKT（Karush-Kuhn-Tucker）條件的最優λ集合搜索方法等步驟，文獻[18]提出方法的復雜度比較高。

相比于PSNR、MSE 等測度，SSIM、PWMSE、PSM、JND 考慮了部分HVS 感知特性，所以其與人眼感知質量的一致性相對較好。PSNR 與MSE 是以像素為基本單元進行計算的。但人眼在實際觀測視頻質量時，不可能精確地觀測到像素點的差異，而是以圖像中的區域或者物體為基本單元感知視頻的質量。SSIM 是以圖像區域為基本單元進行計算的。PWMSE、PSM、JND 在創建時考慮了HVS 的部分感知特性，例如掩蓋效應。但是HVS 的質量感知是一個高度復雜的過程，目前對其運行機理、感知特性等方面的生理心理學研究還處于初始階段[20]。所以僅模型化部分HVS 感知特性的SSIM、PWMSE、PSM、JND等測度與人眼實際感知質量還是有一定的差距[20-23]。另外，目前對于JND 的研究主要集中在對第一個JND等級（JND1）的研究[19-20,24-25]。JND1 只能反映感知有損對應的失真閾值，要進一步衡量感知有損以上的失真等級，得到一個完整的失真衡量測度，則需要創建多JND 等級模型[20-23]。多JND 等級是目前理論上最接近人眼感知的失真測度。但是受限于HVS 的相關基礎研究，目前對多JND 等級的研究進展緩慢。綜上，雖然相比于HEVC 原始碼率控制算法，采用SSIM、PWMSE、PSM、JND 等作為失真測度基于拉格朗日率失真優化理論思路提出的碼率控制算法[14-18]在一定程度上提升了碼率控制的感知率失真性能，但其提升的空間有限。

在設計感知視頻編碼算法時，除了上述提到的采用某一具體感知失真測度基于拉格朗日率失真優化的思路外，還有一種切實可行的思路是設計視頻主觀觀測實驗[20]，即針對具體感知問題，設計匹配的主觀觀測實驗，然后在主觀觀測結果的指導下設計相關的感知算法。此思路需要設計合適的視頻主觀觀測實驗，在獲得人眼感知準確結果的同時有效規避了質量測度問題。本文采用設計視頻主觀觀測實驗的思路，考慮視頻內容特性及其對應的感知特性，提出了一種面向HEVC 幀內圖像的LCU 級感知碼率控制算法。

2 所提算法

本節對所提算法進行詳細說明。首先描述衡量視頻空時域復雜度的測度，然后結合此測度說明視頻主觀觀測實驗的設計及視頻內容空時域感知敏感因子的構建，最后說明空時域感知敏感因子在幀內圖像碼率控制中的應用，并引出所提算法的詳細流程。

2.1 視頻內容空時域復雜度衡量

作為一個多維的數字信號，數字視頻的內容特性通常可以從空域和時域2 個角度進行分析。空域復雜度和時域復雜度通常又被分別稱為紋理復雜度和運動復雜度。

使用像素亮度分量的梯度衡量視頻圖像的紋理復雜度。梯度越大表明視頻圖像紋理越復雜。圖像的梯度T為

其中，w和h分別表示圖像的寬度和高度；x(i,j) 表示當前圖像中坐標為(i,j) 的像素的亮度分量值，圖像最左上角的像素為起始像素，其坐標為(1,1)。

采用幀差衡量視頻的運動復雜度，幀差越大表明視頻內容運動越快。圖像的幀差D為

其中，x′(i,j)表示前一幅圖像中坐標為(i,j)的像素的亮度分量值。

2.2 紋理感知敏感因子

2.2.1 視頻主觀觀測實驗設計

目前常見的視頻應用包括廣播電視、視頻監控、視頻會議、視頻網絡點播等。按照人眼對于視頻內容的感興趣程度，視頻中的內容通常被劃分為人、車、物三類[26-27]。所以本文在設計主觀觀測實驗時，選擇的測試圖像也覆蓋這三類內容，并且其空時域復雜度也對應一個比較廣泛的范圍。如圖1 所示，選擇的測試圖像都是從標準視頻中裁剪出的包含單一內容的圖像，每幅圖像的梯度值在圖像下方給出。測試圖像共分三組，圖1(a)～圖1(g)為第一組，圖1(h)～圖1(n)為第二組，圖1(o)～圖1(u)為第三組，每組圖像都包括人、車、物三類內容，且都包含紋理簡單到復雜的內容。

圖1 測試圖像

對于每一組圖像，將該組的7 幅圖像隨機地按照從上到下的順序等間隔排列到顯示器的最左端。然后讓這些圖像以相同的運動速度水平向右勻速運動。顯示器的分辨率為3 840 像素×2 160 像素。同時，為了盡可能地消除顯示器背景色彩對人類視覺注意力的影響，將顯示器的背景色設置為中灰色[28]。其他的實驗室環境嚴格按照文獻[28]中的規定設置。

根據標準規定[28]，選擇30 位對視頻圖像處理領域不熟悉的非專家類型人員作為測試者，包括18 名男性和12 名女性。這些測試者都通過了必要的視覺感知能力測試，包括采用Snellen 氏E 字視力表的視敏度檢測、采用石原氏色盲檢測圖的彩色視覺檢測。采用單激勵重復播放（SSMR,single stimulus with multiple repetitions）方法播放每組圖像。測試者觀看圖像的距離大約是圖像高度的4 倍[29]。第一次播放某組圖像時，測試者只需觀測，播放完畢后顯示器屏幕上內容全部消失，保持3 s 后第二次播放該組圖像。在第二次播放圖像時，要求測試者按照約定的規則對該組所有圖像按照其感興趣程度進行評級打分。

本文實驗中使用的評級打分準則如圖2 所示。定義感興趣程度得分（SoI,score of interest）衡量人眼對于圖像內容的感興趣程度，一共分為5 個等級，對每組圖像的評級打分按照下面步驟順序執行。步驟1，選出7 幅圖像中最感興趣（對應SoI=5）和最不感興趣（對應SoI=1）的圖像；步驟2，在剩余的圖像中選出中等感興趣（對應SoI=3）的圖像；步驟3，將剩余圖像與中等感興趣圖像進行比較，感興趣程度較高的為SoI=4 的圖像，其他圖像為SoI=2 的圖像。

圖2 SoI 測度

考慮測試者個體先驗知識的差異性及個體觀測認真程度的差異性對于評級打分的影響，為了得到更加準確的實驗數據，首先采用95%置信區間的方法對觀測者評價打分數據進行篩選處理。具體處理過程如下。

計算所有測試者對第g幅圖像評級打分的均值為

其中，L是測試者人數，本文實驗中L=30；vr,g是第r個測試者對第g幅圖像的評級打分值，即SoI 值。

所有測試者對第g幅圖像評級打分的標準差Sg為

按照式(5)重新計算第g幅圖像對應的篩選后所有評級打分值的平均值為

2.2.2 實驗數據分析與建模

采用式(5)計算的評級打分平均值衡量人眼對不同紋理復雜度圖像內容的感興趣程度。為了后續內容描述一致性，這里重新定義一個變量，即紋理感知敏感因子PT。對于一幅測試圖像，其對應的PT值等于式(5)計算的評級打分平均值，即用PT衡量人眼對不同紋理復雜度圖像內容的感興趣程度。圖3給出了所有測試圖像的梯度T與紋理感知敏感因子PT的關系。

圖3 T與PT的關系

對圖3 中的數據采用最小二乘法進行擬合，擬合精度用相關系數的平方R2衡量[3,29]。擬合曲線模型如式(6)所示。

其中，a1～a5是模型參數，取值分別為-1.618 9×10-5、0.001 8、-0.072 6、1.008 4、0.0115。

由圖3 可以看出，相比于紋理簡單和紋理復雜的圖像內容，人眼對中等紋理復雜度的圖像內容具有更高的感知敏感度，這一實驗結果與HVS 的相關感知特性是相符的[30-31]。紋理簡單的圖像內容包含的信息量較少，由于HVS 選擇注意力機制的作用，這類區域很難吸引人眼的關注。紋理復雜的圖像內容雖然包含較多的信息量，但由于紋理掩蓋效應的影響，人眼很難分辨其細節信息，因此感知敏感度會降低。相比于前兩類圖像內容，中等紋理復雜度的圖像內容包含了較豐富的信息量，易引起人眼的關注，同時其對應的紋理掩蓋效應作用微弱，人眼易分辨圖像內容細節，因此其對應的感知敏感程度最高。

2.3 運動感知敏感因子

2.3.1 視頻主觀觀測實驗設計

選擇圖1(f)、圖1(i)、圖1(r)所示的3 幅紋理復雜度具有顯著差別的圖像作為測試圖像。對每一幅測試圖像執行以下操作：首先復制當前測試圖像，生成另外6 幅內容完全相同的圖像，并將這7 幅圖像按照從上到下的順序等間隔排列到顯示器的最左端；然后讓這7 幅圖像以隨機確定的運動速度水平向右勻速運動。本節實驗中共設定了由慢到快7 個運動速度等級，對應于7 幅圖像，其運動速度快慢由幀差D衡量。

主觀觀測實驗涉及的其他內容，如硬件環境、測試者選擇、視頻播放方法、評級打分規則、測試者評價打分數據篩選處理等與2.2.1 節描述相同。最后，定義運動感知敏感因子PD衡量人眼對于不同運動等級圖像內容的感興趣程度。圖像的DP值等于圖像對應的經過篩選后所有評級打分值的平均值。

2.3.2 實驗數據分析與建模

所有測試圖像的幀差D與運動感知敏感因子DP的關系如圖4 所示。其關系可以用式(7)所示的多項式關系準確擬合。

圖4 D與PD的關系

其中，b1～b5是模型參數，取值分別為-1.464×10-8、8.901 3×10-6、-0.002、0.155 6、0.867 3。

由圖4 可以看出，人眼對不同紋理復雜度的圖像具有相似的運動感知敏感特性，即相比于運動慢和運動快的圖像內容，人眼對于運動速度中等的圖像內容更加敏感。這一現象也與HVS 的相關感知特性一致[32-33]。受HVS 選擇注意力機制的影響，人眼容易首先關注視頻中運動速度中等或快的圖像內容，而易忽略運動速度慢或靜止的圖像內容。另外，運動快的圖像內容雖然易吸引人眼的關注，但是受運動掩蓋效應的影響，人眼很難觀察到圖像內容的細節信息，因此其對應的感知敏感程度會顯著降低。而運動速度中等的圖像內容不僅易吸引人眼關注，并且運動掩蓋效應的作用微弱，所以其對應的感知敏感程度最高。

2.4 空時域感知敏感因子

人眼在實際觀測視頻時，會同時對視頻區域的紋理及運動特性進行觀察感知，所以在這一過程中，視頻區域的紋理特性和運動特性并不是孤立地作用于人眼的感知，而是相互融合地影響人眼的感知。這就決定了人眼對于視頻區域的感知敏感程度不是紋理感知敏感因子PT和運動感知敏感因子PD的簡單累加，而應考慮這2 個因素在融合影響過程中所產生的重疊效應[31]。

文獻[31]在研究多種掩蓋效應對視頻感知質量影響時通過建立非線性加法模型來消除多影響因素間的重疊效應。借鑒這一研究，本文使用如式(8)所示的非線性加法模型構建視頻內容空時域感知敏感因子P。

其中，min()表示取最小值函數；μ表示重疊效應系數，0＜μ＜1，μ值越大，表示重疊效應越顯著。所提算法中，μ設置為0.2。

式(8)構建的空時域感知敏感因子具有普適性，適用于監控視頻、會議視頻及其他自然視頻。第3 節的實驗結果也驗證了空時域感知敏感因子的有效性和普適性。

2.5 所提算法的框架

與傳統的基于λ域的碼率控制算法[3]相同，所提算法也主要分為目標比特分配和QP 確定兩部分。所提算法具體步驟如圖5 所示。

圖5 所提算法具體步驟

1) GoP 級目標比特分配

視頻在編碼前，首先根據圖像在視頻中的顯示順序將其劃分到不同的圖像組（GoP,group of picture）。GoP 是碼率控制目標比特分配過程中最大的處理單元。所提算法按照式(9)進行GoP 級的目標比特分配。

其中，Rc表示視頻中第c個GoP 分配的目標比特，round ()表示四舍五入取整函數，Nc表示GoP 的大小，Rc,left表示編碼視頻剩余的目標比特數，Nc,left表示視頻中剩余未編碼的圖像數，SGoP表示GoP 級滑動窗口的大小，用于保證重建視頻質量的平滑性，SGoP取固定值40[1]，RPicAvg表示視頻每幅圖像對應的平均目標比特數，計算式為

其中，Rtar表示目標碼率，F表示視頻的幀率。

2) 圖像級目標比特分配

針對幀內圖像提出的碼率控制算法通常采用全幀內結構進行算法性能測試，對于全幀內編碼結構，其GoP 默認為1。所以，第c個GoP 第m幀的目標比特數Rc,m為

其中，Cc,m為第c個GoP 第m幀經過哈達瑪變換后的 SATD；m=1；α、β為模型參數，當40Rc,m,left＜wh時，α=0.25，否則，α=0.3，β=0.558 2；Rc,m,left為視頻中未編碼的每幀平均剩余比特數，計算式為

3) LCU 級目標比特分配

在編碼第c個GoP 第m幀的所有LCU 之前，對其所有的LCU 先分配一個基礎目標比特。第c個GoP 第m幀第n個LCU 的基礎目標比特Rc,m,n為

其中，Pc,m,n為第c個GoP 第m幀中第n個LCU 的感知敏感因子，其計算模型如式(8)所示；Cc,m,n為第c個GoP 第m幀第n個LCU 經過哈達瑪變換后的SATD；NLCU為一幅圖像中LCU 的總數。

對第c個GoP 第m幀第n個LCU 進行編碼時，根據當前幀實際已經編碼的數據，對該LCU 按照式(14)分配其對應的實際目標比特。

其中，Rc,m,left為第c個GoP 第m幀剩余的目標比特數；Rc,m,k和Ac,m,k分別為第c個GoP 第m幀第k個LCU 分配的基礎目標比特和實際編碼的比特，其中1≤k≤n-1；Nc,m,left為第c個GoP 第m幀剩余未編碼的LCU 數目；SLCU為LCU 級滑動窗口大小，其取固定值4[6]。

根據式(13)和式(14)可以看出，對當前LCU 分配目標比特時考慮了當前LCU 感知敏感因子和其他LCU 感知敏感因子的影響。相比于當前幀其他LCU 的感知敏感因子，如果當前LCU 的感知敏感因子較大的話，則認為人眼對其感知較敏感，其對于整幀圖像質量的影響較大，則對其分配更多的實際目標比特，優先保證其編碼質量。

4) QP 確定

圖像級QP 按照文獻[6]中的策略確定。第c個GoP 第m幀第n個LCU 的拉格朗日因子λc,m,n為[6]

其中，χ和φ為模型參數，其初始值分別為6.754 2和 1.786 0，其后取值隨視頻內容特性更新；φ=1.251 7[6]；Nc,m,n為第c個GoP 第m幀第n個LCU 的像素數。

第c個GoP 第m幀第n個LCU 的量化參數Qc,m,n為[34]

為了減少重建視頻中的質量波動，根據式(17)和式(18)對Qc,m,n的取值進一步調整。

其中，Qc,m是第c個GoP 第m幀的QP。

特別說明，文獻[6]提出的如式(15)所示的計算幀內LCU 拉格朗日因子的模型和文獻[34]提出的如式(16)所示的QP 與λ的關系模型，由于高效的編碼性能被HM 原始碼率控制算法及一些其他的碼率控制算法[1,3,5]所采用。本文所提算法仍然默認采用式(15)和式(16)所示的模型計算QP。采用其他的模型計算QP 理論上也是可行的，但需要重新設計及調整碼率分配部分與QP 確定部分涉及的模型或者參數，使其匹配，從而獲得高效的編碼性能。

2.6 所提算法的流程

所提算法的完整流程描述如下。

步驟1對于待編碼的視頻圖像，根據式(1)和式(2)分別計算圖像中每個LCU 對應的梯度值和幀差值。

步驟2根據式(6)～式(8)，計算得到每個LCU對應的空時域感知敏感因子Pc,m,n。

步驟3根據式(9)～式(14)完成GoP 級、圖像級及LCU 級的目標比特分配過程。

步驟4采用文獻[6]的策略計算圖像級量化參數Qc,m，然后根據式(15)～式(18)得到每個LCU 對應的拉格朗日因子λc,m,n和量化參數Qc,m,n。

步驟5使用Qc,m,n編碼當前LCU。循環執行步驟1～步驟5，直到整個視頻編碼完成。

3 實驗結果

3.1 實驗設置

目前文獻[6]提出的碼率控制算法已經被HEVC 采用，并被集成到測試模型HM16.0 中（簡稱HM16.0 算法）。針對幀內圖像，文獻[3-4,13]分別從不同角度提出了優化的碼率控制算法。本節將詳細比較所提算法和HM16.0 算法、文獻[3]算法、文獻[4]算法、文獻[13]算法的編碼性能。

選擇如表1 所示的13 個包含不同分辨率和內容特性的視頻作為測試視頻。首先，將HM16.0 中的碼率控制功能關閉，將全幀內編碼結構配置文件encoder_intra_main.cfg[35]中的參數QP 分別設定為34、37、40、42 的情況下編碼每一個測試視頻，從而獲得每一個測試視頻對應的4 個目標碼率。然后在已經獲得的4 個目標碼率下，分別用不同的算法編碼每一個測試視頻，獲得最終的編碼結果。

對于碼率控制算法來說，比特估計準確度及率失真性能是2 個核心指標[1,3,36]。同時，算法的復雜度也是需要關注的指標。所以下面依次從比特估計準確度、率失真性能、算法復雜度3 個方面分析所提算法的性能。

3.2 比特估計準確度

采用被廣泛使用的如式(19)所示的比特誤差（BE,bit error）[1,3]衡量碼率控制算法的比特估計準確度。

其中，Ract為視頻實際編碼碼率，單位為kbit/s。

BE 計算結果如表1 所示，其中每個視頻的BE為其對應的4 個目標碼率下獲得的4 個BE 的平均值。由表1 的數據易看出，對于大部分視頻，所提算法都可以獲得較小的BE 值。另外，對于所有的視頻，HM16.0 算法、文獻[3]算法、文獻[4]算法、文獻[13]算法及所提算法的BE 平均值分別為0.005 9%、0.005 5%、0.002 1%、0.002 7%和0.002 0%。由此可見，所提算法的比特估計更加準確。

表1 不同碼率控制算法的BE

3.3 率失真性能

本文采用被廣泛使用的Bj?ntegaard 德爾塔碼率（BD-rate）[37]衡量碼率控制算法的率失真性能。在計算不同算法的BD-rate 時，將HM16.0 算法設定為基準算法，失真測度使用平均主觀得分（MOS,mean opinion score）五級失真測度[28]。將原始視頻作為基準視頻，分別獲得HM16.0 算法、文獻[3]算法、文獻[4]算法、文獻[13]算法和所提算法對應的重建視頻的MOS 值。

表2 給出了不同碼率控制算法的BD-rate。對于所有測試視頻，文獻[3]算法、文獻[4]算法、文獻[13]算法和所提算法對應的BD-rate 平均值分別為-3.764 8%、-0.279 6%、-7.045 3%、-16.133 6%。即相比于HM16.0 算法，文獻[3]算法、文獻[4]算法、文獻[13]算法和所提算法可以在獲得同等質量的重建視頻前提下，碼率分別平均減少3.764 8%、0.279 6%、7.045 3%、16.133 6%。所以，所提算法的率失真性能更好。這里特別說明，由于在計算BD-rate 時，HM16.0 算法被選為基準算法，因此對于每個測試視頻，HM16.0 算法對應的BD-rate 值都為0。考慮表2 的空間有限，HM16.0 算法對應的BD-rate 值不在表2 中呈現。

表2 不同碼率控制算法的BD-rate

另外，相比于其他視頻，所提算法對于背景內容幾乎不動而前景內容運動的視頻更加有效。這類視頻中最典型的為監控視頻和會議視頻。對于這類視頻，大部分人在觀看時容易被前景運動的內容所吸引。相應地，在主觀測試時大部分測試者的測試結果都比較一致，即他們會更加關注前景運動區域的質量，前景運動區域的質量提升對整個視頻編碼的率失真性能影響很大。所提算法能夠有效提高前景區域的感知質量。但是，對于其他類型的視頻，例如整幅圖像內容都在運動的視頻，不同測試者在觀看這類視頻時觀測的結果（例如感興趣的區域）容易產生分歧。所以對于這類視頻，比較難以提出為大部分測試者都認可的感知模型或者算法。

圖6～圖8 分別給出了Johnny、Intersection、Corridor2 這3 個序列的率失真性能曲線，以直觀地說明不同碼率控制算法的率失真性能。

由圖6～圖8 可以得到以下2 個結論。首先，所提算法的率失真性能曲線始終位于其他算法率失真曲線的上方，即在同等碼率下，所提算法可以獲得更高感知質量的重建視頻，所提算法的率失真性能更高。其次，在不同碼率段下，所提算法的感知質量提升有較大差異。在中等碼率下，所提算法對應的感知質量提升較明顯，相應地，在高碼率和低碼率下感知質量提升相對較小。

圖6 Johnny 序列率失真曲線

圖7 Intersection 序列率失真曲線

圖8 Corridor2 序列率失真曲線

在高目標碼率下，HM16.0 算法對應的重建視頻感知質量較好，其與原始視頻之間的質量差距較小，感知質量可提升的空間很小。同時，韋伯-費希納定律[38]也決定了此時只有所提算法重建視頻比HM16.0 算法重建視頻有較大的質量提升，人眼才能夠感知到質量的變化。上述原因共同決定了在高碼率下很難提升重建視頻的感知質量。在低目標碼率下，由于目標比特資源很有限，這時從感知敏感度較低區域給感知敏感度高的區域搬移的少量碼率不足以使感知敏感度高的區域產生明顯的感知質量提升。

圖9～圖11 分別給出了KristenAndSara 序列第172 幀、Intersection 序列第144 幀和BQMall 序列第36 幀，來直觀展示不同算法的重建圖像質量。圖9 中可以明顯看出，相比于其他算法的重建圖像，所提算法對應重建圖像中右邊女士的面部區域，例如牙齒、鼻子、眼睛、嘴唇等區域，更加清晰，更加接近于原始圖像中的相關內容。圖10(b)～圖10(e)中重建圖像右下角轎車的車牌信息已經模糊不清甚至完全丟失，而圖10(f)中所提算法重建圖像對應的車牌區域仍然可以看清楚部分車牌字符，例如第4 個字符“2”和第5 個字符“6”。由圖11 也可以明顯看出，相比于其他算法的重建圖像，圖11(f)中所提算法重建圖像中右下角坐著的女士的面部區域細節更清晰。

圖9 KristenAndSara 序列第172 幀圖像及其局部區域放大圖

圖10 Intersection 序列第144 幀圖像及局部區域放大圖

圖11 BQMall 序列第36 幀圖像及局部區域放大圖

3.4 算法復雜度

采用編碼時間衡量算法的復雜度[3]。算法運行的主要軟硬件環境為Windows 10 操作系統，處理器為Intel(R) Core(TM) i7-6700 CPU（3.40 GHz），內存8.0 GB。具體地，采用式(20)所示的ΔT衡量各碼率控制方法的復雜度。

其中，Tori表示HM16.0 算法對應的編碼時間，Tpro表示文獻[3-4,13]算法或所提算法對應的編碼時間。

表3 給出了不同碼率控制算法的ΔT。對于所有的測試視頻，文獻[3]算法、文獻[4]算法、文獻[13]算法以及所提算法對應的ΔT平均值分別為-4.777%、0.004%、0.055%和0.078%。由此可見，與HM16.0 算法相比，所提算法的編碼復雜度增加是非常小的。特別說明，由于在計算ΔT時，HM16.0 算法被選為基準算法，因此對于每個測試視頻，HM16.0 算法對應的ΔT值都為0。

表3 不同碼率控制算法的ΔT

4 結束語

本文提出了一種有效提高碼率控制準確度及感知率失真性能的HEVC 感知幀內碼率控制算法。所提算法通過設計匹配的視頻主觀觀測實驗，在主觀觀測實驗結果的指導下，構建了準確反映人眼對于視頻紋理及運動感知敏感程度的空時域感知敏感因子，并將空時域感知敏感因子應用于LCU 級比特分配過程中，完成整個碼率控制過程。算法為中等紋理復雜度及中等運動速度等人眼感知敏感的區域分配更多比特，從而提升了整個視頻的感知質量。實驗結果證明，在碼率控制準確度及感知率失真性能方面，所提算法優于HM16.0 算法。本文的研究進一步證明了基于設計視頻主觀觀測實驗的思路研究感知碼率控制算法的有效性。本文的研究思路可被進一步拓展到針對HEVC 幀間圖像和針對其他視頻應用或其他視頻類型的碼率控制算法研究中。