一種基于卷積神經網絡的VVC去壓縮偽影半盲方法

帥 鑫，卿粼波，何小海，熊淑華，陳洪剛

(四川大學 電子信息學院，四川 成都 610065)

0 引言

隨著通信技術的高速發展，人們擁有越來越多的通信方式，除了對講機、手機等語音通信方式外，諸如可視電話、視頻會議等圖像通信的方法應用越來越廣泛。相比于語音信號，包含更多信息的圖像信號以其生動、形象等特點更受人們青睞，而能夠表現活動場景的連續圖像——視頻，也應用于各種場景，如保護城市的監控視頻、輔助醫學診斷的醫學視頻和休閑娛樂的直播視頻等。由此可見，視頻已經占據生活中不可或缺的地位。于是，視頻技術迅速發展，視頻逐漸擁有更大的分辨率，包含更多的信息，這也就造成了視頻不可忽略的缺點，數據量大，所需帶寬大，因此傳輸與儲存困難。多功能視頻編解碼(Versatile Video Coding，VVC)[1]是新一代視頻編解碼標準，比起高效率視頻編碼標準(High Efficiency Video Coding，HEVC)[2]，VVC擁有更強大的壓縮性能，能夠更有效地去除視頻信號中大量存在的空間冗余與時間冗余信息，從而以極大的壓縮比將視頻編碼為碼流文件。在解碼端，將碼流文件解碼可以重建視頻，但由于編碼過程中存在的量化、變換等操作，重建得到的解碼視頻部分信息損失，導致壓縮偽影，降低視頻質量及用戶的觀影體驗。因此，解碼視頻的壓縮偽影去除研究非常具有意義。

目前，許多學者在壓縮偽影去除課題上進行了不少研究。Zhang等[3]提出了一種新的自適應環路濾波器，利用非局部先驗信息對相似圖像進行低秩約束去壓縮偽影。徐藝菲等[4]提出了一種基于非局部低秩和自適應量化約束先驗的后處理算法，該算法利用解碼視頻及其量化參數獲取自適應量化約束信息，再利用split-Bregman迭代算法來優化最大后驗概率框架從而去壓縮偽影。上述2種算法都是傳統算法。而近幾年來，深度學習技術迅速發展，在圖像增強[5]、目標檢測[6-7]、圖像/視頻去噪[8-9]等計算機視覺研究中取得了巨大成果。不少研究人員受此啟發，提出了許多基于深度學習的視頻壓縮偽影去除方法。Dong等[10]最早提出用卷積神經網絡(Convolutional Neural Network,CNN)去圖像壓縮偽影，該方法通過四層卷積層分別實現特征提取、特征增強、特征映射及圖像重建實現。該方法主要是針對圖像，對視頻而言，性能有限。Dai等[11]提出了一種可變濾波尺寸的殘差學習CNN (VRCNN)用于HEVC視頻編解碼后處理，該方法主要利用不同尺寸的卷積核提取不同尺度的特征信息，用于視頻去壓縮偽影。Wang等[12]提出了一種深度CNN自適應解碼方法(DCAD)，其通過使用更多的CNN層來不斷提取映射視頻以獲得更好的效果。但這些方法沒有考慮到視頻編碼的特點，性能有限。視頻編解碼標準根據編碼模式不同將視頻幀分為I(Intra Frame)幀、P(Predicted Frame)/B(Bidiretional Prediction Pictures)幀。考慮到這種特性，Yang等[13]提出了一種可擴展的CNN，該網絡以不同的卷積核尺寸以及卷積層深度組成2個模塊，分別針對I，B/P幀，取得了不錯的效果。但以上這些方法主要是利用視頻中的空域信息恢復視頻質量，視頻中幀與幀之間還存在著時域信息，這些時域信息可能包含上一幀或下一幀損失的信息，對壓縮偽影去除工作具有較大的作用。Yang等[14]最早提出了一種利用時域信息的多幀質量增強網絡，該網絡將視頻幀劃分為高質量幀與低質量幀，然后利用高質量幀去增強低質量幀，取得了較好的效果。為了更好地獲取時域信息，Deng等[15]提出了一種空時域可變卷積網絡，該網絡通過精確到像素級的運動補償獲取更加精確的時域信息。

但以上這些基于CNN的方法是在預設置了量化參數(Quantization Parameter,QP)后進行訓練，是非盲方法。在實際應用中，QP不一定能夠獲取，如電視機這類只獲取了解碼視頻的設備。因此，這些方法不太合適此類無法獲取QP的盲場景。眾所周知，比起盲方法，非盲方法因為擁有已知信息，訓練的模型會更有效果。因此，結合二者優勢，提出了一種能夠針對盲場景的半盲方法。首先，根據視頻編碼特性，提出一種QP預測網絡來預測解碼視頻的QP；然后，提出一種多幀壓縮偽影去除網絡，并且預訓練了幾個不同QP的模型；最后，根據預測結果，對應QP訓練的模型被用于增強解碼視頻的質量。

1 算法實現

1.1 QP預測網絡

1.1.1 預處理

圖1展示了本文方法的整體框架。直接預測解碼視頻的QP是困難的，因為在視頻編碼過程中，即使整個視頻被設置了相同的QP，但由于每幀的預測模式不同以及每幀編碼塊的劃分方式不同，QP會進行一定程度上的變動，導致具體的每個編碼塊以及每幀的QP可能不同。因此，直接對解碼視頻進行預測之前，針對上述情況，需要對解碼視頻進行預處理。本小節提出的預處理方式是通過提取能夠代表視頻壓縮效應的樣本塊間接預測解碼視頻的QP。

圖1 VVC壓縮偽影去除半盲方法的整體框架Fig.1 Overall framework of semi-blind method for VVC compression artifact reduction

圖2所示是序列BasketballPass的第1幀，圖3所示3張圖是該幀分別在QP設置為32，37，42時的解碼幀的某一區域放大圖。由圖3可以發現，對于紋理平滑區域，如背景墻壁區域，3張圖并無太大差異，而對于紋理豐富的區域，如籃球、手和衣服上的字等，這些區域隨著QP增大，越來越模糊，壓縮效應逐漸嚴重。因此，視頻幀中紋理豐富的區域更能代表一個解碼視頻的壓縮特性，通過提取紋理豐富的區域作為特征塊，從而間接預測解碼視頻的QP更為合理。

圖2 序列BasketballPass的第1幀Fig.2 The first frame of “BasketballPass”

(a) QP32

一般，在視頻幀中，圖像的邊緣部分往往是紋理豐富的區域。Kirsch算子是R.Kirsch提出的一種邊緣檢測算法，是一種非線性邊緣檢測器，其采用8個模板對圖像中的每一個像素點進行卷積求導，而這8個模板代表8個方向，對圖像中的8個邊緣做出最大響應，從而提取圖像的邊緣。所以，預處理環節通過使Kirsch算子獲取紋理豐富的區域從而獲得特征塊。考慮到VVC最大編碼單元的尺寸為128 pixel×128 pixel，特征塊尺寸也設置為128 pixel×128 pixel。

1.1.2 預測網絡

提取出合適的特征塊后，提出了一個網絡來預測QP。網絡的結構如圖4所示。

圖4 QP預測流程Fig.4 Process of QP prediction

整體而言，該網絡采用了分類網絡的思想。首先,使用卷積層初步提取圖像塊特征;然后,通過密集連接塊中的激活函數“Leaky ReLU”與卷積層與BN(Batch Normalization)層的密集連接方式不斷強化特征。平均池化層用于下采樣與過渡密集連接塊，最后，通過完全連接與softmax層進行回歸分類，輸出初步預測結果。雖然QP預測網絡可以為每個特征塊預測，但具體的每個編碼塊以及每幀的QP可能不同，導致預測出現偏差。為此，還提出了一種投票機制。即，對于同一解碼視頻的所有特征塊，通過預測網絡為全部特征塊預測出QP之后，統計預測結果，選擇結果中預測次數最多的QP作為當前解碼視頻的QP。

1.2 壓縮偽影去除網絡

該網絡模型的架構如圖5所示。該網絡是一個多幀輸入網絡，除了需要輸入待增強的目標幀Ft，還需要輸入能夠提供時域信息的上一幀Ft-1與下一幀Ft+1，最后輸出增強后的幀Fe，其中，t表示視頻序列的某一幀。該網絡由運動補償子網絡和去偽影子網絡兩部分構成。

圖5 壓縮偽影去除網絡的框架Fig.5 Framework of compressed artifact reduction network

1.2.1 運動補償子網絡

一般，多幀輸入網絡的性能會比單幀輸入網絡的性能更好一點，這是因為相鄰幀可能擁有目標幀中缺少或者損失的細節，引入相鄰幀作為目標幀的參考幀，可獲得更多時域信息。但是，由于幀與幀之間存在的運動誤差，直接使用相鄰幀可能會導致負面效果。通過對相鄰幀進行運動補償，可以有效解決這種問題。Caballero等[16]提出了一種空間變換運動補償(Spatial Transformer Motion Compensation,STMC)網絡，其思想是用一條粗路徑尺度與一條細路徑尺度預測從相鄰幀到目標幀的運動光流，從而補償相鄰幀，其架構如圖6所示。

圖6 運動補償子網絡的框架Fig.6 Framework of motion compensation subnetwork

其中，“Conv”表示卷積層，后面的“n×n”表示卷積核的尺寸為n，“Concate”表示特征融合的操作，“Wrap”表示扭曲特征的操作。該小節使用STMC作為運動補償子網絡。其過程為：

F′t-1=Nmc(Ft,Ft-1)，

(1)

式中，Nmc(·)表示運動補償子網絡；F′t-1表示補償后的上一幀。

1.2.2 去壓縮偽影子網絡

通過運動補償子網絡，可以獲得補償后的相鄰幀F′t-1與F′t+1，其與目標幀一起輸入到去偽影子網絡。該子網絡框架如圖7所示。

圖7 去壓縮偽影子網絡的框架Fig.7 Framework of compressed artifact reduction subnetwork

(2)

式中，Nar(·)表示去偽影子網絡。

因此，整個壓縮偽影去除網絡為：

(3)

1.3 訓練策略

本小節分別提出了QP預測網絡與壓縮偽影去除網絡，這2個網絡采用不同的方式訓練。

1.3.1 QP預測網絡訓練策略

對于QP預測網絡，采用交叉熵損失函數訓練，如下：

(4)

式中，M代表類別；N代表樣本總數；yic代表符號函數(0或1)，如果樣本i的真實類別等于c，則取1，否則取0；pic代表樣本i屬于類別c的預測概率。

1.3.2 壓縮偽影去除網絡訓練策略

對于壓縮偽影去除網絡，其由運動補償子網絡與去偽影子網絡2個子網絡組成，所以采用聯合訓練的方式。

運動補償子網絡的目的是盡可能地使補償后的相鄰幀接近目標幀，因此，在監督下采用最小均方誤差函數訓練，即：

(5)

去偽影子網絡的目的是使增強幀盡可能接近原始幀，因此需要在原始幀的監督下訓練。考慮到L2正則化損失函數可能會導致輸出過于平滑，選用L1正則化損失函數，即：

(6)

則，整個壓縮偽影去除網絡的聯合損失函數為：

L去偽=a×Lar+b×Lmc,

(7)

式中，參數a與b作為權衡參數。在實驗中，a設置為0.99，b設置為0.01。

2 實驗結果

2.1 實驗設置

實驗過程中，數據集Vimeo-90K[17]包含大量416 pixel×224 pixel的7幀序列，本文采用該數據集作為訓練集。VVC標準測試集被用于測試本文所提的算法。為證明實驗的科學性，訓練與測試之前，所有數據集都需要用一樣的編碼配置進行編碼。實驗過程中，選擇用VVC標準參考軟件VTM9.0，在LDP(Low Dealy P)配置下進行編碼。因為QP越大，解碼視頻的質量越低，而QP越小，解碼視頻的質量越接近原始視頻，所以，對大QP編碼的視頻進行去壓縮偽影工作更具有意義。因此，實驗中設置QP為32,37,42。除此之外，2個網絡的輸入尺寸設置為64 pixel×64 pixel，這是從訓練集中隨機裁剪的。ADAM優化器用來加速網絡訓練，其參數β1，β2和ε分別設置為0.9，0.999和10-8。2個網絡的初始學習率都設置為10-4，每迭代50次減半。實驗設備是Inter Corei7-8700 CPU 和 Nvidia GeForce GTX1080Ti GPU，實驗平臺是Pytorchv1.6。

2.2 實驗結果

2.2.1 QP預測結果

為了驗證1.1節所提QP預測算法的有效性，將16個VVC標準測試序列用于實驗，包含1 920 pixel×1 080 pixel(B類)、832 pixel×480 pixel(C類)、416 pixel×240 pixel(D類)、1 280 pixel×720 pixel(E類)等分辨率序列，這些測試視頻全部在QP為32,37,42下采用LDP配置編碼。然后用所提出的算法進行預測，結果如表1所示。

表1 QP分別設置為32,37,42的解碼視頻序列的QP預測結果Tab.1 Quantization parameter prediction results of decoded video sequences with quantization parameters set as 32,37 and 42 respectively

觀察實驗結果可以發現，所提的量化預測算法效果較好，QP為32的序列預測正確率達到了87.5%，QP為37的序列預測正確率達到了62.5%，QP為42的序列預測正確率達到了75%。

在這些測試序列中，“Kimono1”序列是一種運動較為緩慢的序列，呈現出一種靜態感覺，并且該序列的背景區域充斥著大量樹葉、光斑等，這對預處理與QP預測帶來了困難，因此這類視頻的預測結果不太準確。對于大部分視頻序列，所提的預測算法是有效的。

2.2.2 壓縮偽影去除結果

為了證明1.2節中所提去壓縮偽影算法的有效性，本小節用2.2.1節中提到的16個VVC標準測試序列在盲場景與非盲場景下進行實驗，并以VTM9.0編碼的視頻序列的峰值信噪比(Peak Signal to Noise Ratio，PSNR)提升的分貝作為衡量標準，并且對比其他非盲方法[11-12,14]，結果如表2所示。其中，所提算法(非盲)是指在非盲場景下，QP已知，直接用壓縮偽影去除網絡達到的實驗結果；所提算法(盲)是指在盲場景下，不知道QP，先通過QP預測網絡獲取，再通過壓縮偽影去除網絡達到的實驗結果。

表2 不同方法在QP設置為32與37時提升的PSNR比較結果Tab.2 Comparison of improved PSNR between different methods with QP set as 32,37 單位：dB

觀察表2可以發現，在非盲場景下，QP為37時，這些VVC標準測試序列的平均PSNR達到了0.238 6 dB，在QP為32時，平均PSNR達到了0.203 3 dB，均優于其他算法；而在盲場景下，因為某些序列的QP預測有誤，導致沒有選擇對應的模型，所以該序列提升的PSNR略微下降。QP為37時，平均PSNR為0.224 6 dB，QP為32時，平均PSNR為0.200 5 dB。即使是在盲場景下，所提的方法依舊優于其他非盲方法，能夠有效提升PSNR。

雖然存在部分序列的PSNR未能超過其他方法，如“ParkScene”，這是因為該序列運動劇烈，壓縮偽影較大，而文獻[14]提出的用高質量的幀作為目標幀的參考幀的方法能夠有效針對該序列。而對于多數序列，依舊是本文所提算法提升的PSNR更優。實驗結果可以證明所提算法的性能良好，即使是針對不知道QP的半盲方法，其性能依舊不低于非盲方法。

3 結束語

盡管基于神經網絡的視頻壓縮偽影去除技術相關研究已有不少，但目前大多都是要根據QP預訓練去偽影模型。本文提出的VVC壓縮偽影去除半盲方法旨在應用于無法獲取解碼視頻QP的場景下增強解碼視頻的質量。該方法首先通過一個預測方法來預測解碼視頻的QP，為了獲得更好的預測結果，該方法對視頻進行了預處理，并提出了一種QP預測網絡，用投票機制輸出結果。然后，提出一種壓縮偽影去除網絡并訓練去壓縮模型，再根據預測結果，選擇對應QP預訓練的模型對視頻去壓縮。這個過程結合了非盲訓練方法針對盲場景，所以稱為半盲方法。而實驗的結果也證明所提方法的有效性。

本文提供了一種在不知道QP場景下去壓縮偽影的研究，該研究還有更深的探索空間:

① 解碼視頻的壓縮特性，不止是體現在壓縮偽影上，還表現在人眼主觀質量、客觀評價指標等，可以進一步探索這些特性以預測解碼視頻的QP以及其他相關的編碼參數。

② 去偽影相關工作是增強視頻質量的重點，盡管該方面的相關技術已有不少，但依舊擁有廣大研究空間，更精確的運動補償、更多幀與幀之間相關性的研究等，都能進一步提升去偽影的性能。