圖像視頻質量增強綜述

陳中平，徐邁，劉鐵

（北京航空航天大學，北京 100191）

1 緒論

1.1 研究背景和意義

在如今信息化時代下，各種互聯網數據在互聯網中傳播時會耗費大量的互聯網流量，其中圖像和視頻數據占據的比例越來越大。圖像和視頻在帶寬受限的互聯網中傳播時，為了降低圖像視頻碼率，節省傳輸帶寬，通常會使用有損壓縮算法對圖像視頻進行壓縮，對于圖像有JPEG［1］、JPEG-2000［2］等，對于視頻有MPEG-1［3］、MPEG-2［4］、MPEG-4［5］、H.264/AVC［6］和HEVC［7］等。但是圖像和視頻經過有損壓縮就會出現失真現象，例如塊效應、紋理模糊、振鈴現象、形狀畸變等，而圖像視頻中存在這些失真會嚴重影響到觀看者的主觀感受。因此，對于經過有損壓縮后的圖像視頻進行質量增強十分必要。

1.2 研究現狀

對于有損壓縮圖像的質量增強，在早期有很多基于傳統方法進行處理的工作。比如，2004年Liew 等人［8］提出了利用過完備的小波表示方法去除壓縮后圖像的塊效應；2013年Wang 等人［9］又提出通過對塊邊界進行濾波處理來消除JPEG 圖像的塊效應。近年來隨著深度學習在圖像處理和計算機視覺等領域的廣泛應用，Dong 等人［10］在2015年根據他們之前的超分辨率工作中的重建網絡，設計了一個用于提升JPEG 圖像質量的四層的卷積神經網絡（Convolutional Neural Network，CNN)；除了卷積神經網絡的應用，Galteri 等人［11］于2017年提出了一種用生成對抗網絡（Generative Adversarial Network,GAN）訓練的完全卷積殘差網絡，可以產生更適合人眼視覺的高質量圖像；2020年Jin 等人［12］提出了一種包含了殘差學習和遞歸學習的網絡，還采用了橫向連接傳輸在不同頻率流中提取特征用于圖像增強。

關于視頻增強，考慮到視頻的每一幀都是一幅圖像，因此圖像質量增強方法是視頻質量增強的基礎，在圖像質量增強中采用的卷積神經網絡和生成對抗網絡經過改進同樣可以運用于視頻質量增強中。例如，Yang 等人［13］于2018年提出了一種叫QE-CNN 的卷積神經網絡用于視頻質量提升，此種網絡模型對于視頻幀中的I 幀和P 幀同樣適用；同年他們還提出了一種名為MFQE［14］的網絡，利用視頻多幀信息進行質量增強，充分利用了視頻幀間的信息相關性，提高了視頻質量提升效果。另外，在2019年Yu 等人［15］設計了一種具有遞歸框架的對抗學習網絡VRGAN，其中包含了一個具有遞歸框架的生成器和一個相對判別器。最近，Wang 等人［16］提出了一個包含了多級小波變換的生成對抗網絡。除了圖像處理中的卷積神經網絡和生成對抗網絡，由于視頻中的一幀不僅具有幀內信息相關性，而且視頻幀是連續的，還可以考慮利用視頻幀間的信息相關性，Meng 等人［17］設計了一種名為MGANet的深度網絡，采用一個雙向的長短時記憶網絡［18］充分利用多幀信息來增強當前幀。在2019年，Xu 等人［19］提出了NL-ConvLSTM 網絡，不僅考慮到幀間的信息相關性，還考慮了低質量幀內也存在高質量塊的情況，提出用非局部的思想來利用連續多幀中的高質量塊的信息。

圖1展示了過去幾年中圖像視頻質量增強的經典工作，依據所使用的深度神經網絡不同進行分類。

圖1 圖像視頻質量增強的經典工作分類

2 圖像質量增強

基于深度學習的圖像處理方法近年來發展迅速，從2015年至今有越來越多的工作利用深度學習進行有損壓縮圖像的質量增強。根據所用的深度學習網絡的不同基本可以分為兩類：基于卷積神經網絡（CNN)［20］和基于生成對抗網絡（GAN)［21］的圖像質量增強。圖2 和圖3分別為多種基于卷積神經網絡和生成對抗網絡的圖像質量增強方法。

圖2 基于CNN的圖像質量增強網絡，其中（a）為［10］,(b）為［45］,(c）為［22］的網絡結構圖

圖3 基于GAN的圖像質量增強網絡，其中（a）為［11］,(b）為［27］的網絡結構圖

2.1 基于CNN的圖像質量增強

卷積神經網絡的一般結構組成包括輸入層，隱藏層，輸出層，其中隱藏層中有卷積層、池化層、全連接層等常見部分。

2015年Dong 等人［10］根據他們之前的超分辨率重建網絡，設計了一個用于提升JPEG 壓縮圖像質量的四層卷積神經網絡（Artifacts Reduction Convolutional Neural Network，AR-CNN），這是第一個利用卷積神經網絡進行圖像質量增強的工作，AR-CNN 的四個卷積層分別起到特征提取、特征去噪、非線性映射和圖像重構的作用。AR-CNN 存在的問題是難于訓練，所以在訓練時采用了從簡單到難的遷移學習。2016年Svoboda等人［22］結合了殘差學習、跳躍連接等結構，設計了一個可以在較短時間內用單個步驟完成訓練的8層卷積網絡，其中殘差學習可以加快訓練過程，跳躍連接能夠使信息更容易從輸入端傳輸到輸出端。Vu等人［23］在2018年設計了一個快速高效質量增強的網絡（FEQE），解決了三個方面的問題：a）可以在低分辨率上完成計算，b）使用的卷積層通道數很小，從而可以增加網絡深度，c）采用的去亞像素下采樣不會導致信息丟失。通常在考慮圖像質量增強時主要針對亮度通道進行處理，而2017年Fuyà Espinar 等人［24］提出針對彩色圖像進行質量增強處理，且Cui 等人［25］在2018年提出考慮到不同通道信息相關性的基于3階段CNN 的方法。為了適用于多種圖像任務，2019年Jin等人［12］設計了一個包含殘差學習和遞歸學習的網絡，殘差學習可以加快學習速度，遞歸學習可以減少參數量，同時采用了一個橫向連接傳遞不同通道提取的特征。另外還有一些實現網絡模型更加優化的工作，例如2019年Chen 等人［26］提出采用各向同性的卷積核來減少參數量，在對稱位置使用相同的權重從而為圖像增強提取旋轉不變性特征。

2.2 基于GAN的圖像質量增強

2014年Goodfellow 等人提出了生成對抗網絡［21］，之后便被廣泛應用。它的基本結構主要是由一個生成器和一個判別器組成，判別器的目的是判別輸入的樣本是屬于真實樣本集還是假樣本集，而生成器作用是生成樣本，使自己生成的樣本讓判別器無法判斷真假。

2017年Galteri 等人［11］提出了一種用生成對抗結構訓練的卷積殘差網絡模型，其中生成器采用的是深度殘差網絡，判別器是在子塊級別完成判別的。2018年Mao 等人［27］提出了更加注重塊邊緣信息的生成對抗網絡——邊緣保存生成對抗網絡，同時實現邊緣保存和紋理生成。Upadhyay 等人［28］考慮到訓練數據的問題，在2019年設計了一種可以利用多種質量水平的訓練數據的生成對抗網絡，根據以較低的設備成本且更容易獲取的中等質量圖像對低質量圖像進行增強。另外還有一些工作針對特定的圖像類型，比如Guo 等人［29］提出了多尺度密集生成對抗網絡去增強水下圖像，Tang等人［30］設計的疊加生成對抗網絡處理CT 圖像，其中的第一個GAN 用于去噪，第二個GAN用于生成高質量圖像。

圖像增強一般采用峰值信噪比（Peak Signal to Noise Ratio,PSNR）和結構相似性（Structural Similarity,SSIM)。表1為圖像質量增強中不同方法的結果比較。

表1 圖像質量增強方法的結果比較

3 視頻質量增強

視頻的每一幀都可以認為是一幅圖像，但是相對于圖像壓縮，視頻的壓縮過程更復雜，因此視頻在有損壓縮過程中產生的失真也會更加復雜。隨著深度學習方法在圖像質量增強中的應用，這些方法同樣可以應用于有損壓縮視頻的質量增強［31］［32］［33］［34］。除了圖像中常用的基于卷積神經網絡和生成對抗性網絡的質量增強方法，由于視頻幀間是連續的，幀間信息存在相關性，可以利用其它幀的信息來增強當前幀，所有對于視頻有基于長短時記憶網絡（Long-Short Term Memory,LSTM）的方法［34］［35］。圖4、圖5 和圖6為基于不同神經網絡的視頻質量增強方法的網絡模型。

圖4 基于CNN的視頻質量增強網絡，其中（a）為［13］,(b）為［14］的網絡結構圖

圖5 基于GAN的視頻質量增強網絡［16］

圖6 基于LSTM 的視頻質量增強網絡，其中（a）為［40］,(b）為［19］的網絡結構圖

3.1 基于CNN的視頻質量增強

圖像處理是視頻處理的基礎，所以基于卷積神經網絡的圖像質量增強方法經過改變也可以應用于視頻增強。2017年Hou 等人［36］采用了一個兩層的卷積神經網絡對視頻進行質量增強。2018年Yang 等人［13］提出了一種針對HEVC 編碼標準壓縮視頻的質量增強方法QE-CNN，由于視頻I 幀和P 幀的壓縮編碼方式存在區別，產生的失真也不同，因此對于視頻中的I幀和P 幀分別以不同的模型進行增強。考慮到視頻和圖像的區別是視頻幀間存在信息相關性，同年Yang等人［14］又提出了利用多幀信息增強當前幀的視頻質量增強方法MFQE，他們在文中指出視頻壓縮過程中會在連續多幀上產生質量波動，因此可以利用離當前幀最近且質量較高的幀幫助恢復當前幀的信息。之后，Guan 等 人［37］于2019年基于MFQE提出了MFQE2.0，采用了基于雙向LSTM 網絡的高質量幀檢測方法，并且在質量增強網絡中加入多尺度信息提取和密集連接的映射結構來提升增強效果。2019年Tong 等人［38］也設計了一種基于深度學習的多幀質量增強方法，利用光流進行幀間運動補償，并考慮了相鄰幀的質量和與當前幀距離的權衡問題，用一個中等質量幀和高質量幀來增強當前幀。

3.2 基于GAN的視頻質量增強

基于生成對抗網絡的視頻質量增強方法的主要結構是一個生成器和一個判別器。2019年Yu 等人［15］設計了一個名叫VRCNN 的視頻質量增強方法，考慮到壓縮視頻的幀間不連續會降低視覺質量，所以采用了遞歸網絡來保持相鄰幀之間的一致性，并引入了相對判別器［39］評估生成幀和高質量幀之間的關系。2020年Wang等人［16］設計了一個基于多層小波變換的生成對抗網絡，用于增強有損壓縮視頻的主觀質量，研究發現恢復小波域中的高頻子帶對于提升視頻主觀質量非常關鍵，因此他們提出了一個具有小波密集殘差結構的小波重構網絡來恢復高頻細節，使主觀質量得到提升。

3.3 基于LSTM 的視頻質量增強

長短時記憶神經網絡最早是在1997年由Hochreiter 等人［18］提出的，它是遞歸網絡的一種。遞歸神經網絡無法學習具有長時間間隔的信息，而長短時記憶神經網絡可以用于解決具有長距離依賴的問題，它的主要結構包括輸入門、遺忘門和輸出門。

2018年Meng等人［17］設計了一種多幀引導注意力網絡MGANet，因為視頻中短時間間隔內的背景通常不會改變，只有其中的物體有一些小的變化，這表明在連續的幀中大部分低頻成分是相同的，所以在文獻［17］中提出了一個雙向殘差卷積長短時記憶網絡（BRCLSTM）用于處理各幀的變化，利用多幀信息進行質量增強。考慮到有損壓縮視頻各幀存在質量波動，為了利用更大范圍內多幀的有利信息來增強當前幀的質量，2019年Yang 等人［40］提出了具有雙向遞歸結構的質量門控卷積長短時記憶網絡QG-ConvLSTM，包含空間網絡、門發生器、質量門控單元和重建網絡四部分。2019年Xu 等人［19］發現在一個高質量幀中可能會存在一些低質量的塊，而在低質量幀中也可能存在高質量的塊，僅僅使用鄰近的高質量幀有可能會丟失低質量幀中的高質量塊的信息，在此發現的基礎上基于非局部策略來捕獲全局運動模式和利用視頻中的時空依賴性，提出了新穎的端到端的深度神經網絡NL-ConvLSTM，充分利用連續多幀的非局部信息來增強當前幀的質量。

4 總結與展望

本文綜述了基于深度學習的圖像視頻質量增強方法，根據不同的神經網絡種類將圖像增強方法分為

基于卷積神經網絡和生成對抗網絡的方法，將視頻質量增強方法分為基于卷積神經網絡，生成對抗網絡和長短時記憶網絡的方法。近來的文獻表明，基于生成對抗網絡的質量增強方法可以生成更滿足觀看者主觀感受的圖像視頻，基于長短時記憶網絡的質量增強方法能夠利用更大范圍連續多幀的信息，取得了更好的增強效果，這兩類方法的應用也越來越廣泛。盡管目前深度學習在圖像視頻質量增強上取得了非常顯著的提升效果，未來還有很多可以改進的方向，比如現有工作都是只針對客觀或主觀質量進行增強的，如何實現客觀和主觀質量同時提升是將來發展方向；以及如何更好的利用編碼端的信息作為先驗知識，對解碼端的壓縮視頻進一步提升增強效果。因此，未來還會有更多可以繼續研究的深度學習方法來更好的實現有損壓縮圖像和視頻的質量增強。