聯(lián)合邊路和中路解碼特征學(xué)習(xí)的多描述編碼圖像增強(qiáng)方法

收稿日期：2022-02-02；修回日期：2022-04-08

基金項(xiàng)目：太原科技大學(xué)博士科研啟動基金資助項(xiàng)目（20192023）；山西省基礎(chǔ)研究計(jì)劃資助項(xiàng)目（202103021223284）；來晉工作優(yōu)秀博士獎勵資金資助項(xiàng)目（20192055）；太原科技大學(xué)研究生教育創(chuàng)新項(xiàng)目（XCX212029）；國家自然基金資助項(xiàng)目（61972023，62072325）

作者簡介：趙利軍（1989-），男（通信作者），山西太原人，講師，碩導(dǎo)，博士，主要研究方向?yàn)槎嗝枋鼍幋a、圖像壓縮和圖像增強(qiáng)等（leejun@tyust.edu.cn）；曹聰穎（1996-），女，山西臨汾人，碩士研究生，主要研究方向?yàn)閳D像增強(qiáng)和圖像壓縮；張晉京（1992-），女，山西太原人，博士研究生，主要研究方向?yàn)閳D像壓縮、圖像增強(qiáng)和圖像分割；白慧慧（1979-），女，北京人，教授，博導(dǎo)，博士，主要研究方向?yàn)槎嗝枋鼍幋a、圖像壓縮和圖像復(fù)原等；趙耀（1967-），男，北京人，教授，博導(dǎo)，博士，主要研究方向?yàn)閳D像與視頻處理、數(shù)字水印與數(shù)字取證、圖像/視頻檢索與內(nèi)容理解等；王安紅（1972-）女，山西太原人，教授，博導(dǎo)，博士，主要研究方向?yàn)閳D像和視頻編碼、多描述編碼等.

摘 要：提出一種聯(lián)合邊路和中路解碼特征學(xué)習(xí)的多描述編碼圖像增強(qiáng)方法。該方法同時考慮了邊路解碼圖像增強(qiáng)和中路解碼圖像增強(qiáng)的問題，因而可以通過聯(lián)合學(xué)習(xí)優(yōu)化中路解碼和邊路解碼的特征來實(shí)現(xiàn)更好的網(wǎng)絡(luò)訓(xùn)練。首先，考慮到多描述編碼的邊路獨(dú)立解碼和中路聯(lián)合解碼的特性，提出一種網(wǎng)絡(luò)共享的邊路低分辨率特征提取網(wǎng)絡(luò)來有效地提取具有相同內(nèi)容和差異細(xì)節(jié)的兩個邊路解碼圖像的特征，同時設(shè)計(jì)一種殘差遞歸補(bǔ)償網(wǎng)絡(luò)結(jié)構(gòu)并將其用于邊路與中路低分辨率特征提取網(wǎng)絡(luò)。其次，設(shè)計(jì)一種多描述邊路上采樣重建網(wǎng)絡(luò)，該網(wǎng)絡(luò)采用部分網(wǎng)絡(luò)層參數(shù)共享策略，該策略能夠減小網(wǎng)絡(luò)模型參數(shù)量，同時提高網(wǎng)絡(luò)的泛化能力。最后，提出一種多描述中路上采樣重建網(wǎng)絡(luò)，將兩個邊路低分辨率特征與中路低分辨率特征進(jìn)行深層特征融合來實(shí)現(xiàn)多描述壓縮圖像的增強(qiáng)。大量的實(shí)驗(yàn)結(jié)果表明：在模型復(fù)雜度、客觀質(zhì)量和視覺質(zhì)量評價(jià)方面，所提方法優(yōu)于很多的圖像增強(qiáng)方法如ARCNN、FastARCNN、DnCNN、WSR和DWCNN。

關(guān)鍵詞：多描述編碼； 深度學(xué)習(xí)； 圖像增強(qiáng)； 壓縮失真； 特征融合

中圖分類號：TP391"" 文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695（2022）09-049-2873-08

doi：10.19734/j.issn.1001-3695.2022.02.0061

Multiple description coded image enhancement method with joint learning of

side-decoding and central-decoding features

Zhao Lijun1， Cao Congying1， Zhang Jinjing2， Bai Huihui3， Zhao Yao3， Wang Anhong1

（1.College of Electronic Information Engineering， Taiyuan University of Science amp; Technology， Taiyuan 030024， China; 2.College of Big Science amp; Technology， North University of China， Taiyuan 030051， China; 3.Institute of Information Science， Beijing Jiaotong University， Beijing 100044， China）

Abstract：This paper proposed MDC image enhancement method by using joint learning of side-decoding and central-decoding features， which considered the problems of side decoding image enhancement and central decoding image enhancement at the same time， so it could realize better network training by optimizing central decoding and side decoding features through joint learning. First， considering side independent decoding and central joint decoding features for MDC， this paper proposed a network-sharing side low-resolution feature extraction network to effectively extract features from two-side decoded images with the same content and different details， while designed a residual recursive compensation network structure and applied it into both side and central low-resolution feature extraction network. Secondly， it designed a multiple description up-sampling reconstruction network， which adopted parameter sharing strategy for partial layers of network， which could reduce parameter number of network model and improve network generalization ability. Finally， it proposed multiple description central up-sampling reconstruction network to perform deep feature fusion with two low-resolution side features and central features to enhance multiple description compressed images. A large number of experimental results show that the proposed method is superior to several image enhancement methods such as ARCNN， FastARCNN， DnCNN， WSR and DWCNN in terms of model complexity， objective quality and visual quality assessment.

Key words：multiple description coding; deep learning; image enhancement; compression distortion; feature fusion

0 引言

雖然現(xiàn)有的通信系統(tǒng)能夠提供很寬的網(wǎng)絡(luò)帶寬，但是在人群密集的演唱會現(xiàn)場、足球比賽場地和學(xué)生宿舍樓群等場所常常會發(fā)生網(wǎng)絡(luò)擁堵現(xiàn)象。此外，在很多情況下有限的通信設(shè)備資源會導(dǎo)致不可靠信道的數(shù)據(jù)包以很大的概率發(fā)生丟失。雖然很多現(xiàn)有的高效圖像壓縮標(biāo)準(zhǔn)能夠緩解該問題，但是無法保證數(shù)據(jù)的可靠傳輸。不同于單描述編碼，多描述編碼（multiple description coding，MDC）將一個信源分成多個描述，在不同的信道上傳輸不同描述的數(shù)據(jù)。如果在接收端能夠完全正確地接收到所有描述的數(shù)據(jù)包，那么通過聯(lián)合解碼就能恢復(fù)出高質(zhì)量的圖像。如果在接收端只接收到一個描述的數(shù)據(jù)包，那么通過邊路解碼器能夠恢復(fù)出一個較高質(zhì)量的圖像。由此可見，多描述編碼技術(shù)能實(shí)現(xiàn)圖像的可靠傳輸。雖然多描述編碼方法可以減少數(shù)據(jù)量，但是經(jīng)過壓縮的中路和邊路圖像會發(fā)生不同程度的失真，特別是接收到的邊路圖像存在嚴(yán)重失真，因此，非常有必要使用圖像壓縮偽影去除技術(shù)來提升MDC圖像的解碼質(zhì)量。通常，將壓縮偽影去除技術(shù)分成傳統(tǒng)的壓縮偽影去除方法和基于深度學(xué)習(xí)的壓縮偽影去除方法兩類。例如，Dabov等人［1］提出了一種基于變換域的增強(qiáng)稀疏表示策略，并且通過分組和協(xié)同濾波來實(shí)現(xiàn)圖像去噪。Foi等人［2］提出了基于形狀自適應(yīng)離散余弦變換的圖像濾波方法，該方法定義了一種區(qū)域形狀自適應(yīng)的變換來有效地去除圖像的塊效應(yīng)和邊緣振蕩效應(yīng)。Chang等人［3］通過稀疏表示和冗余字典學(xué)習(xí)來減少JPEG（joint photographic experts group）壓縮所帶來的偽影，但是該方法無法恢復(fù)丟失的一些高頻信息。Zhang等人［4］提出了一種基于非凸低秩模型的圖像去塊方法，該方法的優(yōu)勢在于不改變現(xiàn)有編解碼器的情況下，將量化約束顯式地變換到可行解空間來約束非凸的低秩優(yōu)化，同時該方法通過一種自適應(yīng)參數(shù)調(diào)整的交替最小化策略來解決對應(yīng)的優(yōu)化問題。

在ImageNet圖像識別大賽上AlexNet一舉奪冠，標(biāo)志著進(jìn)入了現(xiàn)代深度學(xué)習(xí)的萌芽時期。隨后，AlphaGo以4∶1的比分戰(zhàn)勝了國際頂尖圍棋高手李世石。自此，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）得到廣泛的關(guān)注和發(fā)展。在計(jì)算機(jī)視覺領(lǐng)域深度學(xué)習(xí)取得巨大成功，同時它能夠解決圖像超分、去雨、去霧和去噪等任務(wù)?；谏疃葘W(xué)習(xí)的壓縮偽影去除的方法也受到研究者的廣泛關(guān)注。例如，Dong等人［5］提出了一種圖像壓縮偽影去除的方法并命名為ARCNN（artifacts reduction convolutional neural network），該方法驗(yàn)證了重用淺層網(wǎng)絡(luò)的參數(shù)有利于訓(xùn)練模型的深層網(wǎng)絡(luò)。為了解決深層網(wǎng)絡(luò)難訓(xùn)練的問題，Zhang等人［6］提出了一種基于殘差學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)去噪方法，并將其命名為DnCNN（denoising convolutional neural network），該方法利用殘差學(xué)習(xí)和批歸一化操作構(gòu)建深層卷積神經(jīng)網(wǎng)絡(luò)，這種設(shè)計(jì)有助于提升網(wǎng)絡(luò)的收斂速度和去噪性能。為了進(jìn)一步提升圖像增強(qiáng)的性能，Qiu等人［7］提出了一種基于深度殘差學(xué)習(xí)的JPEG壓縮偽影去除方法，該方法將基于信號處理的圖像恢復(fù)方法與深度殘差學(xué)習(xí)模型相結(jié)合來恢復(fù)原始數(shù)據(jù)。雖然以上方法能夠獲得比傳統(tǒng)的壓縮偽影去除方法更好的性能，但是這些方法沒有充分利用圖像的上下文信息來實(shí)現(xiàn)圖像質(zhì)量的增強(qiáng)。為了解決這個問題，文獻(xiàn)［8］提出了一種多尺度稠密殘差網(wǎng)絡(luò)，該網(wǎng)絡(luò)將不同空洞因子的空洞卷積引入到殘差網(wǎng)絡(luò)的稠密模塊，并構(gòu)建一種多尺度稠密模塊來獲得更大的感受野。不同于神經(jīng)網(wǎng)絡(luò)單域處理方法，Zhang等人［9］提出了一種雙域多尺度卷積神經(jīng)網(wǎng)絡(luò)方法（dual-domain multi-scale convolutional neural network，DMCNN），該網(wǎng)絡(luò)能夠有效地利用全局信息來消除JPEG壓縮偽影。類似于DMCNN方法，Zheng等人［10］提出了一種隱式雙域卷積網(wǎng)絡(luò)（implicit dual-domain convolutional network，IDCN）來減少彩色圖像的壓縮偽影。雖然DMCNN與IDCN都采用了雙支路的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，但它們并沒有充分地利用圖像的高低頻信息來實(shí)現(xiàn)特征互補(bǔ)。為了充分地利用圖像高低頻特征，Jin等人［11］提出了一種靈活的深度學(xué)習(xí)圖像恢復(fù)方法，該方法首先將低質(zhì)量的輸入圖分解為低頻結(jié)構(gòu)圖和高頻紋理圖；其次，將兩個圖像分別送入質(zhì)量增強(qiáng)網(wǎng)絡(luò)，并將紋理特征用于增強(qiáng)結(jié)構(gòu)特征；最后，使用聚合網(wǎng)絡(luò)將預(yù)測的高質(zhì)量紋理圖和結(jié)構(gòu)圖合并起來。為了解決池化和膨脹濾波等帶來的網(wǎng)格化問題，Liu等人［12，13］提出了一種多級小波卷積神經(jīng)網(wǎng)絡(luò)（multi-level wavelet convolutional neural network，MWCNN），該網(wǎng)絡(luò)在圖像去噪、單幅圖像超分辨率和JPEG圖像偽影去除等方面具有良好的效果。為了解決圖像增強(qiáng)性能、網(wǎng)絡(luò)參數(shù)量和推理時間之間的權(quán)衡問題，Zhang等人［14］提出一種輕量化的快速超分辨網(wǎng)絡(luò)（wavelet super-resolution，WSR），該方法提出一種可變形卷積核來減少網(wǎng)絡(luò)參數(shù)。

雖然上述方法可以取得良好的去噪性能，但是這些方法無法針對不同級別的壓縮偽影實(shí)現(xiàn)自適應(yīng)的圖像增強(qiáng)。這些方法往往需要訓(xùn)練多個去噪網(wǎng)絡(luò)模型，這必然提升圖像增強(qiáng)方法的復(fù)雜度，而且經(jīng)過訓(xùn)練的多個模型將占用較大的存儲空間，因此這些方法很難被廣泛地采用。為了解決這一問題，Li等人［15］提出了一種面向不同質(zhì)量因子JPEG壓縮的單模型壓縮偽影去除方法，該方法分別使用恢復(fù)支路和全局支路來解決局部震蕩偽影、全局的塊偽影和顏色漂移問題。此外，Kirmemis等人［16］提出了一種BPG（better portable graphics）圖像壓縮的偽影去除方法，該算法需要從三個不同大小的壓縮偽影去除網(wǎng)絡(luò)中選擇一個網(wǎng)絡(luò)對圖像進(jìn)行去噪，但是如何挑選最佳的偽影去除網(wǎng)絡(luò)是一個非常棘手的問題。除了壓縮圖像的增強(qiáng)問題外，很多研究者致力于解決視頻壓縮質(zhì)量增強(qiáng)問題。例如，文獻(xiàn)［17］提出一種基于雙網(wǎng)絡(luò)的壓縮視頻重建方法，該方法先用壓縮網(wǎng)絡(luò)去除壓縮偽影，再使用超分辨率網(wǎng)絡(luò)進(jìn)一步提高視頻質(zhì)量。為了解決多描述編碼圖像的壓縮失真問題，文獻(xiàn)［18］通過相鄰關(guān)鍵幀估計(jì)來實(shí)現(xiàn)壓縮圖像的增強(qiáng)。Zhao等人［19］將圖像預(yù)處理和后處理技術(shù)結(jié)合起來，構(gòu)建了一種兼容標(biāo)準(zhǔn)編碼器的多描述編碼新框架，該框架極大地提升了圖像的編碼效率和解碼圖像質(zhì)量。類似地，Zhang等人［20］通過棋盤格下采樣的方法獲得多個單描述圖像，然后使用標(biāo)準(zhǔn)編碼器進(jìn)行編碼，最后使用卷積神經(jīng)網(wǎng)絡(luò)來增強(qiáng)單路和中路解碼圖像質(zhì)量。Purica等人［21］提出將視頻序列的兩個低分辨率壓縮描述合并為一個高分辨率描述。Zhang等人［22］采用奇偶分離的采樣方式對接收到的邊路描述進(jìn)行重構(gòu)增強(qiáng)。Zhu等人［23］提出一種壓縮約束去塊算法，該算法有效地利用接收到的兩個描述信息來減少中路解碼圖像的邊界偽影。Xu［24］提出一種基于3D-LVQ（3D lattice vector quantization）的圖像編碼預(yù)測解碼方法，該方法能夠提高邊路圖像解碼的性能?？偠灾?，這些深度學(xué)習(xí)模型往往很難滿足輕量化設(shè)備的需求，因此，需要研究低復(fù)雜度的深度學(xué)習(xí)模型。為了解決多描述壓縮圖像出現(xiàn)的壓縮偽影問題，特別是邊路解碼圖像會出現(xiàn)嚴(yán)重的結(jié)構(gòu)分裂偽影問題，本文提出一種聯(lián)合邊路和中路解碼特征學(xué)習(xí)的多描述壓縮圖像增強(qiáng)方法（MDE）。本文貢獻(xiàn)點(diǎn)總結(jié)如下：

a）為了解決現(xiàn)有深度學(xué)習(xí)模型占用存儲空間大、計(jì)算復(fù)度高的問題，設(shè)計(jì)了一種殘差遞歸補(bǔ)償網(wǎng)絡(luò)并將其作為邊路和中路的低分辨率特征提取網(wǎng)絡(luò)，而且使用參數(shù)共享策略來有效地提取兩個具有內(nèi)容相同而細(xì)節(jié)存在差異的兩描述解碼圖像特征。

b）考慮到多描述編碼的邊路獨(dú)立解碼特性，設(shè)計(jì)了多描述邊路上采樣重建網(wǎng)絡(luò)。多描述邊路上采樣重建網(wǎng)絡(luò)也采用部分網(wǎng)絡(luò)層參數(shù)共享策略，從而減小所提方法的網(wǎng)絡(luò)模型參數(shù)量并提高網(wǎng)絡(luò)的泛化能力。

c）考慮到多描述編碼的中路聯(lián)合解碼的特性，設(shè)計(jì)了一種多描述中路上采樣重建網(wǎng)絡(luò)將兩個邊路低分辨率特征和中路低分辨率特征進(jìn)行深層特征融合來實(shí)現(xiàn)多描述壓縮圖像的增強(qiáng)。

1 所提的多描述壓縮圖像增強(qiáng)方法

雖然現(xiàn)有的多描述編碼方法能夠有效地解決在不穩(wěn)定網(wǎng)絡(luò)環(huán)境下圖像的可靠傳輸問題，但是有損的多描述編碼難免會導(dǎo)致解碼圖像出現(xiàn)各種偽影、噪聲、結(jié)構(gòu)變形和結(jié)構(gòu)分離等問題。相比于傳統(tǒng)圖像增強(qiáng)技術(shù)，深度學(xué)習(xí)圖像增強(qiáng)技術(shù)能夠更好地去除壓縮偽影。然而，現(xiàn)有的深度學(xué)習(xí)增強(qiáng)模型存在計(jì)算復(fù)雜度過高、運(yùn)算內(nèi)存占用過大的問題，同時這些現(xiàn)有的網(wǎng)絡(luò)只能解決單描述圖像增強(qiáng)問題。將這些網(wǎng)絡(luò)直接用于解決多描述增強(qiáng)任務(wù)時，只能單獨(dú)地增強(qiáng)邊路和中路解碼圖像，無法聯(lián)合邊路和中路特征進(jìn)行解碼。為此，提出了一種聯(lián)合邊路和中路解碼特征學(xué)習(xí)的多描述編碼圖像增強(qiáng)方法。首先，所提方法需要使用多描述隨機(jī)偏移量化（multiple description random offset quantization，MDROQ）方法［25］對輸入圖像進(jìn)行編碼和解碼。通過MDROQ方法可以獲得兩個帶有失真的邊路解碼圖像和一個中路解碼圖像。如圖1所示，所提方法將多描述圖像增強(qiáng)分為低分辨率特征提取和高分辨率圖像重建兩個階段。第一個階段包括兩個多描述邊路低分辨率特征提取網(wǎng)絡(luò)和一個多描述中路低分辨率特征提取網(wǎng)絡(luò)。第二個階段包括兩個多描述邊路上采樣重建網(wǎng)絡(luò)和一個多描述中路上采樣重建網(wǎng)絡(luò)。根據(jù)多描述編碼的邊路獨(dú)立解碼和中路聯(lián)合解碼的特性，設(shè)計(jì)了一種殘差遞歸補(bǔ)償網(wǎng)絡(luò)結(jié)構(gòu)并將其用于邊路和中路的低分辨率特征提取網(wǎng)絡(luò)。邊路特征提取使用參數(shù)共享策略能夠有效地提取兩個外表相同但細(xì)節(jié)信息有所差異的兩個描述解碼圖像的卷積特征。此外，所提的多描述邊路上采樣重建網(wǎng)絡(luò)也采用部分網(wǎng)絡(luò)層參數(shù)共享策略，這將極大地減小模型總參數(shù)量。

不同于邊路上采樣重建網(wǎng)絡(luò)，多描述中路上采樣重建網(wǎng)絡(luò)將兩個邊路低分辨率特征與中路低分辨率特征進(jìn)行深層特征融合來實(shí)現(xiàn)壓縮圖像的增強(qiáng)。所提方法的增強(qiáng)過程可以表示為

Yi=Xi+Ri i=1，2，3（1）

其中：i=1，2，3分別表示邊路1、中路、邊路2；Y表示增強(qiáng)后的圖像；X表示輸入的圖像；R表示重建網(wǎng)絡(luò)預(yù)測的殘差圖。

1.1 低分辨率特征提取網(wǎng)絡(luò)

不同于單描述圖像編碼，考慮到多描述圖像編碼的輸出包含多個邊路解碼圖像和中路解碼圖像，所提的低分辨率特征提取網(wǎng)絡(luò)包括邊路低分辨率特征提取網(wǎng)絡(luò)和中路特征提取網(wǎng)絡(luò)兩種。為了避免在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中模型出現(xiàn)過擬合的現(xiàn)象，同時降低深度神經(jīng)網(wǎng)絡(luò)的可學(xué)習(xí)參數(shù)量，所提的邊路低分辨特征提取網(wǎng)絡(luò)采用殘差塊參數(shù)共享策略來有效地提取低分辨率特征。與以往方法不同的是，這里的參數(shù)共享策略不是將兩個邊路網(wǎng)絡(luò)都共享，而是進(jìn)行部分塊間的共享，同時在網(wǎng)絡(luò)遞歸過程中，將遞歸結(jié)果使用1×1卷積進(jìn)行處理，再將其與前一個遞歸塊相加的結(jié)果輸入下一個遞歸塊，這樣既有效地減少了網(wǎng)絡(luò)參數(shù)量，又保證了不同支路間的差異性，該網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示。中路低分辨率特征提取網(wǎng)絡(luò)與邊路低分辨率特征提取網(wǎng)絡(luò)的相似點(diǎn)在于采用同一網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，但是這兩個網(wǎng)絡(luò)的可學(xué)習(xí)參數(shù)取值有所不同，如圖1所示。

在兩個邊路和中路低分辨率特征提取網(wǎng)絡(luò)中，首先使用一個卷積塊的操作，即卷積（convolution，Conv）+批歸一化（batch normalization，BN）+PReLU（parametric rectified linear unit）激活函數(shù)，將其標(biāo)記為Conb。將圖像轉(zhuǎn)換為卷積特征，這里使用步長為2的下采樣卷積操作來減少運(yùn)算量，然后采用所提的殘差遞歸補(bǔ)償方式對該卷積特征進(jìn)行多層融合。在這個補(bǔ)償過程中，使用了五個殘差卷積塊（residual convolution block，Resb）依次進(jìn)行特征提取，同時將這些提取到的特征進(jìn)行多次的通道加權(quán)平均融合。殘差卷積塊包括五個操作，即Conv+BN+PReLU+Conv+跳躍連接。經(jīng)過第五個殘差卷積塊的特征提取之后，將其與初始的卷積特征和前四次通道加權(quán)融合的特征再次進(jìn)行通道加權(quán)特征融合得到該特征提取網(wǎng)絡(luò)的低分辨率卷積特征。邊中路低分辨率特征提取網(wǎng)絡(luò)每層的參數(shù)如表1所示。具體來說，使用Conb1進(jìn)行下采樣同時提取圖像的特征，將Conb1提取的圖像特征輸入到Resb1中，同時將Conb1提取的圖像特征輸入到Conv1中，將Resb1的輸出與Conv1的輸出的和作為Resb2的輸入。在Conv2中，將Resb1的輸入與Resb2的輸入作為Conv2的輸入，然后將Resb2的輸出與Conv2的輸出的和作為Resb3的輸入。類似于Resb2和Resb3操作，Resb4與Resb5執(zhí)行同樣的操作。在Conv3中，將Resb1的輸入、Resb2的輸入、Resb3的輸入求和的結(jié)果作為Conv3的輸入。類似于Conv2和Conv3操作，Conv4與Conv5執(zhí)行同樣的殘差遞歸補(bǔ)償操作。最后，將Resb5的輸出與Conv5的輸出的和作為低分辨率特征提取網(wǎng)絡(luò)的輸出，同時，將兩個邊路低分辨率特征提取網(wǎng)絡(luò)輸出的結(jié)果求和作為中路上采樣重建網(wǎng)絡(luò)的輸入。概括來說，兩個邊路低分辨特征提取網(wǎng)絡(luò)可以表示為

Zi=gs（Xi） i=1，3（2）

Z13=Z1+Z3（3）

其中：Zi表示經(jīng)過第i個邊路低分辨率特征提取網(wǎng)絡(luò)表示后的特征圖;Xi表示多描述解碼的第i個邊路圖像；gs（·）表示邊路Xi→Zi的特征映射，即邊路低分辨率特征提取網(wǎng)絡(luò)的映射函數(shù);Z13是Z1和Z3特征圖像線性組合。類似地，中路低分辨率特征提取網(wǎng)絡(luò)可以表示為

Z2=gc（X2）（4）

其中：Z2表示經(jīng)過中路低分辨率特征提取網(wǎng)絡(luò)表示后的特征圖；X2表示多描述中路解碼圖像；gc（·）表示中路X2→Z2的特征映射，即中路低分辨率特征提取網(wǎng)絡(luò)的映射函數(shù)。

1.2 邊路和中路上采樣重建網(wǎng)絡(luò)

經(jīng)過上述邊路低分辨率特征提取網(wǎng)絡(luò)和中路低分辨率特征提取網(wǎng)絡(luò)后，分別可以得到兩組邊路低分辨率卷積特征圖和一組中路低分辨率卷積特征圖。在第一個邊路上采樣重建網(wǎng)絡(luò)中，將得到的第一個邊路低分辨率特征輸入到五個串聯(lián)的卷積塊操作得到重建特征，同時在第三個卷積塊操作中引入跳躍連接，有助于梯度反向傳播。最后，將得到的重建特征輸入到上采樣（transposed convolution，ConvT）卷積層，即可得到第一個邊路解碼增強(qiáng)圖像。類似地，第二個邊路上采樣重建網(wǎng)絡(luò)也是如此。如圖1所示，在兩個邊路上采樣重建網(wǎng)絡(luò)中，深層的卷積層采用參數(shù)共享策略，這種策略能夠保證參數(shù)量較少的同時增強(qiáng)圖像重建效果。

不同于邊路上采樣重建網(wǎng)絡(luò)，中路上采樣重建網(wǎng)絡(luò)不僅可以使用從兩個邊路解碼圖像提取的特征圖，而且還可以使用從中路解碼圖像提取的特征圖。因此，在邊路上采樣重建網(wǎng)絡(luò)的結(jié)構(gòu)之上，設(shè)計(jì)了能夠融合這些特征圖的中路上采樣重建網(wǎng)絡(luò)。中路上采樣重建網(wǎng)絡(luò)與邊路上采樣重建網(wǎng)絡(luò)都使用了五個卷積塊操作，但不同的是在跳躍連接之后將得到的邊路融合特征與中路低分辨率特征沿通道維度進(jìn)行串聯(lián)，同時在中路上采樣重建網(wǎng)絡(luò)中深層的卷積層沒有與邊路重建網(wǎng)絡(luò)進(jìn)行參數(shù)共享，這樣做的主要原因是第四個卷積塊的輸入特征圖之間存在較大差異，如圖1所示。邊路和中路重建網(wǎng)絡(luò)每層的參數(shù)如表2所示。邊路上采樣重建網(wǎng)絡(luò)的非線性映射關(guān)系可以表示為

R1=fs1（Z1）（5）

R3=fs3（Z3）（6）

其中：R1和 R3分別表示兩個邊路經(jīng)低分辨率提取網(wǎng)絡(luò)和特征上采樣重建網(wǎng)絡(luò)重建后的圖像;Z1和Z2表示經(jīng)低分辨率特征提取后的圖像;fs1（·）和fs3（·）分別表示兩個邊路上采樣重建網(wǎng)絡(luò)的映射函數(shù)。中路上采樣重建網(wǎng)絡(luò)的非線性映射關(guān)系可以表示為

R2=fc（Z1，Z2，Z3）（7）

其中：R2表示經(jīng)低分辨率提取網(wǎng)絡(luò)和特征上采樣重建網(wǎng)絡(luò)重建后的圖像；Z表示經(jīng)低分辨率特征提取后的圖像；fc（·）表示Z→R中路上采樣重建網(wǎng)絡(luò)的映射函數(shù)。最后，所提方法的邊路和中路的整個非線性映射關(guān)系可以表示為

Y1=X1+R1=X1+fs1（Z1）=X1+fs1（gs（X1））（8）

Y2=X2+R2=X2+fc（Z1，Z2，Z3）=

X2+fc（gs（X1），gc（X2），gs（X3））

（9）

Y3=X3+R3=X3+fs3（Z3）=X3+fs3（gs（X3））（10）

其中：Y1、Y2和 Y3分別表示邊路1、中路、邊路2增強(qiáng)后的圖像；X1、X2和X3分別表示輸入的邊路1、中路、邊路2解碼圖像；R1、R2和R3分別表示經(jīng)低分辨率提取網(wǎng)絡(luò)和特征上采樣重建網(wǎng)絡(luò)重建后的邊路1、中路和邊路2殘差圖；fs1（·）、fc（·）和fs3（·）分別表示Z1→R1、（Z1，Z2，Z3）→R2和Z3→R3的特征映射函數(shù)。

1.3 損失函數(shù)

現(xiàn)有圖像重建損失包括內(nèi)容損失、結(jié)構(gòu)不相似性損失、全變分損失和梯度差損失等。對于圖像重建的內(nèi)容損失，往往采用L1或L2范數(shù)來構(gòu)建損失函數(shù)。很多的研究工作表明由L2范數(shù)構(gòu)建的均方誤差損失會使得經(jīng)過該損失函數(shù)約束的模型輸出結(jié)果呈現(xiàn)過度平滑的效果。與之相比，由L1范數(shù)構(gòu)建的平均絕對誤差損失函數(shù)會使得經(jīng)過該損失函數(shù)約束的模型輸出結(jié)果和原圖更接近。因此，本文采用平均絕對誤差損失來作為圖像增強(qiáng)任務(wù)的損失函數(shù)。所提方法的總損失loss可以表達(dá)為

loss=αloss1+βloss2+αloss3（11）

loss1=1n∑ni=1‖I1i－1i‖（12）

loss2=1n∑ni=1‖I2i－2i‖（13）

loss3=1n∑ni=1‖I3i－3i‖（14）

其中：loss1、loss2和loss3分別為第一個邊路解碼圖像增強(qiáng)損失和中路解碼圖像增強(qiáng)損失以及第二個邊路解碼圖像增強(qiáng)損失;I1i和1i分別為第一個邊路的預(yù)測輸出圖和原始圖像的第i個像素;n為原始圖像的像素總數(shù)，其他標(biāo)記類似;α為邊路損失函數(shù)的權(quán)重;β為中路損失函數(shù)的權(quán)重。

1.4 算法描述

本文所使用的訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集均來自于文獻(xiàn)［26］。該數(shù)據(jù)集使用文獻(xiàn)［27，28］的291張圖像來獲得訓(xùn)練圖像塊集合，其中91張圖像來自于文獻(xiàn)［27］的訓(xùn)練數(shù)據(jù)集，其余200張圖像來自于文獻(xiàn)［28］的BSDS500訓(xùn)練數(shù)據(jù)集。文獻(xiàn)［26］使用裁切、下采樣和圖像拼接的方式來得到訓(xùn)練數(shù)據(jù)集，最終獲得1 681張大小為160×160的圖像，將該數(shù)據(jù)集簡稱為set-1681。通過多描述隨機(jī)偏移量化方法（MDROQ）對set-1681數(shù)據(jù)集進(jìn)行壓縮來獲得壓縮后的數(shù)據(jù)集set-1681（C），使用數(shù)據(jù)集set-1681和set-1681（C）來構(gòu)建MDE網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集。這里，使用不同量化參數(shù)對（Qstep0，Qstep1）分別為（56，56.57）（96，96.57）（136，136.57）（176，176.57）和（216，216.57）來獲得不同失真程度的壓縮圖像。當(dāng)量化參數(shù)對（Qstep0，Qstep1）越小時，多描述圖像壓縮失真越小，即保留更多的原始信息。雖然訓(xùn)練數(shù)據(jù)集的大小和圖像類型會影響深度學(xué)習(xí)網(wǎng)絡(luò)的性能，但是本文所有對比方法的訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集都是相同的，從而保證了對比的公平性。

接下來，將介紹所提MDE網(wǎng)絡(luò)的訓(xùn)練算法。如算法1所示，首先利用多描述隨機(jī)偏移量化方法（MDROQ）壓縮set-1681數(shù)據(jù)集，然后構(gòu)建MDE網(wǎng)絡(luò)訓(xùn)練所需的數(shù)據(jù)集。其次，對邊路低分辨率特征提取網(wǎng)絡(luò)參數(shù)ζ 、中路低分辨率特征提取網(wǎng)絡(luò)參數(shù)η、邊路上采樣重建網(wǎng)絡(luò)參數(shù)λ和中路上采樣重建網(wǎng)絡(luò)參數(shù)ξ進(jìn)行初始化。接下來，根據(jù)式（2）進(jìn)行邊路低分辨率特征提取，與此同時，根據(jù)式（4）進(jìn)行中路低分辨率特征提取?？紤]到多描述邊路解碼的獨(dú)立性和中路的聯(lián)合解碼，根據(jù)式（5）～（7）進(jìn)行邊路和中路上采樣重建預(yù)測。為了聯(lián)合優(yōu)化邊路解碼特征和中路解碼特征，依據(jù)圖像增強(qiáng)任務(wù)的總損失函數(shù)表達(dá)式（11），通過梯度下降法更新網(wǎng)絡(luò)參數(shù)ζ、η、λ和ξ。經(jīng)過訓(xùn)練后，輸出并保存訓(xùn)練好的MDE網(wǎng)絡(luò)模型。

算法1 MDE網(wǎng)絡(luò)的訓(xùn)練算法

輸入：set-1681數(shù)據(jù)集（圖像總數(shù)n=1 681張）;MDE網(wǎng)絡(luò)優(yōu)化的總迭代次數(shù)R=500;優(yōu)化器的初始學(xué)習(xí)率lr=2E-4;更新MDE網(wǎng)絡(luò)的圖像批大小b=8。

輸出：訓(xùn)練好的MDE網(wǎng)絡(luò)模型。

使用多描述隨機(jī)偏移量化方法（MDROQ）壓縮set-1681數(shù)據(jù)集，得到壓縮后的數(shù)據(jù)集，標(biāo)記為set-1681（C）；使用set-1681數(shù)據(jù)集和set-1681（C）構(gòu)建MDE網(wǎng)絡(luò)訓(xùn)練所需的數(shù)據(jù)集。

對MDE網(wǎng)絡(luò)參數(shù)進(jìn)行初始化設(shè)置（邊路低分辨率特征提取網(wǎng)絡(luò)參數(shù)為ζ，中路低分辨率特征提取網(wǎng)絡(luò)參數(shù)為η，邊路上采樣重建網(wǎng)絡(luò)參數(shù)為λ，中路上采樣重建網(wǎng)絡(luò)參數(shù)為ξ）。

for epoch=1 to R do

for i=1 to floor（n/b） do

根據(jù)式（2）進(jìn)行邊路低分辨率特征提取，同時根據(jù)式（4）進(jìn)行中路低分辨率特征提??；考慮到多描述邊路解碼的獨(dú)立性和中路的聯(lián)合解碼，根據(jù)式（5）～（7）進(jìn)行邊路和中路上采樣重建預(yù)測。

為了聯(lián)合優(yōu)化邊路解碼特征和中路解碼特征，依據(jù)圖像增強(qiáng)任務(wù)的總損失函數(shù)表達(dá)式（11），通過梯度下降法更新MDE網(wǎng)絡(luò)參數(shù)ζ、η、λ和ξ。

end for

end for

最后，輸出并保存MDE網(wǎng)絡(luò)模型。

2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證所提MDE方法的有效性，將其與現(xiàn)有的多個深度學(xué)習(xí)方法如ARCNN［5］、FastARCNN［5］、DnCNN［6］、WSR［14］、DWCNNV1［13］、DWCNNV1C［13］和DWCNNV2［12］進(jìn)行比較。本實(shí)驗(yàn)將方法ARCNN、FastARCNN、DnCNN、WSR、DWCNNV1、DWCNNV1C和DWCNNV2的邊路1、邊路2和中路增強(qiáng)網(wǎng)絡(luò)分別使用同一網(wǎng)絡(luò)架構(gòu)，但網(wǎng)絡(luò)參數(shù)有所不同。考慮到WSR是一種基于小波變換的圖像超分辨率方法，將WSR網(wǎng)絡(luò)的上采樣層去除來實(shí)現(xiàn)多描述壓縮圖像的增強(qiáng)。圖2所展示的圖像來自于文獻(xiàn)［26］，將這些圖像用于測試所提方法、ARCNN、FastARCNN、DnCNN、WSR、DWCNNV1、DWCNNV1C和DWCNNV2方法的性能。這里，將不僅使用客觀質(zhì)量評價(jià)指標(biāo)PSNR

和SSIM來比較各種圖像質(zhì)量增方法的性能，而且使用網(wǎng)絡(luò)的總參數(shù)量、網(wǎng)絡(luò)感知野的大小以及運(yùn)行時間來評估這些方法的性能。此外，還將展示這些方法增強(qiáng)后圖像的視覺效果對比。

2.1 仿真環(huán)境與訓(xùn)練設(shè)置

本文在深度學(xué)習(xí)框架PyTorch下使用NVIDIA RTX 2080Ti GPU顯卡來訓(xùn)練和測試所提方法。采用ADAM優(yōu)化器來訓(xùn)練

所提的MDE網(wǎng)絡(luò)，該優(yōu)化器的初始學(xué)習(xí)率lr設(shè)置為2E-4，每迭代100次更新一次學(xué)習(xí)率，學(xué)習(xí)率的乘性衰減率為0.5。每次使用批大小b為8的一組圖像來更新網(wǎng)絡(luò)參數(shù)，網(wǎng)絡(luò)訓(xùn)練的總迭代次數(shù)為R=500。

2.2 客觀和主觀質(zhì)量評價(jià)

為了驗(yàn)證所提方法的可行性，本實(shí)驗(yàn)將其與多個最新圖像增強(qiáng)方法，如ARCNN［5］、FastARCNN［5］、DnCNN［6］、WSR［14］、DWCNNV1［13］、DWCNNV1C［13］和DWCNNV2［12］進(jìn)行了比較，結(jié)果如表3～5所示，其中最好的結(jié)果用雙下劃線加粗字體表示，排名第二的結(jié)果用單下劃線加粗字體表示，排名第三的結(jié)果用加粗字體表示。如表3～5所示，當(dāng)（Qstep0，Qstep1）=（56， 56.57）（96， 96.57）（136， 136.57）（176， 176.57）和（216， 216.57）時，給出了不同方法的客觀評價(jià)指標(biāo)PSNR和SSIM對比結(jié)果。通過對比可以發(fā)現(xiàn)，經(jīng)過所提方法增強(qiáng)的兩個邊路及中路解碼圖像的客觀評價(jià)指標(biāo)PSNR和SSIM明顯高于其他方法。

如表6所示，將所提方法與ARCNN、FastARCNN、DnCNN、WSR、DWCNNV1、DWCNNV1C和DWCNNV2方法的網(wǎng)絡(luò)參數(shù)量進(jìn)行對比。從該表可以發(fā)現(xiàn)ARCNN、FastARCNN、WSR、DWCNNV1、DWCNNV1C的參數(shù)量是本文方法參數(shù)量的一倍多，而且這些方法的PSNR和SSIM指標(biāo)低于本文方法。雖然DnCNN和WSR方法與所提方法的參數(shù)總量非常接近，但是經(jīng)過所提方法增強(qiáng)的圖像的客觀評價(jià)指標(biāo)PSNR和SSIM高于這兩個方法。

如圖3～5所示，將經(jīng)過所提方法、ARCNN、FastARCNN、DnCNN、WSR、DWCNNV1、DWCNNV1CD和WCNNV2方法增強(qiáng)后的壓縮圖像進(jìn)行比較。通過對比可以發(fā)現(xiàn)，邊路解碼圖像存在嚴(yán)重的結(jié)構(gòu)分裂偽影，而中路解碼圖像包含更多細(xì)節(jié)同時更加清晰。相比于ARCNN、FastARCNN、DnCNN、WSR、DWCNNV1、DWCNNV1C和DWCNNV2，所提方法能夠使得增強(qiáng)后的壓縮圖像更清晰。如圖3所示，從該視覺對比圖中可以看出，經(jīng)過ARCNN、FastARCNN、DnCNN、WSR、DWCNNV1、DWCNNV1C和DWCNNV2增強(qiáng)的壓縮圖像仍然存在嚴(yán)重的模糊偽影。與這些方法相比，所提方法的中路圖像視覺效果更好一些，這進(jìn)一步驗(yàn)證了本文方法的有效性。從圖4、5可以看出，經(jīng)過ARCNN、FastARCNN、DnCNN、WSR、DWCNNV1、DWCNNV1C和DWCNNV2方法增強(qiáng)后的壓縮圖像視覺效果非常接近，而經(jīng)過所提方法增強(qiáng)的多描述壓縮圖像視覺效果仍然更好。

Fig.4 Image quality comparison of the first side enhanced image with quantization parameter pair （Qstep0，Qstep1）=（216，216.57）

2.3 復(fù)雜度分析

如表7所示，將所提方法與ARCNN、FastARCNN、DnCNN、WSR、DWCNNV1、DWCNNV1C和DWCNNV2的感知野進(jìn)行對比。從該表中可以發(fā)現(xiàn)：所提方法的感知野比ARCNN、FastARCNN、DnCNN、DWCNNV1和DWCNNV1C更大。但是，所提方法的感知野比WSR和DWCNNV2小。

如表8所示，將所提方法不同感知野在量化參數(shù)對（Qstep0，Qstep1）為（216，216.57）時中路圖像的PSNR和SSIM進(jìn)行對比。從該表中可以發(fā)現(xiàn)，隨著感知野的增加，所提方法的性能將有所提高。但是當(dāng)感知野的值大于103時，性能將逐漸趨于飽和狀態(tài)。此外，從該表中還可以發(fā)現(xiàn)，當(dāng)不同感知野的增強(qiáng)模型擁有相同級別的參數(shù)時，它們的運(yùn)行時間基本上差別不大。一般來說，大感知野的神經(jīng)網(wǎng)絡(luò)可以利用更多的空間相關(guān)性。雖然網(wǎng)絡(luò)的性能在一定程度上受到感知野的影響，但是隨著感知野的不斷增加，空間位置差別較大的兩個像素之間的相關(guān)性也會變?nèi)?，同時也增加神經(jīng)網(wǎng)絡(luò)的復(fù)雜度。由此可見，神經(jīng)網(wǎng)絡(luò)的感知野并不是越大越好。為了驗(yàn)證所提方法的有效性，將所提方法與ARCNN、FastARCNN、DnCNN、WSR、DWCNNV1、DWCNNV1C和DWCNNV2的運(yùn)行時間進(jìn)行比較，如表9所示。由表9可知，所提方法的運(yùn)行時間比FastARCNN慢0.007 s，但它比ARCNN、DnCNN、WSR、DWCNNV1、DWCNNV1C和DWCNNV2都快。

考慮到ARCNN網(wǎng)絡(luò)提取的特征存在著大量的冗余信息，而且該網(wǎng)絡(luò)需要通過增加網(wǎng)絡(luò)參數(shù)量來提升該網(wǎng)絡(luò)的性能，這勢必增加運(yùn)行時間、計(jì)算成本和存儲空間。雖然FastARCNN一定程度緩解了這些問題，但在量化參數(shù)對（Qstep0，Qstep1）較小即圖像質(zhì)量較高時，該方法恢復(fù)效果較差。相比于淺層網(wǎng)絡(luò)ARCNN和FastARCNN，使用更深網(wǎng)絡(luò)結(jié)構(gòu)的DnCNN能夠提升增強(qiáng)后的圖像質(zhì)量，但是也會增加網(wǎng)絡(luò)的計(jì)算量。WSR和DWCNNV主要使用小波分解技術(shù)來解決圖像增強(qiáng)問題。上述方法能夠解決多描述壓縮圖像增強(qiáng)問題，但是它們并沒有考慮到多描述編碼的邊路獨(dú)立解碼和中路聯(lián)合解碼的特性，而所提方法的網(wǎng)絡(luò)結(jié)構(gòu)可以充分利用多描述編碼的邊路獨(dú)立解碼和中路聯(lián)合解碼的特性以及參數(shù)共享的策略，在降低網(wǎng)絡(luò)復(fù)雜度的同時擴(kuò)大感知野使圖像擁有更多的空間相關(guān)性。由此可見，本文方法是一種非常有效的多描述壓縮圖像增強(qiáng)方法。

2.4 消融實(shí)驗(yàn)與分析

為了更好地分析所提方法，將從以下四個方面進(jìn)行消融實(shí)驗(yàn)仿真，即殘差卷積塊個數(shù)、邊中路損失權(quán)重、訓(xùn)練批大小和學(xué)習(xí)率。首先，本實(shí)驗(yàn)提供了殘差卷積塊個數(shù)的消融實(shí)驗(yàn)結(jié)果，如表10所示。在量化參數(shù)對（Qstep0，Qstep1）為（56，56.57）時，該表給出了當(dāng)殘差卷積塊分別為1、3、5、7和9時所提方法的性能變化情況。從表10可以看出，當(dāng)殘差卷積塊的個數(shù)大于5時，所提方法的性能趨于穩(wěn)定，但其參數(shù)量必然增加。在默認(rèn)情況下，將殘差卷積塊的數(shù)量設(shè)置為5。其次，多描述編碼圖像不僅存在壓縮偽影問題，而且存在不同程度的結(jié)構(gòu)分裂問題，在訓(xùn)練時邊路和中路的損失權(quán)重會影響所提方法的性能。本實(shí)驗(yàn)提供了當(dāng)邊路和中路損失函數(shù)邊中路權(quán)重比分別是0.1∶1、0∶0.1和1∶1時所提方法的性能對比，如表11所示。經(jīng)過對比可知，當(dāng)邊中路損失函數(shù)權(quán)重為1∶1時，所提方法的PSNR和SSIM指標(biāo)最高。一般來說，CNN訓(xùn)練的超參數(shù)會影響網(wǎng)絡(luò)的性能。最后，提供了所提方法的學(xué)習(xí)率和批大小消融實(shí)驗(yàn)結(jié)果。如表12所示，對批大小為4、8、12和16進(jìn)行了實(shí)驗(yàn)仿真。從表12可以看出，所提方法對批大小不敏感。當(dāng)批大小為8時，所提方法的PSNR和SSIM指標(biāo)最高。如表13所示，本消融實(shí)驗(yàn)對學(xué)習(xí)率為1E-4、2E-4和3E-4分別進(jìn)行實(shí)驗(yàn)仿真。從該表中可以發(fā)現(xiàn)所提方法對學(xué)習(xí)率也不敏感。雖然使用學(xué)習(xí)率為3E-4訓(xùn)練的模型的PSNR比2E-4的略高，但是使用學(xué)習(xí)率為3E-4訓(xùn)練的模型的SSIM比2E-4低，考慮到人眼更關(guān)注于圖像的結(jié)構(gòu)區(qū)域，在默認(rèn)情況下將學(xué)習(xí)率設(shè)定為2E-4。

3 結(jié)束語

針對多描述編碼的壓縮失真問題，本文提出一種聯(lián)合邊路和中路解碼特征學(xué)習(xí)的多描述編碼圖像增強(qiáng)方法。首先，提出一種殘差遞歸網(wǎng)絡(luò)，并將其作為邊路和中路的低分辨率特征提取網(wǎng)絡(luò)。其次，根據(jù)邊路和中路的解碼特性采用參數(shù)共享策略來有效地提取兩個內(nèi)容相同且具有差異性的邊路圖像特征。最后，將兩個邊路低分辨率特征/中路低分辨率特征通過邊路/中路上采樣重建網(wǎng)絡(luò)來實(shí)現(xiàn)多描述壓縮圖像的增強(qiáng)。大量的實(shí)驗(yàn)結(jié)果表明，在模型復(fù)雜度、客觀質(zhì)量評價(jià)和視覺質(zhì)量方面，本文方法優(yōu)于很多的深度學(xué)習(xí)圖像增強(qiáng)方法。在未來工作中，將考慮使用單個深度學(xué)習(xí)模型解決不同量化參數(shù)下多描述編碼圖像的增強(qiáng)問題。

參考文獻(xiàn)：

[1]Dabov K， Foi A， Katkovnik V， et al. Image denoising by sparse 3D transform domain collaborative filtering［J］.IEEE Trans on Image Processing，2007，16（8）：2080-2095.

［2]Foi A， Katkovnik V， Egiazarian K. Pointwise shape-adaptive DCT for high-quality denoising and deblocking of grayscale and color images［J］.IEEE Trans on Image Processing，2007，16（5）：1395-1411.

［3]Chang Huibin， Ng M K， Zeng Tieyong. Reducing artifacts in JPEG decompression via a learned dictionary［J］.IEEE Trans on Signal Processing，2014，62（3）：718-728.

［4]Zhang Jian， Xiong Ruiqin， Zhao Chen， et al. CONCOLOR： constrained non-convex low-rank model for image deblocking［J］.IEEE Trans on Image Processing，2016，25（3）：1246-1259.

［5]Dong Chao， Deng Yubin， Loy C C， et al. Compression artifacts reduction by a deep convolutional network［C］//Proc of IEEE International Conference on Computer Vision.2015：576-584.

［6]Zhang Kai， Zuo Wangmeng， Chen Yunjin， et al. Beyond a Gaussian denoiser： residual learning of deep CNN for image denoising［J］.IEEE Trans on Image Processing，2017，26（7）：3142-3155.

［7]Qiu Han， Zheng Qinkai， Memmi G， et al. Deep residual learning-based enhanced jpeg compression in the Internet of Things［J］.IEEE Trans on Industrial Informatics，2021，17（3）：2124-2133.

［8]陳書貞，張祎俊，練秋生.基于多尺度稠密殘差網(wǎng)絡(luò)的JPEG壓縮偽跡去除方法［J］.電子與信息學(xué)報(bào)，2019，41（10）：2479-2486.（Chen Shuzhen， Zhang Yijun， Lian Qiusheng. JPEG compression artifacts reduction algorithm based on multi-scale dense residual network［J］.Journal of Electronics and Information Technology，2019，41（10）：2479-2486.）

［9]Zhang Xiaoshuai， Yang Wenhan， Hu Yueyu， et al. DMCNN： dual-domain multi-scale convolutional neural network for compression artifacts removal［C］//Proc of the 25th IEEE International Conference on Image Processing.2018：390-394.

［10]Zhang Bolun， Chen Yaowu， Tian Xiang， et al. Implicit dual-domain convolutional network for robust color image compression artifact reduction［J］.IEEE Trans on Circuits and Systems for Video Technology，2020，30：3982-3994.

［11]Jin Zhi， Muhammad Z I， Bobkov D， et al. A flexible deep CNN framework for image restoration［J］.IEEE Trans on Multimedia，2019，22（4）：1055-1068.

［12]Liu Pengju， Zhang Hongzhi， Lian Wei， et al. Multi-level wavelet convolutional neural networks［J］.IEEE Access，2019，7：74973-74985.

［13]Liu Pengju， Zhang Hongzhi， Zhang Kai， et al. Multi-level wavelet-CNN for image restoration［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops.Piscataway，NJ：IEEE Press，2018：886-88609.

［14]Zhang Huanrong， Jin Zhi， Tan Xiaojun， et al. Towards lighter and faster： learning wavelets progressively for image super-resolution［C］//Proc of the 28th ACM International Conference on Multimedia.2020：2113-2121.

［15]Li Jianwei， Wang Yongtao， Xie Haihua， et al. Learning a single model with a wide range of quality factors for jpeg image artifacts removal［J］.IEEE Trans on Image Processing，2020，29：8842-8854.

［16]Kirmemis O， Bakar G， Tekalp A M. Learned compression artifact removal by deep residual networks［C］//Proc of IEEE Conference on Compu-ter Vision and Pattern Recognition Workshops.2018：2602-2605.

［17]周航，何小海，王正勇，等.采用雙網(wǎng)絡(luò)結(jié)構(gòu)的壓縮視頻超分辨率重建［J］.電訊技術(shù)，2020，60（1）：81-86.（Zhou Hang， He Xiaohai， Wang Zhengyong， et al. Super-resolution reconstruction of compressed video with dual network structure［J］.Telecommunication Technology，2020，60（1）：81-86.）

［18]鉉欣.基于多描述標(biāo)量量化的分布式視頻編碼［D］.西安：西安電子科技大學(xué)，2012.（Xuan Xin. Multiple description scalar quantization-based" """distributed video coding［D］.Xi’an：XiDian University，2012.）

［19]Zhao Lijun， Bai Huihui， Wang Anhong， et al. Multiple description convolutional neural networks for image compression［J］.IEEE Tran on Circuits and Systems for Video Technology，2018，29（8）：2494-2508.

［20]Zhang Xiangjun， Wu Xiaolin. Standard-compliant multiple description image coding by spatial multiplexing and constrained least-squares restoration［C］//Proc of the 10th Workshop on Multimedia Signal Processing.Piscataway，NJ：IEEE Press，2008：349-354.

［21]Purica A， Boyadjis B， Pesquet P B， et al. A convex optimization framework for video quality and resolution enhancement from multiple descriptions［J］.IEEE Trans on Image Processing，2018，28（4）：1661-1674.

［22]Zhang Ting， Bai Huihui， Zhang Mengmeng， et al. Standard-compliant multiple description image coding based on convolutional neural networks［J］.IEICE Trans on Information and Systems，2018，101（10）：2543-2546.

［23]Zhu Shuyuan， He Zhiying， Meng Xiandong， et al. A new polyphase down-sampling-based multiple description image coding［J］.IEEE Trans on Image Processing，2020，29：5596-5611.

［24]Xu Yuanyuan. Predictive side decoding for human-centered multiple description image coding［J］.EURASIP Journal on Wireless Communications and Networking，2020，2020（1）：1-14.

［25]Meng Lili， Liang Jie， Samarawickrama U， et al. Multiple description coding with randomly and uniformly offset quantizers［J］.IEEE Trans on Image Processing，2013，23（2）：582-595.

［26]Zhao Lijun， Bai Huihui， Wang Anhong， et al. Learning a virtual codec based on deep convolutional neural network to compress image［J］.Journal of Visual Communication and Image Representation，2019，63：102589-102599.

［27]Yang Jianchao， John W， Thomas S H， et al. Image super-resolution via sparse representation［J］.IEEE Trans on Image Processing，2010，19（11）：2861-2873.

［28]Pablo A， Michael M， Charless F， et al. Contour detection and hierarchical image segmentation［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2010，33（5）：898-916.