基于卷積自編碼器的圖像壓縮

(成都理工大學(xué) 四川 成都 610059)

一、介紹

自動編碼器有潛力解決日益增長的有損壓縮算法的需求。根據(jù)不同的情況，需要不同計算復(fù)雜度的編碼器和解碼器。開發(fā)一種新的編解碼器可能需要數(shù)年時間，但基于神經(jīng)網(wǎng)絡(luò)的更通用的壓縮框架可能能夠更快地適應(yīng)這些不斷變化的任務(wù)和環(huán)境。不幸的是，有損壓縮本質(zhì)上是一個不可微的問題。我們的目標(biāo)是直接優(yōu)化自動編碼器產(chǎn)生的速率失真權(quán)衡。通過提出了一種簡單而有效的方法來處理基于四舍五入的量化的不可微性，并逼近生成系數(shù)編碼的不可微代價。

通過使用這種方法，我們可以獲得與jpeg2000相似或更好的性能。然而，與jpeg2000不同的是，我們的框架可以針對特定的內(nèi)容(例如縮略圖或非自然圖像)、任意指標(biāo)進(jìn)行優(yōu)化，并且易于推廣到其他方面。

二、壓縮自編碼器

定義一個壓縮自編碼器(CAE)有三個組件:編碼器f，解碼器g和概率模型Q，

f:N→M,g:M→N,Q:M→[0,1].

(1)

由Q定義的離散概率分布用于根據(jù)比特數(shù)的頻率將比特數(shù)賦給表示，即熵編碼。這三個組件可能都有參數(shù)，我們的目標(biāo)是優(yōu)化使用少量比特和具有較小失真之間的權(quán)衡，

(2)

這里,β控制的權(quán)衡,方括號表示量化舍入到最接近的整數(shù),和d措施引入失真編碼和解碼。編碼器的量化輸出是用于表示圖像并無損存儲的代碼。遺憾的是，我們不能使用基于梯度的技術(shù)直接優(yōu)化方程(2)，因為Q和[·]是不可微的。下面兩部分提出了解決這個問題的方法。

(一)量化與可微替代。我們建議用光滑近似r的導(dǎo)數(shù)代替它在反向傳播的后向傳遞過程中的導(dǎo)數(shù)(Rumelhart等人，1986)，即有效地定義導(dǎo)數(shù)為

(3)

重要的是，并沒有完全用光滑的近似來代替舍入函數(shù)，而只是用它的導(dǎo)數(shù)來代替，這意味著在前向傳遞中仍然像往常一樣進(jìn)行量化。從經(jīng)驗上看，發(fā)現(xiàn)等式r(y)=y和更復(fù)雜的選擇一樣有效。這使得該操作易于實現(xiàn)，因為我們只需將梯度傳遞給編碼器，而無需修改解碼器。注意，如果d是可微的，那么相對于解碼器s參數(shù)的梯度可以不用近似計算。與相關(guān)方法相比，我們的方法的優(yōu)點是不改變解碼器的梯度，因為前向傳遞保持不變。

接下來，將討論其他作者提出的替代方法。受抖動理論聯(lián)系的啟發(fā)，Ballé等(2016)提出用加性均勻噪聲代替量化，

[f(X)]≈f(X)+u.

(4)

另一方面，Toderici等人(2016a)使用了隨機形式的二值化(Williams,1992)。將這一思想推廣到整數(shù)，我們定義了以下隨機四舍五入操作:

{y}≈?y」+ε,ε∈{0,1},P(ε=1)=y-?y」,

(5)

其中?.」為樓層操作員。在向后傳遞過程中，導(dǎo)數(shù)被期望的導(dǎo)數(shù)代替，

(6)

(二)熵率估計。由于Q是一個離散函數(shù)，不能對它的參數(shù)求導(dǎo)，我們先用概率密度Q表示模型s分布q，從而將不可微比特數(shù)上界，

(7)

上界由：

(8)

其中第二步是從Jensen ‘s不等式推導(dǎo)而來(參見Theis等人，2016)。上界的無偏估計是通過從單位立方體中采樣u得到的[-.5,.5[M。如果我們使用可微密度，這個估計在z上是可微的，因此可以用來訓(xùn)練編碼器。

(三)可變比特率。在實踐中，我們常常希望對所使用的比特數(shù)進(jìn)行精確的控制。實現(xiàn)這一點的一種方法是訓(xùn)練一個自動編碼器，以適應(yīng)不同的速率失真權(quán)衡。但這將要求我們培訓(xùn)和存儲大量潛在的模型。為了降低這些成本，我們通過引入比例參數(shù)λ∈M，對一個預(yù)先訓(xùn)練的不同速率的自動編碼器進(jìn)行了微調(diào)，

-log2q([f(x)°λ]+u)+β·d(x,g([f(x)°λ]/λ)).

(9)

這里，°表示點乘和除法也按點乘執(zhí)行。為了減少可訓(xùn)練比例尺的數(shù)量，它們可以進(jìn)一步跨維度共享。例如，當(dāng)f和g是卷積的時候，我們共享跨空間維度的尺度參數(shù)，但不共享跨通道的尺度參數(shù)。

三、相關(guān)工作

與這樣的做法最密切相關(guān)的是Ballé等人(2016)的工作。主要的區(qū)別在于處理量化和熵率估計的方式。Ballé等人(2016)所使用的變換由單一線性層和一種對比度增益控制形式組成，而本文的框架依賴于更標(biāo)準(zhǔn)的深度卷積神經(jīng)網(wǎng)絡(luò)。

Toderici等(2016a)提出使用遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)進(jìn)行壓縮。與本文工作中的熵編碼不同，網(wǎng)絡(luò)試圖將給定比特數(shù)的失真最小化。圖像以迭代方式編碼，并在每個步驟中執(zhí)行解碼，以便能夠在下一次迭代中考慮殘差。這種設(shè)計的一個優(yōu)點是它允許圖像的漸進(jìn)編碼。缺點是它的壓縮比本文的方法耗費更多的時間，因為本文使用高效的卷積神經(jīng)網(wǎng)絡(luò)，并且在編碼階段不需要解碼。

Gregor等人(2016)探索了使用變分自編碼器與循環(huán)編碼器和解碼器對小圖像進(jìn)行壓縮。這種類型的自動編碼器被訓(xùn)練成最大化對數(shù)可能性的下界，或者等價地最小化

(10)

其中p(y|x)為編碼器，q(x|y)為解碼器。而Gregor等人(2016)使用編碼器的高斯分布,我們可以聯(lián)系他們的工作方法Ballé等人(2016)通過假設(shè)它是制服,p(y|x)=f(x)+u。果我們還假設(shè)固定方差的高斯可能性,q(x|y)=Ν(x|g(y),σ2Ι),目標(biāo)函數(shù)可以寫

(11)

這里C是一個常數(shù)，它包含編碼器的負(fù)熵和高斯似然的歸一化常數(shù)。注意,這個方程是相同的率失真的權(quán)衡與β=σ-2/2和量化取代添加劑均勻噪聲。然而，并不是所有的失真都有一個等價的公式作為一個變分自動編碼器(Kingma & Welling,2014)。只有當(dāng)e-d(x,y)在x中可歸一化且歸一化常數(shù)不依賴于y時，這才成立，否則C就不是常數(shù)。

四、結(jié)論

在未來的工作中，希望探索不同指標(biāo)下壓縮自編碼器的優(yōu)化方法。Bruna 等人(2016)提出了一個很有前景的方向，他使用基于訓(xùn)練的用于圖像分類的神經(jīng)網(wǎng)絡(luò)的度量獲得了有趣的超分辨率結(jié)果。Gatys等人(2016)使用了類似的表示方法，在感知意義風(fēng)格轉(zhuǎn)移方面實現(xiàn)了突破。感知度量的另一種選擇可能是使用生成的對抗網(wǎng)絡(luò)(GANs;Goodfellow等，2014)?；贐runa等人(2016)和Dosovitskiy & Brox等人(2016)的工作，Ledig等人(2016)最近將GANs和基于特征的度量標(biāo)準(zhǔn)結(jié)合起來，展示了令人印象深刻的超分辨率結(jié)果。