基于深度學習的多尺度分塊壓縮感知算法

于 洋，桑國明

(大連海事大學信息科學技術學院，遼寧大連116026)

1 引 言

圖像是我們日常生活中一種常見的信息載體，可以很好地幫助我們獲取、表達、傳遞信息.對于自然圖像的處理，計算機會將其轉化為二維矩陣，以便于處理，在這個過程中必須要滿足采樣定理，奈奎斯特(Nyquist)定理作為經典的采樣定理被人們熟知，由定理可知，要想使采樣后的信號盡可能完整地保留原始信號的信息，采樣頻率至少要大于最高頻率的2 倍.壓縮感知(Compressed Sensing，CS)［1-3］，用于對信號的壓縮采樣，也被稱為壓縮采樣或稀疏采樣.不同于傳統定理，CS 理論對采樣頻率沒有限制，并且可以同時完成對數據的采樣和壓縮.由CS 理論可知:如果一個信號是可壓縮的，或者說，該信號在相應變換域可以被看作是稀疏信號，那么變換后所得的信號通過一個觀測矩陣可以被投影到低維空間，且觀測矩陣與變換基非相關，要想從得到的少量投影中重構出原始信號，只需要求解一個優化問題即可.

利用CS 理論對二維圖像進行處理時，觀測矩陣的規模非常大，相應的計算量也會很大.Gan 等人提出了分塊壓縮感知算法(Block Compressed Sensing，BCS)［4-6］，首先將圖像進行均勻分塊操作，對圖像塊使用相同的觀測矩陣進行處理，有效地減小了觀測矩陣的大小，降低了計算復雜度.但是BCS 算法需要人為選取合適的圖像塊大小，分塊過大就難以達到降低計算復雜度的目的，分塊過小又無法保留圖像的細節信息.

深度學習［7-9］是機器學習的一個研究方向，在圖像處理領域十分受歡迎.深度學習最早被應用于圖像識別領域，在1989 年，LeCun 等人利用卷積神經網絡對手寫數字進行識別，獲得了較高的準確率.深度學習方法通過對大量數據進行訓練來學習數據中所包含的特征，這種方法也被稱為純數據驅動方法，其放寬了對于輸入數據的稀疏性要求，并且可以對訓練過程中所需要的網絡權重進行自適應地調整，使其更適用于對信號結構的學習［10］.計算機技術不斷發展，深度學習方法也不斷更新改進，很多領域的學者開始嘗試利用深度學習的方法來解決本領域的問題.設計合適的采樣矩陣，以及選取最佳的重構算法，是CS 算法的關鍵步驟，也是算法的核心問題.傳統壓縮感知理論，測量和重建是分開進行的，并且需要人為地設計合適的觀測矩陣，而深度學習方法不僅可以將這一過程變為端到端的框架，突破了傳統壓縮感知算法對應用深度和廣度的限制，還可以利用通用的學習過程從數據中學習所需要的特征，避免了大量的人工特征提取工作，通過組合低層特征形成更加抽象的高層特征.

現有方法多采用全連接層對原始信號進行處理，雖然提高了算法的性能，但是仍然無法有效解決計算量大的問題，對于大尺寸圖像的處理仍不能達到理想的效果.為了解決這一問題，本文將深度學習方法與分塊壓縮感知算法相結合，提出了一種基于深度學習的多尺度分塊壓縮感知算法(DMBCS)，使用卷積層代替全連接層，減少計算過程中所涉及到的參數量，避免信息冗余，利用多尺度卷積的思想，對原始圖像進行多尺度特征提取，在降低計算復雜度的同時保留更多的圖像細節信息.

2 分塊壓縮感知

根據CS 理論:如果一個信號在一個變換域是稀疏的或可壓縮的，通過一個觀測矩陣可以將信號由高維向低維進行投影，且該觀測矩陣與變換矩陣是非相關的，投影后的信號保留了重構所需要的相關信息，因此只需要對一個優化問題進行求解即可完成原始信號的重構［3］.

由CS 算法可知，對于一個長度為N 的實信號x∈RN，可以通過式(1)的線性變換得到x 的n 個線性非自適應觀測值.

y∈RM是所得到的采樣向量，Φ∈RM×N是觀測矩陣，其中M＜＜N.Ψ=［ψ1，ψ2，…，ψN］∈RN×N為一組正交基，若 x 在變換域Ψ 上是稀疏的或可壓縮的，即利用很少量的非零值就可以近似求解變換域的信號f=Ψx，并且Ψ 和Φ 是非相關的，就可以通過求解一個非線性優化問題，從n 個觀測值中實現對信號x 的重構.

根據BCS 算法，對于大小為Ih×Iw的圖像信號，首先將圖像分為大小為B×B 的子塊，然后對每一個子塊采用相同的觀測矩陣進行采樣，第j 個圖像塊的觀測值如式(2)所示.

xj表示第j 塊向量化信號，ΦB為一個 n^×B2大小的正交矩陣即式(1)中的 Φ 如式(3)所示.

對于信號的重構，BCS 算法采用最小均方誤差線性估計對信號進行初始重構:

Φ^B表示重構矩陣，Rxx表示輸入信號的一個自相關函數，為觀測矩陣ΦB的轉置矩陣，式中A－1表示矩陣 A 的逆矩陣.對圖像信號進行分塊后，觀測矩陣ΦB的尺寸很小，可以很容易計算得到Φ^B，有效地降低了存儲和計算的成本.

3 基于深度學習的壓縮感知算法

利用傳統壓縮感知算法對信號進行采樣，必須滿足原始信號在某個變換域下是稀疏的，而使用深度學習方法則沒有上述條件的限制，通過提供大量的訓練數據，由純數據驅動算法學習數據的特征結構.

R.G.Baraniuk 團隊最先在壓縮感知算法中引入深度學習框架［10，11］，從訓練數據中學習結構化表示，有效地計算信號估計，并且采用一個無監督的特征學習器，該學習器由去噪自編碼器(Stacked Denoising Autoencoder，SDA)堆疊構成，以此來提高信號的重構性能.模型采用線性和非線性兩種測量方式.線性測量，首先根據CS 理論的式(1)，采用固定觀測矩陣對原始信號進行處理，得到觀測信號y，隨后采用三層SDA網絡，將y 作為輸入來重建信號.非線性測量，采用四層SDA網絡，第一層進行信號的測量，如(6)所示，后三層與線性測量方式相同，為重建網絡，每一層操作如(7)所示.

DeepInverse 網絡［10，12］學習從觀測向量 y 到信號 x 的逆變換，在深度卷積網絡(Deep Convolution Networks，DCNs)基礎上進行改進，模型包含一個全連接層和三個卷積層.觀測矩陣選用固定矩陣Φ，由式(1)可以得到觀測向量y∈RM，原始信號x∈RN，將y 作為網絡的輸入，采用全連接層將輸入數據的維數從M 增加到N，全連接層權重值設為ΦT，ΦT表示觀測矩陣Φ 的轉置矩陣.每個卷積層采用RELU 函數作為激活函數.

ReconNet 網絡［13］基于分塊壓縮感知的思想，把原始圖像分為不重疊的子塊，將CS 觀測值直接映射到圖像塊，包含一個全連接層和六個卷積層.根據式(1)，y 是M 維的向量表示觀測值，x 表示圖像塊.采用全連接層對輸入進行壓縮觀測，除了最后一個卷積層，其他層在卷積之后使用RELU 函數作為激活函數.每一層產生的特征圖大小與圖像塊大小相等.

CSNet［14］基于分塊壓縮感知的思想，采用卷積層代替全連接層進行采樣，采用單一尺寸，分塊尺寸人為設定.對于初始重構的結果，采用三個卷積層進行進一步優化，每一個卷積層包含卷積和池化兩個操作.

4 基于深度學習的多尺度壓縮感知算法

本文模型包括采樣層、重構層、卷積自編碼器.

根據BCS 算法，首先將輸入的原始圖像分為大小相同的不重疊的圖像塊，與上述深度學習框架下的壓縮感知算法不同，本文將不使用全連接層，而是采用卷積層進行代替，并且在卷積層采用了多個尺度的卷積核對上一層的特征圖進行處理，與傳統卷積操作不同的是，本文采用的是深度級可分離卷積操作.

4.1 卷積神經網絡(Convolutional Netural Network，CNN )

CNN 網絡［15-17］是深度學習方法中的一種判別架構模型，被廣泛應用于圖像處理.傳統的人工神經網絡，采用全連接的方式構建網絡，對于自然圖像信號來說，距離相近的像素點關聯性較強，距離較遠的像素點關聯性較弱，若采用全局感知的方式必然會造成參數數量的增加.卷積神經網絡具有局部感知和權值共享的特性，可以有效解決參數冗余的問題，局部連接指卷積層特征圖的每一個單元通過卷積核與上一層特征圖的部分單元相連接.權值共享是指一個特征圖中的全部單元共享相同的卷積核.

傳統的卷積神經網絡由卷積層、池化層、全連接層堆疊而成.卷積層的作用是完成對信號特征的提取，池化層可以對輸入的特征圖進行壓縮，完成特征篩選和降維，全連接層是將所提取的特征進行整合.常見的模型包括 LeNet-5、AlexNet、GoogLeNet、VGGNet、ResNet 等.其中 LeNet-5 是最早的 CNN模型，而AlexNet［18］更被人們熟知，其定義的前饋卷積神經網絡，成為了深度學習在圖像處理領域所使用的主體框架.VGGNet［19］在 AlexNet 的基礎上，采用了更多小尺度卷積核，以串聯堆疊的方式代替原有的大尺度卷積核，使得網絡能提取到更豐富的特征.GoogLeNet［20］利用稀疏連接代替全連接以減少參數數量.ResNet［21］只需要學習信號之間的殘差關系，降低了網絡學習的難度.

4.2 深度級可分離卷積

深度可分離卷積(Depthwise Separable Convolution)［22，23］可以分解為兩步，深度卷積(Depthwise convolution)和逐點卷積(Pointwise convolution).與標準的卷積操作不同，Depthwise convolution 可以針對每個輸入通道采用不同的卷積核，即一個卷積核僅對一個通道進行卷積，如圖1 所示.Pointwise convolution 采用 1×1 卷積核對 Depthwise convolution 的結果進行結合，如圖2 所示，其中卷積核大小為D×D×M，M 為輸入的通道數，N 為輸出的通道數.比起標準的卷積操作，Depthwise 卷積操作減少了參數量，并且對每個通道都進行了學習，得到的特征質量更佳.

圖1 深度卷積過程Fig.1 Depthwise convolution

圖2 逐點卷積過程Fig.2 Pointwise convolution

4.3 多尺度卷積

傳統卷積網絡每一層使用一個尺寸的卷積核，而GoogLeNet 和Inception 網絡［24］對同一層的特征圖使用了多個不同尺寸的卷積核，以獲得不同尺寸的特征，再把這些特征結合起來，如圖3 所示.

基于多尺度卷積的思想，本文采用多尺度卷積核對原始圖像信號進行卷積操作，以實現圖像的多尺度分塊采樣.每一次卷積可以得到一個特征圖，將多尺度卷積所得到的多個特征圖進行拼接融合，使得最終的特征圖包含的信息更加全面多樣，更有利于復雜特征地提取.

圖3 Inception 網絡Fig.3 Inception net

4.4 卷積自編碼器(Convolution Auto-Encode，CAE)

自編碼器［25，26］是一種數據的壓縮算法，其中數據的壓縮和解壓縮是數據相關的、有損的、從樣本中自動學習的.自編碼器包括輸入層、隱藏層和輸出層.

自編碼器包括編碼和解碼兩個過程.編碼過程是為了對數據進行壓縮，通過一個非線性函數完成數據從輸入層到隱藏層的映射，具體過程如(8)所示.

h 表示經過激活函數后映射到隱藏層的神經單元，f 表示編碼函數，W1表示連接輸入層和隱藏層之間的編碼權重矩陣，b1為偏置，S1表示編碼器激活函數.

解碼過程就是利用編碼所得的隱藏層重構出原始輸入數據，如式(9)所示，g 為解碼函數，W2表示連接隱藏層和輸出層之間的解碼權重矩陣，b2為偏置，S2表示解碼器激活函數.

與傳統自編碼器不同，卷積自編碼利用卷積操作代替了矩陣內積操作，更適合圖像信號這類二維數據的處理.

4.5 基于深度學習的多尺度分塊壓縮感知算法

4.5.1 采樣層(Sampling Layer)

基于多尺度卷積的思想，采樣層使用三種不同大小的卷積核，得到三個特征圖，再將其進行融合，得到最終的特征圖.采樣層首先將原始圖像分為大小為B×B 的圖像塊，b 表示通道數，則每一個卷積核的大小為B×B×b，卷積操作步長為B×B.采樣過程如式(10)和式(11)所示，Wdepth表示n個B×B×b大小的卷積核，n=? pbB2」，p 表示采樣率.* 表示卷積操作，x 表示原始圖像.Wpoint中卷積核大小為1×1×n.采樣算法如算法1 所示.

4.5.2 重構層(Reconstruction Layer)

在重構層，首先對采樣層的結果進行reshape 操作，再對上述結果進行concatenate 操作，將圖像塊按行進行拼接，然后通過stack 拼接操作，調整矩陣形狀，將圖像塊重構為完整圖像.過程如式(12)所示，其中 γ(.)表示 reshape 函數，ω(.)表示concatenate 函數.

根據多尺度卷積過程，將三個特征圖的最后一維進行并聯，將并聯結果進行卷積操作，得到最終的特征圖，過程如圖4 所示.卷積核大小為 1×1，步長 strides 為 1×1，填充方式padding 為不填充.

圖4 特征圖提取過程Fig.4 Feature extraction processing

4.5.3 卷積自編碼

本文卷積自編碼器分為編碼(encode)和解編碼(decode)兩個部分，并且采用卷積層代替全連接層.本文填充方式選擇全0 填充，可以使卷積后的圖像大小與原始圖像大小相同，同時可以防止圖像邊緣信息丟失，需要填充的像素點個數如式(13)所示.

其中n 表示卷積核大小，N 表示要處理的圖像大小，當n－1為偶數，即n 為奇數時，補充的像素點可以對稱分布.奇數維度的卷積核具有中心點，更有利于確定位置.

卷積核大小代表了感受野的大小，大尺寸的卷積核雖然可以獲得更多的特征信息，但計算過程中涉及到的參數數量更多，經典的VGG 模型就采用小尺寸卷積核堆疊來代替大尺寸卷積核，有效地提高了計算性能.因此本文在卷積層使用3×3 大小的卷積核，步長設為1×1，使輸出矩陣的大小與輸入矩陣大小一致，再利用池化層進行降維操作.

池化后輸出矩陣大小計算如式(14)所示，利用池化層實現降維效果，步長選擇2×2，使輸出矩陣大小降為原始大小的一半，為了保證池化過程中不產生重疊區域，池化窗口大小與步長相同，在降維的同時保證不丟失圖像特征.

圖5 編碼過程Fig.5 Encoding processing

編碼部分采用三層卷積層加池化層.編碼過程如圖5 所示，具體參數為:

第一層卷積(conv1)，卷積核大小為 3×3×64，步長strides 為 1×1，填充方式 padding 為全 0 填充，激活函數選擇RELU 函數.

第一層池化(max_pool1)，池化窗口大小為2×2，步長strides 為 2×2，填充方式 padding 為全 0 填充.

第二層卷積(conv2)，卷積核大小為 3×3×32，步長strides 為 1×1，填充方式 padding 為全 0 填充，激活函數選擇RELU 函數.

第二層池化(max_pool2)，池化窗口大小為2×2，步長strides 為 2×2，填充方式 padding 為全 0 填充.

第三層卷積(conv3)，卷積核大小為 3×3×16，步長strides 為 1×1，填充方式 padding 為全 0 填充，激活函數選擇RELU 函數.

第三層池化(max_pool3)，池化窗口大小為2×2，步長strides 為 2×2，填充方式 padding 為全 0 填充.

解碼部分采用上采樣層加反卷積層，如圖6 所示，上采樣層選擇最近鄰插值法.

圖6 解碼過程Fig.6 Decoding processing

第一層卷積(conv1)，卷積核大小為 3×3×16，步長strides 為 1×1，填充方式 padding 為全 0 填充，激活函數選擇RELU 函數.

第二層卷積(conv2)，卷積核大小為 3×3×32，步長strides 為 1×1，填充方式 padding 為全 0 填充，激活函數選擇RELU 函數.

第三層卷積(conv3)，卷積核大小為 3×3×64，步長strides 為 1×1，填充方式 padding 為全 0 填充，激活函數選擇RELU 函數.

第 4 層卷積(conv4)，卷積核大小為 3×3×1，步長 strides為1×1，填充方式padding 為全0 填充，激活函數選擇Sigmod函數.

5 數據集及實驗結果

本文采用COIL-100 作為實驗數據集，對比算法采用上文提到的 SDANet，DeepInverseNet，ReconNet，CSNet.

5.1 數據集

COIL-100 是由哥倫比亞大學圖像庫發布的數據集，該數據集是由100 個不同物體在360 度旋轉中以每個角度成像所組成，每隔5 度拍攝一幅圖像，每個物體拍攝72 張圖像，每張圖像大小為128×128.本文對數據集中的每一張圖片進行平移、旋轉、鏡像操作對數據集進行了擴充，得到30000 張左右圖像.

5.2 實驗結果與分析

實驗環境采用 windows7 系統，python 編程語言，以及Tensorflow 框架.

本文采用不加噪圖像進行訓練，采樣率分別采用0.5、0.3、0.1、0.05，每個小批次包含 128 個訓練圖像，共計迭代1000 次，學習速設定為固定值0.0001，損失函數采用均方誤差(Mean-Square Error，MSE)，計算過程如式(15)所示.

圖7 表示當采樣率為0.1 時，各個算法的模型訓練過程.從圖中可以看出，本文算法更優于其他方法，隨著迭代次數的增加，損失函數值逐漸趨于0.0001，它反映了模型對數據的擬合程度，即預測值和真實值之間的差距，損失值越小，擬合度越好，模型魯棒性越好.

圖7 模型訓練過程對比Fig.7 Model training process comparison

本文采用加噪圖像進行測試，采用峰值信噪比(Peak signal-to-noise ratio，PSNR)作為比較參數，計算過程如式(16)所示，圖8 表示在不同采樣率下，各個算法計算所得的PSNR 值.

PSNR 是圖像壓縮重構算法的常用評估指標，其中max表示信號中的最大像素值.PSNR 值越大，說明圖像失真越小，圖像質量越好.根據圖8 及表1 中的具體數據，可以看出，本文算法所得PSNR 值接近40dB，相較于其他算法，對圖像重構的質量更有保證，性能更優.

圖8 不同采樣率下PSNR 值對比Fig.8 PSNR comparisons with different sampling ratio

表1 不同采樣率下PSNR 值對比Table 1 PSNR comparisons with different samplingratio

6 結 論

本文提出了DMBCS 算法，利用深度學習的方法實現對圖像的多尺度分塊壓縮重構，避免了大量的人工特征提取工作.采用多尺度分塊，有效解決了分塊大小影響圖像重構質量的問題，在減小觀測矩陣大小的同時可以保留更多的細節信息.采用卷積層代替全連接層，減少了參數數量，降低了計算復雜度.與其他深度學習框架下的壓縮感知算法的對比結果表明:本文算法性能更優，算法魯棒性更好，圖像重構質量更好.

根據BCS 算法，所有圖像塊都是不重疊的，為了盡可能減小由于分塊產生的塊效應，進一步提高重構圖像的質量，下一步將考慮對原始信號進行重疊分塊，并根據圖像塊的紋理復雜程度采取不同采樣率進行處理.