壓縮感知重構算法的兩步深度展開策略研究

邵凱，閆力力，王光宇

（1.重慶郵電大學 通信與信息工程學院，重慶 400065; 2.重慶郵電大學 移動通信技術重慶市重點實驗室，重慶400065; 3.重慶郵電大學 移動通信教育部工程研究中心，重慶 400065）

壓縮感知(compressed sensing，CS)[1-2]指在遠低于奈奎斯特采樣率條件下，用采樣矩陣獲取原始信號的離散樣本，然后通過非線性重構算法對原始信號進行重構。為了高效率、高精度地重構原始信號，大量優秀的重構算法[3]被提出，其中凸優化類算法因其穩定性好、精度高被廣泛地研究使用。常見凸優化類算法包括迭代軟閾值算法(iterative soft thresholding algorithm，ISTA)[4]、快速迭代軟閾值算法(fast ISTA，FISTA)[5]、兩步迭代軟閾值算法(two step ISTA，TwIST)[6]、近似消息傳遞算法(approximate message passing algorithm，AMP)[7]等。但是，該類算法在參數優化過程中面臨挑戰，在一些時間敏感型場景中，收斂速度過慢。

近年來，深度學習技術由于其強大的特征學習能力，對壓縮感知重構算法[8-11]的研究與設計產生了重大影響。這些工作主要分為兩大類：第一類是基于數據驅動的方法，該類方法往往通過調整神經網絡模型來適應數據結構。文獻[12]提出CSNet 網絡架構，該架構通過卷積神經網絡共同優化信號的采樣與重構，能夠更好地重構壓縮圖像。文獻[13]提出DR2-Net 網絡架構，利用殘差網絡強大的學習能力重構更高質量的信號，并有效地降低了時間復雜度。文獻[14]提出Deep-Inverse 網絡，克服了現實生活中數據不夠稀疏，傳統算法收斂慢的缺點。相比傳統算法，基于數據驅動的方法具備一定的優勢。但是其主要采用神經網絡模型，也有如下缺點：1) 網絡架構往往是通用性的，模型不具備可解釋性、穩定度不高。2) 在網絡訓練過程中，這些網絡往往需要大批量的數據樣本，對平臺的算力與內存有較高要求。第二類是基于模型驅動的方法，該類方法將具有性能保證的傳統算法與神經網絡模型的優點融合在一起，已廣泛應用于無線通信[15-17]、圖像處理[18-20]、生物醫學[21-23]等領域，該類方法在文獻[24]中被統一稱為深度展開(deep unfolding)。深度展開具體是指通過展開傳統算法中的迭代過程，形成新的類似神經網絡中的層級結構。而這些層級結構中包含一些可被訓練的參數變量，這些參數變量通過有監督學習的方式進行訓練，并利用基于梯度下降法的反向傳播機制進行算法參數更新。深度展開方法充分利用了深度學習技術強大的學習能力與傳統算法的穩定性，使得傳統算法具有了學習能力。Gregor 和LeCun 在文獻[25]中第一次利用該方法，提出Learned ISTA(LISTA)網絡模型，該方法將ISTA 算法中的門限值、矩陣變量抽象成網絡訓練參數，獲得了比ISTA 更好的性能表現。Borgerding 和Schniter 在文獻[26]中，將AMP 中Onsager 校正項中部分參數與門限值抽象成網絡訓練參數，提出了Learned AMP（LAMP）網絡模型，LAMP 表現優于LISTA與AMP。最近，文獻[27]將MMSE 估計器引入到ISTA，提出Trainable ISTA (TISTA)深度展開模型，通過極少量的訓練參數獲得比L I S T A、LAMP 更快的收斂速度。相較第一類而言，深度展開算法具備以下優點：1) 受傳統算法的約束，穩定性高、性能有保證。2) 大多數深度展開算法只需訓練較少的參數，因此，所需訓練樣本少。3) 深度展開算法通常是直觀、可解釋的，并且具有較低的算力和內存要求。

為了進一步提高深度展開算法的性能，本文在現有的深度展開方法的基礎上提出了兩步深度展開策略(two-step deep unfolding，TwDU)。TwDU基于TwIST 中兩步迭代基本原理，充分利用了信號之間的內在特性，對深度展開算法的前兩步估計值分配不同的權重，共同決定當前結果。該策略在現有的深度展開算法基礎上，僅僅增加了兩個訓練權重參數 ω 和 ψ就改善了已有重構算法的性能。本文所提兩步深度展開策略在可學習迭代軟閾值算法（learned iterative soft thresholding algorithm, LISTA）、可訓練迭代軟閾值算法(trainable iterative soft thresholding algorithm ,TISTA)、可學習近似消息傳遞算法(learned approximate message passing, LAMP）中經過實驗驗證，當輸入信號為一維稀疏信號時，同樣迭代8 次，它們的歸一化均方誤差(normalized mean square error，NMSE)分別減少了8.9、1.2、5.8 dB，證明了本策略的可行性與優越性。

1 深度展開重構算法

壓縮感知理論的基本數學模型如下：

式中：s∈RN為原始信號向量， Φ ∈RM×N(N＞M)為觀測矩陣，n∈RM為高斯白噪聲向量。y∈RM是經過觀測矩陣 Φ對s進行采樣得到的觀測信號向量。假設原始信號向量s在已知標準正交基Ψ ∈RN×N下能夠稀疏化，即s=Ψx，其中x∈RN稱為s的稀疏系數，是原始信號向量s在新的變換域Ψ 下的稀疏表示。令傳感矩陣A=ΔΦΨ ∈RM×N，重寫式(1)為

壓縮感知重構算法的目的便是在如式(2)所示的欠定線性系統中，通過觀測信號y重構稀疏信號x的估計值x?。常見的凸優化類重構算法將上述稀疏重構問題建模成如下凸優化問題：

在詳細描述TwDU 之前，本節首先給出LISTA、TISTA、LAMP 深度展開基本結構。在本節中，觀測向量被統一假設為y=Ax+n， 其中A∈RM×N(N＞M)，x∈RN。噪聲向量n∈RM服從均值為0 方差為 σ2的高斯分布。

1.1 LISTA

ISTA 是解決式(3)最知名的重構算法[4]，其數學迭代過程表示為

經過T次迭代之后，稀疏信號x的估計值被得到。

Gregor 和LeCun 在文獻[25]中首次將ISTA進行了深度展開。首先，作者將式(4)進行化簡、表示為

然后，將t=1,2,···,T的迭代過程深度展開為如圖1 所示的K層前饋神經網絡，圖中每一層對應原算法的一次迭代（圖2）。在LISTA 網絡中，式(6)中每一層參數 θ=[B Sτ]通過深度學習技術訓練輸入的數據對實現學習與更新，其中H是信號樣本總數，y(h)是 第h批信號樣本的觀測信號，x(h)是第h批信號樣本的稀疏信號。Gregor和LeCun 通過實驗充分說明了LISTA 信號重構的速度與質量優于ISTA。

圖1 展開ISTA 的K=2 次迭代Fig.1 Unfold K=2 iterations of ISTA

圖2 LISTA 第 t次迭代示意Fig.2 Schematic diagram of the t -th iteration of LISTA

訓練過程中，損失函數為

式中： θ代表深度展開重構算法中所有需要訓練的參數；代 表當輸入觀測信號為y(h)、訓練參數為 θ時，重構稀疏信號的估計值。針對LISTA算法時而言， θ=[B Sτ]。

1.2 TISTA

TISTA 是ISTA 算法另一種深度展開形式，作者創新性地將MMSE 估計器引入其中，其數學表示為

式中：rt為殘差，矩陣W=AT(AAT)-1是 矩陣A的 偽逆矩陣，v2t為誤差方差估計值， σ2為噪聲方差，為殘差的估計噪聲方差， ηMMSE為最小均方誤差估計器，其選擇需要根據輸入信號x的先驗分布。當輸入信號服從伯努利-高斯分布時，ηMMSE表達式為

式中：y為接收信號， ?2為殘差的估計噪聲方差，α2為輸入信號為非零元素的方差， ξ=α2+?2，p為輸入信號非零元素出現的概率，以及：

從式(8) 中可以看出，誤差方差估計值v2t和τ2t對于最終稀疏信號估計值的影響至關重要，其推導證明過程文獻[27]中有詳細說明。為了防止出現非正值，式(8)中常數 ε被賦予極小的正值，如 ε=10-9。 標量變量 γt∈R(t=0,1,···,T-1)是步長參數，用來控制調節誤差方差大小，也是深度學習技術需要訓練的參數，其個數與網絡層數相等。TISTA 算法訓練參數 θ =[γt]遠少于LISTA。TISTA算法單層深度展開形式如圖3 所示。

圖3 TISTA 第 t次迭代示意Fig.3 Schematic diagram of the t -th iteration of TISTA

相比于LISTA 網絡，隨著MMSE 估計器的引入，TISTA 僅僅訓練極少的參數，便使得TISTA具備高度的穩定性、更快的收斂速度。文獻[27]實驗證明，TISTA 收斂速度不僅僅優于傳統的AMP、ISTA 算法，而且還優于深度展開重構算法LISTA。

1.3 LAMP

AMP 算法是近年來提出的算法，因其快速的收斂速度，受到廣泛關注，其數學迭代公式表示為

式中：vt為第t(t=0,1,2,···,T-1) 次迭代對信號估計殘差，以及：

其中， α是可調參數，與式(3)中 λ值一一對應[28]。比較AMP 與ISTA，能看出兩個主要區別：1) AMP的估計殘差公式vt包 含“Onsager 校正項”btvt-1。Onsager 校正項能夠迫使信號擾動非常接近加性高斯白噪聲，更有利于去噪函數進行降噪處理，同時也保證了AMP 的快速收斂性。2) AMP 的門限值τt在所有迭代過程中不再是同一個值，而是關于t相互獨立。

Borgerding 和Schniter 在文獻[26]中將AMP化簡成為

將式(14)中的迭代過程進行深度展開如圖4所示。式(14)建立在AMP 算法式(11)的泛化基礎上，其中矩陣(A,AT)在迭代t時表現為(At,Bt)。為了減少LAMP 網絡所需訓練參數，Borgerding和Schniter 在不改變算法特性的基礎之上，令At=βt A， 此時，At中只有標量 βt會隨著迭代次數t不斷地變化。因此，LAMP網絡參數θ=通過訓練輸入的數據對使式(7)損失函數 L(θ)最小，實現自我學習與更新。文獻[26]實驗證明，LAMP 算法在準確率和收斂速度優于AMP 和LISTA 網絡。

圖4 LAMP 第 t次迭代示意Fig.4 Schematic diagram of the t -th iteration of LAMP

2 兩步深度展開策略

本節主要介紹兩步深度展開策略(TwDU)及其訓練方法。采用符號 Γ(·)表示傳統重構算法模型，符號U(·)表示對傳統重構算法的深度展開模型，對ISTA 重新描述表示為

令βAT=B,IN-BA=S，即可得到：

以上為傳統ISTA 算法，利用深度展開技術改進ISTA 簡單表示為

式(18)表示將傳統算法ISTA 深度展開為LISTA，進而得到下一次迭代的結果。

2.1 兩步展開算法

兩步深度展開策略的提出源于的結果不僅僅依賴，而且還依賴于[6]。文獻[6]第一次針對圖片修復提出TwIST(two step ISTA )算法，其形式如下：

為了保證收斂的速度， ω、 ψ取值為

TwIST 算法雖然相比ISTA 具備更快的收斂速度，但 ω 、 ψ的取值相對復雜。在每次重構稀疏信號時， ω 、 ψ需要仔細手動調整才能獲得較好的收斂效果，不能根據數據的變化自適應調整。

本文研究受此啟發，將兩步迭代方法與第1 節中介紹的已有的深度展開算法相結合，提出了兩步深度展開策略(TwDU)，即每一次深度展開算法的估計值依賴于前兩次深度展開算法估計值，而不是僅僅依賴于前一次，其公式表述為

式中：U(Γ(·))代指各已有的深度展開重構算法。TwDU 算法中需要利用深度學習技術訓練的參數為Θ=[ω ψ θ(U(·))]， 其中 θ(U(·))在第1 節已經介紹，表示各已有的深度展開模型中需要訓練的參數。式(23)與式(19)對比，看似只有等號右側的最后一項不同，其實每一項都不相同。在式(19)中，和均是通過傳統的數 學 迭 代 計 算 推 導 而出，而在式(23)中和在各自的求值過程中均利用了兩步深度展開策略。此外，和的訓練參數也在各自的兩步深度展開中已經訓練完畢，不再參與當前訓練，可以減少計算負擔。前兩次計算 結 果(和) 對于 當 前計算結 果 的影響因子 ω 和 ψ也不再如式(20)與(21)固定不變，而會利用深度學習強大的學習能力隨著數據的特性自適應調整。當令 ω=ψ=1.0，則得到：

此時，式(24)與式(18)是已有的深度展開方案。事實上，所提方案式(23) 更具有普遍意義，式(18)可以看成式(23)的一種特殊情況

2.2 參數優化及算法框架

在兩步深度展開算法訓練過程中，除了已有深度展開算法中固有的訓練參數 θ(U(·))外，參數ω 和 ψ已不再固定不變，而是具有自適應能力，會隨著數據的特性自我學習和調整。當初始化參數ω=ψ=1.0 時，和系數項為0，此時前兩次迭代結果對當前結果并無影響，此時的兩步深度展開算法等于第1 節中介紹的已有的深度展開算法，但是隨著算法迭代次數的不斷增加，參數 ω 與 ψ不斷通過深度學習中的反向傳播機制自我優化，最后穩定在最優數值上下小幅波動。此時，x?t-1的系數1 -ω 與的系數 ω-ψ均不再為0。基于兩步深度展開策略的重構算法流程如下：

輸入稀信號經過稀疏采樣之后的觀測信號y∈RM。

輸出稀疏信號向量x∈RN(N＞M)。

1）初 始 化 參 數Θ=[ω ψ θ(U(·))]， 令ω=ψ=1.0。

2）for(inti= 0;i＜ 12;i++),do

3）y=Ax+n; //對原始稀疏信號進行稀疏采樣。

4）U(Γ())=model(y) ; //將觀測信號向量 ω送入深度展開重構算法模型。

6）loss=MSE_loss( ω) //計算最小均方誤差損失值。

7）loss.backword();//利用深度學習中的反向傳播機制，優化算法參數 Θ。

8）end.//迭代12 次之后，求出滿足該條件的估計信號。

在深度學習技術中，不同的神經網絡結構對于網絡的學習能力有重大影響。本文采用層級串聯結構，分別對LISTA、TISTA、LAMP 應用TwDU策略展開，得到如圖5～7 所示的改進結構。該結構中每一層均是傳統算法中一次迭代的展開，類似于深度學習中多層的前饋神經網絡。該結構與已有的深度展開算法網絡最大的不同是“兩步線”的引入，經實驗驗證，通過訓練“線上”參數 ω與ψ調節前兩次輸出對于本次輸出的影響權重，進一步提高了深度展開算法的收斂速度和信號重構質量。

圖6 TwDU-LAMP 算法框圖Fig.6 Block diagram of TwDU-LAMP

圖7 TwDU-TISTA 算法框圖Fig.7 Block diagram of TwDU-TISTA

在第1 節中，本文分別介紹了LISTA、TISTA和LAMP 需要訓練的參數變量分別為 θ =[B Sτ]、在LISTA 中，因為B∈RN×M和S∈RN×N，所以LISTA需要訓練的參數總數為T×(N2+MN+1)，其中T是算法迭代的次數。同理可得LAMP和TISTA 需要訓練參數總數分別為T×(NM+2)和T[27]。相比于已有的深度展開算法，TwDU 策略在原有的許多參數基礎上僅僅增加了兩個參數（如表1）就提高了算法的性能，具有較高的性價比，而且還可以通過一次預訓練的方式消除這兩個參數帶來的計算負擔。

表1 兩步展開策略算法訓練參數量（第T 次迭代）Table 1 The amount of trainable parameters of the TwDU strategy (T -th iteration)

2.3 增量訓練

在基于TwDU 策略的算法中，參數Θ=[ω ψ θ(U(·))]的數值將直接影響到稀疏信號的重構質量，因此， Θ的訓練方法顯得極其重要。在本文訓練過程中，一批數據首先被劃分成H個小批量數據(batch)送入算法網絡，網絡損失值隨著batch的訓練逐漸下降。當完成一批數據的訓練，新的一批數據將再次被送入網絡訓練。經過多次實驗驗證，增量訓練的方法對于調整 Θ，提高網絡性能非常有效。這是因為增量訓練不僅僅能夠緩解梯度消失問題，還能進一步提升網絡的泛化能力。

訓練數據是隨機生成的數據對(x,y) ，其中y是兩步深度展開算法需要學習的、稀疏采樣之后的特征數據，x是稀疏的標簽數據。TwDU 算法通過運用隨機梯度下降算法，學習數據特征，重構稀疏信號x。在第t次增益訓練過程中，優化器通過調整 Θ促使本次訓練的目標函數最小化。當處理完H個小批量數據之后，優化器的目標函數變為。盡管在網絡訓練過程中目標函數從第一層到最后一層不斷變換，但參數Θ在每一訓練過程中都是將前一次的結果作為本次訓練的初始值，具有一定的連貫性。在本文中，為了控制變量，所有的實驗包括對照實驗均采用增量訓練的方法。

3 實驗結果分析

本節將通過實驗驗證基于兩步深度展開策略的重構算法性能。實驗系統布署在Linux 平臺，應用PyTorch1.5.1 深度學習框架，采用Adam 優化器。分別為參數 ω 與 ψ設置不同的初始值，分析參數 ω 與 ψ的自適應能力。伯努利-高斯分布的一維信號和NMSE 在相關研究文獻[27,29]等被廣泛采用作為基準設置，因此采用服從伯努利-高斯分布的一維信號作為仿真輸入信號，采用歸一化均方誤差(NMSE)作為判斷標準去衡量各深度重構算法的性能。實驗采用非獨立同分布的稀疏二維圖像信號作為輸入信號，驗證所提算法對圖像的重構效果。

3.1 參數 ω與 ψ分析

為了進一步研究參數 ω與 ψ的自適應能力，本次實驗分別使用3 種不同的隨機種子(5、10、15)生成稀疏信號x，并且分別為 ω 與 ψ設置兩組不同的初始值即 ω=ψ=1.0 和 ω =ψ=0.5 。 ω 與 ψ的 變化規律如圖8 所示。圖8 中 ω5_1與 ψ5_1為第1 組實驗參數，表示當輸入信號隨機種子為5 時，設置初始值 ω=ψ=1.0 。 ω5_0.5 與 ψ5_0.5為第2 組實驗參數，表示當輸入信號隨機種子為5 時，設置初始值ω=ψ=0.5，以此類推圖中其他符號。從圖8 中可以觀察出當參數的初始值一樣時， ω 與 ψ優化的規律基本是一致的，而不同的初始值之間在30 次迭代之后，雖然都提高了算法的NMSE 的表現，但ω=ψ=1.0 和ω=ψ=0.5的最優值卻產生了較大的差距。因為，基于TwDU 策略的重構算法中，訓練參數 Θ=[ω ψ θ(U(·))]中 θ(U(·))是隨著迭代次數實時變化的， ω與 ψ 的 優化過程也要依賴于 θ(U(·))，它們會根據不同的輸入數據、不同的初始值，自適應地共同優化找到當前最優值。

圖8 ω與 ψ在不同隨機種子和不同初始值的變化規律Fig.8 Variation law of ω and ψ under different random seeds and different initial values

為了確定 ω 與 ψ 的初始值，分別驗證ω=ψ={0.5,0.8,1.0,1.2,1.5}等不同初始值時算法的效果，此時，TwDU 算法雖然均能夠收斂，但是ω=ψ=1.0時能夠獲得較為理想的收斂速度。同時，當ω=ψ=1.0時，式(23) 等號右側前兩項正好為0，可以利用已有的深度展開算法參數初始化的經驗。基于以上兩個原因，以下實驗中設置ω=ψ=1.0為初始值。

3.2 一維稀疏信號重構

在本節中，設定稀疏信號x是服從伯努利-高斯的獨立同分布的隨機變量，表示為

式中：p代表稀疏信號x中非零元素出現的概率，在本次實驗中默認p=0.1，其中非零元素服從均值為0，方差 α2=1的高斯分布。根據式(25)，在產生稀疏信號x時，首先在x中隨機挑選p個非0 值位置，之后對x中挑選的非0 位置進行數值填充，填充的數值服從高斯分布。噪聲n服從均值為0，方差為 σ2的高斯分布。信號的信噪比計算公式為

在實驗中，每批訓練數據被分成H=200個小批量數據(batch)，其中batch 為1 000。

1) 不同信噪比條件下各深度展開算法的性能比較。為了進行實驗對比，本實驗中首先按文獻[26-27]設置信噪比，即 ζ=40 dB進行實驗。此外，為了進一步驗證不同信噪比條件下各深度展開算法的性能，實驗中還分別設置了 ζ=30 dB 和ζ=20 dB。 實驗中采用的仿真稀疏信號長度為N=500，觀測矩陣A的 維度M=250，N=500。 矩陣A中每一個元素服從均值為0，方差為1 /M的高斯分布，即Ai,j～N(0,1/M)。

圖9 給出了LISTA、TwDU-LISTA、TISTA、TwDU-TISTA、LAMP 和TwDU-LAMP 分別迭代12 次的歸一化最小均方誤差(NMSE)。NMSE 計算公式如下：

圖9 各深度展開重構算法NMSE 對比(ζ =40 dB)Fig.9 Comparisons of NMSE for each deep unfolding reconstruction algorithm (ζ =40 dB)

從圖9 中可以觀察出，基于兩步深度展開策略的重構算法與已有的深度展開算法相比，能夠更好地重構稀疏信號。TwDU-LISTA 與LISTA 在初始階段具有相近的NMSE，隨著迭代次數的增多，在t=9和t=12時，相比于LISTA，TwDU-LISTA分別大約減少了9 dB 和6 dB。TISTA 在前12 次迭代中收斂，收斂時NMSE 為-42 dB，而TwDUTISTA 在t=8的時候，NMSE 已經達到-42 dB，相比于TISTA 收斂時t=10，TwDU-TISTA 具備更快的收斂速度。同時，在前12 次迭代中TwDU-LAMP的NMSE 表現一直優于LAMP，而且比LAMP 收斂速度也提前了2 個周期。

圖10 和圖11 分別給出了信噪比為30 dB 和20 dB 時，各深度展開算法NMSE 對比。從圖中可以明顯的觀察出，隨著信噪比的降低，各深度展開算法對信號的重構能力變差。即便如此，基于TwDU 策略的重構算法與已有的深度展開算法相比，仍能夠更好地重構稀疏信號。當信噪比為30 dB 時，TwDU-LISTA 的NMSE 相比LISTA最多減少了0.6 dB，TwDU-TISTA 相比TISTA 最多減少了4.6 dB，TwDU-LAMP 相比LAMP 最多減少了3.9 dB。當信噪比為20 dB 時，由于噪聲污染嚴重，各個深度展開重構算法的性能差距變小，基于TwDU 策略的深展開重構算法相比于已有的深度展開算法，NMSE 減少均在1 dB 以內。

圖10 各深度展開重構算法NMSE 對比(ζ =30 dB)Fig.10 Comparisons of NMSE for each deep unfolding reconstruction algorithm (ζ =30 dB)

圖11 各深度展開重構算法NMSE 對比(ζ =20 dB)Fig.11 Comparisons of NMSE for each deep unfolding reconstruction algorithm (ζ =20 dB)

2) 不同稀疏度下的深度展開算法的性能比較。在壓縮感知中，稀疏度是影響信號能否高精度重構的關鍵因素。一般情況下，稀疏度越低，重構算法越能更好地重構信號。圖12 中給出了稀疏度在50～250，各深度展開算法的NMSE表現。從圖12 中可以看出，隨著稀疏度的增大，各深度展開算法性能逐漸下降。當稀疏度小于150時，除了TwDU-LAMP 與LAMP 算法性能相近外，其余基于兩步展開策略的深度展開算法均優于已有的深度展開算法。當稀疏度大于150 時，各深度展開算法均難以重構信號，NMSE 性能無太大差異。

圖12 不同稀疏度下各深度展開重構算法NMSE 對比Fig.12 Comparisons of NMSE for each deep unfolding reconstruction algorithm under different sparsity

3.3 二維圖像重構

本節采用非獨立同分布的稀疏二維圖像信號進一步評估基于兩步展開策略的深度展開重構算法的性能。稀疏二維圖像信號采用公開的MNIST數據集。MNIST 數據集來源于美國國家標準與技術研究所，由250 個人手寫數字圖像和其對應標簽組成。

MNIST 中每一個數字圖像由 28×28=784像素組成，其中每個像素值是在 [0,255]之間的整數。在本次實驗中，每一個數字圖像的像素值被歸一化到 [0,1]，然后被轉換成784 維的向量。實驗設置N=784，M=392， 傳感矩陣A∈RM×N中每一個元素服從均值為0，方差為1 /M的高斯分布，加性噪聲n∈RM服從均值為0，方差為 4×10-4的高斯分布。接收到的信號y∈RM是通過y=Ax+n生成。此外，MSE 被用來衡量各個算法的性能。在訓練過程中，實驗采用增量訓練方式，MNIST 訓練集中60 000 張圖片全部被應用，小批量數據batch 為200，采用Adam 優化器。

圖13 中給出了各深度展開算法迭代T=8次之后的重構圖像。所有圖像均是在如左最下方原始圖像的基礎上加入相同條件的高斯噪聲之后進行算法重構。經過8 次迭代，基于兩步展開策略的深度展開算法的MSE 值均有所下降。TwDULISTA 的MSE 下降了0.001 0，TwDU-LAMP 的MSE下降了0.000 1，TwDU-TISTA 的MSE 下降了0.002 5。MSE 數值反應在圖像上，除了TwDU-LAMP 重構圖像不能明顯看出與LAMP 圖像的區別，其余重構圖像均能看出基于兩步展開策略的深度展開算法重構信號的優越性。

圖13 各深度展開重構算法重構二維圖像對比(T=8)Fig.13 Comparisons of two-dimensional images reconstructed by various deep unfolding reconstruction algorithms (T=8)

從上述實驗中可以看出，基于兩步深度展開策略的重構算法無論針對一維伯努利-高斯獨立同分布的隨機稀疏信號重構還是針對二維非獨立同分布的圖像信號重構，都顯示出了優越性。

4 結束語

為了提高深度展開算法重構信號的效率，本文在原有深度展開算法基礎上提出了兩步深度展開策略。兩步深度展開策略充分利用了信號的內在特性，將前兩次深度展開算法的估計值按照不同的權重，對本次結果共同施加影響，而權重的大小與本次深度展開算法中的參數共同利用深度學習技術進行訓練。仿真結果表明，兩步深度展開策略無論針對一維伯努利-高斯獨立同分布的隨機稀疏信號重構還是針對二維非獨立同分布的圖像信號重構都獲得了較好的結果。這些實驗證明了，該策略具有高度的穩定性與擴展性。