壓縮感知的理論、算法及應(yīng)用

中圖分類號：TN911.72文獻(xiàn)標(biāo)志碼：A 文章編號：1001-8395（2025）05-0637-24doi：10.3969/j.issn.1001-8395.2025.05.004

奈奎斯特采樣定理指出：要想精確恢復(fù)一個信號，其采樣率必須至少是信號帶寬的兩倍.這一要求使得許多傳統(tǒng)信號處理系統(tǒng)在數(shù)據(jù)獲取、存儲、傳輸和處理等多方面面臨重大挑戰(zhàn)，不僅增加了系統(tǒng)的復(fù)雜性，而且限制了它們在資源利用和成本效益方面的靈活性.

由Donoho[2]和Candes等[3-4]提出的壓縮感知（CS）理論為突破傳統(tǒng)采樣限制提供了新的視角.該理論指出，如果待恢復(fù)的原始信號具有稀疏性，可將信號的信息投影到某個低維空間上進(jìn)行有效存儲，并且該低維空間中的投影含有足夠的信息，使得能夠高概率恢復(fù)原始信號.因此，壓縮感知理論顯著降低了數(shù)據(jù)采樣、存儲和傳輸?shù)某杀荆瑸閳D像恢復(fù)[5-12]、視頻恢復(fù)[13-16]、醫(yī)療成像[17-19]、雷達(dá)遙感[20-24]、無線通信[25-28]和聯(lián)邦學(xué)習(xí)[29-34]等多個領(lǐng)域提供了全新的解決方案.

然而，在如模擬數(shù)字轉(zhuǎn)換器[35]、光學(xué)成像[36]等更復(fù)雜的應(yīng)用場景中，信號的采樣過程常常涉及非線性操作.為了應(yīng)對這些挑戰(zhàn)，研究者們開始將信號采樣過程建模為非線性壓縮感知問題，最具有代表性的例子包括一比特壓縮感知[37]和稀疏相位恢復(fù)[38問題.在這些問題上，許多傳統(tǒng)壓縮感知算法和理論得到了擴(kuò)展和應(yīng)用，為解決信號采樣過程中的非線性特性提供了有效工具.盡管如此，對于更加復(fù)雜的非線性壓縮感知問題，相關(guān)的理論和算法仍然十分有限

本文的結(jié)構(gòu)安排如下：第1章詳細(xì)闡述線性壓縮感知的模型和基本理論.第2章回顧線性壓縮感知中的幾種代表性優(yōu)化模型，分析各模型的優(yōu)點與局限性，并總結(jié)它們相應(yīng)的求解算法.第3章闡述非線性壓縮感知的模型、基本理論及算法，并對一比特壓縮感知和稀疏相位恢復(fù)問題的相關(guān)理論及算法進(jìn)行總結(jié).第4章介紹目前線性和非線性壓縮感知領(lǐng)域面臨的挑戰(zhàn)，同時展望未來的研究趨勢.第5章對本文進(jìn)行總結(jié).

本文使用的符號定義如下：對于矩陣 A∈ R^M×N A^（i） ， 1?i?M 和 A_Π（j） ， 1?j?N 分別表示 A 的第 i 行和第 j 列， A^T 是 A 的轉(zhuǎn)置.對于向量 x，x_i 是向量 x 的第 i 個元素， x_[i] 是向量 x 中絕對值第 i 大的元素， supp{x} 是向量的支撐集，即向量中非零元素對應(yīng)的索引組成的集合. 表示向量 x 的L₀ -范數(shù)，即 x 非零元素的個數(shù)， 和 分別表示向量 x 的 L₁ -范數(shù)和 L₂ -范數(shù).對于集合 H {1，…，N} ， S 表示 I 的補(bǔ)集. x_S 為向量 x 的子向量，它僅包含向量 x 在集合 I 索引處的元素. A^（A） （204號（或 A_O ）表示矩陣 A 的子矩陣，它僅包含矩陣 A 在集合 I 索引對應(yīng)的行（或列）向量. K?） 表示指示函數(shù). K_κ（??） 表示硬閾值算子，對于向量 z∈ R^N ，其計算方式如下：

對于 c₁，…，c_N∈R diag（c₁，…，c_N） 表示由 c₁，… c_N 構(gòu)成主對角線的 N 維對角矩陣. sign（???） 表示符號函數(shù)，即對于向量 x∈R^N 有

1 線性壓縮感知理論

數(shù)學(xué)上，線性壓縮感知的采樣和壓縮過程可以被形式化描述為[2.39]

y=Ax，

其中， A∈R^M×N（M?N） 被稱為感知矩陣， y∈R^M 被稱為觀測向量[39].壓縮感知的核心問題是：如何利用 y 和 A 恢復(fù)出原始的高維信號 x 由于矩陣 A 的行數(shù)遠(yuǎn)小于其列數(shù)，如果考慮通過解線性方程組的方法來恢復(fù)信號，意味著需要從無窮多個可能的解中找到真正的解，這在實際操作中是不可能的.

壓縮感知理論[2-4]為這一挑戰(zhàn)提供了一種切實可行的解決方案.它指出：如果信號 x 具有稀疏性，并且感知矩陣 A 滿足特定條件，那么可以從低維觀測向量 中穩(wěn)健地恢復(fù)出信號 x 實際上，在圖像恢復(fù)、無線通信、雷達(dá)遙感等多個領(lǐng)域中，數(shù)據(jù)稀疏性是普遍存在的特征.根據(jù)信號的稀疏表示理論[40]，可以利用一組給定的正交基或冗余字典 …，ψ_N]∈R^N×N 來實現(xiàn)信號 x∈R^N 的稀疏表示.換句話說，信號 x 可以被視為 ψ 中各個列向量的稀疏線性組合，即

其中，只有極少數(shù)的系數(shù) a_i，i∈{1，…，N} ，是非零的.值得注意的是，信號 x 在不同的基 ψ 下的稀疏程度可能會有所不同，這直接影響到信號的恢復(fù)效果.因此，許多文獻(xiàn)研究設(shè)計適合特定類型信號的基，例如契合于圖像信號[39-51]、雷達(dá)信號[20，21，5255]等的基.本文的后續(xù)部分將假設(shè) ψ 是一個 N 維的單位矩陣，而 a∈R^N 是一個 K? 稀疏信號，即 a 最多只包含 K 個非零元素.在這種情況下， x=a 是一個K 稀疏信號.

除了信號本身的特性，感知矩陣的選擇也直接影響恢復(fù)信號所需的采樣數(shù)量以及信號能否被精確恢復(fù).因此，大量研究致力于探討如何評估感知矩陣的有效性以及如何構(gòu)造合適的感知矩陣.在第一個問題上，多種有效的分析工具被相繼提出，例如受限等距性質(zhì)（RIP）[4，56-57]、互相關(guān)系數(shù)（MC）[39.5861]、零空間性質(zhì)[62]、Spark[63]以及約束特征值條件[64]等.其中，RIP和 MCC是2個最為廣泛使用的分析工具.下面將提供它們的定義.

定義1.1[57] 對于一個矩陣 A∈R^M×N ，若存在常數(shù) δ_κ∈（0，1） ，使得不等式 對于任意 K -稀疏向量都成立，則稱矩陣 A 滿足 K 階RIP條件.滿足上式最小的 δ_K 被稱為受限等距常數(shù)（RIC）.

矩陣的RIP條件有效地衡量了一個矩陣與標(biāo)準(zhǔn)正交陣的相似程度，保證了信號 x 的能量在轉(zhuǎn)換過程中不會過度損失或增加，從而保證稀疏信號能被恢復(fù).然而，驗證一個矩陣是否滿足某個RIP條件是一個NP-難問題[65].與之相比，計算一個矩陣的MCC是個多項式復(fù)雜度問題

定義1.2[61] 對于一個矩陣 A∈R^M×N ，其MCC的計算公式如下：

當(dāng)一個感知矩陣對應(yīng)的RIC或MCC較小時，意味著該感知矩陣在壓縮采樣和信號恢復(fù)方面表現(xiàn)更加出色.許多文獻(xiàn)已證明，在一定條件下，高斯隨機(jī)矩陣[2.4]、伯努利隨機(jī)矩陣[2.66]、部分傅里葉隨機(jī)矩陣[66]和部分哈達(dá)馬隨機(jī)矩陣[67]等隨機(jī)矩陣，高概率滿足RIP或MCC條件，因此它們在壓縮感知領(lǐng)域得到了廣泛應(yīng)用.然而，在實際應(yīng)用中，使用這些隨機(jī)矩陣存在一定的挑戰(zhàn).一方面，由于這些矩陣的生成依賴于隨機(jī)數(shù)，這不僅要求通信雙方協(xié)商一致的隨機(jī)數(shù)生成策略，還對雙方的硬件配置提出了要求.另一方面，由于這些隨機(jī)矩陣僅在統(tǒng)計意義上高概率滿足RIP或MCC條件，因此可能需要進(jìn)行預(yù)先的實驗測試以評估其恢復(fù)性能，這會導(dǎo)致額外的時間成本.為解決這些問題，研究者們對確定性感知矩陣的構(gòu)造方式進(jìn)行了廣泛研究[68]，例如基于有限域的感知矩陣[69-74]、基于特定編碼的確定性感知矩陣[75-80]、基于訓(xùn)練的確定性感知矩陣[81-86]和基于Welch界等式的感知矩陣[87-93].這些確定性感知矩陣一定程度上降低了感知矩陣生成和傳輸?shù)某杀?然而，這些方法目前仍面臨一些局限性.例如，一些確定性矩陣的構(gòu)造方法只能生成特定尺寸的矩陣.此外，基于確定性感知矩陣的稀疏信號恢復(fù)方法在恢復(fù)效果上可能不及基于隨機(jī)感知矩陣的稀疏信號恢復(fù)方法.

2線性壓縮感知的模型、理論及算法

本章回顧線性壓縮感知領(lǐng)域中常見的一些模型、理論及算法.在不同小節(jié)中，對這些優(yōu)化模型的理論結(jié)果及其求解算法進(jìn)行詳細(xì)總結(jié).

2.1 L₀ -范數(shù)下的壓縮感知算法由于待恢復(fù)信號的稀疏特性，基于 L₀ -范數(shù)的壓縮感知方法為稀疏信號的恢復(fù)提供了一個直觀方法.通常，此類方法需要求解一個基于 L₀ -范數(shù)的極小化問題：

問題（2）已被證明是一個 NP-難問題[94].盡管如此，許多近似求解式（2）的方法被相繼提出，其中一類主流方法是貪婪類算法，例如匹配追蹤（MP）算法[42]、正交匹配追蹤（OMP）算法[95-101]、正則化正交匹配追蹤（ROMP）算法[102]、分段正交匹配追蹤（StOMP）算法[103]、廣義正交匹配追蹤（GOMP）算法[104]、塊正交匹配追蹤（BOMP）算法[105-06]、壓縮采樣匹配追蹤（CoSaMP）算法[107]以及正交最小二乘（OLS）算法[108-110]等.另一類主流方法是迭代類算法，例如迭代硬閾值（IHT）算法[I-I4]、硬閾值追蹤（HTP）算法[4-116]、共軛梯度迭代硬閾值（CGIHT）算法[117]、牛頓硬閾值類算法[118]、梯度投影牛頓追蹤（GPNP）算法[\"I9]和基于重球動量的硬閾值類算法[120]等.這些算法通常要求感知矩陣對應(yīng)的RIC或MCC小于某個上界，以從理論上保證原始信號能被精確恢復(fù)，或是確保迭代產(chǎn)生的恢復(fù)信號逼近于原始信號.

接下來，本文對OMP算法（算法1）、IHT算法（算法2）和HTP算法（算法3）展開闡述.OMP算法的核心思想是在每次迭代中從感知矩陣A中選擇與當(dāng)前殘差向量 r^[n-1] 最相關(guān)的一列（步驟2），將該列的索引與上一步的支撐集 S^[n-1] 合并形成新的支撐集 S^[n] （步驟3），接著使用最小二乘法在新的支撐集上完成解的迭代更新（步驟4），并計算新的殘差向量 r^[n] （步驟5）.步驟4的計算實際上是一個正交化過程，最小二乘法的運算會更新所有已選擇支撐集對應(yīng)的系數(shù)，使該系數(shù)與新的殘差正交.上述過程將循環(huán)直至滿足一定停止條件，例如算法滿足最大迭代次數(shù)或是殘差小于某個設(shè)定的閾值.

算法1正交匹配追蹤算法[95]：

輸入：觀測向量y∈R\"，感知矩陣A∈R×N 停止條件.

初始化： n=0，r^[0]=y，S^[0]=θ. （20號重復(fù)以下迭代，直到滿足停止條件：

1） n=n+1 ，

2）

3） S^[n]=S^[n-1]∪{s^[n]} ，

4）

5） 輸出：恢復(fù)信號 （

IHT算法是一個通過求解優(yōu)化問題

來恢復(fù)稀疏信號的高效算法，其中 K 表示估計稀疏度.在每次迭代中，該算法首先計算當(dāng)前解 x^[n] 的梯度 A^T（Ax^[n]-y） ，然后進(jìn)行梯度下降更新（步驟1），即 s^[n+1]=x^[n]-ρA^T（Ax^[n]-y） （步驟4），其中 ρgt;0 為步長.接著，對 S^[n+1] 執(zhí)行硬閾值算子H_K（???） （步驟2），即保留向量 S^[n+1] 中絕對值最大的 K 個元素，并令其他元素為0，以保證迭代解的稀疏性.不同于IHT算法，HTP算法在計算得到向量 S^[n+1] 之后（步驟1），找到 S^[n+1] 中絕對值最大的 K 個元素的索引集合 S^[n+1] （步驟2），并使用最小二乘法在 S^[n+1] 上完成解的迭代更新（步驟3）.由于supp {z}?S^[n+1] ，步驟3的解 x^[n+1] 是一個 K 稀疏信號.IHT算法和HTP算法都不斷循環(huán)上述迭代過程直至滿足一定停止條件，例如算法滿足最大迭代次數(shù)或殘差小于某個設(shè)定的閾值.

算法2迭代硬閾值算法[112]：

輸入：觀測向量y∈R\"，感知矩陣A∈R×N 步長 ρgt;0 ，估計稀疏度 K ，停止條件.

初始化： n=0，x^[0]=0 重復(fù)以下迭代，直到滿足停止條件：

1） S^[n+1]=x^[n]-ρA^?（Ax^[n]-y）

2） ，

3） n=n+1 輸出：恢復(fù)信號x=x[n].

算法3 硬閾值追蹤算法[115]：

輸入：觀測向量y∈R，感知矩陣A∈R\"×N，步長 ρgt;0 ，估計稀疏度 K ，停止條件

初始化： n=0，x^[0]=0 重復(fù)以下迭代，直到滿足停止條件：

1） S^[n+1]=x^[n]-ρA^?（Ax^[n]-y） ，

2） ，

3） （20

4） n=n+1

輸出：恢復(fù)信號 號

盡管這些傳統(tǒng)的稀疏信號恢復(fù)算法具有較好的恢復(fù)效果，但隨著數(shù)據(jù)規(guī)模的迅速增長，它們面臨著巨大的計算和存儲成本壓力，因而無法滿足許多真實應(yīng)用場景的需求.為了解決這個問題，研究者們利用矩陣分解、隨機(jī)梯度下降等技術(shù)對傳統(tǒng)算法進(jìn)行了改進(jìn)，以提升算法的計算效率.例如，一些基于分解方法改進(jìn)的OMP算法[12I-123]，其計算復(fù)雜度遠(yuǎn)低于標(biāo)準(zhǔn)的OMP算法.此外，文獻(xiàn)［124-129]提出的一系列隨機(jī)梯度下降硬閾值算法，在迭代中僅使用少量梯度信息實現(xiàn)解的迭代更新，因此它們的算法運行效率大大優(yōu)于在每次迭代中計算全梯度的IHT算法.為了分析這些算法的收斂性，通常需要假設(shè)待最小化的損失函數(shù) f（x） 滿足一定受限強(qiáng)凸性和受限強(qiáng)光滑性條件.此外，由于引入了隨機(jī)性，這些算法的誤差分析結(jié)果通常以期望值的形式呈現(xiàn).

接下來，本文介紹文獻(xiàn)[125]中提出的隨機(jī)迭代硬閾值（StoIHT）算法（算法4）.StoIHT算法與IHT算法的主要區(qū)別在于梯度的計算過程.在每次迭代中，IHT算法計算當(dāng)前解 x^[n] 的全部梯度，接著執(zhí)行梯度下降得到 s^[n+1] ，而 StoIHT 算法僅計算x^[n] 在部分位置的梯度，并用以梯度下降.假設(shè)感知矩陣 A∈R^M×N 被分為 L 個子矩陣 ，…，L. 在每次迭代中，StoIHT算法以概率 P（i^[n]） ，i^[n]∈{1，…，L} 隨機(jī)選取第 i^[n] 個分塊矩陣 A^i[n] ，根據(jù)該分塊矩陣計算梯度并執(zhí)行梯度下降（步驟2），其中 P（θ?α） 是一個設(shè)定的概率函數(shù).例如，在離散均勻分布下， 在執(zhí)行梯度下降后，StoIHT算法與IHT算法一樣，執(zhí)行硬閾值算子以保證迭代解的稀疏性.重復(fù)執(zhí)行上述迭代步驟，直到迭代次數(shù)或殘差等滿足預(yù)設(shè)的停止條件.

算法4隨機(jī)迭代硬閾值算法[125]：

初始化： n=0，x^[0]=0 重復(fù)以下迭代，直到滿足停止條件：

1）以概率 P（i^[n]） ， i^[n]∈{1，…，L} 從 L 個分 塊矩陣中選取第i[]個分塊矩陣A[n]

3） 4） n=n+1

輸出：恢復(fù)信號x=x[n]

基于 L₀ -范數(shù)的極小化算法有效地對信號的稀疏先驗進(jìn)行建模，能保證恢復(fù)出的信號具有相應(yīng)的稀疏特性.然而，這些求解算法通常依賴于信號的先驗信息，例如信號的稀疏度 K 或是關(guān)于 K 的估計.然而，在實際應(yīng)用中，這些信息往往是未知的.以大規(guī)模多輸入多輸出（MIMO）系統(tǒng)中的活躍用戶檢測和信道估計問題[28]為例，某一特定時刻的活躍用戶數(shù)量通常是未知的，并且可能會動態(tài)變化.為解決這一問題，研究者們提出了一系列稀疏階估計方案[130-133].這些工作大多采用啟發(fā)式方法、統(tǒng)計學(xué)原理或隨機(jī)矩陣?yán)碚搧砉烙嬓盘柕南∈瓒?在信號稀疏度未知的情況下，這些方案提供了有效的解決手段，但它們通常缺乏堅實的理論支撐

2.2 L₁ -范數(shù)下的壓縮感知算法基于 L₁ -范數(shù)下的壓縮感知方法為問題（2）的求解提供了另一種有效手段.此類方法將問題（2）中的 L₀ -范數(shù)替換為L₁ -范數(shù)，即求解

其中 為向量 x 的 L₁ -范數(shù)，它是L₀ -范數(shù)的一個凸松弛[56].盡管式（2）和（3）是2個不同的問題，但已有許多文獻(xiàn)，如[56，57，134-140]，證明了當(dāng)感知矩陣滿足一定的RIP時，這2個問題的解是等價的.關(guān)于 K 階和 2K 階受限等距性質(zhì)的最優(yōu)結(jié)果可在文獻(xiàn)[138，140]中找到.

相較于非凸問題（2），問題（3）是一個凸問題，這意味著我們可以利用許多已有的凸優(yōu)化方法來有效求解該問題，例如線性規(guī)劃方法[3，141].然而，在實際的采樣過程中，噪聲的引入通常是不可避免的，這使得問題（3）中的等式約束不再完全成立.為了解決這個問題，一種有效的方法是將問題（3）轉(zhuǎn)化為一個正則化問題，具體如下：

其中， λ 是正則化參數(shù).這個正則化問題與LASSO問題[142]有密切聯(lián)系.從極大似然估計的角度來看，使用 L₂ -范數(shù)的數(shù)據(jù)擬合模型能有效地應(yīng)對高斯噪聲.然而，當(dāng)面臨非高斯噪聲時，需要考慮其他的優(yōu)化模型[143-144].

為了求解問題（4），研究者們提出了許多快速高效的算法.例如， Kim 等[145]證明問題（4）可轉(zhuǎn)化為一個帶不等式約束的凸二次問題，因此可采用內(nèi)點法等優(yōu)化方法進(jìn)行求解.Figueiredo等[146證明問題（4）等價于一個二次規(guī)劃問題，并使用梯度投影下降算法來求解．Beck等[147]以及Daubechies等[148]提出了迭代閾值收縮（IST）算法，該算法在迭代過程中首先對當(dāng)前解應(yīng)用梯度下降，然后執(zhí)行軟閾值操作以增強(qiáng)解的稀疏性.Yin等[149]提出了迭代Bregman算法，該算法只需少量迭代即可獲得較好的恢復(fù)效果.Yang等[150]探討了交替方向乘子法（ADMM）在求解一些 L₁ -范數(shù)極小化問題（包括式（4））時的計算步驟及其收斂性. Yun 等[151]使用塊坐標(biāo)下降法來解決問題（4），這個算法在處理大規(guī)模數(shù)據(jù)時表現(xiàn)出了高效的計算性能

許多文獻(xiàn)給出了求解問題（3）的另一種方法，其中 ηgt;0 是一個參數(shù).Lorenz 等[154]提出了一種快速求解問題（5）的算法——稀疏 Kaczmarz算法.后來，Schopfer等[155]提出了隨機(jī)稀疏Kaczmarz（RaSK）算法（算法5），并證明了該算法能夠以期望形式線性收斂到問題（5）的解.Tondji等[156]將平均并行策略引人到RaSK算法中，提出了RSKA算法，并同樣證明算法的解以期望形式線性收斂到問題（5）的解.為了增強(qiáng)模型的魯棒性，Schopfer等[157]在式（5）中引入對噪聲的建模，并提出一種廣義擴(kuò)展隨機(jī)塊Kaczmarz算法進(jìn)行求解.

接下來，對RaSK算法展開闡述.在每次迭代中，

RaSK算法將以概率 P（i^[n]），i^[n]∈{1，2，…，M} 選取 A 的第 i^[n] 行 A^（i[n]） （步驟1），其中， P（θ?θ） 是一個設(shè)定的概率函數(shù)，例如選擇P（i[n]）=1 接著，RaSK算法將當(dāng)前解 x^[n] 投影到等式 {x∈R^N} A^（i[n]），x=b_i[n]} 的解空間上（步驟 2），得到s^[n+1] .最后，RaSK 算法對向量 s^[n+1] 中的每個元素執(zhí)行一個以 λ 為閾值的軟閾值算子（步驟3），以促進(jìn)迭代解的稀疏性，完成解的迭代更新.循環(huán)上述迭代過程直至滿足一定停止條件，例如算法滿足最大迭代次數(shù)或是殘差小于某個設(shè)定的閾值，

算法5 隨機(jī)稀疏 Kaczmarz算法[55]：

輸入：觀測向量y∈R\"，感知矩陣A∈R×N閾值參數(shù) λ ，概率函數(shù) P（θ?θ） ，停止條件

初始化： n=0，x^[0]=0 重復(fù)以下選代，直到滿足停止條件：

1）以概率 P（i^[n]） ， i^[n]∈{1，…，M} 選取 A 的

第i[]行A（i[n]） 2）

（A^（i[n]））^T 3） （20號 1?i?N ， 4） n=n+1 輸出：恢復(fù)信號x=x[n]

2.3基于非凸懲罰項的壓縮感知算法基于 L₁ 范數(shù)的優(yōu)化模型通常是凸的，因此有多種有效求解方法.然而，使用 L₁ -范數(shù)作為懲罰項會導(dǎo)致偏差問題，尤其是當(dāng)信號的元素具有較大的絕對值時.在這種情況下，應(yīng)用軟閾值算子可能會引入解的偏差，導(dǎo)致在某些情況下無法取得理想的恢復(fù)效果[158-160].

近期，許多研究表明，基于非凸懲罰項的優(yōu)化模型在挖掘信號的稀疏特性時比基于 L₁ -范數(shù)的優(yōu)化模型更加有效.這類優(yōu)化模型通常可以表述為：

其中， λ 是閾值參數(shù)， P_λ（?） 代表非凸懲罰項.實際上，2.1節(jié)中的 L₀ -范數(shù)即為一種非凸懲罰項.其他常見的非凸懲罰項包括平滑剪切絕對偏差（SCAD）[161]、重加權(quán)范數(shù) ^{[159，162-164]}?L_p 范數(shù)（ 0lt; plt;1 ）[16，65-168]、最小最大凹懲罰項（MCP） ^[169]?p^- shrinkage（ 0?L₁?_-^-

L₂ -范數(shù) ^[172-174]，L₁/L₂ -范數(shù)[175-178]、對數(shù)求和懲罰項[179-181]和反正切函數(shù)懲罰項[181-182]等.表1列舉了上述部分非凸懲罰項的表達(dá)式.

由于非凸懲罰項的引人，問題（6）通常難以直接求解.因此，一些研究者們利用優(yōu)化技巧，構(gòu)造關(guān)于問題（6的近似問題，以求解問題（6）的近似解.這種方式通常依賴于非凸懲罰項 P_λ（σ?σ） 的鄰近算子[183-184].給定 ，函數(shù) P_λ（?}） 的鄰近算子定義如下：

prox_Pλ（t）：=

如果 P_λ（?） 是一個可分離函數(shù)，即 P_λ（x） 可分解為多個獨立的單變量函數(shù) P_λ（x_i） 的和或者積，則有

prox_Pλ（t）=[prox_Pλ（t₁），…，prox_Pλ（t_N）]^T， 其中

prox_Pλ（t_i）：=

文獻(xiàn)已證明，如 L₀ -范數(shù)[185]、 -范數(shù)（ 0[169] 、 p shrinkage （ 01/2 -范數(shù)[166] 、L_2/3 -范數(shù) ^[168]?L₁-L₂ -范數(shù) ^[174]，L₁，/ L₂ -范數(shù)[178]等一些特定的非凸懲罰項的鄰近算子具有解析形式，這在求解問題（6）的凸近似問題時具有重要意義.表1列舉了上述部分非凸懲罰項的鄰近算子的表達(dá)式.

由于求解問題（6）的凸近似問題通常涉及多個形如 的子問題，鄰近算子的存在和可解析性能夠大大提高求解這些子問題的效率.基于鄰近算子的概念，文獻(xiàn)[186-188]中提出通用的求解算法，該算法能夠處理不同非凸懲罰項P_λ（?） 下的優(yōu)化問題，且算法的收斂性可在一定條件下得到保證.文獻(xiàn)[181-182，189-191]證明：當(dāng)非凸懲罰項 P_λ（?） 滿足特定條件時，問題（6）是嚴(yán)格凸的.然而，在實際應(yīng)用中驗證這些條件通常是困難的，而且只有非常有限的非凸懲罰項能在某些參數(shù)選擇下滿足這些條件.這表明問題（6）通常仍然是一個難以求解的非凸問題.非凸性的存在意味著許多求解算法可能收斂到局部最優(yōu)解而非全局最優(yōu)解.此外，算法的恢復(fù)效果也受到初始解的影響，這要求信號具有一定的先驗信息.因此，在基于非凸懲罰項的壓縮感知優(yōu)化模型下，如何設(shè)計出具有良好恢復(fù)效果且高效的算法，以及如何為這些算法提供更為嚴(yán)謹(jǐn)?shù)睦碚撝危匀皇菢O具挑戰(zhàn)的問題.

2.4基于貝葉斯方法的壓縮感知算法基于貝葉斯方法的壓縮感知算法為稀疏信號的恢復(fù)提供了一種新的方案.與前面幾節(jié)討論的基于優(yōu)化問題求解的方法不同，貝葉斯壓縮感知算法基于對稀疏信號和噪聲的先驗信息進(jìn)行假設(shè)，然后通過最大化后驗概率來估計稀疏信號和噪聲的后驗分布.這種方法在感知矩陣具有強(qiáng)相關(guān)性的情況下，更容易獲得最稀疏的解，且具有較強(qiáng)的抗噪聲能力.這類算法的代表包括稀疏貝葉斯學(xué)習(xí)（SBL）算法[192-194]、迭代期望最大化（EM）算法[195]、貝葉斯壓縮感知（BCS）算法[19%]、迭代貝葉斯算法[197]和貝葉斯追蹤算法[198]等.下面，我們簡單回顧稀疏貝葉斯學(xué)習(xí)[192]算法如何實現(xiàn)稀疏信號的恢復(fù).

考慮高斯白噪聲下的壓縮感知問題：

y=Ax+e，

其中 y∈R^M，A∈R^M×N 以及 x∈R^N，e∈R^M 是均值為0，方差為 σ²T 的高斯噪聲向量.假設(shè)觀測數(shù)據(jù){y_i}_i=1^M 之間相互獨立，則觀測向量的似然函數(shù)可表示為：

假設(shè)信號 x 的每個元素 x_i（i=1，…，N） 間相互獨立，且服從均值為0、方差為 α_i^-1 的高斯分布，即

其中， α=[α₁，…，α_N] .此外，假設(shè) 和 β=σ^-2 服從Gamma先驗分布，即

（2其中， T 代表Gamma 分布[199]， ?，b，c 和 d 是超參數(shù)，它們在文獻(xiàn)[192]中被統(tǒng)一設(shè)置為 10^-4

根據(jù)貝葉斯公式、觀測向量 y 和上述定義的先驗分布，有 （7）式（7）等式右邊的第一項是關(guān)于 x 的后驗概率，該后驗概率密度函數(shù)的均值和方差為[192，196]

μ=σ^-2ΣA^Ty，Σ=（σ^-2A^TA+A）^-1， （8）其中， 由于 p（y） 是未知的，因此無法通過貝葉斯公式直接計算式（7）右邊的第二項.然而，可通過最大后驗概率估計方法來獲得其近似值，這需要求解以下最大化問題：

max_α，σ²p（y∣α，σ²）p（α）p（σ²）.

該問題的解可表述為[192，196]

其中， γ_i=1-α_iΣ_ii， 是矩陣第 i 行第 i 列的元素， μ_i 是 μ 的第 i 個元素.根據(jù)式（8）和（9） ??μ 和 Σ 是關(guān)于 σ_α 和 σ 的函數(shù)，同時 α 和 σ 也是關(guān)于 和 Σ 的函數(shù).在迭代過程中，可以根據(jù) α 和 σ 的初始值按照式（8）計算出 μ 和 Σ ，再由式（9）計算出新的 α 和 σ ，并持續(xù)進(jìn)行交替迭代直到收斂或滿足一定的停止條件.最終，可以通過式（8）計算出 μ ，將該值作為稀疏信號 x 的估計.在理想情況下，迭代結(jié)束后，大部分 α_i 將趨向于無窮大，因此根據(jù)式（8）， 的值趨近于0;而其余的 α_i 將趨向于一個有限值，相應(yīng) μ_i 將為一個常數(shù).因此，基于稀疏貝葉斯學(xué)習(xí)的方法恢復(fù)出的信號具有稀疏性.

2.5基于深度學(xué)習(xí)的壓縮感知算法近年來，深度學(xué)習(xí)方法在計算機(jī)視覺、自然語言處理、醫(yī)學(xué)和生物信息學(xué)等領(lǐng)域展現(xiàn)出了卓越的潛力.在壓縮感知領(lǐng)域，基于深度學(xué)習(xí)方法的深度展開算法得到了廣泛關(guān)注.深度展開算法是一種結(jié)合了傳統(tǒng)迭代求解方法與深度神經(jīng)網(wǎng)絡(luò)的創(chuàng)新技術(shù)，其核心思想是將傳統(tǒng)的迭代求解過程轉(zhuǎn)化為深度神經(jīng)網(wǎng)絡(luò)的層級結(jié)構(gòu)，使得每一層神經(jīng)網(wǎng)絡(luò)對應(yīng)于迭代算法的一次迭代步驟.因此，這種方法不僅具有神經(jīng)網(wǎng)絡(luò)的強(qiáng)大學(xué)習(xí)能力，而且在一定程度上繼承了傳統(tǒng)迭代算法的穩(wěn)定性和理論基礎(chǔ).

在傳統(tǒng)的迭代求解算法中，步長、迭代次數(shù)、正則化參數(shù)等參數(shù)的選擇往往依賴于實驗或經(jīng)驗，需要手動調(diào)整以獲得最佳效果.這種方法不僅效率低下，而且難以保證在不同問題中都能獲得理想的結(jié)果.此外，傳統(tǒng)的迭代求解算法通常基于特定的物理或數(shù)學(xué)模型，其求解效果很大程度上取決于模型建模的準(zhǔn)確性.在處理復(fù)雜問題（如非凸、非線性等問題）時，傳統(tǒng)方法容易陷入局部最優(yōu)解，導(dǎo)致迭代過程緩慢、恢復(fù)精度降低等問題.深度展開算法的出現(xiàn)為解決這些問題提供了新的思路.作為一種數(shù)據(jù)驅(qū)動的方法，深度展開算法通過反向傳播算法和梯度下降等優(yōu)化方法，能夠自動學(xué)習(xí)和優(yōu)化模型中的參數(shù)，無需人工干預(yù).此外，神經(jīng)網(wǎng)絡(luò)能夠利用大量的訓(xùn)練數(shù)據(jù)學(xué)習(xí)到數(shù)據(jù)與目標(biāo)解之間的高效表示，從而在較少的計算步驟內(nèi)逼近最優(yōu)解，顯著提高求解效率和精度.

在介紹壓縮感知領(lǐng)域中的深度展開算法前，首先回顧一下迭代閾值收縮（IST）算法[147-148].IST算法是求解 L₁ -范數(shù)正則化問題（4）的高效算法之一.給定一個初始值 x^[0] ，IST算法在第 n 次迭代過程中的計算表達(dá)式如下：

（204號 （10）其中， ?_?ρ 表示步長， λ 是式（4）的正則化參數(shù)， T_λρ（???） 表示以 λρ 為閾值的軟閾值算子.對于 u∈R^N ，

[T_λρ（u）]_i=sign（u_i）max{|u_i|-λρ，0}，

i=1，…，N.

通過將IST算法的迭代過程（10）映射到神經(jīng)網(wǎng)絡(luò)的不同層上，Gregor等 [200] 提出了一種用于稀疏信號恢復(fù)的深度展開算法，稱為LISTA.具體而言，令 W₁=ρA^T W₂=T-ρA^?TA 和 θ=λρ ，式（10）可改寫為

LISTA（算法6）將上述迭代步驟映射到神經(jīng)網(wǎng)絡(luò)的不同層上.考慮一個具有 m 個數(shù)據(jù)對 （x_i，y_i） 的數(shù)據(jù)集，以及損失函數(shù)為

的一個 P 層的神經(jīng)網(wǎng)絡(luò) F（?） ，該網(wǎng)絡(luò)第 ，

…，P） 層的輸入和輸出之間的關(guān)系為：

其中， W₁^[n]?W₂^[n] 和 θ^[n] 為第 n（n=1，…，p） 層網(wǎng)絡(luò)中的可學(xué)習(xí)參數(shù).在訓(xùn)練過程中，首先初始化以下參數(shù)： W₁^[n]=ρA^T ， W₂^[n]=T-ρA^TA 和 θ^[n]=λρ 隨后，利用反向傳播算法和梯度下降等優(yōu)化方法來求解式（12），以更新神經(jīng)網(wǎng)絡(luò)中的模型參數(shù) W₁^[n] ！W₂^[n] 和 θ^[n] .訓(xùn)練結(jié)束后，這些參數(shù)將被固定下來，假設(shè)用 和 表示.在測試階段中，從測試集中取一個數(shù)據(jù)對 （x，y） ，將觀測向量 y ，感知矩陣 A ，參數(shù) 和 輸人到LISTA（算法6）中，得到恢復(fù)信號x，進(jìn)而與真實信號 x 做相對誤差等指標(biāo)的計算.

算法6 LISTA[200]

輸入：觀測向量y∈R，感知矩陣A∈R×N，訓(xùn)練完成的模型參數(shù)

初始化

重復(fù)以下迭代，直到 ngt;P ，其中 P 表示神經(jīng)網(wǎng)絡(luò)的最大層數(shù)：

輸出：恢復(fù)信號x=x[P]

文獻(xiàn)［200]的實驗表明，相比于IST算法，LISTA可以通過更少的層數(shù)（即迭代次數(shù)）恢復(fù)出更精確的稀疏信號.然而，如何從理論角度去理解LIS-TA是一個難題.文獻(xiàn)[201-202]分別從Gram矩陣和投影梯度下降算法的角度來解釋LISTA的機(jī)制.此外，一些研究工作通過將LISTA中的可學(xué)習(xí)參數(shù)進(jìn)行耦合，以簡化傳統(tǒng)LISTA的網(wǎng)絡(luò)架構(gòu).這些方法有效降低了模型的參數(shù)數(shù)量、加快了稀疏信號的恢復(fù)效率[203-206].受到 LISTA 的啟發(fā)，基于交替方向乘子法（ADMM）算法[8、近似消息傳遞算法[207-208]和快速迭代收縮閾值算法[209]等傳統(tǒng)優(yōu)化算法的深度展開網(wǎng)絡(luò)也得到了廣泛研究.

3非線性壓縮感知理論及算法

在前面的章節(jié)中，探討了經(jīng)典的線性壓縮感知問題，即觀測向量是通過對原始信號進(jìn)行線性變換來獲得的.然而，在諸如醫(yī)學(xué)成像、光學(xué)成像等多種實際應(yīng)用中，信號的采樣過程通常涉及非線性操作.這種情況下，采樣過程不能再簡單地用（1）中的線性模型來表示，這意味著傳統(tǒng)的線性壓縮感知優(yōu)化模型及算法可能不再適用.因此，非線性壓縮感知問題逐漸成為一個重要的研究方向.目前，研究者們已在一比特壓縮感知和稀疏相位恢復(fù)問題上取得一系列成果，但對于更廣義的非線性壓縮感知問題的基礎(chǔ)理論和求解算法的研究仍十分有限.

非線性壓縮感知的目標(biāo)是從下列非線性觀測模型中恢復(fù)出原始信號x[210-211]：

y=KAx）

其中， F：R^M?R^M 是一個逐元素的非線性函數(shù)，并且，除了在相位恢復(fù) （F（?）=|?| ）[36]和一比特壓縮感知 （R?）=sign（???） ）[37]等特定問題中，函數(shù)通常是未知的.與線性壓縮感知類似，如果沒有其他先驗知識，從一個不可逆或者病態(tài)的采樣系統(tǒng)中恢復(fù)出原始信號 x 通常是非常困難的，并且由 F 引入的非線性變換進(jìn)一步增加了恢復(fù)的難度.因此，在理論分析中，通常需要對上述模型做一些額外的假設(shè)以便于處理.例如，Blumensath[212]表明，稀疏性并不是信號恢復(fù)的唯一允許特征，其可由更通用的希爾伯特空間框架進(jìn)行代替，即假設(shè) x∈ A?K ，其中 A 是希爾伯特空間 H 的一個非凸子集合.基于這個假設(shè)，Blumensath[213]使用線性算子近似非線性算子，并證明當(dāng)這個線性算子滿足一定的RIP條件，以及線性化引入的誤差不是很大時，可以使用非線性IHT算法來恢復(fù)原始信號 x Oymak等[2I1]提出了一種投影梯度下降算法，以從非線性觀測向量中恢復(fù)原始信號，該算法被證明能以線性速率收斂到真實解周圍的小鄰域，且該鄰域的半徑隨著觀測數(shù)量 M 的增加而減小.Gilbert等[214]假設(shè)原始信號 x 是 K 稀疏信號，并采用與文獻(xiàn)[213]類似的方法，即利用一個線性算子去近似非線性算子 F 隨后，證明當(dāng)該線性算子的MCC小于 時，通過非線性IHT算法恢復(fù)出的信號趨近于原始信號 x.

Plan等[210]建立了廣義LASSO問題[215]在恢復(fù)信號時的誤差界限.廣義LASSO問題的定義為：

其中， K 表示信號 x 的某種結(jié)構(gòu)，例如稀疏結(jié)構(gòu)或Scaledball結(jié)構(gòu)[2i0].為了分析恢復(fù)誤差，引入了幾個關(guān)鍵的定義：

其中， g～N（0，1） 是一個隨機(jī)變量， w～N（0，I） 是一個隨機(jī)向量， Φ_t 是一個放縮的標(biāo)量， B₂?R^N 表示歐拉單位球.這一理論框架為非線性壓縮感知的后續(xù)研究提供了有力的工具.例如，Liu等[2I6]將這一理論框架與生成模型相結(jié)合，建立了當(dāng)信號 x 屬于生成模型的值域范圍時，通過求解廣義LASSO問題恢復(fù)的信號 與原始 x 之間的誤差上界.Liu等[217]提出了一種非迭代的算法，該算法通過一個簡單的計算加上一次投影來獲得恢復(fù)結(jié)果，其恢復(fù)誤差在上述理論框架下得到了有效分析.最近，Genzel等[218]提出了從非線性觀測向量中恢復(fù)原始信號的統(tǒng)一方法，并證明了對任意凸集約束的最小二乘估計器均可作為求解方法，該方法具有較好的魯棒性，且不需要關(guān)于非線性函數(shù)的先驗知識，

3.1量化壓縮感知量化壓縮感知[3729-22]是一類特殊的非線性壓縮感知問題.在傳統(tǒng)的壓縮感知問題中，觀測數(shù)據(jù)通常在整個實數(shù)域內(nèi)取值.然而，這種數(shù)據(jù)的存儲與傳輸常常導(dǎo)致較高的硬件成本，特別是當(dāng)處理大規(guī)模數(shù)據(jù)時.為了解決這個問題，一種方式是對數(shù)據(jù)進(jìn)行量化，即將數(shù)據(jù)的信息壓縮到有限的位數(shù)內(nèi)，以便于在數(shù)字通道上有效傳輸.

在量化壓縮感知中，信號 x∈R^N 的采樣過程可建模為[219]：

其中， q∈R^M 為量化觀測向量， Q：R^M?Ω^M 是一個量化器，它將輸入數(shù)據(jù)量化映射到有限集合 上常見的量化器包括一比特量化 [35，37，221-222] 、 量化[224-226]、不規(guī)則量化[227-28]以及按幀排列的向量量化[229]等.

本節(jié)的剩余部分對研究較為廣泛的一比特壓縮感知模型進(jìn)行簡單回顧.一比特壓縮感知是量化壓縮感知問題的一個極端變體，其中觀測向量只保留了信號的符號信息而不包含幅度信息.這種采樣方式在無線傳感器網(wǎng)絡(luò)[230-232]、感知無線電[233]和雷達(dá)[234-235]等領(lǐng)域得到了廣泛應(yīng)用，因為它顯著降低了硬件存儲和算力的要求.一比特壓縮感知問題的數(shù)學(xué)形式如下[37]：

文獻(xiàn)[35]證明，若原始信號 x 是稀疏向量，可以通過求解以下極小化問題從一比特觀測向量y中

恢復(fù)出 x ：

其中，歸一化約束 用于確保恢復(fù)的向量具有單位長度.由于一比特觀測向量 中不包含關(guān)于原始信號 x 的幅度信息，我們只能期望恢復(fù)出歸一化向量 ，或是假設(shè)原始信號 x 是一個具有單位長度的向量，即

由于問題（15）是一個NP-難問題，研究者們將問題（15）中的 L₀ -范數(shù)替換為 L₁ -范數(shù)[37]，即 ，s.t. ， ，（16）其中， ， 表示 中的每個元素都大于等于0，該約束通常稱為一致性約束[236]，用以保持 與 （Ax）_i 之間的符號一致性.研究者們提出了一些求解問題（16）的有效算法.例如，Boufounos等[37]利用了單側(cè)二次懲罰項對問題（16）進(jìn)行松弛，提出一種改進(jìn)的FPC 算法[237]進(jìn)行求解.Laska等[238]采用了增廣拉格朗日框架對問題（16）進(jìn)行求解，并利用類似信任域的方法來解決增廣拉格朗日框架中的非凸子問題.

此外，研究者們基于一致性約束 設(shè)計了一系列有效的優(yōu)化模型及求解算法[35，239-246]．例如，Boufounos[239]提出了匹配符號追蹤（MSP）算法，該算法與CoSaMP算法[1o]采取相似的支撐集擴(kuò)充與收縮步驟.然而，在支撐集擴(kuò)充步驟后，Co-SaMP算法每次求解一個標(biāo)準(zhǔn)的最小二乘問題，而MSP算法求解一個關(guān)于一致性約束的最小化問題： ，s.t. ， x_Q^c=0 ，其中， 表示當(dāng)前迭代中經(jīng)過擴(kuò)充后的支撐集.

Jacques等[35]提出了二值迭代硬閾值（BIHT）算法（算法7），該算法通過求解下列優(yōu)化模型來恢復(fù)一個具有單位長度的 K 稀疏信號 x .

其中，對于任意向量 u∈R^N （u） -是一個關(guān)于 的向量，其元素滿足：

在每次迭代中，該算法首先計算當(dāng)前解 x^[n] 關(guān)于 的次梯度，即

），然后執(zhí)行梯度下降得到向量 S^[n+1] （步驟1）.接著，對 $＼textbf { ＼boldsymbol { s } } ^ { [ n + 1 ] }$ 執(zhí)行硬閾值算子 H_K（???） （步驟2），以保證迭代解的稀疏性.重復(fù)執(zhí)行上述迭代步驟，直到迭代次數(shù)等滿足預(yù)設(shè)的停止條件.在算法停止后，需要計算 以滿足問題（17）中的約束 ：

算法7二值迭代硬閾值算法[35]：

輸入：觀測向量 ，感知矩陣 A∈R^M×N ，步 長 ?ρgt;0 ，估計稀疏度 K ，停止條件.

初始化： n=0，x^[0]=0 重復(fù)以下迭代，直到滿足停止條件：

2） x^[n+1]=H_K（s^[n+1]）

3） n=n+1

輸出：恢復(fù)信號

Plan 等[241]考慮以下凸優(yōu)化問題：

|Ax|₁=M，

其中，第一個約束可由若干線性約束 代替，第二個約束可表達(dá)為線性方程組 （204號 ： 因此，該凸優(yōu)化問題可由線性規(guī)劃方法有效求解.在滿足一定條件下，這種方法可以高概率地準(zhǔn)確恢復(fù)原始信號[241]. Shen^[244] 基于一致性約束提出了以下優(yōu)化模型：

（2其中， K 為原始信號的稀疏度.該模型的最優(yōu)解 可表示為[244]

其中 H_κ（?σ） 表示硬閾值算子.在一定假設(shè)條件下，作者給出了 與原始信號 x 之間的誤差上界.

在問題（14）的采樣過程中，可能存在符號翻轉(zhuǎn)的情況，此時，采樣模型轉(zhuǎn)化為：

其中， ? 表示哈達(dá)瑪積， ω∈{-1，1}^m 表示符號翻轉(zhuǎn)向量，該向量由1和-1組成，分別表示無符號翻轉(zhuǎn)的情況和存在符號翻轉(zhuǎn)的情況.在問題（18）中，符號翻轉(zhuǎn)向量 δ_ω 是未知的，即 sign（Ax） 中的哪些元素發(fā)生了符號翻轉(zhuǎn)是未知的.在這種情況下，BIHT等算法無法取得較好的恢復(fù)效果.為解決這一問題，Yan 等[240]提出一個BIHT 算法（算法7）的變體，即自適應(yīng)奇異值追蹤（AOP）算法（算法8），以求解下面的優(yōu)化問題：

其中， A∈{0，1}^M 是用以判斷測量值是否翻轉(zhuǎn)的一個二值向量（0代表無符號翻轉(zhuǎn)，1代表存在符號翻轉(zhuǎn)）， L 表示估計的符號翻轉(zhuǎn)次數(shù)的上界， K 表示估計稀疏度，函數(shù) ?（u，v） 的定義為：

AOP算法交替進(jìn)行向量 x^[n] 和 A^[n] 的迭代更新，在第 n 次迭代中：首先，固定 A^[n] ，計算 x^[n] 在索引 處關(guān)于 的次梯度，然后執(zhí)行梯度下降得到向量 S^[n+1] （步驟2）.接著，對（20 S^[n+1] 執(zhí)行硬閾值算子 H_K（Ω?Ω） 得到 x^[n+1] （步驟3），進(jìn)而按照步驟4計算 γ ；然后，固定 x^[n+1] ，按下列步驟完成對 A^[n] 的更新.首先，判斷 γ 是否滿足步驟5或者步驟11中的條件，如果它符合步驟5的條件，計算 ， （Ax^[n+1]）_i; ’ i= （20ω_1，…，M ，判斷 和 （Ax^[n+1]）_i 的符號一致性（步驟6）.接著，令向量 A^[n+1] 在滿足 μ_i?μ_[L]^[n+1] μ_[L]^[n+1] 表示向量u [n+1] 中絕對值第 L 大的元素）的位置的元素為0，令其余位置為1（步驟7）.然后，令Ω^[n+1]=supp{A^[n+1]} ，即下一次迭代中需要計算次梯度的索引集合.AOP算法重復(fù)執(zhí)行上述迭代步驟，直至算法達(dá)到最大迭代次數(shù)或步驟4中計算的γ 小于估計符號翻轉(zhuǎn)次數(shù) L

算法8自適應(yīng)奇異值追蹤算法[240]：

輸入：觀測向量 ，感知矩陣 A∈R^M×N ，步 長 ρ ，估計稀疏度 K ，估計符號翻轉(zhuǎn)次數(shù) L ，停止條件.

初始化：n=0，x[0] +∞，A^[0]={1，…，1}∈R^M，Ω^[0]={1，…，M}

重復(fù)以下選代，直到滿足停止條件：

1） z^[n+1]=sign（A^（Ω[n]）x^[n]） ，

2）s[n+1]= x[n]-ρ（A（[n]））T（z[n+1]

，3） ，4） 5） ① 若 γ?T ，執(zhí)行以下步驟：6 μ^[n+1]=[μ₁，…，μ_M] ，其中 ，

（2號 （Ax^[n+1]）_i），i=1，…，M， 8） Ω^[n+1]=supp{A^[n+1]} ，9） T=γ ，10） n=n+1 ，11） ② 否則， n=n+1 輸出：恢復(fù)信號

Zhou等[223]提出一個對信號的稀疏度和符號翻轉(zhuǎn)次數(shù)進(jìn)行約束的優(yōu)化模型以求解問題（18），該優(yōu)化模型定義如下：

（19）其中， 表示式（18）中向量 的第 i 個元素， ?gt;0 是一個參數(shù)，1表示由1構(gòu)成的M 維向量 p_?：=（max{p₁，0}，…，{p_m，0}）^T，K 和L 分別表示關(guān)于信號稀疏度和符號翻轉(zhuǎn)次數(shù)上限的先驗信息.當(dāng) ? 足夠小時，向量 中大于0的元素可看作是符號翻轉(zhuǎn)的次數(shù).Zhou等[223]提出了梯度投影子空間追蹤（GPSP）算法求解問題（19），并證明了該算法在無需任何假設(shè)條件的情況下，可全局收斂至局部駐點.此外，在特定的假設(shè)條件下，該算法可以收斂至全局最小值.

3.2稀疏相位恢復(fù)相位恢復(fù)[36.247]問題是X射線晶體學(xué)[248-49]光學(xué)成像[36，250]疊層成像[251-252]顯微鏡學(xué)[253]等領(lǐng)域中重要且具有挑戰(zhàn)性的問題.在這些應(yīng)用中，由于采樣過程的復(fù)雜性以及設(shè)備的局限性，通常只能獲得觀測向量的幅度信息，而無法直接捕獲其相位信息.數(shù)學(xué)上，該采樣過程可表示為 y=|Ax| 或 y=|Ax|² ，其中 表示向量 Ax 各元素的絕對值， ∣Ax∣² 表示向量 各元素的平方.相位恢復(fù)的核心問題是如何從失去相位信息的觀測向量 中恢復(fù)出原始信號 x 的元素值，即幅度和相位.由于觀測向量與原始信號間并非簡單的線性關(guān)系，我們通常需要使用更多的觀測數(shù)據(jù)來對原始信號進(jìn)行恢復(fù).已有文獻(xiàn)證明，要想精確恢復(fù)出一個實信號或復(fù)信號，所需的觀測數(shù)量 M 分別不得少于 2N-1^[254] 或 4N-4^[255] ，其中 N 是待恢復(fù)向量的維度.這一要求給設(shè)備帶來了巨大的存儲與計算成本，特別是在處理大規(guī)模信號的場景中.

稀疏相位恢復(fù)理論的出現(xiàn)為突破這一采樣要求提供了可能，其數(shù)學(xué)模型如下[38，256]：

或

稀疏相位恢復(fù)的模型按 y_ΔA 和 x 的定義域可分為實數(shù)域和復(fù)數(shù)域兩種情況.要準(zhǔn)確恢復(fù)出一個 K 稀疏實信號或 K 稀疏復(fù)信號（ K?N） ，所需的觀測數(shù)量M分別不少于2K[38]或4K-2[257].

與問題（2）相似，問題（20）和（21）也是NP-難問題[257].然而，鑒于傳統(tǒng)壓縮感知方法在恢復(fù)稀疏信號方面的卓越表現(xiàn)，研究者們基于傳統(tǒng)壓縮感知理論及算法，設(shè)計了多種針對問題（20）和（21）的高效求解方法.例如，Wang等[258]將問題（20）轉(zhuǎn)化為以下優(yōu)化問題：

并提出稀疏相位恢復(fù)截斷幅度流（SPARTA）算法（算法9）以進(jìn)行求解.SPARTA算法采用稀疏正交促進(jìn)初始化方法來產(chǎn)生一個初始解 x^[0] .在每次迭代中，該算法計算當(dāng)前解 x^[n] 的截斷梯度：

其中， γgt;0 是一個常數(shù)，

J^[n+1]={1?i?M∣∣A_（i）^Tx^[n]∣?y_i/（1+γ）}. 接著，SPARTA算法根據(jù)該截斷梯度進(jìn)行梯度下降（步驟2），得到 $＼textbf { ＼boldsymbol { s } } ^ { [ n + 1 ] }$ ，并對該結(jié)果執(zhí)行硬閾值算子K_κ（??） 得到新的迭代解 x^[n+1] （步驟3）.SPARTA算法循環(huán)上述迭代過程直至滿足一定停止條件，例如算法滿足最大迭代次數(shù)或是殘差小于某個設(shè)定的閾值.

算法9稀疏相位恢復(fù)截斷幅度流算法[258]：

輸入：觀測向量y∈R\"，感知矩陣A∈RM×N， 步長 ρgt;0 ，估計稀疏度 K ，參數(shù) γgt;0 ，停止條件.

初始化： n=0 ，初始解 x^[0] （20重復(fù)以下迭代，直到滿足停止條件：

，

輸出：恢復(fù)信號x=x[n]

Jagatap等[259]將CoSaMP算法[110]運用于相位恢復(fù)問題，提出了基于交替最小化的壓縮相位恢復(fù)（CoPRAM）算法（算法10），并證明該算法恢復(fù)一個 N 維的 K -稀疏實信號所需的采樣復(fù)雜度為 O（K²logN） .在計算算法初始解 x^[0] 時，將修剪操作與文獻(xiàn)[258]中的初始化方法結(jié)合，提出了一種改進(jìn)的初始化方法.在每次迭代中，CoPRAM算法首先根據(jù)當(dāng)前解x[]計算相位矩陣P[n+1]（步驟1），接著，利用 CoSaMP 算法[110]求解一個 為感知矩陣 為觀測向量、 K 為估計稀疏度 Δ_yx^[n] 為初始解的稀疏信號恢復(fù)問題，將CoSaMP算法返回的結(jié)果作為新的迭代解x^[n+1] （步驟2）.重復(fù)執(zhí)行上述迭代步驟，直到迭代次數(shù)等滿足預(yù)設(shè)的停止條件.

算法10 基于交替最小化的壓縮相位恢復(fù) 算法[259]

輸入：觀測向量 ，感知矩陣 A ，估計稀疏度 K 停止條件.

初始化： n=0 ，，初始解 x^[0] 重復(fù)以下迭代，直到滿足停止條件：

1） ，

2） x^[n]

輸出：恢復(fù)信號

Cai等[256]提出了一種基于HTP算法（算法3）的稀疏相位恢復(fù)算法以求解問題（20），并證明該算法恢復(fù)一個 N 維的 K -稀疏實信號所需的采樣復(fù)雜度為 θ（Klog（N/K） ）.算法11給出了該算法的步驟流程.在算法的初始化階段，根據(jù)文獻(xiàn)[260]中的初始化方法產(chǎn)生一個初始解x^[0] .在每次迭代中，算法根據(jù)當(dāng)前解 計算z^[n+1]=Ax^[n] （步驟1），接著將 sign（z^[n+1]） 與觀測向量 按元素相乘，即做哈達(dá)瑪積（符號 ? ），得到 （步驟2）.算法的剩余迭代步驟與HTP算法類似，其不同是HTP算法在計算梯度時（算法3的步驟1）使用觀測向量 y ，而算法11在步驟3中計算梯度時，使用步驟2得到的向量 .重復(fù)上述迭代過程直至滿足一定停止條件，例如算法滿足最大迭代次數(shù)或是殘差小于某個設(shè)定的閾值，

算法11 稀疏相位恢復(fù)的硬閾值追蹤算法[256]：

輸入：觀測向量y∈R\"，感知矩陣A∈RM×N， 步長 ρgt;0 ，估計稀疏度 K ，停止條件.

初始化： n=0 ，初始解 x^[0] （20重復(fù)以下迭代，直到滿足停止條件：

1） z^[n+1]=Ax^[n]

2）

3）

4） ，

5）

6） n=n+1

輸出：恢復(fù)信號=x[n]

為進(jìn)一步提高上述算法在處理大規(guī)模數(shù)據(jù)時的效率，Cai等[260]提出了一種隨機(jī)交替最小化算法（SAM）.SAM算法與算法4采用了類似的隨機(jī)策略，即在每次迭代中按概率隨機(jī)選取部分位置，計算它們的梯度并進(jìn)行梯度下降.SAM算法的其余步驟與算法11基本一致，即采用類似于HTP算法的迭代更新方式.

4挑戰(zhàn)與未來趨勢

壓縮感知在過去十幾年中取得了顯著的理論和算法研究進(jìn)展，并在信號和圖像處理、無線通信、醫(yī)學(xué)成像等領(lǐng)域中發(fā)揮著重要作用.盡管如此，該領(lǐng)域仍面臨若干關(guān)鍵性挑戰(zhàn)，這些挑戰(zhàn)同時也指明了未來的研究方向.

以下列出當(dāng)前壓縮感知領(lǐng)域面臨的一些挑戰(zhàn)：

1）盡管高斯隨機(jī)矩陣、伯努利隨機(jī)矩陣等隨機(jī)感知矩陣在信號恢復(fù)中表現(xiàn)優(yōu)異，但它們對硬件要求較高.與此同時，當(dāng)前對于確定性感知矩陣的研究仍存在局限性，如一些構(gòu)造方式僅能生成特定尺寸的矩陣.此外，許多確定性感知矩陣在信號恢復(fù)性能上尚不能與隨機(jī)矩陣媲美，

2）在信號稀疏先驗未知的情況下，基于 L₀ -范數(shù)下的壓縮感知模型及其求解算法難以達(dá)到理想效果.然而，現(xiàn)有的稀疏階估計方案大多缺乏理論支撐，并且難以適用于更復(fù)雜的信號結(jié)構(gòu).

3）目前尚缺乏全面的理論，以指導(dǎo)在不同應(yīng)用場景中合理地選取非凸懲罰項，以及如何為它們設(shè)置合適的參數(shù).此外，許多基于非凸懲罰項的壓縮感知模型的求解算法缺乏穩(wěn)定的收斂性保證，限制了它們在實際應(yīng)用中的進(jìn)一步發(fā)展.

4）現(xiàn)有的非線性壓縮感知理論和算法往往僅適用于特定的非線性函數(shù)，而通用型模型框架和分析工具有所欠缺.此外，許多理論結(jié)果建立在額外的假設(shè)條件下，且往往不是最優(yōu)的

5）大多數(shù)一比特壓縮感知模型將恢復(fù)信號約東在 L₂ 單位超球面上，導(dǎo)致恢復(fù)信號與原始信號之間存在誤差，尤其是當(dāng)原始信號幅度較大時.雖然文獻(xiàn)[222，245]提供了一些估計原始信號幅度的方法，但它們的準(zhǔn)確性仍有待提高，難以滿足多數(shù)實際應(yīng)用的需求.

6）多數(shù)現(xiàn)有稀疏相位恢復(fù)算法假設(shè)信號的稀疏先驗是已知的，這與實際情況不符.此外，大部分算法的理論結(jié)果主要適用于實信號和高斯分布，而對于復(fù)信號和非高斯分布的情況，則缺乏相應(yīng)的分析.

7）針對 L₀ -范數(shù)優(yōu)化模型，需要更有效的稀疏階估計方法，以準(zhǔn)確估計未知信號的稀疏度.對于各類非凸懲罰項，需開發(fā)新的分析框架，以保證它們在不同場景的適用性，并為模型及算法提供理論保證.此外，這些懲罰項可進(jìn)一步應(yīng)用于一比特壓縮感知、稀疏相位恢復(fù)等非線性問題中，以提高恢復(fù)效果.

8）數(shù)據(jù)規(guī)模的增大對算法效率提出更高的要求.貪婪算法涉及許多矩陣與向量間的運算，在數(shù)據(jù)規(guī)模量較大時對硬件提出較高要求.一些迭代算法相比之下計算效率更高，然而他們通常都是一階算法，收斂速度較慢.新興的隨機(jī)稀疏恢復(fù)算法可能是處理大規(guī)模問題的有效工具，但這些算法中涉及的隨機(jī)策略較少.

9）考慮更復(fù)雜的非線性變換下的模型和求解算法，以解決更多實際問題.同時，需要研究更好的通用型模型框架、求解算法及分析工具，為各類非線性壓縮感知問題及其算法提供更深入的理解和可解釋性.

10）在一比特壓縮感知問題上，需要進(jìn)一步改進(jìn)信號幅度估計方法，減少恢復(fù)信號與原始信號間的誤差，并提高算法的魯棒性，使其在極端情況下也能良好地恢復(fù)原始信號.

11）在稀疏相位恢復(fù)問題上，進(jìn)一步提升算法在較少觀測數(shù)量下的恢復(fù)效果，降低采樣要求.同時，增強(qiáng)算法的適用性，使其有效應(yīng)對實信號、復(fù)信號等多種情況，滿足更廣泛的應(yīng)用需求.

12）隨著數(shù)據(jù)采集方式的發(fā)展，未來的研究將擴(kuò)展到簇、組和圖形等更加復(fù)雜的數(shù)據(jù)結(jié)構(gòu)上[261].因此，針對這些復(fù)雜數(shù)據(jù)結(jié)構(gòu)的處理需求，開發(fā)新的理論和算法成為了壓縮感知領(lǐng)域未來發(fā)展的重要研究方向.

5 總結(jié)

壓縮感知理論，作為一種革命性的信號處理方法，已經(jīng)展示了其在數(shù)據(jù)壓縮和高效恢復(fù)方面的巨大潛力.本文深人探討了線性和非線性壓縮感知的理論、算法及應(yīng)用.在線性壓縮感知部分，詳細(xì)介紹了幾個重要的模型框架，并對相應(yīng)的求解算法進(jìn)行了全面的總結(jié).此外，還討論了非線性壓縮感知領(lǐng)域的最新進(jìn)展，特別是在一比特壓縮感知和稀疏相位恢復(fù)問題上的模型框架、基礎(chǔ)理論和求解算法.文章的最后部分指出了當(dāng)前壓縮感知領(lǐng)域所面臨的一些挑戰(zhàn)，并對未來可能的研究方向進(jìn)行了前瞻性的展望.

參考文獻(xiàn)

[1]NYQUIST H. Certain topics in telegraph transmission theory[J].Trans Am Inst Electr Eng，1928，47（2）：617-644.

[2]DONOHO D L. Compressed sensing[J]. IEEE Trans Inf Theory，2006，52（4）：1289-1306.

[3]CANDESEJ，ROMBERGJ，TAOT.Robustuncertaintyprinciples；exactsignalreconstructionfromhighlyincompletefrequency information[J].IEEETransInfTheory，2006，52（2）：489-509.

[4]CANDES EJ.Compresive sampling[C]//Proc Int Congr Math.Madrid： Scientific Research Publishing，2006：1433-1452.

[5]MOUSAVIA，PATEL A B，BARANIUK R G.A dep learning approach to structured signal recovery[C]//Proc Conf Commun Control Comput. Monticello：IEEE，2015：1336-1343.

[6]KULKARI K，LOHIS，RAGA P，etal.Recoet：noniterativereconstructionofimagesfromompresivelysesedmeasurements[C]//Proc IEEE Conf Comput Vis Pattern Recognit. Las Vegas： IEEE，2016：449-458.

[7]ZHANGJ，GHANEMB.ISTA-Net：interpretableoptimization-inspireddeepnetwork forimagecompresivesensig[C]//Proc IEEE Conf Comput Vis Pattern Recognit. Salt Lake City：IEEE，2018：1828-1837.

[8]YANGY，SUNJ，LIHB，etal.ADMM-CSNet： adeeplearning approach forimagecompresive sensing[J].IEETrans Pattern：Anal Mach Intell，2018，42（3） ：521-538.

[9]SHENMH，GANHP，NINGC，etal.TransCS：atransformer-based hybrid architectureforimagecompressedsensing[J]. IEEE Trans Image Process，2022，31：6991-7005.

[10]ZHANG J，CHEN B，XIONG R Q，et al.Physics-inspiredcompressvesensing：：beyonddeep unroling[J].IEEE Signal Process Mag，2023，40（1） ：58-72.

[11]YEDJ，NIZK，WANGHL，etal.CSformer：bridgingconvolutionandtransformerforcompresivesensing[J]IEEErans Image Process，2023，32：2827-2842.

[12]GANHP，SHENMH，HUAY，etal.Frompatchtopixel;atransformer-basedhierarcicalframework forcompresivege sensing[J]. IEEE Trans Comput Imag，2023，9：133-146.

[13]YUANX.GeneralizedalternatingprojectionbasedtotalvariationminimizationforcompressivesensingC]//ProcIEEEIntConf ImageProcess.Phoenix：IEEE，2016：2539-2543.

[14]LIUY，YUANX，SUOJL，etal.Rank minimizationforsnapshotcompresiveimaging[J].IEETransPatternAnalMach Intell，2018，41（12） ：2990-3006.

[15]SHIWZ，LIUSH，JANGF，etal.VideocompresedsensingusingaconvolutionalneuralnetworkJ].IEEETransCircuits SystVideo Technol，2020，31（2）：425-438.

[16]YUAN X，BRADYDJ，KATSAGGELOS A K.Snapshotcompresive imaging：theory，algorithms，andaplications[J].IE Signal Process Mag，2021，38（2） ：65-88.

[17]YEJC.Compressed sensing MRI： areviewfrom signal procesing perspective[J].BMC Biomed Eng，2019，1（1）：1-17.

[18]MUCKLEY MJ，RIEMENSCHNEIDER B，RADMANESHA，et al.Results of the2020 fastMRI chalenge for machine learning

[19]AKCAKAYAM，YAMAN B，CHUNG H，etal. Unsuperviseddeplearning methods forbiological image reconstructionandenhancement：an overview from a signal processing perspective[J]. IEEE Signal Process Mag，2022，39（2）：28-44.

[20]BARANIUK R， STEEGHS P. Compressive radar imaging[C]//Proc IEEE Radar Conf.Waltham： IEEE，2007：128-133.

[21]ALONSO MT，LOPEZ-DEKKER P，MALLORQUIJJ.A novel strategy forradar imaging basedoncompresivesensing[J]. IEEE Trans Geosci Remote Sens，2010，48（12） ：4285-4295.

[22]ENDER JH G. On compressive sensing applied to radar[J]. Signal Process，2010，90（5）：1402-1414.

[23]ZHAOLF，WAGL，YANGL，etal.Therace toimproveradarimagerynovervieofrecentprogressinstatisticalsprsity based techniques[J]. IEEE Signal Process Mag，2016，33（6）：85-102.

[24]COHEND，ELDARYC.Sub-nyquist radar systems：temporal，spectral，，and spatialcompresion[J].IEEESignal Process Mag，2018，35（6） ：35-58.

[25]LI SC，XULD，WANGXHCompressdsensingsignalanddtaacqisiinwirelesssensornetwoksandinteeofthigs]. IEEE Trans Ind Inform，2012，9（4） ：2177-2186.

[26]RAO X B，LAU VK N.Distributed compressive CSITestimationandfeedback for FDD multiuser massive MIMO systems[J]. IEEETrans Signal Process，2014，62（12） ：3261-3271.

[27]ZHANG Y S， XIANG Y， ZHANG L Y，et al. Secure wirelesscommunications based on compresive sensing： a survey[J]. IEEE Commun Surv Tutor，2018，21（2） ：1093-1111.

[28]K ML，GAOZ，WUYP，etal.Compresivesensingbasedadaptive activeuserdetectionandchannel estimation：massive access meets massive MIMO[J]. IEEE Trans Signal Process，2020，68：764-779.

[29]JEONYS，AMIMM，LIJ，etal.Acompresivesensingapproachforfederatedlearingover massive Ocomuication systems[J]. IEEE Trans Wirel Commun，2020，20（3） ：1990-2004.

[30]LI CX，LIG，VARSHNEYPK.Communication-effcientfederated learning basedoncompressed sensing[J].IEEEInternet Things J，2021，8（20） ：15531-15541.

[31]FANX，WANGY，HUOY，etal-bitcompressivesensingforeficientederatedlearningovertheai[J].IEEETansWirel Commun，2022，22（3） ：2139-2155.

[32]OHY，LEEN，JEONYS，etal.Comunicationeficientfederatedlearingviaquatizedcompresedsensing[J].IEEEans Wirel Commun，2022，22（2） ：1087-1100.

[33]OHY，JEONYS，CHENMZ，etal.FedVQCS：federated learning via vector quantized compressed sensing[J].IEEE Trans Wirel Commun，2023，23（3） ：1755-1770.

[34]CHENXH，LIUJL，WANGZY，etal.Hyperparameter tuning is allyou need forLSTA[C]//Proc ConfNeural Inf Process Syst. New York： ACM，2021，34：11678-11689.

[35]JACQUESL，LASKAJN，BOUFOUNOS PT，etal.Robust1-bitcompresivesensing via binarystableembeddingsof sparse vectors[J].IEEE TransInf Theory，2013，59（4）：2082-2102.

[36]SHECHTMANY，ELDARYC，COHENO，etal.Phaseretrieval withapplicationtopticalimaging：acontemporaryoverview[J]. IEEE Signal Proc Mag，2015，32（3） ：87-109.

[37]BOUFOUNOS PT，BARANIUK R G.1-bit compresive sensing[C]//Proc 42nd Annu Conf Inf Sci Syst.Princeton： IEE， 2008：16-21.

[38]WANG Y，XU Z Q.Phase retrieval for sparse signals[J].Appl Comput Harmon Anal，2014，37（3）：531-544.

[39]CANDESEJ，ELDARYC，NEEDELL D，etal.Compresedsensing withcoherentandredundant dictionaries[J].ApplComput Harmon Anal，2011，31（1） ：59-73.

[40]AHARON M，ELAD M，BRUCKSTEIN A.K-SVD：an algorithmfordesigning overcomplete dictionaries forsparserepresentation[J].IEEE Trans Signal Process，2006，54（11） ：4311-4322.

[41]MALLATSG.Atheoryformultiresolutionsignaldecomposition;the waveletrepresentation[J].IEEETrans Pate AnalMach Intell，1989，11（7） ：674-693.

[42]MALLATSG， ZHANG ZF.Matching pursuits with time-frequencydictionariesJ].IEEE TransSignal Process，1993，41（12）： 3397-3415.

[43]CANDES EJ，DONOHODL.Curvelets：asurprisinglyefective nonadaptiverepresentation forobjects with edges[D].Stanford：Stanford University，1999. Image Process，2005，14（12）：2091-2106.

[45]YAGHOOBI M，DAUDETL，DAVIES ME.Parametric dictionarydesign forsparsecoding[J].IEEE Trans Signal Process， 2009，57（12） ：4800-4810.

[46]MAIRALJ，BACHF，PONCEJ，etal.Onlinelearningfor matrix factorizationand sparsecoding[J].JMach LearRes，2010， 11（1） ：19-60.

[47]ZHANGQ，LIBX.Discriminative K-SVDfordictionarylearning in facerecognition[C]//Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit. San Francisco：IEEE，2010：2691-2698.

[48]ZHANGJ，ZHAODB，GAO W.Group-based sparse representationfor image restoration[J].IEEE Trans Image Process， 2014，23（8） ：3336-3351.

[49]GU S H，ZUO WM，XIE Q，etal.Convolutional sparsecoding for image superesolution[C]//Proc IEEE Int Conf Comput Vis. Santiago：IEEE，2015：1823-1831.

[50]GARCIA-CARDONA C，WOHLBERGB.Convolutional dictionarylearning：acomparative reviewandnew algorithms[J].IEEE Trans Comput Imaging，2018，4（3） ：366-381.

[51]ZHENG HY，YONG HW，ZHANG L.Deepconvolutionaldictionarylearning forimage denoising[C]//Proc IEEE/CVFConf Comput Vis Pattern Recognit. Nashville： IEEE，2021：630-641.

[52]VARSHNEYKR，CETIM，F(xiàn)SHERJW，et al.Sparserepresentationinstructureddictionaries withapplicationtosthetic aperture radar[J]. IEEE Trans Signal Process，2008，56（8） ：3548-3561.

[53]POTER LC，ERTINE，PARKERJT，et al. Sparsityand compressed sensing inradar imaging[J].Proc IEEE，2010，98（6）： 1006-1020.

[54]SAMADI S，CETIN M，MASNADI-SHRAZI M A. Sparse representation-based synthetic aperture radar imaging[J]. IET Radar，Sonar Navigat，2011，5（2） ：182-193.

[55]CETINM，STOJANOVICI，ONHONN，etal.Sparsity-drivensytheticaperturerdarimaging：recostruction，utofocsing， moving targets，and compressed sensing[J]. IEEE Signal Process Mag，2014，31（4）：27-40.

[56]CANDES E J，TAO T.Decoding by linear programming[J]. IEEE Trans Inf Theory，2005，51（12）：4203-4215.

[57]CANDESEJ.Therestricted isometry propertyanditsimplicationsforcompressedsensing[J].ComptesRendus Math，08， 346（9/10） ：589-592.

[58]DONOHODL，HUOXM.Uncertaintyprinciplesand idealatomicdecomposition[J].IE Trans Inf Theory，201，47（7）： 2845-2862.

[59]TROPPJA.Greedisod：algorimicresultsforsparseapproximation[J].IETransInfeory，，5O1）-2242.

[60]DONOHODL，ELADM，TEMYAKOV VN.Stablerecoveryof sparse overcompleterepresentations inthe presenceofnoise[J]. IEEE Trans Inf Theory，2005，52（1） ：6-18.

[61]ZENIK-MANOR L，ROSENBLUM K，ELDARYC.Sensing matrix optimization for block-sparse decoding[J].IEEE Trans Signal Process，2011，59（9） ：4300-4312.

[62]COHEN A， DAHMEN W， DEVORE R. Compressed sensing and best k term approximation[J]. JAm Math Soc，2009，22（1）： 211-231.

[63]DONOHO DL，ELAD M. Optimally sparse representation in general （nonorthogonal） dictionaries via l¹ minimization[J].Proc Natl Acad Sci USA，2003，100（5） ：2197-2202.

[64]RASKUTIG，WAINWRIGHTMJ，YUB.Restricted eigenvalue properties forcorelated Gaussiandesigns[J].JMachLearn Res，2010，11：2241-2259.

[65]TILLMANAM，F(xiàn)ETCHME.Thcomputationalcomplexityof therestrictedisometryproperty，theulspaceproprtyand related concepts in compressed sensing[J]. IEEE Trans Inf Theory，2013，60（2） ：1248-1259.

[66]CANDESEJ，TAOT.Nearoptimal signalrecoveryfromrandomprojections：universal encoding strategies？[J].IEEETrans Inf Theory，2006，52（12） ：5406-5425.

[67]TSAIG Y，DONOHO D L. Extensions of compressed sensing[J]. Signal Process，2006，86（3） ：549-571.

[68］王強(qiáng)，李佳，沈毅．壓縮感知中確定性測量矩陣構(gòu)造算法綜述[J]．電子學(xué)報，2013，41（10）：2041-2050.

[69]DEVORE R A.Deterministicconstructions ofcompressed sensing matrices[J].JComplex，2007，23（4/5/6）：918-925.

[70]LIS X，GAOF，GEGN，etal.Deterministicconstructionofcompressedsensing matricesviaalgebraiccurves[J].IEErans

[71]XIA ST，LIUXJ，JANGY，et al.Deterministicconstructionsofbinary measurement matricesfromfinitegeometryJ].EEE Trans Signal Process，2014，63（4）：1017-1029.

[72]LISX，GEGN.Deterministicconstructionofsparsesensing matricesviafinitegeometryJ].IEEE Trans Signal Process， 2014，62（11） ：2850-2859.

[73]JIEYM，LIMC，GUOC，etal.Anewconstructionofcompressedsensing matricesforsignalprocesingviavectorspaces over finite fields[J]. Multimed Tools Appl，2019，78：31137-31161.

[74]TONGFH，LILX，PENGHP，etal.Deterministcconstructionsofcompressedsensing matricesfromunitarygeometryJ]. IEEE Trans Inf Theory，2021，67（8） ：5548-5561.

[75]BAJWA WU，HAUPTJD，RAZ G M，et al.Toeplitz-structured compressed sensing matrices[C]//Proc IEEE Workshop Statistical Signal Process. Madison： IEEE，2007：294-298.

[76]APPLEBAUML，HOWARD SD，SEARLE S，et al. Chirpsensing codes：deterministiccompresed sensing measurementsfor fast recovery[J]. Appl Comput Harmon Anal，2009，26（2） ：283-290.

[77]AMINI A，MONTAZERHODJAT V，MARVASTI F. Matrices with small coherence using P -ary block codes[J]. IEEE Trans Signal Process，2011，60（1） ：172-181.

[78]DIMAKIS A G，SMARANDACHE R，VONTOBEL PO.LDPC codes forcompresed sensing[J]. IEEE Trans Inf Theory，2012， 58（5） ：3093-3114.

[79]ZHANG J，HANGJ，F(xiàn)ANG Y.Deterministicconstructionofcompressd sensing matricesfrom protograph LDPCcodes[J]. IEEE Signal Process Lett，2015，22（11） ：1960-1964.

[80]WANG G，NIUMY，F(xiàn)UFW.Deterministicconstructions ofcompresed sensing matrices basedonoptimalcodeboksand codes[J]. Appl Math Comput，2019，343：128-136.

[81]TROPPJA，DHILLONIS，HEATHR W，etal.Designing structured tight frames via analternating projection method[J]. IEEETransInf Theory，2005，51（1） ：188-209.

[82]EAD M.Optimized projections for compressed sensing[J].IEEE Trans Signal Process，2007，55（12）：5695-5702.

[83]DUARTE-CARVAJALINO JM，SAPIRO G.Learning to sense sparse signals： simultaneous sensing matrix and sparsifying dictionary optimization[J]. IEEE Trans Image Process，2009，18（7） ：1395-1408.

[84]LIB，SHENY，LIJ.Dictionariesonstructionusing alternatingprojectionmethodincompresivesensing[J].EEESignal Process Lett，2011，18（11） ：663-666.

[85]BAI H，LIG，LIS，etal.Alternating optimizationofsensing matrixand sparsifyingdictionaryforcompressedsensing[J]. IEEE Trans Signal Process，2015，63（6） ：1581-1594.

[86]LUCY，LIH，LINZC.Optimized projections forcompressedsensing via direct mutual coherence minimization[J].Signal Process，2018，151：45-55.

[87]STROHMERT，HEATHR W.Grassmannan frames withaplications tocoding andcommunication[J].ApplComput Harmon Anal，2003，14（3） ：257-275.

[88]XIA PF，ZHOUSL，GIANNAKIS G B.Achieving the Welch bound with diference sets[J].IEEE Trans Inf Theory，2005， 51（5） ：1900-1907.

[89]DING C. Complex codebooks from combinatorial designs[J].IEEE Trans Inf Theory，2006，52（9）：4229-4235.

[90]DING C，F(xiàn)ENGT.Agenericconstructionofcomplexcodeboos meting the WelchboundJ].IEEE TransInf Theory，207， 53（11） ：4245-4250.

[91]HUHG，WUJS.Newconstructionsofcodeboos nearlymeting the Welchbound withequality[J].IEEETransInf Teory， 2013，60（2） ：1348-1355.

[92]LUOGJ，CAOX W.Twoconstructionsof asymptoticalloptimalcodebooksvia thehyper Eisensteinsum[J].IEEETrans Inf Theory，2017，64（10） ：6498-6505.

[93]TANLY，IYB，T，etal.CostructiosofodebooksasymptoticallchevingthWelchoudihditiveharaces]. IEEE Signal Process Lett，2019，26（4） ：622-626.

[94] NATARAJAN B K. Sparse approximate solutions to linear systems[J]. SIAM J Comput，1995，24（2）：227-234.

[95]PATIYC，REZAIFARR，KRISHNAPRASADPS.Orthogonal matching pursuit： recursive functionaproximation withapplications to wavelet decomposition[C]//Proc 27th Annu Asilomar Conf Signals，Syst，Comput.Pacific Grove：IEEE，1993：

[96」TROPP JA，GILBERTA C.Signal recovery from random measurements via orthogonal matching pursuitJ」.IEEE Trans Inf Theory，2007，53（12） ：4655-4666.

[97]CAITT，WANG L.Orthogonal matching pursuit forsparsesignal recovery withnoise[J].IEEE TransInf Theory，201， 57（7） ：4680-4688.

[98]MOQ，SHENY.Aremarkontherestrictedisometryproperty inorthogonal matching pursuit[J].IEEETransInfTheory012， 58（6） ：3654-3656.

[99]CHANGLH，WUJY.AnimprovedRIP-basedperformanceguarante forsparsesignalrecoveryviaorthogonalmatchingpursuit[J]. IEEE Trans Inf Theory，2014，60（9） ：5702-5715.

[100]WENJM，ZHOU ZC，WANG J，et al.A sharpcondition forexact supportrecovery withorthogonal matching pursuit[J]. IEEE Trans Signal Process，2016，65（6） ：1370-1382.

[101]WENJM，ZHANGR，YUW.Signal-dependentperformanceanalysis oforthogonalmatching pursuit forexact sparserecoverJ]. IEEE Trans Signal Process，2020，68：5031-5046.

[102]NEDELLD，VERSHYINR.Signalrecoveryfromincompleteandinaccuratemeasurementsviaregularizedorthogonalatc hing pursuit[J]. IEEE J Sel Top Signal Process，2010，4（2） ：310-316.

[103]DONOHODL，TSAIG Y，DRORII，etal.Sparse solutionofunderdeterminedsystemsoflinearequations bystagewiseorthogonal matching pursuit[J]. IEEE Trans Inf Theory，2012，58（2）：1094-1121.

[104]WANGJ，KWON S，SHMB.Generalizedorthogonal matching pursuit[J].IEEE TransSignalProces，2012，6O（12）6202- 6216.

[105]LIHF，WENJM.Anewanalysisforsupportrecoverywithblock orthgonal matching pursuit[J].IEEESignalProessLett， 2018，26（2） ：247-251.

[106]WENJM，ZHOUZC，LUZL，etal.Sharpsufcientconditionfrstablerecoveryofblock sparsesignalsbyblockorthog nal matching pursuit[J]. Appl Comput Harmon Anal，2019，47（3）：948-974.

[107]NEEDELLD，TROPPJA.CoSaMP：iterative signalrecoveryfrom incompleteandinacurate samples[J]Appl Comput Harmon Anal，2009，26（3） ：301-321.

[108]CHEN S，BILLINGS SA，LUO W.Orthogonal last squares methodsandtheir aplication to non-linearsystemidentificationJ]. Int J Control，1989，50（5） ：1873-1896.

[109]SOUSSEN C，GRIBONVAL R，IDIER J， et al. Joint k -step analysis of orthogonal matching pursuit and orthogonal least squares[J]. IEEE Trans Inf Theory，2013，59（5）：3158-3174.

[110]WENJM，WANGJ， ZHANGQY.Nearlyoptimalbounds fororthogonalleastsquares[J].IEEETrans Signal Process，2017， 65（20） ：5347-5356.

[111]GARGR，KHANDEKARR.Gradientdescent with sparsification：aniterativealgorithmforsparserecovery withrestricted isometry property[C]//Proc Int Conf Mach Learn. Montreal：IEEE，2009：337-344.

[112]BUMENSATHT，DAVIESME.Iterativehard thresholding forcompresedsensingJ].ApplComput HarmonAnal，2009， 27（3） ：265-274.

[113]ZHAOYB，LUO Z Q. Improved RIP-based bounds for guaranted performance of two compressd sensing algorithms[J].Sci China Math，2023，66（5） ：1123-1140.

[114]WANGYH，HEZH，ZHANGGM，etal.Improved suficient conditionsbasedon RICof order2s forIHTand HTPalgorithms[J]. IEEE Signal ProcessLett，2023，30：668-672.

[115]FOUCARTS.Hard thresholding pursuit：analgorithm forcompresivesensing[J].SIAMJNumerAnal，2O11，49（6）： 2543-2563.

[116]FOUCARTS，RAUHUT H. A mathematical introduction to compressive sensing[M]. New York： Springer，2013.

[117]BLANCHARDJD，TANNERJ，WEIK.Conjugate gradient iterativehardthresholding：observednoisestabilityforcompressed sensing[J]. IEEE Trans Signal Process，2014，63（2）：528-537.

[18]MENG N，ZHAOYB.Newton-step-based hardthresholding algorithms for sparse signal recovery[J].IEEE Trans Signal Process，2020，68：6594-6606.

[19]ZHOUS.Gradientprojection NewtonpursuitforsparsityconstrainedoptimizationJ].ApplComput Harmon Anal2，61： 75-100. put Appl Math，2023，430：115264.

[121]COTTER SF，RAOBD，KREUTZ-DELGADO K，et al.Forward sequential algorithms for best basis selection[J].IEE Proceedings-Vision，Image and Signal Processing，1999，146（5） ：235-244.

[122] BLUMENSATH T，DAVIES M E. Gradient pursuits[J].IEEE Trans Signal Process，2008，56（6）：2370-2382.

[123]RUBINSTEINR，ZIBULEVSKYM，ELADM.Efcient Implementationof the K-SVD algorithm using batchorthogonal matching pursuit[R/OL].2024-08-10].Haifa：Israel Instituteof Technology，2008.hps：//csaws.cs.echnion.ac.il/ronubin/Publications/KSVD-OMP-v2. pdf

[124]LIX G，ZHAOT，ARORAR，etal.Stochastic variancereducedoptimization for nonconvex sparse learning[C]//Proc Int Conf Mach Learn. New York： JMLR，2016：917-925.

[125]NGUYENN，NEEDELL D，WOOLFT.Linear convergence of stochastic iterative greedy algorithms with sparse constraints[J]. IEEE Trans Inf Theory，2017，63（11） ：6869-6895.

[126]SHEN J，LI P. A tight bound of hard thresholding[J]. J Mach Learn Res，2017，18（1）：7650-7691.

[127]ZHOUP，YUANXT，F(xiàn)ENGJS.Eficientstochastic gradienthardthresholding[C]/ProcConf NeuralInfProessSyst.New York：ACM，2018：1-10.

[128]LIANG GN，TONG QQ，ZHUCJ，etal.Anefective hard thresholding method basedonstochastic variancereductionfor nonconvex sparse learning[C]//Proc AAAI Conf Artif Intell. Palo Alto： AAAI Press，2020，34（2）：1585-1592.

[129]DAMADIS，SHENJL.Convergenceof the mini-batch SIHTalgorithm[DB/OL].[2024-08-10].arXiv：2209.14536，202.

[130]WANGY，TANZ，ENGCY.Sparsityderetimationaditsapplicationinompresivespecrumsensingforogitiveadios[J]. IEEE Trans Wirel Commun，2012，11（6）：2116-2125.

[131]LOPES M.Estimating unknownsparsity incompressd sensing[C]//Proc IntConf Mach Learn.Atlanta： JMLR，2013： 217-225.

[132]SHARMA SK，CHATZINOTAS S，OTERSTENB.Compresivesparsityorderestimationforwidebandcognitiveradioreceiver[J]. IEEE Trans Signal Process，2014，62（19） ：4984-4996.

[133]RAVAZZI C，F(xiàn)OSSONS，ANCHT，etal.Sparsitystimationfromcompressveprojectionsviasparserandommatices[J]. EURASIP J Adv Signal Process，2018，2018（1） ：1-18.

[134]DONOHO D L. For most large under determined systems of linear equations the minimal l₁ -norm solution is also the sparsest solution[J]. Commun Pure Appl Math，2006，59（6）：797-829.

[135]CANDES EJ，ROMBERGJK，TAOT.Stablesignalrecovery fromincompleteand inaccurate measurements[J].Commun Pure Appl Math，2006，59（8） ：1207-1223.

[136]CAI T T， XU G W， ZHANG J. On recovery of sparse signals via l₁ -minimization[J]. IEEE Trans Inf Theory，2009，55（7） ： 3388-3397.

[137]FOUCART S，LAI M J. Sparsest solutions of underdetermined linear systems via l_q minimization for0

[138]DAVIES M E， GRIBONVAL R. Restricted isometry constants where l_p sparse recovery can fail for O

[139]CAITT，WANGL，XUGW.New boundsforrestricted isometryconstants[J].IEEE Trans Inf Theory，2010，56（9）： 4388-4394.

[140]CAI TT， ZHANG A R.Sharp RIP bound for sparse signal and low-rank matrix recovery[J].Appl Comput Harmon Anal， 2013，35（1） ：74-93.

[141]CHEN S S，DONOHOD L，SAUNDERS MA.Atomic decompositionby basis pursuit[J].SIAM Rev，2001，43（1）：129-159.

[142]TIBSHRANIR.Regresion shrinkage and selection viathelass[J].JRoyal Stat Soc：Ser B，1996，58（1）：267-288.

[143]WEN F，LIU P L，LIU Y P，et al. Robust sparse recovery in impulsive noise via l_p^-l₁ optimization[J]. IEEE Trans Signal Process，2016，65（1） ：105-118.

[144]WANGJJ，HUANGJW，ZHANGF，etal.Groupsparserecovery inimpulsive noise viaalternatingdirection methodofultipliers[J]. Appl Comput Harmon Anal，2020，49（3） ：831-862.

[145]KIM SJ，KOH K，LUSTIG M，et al. An interior-point method for large-scale l₁ -regularized least squares[J]. IEEE J Sel Top Signal Process，2007，1（4） ：606-617. sensing and other inverse problems[J]. IEEE J Sel Top Signal Process，20O7，1（4）：586-597.

[147]BECKA，TEBOULEM.Fastgradient-basedalgorithmsforconstrainedtotalvariationimagedenoisinganddebluringproblems[J]. IEEE Trans Image Process，2009，18（11） ：2419-2434.

[148]DAUBECHIESI，DEFRISEM，DEMOLC.Aniterative tresholdingalgorithmforlinearinverse problems withasparsityconstraint[J]. Commun Pure Appl Math，2004，57（11） ：1413-1457.

[149]YIN W T， OSHER S， GOLDFARB D，et al. Bregman iterative algorithms for l₁ -minimization with applications to compressed sensing[J]. SIAM J Imaging Sci，2008，1（1） ：143-168.

[150]YANG JF， ZHANG Y. Alternating direction algorithms for l₁ -problems in compressive sensing[J]. SIAM JSci Comput，2011， 33（1） ：250-278.

[151]YUN S，TOH K C. A coordinate gradient descent method for l₁ -regularized convex minimization[J]. Comput Optim Appl， 2011，48 ：273-307.

[152]CAIJF，OSHER S，SHEN Z W.Linearized Bregman iterations forcompressd sensing[J].Math Comput，209，78（267）： 1515-1536.

[153]CAI JF，OSHER S，SHEN Z W. Convergence of the linearized Bregman iteration for l₁ -norm minimization[J].Math Comput， 2009，78（268） ：2127-2136.

[154]LORENZ DA，SCHOPFER F，WENGER S.The linearized Bregman methodvia split easibility problems：analysis and generalizations[J]. SIAMJImaging Sci，2014，7（2）：1237-1262.

[155]SCHOPFERF，LORENZ DA.Linearconvergence of therandomized sparse Kaczmarz method[J].Math Program，2019，173 ： 509-536.

[156]TONDJIL，LORENZ DA.Fasterrandomized block sparse Kaczmarz by averaging[J]. Numer Agorithms，2023，93（4）：1417- 1451.

[157]SCHOPERF，LOREZ DA，TONDJIL，etal.Extendedrandomized Kaczmarz methodforsparse least squaresandimpulsive noise problems[J]. Linear Algebra Appl，2022，652：132-154.

[158]CHARTRANDR.Exactreconstructionof sparse signalsvia nonconvex minimizationJ].IEE SignalProcessLet，2007， 14（10） ：707-710.

[159] CANDES E J， WAKIN M B， BOYD S P. Enhancing sparsity by reweighted l₁ minimization[J]. JFourier Anal Appl，2008， 14：877-905.

[160]CHARTRANR，STANEVA V.Restricted isometry propertiesand nonconvexcompresivesensing[J].Inverse Probl，08， 24（3）：035020.

[161]FANJQ，LIRZ.Variableselectionvia nnconcavepenalizedlikelioodnditsoraclepropertiesJ].JAmStat Assoc，0， 96（456） ：1348-1360.

[162]GORODNITSKYIF，RAOBD.Sparse signal reconstruction from limiteddata using FOCUSS：are-weighted minimumnorm algorithm[J]. IEEE Trans Signal Process，1997，45（3）：600-616.

[163]CHARTRANDR，YINWT.Iterativelyreweightedalgorithmsforcompresivesensing[C]//Proc IEEE Int Conf Acoust， Speech Signal Process. Las Vegas： IEEE，2008：3869-3872.

[164]WIPF D， NAGARAJAN S. Iterative reweighted l₁ and l₂ methods for finding sparse solutions[J]. IEEE J Sel Top Signal Process，2010，4（2） ：317-329.

[165]MARJANOVIC G，SOLO V. On l_q optimization and matrix completion[J]. IEEE Trans Signal Process，2012，60（11）： 5714-5724.

[166] XU Z B， CHANG X Y， XU F M， et al. L_1/2 regularization： a thresholding representation theory and a fast solver[J]. IEEE Trans Neural Netw Learn Syst，2012，23（7） ：1013-1027.

[167] ZENG JS，LIN S B， WANG Y， et al. L_1/2 regularization：convergence of iterative half thresholding algorithm[J]. IEEE Trans Signal Process，2014，62（9） ：2317-2329.

[168]CAO W F， SUN J， XU Z B. Fast image deconvolution using closed-form thresholding formulas of L_q（q=1/2，2/3） ）regularization[J]. J Vis Commun Image Represent，2013，24（1） ：31-41.

[169]ZHANG C H.Nearlyunbiased variable selection under minimax concave penalty[J]．Ann Statist，2O1o，38（1）：894-942.

[170]WOODWORTHJ，CHARTRANDR.Compresed sensing recovery via nonconvex shrinkage penalties[J].InverseProbl，2016， 32（/） ：0/5004.

[171]GAO H Y，BRUCE A G. Waveshrink with firm shrinkage[J]. Stat Sin，1997：855-874.

[172]YINPH，LOU YF，HEQ，et al.Minimization of l_1-2 for compressed sensing[J]. SIAM J Sci Comput，2015，37（1）： A536-A563.

[173]LOUYF，YINPH，HEQ，etal.Computing sparserepresentation inahighlycoherent dictionary basedondiferenceof L₁ and L₂ [J].J Sci Comput，2015，64：178-196.

[174] LOU YF，YAN M. Fast L₁^-L₂ minimization via a proximal operator[J]. JSci Comput，2018，74（2）：767-785.

[175]RAHIMIY， WANG C，DONG HB，et al.A scale-invariant aproach for sparse signal recovery[J].SIAMJSci Comput， 2019，41（6） ： A3649-A3672.

[176] ZENG L Y，YUP，PONG T K. Analysis and algorithms for some compressed sensing models based on L₁/L₂ minimization[J]. SIAM JOptim，2021，31（2） ：1576-1603.

[177]HUOLM，CHENWG，GEHM，etal.Stableimagereconstructionusing transformedtotal variationminimization[J].SIAM JImaging Sci，2022，15（3）：1104-1139.

[178]TAO M.Minimization of L₁ over L₂ for sparse signal recovery with convergence guarantee[J].SIAM J Sci Comput，2022， 44（2） ： A770-A797.

[179]SHENYN，F(xiàn)ANGJ，LIHB.Exactreconstructionanalysisoflg-sum minimizationforcompresed sensing[J].IEEESignal Process Lett，2013，20（12） ：1223-1226.

[180]ZHOUX，LIUX W，ZHANGG，etal.Aniterativethresholdalgorithmoflgsumregularizationforsparse problem[J].IE Trans Circuits Syst Video Technol，2023，33（9） ：4728-4740.

[181]SELESNICK I W，BAYRAM I. Sparse signal estimation by maximall sparse convex optimization[J]. IEEE Trans Signal Process，2014，62（5） ：1078-1092.

[182]CHENPY，SELESNICKIW.Group-sparsesignaldenoising：nonconvexregularization，onvex optimization[J].IEErans Signal Process，2014，62（13） ：3464-3478.

[183]POLYAK B T. Introduction to optimization[M].New York：Springer，1987.

[184]BAUSCHKEHH，BURACHIK R S，COMBETTESPL，etal.Fixed-poit algorithmsforinverse problemsinscienceand engineering[M]. New York：Springer，2011.

[185]DONOHO DL，JOHNSTONEIM.Ideal spatial adaptationbywavelet shrinkage[J].Biometrika，1994，81（3）：425-455.

[186]GONGPH，ZHANGCS，LUZS，etal.A general iterativeshrinkageandthresholding algorithmfornonconvexregularized optimization problems[C]//Proc Int Conf Mach Learn. Atlanta： JMLR，2013：37-45.

[187] CHEN L M，GUYT.Theconvergence guarantes of anon-convex approach for sparse recovery[J].IEE Trans Signal Process，2014，62（15） ：3754-3767.

[188]YANG C Z，GUYT，CHENBD，et al.Learning proximal operator methods for nonconvex sparse recoverywith theoretical guarantee[J]. IEEE Trans Signal Process，2020，68 ：5244-5259.

[189]BLAKE A， ZISSERMAN A. Visual reconstruction[M]. Cambridge：MIT press，1987.

[190]NIKOLOVA M.Estimationof binaryimages byminimizing convex criteria[C]//Proc IEEE IntConf Image Process.Chicago： IEEE，1998，2：108-112.

[191]NIKOOVA M，NGMK，ZHAGSQ，etal.Eficientrecostructionof piecewiseconstantimages using nonsmothoconex minimization[J]. SIAMJImaging Sci，2008，1（1） ：2-25.

[192]TIPPING ME.Sparse Bayesian learning and the relevance vector machine[J].JMach Learn Res，2Oo1，1：211-244.

[193]WIPFDP，RAOBD.Sparse Bayesianlearingforbasis selectionJ].IEEE Trans Signal Process，2004，52（8）：215-264.

[194]WIPFDP，RAO B D.An empirical Bayesian strategy for solving the simultaneous sparse approximation problem[J].IE Trans Signal Process，2007，55（7） ：3704-3716.

[195]ZAYYANIH，BABAIE-ZADEH M，JUTTEN C.Decoding real-fieldcodes byaniterative Expectation-Maximization（EM）algorithm[C]//Proc IEEE Int Conf Acoust Speech Signal Process. Las Vegas：IEEE，2008：3169-3172.

[196]JI S H， XUE Y， CARIN L.Bayesian compressive sensing[J]. IEEE Trans Signal Process，2008，56（6）：2346-2356.

[197]ZAYYANI H，BABAIE-ZADEH M，JUTTENC.AniterativeBayesian algorithm for sparsecomponentanalysis in presenceof noise[J]. IEEE Trans Signal Process，2009，57（11） ：4378-4390.

[198]ZAYYANI H，BABAIE-ZADEH M，JUTTEN C. Bayesian pursuit algorithm for sparse representation[C]//Proc Int Conf Acoust，Speech， Signal Process. Taipei： IEEE，2009：1549-1552.

[199] BERGER JO. Statistical decision theory and Bayesian analysis[M]. New York： Springer，2013.

[200]GREGOR K，LECUNY.Learning fastaproximations of sparsecoding[C]//Proc IntConf MachLearn.Haifa：Omipress， 2010：399-406.

[201]MOREAUT，BRUNA J.Understandingtrainable sparsecoding viamatrix factorization[C]//Proc IntConf LearnRepresent. Toulon ： OpenReview，2017.

[202]GIRYES R，ELDAR YC， BRONSTEIN A M，et al.Tradeofs betwee convergence speed and reconstruction accuracy in inverse problems[J]. IEEE Trans Signal Process，2018，66（7） ：1676-1690.

[203]CHENXH，LIUJL，WANGZY，etal.TheoreticalinearconvergeneofunfoldedISTAanditspractical weightsandthresh olds[C]//Proc Conf Neural Inf Process Syst. Montreal：ACM，2018.

[204]LIU JL， CHENX H.ALISTA：analytic weights are as godas learned weights in LISTA[C]//Proc Int Conf Learn Represent. New Orleans ： OpenReview，2019.

[205]CHENMZ，SHLEZINGER N，POOR HV，et al.Communication-effcient federated learning[J].Proc Nat AcadSci，2021， 118（17） ：e2024789118.

[206]ZHENG Z Y，DAI WR，XUE DD，et al.Hybrid ISTA：unfolding ISTA withconvergence guarantes using fre-formdeep neural networks[J]. IEEE Trans Pattern Anal Mach Intell，2022，45（3） ：3226-3244.

[207]METZLER C A，MALEKI A， BARANIUK R G.From denoising to compressd sensing[J]. IEEE Trans Inf Theory，2016， 62（9） ：5117-5144.

[208]ZHANG Z H，LIUY，LUJ，etal.AMP-Net：denoising-baseddepunfolding forcompressiveimagesensing[J].IEEETrans Image Process，2020，30：1487-1500.

[209]XIANGJX，DONG YG，YANG YJ.FISTA-Net： learningafastiterativeshrinkagethresholding network forinverse problems in imaging[J]. IEEE Trans Med Imaging，2021，40（5）：1329-1339.

[210]PANY，VERSHYNINR.The generalizedlasowithnon-lnearobservations[J].IEEETransInfTheory，2O16，6（3）528- 1537.

[211]OYMAK S，SOLTANOLKOTABI M.Fast and reliable parameter estimation from nonlinearobservations[J]. SIAMJOptim， 2017，27（4） ：2276-2300.

[212]BLUMENSATHT.Sampling andreconstructing signals fromaunionof linear subspacesJ].IEEETransInf Theory，2011， 57（7） ：4660-4671.

[213]BLUMENSATHT.Compresedsensing with nonlinearobservationsandrelatednonlinearoptimization problems[J].IEEE TransInf Theory，2013，59（6） ：3466-3474.

[214]GLBERTA C，LEVINSON H W，SCHOTLAND JC.Nonlinear ierative hard thresholding forinverse scatering[J].SIAM J Imaging Sci，2020，13（1） ：108-140.

[215]ROTH V. The generalized LASSO[J]. IEEE Trans Neural Netw，2004，15（1） ：16-28.

[216]LIUZ Q，SCARLETTJ.Thegeneralized Lassowith nonlinearobservationsand generative priors[C]//Proc ConfNeural Inf Process Syst. Vancouver： ACM，2020，33 ：19125-19136.

[217]LIUJL，LIU Z Q.Non-iterative recoveryfrom nonlinear observations using generative models[C]//Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit. New Orleans：IEEE，2022：233-243.

[218]GENZELM，STOLLENWERKA.Auifiedapproach touniform signalrecovery from nonlinearobservations[J].Found Comut Math，2023，23（3） ：899-972.

[219]ZYMNIS A，BOYD S，CANDES E.Compressed sensing withquantized measurements[J].IEEE Signal ProcessLet，009， 17（2） ：149-152.

[220]XUCL，JACQUESL.Quantizedcompresivesensing withRIPmatrices：thebenefitofditheringJ].InfomationandInference： A J IMA，2020，9（3） ：543-586.

[221]PANY，VERHR.Robust1-bitcompressedssingandsparse lgisticregression：aconvexprogrammingaproachJ]. IEEETrans Inf Theory，2013，59（1） ：482-494.

[222] KNUDSON K，SAAB R，WARD R.One-bit compresive sensing with nom estimation[J]. IEE Trans Inf Theory，2016， 62（5） ：2748-2758.

[223]ZHOUSL，LUOZY，XIUNH，etal.Computingone-bitcompressivesensingviadouble-sparsityconstrainedoptimzationJ].

IEEE Trans Signal Process，2022，70：1593-1608. [224]KRAHMER F，SAAB R， WARD R.Rot-exponentialacuracyfor coarse quantization of finite frame expansions[J].IE Trans Inf Theory，2012，58（2）：1069-1079. [225]KRAHMERF，SAABR，YILMAZO.Sigma-deltaquantization of sub-Gaussanframeexpansions anditsaplication tocompressed sensing[J]. Information and Inference：A J IMA，2014，3（1） ：40-58. [226]GUNTURK C S，LAMMERS M，POWELL A M，et al. Sobolev duals for random frames and Σδ quantization of compressed sensing measurements[J]. Found Comput Math，2013，13：1-36. [227]BOUFOUNOS PT.Universal rate-eficient scalarquantization[J].IEEETrans Inf Theory，2011，58（3）：1861-1872. [228]KAMILOV US，GOYAL VK，RANGAN S.Message-passng de-quantization with applications to compressed sensing[J]. IEEE Trans Signal Process，2012，60（12） ：6270-6281. [229]NGUYEN H Q， GOYAL V K，VARSHNEY L R. Frame permutation quantization[J]. Appl Comput Harmon Anal，2011， 31（1） ：74-97. [230]FENG C，VALAEE S，TANZ H.Multiple targetlocalizationusing compressve sensing[C]//Proc IEEE Global Telecommun Conf. Honolulu： IEEE，2009：1-6. [231]CHENCH，WUJY.Amplitude-aided1-bitcompressivesensing overnoisy wirelessensornetworks[J].IEEEWirelessCommun Lett，2015，4（5） ：473-476. [232]MENGJ，LIHS，HAN Z.Sparse eventdetection in wirelessensor neworksusingcompressive sesing[C]//Proc43rdAnu Conf Inf Sci Syst. Baltimore：IEEE，2009：181-185. [23]LEE D，SASAKIT，YAMADA T，et al.Spectrumsensing fornetworked system using1-bitcompressed sensing with partial random circulant measurement matrices[C]//Proc IEEE 75th Veh Technol Conf. Yokohama： IEEE，2012 ：1-5. [234]DONG X，ZHANG YH. A map approach for1-bitcompressve sensing insynthetic aperture radar imaging[J].IEE Geosci Remote Sensing Lett，2015，12（6） ：1237-1241. [235]ZHAOB，HUANGL，BAO WM.One-bit SAR imaging basedon single-frequencythresholds[J].IEEE Trans Geosci Remote Sens，2019，57（9） ：7017-7032. [236]GOYAL V K，VETTERLI M， THAO N T. Quantized overcomplete expansions in R^N ： analysis，synthesis，and algorithms[J]. IEEE Trans Info Theory，1998，44（1）：16-31. [237]HALE E T， YIN W T， ZHANG Y. Fixed-point continuation for l₁ -minimization： methodology and convergence[J]. SIAM J Optim，2008，19（3） ：1107-1130. [238]LASKAJN，WENZ W，YINWT，etal.Trust，butverify：fastandacuratesignalrecoveryfrom1-bitcompresivemeasure ments[J]. IEEE Trans Signal Process，2011，59（11） ：5289-5301. [239]BOUFOUNOS PT. Gredysparse signal reconstruction from sign measurements[C]//Proc 43rd Asilomar Conf Signals Syst Comput. Pacific Grove：IEEE，2009：1305-1309. [240]YAN M，YANGY，OSHER S.Robust 1-bit compressve sensing using adaptive outlier pursuit[J].IEEE Trans Signal Process，2012，60（7） ：3868-3875. [241]PLAN Y，VERSHYNINR.One-bit compressed sensing by linear programming[J].Comm Pure Appl Math，2013，66（8）： 1275-1297. [242]DAI DQ，SHENL X，XUYS，et al.Noisy1-bit compresivesensing： models and algorithms[J].Apl Comput HarmonAnal，2016，40（1） ：1-32. [243]XAOP，LIAOB，LIJOnebitcompresivesensingviaShurconcavefunctiominimzationJ].IEEETransSignalrocess， 2019，67（16） ：4139-4151. [24]SHENJ.One-bitcompresed sensing viaone-shot hard thresholding[C]//ProcConf UncertaintyArif Intell.New York：PMLR，2020：510-519. [245]HOU J Y， WANG JJ， ZHANG F. One-bit compressed sensing via l_p（0

[249]PARKERM W.Protein structure from X-ray diffraction[J].JBiol Phys，2003，29（4）：341-362.

[250]WALTHER A. The question of phase retrieval in optics[J]. J Modern Opt，1963，1O（1） ：41-49.

[251]MAIDENAM，RODENBURGJM.Animprovedptychograpicalphaseretrievalalgorithfordifractiveimaging[J]Ultraicroscopy，2009，109（10） ：1256-1262.

[252]MAIDENA M，RODENBURGJM，HUMPHRYMJ.Opticalptychography：a practicalimplementationwithusefulresolution[J]. Opt Lett，2010，35（15） ：2585-2587.

[253]MIAOJW，ISHKAWAT，SHENQ，etal.Extending X-raycrystallgraphytoallowtheimagingofnoncrystalinematerials， cells，and single protein complexes[J]. Annu Rev Phys Chem，2008，59：387-410.

[254]BALANR，CASAZZAP，EDDIND.Onsignalreconstruction withoutphase[J].ApplComput Harmon Anal，2006，2（3）： 345-356.

[255]CONCA A，EDIDIND，HERING M，etal.Analgebraiccharacterizationof injectivityin phaseretrieval[J].ApplComput Harmon Anal，2015，38（2） ：346-356.

[256]CAIJF，LIJZ，LUXL，etal.Sparse signalrecoveryfromphaseless measurements viahardthresholding pursuitJAppl. Comput Harmon Anal，2022，56：367-390.

[257]AKCAKAYA M，TAROKH V.Sparse signal recovery froma mixture of linear and magnitude-only measurements[J].IEEE Signal Process Lett，2015，22（9） ：1220-1223.

[258]WANG G，ZHANG L，GIANNAKIS GB，et al.Sparse phase retrieval via truncated amplitude flow[J].IEEE Trans Signal Process，2017，66（2） ：479-491.

[259]JAGATAPG，HEGDEC.Sample-ffcientalgorithmsforrecoveringstructuredsignalsfomagnitudeonlymeasurents[J]. IEEE Trans Inform Theory，2019，65（7） ：4434-4456.

[260]CAIJF，JAOYL，LUXL，etal.Sample-eficientsparsephaseretrievalviastochasticalternating minimization[J]IE Trans Signal Process，2022，70：4951-4966.

[261]ENGELKE S，IVANOVSJ.Sparse structures for multivariate extremes[J].Annu Rev Stat Appl，2O21，8：241-270.

Theory， Algorithms and Applications of Compressed Sensing

WEN Jinming

（SchoolofMathematics，JilinUniversity，Changchun13oo12，Jilin）

Abstract：Compresedsensing（CS）isaninnovativeframeworkforsignalsampling，whichbreaks throughthe limitationsof the Nyquistampligteorem，ignificantlyducingthecostofdatasampling，storagendtransmision.Ithaswideapplicatiosinelds suchasimageprocesingandwirelesscommunication.Thispaprprovidesadetailedexplanationof tetheory，algorithms，andapplicationsofCS.ForlinarCS，thepaperexploresseveralrepresentativeCSmodelframeworksindepthanalyzstheadvantagesandlimitationsofeachmodelframework，andsummaresteircorespondingsolutionalgorths.IntesofnolinearCS，tispaperelucidatesitsrelatedmodels，fundamentaltheory，andalgorithms，paticularlysummarizingthetheoryandagorithmsforone-bitCSand sparsephaseretrievalInadition，thispaperexploresthechallengesandpotentialfutureresearchdirectionsinthefieldofCSThe objectiveofthispaperistoprovideacompreensiveandindepthreferenceresourceforresearchrsandplicationengineersinCS， aimingtopromoteknowledgesharingandtechnologicaliovation，therebyfosteringfuturedevelopmentsandbreakthroughsinboththeory and application.

Keywords ： sparse optimization； signal recovery； linear compressed sensing；nonlinear compressed sensing

（編輯周俊）