特征域近端高維梯度下降圖像壓縮感知重構網絡

楊春玲 梁梓文

（華南理工大學 電子與信息學院，廣東 廣州 510640）

壓縮感知理論［1］表明，對于具有稀疏性質或可以被稀疏表示的信號，能夠通過欠采樣（遠低于奈奎斯特采樣頻率）方式完成對該信號的采樣，同時實現該信號的壓縮。對于信號編碼端計算資源受限的場景，應用該理論能夠極大緩解編碼端的計算壓力。在該理論中，給定觀測矩陣Φ∈RM×N(M?N)，原始信號x∈RN×1能夠被Φ測量，實現高維到低維的線性映射，進而獲得低維的測量值y∈RM×1，數學過程可表示為：

然而，利用測量值y重構原始圖像信號x是一個病態的逆問題，如何高精度重構原始圖像信號是圖像壓縮感知重構算法研究的重點，也是難點。過去的傳統算法通過人工設計圖像信號的特征表示，構造信號的多假設集合［2］或信號的組稀疏表示［3］，利用迭代優化算法完成優化問題的求解。然而粗糙的參數設計以及高計算復雜度等問題，造成此類方法的泛化性能不佳，重構速度慢等不足，限制了實際的應用。近年來，深度學習的引入打破了傳統算法的限制，此類算法以數據驅動的方式學習信號的特征表示，具有更強的泛化性能和更快的推理速度。根據是否受傳統優化理論指導，基于深度學習的圖像壓縮感知重構方法可以被劃分為兩大類：基于“黑盒”的網絡設計和基于優化啟發的網絡設計。

“黑盒”設計方法［4-8］利用深度神經網絡將測量值直接映射為輸出圖像。早期，級聯的卷積神經網絡［4］或殘差結構［5］被用于設計重構網絡，以簡單的網絡架構取得卓越的重構性能和極快的推理速度吸引了大量研究人員關注。后來，一些更復雜的網絡架構被提出以取得更高精度的圖像重構性能，文獻［6］中提出采樣和重構網絡的聯合優化，使用可學習的采樣矩陣代替固定的隨機高斯矩陣，更充分地完成信號的采樣。文獻［7］中引入非局部注意力機制建模圖像的非局部相關性，實現更好的圖像紋理細節恢復。文獻［8］中提出多尺度殘差對抗生成網絡，并引入感知損失函數以恢復更準確的圖像結構信息。

與上述方法不同，基于優化啟發的圖像壓縮感知重構網絡設計［9-23］受傳統優化理論指導，在每個優化階段利用測量值補充缺失信息。其中，最具代表性的是近端梯度下降算法［24］指導的網絡設計，Zhang等［10］利用迭代收縮閾值算法（ISTA）完成網絡的設計，提出了ISTA-Net，并依據這套理論先后提出了OPINE-Net［11］、ISTA-Net++［12］、Coast［13］，展現了基于優化啟發的深度展開網絡卓越的重構性能；與ISTA此類近端梯度下降算法指導不同，文獻［14］中引入交替方向乘子法（ADMM），將網絡的每一個優化階段展開為對多個子問題的優化；文獻［15］中引入近似消息傳遞（AMP）算法，將圖像的重構問題看作信號的去噪問題。近期，大量工作從網絡架構或從信息優化的角度上完成重構網絡的設計。文獻［16］中引入長短時記憶網絡以增強網絡在前饋時信息的聯系；文獻［20］中引入Fast-ISTA算法，并構造多尺度的網絡學習分支從不同尺度上完成圖像信號的恢復；文獻［21］中將卷積網絡替換為具有全局建模能力的Transformer架構，實現更好的圖像恢復效果；文獻［25］中提出基于ISTA算法設計的Transformer與卷積網絡的混合架構，通過充分結合兩種架構的優點實現高質量圖像恢復；文獻［26］中提出動態路徑選擇思想，通過控制單元決定優化階段的執行，實現性能與復雜度的權衡。上述優化啟發工作均在單一圖像域執行梯度下降，隨后將梯度下降結果映射至高維特征域作進一步的去噪處理，這些方法符合理論設計，然而從特征利用的角度來看，前一階段所學習的特征表示在后一階段并未得到充分利用，因此，文獻［19，27］對特征進行跨階段的傳遞，實現對高維特征域信息的維護，文獻［17-18］提出特征域優化思想，利用特征域梯度下降算法實現信息的更新，取得較好的重構性能。

通過對大量優化啟發工作進行分析發現，這類算法性能的增益很大程度歸功于每個階段的梯度下降過程，表明了梯度學習對于高精度圖像重構的重要性。然而，現有的優化啟發工作在每階段的更新過程中僅學習單一梯度，存在一定的不足：①每階段的梯度信息實際上是圖像信號的殘差信息，每階段僅學習單維的殘差信息是不充分的，這意味著更高精度的重構性能需要更多的優化階段來取得；②單維梯度的學習容錯性不強，學習過程容易不穩定，導致模型訓練收斂較慢；③每階段僅學習單一梯度，表征的信息有限，模型的泛化能力較弱。

受經典的Bagging算法［28］啟發，本研究提出高維空間梯度學習算法，實現一種由多維弱梯度學習器組成強梯度學習器的理念。一方面，所提算法通過學習多種不同的梯度，更充分地挖掘每階段重構信號與真實測量值之間的殘差信息，恢復更多的圖像細節；另一方面，相比于單維梯度，算法的多維梯度空間能夠容納不同的梯度，同時允許某些維度上噪聲的存在，因此可以得到泛化性及容錯性更強的梯度表示。此外，在模型學習的過程中，學習梯度由單維度轉變為多維度支撐，梯度的學習難度被分攤到多維度上，減輕了梯度學習的負擔，獲得更快的模型訓練收斂速度。結合近端梯度下降算法［24］及特征域優化思想［17］，本文提出特征域近端高維梯度下降（FPHGD）算法，并利用該算法設計實現特征域近端高維梯度下降網絡（FPHGD-Net）。此外，本文還對不同復雜度的深度空間近端映射結構進行開發，以適用于不同應用場景。根據模型的時間及空間復雜度從低到高，設計的模型依次稱為FPHGD-Net-tiny、FPHGD-Net、FPHGD-Net-Plus。

1 優化啟發圖像壓縮感知重構網絡

1.1 近端梯度下降算法

在圖像壓縮感知重構中，利用測量值y重構原始圖像信號x是一個經典的病態逆問題，該問題可以通過對稀疏正則項的l1范數進行約束，從而將非凸的組合優化問題轉化為凸優化問題進行求解，相應的優化模型如下所示：

式中，λ為正則項系數，Ψ為圖像信號的稀疏變換矩陣。式（2）通常采用近端梯度下降（PGD）算法求解，該算法的每一次迭代過程由梯度下降及近端映射算子組成，以實現迭代過程中對原始信號的逼近。假設k-1為當前已完成的迭代次數，第k次優化過程表示為

式中，ρ為梯度下降步長。式（3）為梯度下降過程，式（4）為近端映射過程。

1.2 基于優化啟發的圖像壓縮感知重構網絡

迭代收縮閾值算法（ISTA）利用軟閾值處理實現近端梯度下降算法中近端映射過程的求解。通過建立迭代收縮閾值算法到深度重構網絡優化階段之間的映射，ISTA-Net［10］能夠以數據驅動的方式學習模型的優化參數表示，例如稀疏變換系數，梯度下降步長等，相比于人工設置參數，該方式能夠得到更優的參數表示，同時僅需少量的迭代次數就能取得更好的重構性能。

在ISTA-Net中，rk子模塊及xk子模塊被分別用于模擬式（3）與式（4）的計算過程，相應模塊數學式表示如下：

式（5）表示ISTA-Net的梯度下降過程，計算過程與式（3）一致；ISTA-Net在高維特征空間利用軟閾值收縮對式（4）進行求解，求解過程如式（6）所示。在式（6）中，soft(·)運算表示軟閾值處理，Θ為可學習的收縮閾值，變換函數F(·)與F?(·)均由卷積網絡構造，用以學習擬合圖像信號的稀疏變換對。ISTA-Net能夠具有較強的可解釋性的同時，通過數據驅動的方式學習泛化性能更強的模型。然而ISTA-Net簡單的設計架構未能充分發揮深度網絡的特征學習和特征處理能力，后續的許多工作通過采取更復雜的網絡架構（如多尺度網絡［19-20，22］、Transformer架構［21］）或從信息的優化角度［14-15，17，23］上進行改進以進一步提升重構性能，大量的工作均表明了利用傳統優化算法指導重構網絡設計的可行性。

2 FHPGD算法及其網絡實現

基于優化啟發的重構網絡取得高精度重構性能的關鍵技術之一在于每階段學習重構信號與真實測量值之間的殘差信息，即重構網絡實現梯度下降的過程，然而從信息獲取的角度上分析，現有的工作在每階段僅學習單個梯度，未能充分發揮深度網絡學習信息的能力，信息學習不足不利于圖像信號的重構，此外，僅在單一維度上進行梯度學習，難以學習到準確的梯度表示，造成不穩定的模型訓練。因此，本文中提出了特征域近端高維梯度下降（FPHGD）算法。在本節中，將首先詳細描述本文提出的FPHGD算法，然后給出基于FPHGD算法設計的特征域近端高維梯度下降網絡（FPHGD-Net）的框圖和實現細節。

2.1 特征域近端高維梯度下降算法

與大多數圖像壓縮感知重構（ICS）網絡不同，本文提出的算法優化對象為特征域信息Xf。假設在第k階段優化過程，輸入為前一階段已完成更新的特征Xk-1f，由于測量值y在原始圖像域上通過測量獲得，因此一般的做法通過反變換函數將Xk-1f反變換至圖像域作進一步的梯度計算，過程如下：

式中，δk為第k階段優化過程產生的單維梯度。

需要指出，上述的學習過程極具挑戰性，因為難以通過反變換函數對高維特征域中涵蓋的所有有用信息進行組合，并壓縮至單維的圖像域進行充分的表示。本文中提出的高維空間梯度學習算法能夠有效緩解梯度學習的壓力并更充分地完成梯度信息的學習。在所提算法的高維梯度學習空間中，每個維度均可以看作單維弱梯度學習器，由多維弱梯度學習器組成強梯度學習器，實現更準確、更充分的梯度學習。因此，與現有的工作不同，本文算法的反變換函數組成，其中M為梯度學習維度的數量。通過組合不同的子變換函數，原有的特征能夠更充分的被表示；此外，原本學習變換函數的難度被分攤到不同的上，減輕了網絡學習具有強泛化能力的反變換函數的負擔。通過利用多核反變換函數，圖像的高維特征空間表示Xfk-1被反變換至圖像域集合Xik，其中Xik由{xk1，xk2，…，xkm，…，xkM}組成，xkm表示第k階段每一維度的輸出子圖像。需要指出，不同的xkm之間即存在著交集也存在著差異性，這種差異性使得在學習高維梯度的過程中，能夠得到不同的梯度，從而更充分地挖掘隱含在測量值中的殘差信息，解決了以往僅學習單一梯度的弊端。為了輸出高維的梯度，測量值y需拓展至與Xki具有相同維度的Y，從而可以將式（7）的單維梯度計算過程轉化為如下所示的高維梯度計算過程：

式中，Δki={δ1k，δ2k，…，δmk，…，δMk}表示高維梯度，δmk為每一維度輸出的“弱”梯度，Φ與ΦT獨立的作用在Xik的每一維度以獲得多個不同的梯度。

為了能夠對前一階段學習得到的高維特征進行保留，受文獻［17］特征域優化思想啟發，本文在特征域中實現高維梯度下降過程。需要指出，在實現到特征域的映射過程中，變換函數F(·)實現不同梯度信息的組合，以回歸得到更準確的特征域梯度。特征域梯度下降過程如下：

為了充分發揮深度網絡的學習能力，本文利用圖像的高維特征空間表示Xf具有的先驗信息，在特征域上直接完成近端映射算子的求解，而無需經過圖像域與特征域之間的轉換過程。特征域近端映射算子如下式：

完整的ICS特征域近端高維梯度下降（FPHGD）算法描述如下：

算法：輸入：輸出：參數：123456789特征域近端高維梯度下降算法測量矩陣Φ、測量值y重構圖像x迭代次數K、梯度學習維度M、特征維度C梯度下降步長ρ、正則項系數λ xi ← ΦTy//圖像的初始重構Y ← Repeat(y，M)//對測量值進行M次重復拓展X0f ← f(xi，C)//將圖像映射至特征域while(k≤K)： // k初始值為1 Xki ← F?k(Xk-1 f，M)//生成圖像域集合Δki ← ΦT(ΦXk i-Y)//計算高維梯度i，C)//多維梯度組合映射Uk ← Xk-1 Δkf ← F(Δk f-ρΔk f//特征域梯度下降Xkf ← arg min Xf 12‖Xf-Uk2 2+λ‖‖Xf1//特征域‖10 11近端映射k ← k+1 x ← f?(Xk f)//高維特征反映射至圖像域輸出

在下一小節中，將詳細介紹基于FPHGD算法設計的特征域近端高維梯度下降網絡FPHGD-Net。

2.2 特征域近端高維梯度下降網絡

根據特征域近端高維梯度下降（FPHGD）算法設計的特征域近端高維梯度下降網絡（FPHGD-Net）整體框架如圖1所示。FPHGD-Net整體架構由卷積神經網絡實現，并由編碼器及解碼器兩部分組成。在功能實現方面，編碼器負責對圖像信號進行線性采樣及壓縮，解碼器利用編碼器產生的低維測量值高精度地重構原始圖像。在編碼器中，測量矩陣對原始圖像信號進行線性測量，輸出低維測量值y；在解碼器中，首先對測量值y進行線性逆映射，以得到初始重構圖像xinit，隨后將xinit映射至特征域并進行多階段的迭代，以獲得更好的細節恢復。接下來，將介紹FPHGD-Net各部分的設計，并詳細討論FPHGD-Net優化階段的實現。

圖1 特征域近端高維梯度下降網絡整體框架Fig.1 Overall framework of feature-domain high-dimensional gradient descent network

2.2.1 特征域近端高維梯度下降網絡

應用壓縮感知理論的主要優點之一在于編碼器能夠以低復雜度的計算完成信號采樣，同時實現對信號壓縮。為了遵循編碼器低復雜度的設計原則，并使解碼器能夠高精度地解碼出原始圖像信號，與先前的工作類似［6］，本文采用可學習的采樣矩陣代替固定的隨機高斯矩陣進行非重疊分塊采樣（BCS），實現編碼器和解碼器的聯合優化。在這里，給定原始圖像信號x∈RH×W，圖像塊大小為B×B（不滿足整除條件的圖像塊邊界用零填充），卷積張量WΦ∈RM×1×B×B，卷積步長設置為B×B，編碼器的線性測量過程如下：

式中，編碼器輸出測量值y∈RrB2×1×(HB)×(WB)，采樣率r=M/B2，*為卷積運算符號，SΦ(·)在本文中定義為線性測量算子。

2.2.2 FPHGD-Net解碼器初始重構網絡

為了更好地利用圖像先驗信息幫助圖像細節的恢復，在進行深度重構之前，需要實現圖像信號的初始重構。若額外使用卷積張量完成信號的初始重構將引入B2×M大小的參數量，這對模型參數不友好。與傳統的優化算法類似，本文采用測量矩陣的轉置形式來完成圖像信號的初始重構，這樣的好處是即能夠得到合理的初始估計，同時能夠充分地利用采樣矩陣。為了得到轉置矩陣，卷積張量WΦ被重塑為B2個大小為M×1×1的卷積濾波器，通過該方式可以得到大小為B2×M×1×1的轉置卷積張量WΦT。由于利用WΦT對測量值y進行步長為1的卷積產生的輸出為1×B2×(HB)×(HB)大小的張量，為了得到與原圖大小一致的初始重構圖像，本文采用Pixelshuffle［29］操作重塑輸出張量。信號初始重構過程如下：

式中，SΦT(·)在本文中定義為轉置線性測量算子。

2.2.3 FPHGD-Net深度恢復子網絡

深度恢復子網絡的作用在于對初始重構的圖像進行深層次的細節恢復，本文設計的深度恢復子網絡是FPHGD算法的反映，其整體架構如圖1解碼器部分所示。在該子網絡中，初始重構圖像xinit首先經過非線性變換函數f(·)映射至高維的特征域獲得初始的特征表示X0f，其中f(·)由一個卷積層及殘差塊組成，卷積層用于將圖像信號映射至高維空間，殘差塊用于對信號產生非線性映射；然后，特征X0f經過多階段的迭代優化，每個優化階段對應于FPHGD算法的一次迭代過程，信息的優化保持在特征域內實現；最終，最后一次迭代的輸出結果經過非線性逆變換函數f?(·)反變換至圖像域，并輸出重構圖像xrec，其中f?(·)在結構設計上與f(·)對稱，以更好地模擬變換的互逆性。根據FPHGD算法的實現過程，將網絡的每個優化階段細分為兩個優化子階段：特征域高維梯度下降以及深度空間近端映射。在本文中，設計了特征域高維梯度下降模塊（FHGDM）以及深度空間近端映射模塊（DPMM）進行上述兩個子階段的實現，相應的模塊設計如圖2（a）及圖2（b）所示。

圖2 特征域近端高維梯度下降網絡優化階段結構Fig.2 Optimization phase structure of feature-domain high-dimensional gradient descent network

（1）特征域高維梯度下降模塊

特征域高維梯度下降模塊（FHGDM）是對FPHGD算法中式（8）-（10）的反映，其設計遵循了高維空間梯度學習與特征域梯度下降的思想。為了滿足這樣的設計理念，算法的變換函數Fk(·)與需滿足以下設計原則：①Fk(·)與在結構上需保持對稱式的設計，以更好的對變換可逆性進行模擬；②Fk(·)與設計上需具備多個不同的卷積核，不同的核用于不同維度的梯度學習，以滿足高維空間梯度學習思想的要求；③由于Fk(·)對高維梯度產生非線性映射的過程中，需要對M維梯度的信息進行組合，因此Fk(·)中卷積核大小需設置為M×P×Q，其中M為梯度學習的維度數量，P×Q表示單維度上卷積區域的大小。

本文設計的特征域高維梯度下降模塊如圖2（a）所示。在該模塊中，首先，前一階段的特征Xk-1f經過反變換函數輸出圖像域集合Xik；在得到圖像域集合Xik后，利用測量算子SΦ(·)對Xik的每一維子圖像進行獨立地測量；隨后，將產生的多維測量結果與重復拓展得到的多維測量值Y作差，并將得到的差值利用轉置測量算子SΦT(·)進行反映射得到高維梯度Δki；然后，變換函數Fk(·)對Δki中的多維梯度進行信息組合并映射至特征域，從而獲得特征域梯度；最后，跳躍連接用于構造前一階段的輸出特征與特征域梯度的連接通道，以實現信息在特征域的梯度下降過程。在模塊設計中，變換函數Fk(·)與均由卷積層與殘差塊構成。需要指出，Fk(·)的實現與變換函數f(·)不同，在Fk(·)的卷積層中卷積核大小為M×3×3，用于組合M維梯度信息，此外，的實現也與變換函數不同，的卷積層由多個卷積核來實現，這樣的好處是能夠通過極簡單的構造方式建立變換函數集合并且能夠使得每個子變換函數均與變換函數f(·)在結構上滿足對稱的關系。上述的優化過程如下：

（2）不同復雜度的深度空間近端映射模塊

求解近端映射過程可看作圖像信號的去噪處理，常用方法為軟閾值處理，然而基于稀疏性先驗的軟閾值去噪的方式，難以建模重構過程中復雜的噪聲。本文采用殘差網絡［30］，實現式（11）的求解。模塊設計如圖2（b）所示，考慮到現實中對重構速度的追求，本文采用兩個級聯的殘差塊實現信號噪聲的二次去除。假設Uk=Xf+E，其中E為信號的干擾項，使用殘差結構的好處是，卷積支路能夠以非線性的方式擬合特征的噪聲，殘差分支能夠對原有特征進行保留，因此使用殘差網絡D(·)的去噪過程表示如下：

得益于本文提出算法的優越性，盡管上述方法在基于深度學習去噪算法中是一種相對簡單的去噪處理，但實現的模型在保持速度優勢的同時，也能夠取得優異的圖像重構性能，因此把這種具有快速且具有較高精度重構性能的特征域近端高維梯度下降網絡稱為FPHGD-Net-Tiny。

為了進一步提升模型的重構性能，本文采用U型網絡實現不同尺度的特征提取，該網絡結構如圖3所示。使用U型網絡可以擴大卷積網絡的感受野，實現對更大范圍信息的捕捉與建模，然而該結構的引入會導致模型參數量急劇上升，雖然采取對所有階段的U型網絡參數共享能夠有效的減少模型參數，實現解碼器的參數友好，然而這對每個階段的細節恢復缺乏靈活性。因此本文采取部分共享的策略，如圖2（b）所示，通過給共享的U型網絡搭配非共享的小型非線性網絡，并采取殘差式的構造實現更好的特征細節恢復，在卷積分支上，非共享小型網絡能夠利用U型網絡提取到的豐富特征，生成用于細節恢復的殘差信息，使得模型既能具備參數友好的優勢，同時又能較靈活完成細節的恢復，因此把這種參數友好并且具有高精度重構性能的特征域近端高維梯度下降網絡稱為FPHGD-Net。此外，為了取得更高精度重構性能的網絡，本文也對非共享U型網絡進行了實現，相應的模型稱為FPHGD-Net-Plus。

圖3 U型結構Fig.3 U-shape structure

2.2.4 損失函數

對于原始輸入圖像x∈RH×W，深度重構網絡的輸出記為xrec，本文采用最小化均方誤差對模型的輸入與輸出執行端到端的約束：

為了減少信息的冗余采樣，本文與文獻［11］類似，對采樣矩陣采取正交性約束作為模型訓練的輔助損失函數：

需要指出，本文不對變換Fk(·)與施加可逆性約束。這樣的好處是不對模型的學習空間進行限制，能夠更充分的發揮模型學習表示的能力；此外，很重要的一點，在本文提出的算法中，Fk(·)除了學習信號到特征域的非線性映射外，還需要學習對多維梯度信息組合的能力，因此，在嚴格意義上，Fk與并不完全滿足可逆性質。特征域高維梯度下降網絡總的損失函數為

式中，γ為輔助損失函數的權重因子，在本文模型中γ被設置為0.2。

3 實驗仿真與分析

3.1 模型實現細節

（1）訓練數據集。與文獻［6］類似，本文選取廣泛使用的BSD400［31］數據集（共400張圖象）作為模型FPHGD-Net-Tiny和FPHGD-Net的訓練集。出于對使用小數據集訓練大模型容易導致過擬合的考慮，對于FPHGD-Net-Plus模型，增加了DIV2K［32］數據集（共800張訓練集圖像）用于模型的訓練。訓練完成的模型分別在Set11［4］數據集、BSD68［31］數據集以及Urban100［33］數據集上進行測試，測試評價指標為峰值信噪比（PSNR）以及結構相似度（SSIM）。

（2）本文模型設置。本文設計的3種模型，除U型結構部分外，模型的特征通道數C均設置為16；U型網絡尺度數S設置為3，該網絡結構由上到下特征通道數分別設置為C、2C、4C；為了避免通道壓縮造成的信息損失，梯度學習維度M設置為16；由于梯度下降步長ρ是一個線性比例系數，而這種比例關系在訓練過程中能夠被卷積網絡進行學習，因此在本文中梯度下降步長ρ設置為1；FPHGD-Net-Tiny的網絡優化階段數k設置為16，考慮到模型的推理速度，FPHGD-Net和FPHGD-Net-Plus網絡優化階段數k設置為12，以實現快速高性能的推理。

（3）模型訓練細節。訓練的輸入數據被隨機裁剪為96×96大小的子圖像，彩色的子圖像轉換為YCbCr格式并僅利用Y分量進行模型的訓練；訓練采用隨機翻轉作為數據增強的策略；編碼器非重疊塊采樣的分塊大小B設置為32；訓練采用AdamW［34］優化器，優化器權重衰減量設置為1×10-3；網絡訓練的Epoch數量設置為120，每個Epoch包含對訓練集數據的300次迭代；模型初始學習率設置為2×10-4，并采用余弦退火學習率衰減策略對學習率衰減至1×10-5。所有實驗均在GPU GTX1080ti的Pytorch平臺上進行實現。

3.2 實驗結果與分析

3.2.1 重構性能與視覺效果對比

（1）與現有算法重構性能對比

本文的主要貢獻在于解碼器算法的實現，為了實現公平的對比，本文選擇的對比方法為近期前沿采用可學習采樣矩陣的圖像壓縮感知重構算法，這些方法的編碼器實現均與本文一致，包括：CSNet+［6］、NL-CSNet［7］、MR-CSGAN［8］、AMP-Net［15］、OPINE-Net+［11］、FSOINet［17］、MADUN［16］、DGUNet+［19］、DUDONet［23］、DPC-DUN［26］、LG-Net［22］。其中前3種為基于“黑盒”的重構網絡，后8種為基于優化啟發的重構網絡，CSNet+、AMP-Net、OPINENet+、FSOINet、DGUNet+的測試由原作者發布的開源模型進行實現。為了驗證本文算法的有效性，選取覆蓋低采樣率到高采樣率的5種采樣率即0.01、0.05、0.1、0.3、0.5進行相應模型的實現。

實驗對比結果如表1所示，可以看出，基于優化啟發的重構網絡總體上要優于“黑盒”網絡，采樣率越高，優勢越明顯，這是因為在高采樣率下測量值所隱含的信息量增多，充分挖掘測量值信息對細節恢復起到更重要的作用。本文提出的特征域高維梯度下降網絡FPHGD-Net的PSNR，相較于近端梯度下降算法設計的OPINE-Net+在Set11數據集的5個采樣率上分別具有2.1、1.52、1.19、1.5、1.23 dB的提升，相較于基于特征域優化思想的FSOINet平均有0.45 dB的性能提升；值得注意的是，本文的小型網絡FPHGD-Net-Tiny能夠以簡單的架構取得優于絕大多數算法的重構性能，證明了本文算法設計的有效性；本文的增強版FPHGDNet-Plus，在增加一定的參數量及數據量后，能夠表現出非常強大的性能。本文3種模型與OPINENet相比，在Setll數據上的平均PSNR分別提升1.34、1.51和1.88 dB，大程度優于對比算法。

表1 不同算法在Set11數據集與BSD68數據集重構圖像平均PSNR/SSIM對比1）Table 1 Average PSNR/SSIM comparison of reconstructed images on Set11 and BSD68 of different algorithms

（2）高清數據集泛化性能測試

本文選用具有較高分辨率的Urban100數據集作為模型泛化性能的測試集，測試結果如表2所示，由表中數據可以看到，本文提出的3種模型在總體上均優于其他參與比較的方法，其中模型FPHGDNet和FPHGD-Net-Plus的優勢尤為明顯，其原因在于模型通過建立多尺度網絡從不同尺度上由粗到細對圖像細節信息進行恢復，對于具有較高分辨率且紋理細節豐富的Urban100數據集來說能夠取得更好的重構效果。相較于模型OPINE-Net+，本文的3種模型的PSNR在不同采樣率下分別有0.81～1.52 dB、0.97～1.89 dB，1.67～2.66 dB的性能提升，與性能最好的模型DGUNet+相比，本文的模型平均PSNR有0.12、0.4、1.18 dB的提升，其中在0.5采樣率下性能的提升尤為明顯。

表2 在Urban100數據集的PSNR/SSIM泛化性能比較1）Table 2 Comparison of average PSNR/SSIM generalization performance on Urban100

（3）重構視覺效果對比

本文對比了不同算法圖像恢復的視覺效果，定性的對模型進行分析。本文選取Set11數據集中細節信息豐富的Barbara圖像作為0.1低采樣率下的重構對比，以及Urban100數據集中含有豐富規則性紋理信息的現實場景Img098作為0.3較高采樣率下的重構對比。對比結果分別如圖4及圖5所示。在0.1采樣率下的Barbara圖像，其他模型的恢復結果均具有明顯的模糊效應，幾乎看不到紋理細節，本文提出的模型能夠恢復更多的紋理細節信息，FPHGD-Net及FPHGD-Net-Plus能夠恢復出較清晰的細節邊緣，FPHGD-Net-Plus模型能夠產生與原圖最為接近的恢復效果。從圖5中可以看出，幾乎所有的模型均在綠框磚塊中產生了不同程度的模糊和錯誤的恢復，而本文的FPHGD-Net仍能夠在某些細節區域得到較好的恢復，值得一提的是，本文的FPHGD-Net-Plus能夠準確的恢復出大多數細節及清晰的磚塊結構。

圖4 采樣率為0.1時Barbara（Set11）圖像的重構視覺對比Fig.4 Reconstruction visual comparison of Barbara（Set11） at 0.1 cs ratio

圖5 采樣率為0.3時Img098（Urban100）圖像的重構視覺對比Fig.5 Reconstruction visual comparison of Img098（Urban100） at 0.3 cs ratio

3.2.2 模型復雜度對比

本小節采取模型的參數量及推理時間分別對模型的空間復雜度以及時間復雜度進行評估，其中空間復雜度以0.5采樣率下模型的參數量為準，時間復雜度由模型在BSD68數據集上的平均推理時間來評估。為了對比的公平性，僅與開源模型在同平臺上進行算法復雜度的比較。比較結果如表3所示，結合表1可以看出，通過采取參數部分共享策略，本文的模型FPHGD-Net能夠在參數量上優于其他模型，同時能夠保持優于其他算法的重構性能，表明了該策略下，模型的參數可以被更充分的利用。值得注意的是，本文的模型FPHGD-Net-Tiny具有最少的參數和僅次于OPINE-Net+的重構時間，同時FPHGDNet-Tiny總體重構性能也優于其他算法，充分表明了該模型的輕量性以及本文算法設計的高效性。

表3 模型時間及空間復雜度對比（BSD68數據集，GPU1080 Ti）Table 3 Comparison of time and space complexity （BSD68， GPU1080 Ti）

3.2.3 模型的消融實驗與分析

在這一小節中，將對不同的模型設計進行研究分析，其中包括特征域近端高維梯度下降算法以及深度空間近端映射模塊中參數共享策略。實驗條件與3.1節設置相同， 實驗采樣率設置為0.3。

特征域近端高維梯度下降算法的消融研究主要包括3個部分：近端梯度下降（PGD）算法、特征域優化（FDO）思想，以及高維空間梯度學習（HDG）思想。在該研究中，模型優化階段數量均設置為16，實驗過程通過調整殘差塊的數量使得不同設置下參數盡量一致，其中Base模型由級聯殘差塊構成，實驗設置及結果如表4所示，設置①和③在使用相同去噪網絡的情況下，通過增加fk(·)與f?k(·)單維映射的復雜性實現相對公平的對比，設計①相較于純殘差結構網絡，引入PGD算法能夠帶來大幅度的性能提升，表明基于優化啟發的網絡設計的有效性；設計②將PGD算法和HDG思想相結合，該設計可看作近端高維梯度下降（PHGD）網絡，相較于設計①，性能得到進一步的提升，表明高維梯度學習算法能夠更有效地挖掘測量值信息，實現更好的圖像恢復效果；設計③將PGD算法與FDO思想相結合，該設計可看作特征域近端梯度下降（FPGD）網絡，相較于設計①，性能得到進一步的提升，表明運用特征域優化思想能夠更有效地完成信息的優化；設計④為特征域近端高維梯度下降（FPHGD）網絡，相比于其他設計，其性能的增益最大，表明了該算法能夠更充分地對信息進行挖掘，同時更有效地完成信息的優化，實現更高精度的圖像恢復效果。

表4 特征域近端高維梯度下降算法消融研究Table 4 Ablation of feature-domain proximal high-dimensional gradient descent algorithm

深度空間近端映射模塊參數共享策略的研究在FPHGD-Net-tiny模型基礎上進行實現，模型優化階段數量設置為12。該研究內容包括共享U型網絡、共享U型網絡+非共享小型網絡、非共享U型網絡+非共享小型網絡。實現過程中通過合理設置殘差塊的數量以保證模型參數量盡可能接近。實驗結果如表5所示，可以看出，相比于基礎網絡，使用共享U型網絡在Set11數據集與Urban100數據集上均有大于0.2 dB性能的提升，說明多尺度網絡有益于圖像的恢復。給共享的U型網絡搭配非共享的小型網絡，相比于僅共享U型網絡，性能平均提升0.12 dB，不靈活的細節恢復得到了一定的緩解。值得注意的是，均非共享的網絡性能稍低于共享U型網絡+非共享小型網絡，這是因為在小數據集上，大模型難以得到充分的優化而導致。

表5 深度空間近端映射共享策略消融研究Table 5 Ablation of deep-space proximal mapping sharing strategy

4 結論

針對過去基于優化啟發的圖像壓縮感知重構工作僅學習單梯度的不足，本文提出了高維空間梯度學習思想。在此基礎上，本文提出特征域近端高維梯度下降算法，并利用該算法成功設計了特征域近端高維梯度下降網絡FPHGD-Net，實現高精度的圖像恢復效果。同時，本文還對不同的深度空間近端映射網絡結構進行了實現，以滿足實際過程中不同的硬件需求。實驗結果表明，與現有的工作相比，本文提出模型的重構性能更優，并能夠對圖像細節進行更好的恢復。往后，將基于本文提出算法的思想，進一步拓展至其他圖像恢復以及視頻壓縮感知重構任務中。