像元映射變分辨率光譜成像重構

肖樹林，胡長虹 ，高路堯，顏克雄，楊春吉，李洪利

（1. 中國科學院 長春光學精密機械與物理研究所，吉林長春 130033；2. 中國科學院大學，北京 100049）

1 引 言

傳統光譜成像分辨率的改變通過可調諧濾波器和空間光調制器實現[1-3]，這些插入器件會導致光譜成像系統結構復雜、體積龐大。此外，棱鏡、光柵、濾波器等窄帶分光器件存在光譜能量利用率低、分光譜段少、光譜圖像畸變大等問題[4]。導致這些問題的主要原因是傳統光譜成像的光譜均勻采樣機制消耗大量探測器面積或掃描時間以滿足分辨率要求[5]，因此為解決傳統變分辨率光譜成像存在的問題，應從光譜的采樣機制入手。

隨著微納光學與稀疏信號處理理論的發展，寬帶濾波器（如隨機濾光片、量子點陣列[6]、光子晶體陣列和具有可調諧帶隙的納米線[7]）光譜成像技術逐漸成熟。寬帶光譜成像原理是將入射光的光譜信息由一組寬帶濾波器進行編碼，在探測器的不同位置探測編碼后的光強響應，然后利用算法重建光譜，其優點在于每個像素使用少量的濾光結構實現了較多波長光譜信息的復原[8]，大大提高了光譜的采樣效率與光能利用率。其中，對于具有隨機透過率的寬帶濾光片（隨機濾光片），可以利用成熟的光學薄膜技術，設計成透過率誤差極小的像元級隨機濾光片陣列，通過與探測器集成，極大地縮小了光譜成像系統的體積。隨機濾光片光譜編碼-解碼（編解碼）結構最早由韓國光州科學技術院的J. Oliver 于2013 年提出[9]，J. Oliver 利用隨機濾光片陣列（40×1）對入射光光譜進行編碼，由壓縮感知算法實現了7 倍于窄帶濾光片分辨率的光譜重構，但受限于當時薄膜加工水平，未能將隨機濾光片光譜編解碼結構應用于光譜成像。2019 年，清華大學崔開宇、蔡旭升等人設計了規模達155 216、400 種類型的像元級可重構寬帶超表面陣列，利用壓縮感知算法復原了由動態超表面元胞編碼后的光譜，實現最高光譜分辨率可達0.8 nm 的變分辨率光譜成像[10]，但由于隨機超表面設計獨立于重構算法，在組合像元較少時，光譜復原精度較低。2021 年，浙江大學劉旭、郝翔團隊研究了基于深度學習的光譜編解碼技術，并提出了隨機濾光片與重構算法協同設計的思想，大大提高了重構精度、重構速度與抗噪聲性能[11]，同時也為高精度、低時延變分辨率光譜成像的實現提供了新思路。

本文基于隨機濾光片光譜編解碼框架，介紹壓縮感知和深度學習兩種光譜重構算法及其存在的問題，闡述隨機濾光片與重構算法協同優化原理。以像元級隨機濾光片陣列光譜成像系統為應用平臺，提出基于協同優化方法的像元映射變分辨率光譜成像重構算法，通過多分辨率重構網絡并行訓練，得到2×2 陣列、40 譜段與4×4 陣列、120 譜段的光譜重構網絡。最后輸入光譜圖像驗證集進行仿真驗證。

2 隨機濾光片光譜編解碼

自然事物普遍存在稀疏性[12]，即：不同表達方式描述一個自然事物所需的符號數量不盡相同，但總存在最小符號數量的表達方式，且通常這個表達方式所需的符號數量遠小于直觀表達的符號數量。隨機濾光片光譜編解碼即利用光譜的稀疏性，使用具有隨機透過率分布的濾光片對入射光譜進行編碼，將連續的光譜壓縮表示成低維的光強向量，然后通過解碼算法還原成人類能夠直觀理解的光譜向量。理論上光譜能被壓縮的最小維度取決于光譜的稀疏性，但實際工程中由具體需求決定，通常設計者會通過損失一些重構精度以降低算法復雜度。

根據不同的優化思路，目前有壓縮感知和深度學習這兩種重構算法，其中壓縮感知重構算法依靠稀疏降維的方式實現欠定方程求解，利用稀疏解還原光譜向量；深度學習重構算法則依靠欠完備自編碼器的自動特征提取與數據生成能力實現光譜的重構。這兩種算法均存在因物理結構與算法獨立設計導致的優化問題，而隨機濾光片與光譜重構算法的協同設計可以很好地解決這個問題。

2.1 壓縮感知光譜重構算法

隨機濾光片組對原始光譜S(λ)進行壓縮編碼，由光強探測器感應編碼后的光強i，然后對探測器光電流進行模-數轉換（ADC）得到數字量I，再將I輸入數字信號處理器（DSP），執行壓縮感知算法，完成光譜重構。壓縮感知光譜編解碼原理如圖1（彩圖見期刊電子版）所示。

圖1 壓縮感知光譜編解碼原理Fig. 1 Principle diagram of compressed sensing spectral encoding-decoding

壓縮編碼后的光強大小為

其中，S(λ)的 波長范圍為λ1至λ2(λ1＜λ2)；Tn(λ)表示編號為n的隨機濾光片的透過率，一共有N種隨機濾光片；in為S(λ)由Tn(λ) 編碼后的光強。設i=[i1,i2,···,iN]為編碼光強向量，則由數據采集系統得到離散化光強向量I=[I1,I2,···,IN]。根據壓縮感知理論，對原始光譜S(λ)的編解碼可以表示成以下兩個過程:

A.稀疏表示：

B.信號重構：

壓縮感知算法為了滿足有限等距性質（Restricted Isometry Propery,RIP ）條件，要求觀測矩陣T與S的K-稀疏完備正交基 Φ不相關[14-15]。通常T取普適的獨立同分布高斯隨機矩陣，導致隨機濾光片的設計與加工難度增大[16]。為了降低薄膜加工難度，另一種方法是通過隨機生成薄膜厚度設計隨機濾光片組，然后根據該組濾光片設計重構算法，但這種方法得到的濾光片隨機特性難以控制，設計壓縮感知算法難度較大，而基于深度學習的欠完備自編碼器因其強大的自動特征提取能力可以較好地適用于這種方法。

2.2 深度學習光譜重構算法

深度學習光譜編碼過程與壓縮感知光譜編碼過程相似，兩者的不同點在于重構算法。深度學習光譜編解碼原理如圖2（彩圖見期刊電子版）所示。

圖2 深度學習光譜編解碼原理Fig. 2 Principle diagram of deep learning spectral encoding-decoding

深度學習光譜重構算法的主要目標是訓練得到最優的光譜重構網絡。將低維離散化光強向量I輸入重構網絡RECω得 到高維的光譜向量，通過優化調整RECω的參數使得不斷逼近原始光譜S。其優化表達如下：

式中 λ為正則化因子， ω為神經網絡參數，=RECω(I)為 重構光譜，R(ω)為正則項。該式可分為兩項：前一項為重構誤差項，表示與S的擬合程度；后一項R(ω)正則項為神經網絡參數約束項，用于防止重構網絡過擬合，一般采用l2正則化約束，使得 ‖ω‖2≤C(0≤C＜∞)，兩項相加構成損失項，優化使得損失項值接近零。優化過程如下：首先是正向傳播得到光譜的預測值，然后計算損失值及其對 ω的梯度，根據該梯度由反向傳播算法更新網絡參數 ω。重復這個過程使得損失值下降接近零，從而實現網絡的最優化。

深度學習光譜編解碼實質上是一種欠完備自編碼框架。利用隨機濾光片實現光譜的物理編碼，由光譜重構網絡實現光譜的數字解碼，通過強制設定編碼輸出I的維度（即隨機濾光片的種類N）重構網絡學習光譜數據S中的最顯著的特征，以得到光譜數據在該編碼維度下的最優表示[17]，同時也使得重構網絡具備一定的去噪能力。但光譜重構精度嚴重依賴于隨機濾光片透過率分布（由薄膜材料和厚度決定），導致在確定的編碼維度下難以實現最優的光譜編解碼性能。因而如何將隨機濾光片設計與光譜重構網絡訓練相關聯是解決該問題的重點。

2.3 隨機濾光片與光譜重構算法協同設計

在基于壓縮感知和深度學習的隨機濾光片光譜編解碼框架中，隨機濾光片和重構算法的設計是獨立進行的。為了高精度地重構原始光譜，這種獨立設計方式往往需要復雜的隨機透過率分布與較多的隨機濾光片種類，導致隨機濾光片設計難度大、光譜采樣效率低，無法充分發揮隨機濾光片光譜編解碼架構的潛力。為此，浙江大學劉旭、郝翔團隊提出了一種隨機濾光片與光譜重構算法協同設計方法[11]。

協同設計方法通過將隨機濾光片透過率計算與光譜重構網絡訓練相結合，實現隨機濾光片與光譜重構網絡的最佳匹配。此外，通過約束隨機濾光片的寬帶透過率，一方面提高了系統光譜能量利用率，另一方面平衡了像元光能量的接收效率，從而提高了光譜成像的信噪比與擴大了動態范圍。隨機濾光片與光譜重構網絡協同設計如圖3（彩圖見期刊電子版）所示。

圖3 隨機濾光片與光譜重構網絡協同設計Fig. 3 Collaborative design of random filter and spectral reconstruction network

協同設計方法關聯了光譜重構網絡訓練與濾光片透過率計算過程，將隨機濾光片的結構參數P[n]=[pn1,pn2,···,pns],n=1,2,···N作為重構網絡的優化參數。計算P[n]對應的隨機濾光片透率T[n]，然后由點積運算得到光譜數據S對T[n]的光譜響應光強In[11]，將其輸入重構網絡計算出光譜完成正向傳播，然后根據損失函數（均方誤差）計算損失值，再通過損失值梯度反向傳播更新重構網絡參數，重復這個過程直至損失值收斂接近零。其優化表達如下：

其中,P為隨機濾光片結構參數向量，TF(P)為結構參數為P的隨機透過率，TF(P)*S為入射光經隨機濾光片編碼后的光強，RECω為光譜重構網絡，R用于約束隨機濾光片的結構參數范圍。

3 像元映射變分辨率光譜成像

由2.2 節知，深度學習光譜編解碼通過指定編碼維度，由欠完備自編碼器完成該維度下的光譜特征提取與光譜信息重構，因此編碼維度的大小直接影響重構光譜與原始光譜的擬合精度。顯然，編碼維度越高，提取的特征維度越高，重構的光譜也就越精細，對應的分辨率就越高，因而通過設定不同的編碼維度可以實現不同分辨率的光譜復原。像元映射變分辨率光譜重構即利用以上思路，基于像元級隨機濾光片陣列光譜成像系統，結合協同設計方法實現高精度的變分辨率光譜成像。

3.1 變分辨率光譜重構網絡

本文利用欠完備自編碼器的自動特征提取能力提出了像元映射變分辨率光譜成像，通過將16 種不同種類的隨機濾光片以2×2 陣列（共4 組）和4×4 陣列（共1 組）進行組合以設定不同的編碼維度，然后并行訓練出各個編碼維度下對應分辨率的光譜重構網絡。像元映射變分辨率光譜重構網絡訓練如圖4（彩圖見期刊電子版）所示。

圖4 中為2×2 陣列（編碼維度為4）與4×4 陣列（編碼維度為16）光譜重構網絡并行訓練結構。原始光譜數據SORI為光譜圖像數據集（由高分辨率成像光譜儀采集）中相鄰4 個像元的光譜數據。下面介紹隨機濾光片結構參數優化與兩個分辨率網絡的并行訓練過程。

圖4 像元映射變分辨率光譜重構網絡訓練Fig. 4 Spectral reconstruction network training of pixel mapping variable resolution

(1）2×2 陣列重構網絡訓練過程：每個像元的光譜數據由4 類隨機濾光片編碼，4 個像元需4 組隨機濾光片組（共16 種隨機濾光片），將編碼（SORI與T做點積運算）后的4 組光強數值（共16 個）輸入低分辨率重構網絡RECωLR進行重構，輸出4 組低分辨率重構數據LR分別與原始數據SORI的 4 組下采樣SLR進行擬合；(2）4×4 陣列重構網絡訓練：根據空間相鄰像素的光譜相似性，將原始數據SORI進行疊加，得到組合像元的光譜數據（實際系統也是如此），疊加后的光譜數據經16 種隨機濾光片編碼，將編碼后的光強數值（共16 個）輸入高分辨率重構網絡RECωHR，輸出高分辨率光譜數據HR與原始數據SORI的 疊加或SORI疊加的下采樣SHR進行擬合。

（1）、（2）過程并行執行，共用一套隨機濾光片結構參數，以均方誤差加權和為損失值，計算損失函數對網絡參數的梯度，反向傳播調整網絡參數和隨機濾光片結構參數。重復這個過程直至損失值收斂接近零，使得光譜數據SORI經隨機濾光片編碼后，能被重構網絡以較高的精度解碼復原。像元映射變分辨率光譜重構網絡優化表達如下：

式中α1，α2為損失權重，用于調整重點訓練的網絡。

3.2 隨機濾光片參數約束

隨機濾光片的結構參數主要有薄膜層數與每層薄膜的厚度。本文涉及的隨機濾光片工作在可見光波段，薄膜材料為TiO2與SiO2，層數為10。將每層薄膜的厚度作為優化參數，同時將每層薄膜厚度約束在合理的工藝范圍之內，利用傳輸矩陣法計算給定結構參數下隨機濾光片的透過率。訓練過程中通過反向傳播算法不斷調整每一塊隨機濾光片各層薄膜的厚度，使得在該組薄膜厚度下的隨機濾光片透過率對入射光譜的編碼效率與重構精度最高。

此外，光譜成像系統的能量增益由光學系統的F/#、濾光片的透過率、探測器的響應度和重構網絡的放大率決定，前兩者限制了系統的光譜能量收集能力，是光學設計和鍍膜關注的重點，后兩者一定程度上影響系統的動態范圍。利用隨機濾光片與光譜重構算法協同設計方法，通過設定合適的薄膜層數，在訓練過程中加入光譜能量約束，即

從而將隨機濾光片的寬帶透過率控制在較高范圍內，進一步提高光譜能量利用率與光譜重構網絡的動態范圍。

變分辨率光譜重構網絡在整個訓練過程對隨機濾光片的結構參數與能量利用率進行約束優化，使得隨機濾光片組的透過率兼顧各個分辨率下光譜重構精度，在全局上得到最優的隨機濾光片光譜響應，但對于單個分辨率網絡卻未必（由α1，α2調整）。

3.3 像元映射變分辨率光譜成像

前面討論的是成像與光譜采集的基本單元（相當于成像光譜儀的一個像素），要實現全視場的光譜圖像采集，需要通過掃描或者重復排列這些基本單元以歷遍整個視場，下面討論重復排列基本單元形成面陣探測器以采集全視場光譜圖像的方法。

利用光刻工藝，將基本單元所需的隨機濾光片設計成像元大小，以2 維陣列形式排列在玻璃基板上，通過與探測器集成形成面陣光譜成像探測器。像元級隨機濾光片陣列光譜成像系統如圖5（彩圖見期刊電子版）所示。

圖5 像元級隨機濾光片光譜成像Fig. 5 Pixel random filter spectral imaging

圖5 中成像與光譜采集的基本單元為4×4 光譜探測單元。該單元通過在探測器的4×4 像元上分別集成不同透過率、像元大小的隨機濾光片完成對入射光光譜的編碼與編碼光強采集，將4×4光譜探測單元周期性復制便可形成不同規模的光譜成像探測器。實際制作過程中，根據探測器規模與像元大小設計像元級隨機濾光片陣列，在顯微鏡下通過高精度對準操作實現與探測器的集成。

為了實現光譜信息的精確采集，需要根據探測任務選擇合適的空間-光譜分辨率，然后由變分辨率機構調整光學系統空間分辨率[18-19]，使得入射同一組隨機濾光片陣列的光來自物方同一區域。像元級隨機濾光片變分辨率動態轉換示意如圖6 所示。

圖6 中，4×4 陣列利用16 片隨機濾光片對入射光譜進行采集，光譜分辨率高而空間分辨率低；2×2 陣列利用4 片隨機濾光片對入射光譜進行采集，光譜分辨率低而空間分辨率高。變分辨率光學系統通過改變光學系統分辨率，使得光學成像的最小彌散斑與對應的陣列大小相匹配，從而實現變分辨率成像。

圖6 像元隨機濾光片變分辨率動態轉換示意Fig. 6 Variable resolution dynamic conversion of a pixel random filter

光譜成像探測器完成光強編碼圖像的采集后，依據每個4×4 光譜探測單元的一個像元對應一種隨機濾光片（共16 種），對探測器輸出的圖像像素進行分類，得到由16 種隨機濾光片調制后的圖像I1-I16，將I1-I16輸入對應的光譜重構網絡完成整幅光譜圖像的重構，即

其中為重構光譜，I=[I1,I2,···,I16]，RECω為光譜重構網絡（RECωLR或RECωHR）。

4 實驗仿真

使用i7-10750H CPU 與RTX2060 GPU，通過Windows 系統下Pytorch 神經網絡框架完成隨機透過率曲線計算與重構網絡訓練。使用ICVL（Interdisciplinary Computational Vision Laborator）[20]與CAVE。光譜圖像數據集，抽取430～470 nm共24 譜段、10 nm 分辨率的光譜圖像，為了平滑訓練網絡輸出[11]，將數據集沿光譜維插值至120譜段。

4.1 重構網絡訓練

搭建像元映射變分辨率光譜重構網絡（如圖4所示），將光譜圖像數據集輸入光譜重構網絡。其中，SORI為光譜圖像中空間相鄰的2×2 陣列、430 ～670 nm 光譜范圍、120 譜段的光譜數據；SLR為SORI的3 倍下采樣，即SLR為2×2 陣列、430～670 nm光譜范圍、40 譜段的光譜數據；SHR由SORI的空間像元疊加得到，為1×1 陣列、430～670 nm 光譜范圍、120 譜段的光譜數據。選取權重因子比例為α1:α2=1:4，以平衡各個分辨率重構網絡的訓練。訓練500 輪后，訓練與驗證損失值下降至4×10-5，如圖7（彩圖見期刊電子版）所示。

圖7 訓練與驗證損失曲線Fig. 7 Training and verification loss curve

重構網絡輸出LR為2×2 陣列、430～670 nm光譜范圍、40 譜段的光譜數據；HR為1×1 陣列430～670 nm 光譜范圍、120 譜段的光譜數據。

此外，通過對隨機濾光片進行能量約束，設置C1=0.5，C2=0.7，訓練得到的16 片隨機濾光片光譜透過率曲線T如圖8 所示。

圖8 隨機濾光片透過率曲線Fig. 8 Transmission curves of random filter

其中，每一種隨機濾光片的平均透過率均在0.5～0.7 之間。

4.2 樣本外驗證

樣本外驗證結果如圖9（彩圖見期刊電子版）所示，圖9（a）、9（b）、9（c）為CAVE 樣本外驗證，光譜圖像規格為512×512/120 譜（插值），圖9（d）、9（e）為ICVL 樣本外驗證，光譜圖像規格為482×482/120 譜（插值）。為了方便觀察重構結果，從每幅光譜圖像中選取兩點，分別由紅框（實線）和綠框（虛線）標出，GT2×2/GT4×4 為真實的光譜曲線，REC2×2/REC4×4 為重構的光譜曲線。

圖9 樣本外預測結果Fig. 9 Out-sample forecasting results

經計算，其中2×2 陣列光譜重構PSNR 達46 dB、重構用時小于709 ms，4×4 陣列光譜重構PSNR達56 dB、重構用時小于457 ms。

4.3 遙感高光譜圖像驗證

圖10（彩圖見期刊電子版）為KSC（Kennedy Space Center）遙感高光譜圖像驗證結果。圖10（a）是KSC 的RGB 遙感圖像；圖10(b)是2×2 陣列重構MSE；圖10(c) 是4×4 陣列重構MSE。可以得出：2×2 陣列重構MSE 小于0.002、每譜段平均重構MSE 小于1.2×10-5、PSNR 達53 dB、用時869 ms，4×4 陣列重構MSE 小于10-5、每譜段平均重構MSE 小于1.5×10-6、PSNR 達64 dB、用時521 ms。

圖10 遙感高光譜圖像驗證結果Fig.10 Remote sensing hyperspectral image verification results

5 結 論

本文論述了隨機濾光片光譜編解碼原理，介紹了壓縮感知與深度學習重構算法的基本原理，闡述了隨機濾光片與重構算法協同優化思想，并受欠完備自編碼器的自動特征提取機制的啟發的基于協同優化方法的像元映射變分辨率光譜成像重構算法。通過CAVE 與ICVL 數據集驗證，2×2 陣列光譜重構PSNR 達46 dB、重構用時小于702 ms，4×4 陣列光譜重構PSNR 達56 dB、重構用時小于430 ms。遙感高光譜圖像2×2 陣列重構MSE 小于0.002、PSNR 達53 dB，4×4 陣列重構MSE 小于1.2×10-5、PSNR 達64 dB，具備精度高、重構速度快等特點。