貝葉斯稀疏表示高光譜圖像超分辨率方法*

黃 偉，許蒙恩，徐國明,3+，黃勤超

1.中國電子科技集團公司 第二十七研究所，鄭州 450047

2.中國人民解放軍陸軍炮兵防空兵學院，合肥 230031

3.安徽新華學院 信息工程學院，合肥 230088

1 引言

高光譜成像技術融合了成像技術與光譜技術，所獲得的圖像包含豐富的光譜信息、空間信息以及輻射信息，具有光譜連續、圖譜合一的特性，能夠以較高的光譜信息對地物目標進行精細化解析，增強對地物信息的提取能力[1]。高光譜成像的光譜特性有助于提高許多計算機視覺任務的性能，包括圖像追蹤[2]，目標識別與分類[3]，在遙感領域也起到重要作用。高光譜傳感器在遙感成像中能夠實時獲取研究對象的空間影像和每個像元的光譜曲線，可在提供地物空間分布信息的同時提供豐富的光譜信息，具有更好的地物檢測與分類能力[4]。然而，由于高光譜傳感器的空間分辨率限制和地物的復雜多樣性，高光譜遙感數據的空間分辨率較低[5]。在目標識別、地物分類、環境變化檢測等高光譜遙感的諸多應用中都需要較高空間分辨率的圖像，因此有效提升高光譜圖像的空間分辨率是十分必要的[6]。為解決該問題，有研究者提出過增大感光元件的物理尺寸，使用高分辨率傳感器的簡單解決方案，但是進一步降低了到達傳感器光子的密度[7]。目前采用基于軟件方法的超分辨率（super resolution，SR）技術是提升高光譜圖像空間分辨率的有效手段。

為了增強高光譜圖像的空間分辨率，通常將高光譜圖像與高分辨率的全色圖像融合，傳統的方法一般是基于投影和替代[8]。但是全色圖像缺乏不同波段的光譜信息，重建后的圖像會產生光譜信息丟失。Aiazzi等人[9]利用人類視覺對亮度的敏感性，將高分辨率圖像的亮度分量與高光譜圖像融合，有助于提高圖像的空間信息，但是這種方法也會產生圖像的光譜失真問題。目前，在基于矩陣分解方法的框架下，將高分辨率的RGB圖像與高光譜圖像融合提升高光譜圖像的分辨率。Kawakami等人[10]用兩個矩陣分解因子表示每個圖像，并用兩個互補因子構建所需的圖像。Huang等人[11]利用稀疏矩陣分解方法進行圖像融合，在融合過程中使用RGB圖像的下采樣版本，用于遙感圖像的分辨率提升。Wycoff等人[12]通過一種基于交替方向乘子的方法提升光譜圖像的空間分辨率，但是該方法需要融合圖像之間的空間變換先驗知識。Akhtar等人[13]提出一種稀疏空間光譜表示的SR方法，該方法融合高光譜圖像與高分辨率的偽彩色圖像。該方法的重建性能對算法參數要求較高，比如圖像被分解成矩陣的尺寸等問題。Lanaras等人[14]以及Chen等人[15]使用一種光譜解混合的方法對高光譜圖像進行SR重建，需要融合圖像之間的光譜分辨率彼此接近，另外在光譜高度混合的情況下重建效果較差。

目前，低光譜分辨率成像系統（例如RGB相機）通過場景輻射總體量化獲取圖像，雖然失去大部分的光譜信息，但是能夠保存更多的場景空間信息，空間分辨率遠高于高光譜對應物的分辨率[16]。為此，可以考慮將獲取的高分辨率圖像空間信息與低分辨率的高光譜圖像進行融合，提升高光譜圖像的空間分辨率。基于該思路，提出一種高光譜圖像SR方法，通過非參數貝葉斯稀疏表示將高光譜圖像與高分辨率圖像融合，聯合利用圖像的空間結構信息以及高光譜圖像的光譜域信息，避免重建圖像的光譜失真問題。該方法首先估計場景中材料反射光譜的概率分布以及一組伯努利分布；其次，通過貝葉斯字典學習得到光譜字典，并根據高分辨率圖像的頻譜量化進行字典變換；然后，利用變換后的字典，通過貝葉斯稀疏編碼策略計算高分辨率圖像的稀疏編碼矩陣；最后，將貝葉斯學習的字典與稀疏編碼矩陣聯合重建高分辨率的高光譜圖像。

2 高光譜圖像SR問題模型

高光譜圖像SR的目標是從獲取的低分辨率高光譜圖像Yh和相應的高分辨率圖像Y中，恢復得到高分辨率的高光譜圖像T，其中Yh∈Rm×n×L，Y∈RM×N×l，T∈RM×N×L，M、m、N和n表示空間維尺寸，L和l表示光譜維數。由于M?m、N?n、L?l，使得方程求解是個欠定問題，現考慮將Yh和Y分別作為目標圖像T的線性映射，其形式如下：

ψh表示 RM×N×L→Rm×n×L，ψ表示 RM×N×L→RM×N×l。

由高光譜圖像的稀疏性先驗信息可知，一幅高光譜圖像中通常只包含少數不同的材料，并且與整個圖像相比，每個像素中通常只含有非常少量的不同光譜，可以通過線性組合光譜字典Φ的原子來稀疏表示Yh。將Yh的像素連接形成二維矩陣形式，可用如下形式表示：

式（2）中，Φ∈RL×|δ|是一個具有列向量φk的矩陣，φk表示圖像中不同材料的反射光譜，其中k∈δ,δ={1,2,…,K}，|·|表示該集合的基數；B∈R|δ|×mn表示系數矩陣。由于一個圖像場景中通常僅包含幾個不同光譜的材料，因此|δ|?mn。同理，將Y的像素連接形成二維矩陣形式∈Rl×MN，可得：

式（3）中，∈Rl×|δ|，A∈R|δ|×MN,A表示系數矩陣。

由于圖像Yh和Y表示相同場景，可以通過一個變換矩陣γ∈Rl×L進行如下表示：

圖像Yh和圖像Y中的像素分別包含Φ和的稀疏表示，因為與整個圖像相比，一個像素中通常包含非常少的光譜。此外，|δ|的值可以在不同場景之間發生變化，取決于場景中不同光譜的材料數量。下文中，將Φ稱之為字典，為變換字典，字典的列被稱為字典原子，并且系數矩陣（例如A和B）被稱為稀疏編碼矩陣或相應圖像的稀疏碼。

3 超分辨率方法

本文的SR方法可以分為四個主要階段。首先，通過貝葉斯字典學習框架從高光譜圖像中學習得到光譜字典；其次，使用兩個輸入圖像之間的頻譜變換矩陣γ得到變換字典，即=γΦ；然后，變換字典對高分辨率圖像進行稀疏編碼得到A∈R|δ|×MN；最后，利用字典Φ和稀疏編碼矩陣A重建圖像T，即T=ΦA。

3.1 貝葉斯字典學習

上述模型中，～表示服從于某一分布，式（7）、式（10）和式（11）中?指的是正態分布，式（8）和式（9）中Bern和Beta分別指的是Bernoulli分布和Beta分布；此外，zi∈R|δ|是一個二進制向量，它的第K個分量zik服從Bernoulli分布。Beta先驗置于πk上，其中參數為a0和b0。將zi作為支持向量，si∈R|δ|的每個分量sik服從正態分布。

為方便處理，將式（7）字典原子φk的正態分布中的矩陣Λk0約束為λk0IL，IL表示RL×L中的實體，λk0∈R是預設常數。式（7）的正態分布定義在基向量φk上，零向量被用于表示正態分布的均值參數μk0。同理，令Λε0=λε0IL，并且正態分布的均值參數μs0=0，λs0∈R是預設常數。zi∈R|δ|是一個二進制向量，原式（5）中字典的系數被約束為二進制項。為了放松式（5）中字典系數βi的二進制約束，通過非信息性的伽馬超先驗λs0和λε0，使得：

式（12）中，Γ表示伽馬分布，c0、d0、e0、f0分別是參數。由此形成的非參數貝葉斯模型是完全共軛的，可以使用Gibbs采樣來對其進行貝葉斯處理，得到最終的采樣方程（13）。將第k個字典原子φk對yi的貢獻表示為：

通過以上處理，可以得到用于本方法的Gibbs采樣過程的分析表達式[18]：

通過上述貝葉斯推理，獲得模型參數上的后驗分布集，其中一個是字典原子的分布集 ?={?(φk|μk,;二是支持指示向量的分布集?={Bern(πk),k∈δ}，??R。Bern(πk)是所有支持指示向量的第k個分量，并且 ?i∈{1,2,…,mn}，zik～Bern(πk)。通過計算得到字典原子的分布集，從中抽取多個樣本并計算它們各自的均值來估計Φ。將字典Φ作為貝葉斯字典學習的最終結果，可以通過=γΦ得到變換字典。

3.2 貝葉斯稀疏編碼

通過貝葉斯字典學習方法得到光譜字典Φ，進而得到變化字典，可以用來計算高分辨率圖像Y的稀疏編碼矩陣，并用所得的稀疏編碼矩陣和光譜字典Φ得到目標圖像T∈RM×N×L。盡管已經存在一些經典的稀疏編碼算法，比如正交匹配追蹤算法和基追蹤算法，但是當它們與使用Beta過程學習得到的光譜字典Φ一起使用時，重建效果相對較差。為此，采用一種貝葉斯稀疏編碼方法，可以與使用Beta過程學習的光譜字典一起使用。

式（19）中，λk0→∞ 指出λk0≈λk；式（20）中，μk0≈μk。意味著可以從該正態分布中獲得相同的采樣數據，在處理過程中忽略更新字典原子的后驗分布，其中第k個后驗分布的樣本是該矩陣的第k列，貝葉斯稀疏編碼可以直接使用變換字典中的原子作為樣本。

（2）根據與固定字典原子相關聯的伯努利分布，對支持向量zi進行采樣。通過支持向量的分量上的分布集={Bern(πk),k∈δ}確定支持向量的分布，使用向量π∈R|δ|，將分布參數存儲在集合?中。采樣時直接使用π的第k個元素作為πk。將上述處理過程納入到Gibbs采樣，可以在字典上較好地稀疏表示，其中；在均方誤差中，稀疏表示y的最佳估計為=是范圍算子，分別表示期望值和條件期望算子。令y在字典?上的稀疏表示系數α的估計值為，可以定義均方誤差（mean square error，MSE）為：

在上述采樣過程中，執行Q次得到支持向量zq和y的權重向量sq，其中q∈(1,2,…,Q)：

（3）根據以上知識，重復執行Q次，最終計算出稀疏編碼矩陣A：

αi作為稀疏編碼矩陣A的列向量，其中i∈{1,2,…,MN}。矩陣Zq和Sq分別表示支持矩陣和權重矩陣，。最后使用稀疏編碼矩陣A和貝葉斯學習的字典Φ得到高分辨率目標圖像T：

3.3 超分辨率算法

根據以上分析，基于貝葉斯稀疏表示的高光譜圖像SR算法總結如下：

輸入：低分辨率的高光譜圖像Yh。

初始化：設定各參數值，a0、b0、c0、d0、e0、f0。

（1）通過貝葉斯字典學習，得到場景材料反射光譜的概率分布和一組伯努利分布Bern(πk)。

（2）通過材料反射光譜學習得到光譜字典Φ，并根據高分辨率圖像的頻譜量化通過式（4）進行字典變換=γΦ，得到變換字典。

（3）利用變換后的字典，通過式（23）計算高分辨率圖像Y的稀疏編碼矩陣。

（4）利用光譜字典Φ和稀疏編碼矩陣A，通過式（24）得到目標圖像T，T=ΦA。

輸出：重建的高分辨率目標圖像T。

4 實驗結果與分析

4.1 實驗說明與環境

為了檢驗本文方法的有效性，實驗所采用的圖像包括公共數據庫（CAVE database）中的標準測試圖像以及高光譜成像儀器采集的實際圖像，并與雙三次插值方法、稀疏編碼超分辨率方法[19]（sparse coding super resolution，ScSR）、矩陣因子分解方法[10]（matrix factorization，MF）以及最近提出的耦合光譜解混合方法[14]（coupled spectral unmixing，CSU）等進行比較分析。為了評估本文方法的重建效果，實驗結果從主觀評價和客觀評價兩方面進行比較分析。主觀評價主要從視覺效果比較圖像的去模糊以及細節信息重建等情況，客觀評價主要從均方根誤差（root mean square error，RMSE）和峰值信噪比（peak signalto-noise ratio，PSNR）進行圖像重建的質量比較。另外，還對不同SR方法進行重建效率的對比分析。

本文采集實驗圖像所用的設備是分孔徑同時式高光譜偏振成像儀，處理圖像進行實驗的運行環境是：Lenovo ideapad700，Intel Core i5-6300HQ，CPU@2.30 GHz，8 GB RAM，MATLAB R2014a。

4.2 實驗結果與分析

本文所做的實驗包括對CAVE database中的圖像、高光譜的“教學樓”圖像，以及實際采集得到的“卡車”縮比模型圖像的SR重建，實驗圖像的光譜波段范圍是400 nm到700 nm，光譜分辨率為10 nm，共31個光譜波段。實驗中對高分辨率參考圖像進行高斯模糊以及降采樣處理，得到待處理的低空間分辨率圖像。高斯模糊核的尺寸為8×8，行和列的降采樣因子均為4，稀疏編碼階段Q取31次。分別采用雙三次插值方法、ScSR方法、MF方法、CSU方法以及本文方法對低分辨率高光譜圖像進行SR重建，并對不同方法的重建效果進行比較。限于篇幅，文中僅展示“教學樓”圖像以及“卡車”圖像的實驗結果。

Fig.1 Reconstruction effect of different SR methods in“building”image圖1 “教學樓”圖像不同SR方法重建效果

圖1比較了“教學樓”圖像在不同SR算法的重建效果，由于高光譜圖像波段眾多，圖1所示為540 nm波段的重建圖像。圖1（a）為待處理的低分辨率圖像；如圖1（b）所示，雙三次插值方法的重建圖像整體比較模糊；圖1（c）為ScSR方法的重建圖像，與雙三次插值相比，提高了圖像的整體清晰度，但是邊緣部分比較平滑；圖1（d）為MF方法的重建圖像，與雙三次插值方法和ScSR方法相比，MF方法提高了圖像的整體銳度，但是圖像中的車輛仍存在平滑模糊問題；圖1（e）為CSU方法的重建圖像，CSU方法相比于MF方法提高了圖像的銳度及清晰度，比如圖像中車輛的輪廓更加清晰，但是圖像左下方仍然比較模糊；圖1（f）為本文方法的重建圖像，與MF方法和CSU方法相比，本文方法更好地提高了圖像邊緣的銳度及整體清晰度，并且恢復了更多的圖像細節信息，包括道路與車輛等。

圖2展示了使用不同SR方法對實際采集的“卡車”圖像SR重建的結果，所示為620 nm波段的圖像。圖2（a）為低分辨率的待處理圖像；圖2（b）為雙三次插值方法的重建圖像，可以看出圖像整體效果仍比較模糊；圖2（c）為ScSR方法的重建圖像，與雙三次插值相比提高了圖像的整體清晰度，但是圖像中“卡車”以及周圍的情況仍然比較平滑；圖2（d）為MF方法的重建圖像，與ScSR方法相比提高了圖像的銳度，但是圖像的邊緣部分仍存在平滑現象；圖2（e）為CSU方法的重建圖像，CSU方法相比于MF方法提高了圖像的銳度及清晰度，恢復了“卡車”圖像上的細節信息，但是車頂的白色字樣信息仍不清楚；圖2（f）為本文方法的重建圖像，與MF方法和CSU方法相比，本文方法更好地提高了圖像邊緣的銳度以及整體的清晰度，并且較好恢復了“卡車”圖像車頂的白色字樣信息。

Fig.2 Reconstruction effect of different SR methods in“Truck”image圖2 “卡車”圖像不同SR方法重建效果

從上述不同SR方法的實驗結果可以看出，本文方法相較于其他四種方法，能夠較好地恢復低分辨率的高光譜圖像信息。為進一步客觀評價本文方法的效果，使用均方根誤差（RMSE）以及峰值信噪比（PSNR）作為量化評估的度量標準，與其他SR方法進行比較。RMSE越小、PSNR越大，表明高光譜重建圖像的質量越高。實驗結果如表1所示，其中粗體標記的數值表示相應評價指標下具有最優效果：

式（25）中，T和?分別表示真實圖像和重建后恢復的圖像，M和N分別表示高光譜圖像的空間維尺寸，L表示光譜維數。式（26）中，MSE=RMSE2，MAX表示?的最大值。測試圖像如圖3所示，包括CAVE database中的“圖畫”“辣椒”“人臉”“格子”“教學樓”等圖像，以及實際采集得到的“卡車”圖像。

Table 1 RMSE andPSNRof different SR methods表1 不同SR方法的RMSE和PSNR

Fig.3 Test images圖3 測試圖像

從表1中不同SR方法的RMSE和PSNR值可以看出：本文方法比雙三次插值方法、ScSR方法、MF方法以及CSU方法重建的圖像具有更小的均方根誤差，更大的峰值信噪比，圖像重建精度更高。

表2是不同SR方法之間的運算時間對比結果。從表2可以看出雙三次插值方法的運算時間最快，但是其圖像重建效果比較差。本文方法的運算時間略高于ScSR方法和CSU方法，主要是在稀疏編碼階段對不同光譜波段的圖像進行多次處理。綜合考慮不同SR方法的重建效果以及運算效率，本文方法具有更好的重建效果，運算效率略高于相似的稀疏表示經典方法，而這也是本課題下一步要研究的內容。

Table 2 Computing time of different SR methods表2 不同SR方法的運算時間 s

5 結束語

針對所獲取的高光譜圖像空間分辨率較低的問題，通過對高光譜圖像超分辨率方法進行研究，提出一種貝葉斯稀疏表示的方法。將高分辨率圖像的空間結構信息與低分辨率的高光譜圖像進行融合，提高高光譜圖像的空間分辨率。本文方法能夠聯合利用圖像的空間結構信息以及高光譜圖像的光譜域信息，避免了傳統稀疏編碼方法重建圖像的光譜失真問題。通過與傳統的超分辨率方法、稀疏表示的經典方法、基于矩陣分解的方法以及最近提出的耦合光譜解混合方法進行實驗對比，檢驗本文方法的重建效果。實驗結果分析表明，本文方法在主觀視覺方面，圖像的細節信息更加清晰，客觀指標上RMSE和PSNR的值也優于其他SR方法，證明本文方法能夠有效提升高光譜圖像的空間分辨率。