淺談高光譜圖像融合方法

洪科 湯漫

摘 要：高光譜圖像有著豐富的光譜信息，能夠更好的反映地物的實際情況，但是高光譜圖像空間分辨率比較低，所以提高高光譜圖像的空間分辨率有著極大的作用。高光譜圖像融合是改善其圖像質量的重要途徑。

關鍵詞：高光譜圖像;空間分辨率;融合

1 基于貝葉斯的方法

N.Akhtar等人[1]通過考慮將獲取的高分辨率圖像空間信息與低分辨率的高光譜圖像進行融合，提升高光譜圖像的空間分辨率。基于該思路，通過非參數貝葉斯稀疏表示將高光譜圖像與高分辨率圖像融合，聯合利用圖像的空間結構信息以及高光譜圖像的光譜域信息，避免重建圖像的光譜失真問題。該方法首先估計場景中材料反射光譜的概率分布以及一組伯努利分布;其次，通過貝葉斯字典學習得到光譜字典，并根據高分辨率圖像的頻譜量化進行字典變換;然后，利用變換后的字典，通過貝葉斯稀疏編碼策略計算高分辨率圖像的稀疏編碼矩陣;最后，將貝葉斯學習的字典與稀疏編碼矩陣聯合重建高分辨率的高光譜圖像。實驗結果分析表明，本方法在主觀視覺方面，圖像的細節信息更加清晰，客觀指標上RMSE 和 PSNR 的值也優于其他稀疏表示方法。

2 基于矩陣分解的方法

R.KAWAKAMI等人[2]提出首先利用光譜分解問題的一個有原則的解，得到了一組表示場景中各種材料反射率的最優基函數。由于基于高光譜圖像中每個像素可能只有少量材料的簡單觀察，我們將解混問題轉化為稀疏矩陣分解問題，并通過“L1-極小化”求解。在此基礎上，結合高分辨率的RGB觀測結果，重建了每個位置的光譜。該方法在高分辨率RGB相機與低分辨率相機之間存在較大的分辨率差距的情況下，能夠有效地獲得非常精確的光譜估計。

3 基于深度學習的方法

Renwei Dian等人[3]提出不同于HSI的先驗模型，HSI銳化方法首先直接利用基于CNN殘差學習的先驗知識，可以較好地模擬HR-HSIs的先驗知識。然后將先驗知識通過基于深度神經網絡的殘差學習引入融合框架。合并體現在兩個方面。一方面，首先從通過求解一個西爾維斯特方程，得到了已知的LR-HSI和HR-HSI。然后，為了了解HR-HSI的先驗，使用初始化的HR-HSI作為CNN的輸入來映射兩者之間的殘差引用HR-HSI并初始化HR-HSI。這種初始化可以充分利用融合框架的約束，從而提高輸入數據的質量。此外，殘差學習不僅可以加快訓練速度，而且可以提高學習效率。另一方面，將HR-HSI的先驗知識返回到融合框架中進行重構。最終估算出HR-HSI，可進一步提高性能。

4 基于張量的方法

Renwei Dian等人[4]提出基于張量的方法提出了一種基于LTTR（低秩張量）的HSI超分辨方法，它融合了HR-MSI和LR-HSI，屬于低秩學習的范疇。因為低秩先驗是為了有效地學習數據冗余和自相似性，利用LTTR先驗估計了LR-HSI和HR-MSI的高空間分辨率HSI（HR-HSI），可以有效地學習HSI空間、光譜和非局域模式之間的相關性類似的HR-HSI立方體。一個典型的自然場景是完全相似的，因此，它經常包含許多非本地的類似內容塊。為了利用這個優勢，對HR-MSI進行了分區就像很多相同大小的立方體一樣，然后，分組相似數據集在一起。基于HR-MSI中的學習簇，HR-HSI立方體也被分組。由于LTTR先驗是施加在這些4-D張量上的，所以制定了超分辨率問題為LTTR正則化優化問題，然后用交替乘子法求解。

參考文獻：

[1]N.Akhtar，F.Shafait，and A.Mian，“Bayesian sparse representation for hyperspectral image super resolution，”in Proc.of IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Jun.2015.

[2]R.Kawakami，J.Wright，Y.-W.Tai，Y.Matsushita，M.Ben-Ezra，and K.Ikeuchi，“High-resolution hyperspectral imaging via matrix factorization，”in Proc.of IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Jun.2011.

[3]Renwei Dian，Shutao Li，Anjing Guo，and Leyuan Fang，“Deep Hyperspectral Image Sharpening，”in Proc.of IEEE transactions on networks and learning systems，Nov.2018.

[4]Renwei Dian，and Leyuan Fang，“a Low Tensor-Train Rank Representation for Hyperspectral Image Super-Resolution，”in Proc.Of IEEE transactions on networks and learning systems，Feb.2019.