基于稀疏表示的無人機圖像超分辨率重建研究

摘 要：圖像分辨率是衡量無人機圖像質量的重要指標，然而受圖像傳感器和光學器件的限制，無人機圖像的清晰度難以達到要求，針對上述問題，利用無人機圖像庫訓練得到高、低分辨率圖像塊字典。同時提出一種基于范數的優化模型，利用全局約束的則化協同表示求解低分辨率圖像在上述聯合字典下得到高分辨率圖像，使之復雜度大大降低且重建速度得到較大提升。通過重建實驗對比表明，這種字典的構造方法能使重建出的無人機圖像更具表現力。

關鍵詞：稀疏表示;圖像超分辨率;正則化協同;聯合字典

無人機航拍在交通監控、環保監測等許多戶外視覺系統中現已得到廣泛應用。高分辨率（High resolution，HR）的無人機圖像能夠提供更高的像素密度，可提供更加準確的信息。然而，由于戶外環境復雜，并且無人機攜帶的成像設備受成本、飛行載重等因素制約，成像結果無法滿足實際需要。因此，提升成像質量成為無人機航拍應用的關鍵問題。

超分辨率重建技術作為一種提高圖像分辨率的有效方法，現主要分為基于插值的超分辨率算法[1]、基于重建的超分辨率算法[2]和基于學習的超分辨率算法[3]。基于插值的超分辨率算法相對簡單，具有較低的運算復雜度，但是重建出的高分辨率圖像的邊緣會產生陰影。基于重建的超分辨率算法將很多先驗知識作為約束，但是這類方法重建出的圖像會過于平滑，損失了較多細節。總體而言，基于學習的超分辨率重建方法是目前研究的主流方向，其效果也是最好的。

1 無人機圖像的稀疏字典

無人機圖像超分辨率過程包括LR圖像去噪、插值和去模糊、對LR圖像的現有成像模型進行處理。LR成像過程可以通過以下方式建模：

其中D是模糊運算符，H是下采樣運算符，n是在LR圖像生成中引入的噪聲，x是目標HR圖像，y是觀察到的LR圖像。在圖像超分辨率重建中，利用圖像先驗知識對高分辨率圖像的估計過程進行約束以使結果唯一。

對已有的高分辨率特征圖像塊集Qh和得到的低分辨率特征圖像塊集Ql，Dh令表示高分辨率字典，Dl表示低分辨率字典。高低分辨率字典都采用K-SVD進行訓練，對應得到高分辨率字典訓練如下：

X表示對應字的低分辨率字典的稀疏表示矩陣。對應得到高分辨率字典的訓練形式：

X表示對應字的高分辨率字典的稀疏表示矩陣，對公式（2）和（3）進行合并訓練，使高分辨率字典和低分辨率字典具有相同的稀疏表示，形式如下：

其中：

M和N對應高低特征圖像塊以向量表示的維度，利用上述方法，以公式（4）的形式輸入，聯合HR和LR樣本集，采用稀疏編碼的方法訓練得到具有相同稀疏表示的雙字典Dh和Dl。

2 全局稀疏約束的正則化項

考慮到一幅自然圖像中通常會存在相似的結構，即存在結構相似的圖像塊，圖像恢復中經常利用這種全局相似性作為圖像塊恢復時的約束條件，并取得較好的效果，在圖像去噪問題中尤為明顯。如果對已求得的所有待恢復圖像塊的稀疏表示系數進行聚類，那么理論上結構相似的圖像塊的表示系數也應該具有類似的分布。基于此考慮，Dong等人在提出結構聚類型字典時也提出了稀疏系數的聚類，用數學表達式可以記為，

其中，X是N個圖像塊的聯合（以列的形式），Λ是所有系數列αi的聯合。上式通過迭代求解，在每次迭代得到系數Λ后，將所有系數αi聚成K類，βk是第K類系數的類中心，在每次迭代時約束第K類的系數αi向此類的類中心βk靠近。

本文的思想是將全局稀疏約束與聯合稀疏約束的思想結合起來，對相似塊的表示系數進行相似約束。

3 實驗結果及分析

本文具體實驗過程和步驟如下：

Step1：設置字典訓練參數。字典大小設置為1024，圖像塊大小為5×5，λ=0.06，采樣圖像塊數量為100 000，縮放因子為4。

Step2：獲取訓練樣本圖像。在無人機圖像退化模型的基礎上獲得訓練樣本。使用雙三次插值將LR圖像插值放大到和HR圖像同大小的圖像。

Step3：訓練字典。對HR圖像和LR圖像分別進行分塊，分快的大小為5×5，然后，使用（5）式的方法對圖像塊進行訓練，得到高低分辨率圖像訓練字典Dh和Dl。

Step4：無人機圖像設置重建參數，λ=0.06，圖形快之間的最大重疊數為4，縮放因子為4，反投影法的迭代次數為30。在重建過程中，對原始HR測試圖像進行2倍下采樣處理得到LR圖像，并使用雙三次插值法。使用本文的方法，對LR圖像進超分辨率重建，獲得HR圖像。

評價超分辨率圖像質量主要分為主觀評價和客觀評價，前者是通過觀察人員的主觀感受來評價重構圖像質量，后者是根據量化指標來衡量輸出圖像質量。我們選取了均方誤差MSE，峰值信噪比PSNR和結構相似度SSIM來綜合評價重構圖像性能。其中，MSE如下所示：

式（7）h、w、k中分別表示圖像的長，寬和通道;式（8）中的n等于8;式（9）中的l（x，y）、c（x，y）、s（x，y）分別表示圖像的亮度、對比度和結構相似度。MSE越小代表重建圖像和原始圖像誤差越小，PSNR和SSIM越大表示重構圖像越接近原始圖像。

4 不同方法超分辨率重建效果對比

分別使用雙三次插值法，OMP法和本文方法對無人機圖像進行超分辨率重建所示。使用RMSE和PSNR對圖像重建結果進行客觀評價，評價結果和運行時間如表1所示。

表1的實驗數據表明，本文算法的主觀目視效果和客觀評價指標均有所提高，運行用時最少。

5 結論分析

本文在傳統的圖像超分辨率重建的基礎上，根據全局稀疏約束正則化項的思想，對稀疏表示的超分辨率正則化約束項進行改進，并將其用于無人機圖像的稀疏表示的超分辨率重建，結果表明，算法效果和視覺效果顯著提升。運行時間也得到大幅改善。在基于稀疏表示的無人機圖像超分辨率重建技術上，圖像的紋理信息提取和字典的訓練效率還有許多改善的地方，故將來要針對此進行進一步的改進。

參考文獻

[1]蘇衡，周杰，張志浩.超分辨率圖像重建方法綜述[J].自動化學報，2013，39（08）：1202-1213.

[2]潘宗序，禹晶，肖創柏，孫衛東.基于自適應多字典學習的單幅圖像超分辨率算法[J].電子學報，2015，43（02）：209-216.

[3]李素梅，雷國慶，范如.基于卷積神經網絡的深度圖超分辨率重建[J].光學學報，2017，37（12）：132-140.

作者簡介

鄧凱（1992-），男，漢，貴州，學生，研究生，重慶交通大學土木工程學院，研究方向：地質災害檢測預警。