航空圖像超分辨率重構技術

李新芳

摘 要： 為了過濾掉航空圖像中的模糊因素，獲取高質量的航空圖像，提出基于先驗信息的航空圖像超分辨率重構方法，采用基于互信息的航空序列圖像配準方法完成航空圖像的配準，通過最大信息熵復原方法對配準后的圖像序列進行去模糊處理，獲取航空圖像序列。利用小波變換方法使得圖像序列內存在的冗余信息以及互補信息融合至一幀圖像中，通過O?MOMS插值算法對融合后的單幀航空圖像進行插值重構，獲取高分辨率的航空圖像。實驗結果說明，所提方法重構出的航空圖像更為清晰，具有較低的信噪比和較高的重構效率。

關鍵詞： 航空圖像； 超分辨率； 重構； 仿真實驗

中圖分類號： TN911.73?34； TP391.4 文獻標識碼： A 文章編號： 1004?373X（2017）15?0017?04

Abstract： In order to filter out the fuzzy factor in the aviation image， obtain the aviation image with high quality， a priori information based super?resolution reconstruction method of aviation image is proposed. A mutual information based registration method of aviation sequence image is used to match the aviation image. The maximum information entropy recovery method is adopted to deblur the matched image sequence to acquire the aviation image sequence. The wavelet transform method is employed to fuse the redundant information and complementary information existing in image sequence into the image with one frame. The O?MOMS interpolation algorithm is used to perform the interpolation and reconstruction for the single?frame aviation image to obtain the high?resolution aviation image. The experimental results indicate that the aviation image reconstructed with the proposed method is clear， has low signal?to?noise ratio and high reconstruction efficiency.

Keywords： aviation image； super?resolution； reconstruction； simulation experiment

0 引 言

隨著航空技術的快速發展，航空成像技術在探測、建筑、軍事等領域具有廣泛的應用價值[1]。航空圖像受到光線、飛機運動、空氣等因素的干擾，使得圖像清晰度降低。因此，研究航空圖像超分辨率重構技術具有重要的應用價值。

為了過濾掉航空圖像中的模糊因素，獲取高質量的航空圖像。提出基于先驗信息的航空圖像超分辨率重構方法，采用基于互信息的航空序列圖像配準方法完成航空圖像的配準，通過最大信息熵復原方法對配準后的圖像序列進行去模糊處理，獲取航空圖像序列。利用小波變換方法使得圖像序列內存在的冗余信息以及互補信息融合至一幀圖像中，通過O?MOMS插值算法對融合后的單幀航空圖像進行插值重構，獲取高分辨率的航空圖像。實驗結果說明，所提方法重構出的航空圖像更為清晰，具有較低的信噪比和較高的重構效率。

1 基于先驗信息的航空圖像超分辨率重構技術

1.1 航空圖像的觀測模型

拍攝航空圖像的過程中會出現變形和模糊問題。模糊包括光學模糊和運動模糊兩種情況。設置航空圖像觀測模型如下：

（1）

式中：是第幀圖像矩陣基于列串接而成的向量，大小是是理想圖像矩陣基于列串接而成的向量，大小為是大小為的變形矩陣；是大小為的模糊矩陣；是大小為的采樣矩陣；是大小為的噪聲矩陣。

式（1）描述的是航空圖像超分辨率重構觀測模型，按照采集的多幀低分辨率圖像塑造降質模型[2]，分析圖像先驗信息，同時采用合理的恢復算法重構理想的航空圖像超高分辨率圖像。

1.2 技術的基本原理

航空圖像的超分辨率重構運算量巨大，航空圖像尺寸的增加以及運算量的增長具有指數關系。采用基于先驗信息的航空圖像超分辨率重構方法降低圖像重構運算量。其由航空圖像配準、圖像復原、圖像融合以及圖像插值重構幾部分組成。

1.2.1 簡化的航空圖像觀測模型

航空圖像序列中不同幀間存在模糊線性關系，觀測模型（1）內的模糊矩陣以及變形矩陣都是Toeplitz循環陣。采用循環陣的非奇異矩陣對循環陣進行對角化處理，可降低循環陣的計算量[3]。航空序列圖像幀大小相同，不同幀圖像的采樣也相同，則有導致下采樣矩陣不是方陣，不能實施對角化操作，需要對航空圖像觀測模型進行簡化操作[4]，則獲取的簡化航空圖像觀測模型為：

1.2.2 圖像配準和復原

圖像配準過程需要采集式（2）中的變形矩陣采用互信息匹配算法完成航空序列圖像的配準，提高圖像匹配準確度。通過互信息配準算法得到變形矩陣后，因為圖像配準和圖像重構是相關獨立的過程，為了便于分析可不考慮變形矩陣，此時減低航空圖像質量的關鍵因素是模糊，并存在加性噪聲的干擾，算法需要對航空圖像進行復原、融合和插值重構。

航空圖像復原是一個病態求逆的過程，需要基于圖像的先驗信息，將航空圖像超分辨圖像的重構從不適定問題變換成適定化[5]，也就是求最小代價函數的優化過程，是一種有約束的圖像復原方法。本文采用最大信息熵法對航空圖像進行復原，得到高信噪比的航空圖像序列。

1.3 小波變換的序列圖像融合方法

圖像融合方法將圖像復原獲取的圖像序列內包含的冗余信息以及互補信息融合至同幀圖像，增強航空圖像的分辨率[6?7]，不同的小波基能夠形成差異的濾波效果。采用基于小波變換的航空序列圖像融合算法的過程如下：

（1） 通過二維小波變換的Mallat算法對航空圖像 A，B實施小波分解，設置航空圖像A，B的行以及列作用的低通算子分別是和圖像A，B的行以及列上的高通算子分別是和因此，在尺度上的圖像A以及B的分解公式為：

1.3.1 O?MOMS插值算法的圖像重構

因為沒有對航空圖像觀測模型（1）內的下采樣矩陣進行分析，使得式（2）內的矩陣不可對角化，增加了圖像重構的運算量[8]。因此，完成航空圖像融合后，應采用含有權值因子的O?MOMS插值算法對簡化的航空圖像觀測模型進行插值重構。

為了預測在航空圖像像素點處的中間像素值，應已知它的領域像素值和距離一維等間隔抽樣航空圖像序列像素值能夠通過插值函數預測航空圖像的中間像素值，獲取的插值公式為：

式中：是插值基函數；和分別是連續以及離散的空間距離；是插值系數。

依據采樣原理，如果是有限帶寬函數，其帶通是[-π，π]，則有：

式（9）是理想插值，可通過理想抽樣函數sinc重構，但是函數sinc具有不可實現性。因此，需要采用B樣條近似函數替代sinc函數，完成準確的重構。

B樣條函數是線性分段的多項式，是通過自由基函數卷積獲取的，表達式為：

式中：是樣條函數階數，如果值為零，則可獲取簡單的插值基函數，即最近鄰插值基函數。

設置同及間的距離：

O?MOMS插值基函數可實現最佳插值，三次O?MOMS插值基函數為：

三次O?MOMS插值基函數是一種逼近函數，需要再插值前通過數字濾波器獲取插值系數，將式（11）和式（12）融入式（10）獲取三次O?MOMS插值公式為：

采用式（13）描述的O?MOMS插值公式對圖像融合后的單幀圖像進行插值重構，獲取高分辨率的航空圖像。

1.3.2 航空圖像超分辨率重構的具體方案

本文提出的基于先驗信息的航空圖像超分辨率重構技術方案，如圖1所示。

（1） 圖像配準是航空序列圖像超分辨重構的前提，采用基于互信息的航空序列圖像配準方法，在無先驗圖像的條件下，完成航空圖像的自主配準，增強圖像匹配的準確度。

（2） 通過最大信息熵復原方法對配準后的圖像序列進行去模糊操作，獲取高信噪比的航空圖像序列。

（3） 采用小波變換方法對圖像序列內的冗余信息以及互補信息進行融合處理，確保這些信息融合到一幀圖像中。

（4） 通過O?MOMS插值算法對融合后的單幀航空圖像進行插值重構，獲取高分辨率的航空圖像。

2 實驗結果與分析

采用兩組低分辨率模擬航空圖像序列進行實驗。降低航空圖像質量的關鍵因素是光學模糊，實驗采用高斯卷積函數將某256×256大小的航空圖像下采樣成128×128大小的低分辨率圖像，如圖2所示。實驗采用運動序列同原始清晰圖像卷積[9]獲取運動模糊圖像，如圖3所示。

將信噪比當成圖像重構的評估指標[5]。圖4是光學模糊超分辨率重構圖像，圖5是運動模糊超分辨率重構圖像。

從兩種方法對航空圖像的光學模糊超分辨率重構結果可以看出，兩種方法重構圖像差異不高，但是對比方法較為復雜，重構效率低，本文方法重構效率高，結果見表1。

從兩種方法對航空圖像的運動模糊超分辨率重構結果可以看出，本文方法重構出的航空圖像最佳，重構效率也較高，而對比方法重構出的航空圖像質量較差，圖像邊緣以及細節粗糙，數據見表2。說明本文方法過濾運動模糊效果佳，獲取的航空圖像超分辨率重構圖像更為清晰。

3 結 語

本文提出基于先驗信息的航空圖像超分辨率重構方法，該種方法的關鍵是去模糊。通過實驗驗證了所提方法重構出的航空圖像更為清晰。

參考文獻

[1] 何林陽，劉晶紅，李剛.基于多相組重建的航空圖像超分辨率算法[J].物理學報，2015，64（11）：168?175.

[2] 高志榮，藍雯飛.一種基于神經網絡的人臉圖像超分辨率重構算法[J].中南民族大學學報（自然科學版），2016，35（1）：114?118.

[3] 王宏，盧芳芳，李建武.結合支持向量回歸和圖像自相似的單幅圖像超分辨率算法[J].中國圖象圖形學報，2016，21（8）：986?992.

[4] 王金亮，曾浩，王艷英，等.基于小波分析的TM遙感圖像超分辨率重建[J].遙感技術與應用，2016，31（3）：476?480.

[5] 劉世瑛，黃峰，劉秉琦，等.復眼圖像超分辨率重構中配準算法研究進展[J].激光與紅外，2015，45（10）：1164?1170.

[6] 葉宗民，周亞凡，李永新.基于VPM6467的紅外視頻超分辨率重構設計[J].艦船科學技術，2015，37（7）：83?87.

[7] 俞文靜，張明軍，王影.基于背景擦除的視頻監控圖像超分辨率重建[J].計算機與數字工程，2016，44（4）：730?734.

[8] 胡江濤，黃峰，張雛，等.超分辨率重構復眼成像技術的研究進展[J].激光技術，2015，39（4）：492?496.

[9] 穆紹碩，張葉，賈平.一種改進Papoulis?Gerchberg的多幅超分辨重構方法[J].哈爾濱工業大學學報，2015，47（10）：118?123.