衛星振動引起的非規則采樣降質圖像復原方法

智喜洋，張 偉，李立源，孫 晅

（哈爾濱工業大學空間光學工程研究中心，150001哈爾濱）

衛星振動引起的非規則采樣降質圖像復原方法

智喜洋，張 偉，李立源，孫 晅

（哈爾濱工業大學空間光學工程研究中心，150001哈爾濱）

針對衛星振動引起的TDICCD相機非規則采樣導致像質退化的問題，提出了非規則采樣降質退化圖像的復原方法.首先利用基于非均勻快速傅里葉變換的頻域插值對非規則采樣的幾何降質退化規律進行建模，并結合遙感成像的模糊退化過程，建立非規則采樣降質圖像退化模型.然后利用頻域插值特性將模型逆求解過程轉換為Toeplitz矩陣系統的線性方程求解問題，實現了快速求解，提出非規則采樣幾何降質和模糊退化的綜合處理方法.最后利用測試圖形和真實遙感圖像對方法進行驗證，實驗結果表明：在嚴重模糊、幾何降質及高噪聲水平條件下，復原后的圖像與理想圖像的結構相似度仍優于0.93，而且具有較高的處理效率.該方法能有效應用于在軌振動引起的非規則采樣降質的復原處理.

衛星振動；非規則采樣；幾何降質；退化模型；圖像復原

隨著航天光學遙感載荷技術的不斷發展，空間相機的分辨率越來越高.然而，衛星在軌運行期間，平臺的各種振動會引起相機光軸指向的抖動，從而影響高分辨率相機的成像質量，特別是對于目前被廣泛應用的線陣推掃式TDICCD相機而言，振動在多級時間積分內所致的圖像像移，不僅會引起圖像的模糊，而且還會造成探測器像元采樣的非規則性，從而引起圖像非規則性的幾何降質，這將嚴重影響相機的高分辨率成像能力和高精度測繪能力.

限于高精度姿態穩定控制、穩像和減振等技術的現有工藝水平，通常采用圖像復原的方法來補償振動像移引起的像質退化.國內外學者在遙感圖像退化模型和復原方面已取得了大量的研究成果，但研究工作大多是針對模糊退化的圖像復原［1-5］，在振動所致的幾何降質復原方面，盡管初步開展了基于不同插值算法和各種約束條件的幾何校正算法的研究［6-11］，但尚未從振動所致TDICCD相機像移對幾何成像質量的影響機理出發，將非規則采樣造成的幾何降質引入遙感圖像退化模型，因此無法實現對模糊和非規則性幾何降質退化圖像的綜合提升處理.而且，在幾何校正插值算法的求解方面仍存在運算速度較慢的問題.

本文從衛星振動引起的TDICCD相機非規則采樣的角度出發，重點分析了振動導致非規則采樣的幾何降質退化過程及規律，并對幾何降質的圖像退化進行建模，將其引入已有的遙感圖像退化模型，建立了更為完整的TDICCD非規則采樣圖像的像質退化模型，在此基礎上提出了一種圖像模糊和非規則性幾何降質退化綜合處理的復原方法.同時，為了提高復原算法的運算效率，在退化模型逆求解的過程中，通過采用基于非均勻快速傅里葉變換的頻域插值，構造了具有特定循環結構的Toeplitz系統，從而將求解過程轉換為基于Toeplitz矩陣的線性方程系統求解問題，實現了模型方程求解的快速運算.

1 衛星振動引起非規則采樣像質退化

衛星在軌工作期間，衛星平臺及星上活動部件的各種運動均會引起相機光軸指向的抖動，這將導致相機在積分成像過程中產生圖像像移，從而影響相機的成像質量.衛星振動的形式較為復雜，但通常可以近似分解為若干正弦振動的疊加［12］:式中fi，Ai，φi分別為第i個諧波分量的振動頻率、振幅和初始相位，t為衛星攝影時刻．

TDICCD相機推掃成像采樣過程中，圖像各行不是同一時刻采樣得到的，而是由相機在不同成像時刻獲得［13］，因此積分成像過程中的振動像移不僅會導致圖像的模糊，還會引起像元積分中心位置的偏移，而且各行像元對應的偏移量可能存在一定的差異，這將導致探測器像元采樣位置的非規則性，表現為圖像非規則性的幾何變形.根據公式（1），可以得出非規則采樣位置的數學表達為

式中:ε為像元采樣位置的偏移量；a為像元尺寸；Tint為TDICCD單級積分時間；f1，f2，…，fM為振動頻率分量，且f1＜f2＜…＜fM，fM為探測器采樣的奈奎斯特頻率．

假設探測器像元在像平面的理想采樣位置為λmn=（xmn，ymn）=（m，n），振動像移引起的像元中心位置偏移量ε（m，n）=（εx（m，n），εy（m，n）），則像元在像平面的實際采樣位置Λ=｛λmn｝M，Nm=1，n=1?R2:

式中Ω=（［1，M］×［1，N］）∩Z2為理想采樣位置．

圖1示意了像元的理想采樣位置和非規則采樣的實際情況.從圖1（b）中可以看出，非規則采樣后的圖像產生了明顯的逐行偏移.

圖1 理想采樣與非規則采樣圖像的對比

2 TDICCD非規則采樣像質退化模型及圖像復原方法

2.1 非規則采樣遙感圖像退化模型

一般情況，遙感圖像退化模型描述如下［14］:

式中:Y表示遙感成像系統獲取的像質退化圖像；X表示原始場景圖像，即理想的無退化圖像；h表示遙感成像鏈路中大氣環境、光學系統、探測器、成像電子學、衛星平臺等各環節引起的模糊退化；n表示成像過程中引入的噪聲；?表示卷積．

經上述分析可知，TDICCD相機非規則采樣引起幾何降質的圖像退化可建模為

式中:g:Λ→R表示非規則采樣圖像；u:R2→R表示原始場景圖像．

此時，離散化的式（4）可寫為

式中spq（λmn）表示對原始場景圖像u的非規則重采樣，能夠表征振動所致非規則采樣引起的空間移變幾何降質退化，可通過拉格朗日插值、自適應插值和頻域插值等方法實現．

若令λk=λmn當且僅當k=（n-1）N+m時成立，即λk是λmn按列排序，且gk、si與ui同理．則式（6）改寫為

令Sspac=｛ski｝為重采樣矩陣，且滿足ski=si（λk），則式（7）的矩陣形式為

采用頻域插值作為重采樣方法，令＾u為u在頻域上的表達，則式（8）改寫為

式中Sfreq表示從頻域到空域的插值，簡記為S．

進一步，將非規則采樣引起的幾何像質退化引入傳統的遙感圖像降質退化模型（式（4）），建立完整的非規則采樣圖像的像質退化模型為

式中H表示h對應的模糊算子．

可見，該模型既能夠表征遙感成像過程中各環節引起的模糊退化，又能夠表征TDICCD非規則采樣引起的幾何像質退化.非規則采樣圖像的復原問題就是利用g、H和n估計原始場景圖像u．

2.2 非規則采樣遙感圖像復原方法

非規則采樣圖像復原問題即是對像質退化模型（式（10））的逆求解，可通過如下最小化問題的求解實現［15］:

式中λ為拉格朗日乘子．則圖像復原的求解問題轉換為

即在滿足約束條件｜｜SH＾u-g｜｜≤η的情況下，尋找＾u的最優解，因此解可以通過逼近式（13）得到:

引入權重矩陣W，其法方程為

式中:?表示共軛轉置，W用于均衡采樣不均勻對方程組條件數的影響．假設空域坐標（k，l），采樣位置落在矩陣區域［k，k+1］×［l，l+1］的像元有nkl個，則該區域像元權重W=diag｛wi｝滿足條件wi=1／nkl．

簡記為

因為A是對稱正定陣，因此利用共軛梯度法逼近式（15）的解．顯然，只要選擇適當的迭代終止條件，就可以近似求得最優解＾up，對其進行快速傅里葉逆變換，即得到理想圖像的估計．

2.3 圖像復原方法的快速求解

令T=S?WS，S表示頻域到空域的插值，?表示共軛轉置，S?表示空域到頻域的插值，實際運算取S?=（1／N2）｛ski｝?進行歸一化，W為對角矩．

為了實現方程（15）的快速求解，本文采用了基于非均勻快速傅里葉變換的頻域插值方法［16-17］．事實上，當S為此類算法時，根據矩陣運算法則得出:

式中:k，l，m，n∈［1，N］∩Z；k，l對應矩陣S?；m，n對應矩陣S．

此時:注意到T是Toeplitz分塊矩陣，T中具有一定的循環結構．這樣，可以通過對T矩陣進行擴展，從而構造循環矩陣:

事實上，假設a為列向量，則Ta的求解問題即可轉化為

式中T表示矩陣轉置.

因此，方程（15）即可轉換為基于Toeplitz矩陣系統的線性方程系統［18］，這樣就可以利用快速傅里葉變換進行快速計算［17］，其輸出結果的上半部分｛bi｝N-1i=0即為Ta運算結果，實現了復原問題的快速運算．

3 仿真實驗及分析

3.1 像質退化圖像仿真

利用式（10）仿真TDICCD推掃成像過程，模擬生成不同程度模糊、非規則性幾何降質和噪聲條件下的標準場景退化圖像.標準場景是采用經過幾何精校正后的高分辨率衛星圖像，即認為沒有任何幾何變形，并且對原始圖像進行了4倍欠采樣，以消除原始圖像中模糊與噪聲的影響.

考慮到對于光學遙感圖像而言，圖像模糊通常可近似為高斯模糊形式，而絕大多數噪聲都可用均值為0、方差各異的高斯白噪聲模型來表示，因此本文通過加入模糊核α∈［10-4，4×10-4］的高斯型模糊函數和標準差σ∈［0.25，1］的加性高斯白噪模擬不同模糊和噪聲引起的像質退化．并采用式（2）模擬振動所致像元非規則采樣引起的幾何降質退化．

3.2 圖像復原的客觀評價方法

結構相似度（structural similarity，SSIM）［19-20］是一種衡量兩幅圖像相似程度的全參考評價方法，相比較傳統的峰值信噪比和均方誤差評價方法，SSIM將圖像的亮度、對比度和結構信息作為3個相互獨立的評價標準來比較，圖像的對比度能夠很好地反映圖像的模糊程度，而結構信息能夠很好地反映圖像的幾何失真程度.因此，采用SSIM來評價復原方法的處理效果，既可以對不同類型的圖像退化，有針對性的選擇一種評價標準，實現模糊或幾何降質退化處理情況的獨立評價，又可以選擇三者或兩者結合的方式，實現算法對模糊與幾何降質退化綜合處理情況的評價.

在復原算法實驗中，采用SSIM并結合主觀視覺作為評價依據，對比分析復原方法在不同場景對象與像質退化條件下的復原結果，復原后的圖像與標準場景圖像的SSIM值越大，說明復原方法的處理效果越好.并且，通過統計復原算法的處理迭代次數和運算時間，分析算法的運算效率.

3.3 實驗驗證與分析

為了直觀顯示圖像復原方法對幾何像質退化的復原效果，首先設計了兩個測試圖形，分別為垂直與水平方向、45°與135°方向間距遞變的多條亮條紋構成的線型網格，并結合3.1節仿真生成不同振動情況下相機非規則采樣的圖像，如圖2（a）和（b）所示，圖中的亮條紋出現了明顯的幾何扭曲.

利用本文提出的復原算法進行處理，復原結果如圖2（c）和（d）所示.從視覺效果明顯看出，復原后圖像中的亮條紋已無明顯幾何變形，恢復了測試圖形本來的面貌.

圖2 測試圖形圖像復原實驗

下面結合3.1節仿真生成的多組標準場景退化圖像（圖像大小為512×512），并通過與傳統復原算法處理結果的對比，進一步驗證復原算法的有效性.圖3（a）和（b）列出了兩組包含較為嚴重模糊、非規則性幾何降質和噪聲條件下的退化圖像.圖3（c）和（d）、（e）和（f）分別為采用針對模糊退化［4］和幾何降質復原算法［7］的圖像復原結果.圖3（g）和（h）為采用本文提出的復原算法的圖像復原結果，對比圖中方框區域處理前后的視覺效果可明顯看出:傳統的復原算法無法實現圖像模糊和非規則幾何降質的綜合處理，而本文提出的復原算法能夠有效增強原退化圖像中的邊緣銳度和細節信息的同時，還能夠很好地消除圖像中的幾何扭曲.

表1～2列出了利用SSIM對復原前后圖像質量的客觀評價結果.表中OSSIM、PSSIM分別表示標準場景圖像（理想圖像）與退化圖像、復原后圖像的SSIM值.

圖3 標準場景圖像復原實驗

表1 場景1退化圖像的仿真條件與復原結果

表2 場景2退化圖像的仿真條件與復原結果

由表1～2可見，對存在不同程度模糊、非規則性幾何變形和噪聲的仿真退化圖像，復原算法均能夠有效提升SSIM，甚至在嚴重模糊、幾何變形和高噪聲水平的條件下，復原后的圖像與標準場景圖像（理想圖像）的SSIM值仍優于0.93.并且，當圖像大小為512×512時，復原算法能夠通過20次左右迭代，在數秒內達到最優解，實現非規則采樣退化圖像的復原處理，具有較高的運算效率.

4 結 論

1）分析了衛星振動導致的TDICCD相機非規則采樣對幾何成像質量的影響規律，并通過基于非均勻快速傅里葉變換的頻域插值對其建模引入遙感圖像退化過程，從而建立了更為完善的非規則采樣遙感圖像退化模型，在此基礎上提出了一種更適合于航天TDICCD相機振動降質圖像處理的復原方法.

2）利用非均勻快速傅里葉變換的頻域插值特性構造了具有特定結構的循環矩陣，將退化模型逆求解過程轉換為Toeplitz矩陣線性方程求解問題，從而基于Toeplitz矩陣系統方程理論，給出了模型逆求解的快速運算方法，使復原算法具有較高的運算效率.

3）對不同場景類型和降質條件的遙感退化圖像復原結果進行了比較評價，結果表明本文提出的復原方法既能夠有效的去除圖像的模糊，也能夠對振動所致非規則采樣引起的幾何降質進行較好處理，在嚴重模糊、幾何變形和高噪聲水平的條件下，復原后的圖像與理想圖像的SSIM值仍優于0.93.并且，復原算法具有較高的處理速度.

［1］HADAR O，DROR I，KOPEIKA N S.Numerical calculation of imagemotion and vibrationmodulation transfer functions-a new method［C］／／International Society for Optics and Photonics.San Diego，CA:［s.n.］，1991:61-74.

［2］STERN A，KOPEIKA N S.Analyticalmethod to calculate optical transfer functions for image motion and its implementation in vibrated image restoration［C］／／Nineteenth Convention of Electrical and Electronics Engineers in Israel，1996.Piscataway:IEEE，1996: 379-382.

［3］STERN A，KOPEIKA N S.Optical transfer function analysis of images blurred by non-harmonic vibrations characterized by their power spectrum density［J］. Journal of the Optical Society of America A:Optics Image Science and Vision，1999，16（9）:2200-2208.

［4］YANG H L，HUANG P H，LAISH.A novel gradient attenuation Richardson-Lucy algorithm for image motion deblurring［J］.Signal Processing，2014（103）:399-414.

［5］耿文豹，翟林培，丁亞林.振動對光學成像系統傳遞函數影響的分析［J］.光學精密工程，2009，17（2）: 314-320.

［6］GR?CHENIG K，STROHMER T.Numerical and theoretical aspects of nonuniform sampling of band-limited images［J］. Nonuniform Sampling，Information Technology:Transmission，Processing，and Storage.Berlin:Springer，2001:283-324.

［7］CHEN H C，WANGW J.Locally edge-adapted distance for image interpolation based on genetic fuzzy system［J］.Expert Systems with Applications，2010，37（1）: 288-297.

［8］Le FLOCH H，LABIT C.Irregular image sub-sampling and reconstruction by adaptive sampling［C］／／International Conference on Image Processing. Piscataway:IEEE，1996，3:379-382.

［9］KEYW R.Cubic convolution interpolation for digital image processing［J］.Acoustics，Speech and Signal Processing，1981，29（6）:1153-1160.

［10］VAZQUEZC，DUBOISE，KONRAD J.Reconstruction of nonuniformly sampled images in spline spaces［J］. IEEE Transactions on Image Processing，2005，14（6）: 713-725.

［11］TAM W S，KOK C W，SIU W C.Modified edgedirected interpolation for images［J］.Electronic Imaging，2010，19（1）:013011-1-013011-20.

［12］HOLST G C.Electro-optical imaging system performance［M］.Bellingham，Washington:Winter Park，Florida and SPIE press，2003.

［13］FIETE R D，TANTALO TA.Image quality of increased along-scan sampling for remote sensing systems［J］. Optical Engineering，1999，38（5）:815-820.

［14］ANDREWSH C，HUNT B R.Digital image restoration［M］.Englewood Cliffs，NJ:Prentice-Hall，1977.

［15］CHAMBOLLE A.An algorithm for total variation minimization and applications［J］.Journal of Mathematical Imaging and Vision，2004，20（1／2）:89-97.

［16］BEYLKIN G.On the fast Fourier transform of functions with singularities［J］.Applied and Computational Harmonic Analysis，1995，2（4）:363-381.

［17］POTTSD，STEIDLG，TASCHEM.Fast fourier transforms for nonequispaced aata:a tutorial［M］.Boston: Birkh?user，2001:247-274.

［18］BRENT R P，GUSTAVSON F G，YUN D Y.Fast solution of Toeplitz systems of equations and computation of Padéapproximants［J］.Journal of Algorithms，1980，1（3）:259-295.

［19］WANG Z，BOVIK A C，SHEIKH H R.Image quality assessment:from error visibility to structural similarity［J］.Image Processing，2004，13（4）:600-612.

［20］LIC，BOVIK A C.Three-componentweighted structural similarity index［C］／／IS＆T／SPIE Electronic Imaging，International Society for Optics and Photonics. Bellingham WA:SPIE，2009:72420Q-1-72420Q-9.

（編輯張 宏）

Restoration of irregularly sampled image degradation due to satellite vibrations

ZHIXiyang，ZHANGWei，LILiyuan，SUN Xuan

（Research Center for Space Optical Engineering，Harbin Institute of Technology，150001 Harbin，China）

A new method is proposed to solve a problem of image restoration which would be degraded by TDICCD irregular sampling process owning to satellite vibrations.Firstly，the rules of image geometric quality degradation ismathematicallymodeled using unequally spaced fast Fourier transform（USFFT）interpolation，and then a full image degradation model is developed combined with the blurred degradation process. Subsequently，the inverse solution problem of the model equations is transformed into a system of linear equationswith a Toeplitzmatrix as system matrix on the basis of the USFFT interpolation characteristics.And then the equations can be sovled efficiently.Then，a new method of image restoration is presented，which can implement not only deblurring but also irregular to regular sampling.Finally，the method is verified using simulated standard pattern and real remote sensing images.Experimental results indicate that the proposed method is able to improve the irregularly sampled image effectively，and ithas fast computation.The Structural Similarity index between the restored and ideal images is no less than 0.93 in the case of seriously blurred，irregularly sampled and noisy images.The proposed approach can be applied to restore the irregular sampling images owning to on-orbit vibrations effectively.

satellite vibrations；irregular sampling；geometric degradation；degradationmodel；image restoration

TP751.1

A

0367-6234（2014）09-0009-06

2013-10-22.

國家自然科學基金資助項目（61007008）.

智喜洋（1982—），男，講師；張 偉（1962—），男，教授，博士生導師.

張 偉，wzheng5＠hit.edu.cn.