吉林一號衛星視頻影像超分辨率重建

卜麗靜， 鄭新杰， 肖一鳴， 張正鵬

(1.遼寧工程技術大學測繪與地理科學學院,阜新 123000; 2.黑龍江地理信息工程院，哈爾濱 150081)

吉林一號衛星視頻影像超分辨率重建

卜麗靜1， 鄭新杰2， 肖一鳴2， 張正鵬1

(1.遼寧工程技術大學測繪與地理科學學院,阜新 123000; 2.黑龍江地理信息工程院，哈爾濱 150081)

針對吉林一號(Jilin-1)衛星視頻影像的超分辨率重建問題，在分析衛星視頻與普通視頻及遙感影像不同特性的基礎上，研究了在成像場景內含有運動物體情況下，Vandewalle方法和金字塔LK(Lucas-Kanade)光流法運動估計方法的適用性。同時，針對目前中值平移并添加(median shift and add, MSA)方法在視頻衛星影像重建中因幀間缺少互補信息而引起的邊緣信息不清晰問題，提出了新的中值平移并添加(new median shift and add,NMSA)方法。首先，根據重建的倍數建立重建前、后的空間分辨率格網，并將2個格網統一到1個空間內； 然后，以待確定的重建后影像格網像元為中心，確定參與估計的低空間分辨率像元值，利用容許誤差確定重建后的像元值。通過利用吉林一號(Jilin-1)衛星數據進行實驗，驗證了NMSA方法的有效性。

衛星視頻； 超分辨率重建； 全局運動估計； 中值平移并添加(MSA)

0 引言

衛星視頻數據不僅包含豐富完整的地物信息，而且可獲取目標的速度和方向等重要信息，比傳統的靜態影像更具優勢。目前，國內外對視頻衛星的研制開發逐漸成為了遙感領域的又一熱點。其中，加拿大Skybox Imaging公司在2013年11月21成功發射的世界上第一顆商用高空間分辨率視頻衛星SkySat-1引發了國內外對視頻衛星的研究熱潮[1]。2015年10月7日我國首顆商業遙感視頻成像體制星載一體化靈巧衛星“吉林一號(Jilin-1)”成功發射升空。該衛星組星包括1顆光學遙感衛星、2顆視頻衛星和1顆技術驗證衛星，工作軌道均為約650 km高的太陽同步軌道，影像的空間分辨率可達1.12 m。然而，由于星載遙感成像系統在成像過程中受到了多方面降質因素的影響，使得最終獲得的衛星視頻存在空間分辨率降低的現象，在一定程度上限制了衛星視頻數據的應用。因此，如何提高衛星視頻數據的空間分辨率已成為研究熱點。目前，主要的解決辦法有改進CCD或CMOS傳感器硬件設備和進行后期影像處理2種途徑。前者成本高且有明顯的局限性； 而后者，即開發超分辨率重建(以下簡稱超分重建)影像處理軟件的方法具有成本低且實用的優點，故目前對超分重建的研究較多[2]。

超分重建主要包括運動估計、幾何形變、信息融合及去模糊和噪聲等方面的問題[3]，其中運動估計和超分重建算法占有重要的地位。對于衛星視頻影像重建問題，由于視頻影像序列間因成像系統角度變化、場景移動等原因導致視頻幀間存在一定的位移，運動估計即為視頻幀間位移矢量的求解。根據袁小華等[3]的論證可知，只有當影像序列存在亞像元位移時，低空間分辨率影像間才存在可用來提高空間分辨率的互補信息； 所以，亞像元級的運動估計結果是解決超分重建問題的關鍵之一。超分重建方法對重建結果的影響也非常大，目前超分重建方法較多，如頻率域方法、空間域方法、基于邊緣與區域的方法及基于學習與識別的方法等[3]。空間域的經典方法較多，如迭代反投影(iterative back-projection,IBP)方法[5]、凸集投影方法[6]、最大后驗概率估計法[7]、平移并添加(shift and add,SA)方法[8]和中值平移并添加(median shift and add,MSA)方法[9]等。上述方法都具有各自的優缺點，根據不同的數據源需要選擇不同的處理方法。但是，目前大多數方法的適應性都非常有限，特別是針對數據量龐大的衛星視頻序列影像，需要計算復雜度低、效率高、效果好的重建方法。MSA方法具有計算速度快、魯棒性好等優點，但要求低空間分辨率影像序列必須滿足一定的平移關系。當低空間分辨率影像序列的幀間平移關系不能滿足理想條件(如運動方向固定)時，即使參與重建的低空間分辨率影像的幀數滿足充分條件，也會出現影像間互補信息缺失嚴重的情況，因而所得影像中只有少部分位置有像元值，其余都是0值，出現了“黑色格網”現象。所以，重建方法的選擇是超分重建的主要問題。

本文以Jilin-1衛星視頻影像為數據源，對比分析了視頻衛星影像、普通視頻影像和衛星影像之間的不同，重點研究運動估計方法和重建方法； 通過詳細實驗分析了Vandewalle方法和金字塔LK(Lucas-Kanade)光流運動估計方法的適用性； 同時提出了新的中值平移并添加(new median shift and add,NMSA)超分重建方法，并進行了實驗驗證。

1 衛星視頻影像特點及主要研究問題

1.1 衛星視頻影像特點分析

衛星視頻影像通常在距地表幾百km的上空獲取(如SkySat-1和Jilin-1視頻衛星分別運行在450 km和650 km的太陽同步軌道上)，所以單幀影像的成像幅寬比普通視頻大得多，能夠俯視拍攝地球表面更多的地物信息。而普通視頻拍攝的場景范圍非常有限(如校園某一角、人物和車輛等)，拍攝內容簡單，目標數目不多； 衛星視頻的內容通常同時包括居民地建筑、河流和森林等。普通視頻影像序列間的位移主要來自相機的運動，這種運動與相機拍攝時的方式(如支點固定轉動或整體移動等)有關； 衛星視頻則與衛星系統穩定性和成像方式有關，影像序列的運動情況具有一般性。與一般遙感衛星影像相比，衛星視頻影像的最大優勢是具有時間特性，能夠拍攝地面運動物體(如圖1(b)紅框區域)，即靜態、運動物體(如大面積的地表建筑與行駛的汽車、飛行的飛機)均能記錄。雖然普通視頻中也有靜態和動態物體共存的現象，但在整個成像幅寬內動、靜態物體的比例會有很大不同，這些不同使衛星視頻影像比傳統的靜止影像更具備監測運動目標的應用潛力，能夠對環境進行持續監測。圖1示出衛星視頻與普通視頻和遙感影像的對比，表1列出3種影像的參數對比。

(a) SkySat1衛星視頻 (b) Jilin-1衛星視頻 (c) 風景普通視頻(d) 普通衛星遙感影像

圖1衛星視頻與普通視頻和遙感影像的對比
Fig.1Comparisonbetweensatellitevideoandcommonvideoaswellasremotesensingimage

表1 衛星視頻與遙感影像和普通視頻影像的區別Tab.1 Difference between satellite video and common video as well as remote sensing image

1.2 運動估計與超分重建

影像的超分重建是影像獲取的逆過程，是通過融合同一場景的多幀低空間分辨率(low resolution,LR)影像的互補信息進而生成高空間分辨率(high resolution,HR)影像或序列的過程[4]。假定一個連續的動態場景在某個攝像時刻t，由于拍攝場景和相機之間的相對運動在相機鏡頭中發生了扭曲形變，同時在大氣湍流Hatm(x,y)和相機鏡頭連續點擴散函數Hcam(x,y)的作用下變得模糊，最后再經由CCD傳感器將原始的連續場景離散化； 上述過程中因量化噪聲等原因，會使實際拍攝場景的影像信號進一步退化，最終形成含有噪聲的觀測影像。上述過程可表達為

Yk=DkHkFkX+Vk(k=1,……,N),

(1)

式中 ： “_”代表矩陣的堆疊形式； 假設觀測到的LR影像在成像過程中水平和垂直方向的降采樣因子均為r，那么Yk則是第k幀低LR影像；X為HR影像；Fk為形變(平移、旋轉等)矩陣；Hk為總體模糊矩陣；Dk為欠采樣矩陣；Vk為加性噪聲。理論上，影像重建需要在去除Vk的基礎上，估計出Hk,Dk和Fk進行求解[10]。本文主要討論影像重建中的運動估計方法和重建方法。運動估計對超分重建結果影響較大，一般來說，運動估計結果是否精確，決定了重建過程中LR影像的像元值在HR影像中的對應關系是否正確。同時，目前的重建方法對衛星視頻龐大數據的適應性都非常有限，存在計算復雜度高、耗時長的問題，因此尋找計算復雜度低、效率高、效果好的重建方法也是非常必要的。

2 運動估計方法分析及實驗

2.1 運動估計方法分析

視頻影像通常由背景和前景構成，背景是指在視頻中靜止的且具有攝像機運動特性的地物部分，其運動是由攝像機運動造成的； 前景是指同時具有攝像機運動和自身運動特性的物體部分，其運動是指相對于背景的運動。攝像機的運動是一種全局運動，因此造成的影像變化是一種全局變化，并且影像內各物體的變化是一致的； 而前景運動是攝像機和物體本身運動的綜合體現，亦稱局部運動。圖2說明了全局運動與局部運動的關系。

(a) 全局運動 (b) 局部運動

圖2全局運動與局部運動的關系

Fig.2Relationshipbetweenglobalmotionandlocalmotion

從視頻影像來看，既有靜止物體又有運動物體，就需要進行估計全局運動和局部運動。如何選擇合適的運動估計方法是影像重建中的重要問題。由于在同時含有靜止物體(如農田)和運動物體(如車輛)的衛星視頻中，一般在道路區域才有運動的車輛(如圖1(b)中的紅框區域)，而且車輛在整幀影像中的比例相對于靜止物體也非常小。因此，本文選擇利用全局運動估計方法進行運動估計。但這樣會使影像中運動物體的運動估計結果存在誤差，最終導致影像重建效果不佳。運動物體對全局運動估計結果的影響和方法的實用性是本節討論的重點。在全局運動估計方法中，是否能夠達到亞像元位移的估計精度非常重要，它決定了幀間非冗余信息融合程度的好壞。其中，Vandewalle方法和金字塔LK光流法是較為經典的亞像元運動估計方法。Vandewalle方法是一種頻率域全局運動估計方法，該方法利用傅里葉變換平移特性，通過求解等式方程得到2幀影像間的平移參數； 而且即使是影像包含了混疊現象，該方法利用影像的低頻信息、通過相位差仍然可以計算出平移量。LK運動估計方法是空間域基于光流場的運動估計方法。若將空間運動物體在觀測成像面上像元運動的瞬時速度稱為光流，則影像灰度模式的表觀運動就是光流場。金字塔LK光流法實際上是在傳統光流的基礎上加入了分層計算的思想，使該方法既能滿足局部運動估計的準確性，又能更好地適應影像幀與幀之間的大運動。本節主要討論這2種方法如何進行衛星視頻序列幀間平移參數的求解。但在理論上，運動物體會對全局運動估計產生干擾，降低其準確性。因此，分別對影像序列中含有運動物體區域和靜止區域進行運動估計，以探討上述方法對衛星視頻超分重建的適用性。

2.2 全局運動估計實驗及分析

本實驗討論衛星視頻影像中包含運動車輛時，運動目標對全局運動估計的影響。選取SkySat-1衛星含有不同運動目標的20幀視頻影像為實驗數據，每幀影像大小為350像元×150像元(圖3)。在影像中選取了靜止的建筑物區域(紅色矩形區域，160像元×120像元)和運動車輛密集區域(黃色矩形區域，140像元×100像元)進行局部運動估計，將其估計結果與全局運動估計結果進行對比。

(a) 第1幀(b) 第7幀(c) 第13幀(d) 第20幀

圖3SkySat-1衛星視頻影像序列

Fig.3VideoimagesequenceofSkySat-1

實驗方法是首先對整景影像的全局運動進行估計，然后分別對紅框和黃框內的區域進行局部運動估計，進而分析全局和局部運動估計的關系。表2給出了Vandewalle方法和金字塔LK光流法對整景影像的運動估計結果。為了驗證實驗前、后運動估計結果的準確性，實驗中以第1幀影像為參考幀，對其他視頻幀序列進行亞像素位移的運動模擬，以此模擬值作為參考真值(見表2中的“真值”項)。

從表2可以看出，2種方法的全局運動估計結果與真實值非常接近，絕對誤差最大值和均方根誤差均不超過0.1個像元。可見對于上述2種方法，密集的運動車輛對全局運動估計結果幾乎沒有影響，說明當衛星視頻序列影像包含少部分運動車輛時，運動車輛對全局運動估計的干擾可以忽略。

表3為分別對建筑物區域和車輛密集區域進行運動估計的結果，其中真值與表2中的相同。

表3 建筑物區域和車輛密集區域運動估計結果Tab.3 Motion estimation results of buildings region and dense vehicle region (像元)

由表3可知，在車輛密集區域，Vandewalle方法估計精度不高，估計值的絕對誤差最大為第16幀的x方向，估計值為0.24，真值為0.47，偏差-0.23個像元，運動估計的均方根誤差最大為0.16個像元，可見在這一區域Vandewalle方法的估計精度受車輛的影響尤為明顯。通過分析可知，運動目標在影像中所占的比例是影響Vandewalle方法估計精度的一個主要因素，本實驗中車輛密集區域的車輛在影像中表現為高頻信息，對該區域而言，低頻信息仍然不足，因此估計精度下降。相比之下，金字塔LK光流法在這一區域的絕對誤差最大為第20幀的x方向，估計值為-0.01，真值為-0.12，偏差0.11個像元，運動估計的均方根誤差最大為0.08個像元，可見比Vandewalle方法受車輛干擾小。在建筑物區域，2種方法獲得的估計值都與真值相近，估計值的絕對誤差最大為金字塔LK光流法的第20幀的x方向，估計值為0.07，真值為-0.12，偏差-0.19個像元，均方根誤差均不超過0.14個像元，都高于車輛密集區域的估計精度。但與整幀影像的運動估計結果相比，Vandewalle方法的估計精度有所下降。這說明影像尺寸對Vandewalle方法的估計精度有影響，影像尺寸小相當于影像包含的信息少，從而影響了運動估計精度。因此，從Vandewalle方法本質上分析，該方法的估計精度取決于參與運動估計的低頻信息量的多少，當低頻信息足夠時，Vandewalle方法精度較高； 低頻信息不足時，則估計精度較低。

圖4給出了整幀影像、建筑物區域和車輛密集區域的運動估計值均方根誤差。

圖4 不同運動估計值均方根誤差比較Fig.4 Comparison of RMS errors of different motion estimations

從圖4可以看出，對整幀影像而言，Vandewalle方法和金字塔LK光流法的全局運動估計精度都非常高，估計值幾乎未受到運動車輛的干擾，其中Vandewalle方法的精度更高。在建筑物區域，2種運動估計方法也能保證精度，但金字塔LK光流法的估計精度超過了Vandewalle方法。在車輛密集區域，金字塔LK光流法幾乎不受車輛運動影響，能夠得到滿足一定精度的估計值； 而Vandewalle方法受車輛干擾嚴重，無法保證估計精度。

2.3 運動估計實驗結論

總結實驗結果，可得到以下結論：

1)全局運動估計對衛星視頻超分重建具有普遍適用性。當視頻影像包含運動汽車時，其對全局運動估計的影響可以忽略； 即對于衛星視頻影像而言，少量運動目標對其全局運動估計的干擾可忽略不計。

2)當衛星視頻影像包含運動目標時，Vandewalle方法需要足夠的低頻信息來保證估計精度； 當影像過小、低頻信息不足時，Vandewalle方法無法保證精度； 但當低頻信息充足時，該方法在純平移情況下精度非常高。

3)金字塔LK光流法估計精度穩定，受限因素較少； 該方法的估計精度雖然有時不及Vandewalle方法，但該方法不易受影像尺寸等因素的影響，與Vandewalle方法相比更加穩定。

3 NMSA快速衛星視頻重建

3.1 MSA方法

MSA方法是在SA方法基礎上由Farsiu等[9]提出的，p范數估計最小化準則的表達式為

(2)

圖5 MSA方法像元級分析示意圖Fig.5 sketch map for MSA method with pixel level

MSA方法的基本過程如下： ①對LR影像進行運動估計，得到運動參數MPLR； ②根據重建倍數r建立HR影像格網； ③將LR尺度下的運動參數MLR乘以重建倍數r、再四舍五入至整像元，得到HR尺度下的運動參數MPHR； ④將全部LR影像進行添零上采樣(即按運動估計參數值，將各幀LR影像像元值映射到HR影像格網，HR格網中沒有LR影像對應像元的位置用0補充)，得到與HR同尺度的LRUP； ⑤將LRUP根據MPHR在HR影像中對齊； ⑥對齊后，對HR格網上每個位置上的像元值取中值，作為該點的像元值。但當MSA方法要求LR影像序列滿足一定平移關系，而幀間平移關系不理想或估計不準確時，會出現LR影像間互補信息缺失嚴重的情況，得到的新影像部分位置的像元值為0，在影像中會出現邊緣信息不清晰、不連續的現象。

3.2 NMSA方法

針對MSA方法存在的問題，本文提出了NMSA算法。通過分析MSA方法的原理和實現過程可以看出，該方法是從像方角度考慮增加像元數量來達到提高空間分辨率的目的。但從另一個角度來看，由于同一場景成像區域相同，因此像方像元數量的增加實質上就是物方像元尺寸的減小。如果直接從物方考慮，分別建立LR影像坐標系xoy和HR影像坐標系XOY，將2個坐標系的原點重合，則能夠根據重建倍數得到LR像元坐標與HR像元坐標之間的關系，從而求解HR像元值。現假設重建倍數為r，若利用n幀LR影像重建1幀HR影像，那么以第1幀LR影像坐標系xoy的o點為原點，按照LR影像幀間亞像元位移將其他(n-1)幀LR影像的像元復制在坐標系xoy下后，建立HR影像坐標系XOY并與xoy重合； 通過將全部LR影像的像元坐標換算至HR坐標系XOY下，即可根據尋找相同像元坐標來解得HR影像的各個像元值。

建立重建后的高空間分辨率格網后，用容許誤差和參估點計算重建像元值，即

Nl(u,v)={fk(i,j):(X-Xj)2+(Y-Yj)2≤δ2} ,

(3)

式中：δ為容許誤差，0<δ<1；fk(i,j)為第k幀LR影像中的第i行、第j列位置上的像元值；Nl(u,v)為選出的l個參估點； (Xi,Yi)為HR影像待求點的像元坐標； (X,Y)為在容許誤差范圍內的全部像元點坐標。(Xi,Yi)位置的像元值最終取l個參估點的中值。

圖6為δ范圍內參估點選擇示意圖。以待求的HR格網點為中心，藍色圓圈半徑為δ，在圓內的LR像元點均為參估點。HR影像待求點的像元值取所有參估點像元值的中值。

圖6NMSA方法原理

Fig.6SchematicdiagramofNMSAmethod

4 實驗及分析

4.1 實驗數據

本組實驗數據截取自Jilin-1衛星采集的彩色視頻序列影像，該序列影像的成像時間為2015年11月，拍攝地點為墨西哥杜蘭戈。

圖7示出該視頻序列影像中的第1、第5和第15幀影像。

(a) 第1幀 (b) 第5幀 (c) 第15幀

(d) 第1幀(局部) (e) 第5幀(局部)(f) 第15幀(局部)

圖7Jilin-1衛星原始視頻影像序列

Fig.7OriginalvideoimagesequenceofJilin-1satellite

4.2 實驗結果及分析

在影像重建中利用5幀重建1幀，重建倍數為2，容許誤差為0.75，采用金字塔LK光流法估計運動參數。

分別采用雙線性插值、MSA和NMSA方法進行對比，各方法的影像重建結果見圖8和圖9。

(a) 雙線性插值 (b) MSA方法 (c) NMSA方法

(d) 雙線性插值(局部) (e) MSA方法 (局部) (f) NMSA方法(局部)

圖8超分重建結果

Fig.8Resultsofsuper-resolutionreconstruction

(a) 原始LR影像 (b) 雙線性插值 (c) MSA方法(d) NMSA方法

圖9超分重建結果細節對比

Fig.9Comparisonondetailsofsuper-resolutionreconstructionresults

對比圖8和圖9可以看出，雙線性插值、MSA方法和本文采用的NMSA方法在整體上都增加了影像的信息(圖8(a)―(c))。但在細節上雙線性插值法得到的邊緣信息模糊，MSA方法得到的邊緣信息比原始LR影像好，但像元信息過渡不自然，沒有本文方法得到的邊緣細節清晰(圖9)。在對影像中地物的整體處理效果方面，雙線性插值結果改善不明顯； MSA和本文方法在建筑物和車輛等局部信息上改善明顯，而本文方法得到的局部信息更清晰、改善效果更明顯(圖8(d)―(f))。

同時，采用信息熵和信噪比(signal noise ratio,SNR)評價指標進行定量評價。信息熵是評價影像信息豐富程度的指標，該值大小表示影像所包含的平均信息量的含量多少。信息熵值越大，表明影像的信息量越豐富； 反之，信息熵值越小，表明影像信息較少，損失了較多的細節信息。SNR是衡量影像質量高低的一個重要指標，通過比較原始LR影像和重建后影像的SNR，能夠分析出重建后影像的質量是否有所提升。對比結果如表4所示。

表4 超分重建影像客觀指標評價Tab.4 Objective evaluation indexs of super-resolution reconstruction images

從表4可以看出，本文方法和MSA方法超分重建影像的信息熵和SNR值都有所提升，但本文方法的提升幅度較大，說明本文方法對原影像改善較明顯，影像質量得到了提高。

5 結論

本文針對吉林一號(Jilin-1)衛星視頻影像的超分辨率重建問題，分析了衛星視頻影像的不同，研究了運動估計方法的適用性等問題，提出了NMSA重建方法。通過實驗對比分析，得出以下結論：

1)衛星視頻與普通視頻、遙感影像不同，實驗研究結果表明，成像區域在具有車輛等運動目標情況下，場景中運動物體對Vandewalle方法和金字塔LK光流法的精度有一定影響。當影像中含有少量運動目標時，全局運動估計結果可用于超分辨率重建。當影像過小、低頻信息不足時，金字塔LK光流法估計的精度更穩定。

2)本文提出的NMSA超分重建方法改進了MSA方法，通過建立重建前、后統一的坐標空間格網，以重建后影像格網像元為中心，利用容許誤差確定重建后的像元值。對真實衛星視頻的重建實驗證明，該方法能夠很好地改善MSA方法中邊緣信息不清晰的問題。

3)本文僅研究了全局運動估計下的衛星視頻影像超分重建方法，但實際視頻場景中的局部區域仍存在不同運動狀態的目標(如車輛、飛機等)，對于這些運動目標的局部運動估計問題，以及局部運動估計精度對超分重建的影響等方面還需要進一步研究。

志謝： 對武漢大學測繪遙感信息工程國家重點實驗室張過教授研究團隊提供前期數據處理支持和長光衛星公司提供視頻衛星數據表示衷心的感謝！

[1] Murthy K,Shearn M,Smiley B D,et al.SkySat-1:Very high-resolution imagery from a small satellite[C]//Proceedings of SPIE 9241,Sensors,Systems,and Next-Generation Satellites XVIII.Amsterdam, Netherlands:SPIE,2014:92411E.

[2] Nasrollahi K,Moeslund T B.Super-resolution:A comprehensive survey[J].Machine Vision and Applications,2014,25(6):1423-1468.

[3] 袁小華,歐陽曉麗,夏德深.超分辨率圖像恢復研究綜述[J].地理與地理信息科學,2006,22(3):43-47.

Yuan X H,Ouyang X L,Xia D S.An overview on super resolution image restoration[J].Geography and Geo-information Science,2006,22(3):43-47.

[4] Park S C,Park M K,Kang M G.Super-resolution image reconstruction:A technical overview[J].IEEE Signal Processing Magazine,2003,20(3):21-36.

[5] Irani M,Peleg S.Improving resolution by image registration[J].CVGIP:Graphical Models and Image Processing,1991,53(3):231-239.

[6] Stark H,Oskoui P.High-resolution image recovery from image-plane arrays, using convex projections[J].Journal of the Optical Society of America A,1989,6(11):1715-1726.

[7] Schultz R R,Stevenson R L.Extraction of high-resolution frames from video sequences[J].IEEE Transactions on Image Processing,1996,5(6):996-1011.

[8] Elad M,Hel-Or Y.A fast super-resolution reconstruction algorithm for pure translational motion and common space-invariant blur[J].IEEE Transactions on Image Processing,2001,10(8):1187-1193.

[9] Farsiu S,Robinson M D,Elad M,et al.Fast and robust multiframe super resolution[J].IEEE Transactions on Image Processing,2004,13(10):1327-1344.

[10] Farsiu S.A Fast and Robust Framework for Image Fusion and Enhancement[D].Santa Cruz:University of California Santa Cruz,2005.

Researchonsuper-resolutionreconstructionforvideoimageofJilin-1satellite

BU Lijing1， ZHENG Xinjie2， XIAO Yiming2， ZHANG Zhengpeng1

(1.SchoolofGeomatics，LiaoningTechnicalUniversity，Fuxin123000，China; 2.HeilongjiangInstituteofGeomaticsEngineering,Harbin150081,China)

According to the super-resolution reconstruction of Jilin-1 satellite and on the basis of an analysis of different characteristics of satellite video and common video as well as remote sensing image，the authors studied the motion estimation applicability of the Vandewalle method and the method of LK(Lucas-Kanade)optical flow in pyramid under the situation of imaging scene containing moving objects. At the same time, according to the median shift and add(MSA)method, the new median shift and add(NMSA)method was proposed to tackle the problem that the edge information is not clear because of the lack of complementary information between the frames in the video satellite image reconstruction. First, a resolution grid is established based on the multiple of reconstruction, and the two grids are unified into a unified space. Then, the low-resolution pixel values that participate in estimation are determined. With the pixel of the image reconstruction grid to be determined as the center, the allowed error is used to determine the reconstruction pixel values. The experiments using the data of Jilin-1 satellite prove the effectiveness of the method proposed in this paper.

satellite video； super-resolution reconstruction； overall motion estimation； median shift and add(MSA)

10.6046/gtzyyg.2017.04.11

卜麗靜,鄭新杰,肖一鳴,等.吉林一號衛星視頻影像超分辨率重建[J].國土資源遙感,2017,29(4)：64-72.(Bu L J,Zheng X J,Xiao Y M,et al.Research on super-resolution reconstruction for video image of Jilin-1 satellite[J].Remote Sensing for Land and Resources,2017,29(4)：64-72.)

TP 751.1; P 237

A

1001-070X(2017)04-0064-09

2016-04-27；

2016-07-04

國家自然科學基金項目“MRF模型的車載全景視覺位姿估計最優化方法研究”(編號： 41501504)和2016年遼寧省教育廳一般項目“復雜運動場景下衛星視頻的超分辨率重建方法研究”(編號： LJYL011)共同資助。

卜麗靜(1980-),女,博士,副教授,主要從事光學和雷達圖像重建等方面的研究。Email： lijingbu@126.com。

(責任編輯：李瑜)