MTF補償法圖像復原及其對立體定位精度的提升

胡海彥， 楊韞瀾， 方　勇， 江振治， 李贏博

1.信息工程大學地理空間信息學院,河南 鄭州，450052;2.西安測繪研究所,陜西 西安，710054;3.地理信息工程國家重點實驗室,陜西 西安，710054;4.測繪信息技術總站，陜西 西安，710054;5. 北京空間機電研究所，北京，100076

?

MTF補償法圖像復原及其對立體定位精度的提升

胡海彥1，2，3， 楊韞瀾4， 方勇2，3， 江振治2，3， 李贏博5

1.信息工程大學地理空間信息學院,河南 鄭州，450052;2.西安測繪研究所,陜西 西安，710054;3.地理信息工程國家重點實驗室,陜西 西安，710054;4.測繪信息技術總站，陜西 西安，710054;5. 北京空間機電研究所，北京，100076

任何光學成像系統的成像過程都會不同程度地造成物象退化，該退化會影響圖像的輻射和幾何性能。基于調制傳遞函數理論并采用MTFC補償方法，本文設計了一種修正反轉濾波器，并給出了該濾波器下的高分辨立體圖像復原數據處理流程；同時，結合一款北京空間機電研究所研制的空間遙感物理縮比樣機進行了驗證試驗，分析研究了復原后的圖像質量及其對目標立體定位精度的提升潛力，效果明顯。

光學相機系統；MTF；立體定位；幾何量測性能；圖像質量

1　引　言

在光學攝影測量成像過程中，太陽光經由大氣傳輸到地面，與地表發生作用后再通過大氣被相機接收，傳感器將接收到的電磁波能量轉換成可見的光學影像。在這一復雜的電磁波傳導過程中，由于大氣對電磁波的散射和吸收、太陽高度角變化、地形起伏、傳感器探測系統性能差異等各種因素的影響，導致傳感器最終接收到的電磁波輻射產生失真，造成影像模糊，引起影像質量下降。

攝影測量立體測圖過程中，立體圖像定位精度主要取決于攝站位置及目標點立體視角的大小與精度，而同名像點的匹配量測精度是決定立體視角精度的一個主要因素。對于既得高分辨率遙感影像，其幾何構型(立體視角)是確定的，此時若想進一步嘗試提高目標立體定位精度，則要從同名像點的量測精度進行挖掘，這需要展開高質量圖像清晰度復原挖潛研究。基于調制傳遞函數(Modulation Transfer Function, MTF)理論，嘗試進行圖像清晰度提升與圖像復原的相關研究較多，代表性研究可參考相關文獻[1,2,3,4,5,6]，但這些成果僅從圖像復原后信息量的增加方面進行了考察研究，并未就其對圖像立體定位性能的提升進行定量化分析。本文正是針對調制傳遞函數補償(MTFC，Modulation Transfer Function Compensation)，對圖像立體定位能力提升的可能貢獻展開研究，提出了具體的MTFC算法和數據處理流程。試驗表明該成果可以很好地對光學系統退化進行有效補償，從而復原圖像，提高成像質量；尤其是修正改進了一種反轉濾波器，這對像點匹配量測精度提高及物點定位能力提升貢獻很大。

2　MTFC算法與處理流程

構建準確的退化模型是提高影像復原效果的基礎，調制傳遞函數(MTF)既能表征影像的分辨率，又能表征影像的清晰度，它是物理光學中評價光學系統成像性能的一個綜合性指標。所以，如果能夠精確計算或得到影像的MTF曲線，那么，據此建立的圖像退化模型便能很好地刻畫影像退化狀態，理論上便可很好地恢復和復原真實物像。

調制傳遞函數(MTF)這一概念建立于傅里葉變換理論上，從數學分析來看意即任何物體的亮度空間分布都可表示為一組空間頻率譜的組合。在實際攝影成像過程中，任何光學系統都會在一定程度上造成頻率譜的衰減，MTF是對這一衰減的很好表述，調制度及調制傳遞函數的具體定義可參考相關文獻[7,8]。

2.1MTFC模型構建

假設f(i,j)是未退化的原始物像，g(i,j)是實攝的退化圖像，退化的數學模型可表示為g(i,j)=f(i,j)?h(i,j)。其中，h(i,j)為點擴展函數，?為卷積操作。對該式兩邊進行傅里葉變換得：

G(μ,v)=F(μ,v)·H(μ,v)

(1)

其中，H(μ,v)為復數形式，可具體寫為H(μ,v)=|H(μ,v)|eiφ，對幅值作歸一化處理，即使得零頻率處的幅值H(0,0)=1，也很容易印證歸一化后的幅值就是MTF[9]，數學表示即為：

其中，k=|H(0,0)|。則由式(1)得MTF表示下的圖像退化模型為：

G(μ,v)=F(μ,v)·MTF·k·eiφ

(2)

假定MTF對光學系統的影響是圓對稱的，則可以忽略相位的影響，上式可簡化為：

G(μ,v)=F(μ,v)·MTF·k

(3)

式(3)還可進一步考慮噪聲的影響，假定噪聲在頻域下為N(μ,v)，則模型進一步精化成G(μ,v)=F(μ,v)·MTF·k+N(μ,v)，在頻域下影像復原模型為：

最后，作傅里葉逆變換即得到復原圖像。

2.2MTFC處理流程

完整的MTFC數據處理流程包含三個步驟：步驟一：計算獲取MTF曲線；步驟二：構建二維MTF矩陣；步驟三：利用MTF矩陣進行圖像復原。

2.2.1MTF曲線獲取

獲取MTF曲線的主要方法為刃邊法：首先，計算高反差邊緣的亮度分布函數，即邊緣擴展函數(Edge Spread Function，ESF)，然后對其求導得到線擴展函數(Line Spread Function，LSF)，最后作傅里葉變換得到MTF曲線。

實際中需要從圖像中人工選取含有刃邊的目標子圖。所選邊緣應滿足：地物為線狀，具有平直、清晰的邊沿，且邊沿兩側區域的灰度分布比較均勻，這樣的刃邊有利于提取到準確的邊緣擴展函數；從已有經驗來看，邊緣的傾斜度為8°時最佳，最大不超過20°，邊緣的寬度和高度分別在20～40個像素最佳。因為刀刃邊緣的擴散程度可以反映整幅影像的退化程度，所以從子圖中計算出的MTF曲線可以代表整幅圖像的MTF。具體計算步驟如下：

(1)邊緣檢測

對刀刃目標子圖中的邊緣進行檢測，要求邊緣方向必須沿軌或跨軌方向(夾角不能超過一定的閾值，且有長度要求)，最好選擇亮度反差大、信噪比高的邊緣子圖。

(2)邊緣擬合

要求刀刃邊緣盡量平直。由于傳感器成像過程中各種誤差的影響，實際求出的每一行邊緣點的位置多少會有些偏差，這些點并非嚴格位于同一直線上，任何一點相對于直線的偏離都會影響到MTF的計算結果，因此，需要對邊緣檢測結果進行線性擬合，求得最佳近似邊緣直線。

(3)邊緣擴展函數提取

邊緣擴展函數是對刀刃邊緣的系統響應，影像上每一行像素點的灰度分布即為該行的邊緣擴展函數(ESF)。由于光學系統成像是對連續信號的離散采樣，僅通過影像數據的某一行來模擬ESF曲線是遠遠不夠的，傳感器的欠采樣導致的信號混淆現象、相位效應和邊緣的傾斜角都會影響ESF的計算結果，因此，為了得到比較準確的邊緣擴展函數，最直接的方法是通過插值法增加采樣點——比如高斯插值法、Hermite插值法等。

(4)線擴展函數獲取

線擴展函數是邊緣擴展函數的一階變率，實際中用相鄰灰度差值近似替代。

(5)MTF值計算

對線擴展函數進行離散傅里葉變換，取變換后的各分量的模作為各頻率的MTF值，并進行歸一化處理，則得到一系列的MTF值。由于截止頻率處的MTF值趨近于零，若將頻率點以截止頻率為基準作歸一化，則截止頻率值對應為1。

2.2.2構建二維MTF矩陣

以上只求得沿軌或跨軌方向的MTF曲線，而建立MTF復原模型必須重構二維MTF矩陣[10]。常規的處理方法是將這兩個相互垂直方向的MTF向量相乘，即：MTF(μ,v)=MTFμMTFv，式中，MTFμ是頻率μ處沿軌方向的MTF值，MTFv是頻率v處跨軌方向的MTF值。

該方法求得的45°方向的MTF值與沿軌方向或跨軌方向的MTF值差別很大，為了消除這種差異，分別取兩個方向一半頻率處MTF值的平均值再衰減90%作為45°方向一半頻率處的MTF值，再根據兩個方向的比例關系進行插值，即可得到二維插值MTF(μ,v)矩陣。由于模的對稱性，只需求出0～0.5頻率內的MTF值，-0.5～0頻率內的MTF值與此相同，0.5頻率即為截止頻率的一半[11]。

2.2.3圖像復原

在頻域中，基于MTF圖像復原模型為：R(μ,v)=I(μ,v)?P(μ,v)。其中，R(μ,v)為復原影像；I(μ,v)為實攝影像；P(μ,v)為濾波器算子，此時P(μ,v)=1/MTF(μ,v)，這里稱之為直接反轉濾波器。

考慮到噪聲的影響，修正濾波器，令：

式中，Kω為與原影像信噪比有關的先驗常數矩陣，其特點是對噪聲放大進行了有效抑制。該濾波器由法國人維納(Vena)提出[3]，這里稱之為維納濾波器。

進一步考慮到要最大可能地兼顧直接濾波器的特點和消除噪聲影響，以及從一維向量到二維濾波器矩陣構造的便捷性，關鍵是要設計一個函數D(μ,v)，使得

其中，μc為0.5倍的奈奎斯特頻率；μω為MTF等于0.5時的頻率，這里稱之為修正反轉濾波器。

最后，對R(μ,v)進行傅里葉逆變換即可得到復原圖像。

3　試驗驗證

3.1實驗室數據獲取

為了驗證本文的理論和方法，對一款北京空間機電研究所研制的空間遙感物理驗證樣機進行了驗證試驗。該相機采用離軸式光學系統，F系數可變，具備面陣成像和線陣推掃成像兩種模式，采用低畸變反射式的光學系統。其主要系統組成為：FLI科學級面陣CCD，離軸三反光學鏡頭，電控調焦機構，電控可調光闌，濾光輪，計算機控制系統，圖像采集系統及相關配件(圖1)[12]，主要指標見表1。

圖1　物理驗證樣機系統構成

表1物理驗證樣機主要技術性能參數

參數指標分辨率30μrad視場角7°×2°光譜范圍全色0.5～0.8μmCCD類型面陣CCDCCD規模1188×4096像元尺寸9μm×9μm焦距300mmF數8、11、16、22可選

為了進行相機系統及MTFC處理后立體定位能力方面的定量分析，設計并建立了一套分辨率靶標和兩套高精度的幾何靶標控制場(圖2)，其中幾何控制靶標為具有良好漫反射特性的圓形標志：

分辨率靶標(靶場1)采用10線對矩形波，并以45°旋轉四次組合而成；

幾何檢校靶標(靶場2)為600mm×600mm的黑色方形三維靶標，有效標志點個數為45個；

幾何定位精度測試靶標(靶標3)為5000 mm×4177 mm的帶凸起的墻面，有效標志點個數為214個。

實驗中，按一定的攝影要求在不同位置并以不同角度對靶場進行攝影成像，而后進行MTFC數據處理及相機檢校與定位分析，并對兩個幾何靶場進行交互比對分析。

圖2　用于試驗驗證的3個靶場(依次為靶場1、2、3)

3.2MTFC處理結果

試驗中先利用分辨率靶標提取MTF曲線。圖3(a)是相機系統在實驗室拍攝的多張分辨率靶標影像中的一張(為了驗證MTFC方法的有效性，拍攝中適當調整相機光圈、快門及攝影距離等攝影參數，而且某種程度地人為增大影像的“模糊”度及噪聲)，圖3(b)是對應的頻譜圖。

(a) (b) (c)圖3　實驗室分辨率靶標影像(a)、頻譜圖(b)及刀刃邊緣子圖(c)

在這些分辨率靶標圖像中，可按2.2小節所述，適當地選取刀刃邊緣子圖用于MTF曲線提取，見圖3(c)(局部放大)。圖4(a)、(b)和(c)分別是由分辨率靶標影像處理后獲得的ESF、LSF及MTF曲線。在獲取MTF曲線時，刀刃圖像的質量、邊緣的平直程度、傾斜角以及不同的插值方法等都會影響計算結果，需要反復嘗試以得到盡可能準確的MTF值。如圖4所示，邊緣兩側的曲線呈小幅振蕩，這是由于兩側灰度分布不均引起的。在進行傅里葉變換之前，可對該曲線作適當的截取，只留下邊緣及擴散區域(圖4(b)中粗線)，然后以0代替被裁切部分，這樣可以彌補刀刃邊緣兩側灰度不均勻缺陷。

(a) (b) (c)圖4　ESF曲線(a)、LSF曲線(b)及對應的MTFF曲線(c)

根據水平和垂直方向的MTF值求得的0～0.5頻率范圍內二維MTF矩陣如下式：

利用此矩陣可以進行圖像復原，但需要注意，若直接利用2.2小節所述的反轉濾波算子進行復原，從復原后的頻譜圖(圖5(a))可以看出，高頻部分被過分提升，噪聲被放大，這種方法不可取；從維納濾波算子處理的影像頻譜圖(圖5(b))可以看出，高頻信息得到明顯的加強；而修正反轉濾波器復原的頻譜圖(圖5(c))表明，高頻部分提升更為明顯，且在垂直和水平線上的高頻部分沒有加強反而減弱，這說明該方法對噪聲有很好的抑制作用。

圖5　直接反轉濾波算子(a)、維納濾波算子(b)及修正反轉濾波算子(c)處理下的頻譜圖

將分辨率復原圖像(圖6、圖7)與原始攝影數據(圖3)進行目視比較，可以看出邊緣細節得到增強，影像反差提高，圖像清晰，視覺效果明顯改善。但是，相對而言，采用維納濾波器復原的影像要比修正反轉濾波器復原的影像柔和一些。

為了對影像復原效果進行定量分析與評估，這里統計了處理前后影像的熵、影像對比度、邊緣能量等參數，結果列于表2。

圖6　維納濾波復原圖像　　　　　　　　　　　圖7　修正反轉濾波復原圖像

表2圖像復原前后一些像質參數對比

影像局部均值均方差對比度熵邊緣能量平均梯度原始影像136.3126.96330.6466.3246.5884.637維納濾波復原影像133.9730.04682.7676.70030.6958.595修正反轉濾波復原影像136.3732.76992.6476.919196.32916.037

該表中統計參數的計算采用如下公式[13]：

(1)影像熵

其中，i為灰度級；bi為第i級灰度值；P(bi)為bi出現的概率。影像熵越大，說明影像紋理越豐富。

(2)影像對比度

影像對比度可以理解為紋理的清晰度。

(3)影像邊緣能量

邊緣是影像關于形狀特征和細節的重要信息。邊緣是高熵信息，但不同于噪聲，帶有方向性，可通過各向異性的濾波器來提取。用45°、135°兩個歸一化邊緣算子E1、E2分別對影像進行卷積計算，便可消除馬賽克效應，相加后可得到影像的邊緣e(i,j)，即：

e(i,j)=E1?f(i,j)+E2?f(i,j),

其中:

邊緣能量定義為

式中，e(i,j)為影像邊緣像素(i,j)的灰度值。影像邊緣能量說明影像中邊緣的豐富程度和清晰度，邊緣能量數值越大，影像質量則越高。

整體上講，影像對比度和梯度指標的增長說明影像中銳化的信息量的增加；熵和邊緣能量指標的增長說明影像中紋理信息的增加。因此由表2不難看出，修正反轉濾波的影像復原效果要明顯優于維納濾波器的影像復原效果。為了進一步驗證像質的提高對立體定位能力的貢獻，本文進行了相關的立體定位試驗。

3.3立體定位試驗分析

以靶場2為相機檢校靶場，使相機位于三個不同位置，以不同視角盡可能在每個位置滿幅拍攝四張影像(每旋轉90°成像一次)，共計12張。以靶場3為相機量測性能評估測試靶場，在十個攝站位置，以2排5列進行有常規重疊度的正直攝影(基高比約0.6)，共計10張。采用美國V-STARS(Video-Simultaneous Triangulation and Resection System)三維坐標測量系統[14]對幾何靶標進行了高精度控制測量，X、Y、Z方向上的精度優于50μ。

圖8　檢校靶場2原始攝影影像

圖9　修正反轉濾波復原圖像

以所有幾何靶標為圓形標志，為了高精度量取靶心像點坐標，本文采用致密度圓心檢測算法提取標志點圓心坐標[15]。致密度是用來刻畫物體邊界的復雜程度，也稱為分散度，其定義為區域周長P的平方與面積A的比值：C=P2/A。致密度描述了區域單位面積的周長大小。致密度大，表明單位面積的周長大，即區域離散，為復雜形狀；反之，為簡單形狀。當圖像區域為圓時，C有最小值4π。理論上，該算法的理論誤差優于10%(具體精度一定程度上依賴圖像質量)。

為了檢核MTFC對立體定位精度提高的顯著性，基本做法是對檢校靶場2和測試靶場3的所有拍攝影像進行MTFC處理后，進行相機檢校和定位試驗，且與未進行MTFC處理的結果進行比對。圖8、圖9為檢校靶場2原始攝影影像和經由修正反轉濾波器復原后的影像示意。比對分析發現，靶標的檢測量測精度分別為22%和9%，MTFC前后量測精度相對提高了60%。在此基礎上，采用以附加參數擴展理想成像模型的方式對相機進行幾何檢校(物像關系見下面公式，數據處理細節可參考文獻[15])：

x=Fx(X,Y,Z,X0,Z0,ω,φ,κ,xp,yp,c,Δx)

y=Fy(X,Y,Z,X0,Z0,ω,φ,κ,xp,yp,c,Δy)

進一步將相機幾何檢校參數用于靶場3的定位試驗分析：選取15個標志點為控制點，其余作為檢查點。實施區域網空中三角測量加密數據平差處理后，檢查點的定位精度統計結果見表3。物理驗證樣機的實驗數據在MTFC前相對高程精度為2.264GSD，利用MTFC方法后高程精度為1.583GSD，在現有的噪聲條件下，精度提高了約30%。

表3檢查點定位精度統計

定位精度DXDYDZmmGSDmmGSDmmGSDMTFC前0.7310.8403.5744.1081.9702.264MTFC后0.5120.5882.4902.9411.3821.583

4　結　論

本文給出了用于高分辨率遙感影像去模糊的調制傳遞函數補償(MTFC)理論、方法和具體數據處理流程，并利用一款空間遙感物理縮比樣機進行了實驗室仿真驗證試驗，尤其是在布設高精度幾何靶場的基礎上，同時驗證了MTFC方法對于影像立體定位能力的貢獻程度。從影像復原效果來看，影像的清晰度、均方差、對比度、熵、邊緣能量及平均梯度等像質指標均得到較好的改善，增強了影像的信息量；從立體定位效果來看，由于MTFC處理后像質的提高，對目標點立體定位的精度提升有較大貢獻。試驗過程充分說明：遙感影像的輻射校正處理不僅可以改善影像的目視效果，而且對于后續的圖像自動匹配量測及立體定位精度提高等技術環節奠定了必要的技術基礎。當然，本文研究內容屬于傳感器相對輻射校正研究范疇，在實際應用中，只有同時兼顧絕對輻射校正方面的技術要求，才能保證和提升傳感器的整體應用效果，并且仍需進行動態航攝試驗對本文研究成果作進一步驗證分析。

[1]Choi T. IKONOS Satellite in Orbit Modulation Transfer Function (MTF) Measurement Using Edge and Pulse Method[D]. USA: Doctor Dissertation of South Dakota State University,2002.

[2]蔡新明. 基于衛星遙感圖像的MTF計算和分析[D]. 南京：南京理工大學，2007.

[3]Greer P B, Van Doom T. Evaluation of an Algorithm for the Assessment of the MTF Using an Edge Method[J]. Medical Physics 2000,27(9):2048-2059.

[4]周春平. 遙感圖像MTF復原國內研究現狀[J]. 航天返回與遙感, 2009,30(1):27-31.

[5]陳世平. 航天光學采樣成像系統MTF的優化設計與MTFC[J]. 航天返回與遙感, 2007,28(4):17-22.

[6]馬文坡. 衛星光學遙感系統優化設計與像質評價探討[J]. 航天返回與遙感, 2007，28(4):23-27.

[7]劉亞俠. TDI CCD遙感相機標定技術研究[D]. 長春：中國科學院長春光學精密機械與物理研究所，2005.

[8]邱曉君. 基于MTF遙感圖像恢復技術研究[D]. 南京：南京理工大學，2006.

[9]修吉宏. 基于圖像功率譜的航空圖像質量判別技術研究[D]. 長春：中國科學院研究生院(長春光學精密機械與物理研究所)，2005.

[10]Forster B C, Best P. 1994. Estimation of SPOT P-mode Point Spread Function and Derivation of a Deconvolution Filter[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 1994，49(6):32-42.

[11]顧行發，李小英，閔祥軍. CBERS-02衛星CCD相機MTF在軌測量及圖像MTF補償[J]. 中國科學(E輯：信息科學)，2005，35(B12)：26-40.

[12]李贏博，胡海彥. 雙基高比線面陣結合立體測繪幾何模型的構建[J]. 航天返回與遙感, 2015，36(1):32-42.

[13]王占宏. 遙感影像信息量及質量度量模型的研究[D].武漢：武漢大學，2004.

[14]Vstars. VSTARS行業解決方案[OL].[2010-10-08].http://www.3d-china.com/products/220.html.

[15]陳繼華.自動全站儀的棱鏡光斑圖像識別算法研究[J]. 測繪科學技術學報，2015,32(3)：261-265.

[16]楊韞瀾, 胡海彥. Brown自檢校模型相關性分析與改進[J]. 測繪通報，2014(5)：37-40.

Modulation Transfer Function Compensation for Image Restoration and Stereo Positioning Accuracy Promotion

Hu Haiyan1,2,3, Yang Yunlan4, Fang Yong2，3, Jiang Zhenzhi2，3, Li Yingbo5

1．Institute of Geospatial Information, Information Engineering University, Zhengzhou 450052, China 2．Xi’an Research Institute of Surveying and Mapping, Xi’an 710054, China 3．State Key Laboratory of Geo-information Engineering, Xi’an 710054, China 4．Technical Division of Surveying and Mapping, Xi’an 710054, China 5．Beijing Research Institute of Space Electromechanical Technology, Beijing 100076, China

Any optical imaging system may cause image degradation to some extent, which will affect the radiometric and geometric performance of image. Based on the theory of modulation transfer function, an amended inverse filter is designed using modulation transfer function compensation (MTFC) method, and the processing flow of high resolution stereo image restoration data is given. Verifying experiment is conducted with the physical prototype of space remote sensing camera designed by Beijing Research Institute of Space Electromechanical Technology, and the image quality after restoration and the potential to improve stereo positioning accuracy are analyzed. The result proves that the work is effective.

optical camera system; modulation transfer function (MTF); stereo positioning; geometry metric performance; image quality

2015-12-08。

胡海彥(1977—)，男，助理研究員，主要從事航空航天高精度立體定位理論與方法的研究。

P236

A