低曝光條件下遙感相機微振動量檢測

樂國慶,郭永飛,劉春香,馬天波,石俊霞

(中國科學院 長春光學精密機械與物理研究所,吉林 長春 130033；2.中國科學院大學,北京 100049)

低曝光條件下遙感相機微振動量檢測

樂國慶1,2,郭永飛1*,劉春香1,馬天波1,石俊霞1

(中國科學院 長春光學精密機械與物理研究所,吉林 長春 130033；2.中國科學院大學,北京 100049)

針對搭載平臺顫振對遙感相機成像的影響，利用輔助高速面陣CCD相機拍攝高幀頻圖像序列，通過像元合并來補償曝光時間不足，增加圖像的亮度、對比度和信噪比，同時結合一種區域選擇算法來選擇用于計算的圖像區域，最后使用灰度投影算法對振動位移量進行估計。實驗數據表明，提出的改進算法誤差為一個像元，在準確性和穩定性方面均明顯優于原始算法。

遙感相機；微振動檢測；運動估計；灰度投影算法

1 引言

自從航空航天光學遙感出現以后，由于科研、生產和生活的需要，人類對遙感圖像的要求越來越高，光學遙感技術在不斷向前發展。一方面是對遙感圖像獲取的實時性追求，從而傳感器從原始的膠片變成了現在的電荷耦合器件(Charge Coupled Devices，CCD)；另一方面對遙感圖像高分辨率和高質量的追求，從而時間延遲積分(Time Delayed Integration，TDI)CCD逐漸取代了面陣CCD。

航空航天光學遙感相機有兩大特點：一是成像時相機與目標存在相對運動；二是相機的光學鏡頭焦距要求盡量短，以便減小相機重量和體積，但這樣會造成收集的光能量小。TDI-CCD正好能夠彌補以上兩點。因為TDI-CCD是一種光電傳感器，可以通過控制電荷包的轉移來跟蹤目標的移動，進而對同一目標多次曝光、延遲積分成像，因此它具有響應度高、動態范圍大的優點，即使在光線較暗的情況下也能獲取清晰的圖像［1］。

然而在實際成像過程中，由于搭載平臺(衛星或飛機)的振動，例如衛星受太陽能帆板伸展和衛星本身的調姿影響而振動，飛機受發動機振動和氣流影響而振動，得到的圖像將會有不同程度的畸變和失真。尤其是TDI-CCD相機所拍攝的圖像［2］，每行圖像在延遲積分期間所經歷的振動都有所不同［3-4］，其失真更加不能忍受。

因此，有必要獲取拍攝過程中相機振動的信息。通過增加一臺輔助的高速面陣CCD相機，以高于主相機幀頻的速度連續拍攝多幀圖像［5］，運用相應的運動估計算法估計出相鄰幀圖像之間相對位移，那么這相當于對相機的振動曲線進行采樣，當采樣到足夠多的數據之后可以擬合出相機振動的曲線，而根據振動曲線又可以推導出圖像振動模糊的模糊核(即點擴散函數PSF)［6-7］，以便為后續地面圖像恢復算法提供確切的信息。文獻［6-9］運用了包括灰度法和頻譜法在內的PSF估計，但均考慮的是正常曝光條件下因而不適用于極短曝光時間條件下的估計。

本文首先介紹灰度投影算法估計位移量的詳細過程，然后說明直接利用灰度投影算法對曝光時間極短的圖像序列進行估計所存在的問題，進而對存在問題進行分析說明，并提出了結合像元合并和區域選擇的改進算法，最后通過實驗獲取算法改進前后的數據并進行對比分析。

2 直接灰度投影算法

運動估計主要分為兩類：基于特征［11-12］的(feature-based)和基于灰度的(intensity-based)估計。基于特征的運動估計由于相對不易于硬件實現，因而在此不討論。基于灰度的運動估計方法中，使用比較多的有塊匹配算法［13］(Block Matching Algorithm)和灰度投影算法［14］(Gray Projection Algorithm)，其中塊匹配算法主要應用于視頻壓縮編碼，而灰度投影法在電子穩像中應用較多［10］。

灰度投影算法將二維圖像分別在垂直和水平方向上進行灰度投影，得到兩個一維的向量，然后將相鄰幀之間的對應水平和垂直向量分別進行相關操作，其數學表達如下：(設圖像的尺寸為M× N，垂直和水平方向的搜索寬帶分別為p和q)。

參考幀灰度投影：

式中：Grh(i)和Grv(j)分別為參考幀的水平和垂直灰度投影。

目標幀灰度投影：

式中：Gth(i)和Gtv(j)分別為目標幀的水平和垂直灰度投影。

兩幀投影向量相關：

式中，ωh和ωv分別在區間［0，2q］和［0，2p］取值，如果使得Ch和Cv最小的ωh和ωv的值分別為ωhmin和ωvmin，那么目標幀相對參考幀在水平和垂直方向的位移為：

3 針對低曝光條件的改進

在TDI-CCD遙感相機中，由于其行積分周期極短，因此輔助面陣CCD相機的積分時間也必須足夠短才能捕捉到不同行之間相機的振動位置，所以其拍攝到的圖片由于曝光嚴重不足而呈現出3個特點：低亮度、低對比度和低信噪比。

如果直接將在此條件下獲取的原始圖像應用于運動估計，那么由于其高分辨率和低信噪比的特性，將會導致估計的運算量巨大且精度較差。

3.1 像元合并

CCD面陣相機中有一種工作方式可以采用像元合并，即在成像過程中，不直接將每一個像元的電荷包單獨轉移讀出，而是將與其相鄰的數個像元的電荷包合并作為一個像元讀出，合并過程如圖1所示，4個14 μm×14 μm的小像元合并為一個28 μm×28 μm的大像元。這樣做的好處有：一是提高相機靈敏度和信噪比并且擴大動態范圍，每個像元的讀出值將擴大數倍，后續處理電路中混入的加性噪聲影響將更小，獲取的圖像將具有更高的信噪比和更高的對比度；二是合并的像元包含更大區域的信息，所以對于相同分辨率的圖像，像元合并輸出的圖像比原始圖像包含更多的全局信息，這對提高灰度投影算法準確性具有重要的作用；三是采用像元合并方式后，相機攝像的幀頻將提高數倍，即相鄰圖像幀之間的時間間隔將更短，對相機振動的捕獲將更加精細。

圖1 2×2像元合并Fig.1 2×2 pixeles binning

3.2 分塊區域選擇算法

輔助相機拍攝的圖像往往具有較大的尺寸，設其大小為M×M，在整幅圖像區域中，有的區域灰度變化明顯，層次較為分明所以適合于運動估計，而另一些區域灰度特征不明顯因而會導致估計出的運動矢量誤差較大。因此，將整幅圖像按陣列劃分為諾干個子區域，其大小為N×N，那么在整幅圖像中有(M/N)×(M/N)個子區域。為了提高估計精度同時減少運算量，需要研究如何從中選擇出一個合適的區域。

本文提出一種新的有效算法來度量圖像不同子區域灰度特征的強弱，并選取其中特征最強的區域用于振動量的估計。其具體步驟如下：

(1)使用一階插值將參考幀圖像各子區域縮小為原尺寸的1/(S×S)大小，即參考幀中每個S×S大小的圖像塊(稱為宏塊)求算術平均，得到一張尺寸為(N/S)×(N/S)的低分辨率圖像。該步驟可以與圖像采集存儲同步進行，因此不會占用后續處理的時間。

(2)構造算子|ki|，(i=1，2，…8)：

將這8個算子加權平均得到最終的算子K：

式中，絕對值含義為取像素差值的絕對值。

圖2 3×3像素區域Fig.2 3×3 pixeles area

使用算子K對圖2進行空間濾波的計算，像素點p22處濾波后的值為：

通過改變λi的值可以強調特定方向的灰度特征，例如增大λ1和λ5可以篩選出垂直方向上灰度層次明顯的子區域，而增大λ3和λ7可以篩選出水平方向上灰度特征明顯的子區域。

(3)利用步驟(2)構造的算子K對步驟1得到的各子區域低分辨率圖像進行空間濾波，得到表征各子區域灰度特征強弱的圖像。

(4)將步驟(3)得到的表征各子區域灰度特征強弱的圖像求平均值，其中平均值最大的子區域即為篩選出的區域。

為了量化圖像灰度特征的強弱，步驟(1)首先顯著的降低了圖像的分辨率，同時有效的抑制了高頻噪聲，因此相較于SAD法不但可以大大降低運算量，而且提高了度量的準確性。宏塊的尺寸如果選擇過大，則各子區域的灰度特征強弱差異則會趨于變小，而如果選擇過小則易受噪聲影響。步驟(2)構造的帶絕對值的算子K用于計算每一宏塊與其八鄰域宏塊的平均灰度差異，每個子區域內的平均灰度差異即可有效表征該區域的灰度特征強弱。

本算法有效量化了圖像不同區域的灰度特征強弱，按照該選擇算法篩選出所有子區域中灰度特征最明顯的子區域，將參考幀和目標幀中對應的子區域用于灰度投影算法估算出局部相對位移矢量，并將其作為全局位移矢量的估計。

4 實驗結果與分析

用于實驗的數據為全色8位遙感圖像，灰度級數為256，假定水平方向向右為正，垂直方向向下為正。

4.1 像元合并實驗

遙感相機的傳感器為TDI-CCD，它的積分級數一般可達數十級，所以其輸出的圖像是經過數十次曝光而形成的；而輔助相機的傳感器為面陣CCD，輸出的單幀圖像僅為一次曝光而形成，因而其灰度通常僅為主相機輸出的幾十分之一，在后續處理電路中混入噪聲之后，其亮度、對比度和信噪比較低，如圖3所示。

圖3 像元合并前后圖像Fig.3 Image before and after binning

其中，圖3(a)為非像元合并模式下的一幀圖像，分辨率為1 024×1 024，該幀與下一幀之間的相對位移矢量為(10，14)；圖3(b)為2×2像元合并模式下的一幀圖像，分辨率為512×512，該幀與下一幀之間的相對位移矢量為(5，7)。

用實驗來驗證使用灰度投影算法時，像元合并后的圖像相比合并前的圖像能獲得更準確、更穩定的估計。

首先選擇原始圖像相鄰兩幀的左上角1/4部分512×512大小的子區域用于灰度投影算法。

圖4 參考幀與目標幀圖像AFig.4 Images A of reference frame and target frame

對圖4兩幀圖像使用灰度投影算法，得到水平和垂直方向的灰度投影相關曲線，如圖5所示。

從投影曲線可以得出估計出的位移向量為(3，14)，與真實位移(10，14)相差甚遠，且相關曲線震蕩劇烈，尤其是垂直方向，可見其準確性和穩定性均很低。

圖5 水平投影和垂直投影相關曲線(針對圖4中兩幀圖像)Fig.5 Horizontal and vertical projection curves(according to the two images figure 4)

為了具有可比性，同樣選擇像元合并之后圖像序列相鄰兩幀的左上角1/4部分，大小為256× 256的子區域，如圖6所示。

圖6 參考幀與目標幀圖像BFig.6 Images B of reference frame and target frame

對圖6兩幀圖像使用灰度投影算法，得到水平和垂直方向的相關曲線如圖7所示。

圖7 水平投影和垂直投影相關曲線(針對圖6中兩幀圖像)Fig.7 Horizontal and vertical projection curves(according to the two images in figure 6)

由圖可知，估計出的位移向量為(5，7)，與真實位移一致，且相關曲線平滑了許多，波谷也更為明顯，因此估計的準確性和穩定性大大提升，同時運算量也大幅減小。

4.2 區域選擇算法實驗

即使在像元合并之后也不能完全保證估計的準確性和穩定性，還與用于計算的圖像子區域有很大關系。當相鄰兩幀圖像的相對位移矢量為(5，-7)時，選擇圖像的右上角1/4子區域來進行估計，如圖8所示。

圖8 參考幀與目標幀圖像CFig.8 Images C of reference frame and target frame

由圖8得到的灰度投影相關曲線如圖9所示。

從圖中可知，估計出的位移向量為(-2，5)，與真實位移向量(5，-7)誤差極大，其原因是圖像右上角部分過于平坦，灰度特征十分不明顯。

圖9 水平投影和垂直投影相關曲線(針對圖8中兩幀圖像)Fig.9 Horizontal and vertical projection curves(according to the two images in figure 8)

按照本文提出的算法，將圖3(b)劃分為4×4排列的16個子區域，每個子區域分辨率為128×128，如圖10(a)所示；使用一階插值將原圖縮小為原尺寸的1/(16×16)大小，如圖10(b)所示；使用算子K對圖(b)進行空間濾波從而度量出原圖不同子區域灰度特征的強弱(算子中各加權系數均為1)，如圖10(c)所示；最后再計算出各子區域的歸一化灰度特征強弱，如圖10(d)所示。

圖10 區域選擇算法效果圖Fig.10 Sketch of region selection algorithm

區域選擇算法結果顯示16個子區域中第四行第三列的子區域灰度特征最強，因此選擇相鄰兩幀的對應區域圖像數據用于灰度投影算法，得到的兩條相關曲線如圖11所示。

圖11 水平投影和垂直投影相關曲線Fig.11 Horizontal and vertical projection curves

顯見，經過算法選擇出的區域用于灰度投影算法得到的相關曲線更加利于位移量的判斷，曲線更加平滑，單峰性明顯，能夠明顯提高估計的精度和穩定性。

表1給出了改進算法和原始算法性能的對比。位移量為像元合并前的像元個數。

表1 不同位移矢量下估計結果對比Tab.1 Estimation results contrast under different motion vectors

從表1和表2中數據可知，原始算法的估計精度差且極不穩定；改進算法由于是在2×2像元合并之后的估計，所以估計結果均為偶數，估計結果最多相差一個像元，精度較高且穩定性好。

5 結論

針對遙感相機極短曝光時間條件下的運動估計問題，提出了結合像元合并和區域選擇算法的改進灰度投影算法。通過像元合并提高圖像的亮度、對比度和信噪比，通過區域選擇算法有效地度量圖像灰度特征強弱，選擇其中灰度特征最強的區域用于灰度投影算法，在提高估計精度的同時減少運算量從而提高算法的實時性。實驗結果顯示，提出的改進算法在精度和穩定性方面均明顯優于原始算法，估計的最大誤差為一個像元，能夠滿足低曝光條件下的運動估計要求。

［1］薛旭成，傅瑤，韓誠山.TDI CCD相機的衛星姿態穩定度確定［J］.中國光學，2013，6(5)：767-772.

XUE X CH，FU Y，HAN CH SH.Confirmation of satellite attitude stabilization for TDI CCD camera［J］.Chinese Optics，2013，6(5)：767-772.(in Chinese)

［2］龍夫年，張旺，劉劍峰.衛星姿態精度對TDI CCD相機的影響［J］.哈爾濱工業大學學報，2002，34(3)：382-384.

LONG F N，ZHANG W，LIU J F.Effect of satellite attitude control accuracy on TDI CCD cameras［J］.J.Harbin Institute of Technology，2002，34(3)：382-384.(in Chinese)

［3］JANSCHEK K，TCHERNYKH V，DYBLENKO S.Integrated camera motion compensation by real-time image motion tracking and image deconvolution［C］.International Conference on Advanced Intelligent Mechatronics Monterey，California，USA，24-28 July，2005.

［4］HOCHMAN G，YITZHAKY Y，et al..Restoration of images captured by a staggered time delay and integration camera in the presence of mechanical vibrations［J］.Applied Optics，2004，43(22)：4345：4354.

［5］徐樹奎.基于計算攝影的運動模糊圖像清晰化技術研究［D］.長沙：國防科學技術大學，2011.

XU SH K.Research on motion blur image deblurring technology based on computational photography［D］.Changsha：National University of Defense Technology，2011.(in Chinese)

［6］石俊霞，郭永飛，薛旭成，等.航天時間延遲積分CCD相機振動模糊圖像的恢復［J］.光電子·激光，2012，23(3)：572-578.

SHI J X，GUO Y F，XUE X CH，et al..Motion blurres image restoration of spaceborne TDICCD camera［J］.J.Optoelectronics·Laser，2012，23(3)：572-578.(in Chinese)

［7］陳前榮，陸啟生，成禮智，等.運動模糊圖像點擴散函數尺度鑒別［J］.計算機工程與應用，2004，23：15-20.

CHEN Q R，LU Q SH，CHENG L ZH，et al..Identification the scale of the point spread function from the motion blurred image［J］.Computer Engineering and Applications，2004，23：15-20.(in Chinese)

［8］謝冰，焦斌亮.基于航天TDICCD相機像移分析的PSF估計及圖像復原算法研究［J］.宇航學報，2010，31(3)：936-940.

XIE B，JIAO B L.The PSF estimation method and image restoration algorithm based on image-motion analysis of spaceborne TDICCD camera［J］.J.Astronautics，2010，31(3)：936-940.(in Chinese)

［9］王彪，姜志國，趙丹培.遙感圖像運動模糊恢復方法及評價標準研究［J］.航天返回與遙感，2009，30：18-25.

WANG B，JIANG ZH G，ZHAO D P.Research on technologies and quality evaluation for restoring remote sensing motionblurred image［J］.Spaceraft Recovery and Remote Sensing，2009，30：18-25.(in Chinese)

［11］任航，張濤.基于灰度投影法運動估計的成像CCD平移補償法［J］.應用光學，2009，30(3)：417-422.

REN H，ZHANG T.Image CCD translation compensation method based on movement estimation of gradation projection technology［J］.J.Applied Optics，2009，30(3)：417-422.(in Chinese)

［12］初守艷，席志紅.改進Noble算子匹配的電子穩像法［J］.光學精密工程，2014，22(1)：204-212.

CHU SH Y，XI ZH H.Digital image stabilization based on improved noble feature matching［J］.Opt.Precision Eng.，2014，22(1)：204-212.(in Chinese)

［13］張坤，許廷發，王平，等.高精度實時全幀SURF電子穩像方法［J］.光學精密工程，2011，19(8)：1964-1972.

ZHANG K，XU T F，WANG P，et al..Real-time full-frame digital image stabilization system by SURF［J］.Opt.Precision Eng.，2011，19(8)：1964-1972.(in Chinese)

［14］蔡勝利，張會清.基于序列圖像塊匹配的室內定位算法研究［J］.計算機測量與控制，2010，18(7)：1641-1644.

CAI SH L，ZHANG H Q.Research on indoor position algorithm based on block match of image sequence［J］.Computer Measurement and Control，2010，18(7)：1641-1644.(in Chinese)

［15］孫輝.快速灰度投影算法及其在電子穩像中的應用［J］.光學精密工程，2007，15(3)：412-416.

SUN H.Fast gray projection algorithm and its application to electronic image stabilization［J］.Opt.Precision Eng.，2007，15(3)：412-416.(in Chinese)

Micro-vibration detection of remote sensing camera under low exposure condition

LE Guo-qing1，2，GUO Yong-fei1*，LIU Chun-xiang1，MA Tian-bo1，SHI Jun-xia1
(Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China；2.University of Chinese Academy of Sciences，Changchun 130033，China)

To deal with the effect of flutter of carrying platform on remote sensing camera，motion estimation algorithm can be used to the image sequences taken by auxiliary high-speed array CCD camera during exposure to estimate the vibration.Pixel binnng is proposed to compensate the time of exposure and to improve the brightness and contrast as well as SNR of the images.And a region selection algorithm is used to select the image region by which we can estimate the displacement using gray projection algorithm.The experiment results show that the error is 1 pixel by utilizing the improved algorithm，which greatly enhance the accuracy and stability.

remote sensing camera；micro-vibration detection；motion estimation；gray projection algorithm

V447.33；TP391

A

10.3788/CO.20140706.0917

2095-1531(2014)06-0917-08

樂國慶(1989—)，男，江西南昌人，碩士研究生，2012年于吉林大學獲得學士學位，主要從事圖像處理及FPGA應用方面的研究。E-mail：leguoqing@yeah.net

郭永飛(1961—)，男，吉林長春人，研究員，博士生導師，1990年于中國科學院長春光學精密機械與物理研究所獲得碩士學位，主要從事光電技術應用，CCD在計算機中的應用等方面的研究。E-mail：guoyongfei@163.com

劉春香(1983—)，女，吉林長春人，博士，助理研究員，2007年于哈爾濱工業大學獲得學士學位，2013年于中國科學院大學獲得博士學位，主要從事光電成像技術及圖像壓縮方面的研究。E-mail：yuhit2007@163.com

馬天波(1984—)，女，吉林長春人，碩士，助理研究員，2006年、2008年于吉林大學分別獲得學士、碩士學位，主要從事圖像處理及光電成像中的計算機應用技術方面的研究。E-mail：matb0319@yahoo.com.cn

石俊霞(1984—)，女，內蒙古赤峰人，博士，助理研究員，2007年于吉林大學獲得學士學位，2012年于中國科學院大學獲得博士學位，主要從事光電成像技術及圖像處理方面的研究。E-mail：19031121@163.com

2014-09-22；

2014-11-25

國家自然科學基金資助項目(No.61036015)

*Corresponding author，E-mail：guoyongfei@163.com