基于分區灰度投影的穩像算法在衛星裝配中的應用

白　豐　張小俊　張明路　孫凌宇

河北工業大學,天津,300130

?

基于分區灰度投影的穩像算法在衛星裝配中的應用

白豐張小俊張明路孫凌宇

河北工業大學,天津,300130

摘要:針對傳統電子穩像算法無法快速有效地消除視頻圖像隨機抖動的問題,采用一種基于分區灰度投影的穩像算法，以確保機器人系統能夠輸出穩定連貫的衛星裝配畫面。對前后兩幀視頻圖像進行劃分并刪除對比度低的子區域，利用間隔投影和互相關運算獲取局部運動分量,通過基于平均誤差門限的迭代步驟篩選后剩余的局部運動分量求解全局運動矢量；若判定存在低頻掃描分量，還需對多幀圖像的全局運動矢量作均值濾波處理。實驗結果表明：基于分區灰度投影的穩像算法相比傳統灰度投影法，在低對比度的自然場景圖像和模擬裝配圖像中的穩像精確度分別提升119.1%和55.8%;同時執行時間只有塊匹配算法的0.5%。能夠有效消除隨機抖動,快速輸出穩定連貫的視頻畫面，保證機器人系統順利完成衛星的地面裝配工作。

關鍵詞：衛星裝配；電子穩像；分區灰度投影；隨機抖動

0引言

衛星是一種將機、電、熱等產品高度耦合的系統,其結構復雜、功能繁瑣。當前，將光學相機、實驗裝置和儀器、通信和探測設備、空間望遠鏡驅動機構、支架和天線等單機設備集成于衛星系統的趨勢日益明顯。這些設備對地面裝配的精確度和實時性均要求很高，然而目前的衛星裝配技術發展較慢，整個裝配過程仍主要依賴工程人員的經驗進行定性判斷，人工操作必然存在無法數字化測量配件間的相對位置、位姿調整不可量化、關鍵對接部位可視性不強的狀況。因此，如何通過穩像、識別、標定和導航等前沿技術，使機器人系統能取代人工操作完成衛星的精確實時地面裝配，成為當前制造業領域的研究熱點。

在衛星的地面裝配過程中，攝像裝置通常會伴隨著機器人系統同步移動。由于載體的振動和姿態的變化，視頻畫面不可避免地會產生抖動，影響機器人系統的精確裝配。電子穩像技術能夠通過估計全局運動矢量(或者運動補償矢量)消除隨機抖動，使輸出的視頻畫面趨于平穩，成為當前解決以上問題的主要手段之一[1-3]。

近年，國內外廣泛研究的電子穩像算法主要基于塊匹配和灰度投影。經典塊匹配算法[4]是國際上普遍認可的用于評估穩像算法性能的標準算法，但其實時性較差。相關學者主要是通過選擇合適的搜索路徑以及快速完成塊區域的匹配來提升算法的實時性的,比如三步搜索法、菱形搜索法、閾值法、代表點法等[5-10]。

以上基于塊匹配的相關穩像算法具有較高的精確度，但是其實時性仍然無法滿足實際工程的應用要求。傳統的灰度投影算法[11]具有明顯的速度優勢,但是,在低對比度的視頻畫面中，由于灰度投影曲線的變化不明顯,無法精確解算出全局運動矢量。相關學者主要通過選擇可靠的投影方式來提升算法的穩定性和精確度,比如梯度投影法、圓周投影法等[12-15]。

以上基于灰度投影的相關穩像算法具有優良的實時性能，但是穩定性和精確度仍然難以滿足實際工程的應用需求。另外，常見的電子穩像算法,如:基于位平面的穩像算法[16]和基于特征點匹配的穩像算法[17]等，也不能滿足應用需求。

針對傳統灰度投影法在低對比度畫面中穩像精確度不足以及塊匹配相關算法實時性能差的問題,本文采用了一種基于分區灰度投影的穩像算法來解決衛星裝配畫面的隨機抖動問題。

1基于分區灰度投影的穩像算法

1.1圖像子區域的劃分和刪選

為保證有足夠的重合比例，依次選擇前后相鄰兩幀作為基準圖像和當前圖像進行子區域劃分。在投影前，首先需要避免由于該區域對比度不明顯造成局部運動分量估計偏差較大的問題出現。解決方案是將所有子區域劃分為相同大小的四個矩形塊，然后依次循環相減，計算相鄰矩形塊間的像素絕對差和:

Pt2(xt2+i,yt2+j)|

(1)

其中,FSAD表示絕對差和，(xtk,ytk)表示第t個子區域中第k個矩形塊左上角的坐標值,k=1,2,3,4,M和N表示矩形塊的行數和列數。將計算結果與預先設定的閾值比較，只有當所有矩形塊的絕對差和均高于閾值時，當前子區域才進行灰度投影運算。

1.2灰度投影運算

對以上滿足閾值條件的子區域分別向水平和垂直方向進行投影。無論是水平方向還是垂直方向，其邊緣區域具有唯一性，導致子區域的投影曲線在邊緣處存在差異，影響子區域的局部運動矢量估計精度。而投影曲線的中間區域具有相近的波峰和波谷，只是位置存在偏差(即局部運動矢量)，故只取投影曲線的中間部分作為子區域水平和垂直方向的投影結果。另外，通過間隔取點的方式，在幾乎不影響精度的情況下，成倍地縮短了算法的執行時間。具體的投影公式如下:

(2)

(3)

式中,Wp(j)為第p個子區域中第j列像素灰度值垂直方向投影的累加和；Hp(i)為第p個子區域中第i行像素灰度值水平方向投影的累加和;Kp(i,j)為第p個子區域在(i,j)坐標處的像素灰度值。

1.3求解全局運動矢量

對基準幀與當前幀圖像對應子區域的灰度投影結果采用互相關運算，根據兩條相關曲線的波谷，確定當前幀圖像子區域相對于基準幀圖像子區域的水平和垂直方向局部運動分量;然后,計算局部運動分量的平均值即可得到全局運動矢量:

1≤w≤2m+1

(4)

tiy=m+1-wmin

(5)

(6)

式中,Pi(j+w-1) 為當前幀圖像第i個子區域投影范圍的第j+w-1列像素灰度投影累加和；Qi(m+j)為基準幀圖像第i個子區域投影范圍第m+j列的灰度投影累加和；G(w)為像素灰度投影累加的差值結果；wmin為G(w)取最小時的w值；tiy為當前幀圖像第i個子區域相對于基準幀圖像第i個子區域在水平方向的局部運動矢量；dy為對應的全局運動矢量；m為運動估計的最大抖動范圍；MP為子區域的行數。

同理可計算出垂直方向的全局運動矢量。但是,考慮到機器人系統的裝配畫面中可能存在運動前景目標，該子區域的局部運動分量估計結果將嚴重干擾全局運動矢量的計算，甚至可能導致穩像失敗。因此，本文采用一種基于平均誤差門限的迭代算法消除運動目標區域對全局運動矢量估計精度的影響，詳細流程如圖1所示。在排除含有前景運動目標的子區域后，即可求解最終的全局運動矢量。

1.4運動補償矢量的計算

當攝像裝置輔助衛星機器人裝配時,基準幀和當前幀圖像的全局運動矢量可能由正常掃描的低頻分量及異常抖動的高頻分量組成,也可能只包含異常抖動的高頻分量。在對圖像進行運動補償時,只需要補償攝像裝置的隨機抖動。機器人系統的正常移動通常具有階段性的幅值和方向一致性，是平滑的低頻矢量，而抖動分量的幅值和方向則具有隨機性。據此可判斷當前圖像是否含有正常掃描運動。在判斷完畢后,若不存在掃描運動分量,則當前的全局運動矢量即為所求的運動補償矢量；否則,從實時性和有效性方面考慮，采用均值濾波的方式首先計算多幀圖像的低頻掃描分量，然后將全局運動矢量依次與掃描運動分量作差，獲得剩余的高頻抖動分量，即為每幀圖像的運動補償矢量。

2實驗分析

為確保本文算法對衛星裝配畫面的穩像效果，實驗分別創建自然場景圖像庫和衛星裝配的模擬裝配圖像庫予以驗證，并將基于分區灰度投影的穩像算法與傳統灰度投影法、塊匹配遍歷搜索算法進行比較。所有實驗均在安裝2.50GHzCPU、4GB內存、Windows7操作系統的計算機平臺上通過MATLAB2010編程實現。同時，統一將圖像的分辨率轉換為512像素×512像素。實驗內容包括：①創建自然場景圖像庫和衛星裝配的模擬裝配圖像庫；②根據穩像前后兩幀圖像的峰值信噪比值和差分結果評價各算法的精確度;③通過統計各算法對前后兩幀圖像的穩像時間衡量實時性能；④展示利用本文分區灰度投影算法對模擬裝配圖像的穩像效果。

2.1兩組圖像庫的建立

首先，創建自然場景的圖像庫。創建60組(每組6幅圖像)共360幅自然場景圖像，每幅圖像均存在不同程度的隨機抖動。本文選擇其中一組作為測試集1，進行各穩像算法具體的性能評估實驗，其中圖像庫的第31～36幅圖像(即測試集1)如圖2所示。選取當前自然場景圖像的原因在于：圖中天空、山脈和花朵占據著自然圖像的絕大多數區域，圖像的對比度信息非常微弱，這將更加有效地考驗各算法的性能。

然后，構建衛星裝配的模擬裝配圖像庫。通過攝像裝置采集存在隨機抖動的低對比度裝配視頻模擬衛星裝配過程,利用其中具有代表性的部分幀構建60組(每組6幅圖像)共360幅圖像。從中選取一組作為測試集2,進行各穩像算法的性能評估實驗和效果展示，其中圖像庫的第31～36幅圖像(即測試集2)如圖3所示。

2.2各算法的精確度分析

峰值信噪比(PSNR)是一種圖像序列間穩定程度的客觀評價方式。因此，本文首先通過穩像前后相鄰兩幀圖像的峰值信噪比值TPSNR衡量各算法的精確度，具體計算如下：

(7)

TPSNR=10lg(2552/TMSE)

(8)

其中,f(x,y)和g(x,y)表示基準幀和當前幀圖像,M和N表示圖像的行數和列數,TMSE表示均方差值。若利用式(7)、式(8)計算出的穩像后的TPSNR值相比于穩像前的值有明顯提升,則認為當前穩像方法能夠消除或減小圖像間的高頻隨機抖動。表1是塊匹配遍歷搜索法、傳統灰度投影法和本文基于分區灰度投影的穩像算法對測試集1、2中的六幀圖像進行穩像前和穩像后的平均TPSNR值。

從表1可以看出,塊匹配算法作為國際上普遍認可的全局運動估計方法,穩像后的TPSNR值增幅最大,達到143.2%和99.1%,具有極佳的穩像精確度。傳統灰度投影算法由于受到低對比度信息的干擾，穩像后的TPSNR值增幅最小。特別是在具有大面積相似信息的測試集1中，該算法的全局運動矢量估計偏差更大,TPSNR值增幅只有23.0%。而本文基于分區灰度投影的穩像算法在穩像后,TPSNR值有大幅度提升,達到142.1%和96.7%,能夠非常接近甚至達到塊匹配遍歷搜索算法的穩像效果，相比于傳統灰度投影算法TPSNR值的增幅達到119.1%和55.8%,精確度具有明顯的優勢。

同時,本文采用部分差分圖像直觀地反映各算法的穩像效果，如圖4、圖5所示。其中,圖4表示塊匹配遍歷搜索算法、傳統灰度投影法和本文基于分區灰度投影的穩像算法利用測試集1中的第3幀和第4幀灰度圖像進行穩像前和穩像后的差分效果圖。圖5表示相關算法利用測試集2中的第3幀和第4幀灰度圖像進行穩像前和穩像后的差分效果圖。這里差分圖像中的剩余灰度信息量反映著各算法穩像性能的優劣。

從圖4、圖5中同樣發現，由于圖像中存在低對比度區域的干擾以及前景目標的移動，采用傳統灰度投影算法估計的全局運動矢量偏差較大，造成差分圖像中存在大量灰度值不為零的區域，穩像效果并不理想。而采用本文基于分區灰度投影的穩像算法能夠消除圖像中的隨機抖動，接近甚至達到與塊匹配遍歷搜索算法相似的穩像效果。

另外，由于測試集1中的圖像對比度信息更加不明顯,能夠直觀反映各算法的穩像性能，因此本文進一步將差分圖像(圖4)的灰度信息按列方向投影累加。曲線圖中累計灰度值越低，說明基準幀與當前幀圖像的相似度越高。差分圖像中間列(129～384)的投影曲線如圖6所示。圖7對應圖6投影曲線部分區域的放大,從圖7中能更加清晰地看出各算法的差分效果。圖6、圖7的曲線分布再次驗證了分區灰度投影算法的優良性能。

2.3各算法的實時性能分析

通過統計測試集1和測試集2中所有前后兩幀圖像的平均穩像時間，評估本文基于分區灰度投影的穩像算法、塊匹配遍歷搜索算法和傳統灰度投影算法的實時性能，具體數據如表2所示。統計結果顯示,本文方法相比于傳統灰度投影法雖然增加了區間劃分和優化篩選等步驟，但并未明顯增加算法的執行時間；同時,本文算法的穩像時間只有塊匹配算法的0.5%,具有顯著的實時性優勢。

2.4分區灰度投影算法對模擬裝配圖像的穩像效果

實驗發現，本文算法能夠克服模擬裝配圖像中低對比度區域的干擾以及前景目標移動的影響，準確估計出全局運動矢量。利用本文基于分區灰度投影的穩像算法對測試集2中連續六幅裝配圖像的穩像效果如圖8所示。穩像后的所有圖像依次輸出，可以獲得平穩連貫的視頻裝配畫面。

3結語

本文采用一種基于分區灰度投影的穩像算法來消除裝配畫面的隨機抖動。將該算法與傳統灰度投影法、塊匹配算法的精確度和實時性進行實驗對比，結果表明，基于分區灰度投影的穩像算法能夠有效消除隨機抖動，快速輸出連貫的視頻畫面，可保證機器人系統順利完成衛星的地面裝配工作。

參考文獻:

[1]SeungKK,SeokJK,TaeSW,etal.FeaturePointClassificationBasedGlobalMotionEstimationforVideoStabilization[J].IEEETransactionsonConsumerElectronics,2013,59(1):267-272.

[2]JieX,HuaWC,ShouY,etal.FastFeature-basedVideoStabilizationwithoutAccumulativeGlobalMotionEstimation[J].IEEETransactionsonConsumerElectronics,2012,58(3):993-999.

[3]TzuuSL,ChingCC.ExtendedKalmanFilterBasedHand-shakeDetectorforOpticalImageStabilizationUsingaLowCostGyroscope[J].IEEETransactionsonConsumerElectronics,2013,59(1):113-121.

[4]VellaF,CastorinaA,MancusoM,etal.DigitalImageStabilizationbyAdaptiveBlockMotionVectorsFiltering[J].IEEETransactionsonConsumerElectronics,2002,48(3):796-801.

[5]AmirpourH,AmousaviniaA,ShamsiN.PredictiveThreeStepSearchAlgorithmforMotionEstimation[C]//Proceedingsofthe8thIranianConferenceonMachineVisionandImageProcessing.Zanjan,2013:48-52.

[6]WenJQ,BoY,JiaoJW.HumanActivityRecognitionBasedonImprovedDiamondSearchBlock-matchingMethod[C]//Proceedingsofthe4thInternationalSymposiumonComputationalIntelligenceandDesign.Hangzhou,2011:236-239.

[7]GulluMK.WeightedConstrainedOne-bitTransformBasedFastBlockMotionEstimation[J].IEEETransactionsonConsumerElectronics,2011,57(2):751-755.

[8]LiS,QiJQ.ImageStabilizationbyCombiningGray-scaleProjectionandRepresentativePointMatchingAlgorithms[C]//Proceedingsofthe3rdInternationalConferenceonAwarenessScienceandTechnology.Dalian,2011:128-132.

[9]王鵬,趙躍進,孔令琴,等.改進塊匹配宏塊的快速傳感器電子穩像方法[J].光子學報,2012,41(9):1065-1070.

WangPeng,ZhaoYuejin,KongLingqin,etal.ImprovedFastBlock-matchingAlgorithmforSensorElectronicImageStabilization[J].ActaPhotonicaSinica,2012,41(9):1065-1070.

[10]宗艷桃, 蔣曉瑜,裴闖,等.基于時間序列預測的電子穩像算法研究[J].光子學報,2012,41(2):244-248.

ZongYantao,JiangXiaoyu,PeiChuang,etal.TimeSeriesPredictionBasedElectronicImageStabilizationAlgorithm[J].ActaPhotonicaSinica,2012,41(2):244-248.

[11]汪小勇,李奇,徐之海,等.用于實時數字穩像的灰度投影算法研究[J].光子學報,2006,35(8):1268-1271.

WangXiaoyong,LiQi,XuZhihai,etal.StudyonGrayProjectionAlgorithmforRealTimeVideoStabilization[J].ActaPhotonicaSinica,2006,35(8):1268-1271.

[12]ChaoJ,BrianLE.Constrained3DRotationSmoothingViaGlobalManifoldRegressionforVideoStabilization[J].IEEETransactionsonSignalProcessing,2014,62(13):3293-3304.

[13]XieT,ZhuB,XieLJ.etal.ACircular-projectionBasedDigitalImageStabilizationAlgorithmandItsImplementationforRotatingImageSequences[C]//Proceedingsofthe10thInternationalConferenceonSignalProcessing.Beijing,2010:1236-1239.

[14]張永祥，閆文林，張偉功，等. 一種旋轉運動估計穩像算法的研究與實現[J].小型微型計算機系統,2014,35(9):2151-2155.

ZhangYongxiang,YanWenlin,ZhangWeigong,etal.ResearchandImplementationofImageStabilizationinaRotaryMotionEstimationAlgorithm[J].JournalofChineseComputerSystems,2014,35(9):2151-2155.

[15]孫輝.Bayer彩色序列圖像的電子穩像[J].光學精密工程,2014,22(2):481-488.

SunHui.ElectronicImageStabilizationforBayerColorVideoSequenceImage[J].OpticsandPrecisionEngineering,2014,22(2):481-488.

[16]遆曉光，靳萬鑫，余穎.大運動前景和旋轉抖動視頻的快速數字穩定[J].光學精密工程,2014,22(1):177-185.

DiXiaoguang,JinWanxin,YuYing.DigitalVideoStabilizationforLarge-scaleMovingForegroundObjectandRotationJitter[J].OpticsandPrecisionEngineering,2014,22(1):177-185.

[17]蔣建國,牛杰杰，齊美彬. 基于SURF和軌跡濾波的旋轉視頻穩像算法[J].儀器儀表學報,2014,35(3):550-557.

JiangJiangguo,NiuJiejie,QiMeibin.RotationalVideoStabilizationAlgorithmBasedonSurfandTrajectorySmoothing[J].ChineseJournalofScientificInstrument,2014,35(3):550-557.

(編輯王旻玥)

VideoStabilizationMethodBasedonSubzoneGrayProjectioninApplicationsofSatelliteAssembly

BaiFengZhangXiaojunZhangMingluSunLingyu

HebeiUniversityofTechnology,Tianjin,300130

Keywords:satelliteassembly;electronicimagestabilization;subzonegrayprojection;randomjitter

Abstract:Aimingtosolvetheproblemthattraditionalelectronicimagestabilizationalgorithmcouldnoteliminatevideorandomjittersquicklyandefficiently,basedonsubzonegrayprojectionavideostabilizationmethodwasusedtoensuretherobotsystemoutputtingsatelliteassemblypicturesstablyandcoherently.Twoframesweredividedandsubregionsoflowcontrastweredeleted.Theintervalprojectionandcross-correlationalgorithmwereusedtogetlocalmotioncomponent.Theglobalmotionvectorwassolvedbytherestlocalmotioncomponentafteriterativestepsbasedontheaverageerrorthreshold.Anaveragefilterwouldbeusedinglobalmotionvectorofmultipleframesifimagehadlowfrequencyscanningcomponent.Experimentalresultsshowthatusingthestabilizationmethodbasedonsubzonegrayprojection'simagethestabilizingprecisionincreases119.1%innaturalsceneimagesand55.8%insimulationassemblyimagesoflowcontrastcomparedwithtraditionalgrayprojectionmethod,meanwhiletheexecutiontimeisonly0.5%ofblockmatchingalgorithm.Itprovesthatthemethodcaneliminaterandomjitterseffectively,outputstablecoherentvideoimagesrapidly,andguaranteethesatelliteinstallationofrobotsystem.

收稿日期：2015-03-27

基金項目：國家高技術研究發展計劃(863計劃)資助項目(2015AA043101)

作者簡介：白豐,男,1988年生。河北工業大學機械工程學院博士研究生。主要研究方向為機器人視覺及圖像處理技術。張小俊,男,1980年生。河北工業大學機械工程學院副教授。張明路，男，1964年生。河北工業大學機械工程學院教授、博士研究生導師。孫凌宇,男,1978年生。河北工業大學機械工程學院副教授。

中圖分類號：TP391

DOI：10.3969/j.issn.1004-132X.2016.02.009