基于相位相關(guān)的勻速直線運(yùn)動(dòng)模糊圖像位移參數(shù)估計(jì)

孫 輝 ，李志強(qiáng)

(中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林 長(zhǎng)春130033)

1 引 言

機(jī)載、車載、船載等動(dòng)載體成像系統(tǒng)工作時(shí)，由于載體與目標(biāo)景物之間的相對(duì)運(yùn)動(dòng)，相機(jī)拍攝的視頻圖像會(huì)產(chǎn)生運(yùn)動(dòng)模糊效果，這對(duì)圖像觀察、目標(biāo)識(shí)別造成了困難，同時(shí)也為圖像信息的處理與分析帶來(lái)了不利影響。根據(jù)圖像復(fù)原理論，圖像運(yùn)動(dòng)模糊是一種由成像系統(tǒng)光學(xué)模糊造成的視頻圖像退化現(xiàn)象［1］，結(jié)果導(dǎo)致圖像質(zhì)量下降和信息丟失。如何快速準(zhǔn)確地從退化圖像中獲取目標(biāo)圖像運(yùn)動(dòng)信息，是目標(biāo)識(shí)別與跟蹤的關(guān)鍵技術(shù)之一。

圖像運(yùn)動(dòng)估計(jì)主要檢測(cè)成像系統(tǒng)拍攝的視頻圖像之間的位移量，目的是從中獲取感興趣區(qū)域的目標(biāo)運(yùn)動(dòng)信息，如試驗(yàn)靶場(chǎng)中的飛行目標(biāo)、工業(yè)檢測(cè)中的零部件、公共交通中的行駛車輛等，同時(shí)也為圖像的進(jìn)一步處理與分析( 如圖像運(yùn)動(dòng)補(bǔ)償、目標(biāo)識(shí)別、目標(biāo)跟蹤、目標(biāo)檢測(cè)、圖像變換、圖像壓縮等) 提供準(zhǔn)確參數(shù)。目前比較常用的時(shí)域空間運(yùn)動(dòng)檢測(cè)方法有圖像灰度信息算法［2］、目標(biāo)特征信息法［3］、圖像梯度相關(guān)方法［4］等。在運(yùn)動(dòng)模糊圖像中，由于圖像信息的混迭現(xiàn)象，許多有用的特征信息無(wú)法從圖像中直接獲取，因此，上述基于目標(biāo)特征信息的檢測(cè)效果會(huì)受到嚴(yán)重影響，往往需要通過(guò)對(duì)圖像進(jìn)行復(fù)原處理，根據(jù)圖像退化模型和光學(xué)系統(tǒng)的先驗(yàn)知識(shí)恢復(fù)原始圖像，從恢復(fù)圖像中獲取需要的圖像信息。

目前，針對(duì)由于運(yùn)動(dòng)造成的圖像退化方面的研究主要集中在像移補(bǔ)償［5］、圖像恢復(fù)或重建［6-7］、點(diǎn)擴(kuò)散函數(shù)估計(jì)［8-9］等方面，關(guān)于如何從退化圖像中獲取圖像之間的位移參數(shù)少有報(bào)道。本文從實(shí)際需求出發(fā)，結(jié)合目前廣泛采用的相位相關(guān)圖像配準(zhǔn)技術(shù)［10-13］和線性不變空間退化模型，通過(guò)理論分析和實(shí)驗(yàn)驗(yàn)證，討論了退化圖像對(duì)相位相關(guān)配準(zhǔn)結(jié)果的影響，將相位相關(guān)配準(zhǔn)方法應(yīng)用于勻速直線運(yùn)動(dòng)模糊圖像之間的運(yùn)動(dòng)參數(shù)估計(jì)，利用相位相關(guān)配準(zhǔn)技術(shù)的高精度和魯棒性，探索出一條適合檢測(cè)勻速直線運(yùn)動(dòng)模糊圖像運(yùn)動(dòng)的有效技術(shù)途徑。

2 相位相關(guān)配準(zhǔn)原理

相位相關(guān)算法最早由Kuglin 和Lines 在1975年提出［14］，它是一種非線性、基于傅里葉功率譜的頻域相關(guān)技術(shù)，具有亞像素級(jí)配準(zhǔn)精度。該方法只提取兩幅圖像互功率譜中的相位信息，減少了對(duì)圖像內(nèi)容的依賴，具有較強(qiáng)的抗干擾能力，是目前廣泛使用的頻域配準(zhǔn)方法。

根據(jù)傅里葉變換平移理論，當(dāng)圖像之間發(fā)生平移變化時(shí)，傅里葉變換幅值不變，互功率譜的相位等于兩個(gè)圖像的相位差，通過(guò)求解歸一化互功率譜的傅里葉逆變換，得到二維Dirachlet 沖激函數(shù)，其坐標(biāo)位置給出了兩個(gè)圖像之間的位移量。

設(shè)圖像尺寸M×N，f1(x，y) 為基準(zhǔn)圖像，f2(x，y) 為f1(x，y) 平移(x0，y0) 后的位移圖像，滿足如下關(guān)系:

式(1) 傅里葉變換可表示為:

式中，F(xiàn)1(u，v) 和F2(u，v) 分別表示f1(x，y) 和f2(x，y) 的傅里葉變換。因此，兩幅圖像之間歸一化的互功率譜表示為:

對(duì)式( 3) 兩端進(jìn)行傅里葉逆變換，可得相位相關(guān)函數(shù)表達(dá)式如下:

式中:δ(x-x0，y-y0) 即典型的Dirac 沖激函數(shù)，該函數(shù)在中心點(diǎn)(x0，y0) 處不為零，在其它位置都是零。

為求解位移量(x0，y0) ，文獻(xiàn)［7］提出了一種用sinc 函數(shù)近似表示Dirac 函數(shù)的方法:

3 勻速直線運(yùn)動(dòng)模糊分析

3.1 線性不變空間模糊模型

在線性不變空間退化模型中，f(x，y) 表示物體的原始圖像，g(x，y) 表示實(shí)際得到的退化圖像，h(x，y) 表示點(diǎn)擴(kuò)散函數(shù)( PSF) ，則退化模型可表示為［1］:

將式(7) 兩端進(jìn)行傅里葉變換，有:

式中，F(xiàn)(u，v) ，G(u，v) ，H(u，v) 分別表示f(x，y) ，g(x，y) ，h(x，y) 的傅里葉變換，其中H(u，v) 在圖像處理學(xué)中通常稱之為轉(zhuǎn)移函數(shù)或傳遞函數(shù)。

從式(8) 可以看出，在線性不變空間退化模型中，如果已知點(diǎn)擴(kuò)散函數(shù)或轉(zhuǎn)移函數(shù)，就可以通過(guò)圖像恢復(fù)算法求解F(u，v) ，如采用經(jīng)典的逆濾波、Wiener 濾波等方法，再進(jìn)行傅里葉逆變換，得到原始圖像f(x，y)［5-6］，然后根據(jù)實(shí)際需要對(duì)恢復(fù)圖像做進(jìn)一步處理。這種方法雖然有效，但由于在恢復(fù)過(guò)程中不可避免地會(huì)產(chǎn)生誤差，對(duì)后續(xù)的圖像處理工作造成一定影響。

本文從線性不變空間退化模型出發(fā)，結(jié)合相位相關(guān)配準(zhǔn)算法，進(jìn)一步研究退化圖像對(duì)相位相關(guān)配準(zhǔn)精度的影響，從中找出適合線性不變空間退化圖像的運(yùn)動(dòng)檢測(cè)方法。

設(shè)g1(x，y) 和g2(x，y) 分別表示式( 1) 中f1(x，y) 和f2(x，y) 的退化圖像，則根據(jù)式(7) ，有:

將式(1) 代入式( 10) ，建立模糊圖像與基準(zhǔn) 圖像的運(yùn)動(dòng)方程如下:

對(duì)式(11) 進(jìn)行傅里葉變換并整理，有:

式中，G1(u，v) ，G2(u，v) 分別表示退化圖像g1(x，y) ，g2(x，y) 的傅里葉變換。

為進(jìn)一步研究圖像退化對(duì)相位相關(guān)配準(zhǔn)結(jié)果的影響，本文根據(jù)相位相關(guān)配準(zhǔn)原理，計(jì)算退化圖像g1(x，y) 和g2(x，y) 之間歸一化的互功率譜。

根據(jù)式(12) ，歸一化的互功率譜可表示為:

比較式(3) 和式(13) 可知，在線性不變空間退化模型中，退化圖像之間歸一化的互功率譜與原始圖像完全一致，其結(jié)果只與圖像之間的位移量有關(guān)，與圖像退化程度無(wú)關(guān)。利用退化圖像的這一特性，可直接從退化圖像計(jì)算位移圖像之間的歸一化互功率譜中獲取需要的信息。

3.2 勻速直線運(yùn)動(dòng)模糊

在動(dòng)載體成像系統(tǒng)中，由于成像系統(tǒng)與景物之間的相對(duì)運(yùn)動(dòng)，在相機(jī)曝光時(shí)間內(nèi)，目標(biāo)影像在相機(jī)傳感器靶面上會(huì)產(chǎn)生相應(yīng)的像移。根據(jù)相對(duì)運(yùn)動(dòng)產(chǎn)生模糊的機(jī)理不同，可分為勻速直線運(yùn)動(dòng)模糊、斜視運(yùn)動(dòng)模糊及旋轉(zhuǎn)運(yùn)動(dòng)模糊等［15-16］。其中，勻速直線運(yùn)動(dòng)模糊現(xiàn)象在成像系統(tǒng)中比較常見，因此本節(jié)進(jìn)行了相關(guān)研究，介紹如何構(gòu)建點(diǎn)擴(kuò)散函數(shù)和轉(zhuǎn)移函數(shù)，進(jìn)而討論由此造成的退化現(xiàn)象與線性不變空間退化的關(guān)系。

在勻速直線運(yùn)動(dòng)模糊中，圖像模糊效果與像移的大小和方向有關(guān)。在一般情況下，由于曝光時(shí)間較短，可以認(rèn)為在曝光瞬間，載體速度、高度不變，這樣產(chǎn)生的圖像模糊在連續(xù)兩幅圖像內(nèi)的模糊程度相同。

設(shè)相機(jī)與景物之間的相對(duì)速度為v，距離( 高度) 為H，相機(jī)積分時(shí)間為t，相機(jī)焦距為f，則像移量δ 可表示為:

式(14) 表明，在成像系統(tǒng)焦距和積分時(shí)間一定的條件下，像移量與速-高比成正比。

進(jìn)一步將δ 表示成像元形式:

式中，M和β 分別表示圖像模糊量和傳感器尺寸。

根據(jù)圖像復(fù)原理論，圖像復(fù)原的關(guān)鍵是正確估計(jì)成像系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)。在一般情況下，點(diǎn)擴(kuò)散函數(shù)可根據(jù)先驗(yàn)知識(shí)和實(shí)驗(yàn)方法測(cè)量估計(jì)。本文根據(jù)勻速直線運(yùn)動(dòng)的特點(diǎn)，參照文獻(xiàn)［8］提出的5 種典型的點(diǎn)擴(kuò)散函數(shù)，介紹了一種勻速直線運(yùn)動(dòng)點(diǎn)擴(kuò)散函數(shù)及其轉(zhuǎn)移函數(shù)的數(shù)學(xué)描述。

設(shè)圖像模糊量為M，運(yùn)動(dòng)方向與傳感器靶面水平方向夾角為θ，則點(diǎn)擴(kuò)散函數(shù)h(x，y) 可表示為:

從h(x，y) 定義可以看出，勻速直線運(yùn)動(dòng)模糊的點(diǎn)擴(kuò)散函數(shù)是一個(gè)二維脈沖響應(yīng)函數(shù)。

根據(jù)傅里葉光學(xué)理論，成像系統(tǒng)光學(xué)傳遞函數(shù)( OTF) 可表示為:

根據(jù)運(yùn)動(dòng)方向不同，勻速直線運(yùn)動(dòng)模糊可分為水平、垂直和斜向3 種，圖1( a) ～( c) 分別顯示了3 個(gè)方向運(yùn)動(dòng)模糊的光學(xué)傳遞函數(shù)OTF(u，v)曲線。

根據(jù)圖像復(fù)原理論及勻速直線運(yùn)動(dòng)點(diǎn)擴(kuò)散函數(shù)或轉(zhuǎn)移函數(shù)分析，勻速直線運(yùn)動(dòng)模糊符合線性不變空間退化模型要求。因此本文將相位相關(guān)配準(zhǔn)方法用于解決勻速直線運(yùn)動(dòng)模糊圖像的運(yùn)動(dòng)估計(jì)問題具有合理性和可行性，同時(shí)可以實(shí)現(xiàn)較高的運(yùn)動(dòng)檢測(cè)精度。

圖1 光學(xué)傳遞函數(shù)OTF( u，v) 曲線Fig.1 Curves of optical transfer function

4 實(shí)驗(yàn)結(jié)果

4.1 靜態(tài)仿真實(shí)驗(yàn)－歸一化互功率譜一致性驗(yàn)證

選用標(biāo)準(zhǔn)樣本圖像boats 進(jìn)行位移圖像互功率譜一致性測(cè)試，原始圖像尺寸為512 ×512 ×8 bit，見圖2( a) 。首先對(duì)原始圖像在水平和垂直方向分別平移-20 和10 pixel，生成位移圖像，見圖2( b) ，然后根據(jù)式( 3) 計(jì)算兩幅圖像之間歸一化互功率譜，見圖2( c) 。

圖2 原始圖像及位移圖像Fig.2 Original image and displacement image

為驗(yàn)證位移圖像之間歸一化互功率譜經(jīng)過(guò)勻速直線運(yùn)動(dòng)模糊前后的一致性，本文進(jìn)行了對(duì)比實(shí)驗(yàn)，首先使用式( 9) 和式( 10) 分別對(duì)圖3 顯示的原始圖像和位移圖像進(jìn)行勻速直線運(yùn)動(dòng)模糊處理，點(diǎn)擴(kuò)散函數(shù)選擇式( 16) 表示的方波函數(shù)，運(yùn)動(dòng)模糊量M=22 pixel，夾角θ=45°。模糊圖像見圖3( a) 、圖3( b) 。然后根據(jù)式( 13) 計(jì)算兩幅模糊圖像之間歸一化互功率譜，見圖3( c) 。

圖3 運(yùn)動(dòng)模糊圖像及位移圖像Fig.3 Motion-blurred image and displacement image

比較圖2( c) 和圖3( c) 可知，模糊圖像與原圖像的位移圖像之間歸一化互功率譜具有很好的一致性。

4.2 動(dòng)態(tài)運(yùn)動(dòng)估計(jì)實(shí)驗(yàn)－模糊圖像位移量檢測(cè)

為驗(yàn)證本文方法，在實(shí)驗(yàn)室進(jìn)行了勻速直線運(yùn)動(dòng)模糊圖像的運(yùn)動(dòng)檢測(cè)實(shí)驗(yàn)。實(shí)驗(yàn)裝置包括光學(xué)成像系統(tǒng)、高速數(shù)字CMOS 相機(jī)，精密轉(zhuǎn)臺(tái)及計(jì)算機(jī)等。其中光學(xué)系統(tǒng)焦距為150 mm，數(shù)字相機(jī)傳感 器 像 元 尺 寸 為7 μm × 7 μm，幀 頻 為25 frame/s，圖像分辨率為2 350 ×1 720 ×10 bit，精密轉(zhuǎn)臺(tái)編碼器測(cè)角精度為1″。

圖像運(yùn)動(dòng)量與編碼器角度數(shù)據(jù)關(guān)系如下:

式中:d為位移量;f為光學(xué)系統(tǒng)焦距; β 為傳感器像元尺寸; ω 為轉(zhuǎn)臺(tái)角速率;T為視頻采樣周期。

采用標(biāo)準(zhǔn)差( Standard Deviation，SD) 客觀評(píng)價(jià)運(yùn)動(dòng)量計(jì)算誤差，計(jì)算公式如下:

式中:Ti為測(cè)試位移，di為根據(jù)編碼器角度解算的位移真值(i=1，2，…，N) 。

實(shí)驗(yàn)采用動(dòng)態(tài)成像方式，通過(guò)計(jì)算機(jī)控制精密轉(zhuǎn)臺(tái)勻速轉(zhuǎn)動(dòng)，記錄編碼器角度數(shù)據(jù)，用于計(jì)算目標(biāo)圖像位移真值。連續(xù)采集圖像并使用本文方法進(jìn)行目標(biāo)圖像配準(zhǔn)，估計(jì)兩幅圖像之間的位移量。共計(jì)采集25 幀圖像，采集的序列圖像見圖4，圖像運(yùn)動(dòng)量檢測(cè)曲線見圖5，檢測(cè)誤差曲線見圖6。

圖4 序列圖像Fig.4 Sequence of image

從實(shí)驗(yàn)結(jié)果可以看出，采用本文方法，最大配準(zhǔn)誤差為0.489，標(biāo)準(zhǔn)差為0.16，配準(zhǔn)精度優(yōu)于1/5 pixel。

圖5 圖像運(yùn)動(dòng)量曲線Fig.5 Curve of image displacement

圖6 配準(zhǔn)誤差曲線Fig.6 Curve of registration error

5 結(jié) 論

由于載體運(yùn)動(dòng)造成的圖像退化嚴(yán)重影響目標(biāo)識(shí)別、跟蹤及其它信息提取，目前普遍采用的解決方法是圖像復(fù)原，即通過(guò)退化模型和光學(xué)系統(tǒng)的先驗(yàn)知識(shí)對(duì)退化圖像進(jìn)行圖像恢復(fù)或重建。為進(jìn)一步提供有用的圖像信息，本文通過(guò)分析動(dòng)載體成像系統(tǒng)勻速直線運(yùn)動(dòng)模糊的特點(diǎn)，根據(jù)相位相關(guān)配準(zhǔn)原理，結(jié)合線性不變空間退化模型，討論了退化圖像對(duì)圖像配準(zhǔn)結(jié)果的影響，證明了位移圖像之間歸一化互功率譜具有運(yùn)動(dòng)模糊不變性，為相位相關(guān)算法應(yīng)用于運(yùn)動(dòng)模糊圖像的運(yùn)動(dòng)參數(shù)估計(jì)提供了理論依據(jù)，同時(shí)也進(jìn)一步拓展了相位相關(guān)配準(zhǔn)技術(shù)的適用范圍，為勻速直線運(yùn)動(dòng)模糊圖像的運(yùn)動(dòng)參數(shù)估計(jì)提供了新思路和有效的技術(shù)途徑。

理論分析和實(shí)驗(yàn)結(jié)果表明: 相位相關(guān)算法在處理運(yùn)動(dòng)模糊圖像平移方面合理有效，利用圖像的互功率譜信息，減少了對(duì)圖像內(nèi)容的依賴，具有較強(qiáng)的抗噪能力，同時(shí)該算法具有優(yōu)于1/5 pixel級(jí)的配準(zhǔn)精度，能有效地提高目標(biāo)運(yùn)動(dòng)的檢測(cè)精度。

［1］ CASTLEMAN K R.數(shù)字圖像處理［M］.北京:電子工業(yè)出版社，2004.CASTLEMAN K R.Digital Image Processing［M］. Beijing:Publishing House of Electronics Industry，2004.

［2］ KO S J，LEE S H，JEON S W，et al.. Fast digital image stabilization based on gray-coded bit-plane matching［J］.IEEE T． Consum． Electr．，1999，45(3) :598-603.

［3］ 姚軍，蔣曉瑜，杜登崇，等.使用粒子濾波器實(shí)現(xiàn)電子穩(wěn)像［J］.光學(xué) 精密工程，2009，17(5) :1005-1110.YAO J，JIANG X Y，DU D CH，et al.. Digital image stabilization based on particle filter［J］.Opt． Precision Eng．，2009，17(5) :1005-1110.( in Chinese)

［4］ ARGYRIOU V，VLACHOS T. Sub-pixel motion estimation using gradient cross-correlation［C］//The 7th International Symposium on Signal Processing and its Applications( ISSPA) ，Paris，F(xiàn)rance，July 1-4，2003.

［5］ LIKHTERIV B，KOPEIKA N S. Motion-blurred image restoration using modified inverse all-pole filters［J］.J． Electronic Imaging，2004，3(2) :257-263.

［6］ 王曉紅，趙蓉椿.任意方向運(yùn)動(dòng)模糊的消除［J］.中國(guó)圖像圖形學(xué)報(bào)，2000，5(6) :525-529.WANG X H，ZHAO R CH. Restoration of arbitrary dirction motion-blurred images［J］.J． Image and Graphics，2000，5(6) :525-529( in Chinese) .

［7］ STERN A，INNA KRUCHAKOV，EITAN YOAVI，et al.. Recognition of motion blurred image by use of the method of moments［J］.Appl． Opt．，2002，41(11) :2164-2171.

［8］ STERN A，KOPEIKA N S. Analytical method to calculate optical transfer function for image motion and vibration using moments and its implementation in image restoration［J］.SPIE，1996，2827:191-202.

［9］ TAN K C，LIM H，TAN B T G. Restoration of real-world motion-blurred images［J］.CVGIP，1991，53:291-299.

［10］ FOROOSH H，ZERUBIA J，BERTHOD M. Extension of phase correlation to sub-pixel registration［J］.IEEE T． Image Process．，2002，11(3) :188-200.

［11］ 黎俊，彭啟民，范植華.亞像素級(jí)圖像配準(zhǔn)算法研究［J］.中國(guó)圖象圖形學(xué)報(bào)，2008，13(11) :2071-2075.LI J，PENG Q M，F(xiàn)AN ZH H. Asurvey of sub-pixel image registration methods［J］.J． Image and Graphics，2008，13(11) :2071-2075.( in Chinese)

［12］ 馮林，管慧娟，藤弘飛.基于互信息的醫(yī)學(xué)圖像配準(zhǔn)技術(shù)研究進(jìn)展［J］.生物醫(yī)學(xué)工程學(xué)，2005，22(5) :1078-1081.FENG L，GUAN H J，TENG H F. Advances in medical image registration based on mutual information［J］.J． Biomedical Eng． Res．，2005，22(5) :1078-1081.( in Chinese)

［13］ 桂志國(guó)，韓焱.相位相關(guān)配準(zhǔn)法及其在射線圖像數(shù)字減影中的應(yīng)用［J］.儀器儀表學(xué)報(bào)，2004，25(4) :520-522.GUI ZH G，HAN Y. Phase correlation technique for image registration and its application in DSA of radiographic image［J］.Chinese J． Sci． Instrum．，2004，25(4) :520-522.( in Chinese)

［14］ KULIN C D，HINES D C. The phase correlation image alignment method［C］//Proceedings of the IEEE International Conference on Cybernetics and Society，New York，USA，1975:163-165.

［15］ 李仕，張葆，孫輝.航空多重模糊圖像的恢復(fù)［J］.光學(xué) 精密工程，2009，17(5) :1162-1169.LI SH，ZHANG B，SUN H. Restoration of aerial multiple blurred images［J］.Opt． Precision Eng．，2009，17(5) :1162-1169.( in Chinese)

［16］ WEN C Y，LEE C H. Point spread functions and their applications to forensic image restoration［J］.Forensic Sci． J．，2002，1:15-26.