基于形態學和光流方程的光斑中心計算方法

趙玉華，袁 峰，張秋佳，李子帙

（1.哈爾濱理工大學應科院，黑龍江哈爾濱150080；2.哈爾濱工業大學自動化測試與控制系，黑龍江哈爾濱150001）

基于形態學和光流方程的光斑中心計算方法

趙玉華1，袁 峰2，張秋佳1，李子帙1

（1.哈爾濱理工大學應科院，黑龍江哈爾濱150080；2.哈爾濱工業大學自動化測試與控制系，黑龍江哈爾濱150001）

針對圖像序列中微小光斑中心位置的計算，本文提出了一種結合灰度形態學原理和光流估計方程的中心計算方法。在對圖像序列逐一進行灰度膨脹后，根據光流方程對連續三幀圖像進行位置轉換并疊加，完成圖像中微小目標的能量增強，從而使傳統的重心算法在處理這一類圖像時能夠達到亞像素精度。經過誤差分析和實驗證明，這一方法有效的解決了微小目標的中心位置計算問題。

形態學；灰度膨脹；光流方程；亞像素精度

1 引 言

為測量運動目標的位置和姿態變化，在一些特殊的環境下，經常采用在被測對象上安裝激光發射裝置，利用高速攝像機捕捉激光光斑來確定觀測對象的實際運動情況。而當被測目標的空間坐標變化過快時，就必須對相機的曝光時間加以限制，以保證不會因為重復曝光而引起圖像的動態模糊。為了滿足工業生產、科學研究對于高速攝像的需求，攝像機的曝光時間已經能達到幾兆分之一秒，甚至每秒鐘可連續拍攝6億幅畫面的高速相機［1］。高頻率的拍攝在滿足了圖像清晰度的同時，也造成了圖像本身的亮度降低，當目標與攝像機的相對位置較遠時，所拍攝到的激光光斑在成像平面上所占的像素也較少，成為弱點目標，此時，采用重心法所計算出的光斑重心往往與實際情況有較大的誤差。對于以上情況，采用灰度形態學原理，對高速攝像機捕捉激光光斑進行灰度膨脹，再利用最小二乘光流估計方法將多幀圖像能量疊加，增強圖像的信噪比，以提高整個算法的計算精度。

2 原始圖像的膨脹

由于圖像中光斑目標能量較低，通過多幀圖像累加的方法，可以有效的改善圖像中目標光斑的能量強度，提高圖像信噪比。但對于由于運動速度較大的點目標來說，直接累加并不能實現目標能量的有效積累。這樣就需要將目標進行灰度膨脹，然后利用光流場的最小二乘估計，對膨脹后的圖像目標進行疊加，已得到更適合重心法計算的光斑圖像。

2.1 灰度膨脹

數學形態學是近年來以形態為基礎對圖像進行分析的一種數學工具，他的基本思想使用具有一定形態的結構元素，去量度和提取圖像中的對應形狀，以達到對圖像分析和識別的目的。灰度形態學是數學形態學的一個分支，用于分析灰度圖像，其基本運算主要有兩種，即灰度膨脹和灰度腐蝕。

用結構元素b對輸入圖像f進行灰度膨脹，記為f⊕b，其定義為［2－5］：

式中，Df和Db分別是f和b的定義域，這里限制位移參數s－()x，t－()y在f的定義域內，灰度膨脹運算是在結構元素b定義的鄰域內取f＋b的最大值，從而使圖像中比背景亮的部分得到擴張，而比背景暗的部分受到收縮，收縮的程度取決于結構元素的值和形狀。

2.2 結構元素的選擇

在對圖像進行灰值膨脹運算時，結構元素的形狀和大小應根據目標的大小來選取［6－8］。高曝光頻率下的激光光斑目標很小，甚至只占幾個像元，要求所選的結構元素不能過大；同時目標在圖像上通常近似為圓點狀，其能量基本成高斯分布，所選結構元素結構也應近似于高斯分布，以保證膨脹后，圖像中光斑能量分布基本不發生變化。故采用如式（2）所示的結構元素：

結構元素的選擇對于之后的圖像疊加也有一定的影響。當目標運動速度過快且所選擇結構元素較小時，圖像疊加幀數過多可能會造成目標點處噪聲能量增加，并且使目標面積擴大，目標定位精度下降，計算量增加，因此，根據本文所研究的實際情況和所選擇的結構元素，選取連續三幀圖像進行疊加。

2.3 灰度膨脹的誤差影響

圖1為圖像序列進行灰度膨脹的過程。其中圖1（a）所示的是輸入圖像f和結構元素b，這里表示的是運算過程中的兩種情況，圖1（b）給出了最終的膨脹結果。

圖1 灰度膨脹示意圖

可以看出，通過灰度膨脹運算后的圖像中，只是對光斑目標的大小和亮度進行的改變，并沒有改變光斑的中心位置。同樣，當目標較小，圖像中能量分布呈階梯狀時，灰度膨脹對其中心位置的影響也很小，相對于光流估計所造成的誤差可以忽略不計。

3 最小二乘光流估計與多幀圖像能量累計

3.1 最小二乘光流估計原理

背景中目標的運動在圖像平面上投影產生的速度場稱為光流場，它反映目標運動的連續性。光流場約束方程是光流估計的基礎，它建立了圖像平面上任意一點時空梯度變化與該點瞬時速度（u，v）之間的光流方程關系式為［9－10］：

式中，Ex，Ey和Et分別為灰度函數E關于x，y和t的偏導；u和v為目標在x和y軸上的速度。光流方程表示運動圖像中某一點的灰度時間變化率，是灰度空間變化率與該點空間運動速度的乘積［11］。實際中，灰度時間變化率可用沿時間方向的一階差分平均值來估計：

由于光流法只適用于具有一定形狀的目標，對于點目標不適用，通過灰度膨脹以后的光斑目標可以形成一個小目標區域。為避免圖像的實際灰度受噪聲影響，在連續的兩幅圖像E( x，y，t)和E (x，y，t＋1)上取具有相同u和v的同一目標上的4個不同位置的像素，組成光流約束方程：

通過光流約束方程，將前后三幀圖像進行轉換并疊加，然后對得到的新圖像進行重心法的計算，以得到目標光斑的中心位置。

3.2 光流速度估計的誤差分析

用實際光流速度(u′i，v′i)和利用公式（9）所得到的估計光流速度(ui，vi) 進行比較，可以得到平均角誤差θˉerr。

式（11）中，N為光流場的像素數。光流場平均角誤差反映了計算的光流場的流速矢量整體上偏離標準光流場的程度，可以根據光流場平均角誤差來計算疊加后的光斑中心平均誤差。

對于連續的三幀圖像，將第（i－1）幀圖像疊加到第i幀圖像中，則其光流估計誤差為：

第（i－2）幀圖像疊加到第i幀圖像時其光流誤差為：

其中，Vi＝uiv

[]i。結合式（11）、（12）、（13），對三幀圖像疊加后的合成圖像進行重心法計算，則其光斑中心平均偏移量為：

從式（14）中可以看出，光斑中心偏移量與圖像中光斑的移動速度有直接關系，運動速度越快則誤差越大。

4 實驗與誤差分析

本文中采用一組320×240的圖像序列，以50 mW、波長650μm的半導體激光器作為目標光源，相機的幀頻為500 f／s，每幅圖像的曝光頻率為0.00005 s。在圖像序列中，任意選取三組圖像（每組圖像包括三幅連續圖像）按照本文中的算法進行膨脹疊加，并利用質心法求得合成圖像中光斑中心位置，與原始圖像序列進行比較。

表1中X，()Y和X′，()Y′分別代表原始圖像和膨脹后圖像中光斑的中心位置，為判斷灰度膨脹對圖象中心的影響程度，分別選用7×8個像素的光斑圖像和1×2個像素的光斑圖像進行計算，從結果中可以看出，膨脹前后所改變的只是光斑所占像素面積以及光斑的亮度，而光斑中心位置并未因此發生較大變化（誤差小于0.01像素），對于之后的圖象疊加的影響很小，但是由于圖像光斑的能量并沒有增強，因此利用質心法仍然無法對像素內位置進行細分，計算精度并沒有得到提高。

表1 圖像膨脹前后中心位置比較表

表2中，（Xi，Yj）和（Xi′，Yj′）分別表示原始圖像和疊加圖像中的光斑坐標，（ui－j，vi－j）表示兩幅圖像中光流速度。原始圖像中，目標光斑大小約為1×2個像素，最大灰度值為59（255級）；經過灰度膨脹處理后，目標所占像素增加到3×4個像素；通過圖像疊加后，光斑像素達到4×5個，光斑中心的亮度接近飽和，圖像的信噪比相應提高了3倍，且誤差基本可以滿足亞像素精度的要求。同時從疊加結果與之前單幅圖像比較可以看出，隨著光斑運動速度的提高，光斑中心位置誤差也隨之增大，這與之前對誤差的分析結果是一致的。當光斑運動速度過高時，需要增加拍攝幀數，減小光流速度以提高算法的精度。

表2 疊加圖像與原始圖像中心坐標位置比較表

5 結 論

本文將灰度形態學原理和光流估計方程引入經典重心法中，通過對高速低亮度的微小目標光斑圖像進行逐一的灰度形態膨脹，將膨脹后的圖像序列根據光流約束關系進行位置轉換并累加，有效的提高了目標光斑所占的圖像像亮度和信噪比，使得原本利用重心法無法精確定位的目標光斑圖像中心光斑位置精度達到亞像素級別，同時，對本文中算法精度進行了估算。可以看出光流估計方程在運動目標的多幀估計和軌跡預測時效果顯著，精度也較高，能夠滿足實際測試要求。但由于原始圖像在計算光流速度以及圖像彷射變換的運算量較大，對圖像的實時性處理能力還有待提高，這需要在以后的研究中進一步解決。

［1］ Zhang Qiujia，Wang Hong，Liu Wei.Moving object detection optical flow vectors compensation model［J］.Laser＆Infrared，2011，41（11）：1263－1267.（in Chinese）張秋佳，王虹，劉威.光流向量補償模型的運動目標檢測［J］.激光與紅外，2011，41（11）：1263－1267.

［2］ Tonissen SM，Bar-Shalom Y.Maximum likelihood trackbefore-detectwith fluctuating target amplitude［J］.IEEE Trans.On AES，1998，34（3）：796－806.

［3］ Wei Hongqiang，Feng Jinliang，Wang Jinsong，et al.Detectionmethod for smallmoving target in sequence image［J］.Chinese Journal of Scientific Instrument，2008，29（8）：1735－1739.（in Chinese）韋宏強，馮進良，王勁松，等.序列圖像中弱小運動目標檢測方法［J］.儀器儀表學報，2008，29（8）：1735－1739.

［4］ Xu Jianzhong，Wang Zulin，Zhao Yihuan，et al.Detection of weak pointmoving targets in infrared image sequences［J］. Optical Technique，2010，36（3）：460－463.（in Chinese）許建忠，王祖林，趙毅寰，等.紅外序列圖像弱小動目標檢測的研究［J］.光學技術，2010，36（3）：460－463.

［5］ Qin Hanlin，Li Jia，Zhou Huixin，et al.Infrared dim and small target background suppression using shearlet transform［J］.J.Infrared Millim Waves，2011，30（2）：162－167（in Chinese）秦翰林，李佳，周慧鑫，等.采用剪切波變換的紅外弱小目標背景抑制［J］.紅外與毫米波學報，2011，30（2）：162－167.

［6］ Zhang Yujin.Image engineering［M］.Beijing：Tsinghua University Press，2005.（in Chinese）章毓晉.圖像工程［M］.北京：清華大學出版社，2005.

［7］ Chen Yanmei，Wu Boying.An image enhancing method based onmathematicalmorphology［J］.Journal of Harbin Institute of Technology，2006，38（6）：906－908.（in Chinese）陳延梅，吳勃英.基于數學形態學的圖像增強方法［J］.哈爾濱工業大學學報，2006，38（6）：906－908.

［8］ Tom V，Peli T，leung M.Morphology-based algorithm for point target detection in infrared backgrounds［J］.Proc of SPIE，1993，15（6）：2－5.

［9］ Zhou Ming，Xu Shaohui.Infrared weak-target image detection［J］.Semiconductor Optelectronics，2004，25（3）：224－227.（in Chinese）周銘，許少輝.一種紅外小目標的圖像檢測方法［J］.光電技術應用，2004，25（3）：224－227.

［10］Rivest J F，Fortin R.Detection of dim target in infrared imagery by morphological image processing［J］.Optical Engineering，1996，7：1886－1891.

［11］Choi Jae-ho，Jang Jong-wham，Lee Seung-phil.Multiple moving object estimation in image sequences of natural scene［J］.Opt Eng.，1997，36（8）：2176－2183.

Spot centre arithmetic based on morphology and optical flow equation

ZHAO Yu-hua1，YUAN Feng2，ZHANG Qiu-jia1，LIZi-zhi1
（1.Applied Science College of Harbin University of Science and Technology，Harbin 150080，China；2.Department of Automatic Testing and Control，Harbin Institute of Technology，Harbin 150001，China）

To calculate the centre of small light points in images，an effective centre arithmetic which combinesmorphology with optical flow estimation is proposed.After dilating image sequences，three consecutive frames of the image are operated by using optical flow equation，then they are accumulated to enhance the small object energy in the images.This arithmetic makes the classical centroid method reach subpixel precision when it processes this kind of images.By error analysis and experiments，it can solve the problem of small target centre determination.

mathematicalmorphology；morphology dilation；optical flow equation；subpixel precision

TP391.4

A

10.3969／j.issn.1001-5078.2014.02.0

黑龍江省教育廳科學技術研究項目（NO：11541064）資助。

趙玉華（1970－），女，博士，副教授。主要從事視覺測量、飛行器空間姿態測量等方面的研究。E-mail：zhaoyuhua0451＠163.com

2013-07-02；

2013-07-30