運動目標檢測中的光流擾動效應①

王恩達, 王恩旺

?

運動目標檢測中的光流擾動效應①

王恩達, 王恩旺

(楚雄師范學院信息科學與技術學院, 楚雄 675000) (中國科學院空間目標與碎片觀測研究中心, 南京 210008)

在一些運動目標檢測過程中, 需要自動判斷是否檢測到運動目標, 雖然在場景中沒有出現運動目標, 檢測結果卻錯誤的判斷為檢測到了運動目標. 為了找到這個錯誤的根源, 通過實驗, 發現了光流擾動效應, 并且設計了光流擾動效應檢測算法, 清晰地檢測出了光流擾動效果. 接下來, 通過圖像二值化方式, 消除了光流擾動效應, 避免了運動目標誤判現象, 得到了理想的運動目標檢測結果. 研究證明在空間中存在光流擾動效應, 該效應會對運動目標檢測造成干擾, 消除光流擾動效應, 可提高了運動目標檢測與判斷的準確度和可靠度.

光流擾動; 運動檢測; 幀差法; 二值化; 運動目標判斷

運動目標檢測是計算機圖像、視頻處理工作的基礎, 廣泛的應用在工業、醫學、軍事、教育、商業、體育、安防報警等領域中. 運動目標檢測的準確性和可靠性直接決定它是否可以廣泛的應用到實際的生產過程中. 運動目標檢測算法在實際應用過程中都會受到光照、天氣、陰影、背景中輕微運動物體等噪聲因素的影響, 從而降低運動目標判斷準確度, 得到錯誤的檢測結果, 無法滿足實際應用需求. 其中光照變化是一個常見的噪聲因素, 在一些應用領域中, 需要自動檢測并且判斷是否出現運動目標, 然后做出報警等自動化處理, 但是由于光照因素的干擾, 在沒有出現運動目標的情況下, 卻錯誤的判斷為檢測到了運動目標[1-6], 本研究拋開其它噪聲因素, 僅研究光照因素對運動目標檢測的干擾, 通過實驗發現了一種現象, 將其命名為光流擾動效應. 為了證明光流擾動效應的存在, 研究設計了光流擾動效應檢測算法, 把光流擾動現象清晰地顯示出來, 正是這一種現象導致了很多運動目標檢測過程中的運動目標誤判. 接下來, 采用二值化方式把光流擾動效應消除, 實驗結果不再出現運動目標誤判現象, 得到了準確理想的結果, 證明了在空間中存在光流擾動效應, 該效應會對運動目標檢測造成干擾, 影響運動目標檢測的準確度.

1 運動目標檢測

目前, 已有的運動目標檢測方法按照算法的基本原理可以分為三類: 幀間差分法、背景減除法和光流法. 三類方法各有其優缺點.

背景減除法通過統計若干幀的變化情況, 從而學習背景擾動的規律. 此類算法的缺點是由于通常需要緩沖若干幀來學習背景, 因此往往需要消耗大量的內存, 這使其使用范圍受到了限制. 此外, 對于大范圍的背景擾動, 此類算法的檢測效果也不理想. Stauffer和Grimson[15]提出的高斯混合模型是使用最為廣泛的背景建模方法. 高斯混合模型通過多個高斯分布對背景建模, 每個分布對應一種背景像素的模態,從而能夠適應像素層面上的背景擾動問題, 并能通過對背景的不斷更新, 使系統能對背景的變化自適應. 但是, 高斯混合模型對于全局光照變化、陰影非常敏感, 對于緩慢的運動目標檢測效果也不理想[7-14].

幀間差分法的主要思想就是利用視頻圖像序列中連續兩幀或三頓的差異來檢測發生運動的區域. Lipton等人提出的用于實時視頻流中運動目標檢測的算法就是頓間差分的方法[13]. 幀間差分法的特點是動態性強,能夠適應動態背景下的運動目標檢測. 但是, 這類算法檢測出的目標輪廓不理想, 在目標內部會留有許多空洞, 在目標運動較快時目標的輪廓會被擴大, 在目標運動較慢時甚至有可能無法得到目標的邊界[15-21].

基于光流的運動目標檢測算法是利用光流方程計算出每個像素點的運動狀態矢量, 從而發現運動的像素點, 并且能夠對這些像素點進行跟蹤. 在攝像機運動、背景變化時, 光流法也能檢測出運動目標, 并且它能同時完成運動目標檢測和跟蹤, 但是該方法的計算復雜度高, 在沒有專用硬件支持的情況下很難做到實時檢測, 同時, 光流場的計算非常容易受到噪聲、光照變化和背景擾動的影響. 采用光流場計算的方法也很難將運動目標的輪廓完整地提取出來[22-28].

1.1 改進的幀差運動目標檢測算法

幀差法與背景減除法類似, 事實上它們是同一種運動目標檢測算法的兩種不同的變體, 它們的原理都是通過前景圖像與背景圖像做差運算, 從而檢測出運動目標, 它們的優點是簡單, 易于實現, 這個優點也使得它們具有較大的應用空間和較高的應用價值.

本研究在幀差法和背景減除法的基礎上進行了改進, 針對現有背景設置的缺陷, 提出了將當前幀圖更新為背景的策略, 提高了算法的運算速度, 而且可以把進入場景后靜止的物體快速降級為背景. 同時, 也沒有對背景模型進行統計建模, 更新周期到達時直接把當前幀更新為背景, 大大簡化了背景建模過程, 以下是實現原理.

設()為當前幀中第()個像素點的像素值,()為背景中第()個像素點的像素值,()為運動目標第()個像素點的像素值.

式(1)將當前幀與背景幀相減, 然后取得絕對值, 這個絕對值就是幀差法結果圖像的灰度值.

1.2 圖像二值化

二值化圖像就是把彩色圖像、灰度圖像等轉換為只有兩種像素值的黑白圖像, 即為二值圖. 設()表示原圖中第()個像素點的像素值,()表示二值化后結果圖中第()個像素點的像素值,為給定的閾值, 二值化方法如下:

在運動目標檢測過程中所有灰度大于或等于閾值的像素被判定為屬于特定物體, 其灰度值為255, 在二值圖像中顯示為白色, 灰度值小于閾值的所有像素點, 灰度值設置為0, 在二值圖像中顯示為黑色, 表示背景或者例外的物體區域[29-31].

1.3 運動目標判斷

為了證明靜止場景中存在的光流效應會引起運動目標誤判, 實驗在幀差法運動目標檢測算法中加入了運動目標判斷過程, 用于判斷是否檢測到運動目標. 實現方式如下: 將幀差運算得到的結果圖像的所有像素值累加, 根據累加結果的值判斷是否檢測到運動目標, 如果對幀差運算的結果直接進行運動目標判斷, 設是幀差運算結果圖像灰度值總和,表示幀差運算結果圖像寬度,表示幀差運算結果圖像高度,的計算如下:

如果把幀差運算的結果二值化后再進行運動目標判斷, 設是幀差運算結果圖像灰度值總和,表示二值化結果圖像寬度,表示二值化結果圖像高度, 則的計算為:

接下來用和給定的閾值進行比較, 有兩種情況:

如果大于等于了給定的閾值, 表示檢測到了運動目標, 給出提示信息, 并且把當前幀圖像保存到硬盤中. 如果的值小于, 表示沒有檢測到運動目標.

2 光流擾動檢測算法

光具有波粒二象性, 也就是具有波動性和粒子性, 研究通過計算機數字圖像處理手段, 把一些光學現象清晰地展示出來, 便于觀察和研究, 在實驗結果中顯示的光流擾動現象恰好像一些顆粒狀的東西在做漂流運動, 與光的粒子性和波動性是吻合的.

為了檢測出光流擾動效應, 設計了如下算法:

算法1 光流擾動效應檢測算法 1) 從攝像機或視頻文件中取得第一幀圖像作為背景幀, 把該幀圖像二值化; 2) 從視頻系列中取得第二幀圖像作為前景圖像, 把該幀圖像二值化;3) 依次取出當前幀中第(i,j)個像素點的像素值now(i,j), 和背景圖中的第(i,j)個像素點的像素值back(i,j), 把這兩個像素值相減后取絕對值作為結果圖的像素值. 顯示檢測結果圖像. 4) 計算結果圖所有像素值之和sum, 如果sum大于閾值T則說明前兩張圖像差別較大, 判斷為出現了運動目標, 把當前幀的圖像保存下來, 絕對值之和小于閾值T, 說明前后兩張圖像無顯著變化, 可判斷為場景中沒有出現運動物體. 5) 間隔一段恰當的周期把當前幀更新為背景幀, 取得當前幀圖像作為前景幀, 返回第3)步.

上述算法不但可以檢測出光流擾動效應, 還可以判斷是否檢測到運動目標, 如果判斷為檢測到了運動目標, 就發出提示信息并且把當前幀圖像保存下來, 如果僅僅檢測光流擾動效應, 則可以把該算法簡化, 省略第4)步.

3 實驗分析

實驗分別以室內人物運動視頻、室外highway視頻, 室內羽毛飄落視頻為測試樣本, 三段視頻對應不同的光照強度和不同的場景.

3.1 運動目標誤判實驗

誤判實驗使用光流擾動效應檢測算法進行運動目標檢測, 當檢測到運動目標后, 發出提示信息并且把當前幀圖像保存下來, 以室內人物運動視頻作為測試樣本, 圖1是判斷為檢測到運動目標后, 保存的圖像序列, 兩幀圖像之間的時間間隔為0.3s. 每保存一幀圖像, 都提示“已經檢測到運動目標”.

圖1 運動目標誤判效果

當檢測到運動目標時, 自動把當前幀的彩色圖像保存到硬盤中, 圖1是判斷為檢測到運動目標后自動保存的圖像, 從圖1中可以看出, 在前面的四幀圖像中, 雖然場景中沒有出現任何運動目標, 結果卻錯誤的判斷為檢測到了運動目標, 并且把該幀圖像保存下來, 第五幀圖像是由于場景中進入了運動的人物, 所以運動目標檢測算法檢測到運動的人物, 并且把當前圖像保存到磁盤中, 這一幀圖像是正確的, 而前四幀圖像是運動目標誤判的結果, 為什么會出現這種現象? 接下來的實驗將揭示原因.

3.2 光流擾動檢測實驗

為了證明存在光流擾動現象, 通過光流檢測算法檢測出光流擾動效果, 先把當前幀和背景幀二值化, 再把兩幅圖像做相減運算, 相減結果作為運動目標檢測結果圖像, 在結果圖像中就可以清晰地看到光流擾動效果, 實驗以室人物運動視頻為測試視頻, 每兩幀圖像的時間間隔為0.3s, 實驗效果如圖2.

圖2上方是判斷為檢測到運動目標后, 自動保存的原視頻圖像序列, 下方是對應的光流擾動效應檢測結果圖, 如果通過動態的視頻, 可以清晰地看出光流擾動效果, 光流擾動效應檢測結果是一些白色的像素點, 這些白色的像素點有時成塊狀、有時成流水狀, 就像一些動態的粒子在不停地運動, 形成蜿蜒盤旋、云彩漂浮、水波蕩漾等形態, 將這個現象命名為光流擾動效應. 當場景中沒有運動目標時, 正是由于這些運動的白色像素點導致了運動目標誤判. 第五幀走進了運動人物, 所以檢測出了人物的輪廓, 但是光流擾動效應還存在.

為了證明存在光擾現象, 圖3以“highway”視頻為樣本進行光擾檢測, 該視頻中的樹木沒有搖動, 背景相對簡單, 圖3的第一行為源視頻幀系列, 第二行為光擾檢測結果, 在檢測結果中出現了團塊狀的光擾效果, 在第四幀圖像中已經沒有運動物體, 但仍然存在團塊狀的光擾效應.

圖4第一行是羽毛飄落視頻, 有一根羽毛自上而下緩慢飄落, 場景中的背景相對簡單, 幾乎沒有其它噪聲因素. 第二行是光擾檢測結果, 在結果中檢測到了流水狀的光擾效果.

3.3 光擾消除實驗

為了消除光流擾動效應, 避免在場景中沒有運動目標時發生誤判, 使用改進的幀差法, 先把當前幀和背景幀做幀差算, 最后把幀差結果二值化, 得到最終的檢測結果. 效果如圖5-圖7所示, 圖5-圖7上方圖像是原視頻中的圖像序列, 下方的圖像是對應的運動目標檢測結果.

通過實驗結果可以看出, 經過二值化處理后, 所有檢測結果有效消除了光流擾動效應, 圖5前4幀中, 由于場景中沒有出現運動目標, 所以檢測結果全部為黑色的背景, 第五幀中進入了人物, 所以檢測出了人物的圖像, 顯示為白色區塊, 由于有效消除了噪聲因素, 所以檢測結果得到非常干凈的黑色背景, 而且運動目標的掩膜圖像也比較完美. 實驗結果顯示所有幀中的光流擾動現象已經消除, 在前四幀中不再提示檢測到運動目標信息, 圖像也沒有保存, 僅僅保存了第五幀的圖像, 而且提示“檢測到運動目標”. 達到了預期的效果, 能夠滿足實際的生產應用.

圖6與圖3對比, 團塊狀的光擾效應已經消除, 檢測結果中只剩下汽車掩膜, 圖6第四幀由于汽車駛離了場景, 僅剩下黑色的背景, 與圖3第四幀對比, 光擾完全去除. 同樣, 圖7為羽毛飄落視頻, 與圖4對比, 在檢測結果中僅剩下羽毛掩膜, 而流水狀的光擾已經消除.

表1是光擾檢測與光擾消除實驗中相關參數對照表, 針對不同的運動目標檢測場景, 設置不同的參數, 才能得到更好的實驗結果.

表1 光擾檢測與光擾消除實驗中相關參數設置對照

4 結論與展望

通過實驗發現了光流擾動現象, 有利于對它有針對性的進行研究和處理, 實驗結果證明, 當場景中沒有運動目標時, 由于光流擾動效應, 會干擾運動目標檢測, 造成運動目標誤判, 采取二值化方式可以有效消除光流效應, 得到更加理想、精確的運動目標檢測結果. 二值化方式消除光流擾動效應的不足是, 方法比較粗糙, 在消除光照等噪聲因素的同時, 也會把圖像中部分有用的信息清除, 接下來的研究工作是設計更精細的方法, 既消除光流擾動效應, 又能保留圖像中有用的信息, 此外, 結合物理科學中的光學原理, 光流擾動效應形成機理也是一個有價值的研究方向.

1 袁寶紅,張德祥,張玲君.基于OpenCV的視頻運動目標檢測與跟蹤.計算機系統應用,2013,22(5):90–93.

2 王恩旺,王恩達.改進的幀差法在空間運動目標檢測中的應用.天文研究與技術,2016,16(2):1–9.

3 Liu CJ, Happy W. Gabor feature based classification using the enhanced fisher linear discriminant model for face recognition. IEEE Trans. Image Processing, 2002, 11(4): 467–476.

4 白雪,黃廷磊.運動目標精確檢測算法.計算機系統應用, 2009,18(12):41–44.

5 林洪文,涂丹,李國輝.基于統計背景模型的運動目標檢測方法.計算機工程,2003,29(16):97–99.

6 劉亞,艾海舟,徐光佑.一種基于背景模型的運動目標檢測與跟蹤算法.信息與控制,2002,31(4):315–319.

7 王怡然.基于高斯背景模型的運動目標檢測與跟蹤[碩士學位論文].西安:西安電子科技大學,2012.

8 何信華,趙龍.基于改進高斯混合模型的實時運動目標檢測與跟蹤.計算機應用研究,2010,27(12):4768–4771.

9 常曉鋒,馮曉毅.基于背景減法和時空熵的運動目標檢測新方法.計算機仿真,2008,25(3):235–238.

10 Elhabian SY, El-Sayed KM, Ahmed SH. Moving object detection in spatial domain using background removal techniques-state-of-art. Recent Patents on Computer Science, 2008, (1): 32–54.

11 呂非,季鳴,姜海.基于改進差分和光流的新型運動目標檢測方法.計算機系統應用,2015,24(10):111–115.

12 陶穎軍.基于OpenCV的人臉識別應用.計算機系統應用, 2012,21(3):220–223.

13 Piccardi M. Background subtraction techniques: A review. IEEE International Conference on Systems, Man and Cybernetics. 2004, 4. 3099–3104.

14 Lipton AJ, Fujiyoshi H, Patil RS. Moving target classification and tracking from real-time video. IEEE Workshop on Applications of Computer Vision. IEEE Computer Society. 1998. 8.

15 Stauffer C, Grimson WEL. Leaning patterns of activity using real time tracking. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2000, 22(8): 747–757.

16 王紅茹,季鳴.一種新型的實效運動目標檢測方法.計算機系統應用,2015,24(12):208–214.

17 梁志勇.基于最少幀差法圖像識別的智能監控系統的研究[碩士學位論文].廣州:廣東工業大學,2005.

18 嚴紅亮,王福龍,劉志煌.結合三幀差分的ViBe運動檢測算法.計算機系統應用,2014,23(11):105–110.

19 袁國武,陳志強,龔健,徐丹,廖仁健,何俊遠.一種結合光流法與三幀差分法的運動目標檢測算法.小型微型計算機統,2013,3:668–671.

20 莫林,廖鵬,劉勛.一種基于背景減除與三幀差分的運動目標檢測算法.微計算機信息,2009,25(12):274–276.

21 胡小冉,孫涵.一種新的基于ViBe的運動目標檢測方法. 計算機科學,2014,2:149–152.

22 屈有山,田維堅,李英才.基于并行隔幀差分光流場與灰度分析綜合算法的運動目標檢測.光子學報,2003,32(2): 182–186.

23 潘光遠.光流場算法及其在視頻目標檢測中的應用研究[碩士學位論文].上海:上海交通大學,2008.

24 凡亮,王蓉,金華,李麗華.基于光流的運動目標檢測與跟蹤. 中國人民公安大學學報(自然科學版),2009,2:58–60.

25 Dorin C, Visvanathan R, Peter M. Kernel-based object tracking. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2003, 25(5): 564–577.

26 Fukanaga K, Hostetler LD. The estimation of the gradient of a density function,with applications in pattern recognition. IEEE Trans. in Information Theory, 1975, 21(1): 32–40.

27 Trajkovi? M, Hedley M. Fast corner detection. Image & Vision Computing, 1998, 16(2): 75–87.

28 Fang Y, Dai B. An improved moving target detecting and tracking based on Optical Flow technique and Kalman filter. 4th International Conference on IEEE Computer Science & Education (ICCSE ’09). 2009. 1197–1202.

29 郭佳.基于光照不均勻圖像的自適應二值化方法研究[碩士學位論文].武漢:武漢科技大學,2013.

30 云杰,孫涵.一種新的二值化方法在車牌檢測中的應用.電子科技,2011,12:114–117.

31 趙磊,姜小奇,蔣澎濤,等.基于二值化指紋圖像細節點提取的改進算法.計算機系統應用,2012,21(3):232–235.

Optical Flow Disturbance Effect in Moving Object Detection

WANG En-Da, WANG En-Wang

(Information Science and Technology Academy, Chuxiong Normal University, Chuxiong 675000, China) (The Center for Space and Debris Observation, Chinese Academy of Sciences, Nanjing 210008, China)

In some moving object detection process, it needs to automaticly judge whether it has detected the moving object, although there is no moving object in the current scene, detection result wrongly judges that it have detected the moving object. In order to find the source of the error, optical flow disturbance effect is found through experiment. The optical flow disturbance effect detection algorithm is designed, and the effect of optical flow perturbation is clearly detected. Next, through the binarization method of image it eliminates optical flow disturbance effect. The ideal results of the moving object detection are obtained. This research proves that the optical flow perturbation effect exists in the space, which can cause interference to the detection of moving object. It also can eliminate the effect of optical flow disturbance and improve the accuracy and reliability of moving object detection and judgment.

optical flow disturbance; motion detection; frame difference method; binarization; moving object judgment

中國科學院國防科技創新基金(CXJJ-14-S106)

2016-06-13;

2016-07-20

[10.15888/j.cnki.csa.005632]