視頻序列中ROI的提取方法研究

伍彩紅

摘 要 由于受光照、天氣、噪聲等因素影響，使得對視頻序列中運動目標的檢測成為一項比較困難的工作。本文首先對視頻做分幀、灰度化等預處理，采用一種基于改進了的背景差分法對圖像序列進行檢測，提取人體二值圖像，并利用數(shù)學形態(tài)學對二值圖像中存在的孔洞和噪聲點進行相應的處理，以人體最小外接矩形的高為邊長，提取感興趣的運動區(qū)域（ROI）。

關鍵詞 運動區(qū)域提取 數(shù)學形態(tài)學 最小外接矩形

中圖分類號：TP391.41 文獻標識碼：A

ROI Extraction Method in a Video Sequence

WU Caihong

（Wuhan Yangtze Business University， Wuhan， Hubei 430065）

Abstract Due to the effect of factors such as light， weather， noise， so about the detection of moving object in video sequences is a relatively difficult work. At first， this article making corresponding pretreatment for the videos such as separating frame and making gray， extracting human binary image based on an improved background difference method and using mathematical morphology processing the holes and noise point existed in binary images. With the high of minimum circumscribed rectangular as side length， extracting the Region of Interest （ROI）.

Key words moving region extraction； mathematical morphology； the minimum circumscribed rectangle

0 引言

運動目標檢測涉及視頻圖像處理、人工智能以及模式識別等領域，是運動圖像分析、人機交互、視頻監(jiān)控等領域的重要處理環(huán)節(jié)，具有較強的研究價值和意義。運動檢測在很多領域有著非常重要的作用，例如在商場、停車場、銀行等公共場所應用運動目標檢測技術，能夠幫助監(jiān)控人員及時發(fā)現(xiàn)公共場所的異常行為，防止偷盜、破壞等行為的發(fā)生，保證社會的安定。人體運動目標檢測的主要任務是從圖像序列中檢測感興趣的運動目標，將其與背景分開，并且獲取物體及運動的相關參數(shù)用于后續(xù)的處理。通常情況下一個理想的目標檢測方法能夠應用到各種環(huán)境中，能夠?qū)ν饨缫蛩氐母蓴_具有魯棒性。但是在實際情況中由于受光照、天氣、噪聲等因素的影響，使得運動目標檢測成為比較困難的工作。目前還沒有統(tǒng)一的目標檢測算法專門對人體行為進行檢測，大都是針對具體的運動環(huán)境進行分析解決的，因此根據(jù)不同的背景環(huán)境可采取不同的人體行為檢測方法。本文提出了一種有效的運動目標檢測方法，利用該方法能夠正確地提取感興趣的運動區(qū)域（ROI）。

1 預處理

1.1 分幀處理

本文數(shù)據(jù)集選取的是Weizmann數(shù)據(jù)庫①中的人體行為運動的視頻，每段視頻表示一種行為，共5種行為，分別為：“走”（walk）、“跑”（run）、“側(cè)向跑”（side）、“雙腳跳”（jump）、“單腳跳”（skip），由9個不同的人完成。視頻是在時域上圖像序列的擴展，幀是組成視頻的最小單位，代表單幅的圖像。首先，將每段視頻分幀，轉(zhuǎn)化為人體行為圖像序列。分幀后的圖像序列是呈離散、靜態(tài)規(guī)律的。假設一個包含有幀，大小為€椎耐枷裥蛄校硎鏡謚⊥枷瘢渲？= 1，2，…，，將按列堆疊成一個維的向量，其中 = €祝蛘靄⊥枷竦男蛄鋅梢員硎疚卣蟮男問劍？= 。將每段視頻轉(zhuǎn)化為圖像序列后，對圖像序列加矩形窗，每10幀為一個窗（作為一個樣本），窗與窗之間重疊的幀數(shù)為5，則每個圖像序列可分為（）個樣本，為每段視頻的幀數(shù)。

1.2 圖像序列的灰度化處理

將原始視頻進行分幀處理后，接下來的工作就是對圖像序列進行簡單的預處理。由于攝像頭采集的AVI格式的視頻是彩色的，將其進行分幀后得到的是24位彩色的JPG格式的圖像序列，每幀圖像大小為180€？44€？，這樣圖像的數(shù)據(jù)量較大，對后面識別速度的影響非常大。為減小計算復雜度，需要對彩色圖像進行灰度化處理，將其轉(zhuǎn)變成大小為180€？44的256級灰度圖像。灰度圖像是一個數(shù)據(jù)矩陣，只包含圖像的亮度信息，不包含圖像的色彩信息。灰度矩陣可以是unit8類型也可以是double類型，其取值范圍分別為[0，255]和[0，1]。矩陣中的每一個元素代表一個像素點，也就是代表不同的亮度或者灰度級。其中亮度為0表示黑色，亮度為255（或者double類型的1）表示白色。

2 運動目標提取

由于本文研究的是在靜態(tài)背景下提取感興趣的運動目標（ROI）的方法，在攝像機不動的情況下，視頻序列相鄰兩幅圖像之間的差別主要由運動目標的位置變化以及噪聲、光照和天氣等外界因素的影響。②本文采用一種基于改進了的背景差分方法檢測運動目標。

圖像序列在攝取和傳輸?shù)倪^程中易受到噪聲的干擾，并且本文所用數(shù)據(jù)集是在戶外拍攝的，也會受天氣、光照等因素的影響，所以在進行目標檢測時要對背景進行實時更新，選用中值濾波的方法建立背景模型，③提取與圖像序列對應的圖像背景并保存。endprint

本文進行目標檢測的原理流程如圖1所示，（，）表示視頻中當前第幀圖像，（，）表示對應的背景圖像，（，）表示當前第幀圖像與對應的背景幀圖像相減的結(jié)果圖像，（，）表示對結(jié)果圖像（，）進行二值化的圖像，后處理主要是對二值圖像（，）進行數(shù)學形態(tài)學處理和連通性分析，若某一連通區(qū)域面積大于給定的閾值，則認為檢測到運動目標，并認為該區(qū)域為運動目標所處范圍，從而也可以確定運動目標的最小外接矩形。其中：

（，） = ∣（，）（，）∣ （1）

（2）

公式（2）中的T為門限閾值。

圖1 人體運動目標檢測原理流程

3 數(shù)學形態(tài)學后處理

經(jīng)過目標檢測后所提取的人體行為樣本是二值圖像，由于所選視頻中部分運動人體的衣服顏色與背景圖像顏色接近以及噪聲的干擾，檢測后得到的人體運動區(qū)域不一定是完整清晰的，一般會包含孤立的噪聲點和孔洞，需要對這些樣本圖像進行一定的后處理，主要目的是去除小區(qū)域的孤立噪聲點和填充小孔洞。為進一步得到完整清晰的二值輪廓圖像，本文采用數(shù)學形態(tài)學處理的方法解決以上問題。

數(shù)學形態(tài)學（Mathematical Morphology）是建立在集合理論基礎上的學科。④在數(shù)學形態(tài)學運算中腐蝕和膨脹是最基本的運算，腐蝕能夠消除運動區(qū)域周圍的邊界點，但圖像最終的腐蝕效果與圖像自身和所選擇的結(jié)構元素的形狀大小有關，采用不同形狀和大小結(jié)構元素對原圖像腐蝕效果也不同。與腐蝕運算的作用正好相反，膨脹運算能夠擴大圖像的邊界。但是它與腐蝕一樣，最終的膨脹效果也受圖像自身和所選擇的結(jié)構元素的形狀大小的影響。效果如圖2所示。

圖2 數(shù)學形態(tài)學處理

4 感興趣區(qū)域（ROI）提取和圖像歸一化

前面的工作已經(jīng)對運動目標進行了檢測，并做了相應的后處理，得到了人體二值圖像序列。為了去除人體二值圖像中的冗余信息，本文以最小外接矩形的高為邊長，提取正方形的區(qū)域，即提取感興趣的運動區(qū)域（ROI），外接矩形框的提取如圖3所示。由于每個運動人體的體重和身高不同，并且每個人在運動過程中最小外接矩形的高與寬也是時刻變化的，因此在提取ROI后還要將其歸一化為相同大小的圖像，本文統(tǒng)一將ROI歸一化為60€？0大小的圖像，如圖4所示。

圖3 人體最小外接矩形框的提取

圖4 將大小為180€？44的ROI歸一化為60€？0大小的圖像

5 結(jié)論

本文采用一種基于改進的背景差分法對人體行為進行檢測，提取人體運動的二值圖像。利用數(shù)學形態(tài)學中腐蝕與膨脹基本算子對樣本圖像進行后處理，消除樣本圖像中的噪聲點和孔洞。并以最小外接矩形的高為邊長，從二值圖像中提取正方形區(qū)域，即感興趣的運動區(qū)域（ROI），去除圖像的冗余信息。通過實驗證明該方法能夠有效提取感興趣的運動區(qū)域（ROI）。

注釋

① http：//www.wisdom.weizmann.ac.il/～vision/SpaceTimeActions.html#Classification%20Database.

② Y.H. Yang， M.D. Levine. The background primal sketch： an approach for tracking moving objects. Machine Vision and applications.5（1992）：17-34.

③ LO B P L， VELASTIN S A. Automatic congestion detection system for underground platforms[C]. Proceedings of 2001 International Symposium on Intelligent Multimedia Video and Speech Processing. New York： IEEE.2001：158-161.

④ 孫即祥.圖像分析[M].北京：科學出版社，2005.endprint

本文進行目標檢測的原理流程如圖1所示，（，）表示視頻中當前第幀圖像，（，）表示對應的背景圖像，（，）表示當前第幀圖像與對應的背景幀圖像相減的結(jié)果圖像，（，）表示對結(jié)果圖像（，）進行二值化的圖像，后處理主要是對二值圖像（，）進行數(shù)學形態(tài)學處理和連通性分析，若某一連通區(qū)域面積大于給定的閾值，則認為檢測到運動目標，并認為該區(qū)域為運動目標所處范圍，從而也可以確定運動目標的最小外接矩形。其中：

（，） = ∣（，）（，）∣ （1）

（2）

公式（2）中的T為門限閾值。

圖1 人體運動目標檢測原理流程

3 數(shù)學形態(tài)學后處理

經(jīng)過目標檢測后所提取的人體行為樣本是二值圖像，由于所選視頻中部分運動人體的衣服顏色與背景圖像顏色接近以及噪聲的干擾，檢測后得到的人體運動區(qū)域不一定是完整清晰的，一般會包含孤立的噪聲點和孔洞，需要對這些樣本圖像進行一定的后處理，主要目的是去除小區(qū)域的孤立噪聲點和填充小孔洞。為進一步得到完整清晰的二值輪廓圖像，本文采用數(shù)學形態(tài)學處理的方法解決以上問題。

數(shù)學形態(tài)學（Mathematical Morphology）是建立在集合理論基礎上的學科。④在數(shù)學形態(tài)學運算中腐蝕和膨脹是最基本的運算，腐蝕能夠消除運動區(qū)域周圍的邊界點，但圖像最終的腐蝕效果與圖像自身和所選擇的結(jié)構元素的形狀大小有關，采用不同形狀和大小結(jié)構元素對原圖像腐蝕效果也不同。與腐蝕運算的作用正好相反，膨脹運算能夠擴大圖像的邊界。但是它與腐蝕一樣，最終的膨脹效果也受圖像自身和所選擇的結(jié)構元素的形狀大小的影響。效果如圖2所示。

圖2 數(shù)學形態(tài)學處理

4 感興趣區(qū)域（ROI）提取和圖像歸一化

前面的工作已經(jīng)對運動目標進行了檢測，并做了相應的后處理，得到了人體二值圖像序列。為了去除人體二值圖像中的冗余信息，本文以最小外接矩形的高為邊長，提取正方形的區(qū)域，即提取感興趣的運動區(qū)域（ROI），外接矩形框的提取如圖3所示。由于每個運動人體的體重和身高不同，并且每個人在運動過程中最小外接矩形的高與寬也是時刻變化的，因此在提取ROI后還要將其歸一化為相同大小的圖像，本文統(tǒng)一將ROI歸一化為60€？0大小的圖像，如圖4所示。

圖3 人體最小外接矩形框的提取

圖4 將大小為180€？44的ROI歸一化為60€？0大小的圖像

5 結(jié)論

本文采用一種基于改進的背景差分法對人體行為進行檢測，提取人體運動的二值圖像。利用數(shù)學形態(tài)學中腐蝕與膨脹基本算子對樣本圖像進行后處理，消除樣本圖像中的噪聲點和孔洞。并以最小外接矩形的高為邊長，從二值圖像中提取正方形區(qū)域，即感興趣的運動區(qū)域（ROI），去除圖像的冗余信息。通過實驗證明該方法能夠有效提取感興趣的運動區(qū)域（ROI）。

注釋

① http：//www.wisdom.weizmann.ac.il/～vision/SpaceTimeActions.html#Classification%20Database.

② Y.H. Yang， M.D. Levine. The background primal sketch： an approach for tracking moving objects. Machine Vision and applications.5（1992）：17-34.

③ LO B P L， VELASTIN S A. Automatic congestion detection system for underground platforms[C]. Proceedings of 2001 International Symposium on Intelligent Multimedia Video and Speech Processing. New York： IEEE.2001：158-161.

④ 孫即祥.圖像分析[M].北京：科學出版社，2005.endprint

本文進行目標檢測的原理流程如圖1所示，（，）表示視頻中當前第幀圖像，（，）表示對應的背景圖像，（，）表示當前第幀圖像與對應的背景幀圖像相減的結(jié)果圖像，（，）表示對結(jié)果圖像（，）進行二值化的圖像，后處理主要是對二值圖像（，）進行數(shù)學形態(tài)學處理和連通性分析，若某一連通區(qū)域面積大于給定的閾值，則認為檢測到運動目標，并認為該區(qū)域為運動目標所處范圍，從而也可以確定運動目標的最小外接矩形。其中：

（，） = ∣（，）（，）∣ （1）

（2）

公式（2）中的T為門限閾值。

圖1 人體運動目標檢測原理流程

3 數(shù)學形態(tài)學后處理

經(jīng)過目標檢測后所提取的人體行為樣本是二值圖像，由于所選視頻中部分運動人體的衣服顏色與背景圖像顏色接近以及噪聲的干擾，檢測后得到的人體運動區(qū)域不一定是完整清晰的，一般會包含孤立的噪聲點和孔洞，需要對這些樣本圖像進行一定的后處理，主要目的是去除小區(qū)域的孤立噪聲點和填充小孔洞。為進一步得到完整清晰的二值輪廓圖像，本文采用數(shù)學形態(tài)學處理的方法解決以上問題。

數(shù)學形態(tài)學（Mathematical Morphology）是建立在集合理論基礎上的學科。④在數(shù)學形態(tài)學運算中腐蝕和膨脹是最基本的運算，腐蝕能夠消除運動區(qū)域周圍的邊界點，但圖像最終的腐蝕效果與圖像自身和所選擇的結(jié)構元素的形狀大小有關，采用不同形狀和大小結(jié)構元素對原圖像腐蝕效果也不同。與腐蝕運算的作用正好相反，膨脹運算能夠擴大圖像的邊界。但是它與腐蝕一樣，最終的膨脹效果也受圖像自身和所選擇的結(jié)構元素的形狀大小的影響。效果如圖2所示。

圖2 數(shù)學形態(tài)學處理

4 感興趣區(qū)域（ROI）提取和圖像歸一化

前面的工作已經(jīng)對運動目標進行了檢測，并做了相應的后處理，得到了人體二值圖像序列。為了去除人體二值圖像中的冗余信息，本文以最小外接矩形的高為邊長，提取正方形的區(qū)域，即提取感興趣的運動區(qū)域（ROI），外接矩形框的提取如圖3所示。由于每個運動人體的體重和身高不同，并且每個人在運動過程中最小外接矩形的高與寬也是時刻變化的，因此在提取ROI后還要將其歸一化為相同大小的圖像，本文統(tǒng)一將ROI歸一化為60€？0大小的圖像，如圖4所示。

圖3 人體最小外接矩形框的提取

圖4 將大小為180€？44的ROI歸一化為60€？0大小的圖像

5 結(jié)論

本文采用一種基于改進的背景差分法對人體行為進行檢測，提取人體運動的二值圖像。利用數(shù)學形態(tài)學中腐蝕與膨脹基本算子對樣本圖像進行后處理，消除樣本圖像中的噪聲點和孔洞。并以最小外接矩形的高為邊長，從二值圖像中提取正方形區(qū)域，即感興趣的運動區(qū)域（ROI），去除圖像的冗余信息。通過實驗證明該方法能夠有效提取感興趣的運動區(qū)域（ROI）。

注釋

① http：//www.wisdom.weizmann.ac.il/～vision/SpaceTimeActions.html#Classification%20Database.

② Y.H. Yang， M.D. Levine. The background primal sketch： an approach for tracking moving objects. Machine Vision and applications.5（1992）：17-34.

③ LO B P L， VELASTIN S A. Automatic congestion detection system for underground platforms[C]. Proceedings of 2001 International Symposium on Intelligent Multimedia Video and Speech Processing. New York： IEEE.2001：158-161.

④ 孫即祥.圖像分析[M].北京：科學出版社，2005.endprint