基于雙三幀差分的運動顯著前景區域目標提取

趙紅衛

(桂林電子科技大學，廣西 桂林 541004)

1 引言

現階段隨著社會信息的快速發展，人們在實際生活中對信息安全的要求也越來越高，因此信息智能監控在科技實驗中走向了人們的日常生活，并且得到了廣泛應用。運動目標提取[1，2]是目前該領域中對視頻流研究的主要課題之一，經過提取后的目標精準度對后續步驟有著直觀的影響。這是圖像跟蹤識別系統中的較為重要的一步，同樣也是從視頻圖像中將運動區域進行提取的過程。在此過程中，運動前景區域[3]分割效率的高低，對后期提取處理工作有著至關重要的影響，因為在后期處理過程中對圖像運動區域像素要求較高，因此對圖像分割效果有著嚴謹的限制條件。

魯春[4]等人提出了一種聚類分析算法與改進LK光流法相結合提取手段，首先對圖像序列進行采樣和預處理，并利用LK光流法計算得出相鄰幀圖像的光流場，然后再利用最近鄰聚類算法對得到的光流場進行處理，進而提取出圖像中的運動目標，最后使用Matlab軟件得出。該算法能夠有效提取目標，但在提取的過程中存在目標輪廓信息不穩定、計算過程復雜等問題。高林[5]等人提出利用光流法改進傳統三幀算法，并與背景差分法結合的運動目標提取算法，在一定程度上將二者進行了融合，并且在此基礎上對其圖像目標進行提取。該算法在融合的基礎上對前景圖像進行目標提取，雖然可以完成目標的提取，但是存在失誤率高的缺點。

隨著現階段圖像提取技術的快速發展，傳統方法雖然可以完成圖像提取處理，但其計算過程復雜且不能確保提取結果的精準度，基于此，本文提出了基于雙三幀差分的運動顯著前景區域目標提取方法，在三幀差分算法的基礎上，拓展出雙幀差分法和多幀差分法，也就是雙三幀差分算法，利用兩幀或多幀差分圖像的并集重新恢復圖像輪廓，從而解決傳統提取方法存在的缺陷。

2 雙三幀差分算法分析

傳統三幀差分算法是經過兩次差分處理后獲得二值圖像，并根據結果來對其前景圖像進行提取的一種算法，具體描述內容是輪廓在該圖像中的重合部分。該算法的實際操作步驟是在固定時間段內，對前景目標圖像進行連續兩次提取，然后分別將每次提取結果進行并集處理。因為在提取的過程中，雜波或噪聲具有一定的隨機性，所以就需要減少噪聲、雜波的產生。與此同時通過運算得到目標輪廓交集，可以實現對運動邊緣的提取，則會得出與實際前景圖像輪廓更為接近的結果，這樣就能完全避免在提取過程中出現重影的失誤情況。但因為影響是隨機的，算法也可能會造成目標輪廓信息丟失，而導致輪廓斷裂。

所以為了避免這種情況的發生，同時又能保留運算方法的優勢，本文提出雙三幀差分法，該方法是在提取過程中，選取出連續的兩幀做三幀差分運算，為了比對獲得的二值圖像[6]進行邏輯運算，在計算后對前景圖像輪廓邊緣做適用擴展，同時將經過計算獲取的重要目標信息進行有效存儲。雙三幀差分算法主要是在三幀差分基礎上，適度的擴展出另一個二值化輪廓圖，然后在此基礎上將兩個前景圖像進行目標重合，這樣就可以彌補單三幀差分算法造成的輪廓提取不完整的缺陷。

并且在運用傳統方法提取時，需要讓兩幀的前景圖像在規定時間內同時采樣，獲取結果中必然有輪廓重合部分，因為在提取過程中，圖像目標輪廓都是在同一情況下的兩個目標，根據上述提取結果便可以了解到這兩個目標輪廓不僅可以各自獨立，輪廓信息還具有良好的互補性。基于該方法的基本思想，就可以根據提取的實際要求，來對連續的圖像進行采樣，其中要求圖像之間的并集不能為空集，因此可以提取出同時擁有多種信息的目標運動輪廓。對多幀連續圖像進行采樣后，會進行相對連續的多次差分計算，根據計算結果進行基于理論的邏輯運算，便可以對圖像進行修復、擴展。

此處將以連續的四幀圖像為例，根據上述對雙三幀算法運算邏輯的分析，具體的函數描述便如下所示：

假設連續的四幀圖像序列的灰度分別為：fk(x，y)、fk-1(x，y)、fk-2(x，y)、fk-3(x，y)，將fk(x，y)和fk-1(x，y)進行差分處理，在得到處理結果后就會得到相對應的差分圖像Dk(x，y)，并且在此基礎上會根據其閥值T1分割的結果，進一步獲取出二值化圖像Rk(x，y)，再將fk-1(x，y)和fk-2(x，y)差分后得出的差分圖像Dk-1(x，y)進行閥值T2分割，得到二值圖像Rk-1(x，y)，將fk-2(x，y)和fk-3(x，y)進行差分，得出的差分圖像Dk-2(x，y)，并運用閥值T3的分割值進行處理，得到對應二值化圖像Rk-2(x，y)，詳細計算公式為

(1)

(2)

(3)

(4)

根據上式，將兩幅二值圖像Rk(x，y)和Rk-2(x，y)分別與Rk-1(x，y)進行針對性運算。此處記運算后的二值圖像分別是Jk(x，y)、Jk-1(x，y)，則有

Jk(x，y)=Rk(x，y)?Rk-1(x，y)

(5)

Jk-1(x，y)=Rk-2(x，y)?Rk-1(x，y)

(6)

根據上述可以得知經過運算提取出來的二值化圖像前景圖像輪廓，在一定程度上二者信息輪廓具有一定重合性的。為了可以彌補三幀差分算法造成的前景圖像輪廓斷裂情況，將Jk(x，y)和Jk-1(x，y)進行運算，并且在一定基礎上采取運算結果的并集，將其定義為Fk(x，y)，則有

Fk(x，y)=Jk(x，y)⊕Jk-1(x，y)

={(x，y)|Jk(x，y)∪Jk-1(x，y)}

(7)

上式就是在三幀差分的基礎上雙三幀差分算法的最后計算結果。同理根據上述四幀范例算法便可以構建出五幀圖像，改進后的雙三幀差分算法如圖1所示。根據上述情況便可知，在實際中所運用的的圖像幀數[7]越多，這其中包括的信息量就隨之越多。

圖1 連續五幀圖像的雙三幀差分的運算結構

3 運動顯著前景區域目標提取

3.1 運動目標邊緣提取

在一個連續的視頻流中收集某一段時間內的序列圖像，此處假設f(x，y，t)代表t時間段內的幀數，f(x，y，t-1)則代表t時間段內的前一幀，那么雙三幀差分法運算過程可以寫為：

1)首先需要對連續的兩幀進行差分，差分式可以寫出：

Dt(x，y)=|f(x，y，t)-f(x，y，t-1)|

(8)

2)根據上式，將運用其結果來進行相對的閾值化，那么就可以得到對應的二值結果：

(9)

3.1.1 運動目標檢索

在某段視頻序列中，假設將f(x，y，t)描述為某段時間內的當前幀數，那么其中相鄰的兩幀就可以分別用f(x，y，t-1)和f(x，y，t+1)來進行表示，那么雙三幀差分法的步驟就如下所示：

步驟一：將對應的差分圖像Dt(x，y)：Dt(x，y)=|Pt(x，y)-Pt-1(x，y)|

?|Pt-1(x，y)-Pt(x，y)|進行計算；

步驟二：根據上述式(8)來獲取出閾值化后的二值結果。

3.1.2 邊緣提取Canny算法

在一般情況下常見的邊緣提取算法有Canny[8]、Roberts[9]、Sobel以及Kirsch算法[10]等，其中Roberts算法雖然可以對圖像進行邊緣提取，但同時也存在不確定性較高的問題，并且該算法具有邊緣提取不完整、定位不準確的缺點；Sobel算法是一種根據圖像灰度調節的方法，該算法運用于噪聲多的圖像較好；Kirsch是一種針對性算法，該算法主要用于漸變灰度的圖像中。上述方法全部都是局域窗口[11]的梯度算法，在提取過程中對噪聲具有較高的敏感度，讓后期的處理過程具有明顯的特性，而所運用的Canny算法可以確保在對目標前景圖像提取過程中不受噪聲的影響，使提取過程更具真實性并可提取出微弱邊緣[12]，讓目標的輪廓信息更為完整。

3.2 基于雙三幀差分的運動目標提取

與傳統的幀間差分算法相比，傳統的三幀差分算法可以在一定程度上改善幀間計算復雜的問題，并且在此基礎上可以增加提取結果的精準度。在提取的過程中，三幀差分和幀間差分之間具有某些相似的本質，例如：等同的噪聲抑制效果、一樣的相鄰幀間差值。因為在選取幀間差值時就會因目標運動的整體速度不一致，而造成計算結果存在失誤的空集，所以結合三幀差分算法的特點以及本身運動的環境，提出基于雙三幀差分算法的運動目標的提取。

運動目標提取的具體步驟為：

1)分別針對目前幀f(x，y，t)以及前一幀f(x，y，t-1)、后一幀f(x，y，t+1)進行去噪；

2)對f(x，y，t)，f(x，y，t-1)，f(x，y，t+1)，分別進行差分處理，在處理后得到對應的差分圖像D1(x，y，t)，D2(x，y，t)，D3(x，y，t)；

3)對差分結果D1(x，y，t)，D2(x，y，t)，D3(x，y，t)進行閾值二值化處理；

4)在一定基礎上對二值化后的結果進行運算，再根據運算的結果就可以得出閾值化結果B(x，y，t)；

5)針對上述B(x，y，t)閾值化圖像結果進行部分區域填充；

6)對去噪后的目前幀f(x，y，t)進行Canny算子邊緣提取，通過提取就會得出目前幀圖像的物體邊緣框架；

7)將在6)中獲取出的目前幀圖像的邊緣框架與5)中區域填充結果相結合計算出運動目標的邊界；

8)完成運動前景的目標提取。

4 仿真研究

為了驗證所提方法的目標提取性能，進行一次仿真對比實驗。實驗的仿真環境為：仿真軟件為Matlab software 2015b，運用C++語言進行算法編程。采用正態分布曲線對方法的去噪效果進行評價。

提取環境為某個室內球場，實驗圖片是根據相機在一個固定的角度進行拍攝而得到，相機基本采樣幀率不是很高，并且在錄取視頻的過程中會有較大的噪聲影響，室內的光照不均勻且具有隨機性。實際實驗中的人員一直在進行持續性運動，這樣在提取的過程中才可能提取出人和球，具體的提取輪廓如圖2示。

圖2 需提取圖像

上圖2是兩幀分別需要提取的連續圖像，以該圖像為基礎進行目標提取實驗。

4.1 提取精確度對比

根據上述獲得的實驗圖片，分別進行第一個三幀差分提取、第二個三幀差分提取與雙三幀差分算法提取出，提取結果分別如圖3、4、5所示。

圖3 第一個三幀差分提取的輪廓

根據上述可以看出，圖3是一組經過兩次三幀差分提取的目標輪廓圖，同樣根據圖4也可以得知上述經過兩次三幀差分提取的目標輪廓并不是很完整，具有輪廓斷裂等情況，從目標圖像本身來看，這兩幀圖像具有局部的重合部分。圖5則給出了運用所提方法提取出來的目標輪廓信息結果，根據輪廓圖可以明顯的看出運用所提方法提取出的輪廓信息具有較高的完整性，大到整體輪廓、小到細微的足球輪廓，其中圖像后期的處理效果也比較干凈，與傳統的三幀差分相比，所提方法的提取質量具有明顯優勢。

圖4 第二個三幀差分提取的輪廓

圖5 雙三幀差分算法提取出的輪廓

4.2 去噪效果對比

為了進一步驗證提出方法的有效性，以目標去噪效果為指標，進行對比實驗，對比結果如圖6所示。

圖6 去噪效果對比

從圖6中可以看出，在對相同的運動目標輪廓進行提取的過程中，所提方法的去噪結果較為理想，在經過去噪后信號噪聲在正態分布曲線附近小幅度波動。而其它兩種對比方法的信號噪聲波動范圍較大，且偏離正態分布曲線，嚴重影響最終的提取結果。因此，充分證明所提方法具有較高的去噪效果。

5 結論

針對傳統三幀差分算法存在的重影、目標輪廓斷裂問題，提出了基于雙三幀差分的運動顯著前景區域目標提取方法，該方法在三幀差分算法原理的基礎上，適度的擴展出另一個二值化輪廓圖，在此基礎上將兩個前景圖像進行目標重合，完成目標融合后進行Canny邊緣提取，獲取出邊界輪廓從而實現運動目標的提取。仿真結果證明，與傳統方法相比，所提方法的提取結果具有較高的準確性，且具有較好的去噪效果。