足球比賽視頻中的目標檢測與跟蹤算法研究

(商洛學院，陜西 商洛 726000)

足球比賽視頻中的目標檢測與跟蹤算法研究

楊斌

(商洛學院，陜西商洛726000)

為在足球視頻中有效的檢測與跟蹤運動目標，需要對足球比賽視頻中目標檢測與跟蹤算法進行研究；當前采用的算法，在動態場景中，存在運動目標檢測與跟蹤效果不佳的問題；為此，提出一種基于OpenCV的足球比賽視頻中目標檢測與跟蹤算法；該算法結合平均背景算法將足球比賽視頻中目標圖像分割為前景區與背景區，計算足球比賽視頻每一幀目標圖像和背景圖像之間差值的絕對差值，同時計算每一個目標圖像中像素點的平均值與標準值來建立目標圖像背景統計模型，利用TMHI算法對足球比賽視頻中目標初始圖像進行閾值分割，得到初始分割圖像，對分割圖像進行中值濾波和閉運算，再使用卡爾曼濾波對分割后的目標圖像進行處理，得到鏡頭中目標的質心位置和目標外界矩形框，然后對足球比賽視頻中目標進行跟蹤；實驗證明，該算法有效的檢測與跟蹤足球視頻中運動目標。

足球比賽；視頻；目標檢測；目標跟蹤

0 引言

近幾年，隨著科技的發展及人們對生活質量要求的提高，對視頻目標檢測與跟蹤技術的需求越來越廣泛[1]。作為觀眾喜愛的體育視頻之一，足球比賽視頻中檢測與跟蹤算法的研究受到研究人員的關注[2]。然而當前使用的算法，在動態場景中，存在運動目標檢測與跟蹤效果不佳的問題[3]。在這種情況下，如何在足球視頻運動背景畫面較為復雜的情況下，精準的檢測與跟蹤運動目標，成為當前研究的重點[4]。該算法結合平均背景算法將足球比賽視頻中目標圖像分割為前景區與背景區，計算足球比賽視頻每一幀目標圖像和背景圖像之間差值的絕對差值，同時計算每一個目標圖像中像素點的平均值與標準值來建立目標圖像背景統計模型，利用TMHI算法對足球比賽視頻中目標初始圖像進行閾值分割，得到初始的分割圖像，并對分割圖像進行中值濾波和閉運算，再使用卡爾曼濾波對分割后的目標圖像進行處理，得到鏡頭中目標的質心位置和目標外界矩形框，然后對足球比賽視頻中目標進行跟蹤。在足球視頻中，有效的目標檢測與跟蹤，對足球視頻的上層分析有著重要意義，因此成為業內人士研究的焦點話題，受到廣泛關注，同時也取得一定研究成果[5-7]。

現有的足球比賽視頻中目標檢測和跟蹤的算法有：文獻[8]提出一種基于高斯模型的足球比賽視頻中目標檢測與跟蹤算法，利用背景分差法分割足球比賽視頻中目標圖像，分割出前景目標，以Kalman濾波為目標運動模型，對運動目標進行實時跟蹤，當跟蹤目標時有遮擋的情況發生，該算法將對引起遮擋原因進行分析，并引入足球比賽視頻中目標的可靠性度量，以增強該算法目標跟蹤的可靠性和穩定性。該算法具有良好的性能，外界因素對其影響不大，但該算法檢測目標沒有持續性，經常發生目標丟失的情況。文獻[9]提出一種基于粒子濾波的足球比賽視頻中目標檢測與跟蹤算法，該算法解決了足球比賽視頻中目標檢測與跟蹤的非線性問題和非高斯問題，積極目標圖像幀觀測數據以提高圖像信噪比，以最快的速度檢測到視頻中運動目標的存在，選擇合理的圖像樣本長度，可以保證目標檢測的連續性，該算法具有良好的檢測與跟蹤性能，但背景較為復雜的情況下，檢測的性能下降。文獻[10]提出一種基于背景匹配的足球比賽視頻中目標檢測與跟蹤算法，該算法通過相關匹配算法將足球比賽視頻中背景圖像對齊，并與幀間差分算法相結合，提取出足球比賽視頻中運動目標，再使用卡爾曼預測器對足球比賽視頻中目標位置進行預測，該算法具有檢測目標速度快、效果穩定的優點，但該算法的檢測與跟蹤結果容易受到外界的干擾，出現檢測圖像模糊不清。

針對上述問題，提出一種基于OpenCV的足球比賽視頻中目標檢測與跟蹤算法。實驗證明，所提算法有效的檢測與跟蹤足球視頻中運動目標。

1 足球比賽視頻中的目標檢測與跟蹤算法研究現狀況及問題

足球比賽視頻中目標檢測就是使用恰當的算法對目標信息視頻序列進行處理，將運動目標圖像前景區與背景區分開的過程，是實現足球比賽視頻中目標檢測與跟蹤算法高層次視頻分析的基礎，也是計算機視覺信息提取的重要問題。目前比較成熟的視頻中目標檢測算法有以下三種：幀間差分算法、背景差分算法和光流算法。

幀間算差分算法是視頻中目標檢測常見方法之一，幀間算差分算法對足球比賽視頻中連續的兩幀或三幀目標視頻序列圖像進行差分操作，使用計算結果來檢測足球比賽視頻中目標的位置，幀間算差分算法具有計算量小、實時檢測的優點，但對足球比賽視頻中目標運動的方式比較敏感，檢測結果經常產生空洞和虛影現象。背景差分算法是這三種方中最為有效的視頻中目標檢測算法，背景差分算法是對足球比賽視頻中目標圖像的前景圖像與背景圖像進行差分操作，同樣利用計算結果來檢測足球比賽視頻中目標的位置。背景差分算法的計算難度適中、實時檢測的效果好、抗干擾性強的特點，并且背景差分算法檢測足球比賽視頻中目標位子的準確度較高，背景差分算法對光照長時間變化敏感，不適合長時間在光照下進行檢測工作。光流算法賦予足球比賽視頻中目標圖像里每一個像素點一個速度矢量，在目標運動的過程中，目標視頻圖像上的像素點會與三維目標物體上的點一一對應，根據對應像素點的速度矢量特征，可以檢測出目標的三維形狀以及位置信息，但光流算法計算量較大、實時檢測能力較差，而且需要在特定的軟件系統上才可以使用。

足球比賽視頻中目標跟蹤算法的基本原理為：在足球比賽視頻中目標檢測結果上，分析跟蹤目標外在信息，計算視頻中連續的兩幀圖像信息相似度較大的區域，并記錄足球比賽視頻中目標質心(質量中心)位置和運動軌跡。

想要良好的檢測和跟蹤足球比賽視頻中目標檢測和跟蹤目標，必須精準的檢測出視頻中目標的位置，并且要快速、穩定、實時的對目標進行跟蹤，在目標跟蹤時出現遮擋或跟丟的情況時，要有一定的自我恢復能力。想要同時滿足實時檢測、準確檢測和可靠性三個條件并不容易。當前足球比賽視頻中的目標檢測與跟蹤算法研究遇到背景復雜干擾、遮擋、陰影和實時性與魯棒性比平衡等問題。

許多學者在上文中提到的視頻目標檢測技術的基礎上，提出了許多優化算法，提高足球比賽視頻中目標檢測的準確性。本文提出了一種基于OpenCV的足球比賽視頻中目標檢測與跟蹤算法。

2 基于OpenCV的足球比賽視頻中的目標檢測與跟蹤算法

2.1 足球比賽視頻中目標檢測算法

常用的足球比賽視頻中目標檢測與跟蹤算法有幀間差分算法、背景差分算法和光流算法這三種，背景差分算法這三種算法中最常用的算法，但背景差分算法算法不足之處，一些學者提出結合對稱差分算法和背景減法。本文在背景差分法的基礎上，提出了OpenCV平均背景法。背景差分算法將足球比賽視頻中每一幀目標圖像的前景區與背景區進行差分操作，假設足球比賽視頻中前景幀圖像為f(x,y)，背景幀圖像為B(x,y)，則前景區與背景區的差分圖像表達式為：

D(x,y)=|f(x,y)-B(x,y)|

(1)

式中,D(x,y)為前景區與背景區的差分圖像；將得到的目標差分圖像進行二值化處理，當目標差分圖像中像素點大于給定的閾值時，則像素點為前景區像素點，反之為背景區像素點。

背景差分算法對光照長時間變化敏感，會因此產生許多偽目標運動點，影響足球比賽視頻中目標檢測的效果。此問題可以用平均背景算法來解決，通過平均背景算法技術目標圖像中每一個像素點的平均值和標準值，以計算結果構建目標圖像的背景模型，并用該模型描述足球比賽視頻中目標圖像每一個像素點的變化，當目標圖像像素點的平均值與標準差都大于給定的閾值，那么該像素點位于目標圖像的前景區。

OpenCV平均背景算法為平均背景算法在OpenCV中的應用，則給算法的計算步驟與平均背景法相同。平均背景法的計算步驟為：

1)計算目標圖像平均像素值：累積足球比賽視頻每一幀目標圖像和背景圖像，計算兩者之間絕對差值，一般情況下，需要累積50～1500幀目標圖像，利用平均背景算法計算目標圖像中每一個像素點的平均值和標準值，為構建目標圖像背景統計模型打下基礎。足球比賽視頻中目標圖像平均像素公式為：

(2)

式中,fk(x,y)和fk-1(x,y)為足球比賽視頻中兩幀相鄰的目標圖像；n為足球比賽視頻中目標圖像的總幀數；k表示足球比賽視頻中第k個目標圖像。在OpenCV中利用cvAcc函數累積足球比賽視頻中目標圖像的每一幀前景圖像和背景圖像。足球比賽視頻中目標圖像像素的標準值公式為：

(3)

在OpenCV中利用cvAbsDiff函數計算足球比賽視頻每一幀目標前景圖像和背景圖像之間的絕對差圖像。

2)建立目標圖像背景統計模型：一旦累積到足夠多的足球比賽視頻每一幀目標圖像和背景圖像，計算每一個目標圖像中像素點的平均值與標準值，將計算結果轉化為目標圖像背景統計模型。在目標圖像背景統計模型中設置一個高閾值8和一個低閾值5，將每一幀目標前景圖像和背景圖像之間的絕對差值，當兩者之間的絕對差值大于8或小于5時，該目標圖像像素點都被認為是目標圖像前景。在OpenCV中利用cvInRange函數分割目標圖像，將目標圖像分割成前景區與背景區。

3)建立目標背景統計模型后，后續的圖像幀進入前景判定模塊，即可以檢測出足球比賽視頻中運動目標。

2.2 足球比賽視頻中目標跟蹤算法

在OpenCV中提出全局目標運動模型的TMHI算法對足球比賽視頻中目標進行跟蹤。通過該模型計算可以得出全局運動目標矢量，并計算出足球比賽視頻中目標實際的運動矢量與全局的目標運動矢量之差，利用計算結果獲取足球比賽視頻中目標圖像中目標運動的局部矢量，但是直接使用TMHI算法計算足球比賽視頻中目標實際的運動矢量，需要經過多次迭代計算，而且全局目標運動模型的幅值較大，導致計算結果誤差增大，所以先對全局目標運動模型進行補償，再使用TMHI算法進行迭代計算，計算出目標運動的局部矢量。

根據全局目標運動模型計算出足球比賽視頻中目標圖像中每一個像素點的全局運動矢量(ug,vg)，假設由足球比賽視頻中目標運動引起的全局運動矢量(u1,v1),并初始化為0。對全局目標運動模型等式(4)和等式(5)成立：

u-n=ug+u1

(4)

v-n=vg+v1

(5)

根據TMHI算法的迭代方程對局部目標運動區域進行迭代計算，可以準確的計算出目標圖像局部目標運動區域的矢量場。TMHI算法的迭代方程為：

(6)

(7)

計算出足球比賽視頻中目標運動的局部運動區域矢量場后，對局部運動區域矢量場的目標圖像進行分割，獲得足球比賽視頻中運動目標的運動區域，根據矢量場局部圖像的均值確定其閾值。再對目標圖像進行閾值分割，得到初始的分割圖像，對已分割的初始圖像進行中值濾波和閉運算。使用卡爾曼濾波對分割后的目標圖像進行處理，選擇鏡頭中目標的質心位置和目標外界矩形框，并對其進行跟蹤，假設足球比賽視頻中目標質心的位置為(r,c)，目標質心的運動矢量為(vx,vy)，足球比賽視頻中目標外界矩形框的高度與寬度為(h,w),則足球比賽鏡頭中目標的運動狀態的狀態矢量可以表示為：

x=(r,c,h,w,vx,vy)T

(8)

卡爾曼濾波根據最小均方差估計目標圖像狀態矢量與預測值之間的均方誤差，使其達到最小值。則足球比賽視頻中目標圖像的狀態方程和觀測方程可以定義為：

xn=Axn-1+wn-1

(9)

zn=Hzn-1+vn

(10)

式中,xn為足球比賽視頻中目標在n時刻的狀態向量；zn為足球比賽視頻中目標在n時刻的觀測向量；A為目標狀態轉移矩陣；H為視頻中目標的觀測矩陣；wn-1和vn兩個互不相關的高斯白噪聲，且兩者的均值為零。如果足球比賽視頻中兩個相鄰幀的目標外界矩形框的變化較小，說明目標的運動恒定。當目標矢量為公式(11)時，則足球比賽視頻中目標的狀態轉移矩陣和觀測矩陣可以用公式(12)和公式(13)表示：

z=(r,c,h,w)T

(11)

(12)

(13)

經過公式(8)～(13)的計算可以估計出足球比賽視頻中目標質心的位置以及外界矩形的高度與寬度，從而確定視頻中目標的運行軌跡，并對其進行跟蹤。

3 仿真實驗結果與分析

為了證明本文所提出的OpenCV的足球比賽視頻目標檢測與跟蹤算法的有效性，需要進行一次實驗研究。實驗視頻為納什基金會今年的公益足球比賽現場視頻，實驗視頻中目標運動員由運動到靜止再到運動，視頻中每一幀圖像的分辨率為720×576，幀率為每秒5幀。首先對本文算法的檢測效果進行測試，圖1給出足球比賽視頻中運動目標圖像，圖2、圖3、給出本文算法分別與經常使用的背景差分算法和幀間差分算法目標檢測效果對比圖，圖2顯示本文算法與背景差分算法目標檢測結果，從圖中可以看出在長時間光照下背景差分算法的檢測輪廓不完整，檢測的效果一般，本文算法完全不受光照的影響。

圖1 足球比賽視頻中目標圖像

圖2 光照下幀間差分算法與本文算法檢測結果

圖3顯示本文算法與幀間差分算法目標檢測結果，從圖中可以看出幀間差分算法可以檢測出目標的基本輪廓，但邊緣部分有缺失，本文算法檢測結果雖然也有部分缺失，但相較于背景差分算法檢測的邊緣輪廓信息完整。

圖3 背景差分算法與本文算法檢測結果

本文算法將目標圖像分為前景區與背景區，在分割的過程中，當目標圖像中像素點的閾值大于8或小于5時，說明該像素點為前景圖像，更好的檢測目標，假設閾值單位為ep,前景圖像隨閾值增長像素點的密度變大，檢測結果越精準。

圖4 前景圖像檢測效果

接下來對本文提出的卡爾曼濾波器跟蹤算法的跟蹤性能進行測試，當α=0.6、β=0.6、ε=6時，表1中給出卡爾曼濾波器的跟蹤結果。

表1 卡爾曼濾波器跟蹤結果

從上述實驗中可以看出，所提方法可以解決目標檢測算法中多種不精確檢測目標的問題，并對已檢測到的目標實時跟蹤。

4 結束語

采用當前的算法，在動態場景中，存在運動目標檢測與跟蹤效果模糊的情況。提出一種基于OpenCV的足球比賽視頻中目標檢測與跟蹤算法。并通過實驗證明，所提算法能夠對足球視頻中運動目標進行高效的檢測與跟蹤。

[1] 丁曉娜,孟祥艷.基于仿生系統的雙視角運動目標檢測方法[J].電子設計工程,2016,24(11):18-20.

[2] 權 巍,包鐵壯,白寶興,等.SURF與RANSAC算法結合的圖像跟蹤方法[J].計算機仿真,2016,33(9):268-272.

[3] 邵萬開,石澄賢.動態背景下運動目標檢測與跟蹤研究[J].計算機測量與控制,2016,24(8):52-55.

[4] 聞 凱.基于復雜融合特征與灰度-紋理直方圖描述子的紅外弱小目標檢測追蹤算法[J].科學技術與工程,2016,16(34):83-91.

[5] 黃 斌.基于自適應觀測粒子濾波的運動跟蹤算法[J].科技通報,2016,32(3):145-148.

[6] 胡子軍,張林讓,房嘉奇.多站無源雷達多起伏目標檢測前跟蹤算法[J].電子與信息學報,2015,37(3):651-657.

[7] 柳 超,李秀友,黃 勇.優化的多模型粒子濾波機動微弱目標檢測前跟蹤方法[J].信號處理,2015,31(9):1131-1137.

[8] 尹宏鵬,陳 波,柴 毅,等.基于視覺的目標檢測與跟蹤綜述[J].自動化學報,2016,42(10):1466-1489.

[9] 陳唯實.基于時域特性的非相參雷達目標檢測與跟蹤[J].系統工程與電子技術,2016,38(8):1800-1807.

[10] 劉紅亮,周生華,劉宏偉,等.一種航跡恒虛警的目標檢測跟蹤一體化算法[J].電子與信息學報,2016,38(5):1072-1078.

GreyNeuralNetworkModelforPredictionofCarbonEmissions

Yang Bin

(Shangluo University,Shangluo 726000,China)

In order to target motion detection and tracking effectively in the soccer video, need to study object in soccer video detection and tracking algorithm. The algorithm in dynamic scenes, are moving target detection and tracking problems. Therefore, this paper proposed an algorithm for detection and tracking of target OpenCV in soccer video based on this algorithm. Combining the average background algorithm will target image segmentation for soccer video in the foreground area and background area, calculates the difference between the absolute difference of soccer video each frame of target image and background image, and calculate the average value of each pixel in the target image and the standard value. The establishment of the target image background statistical model, the initial target of soccer video image segmentation using TMHI algorithm to obtain the initial image segmentation, median filtering and closed operation of image segmentation, and then use the Calman filter to process the target image after segmentation, target centroid position and get outside rectangular shots target in the frame. Then the goal in soccer video tracking. The experimental results show that the moving target detection and tracking algorithm for soccer video effectively.

football match; video; object detection; target tracking

2017-05-15；

2017-06-28。

陜西省體育局項目(16063)；陜西省體育局項目(16071)；商洛學院教改項目(15jyjx104)；商洛學院教改項目(16jyjx133)； 商洛學院科研項目(16SKY0011)；陜西省教育學會2016年度課題項目(SJHYBKT2016068)。

楊 斌(1983-)，男，陜西商洛人，碩士研究生，主要從事體育教學理論與運動訓練實踐方向的研究。

1671-4598(2017)09-0286-03

10.16526/j.cnki.11-4762/tp.2017.09.068

TP391

A