多視角目標檢測與跟蹤技術的研究與實現

瞿俊峰+++沈星辰+++倪進園

摘 要：隨著計算機視覺的發展，運動目標的檢測與跟蹤技術得到了充分的應用，然而容易被遮擋的致命缺陷大大限制了這一技術的發展空間。采用多個相機進行多視角觀察是解決這一問題的有效方法。文章在已有的目標檢測和跟蹤技術的基礎上加入了多個視角之間的航跡融合，將多個視角的坐標投影到統一的坐標系中，從而改善單一視角下目標檢測與跟蹤技術的不足。

關鍵詞：目標檢測；目標跟蹤；多視角；航跡融合；歸一化矩陣

1 概述

隨著計算機視覺的發展，單視角目標檢測跟蹤技術的應用越來越廣泛。商場、車站、大樓等許多公共場合都采用了這一項技術。

目前常見的目標檢測方法有幀差法、光流法、混合高斯模型和非參數模型法等。幀差法[1]對環境有很好的適應性，差分圖像受光線變化影響小，檢測有效而穩定，但是只能檢測相對運動的目標，檢測出的目標位置不精確，不能提取完整的運動目標，較大程度依賴差分幀的選擇時機和目標的運動速度，背景不能保證完全靜止，就會導致目標提取的錯誤。光流法[2]能夠在不知道場景的任何信息的情況下， 檢測出運動對象。但是大多數光流方法計算復雜，只能得到稀疏的光流場，不適于實時處理。混合高斯模型[3]比單高斯模型更精確，能夠較完整的提取目標。但是參數更新的收斂速度慢，不能夠及時反映背景的變化；對全局亮度的變化比較敏感，有時會將整個視頻幀作為前景。需要事先假定背景分布模型及需要進行模型參數估計和優化，也不適用于密度分布未知的計算機視覺等應用系統。非參數模型[4]能夠較敏感地檢測出運動物體，較完整地分割出運動對象。但是要建立非參數模型需要先存入N幀圖像用來判斷像素點和進行背景更新，制約檢測速度，較難滿足實時性。

常見的目標跟蹤方法有特征匹配法、卡爾曼濾波法和光流法等。特征匹配法[5]對目標的視角、光線及運動狀態的變化等不利因素有較好的適應性，對于剛性目標的跟蹤具有很好的實時性和跟蹤精度。但是跟蹤準確性對于計算量有較大需求。卡爾曼濾波法[6]計算簡單，跟蹤準確，但是不能很好解決相互遮擋的問題，在運動目標之前相互交叉之后又繼續運動的情況下，會出現將兩個目標視為一個目標，交叉之后分開時，又視為兩個新的目標。光流法[7]的優點在于不需要目標的先驗知識，計算比較精確。但是，它對照度變化和噪聲比較敏感、計算量也比較大。而且由于實際景物中的速度場不一定總是與圖像中的直觀速度場有唯一對應的關系，偏導數的計算又會加重噪聲水平，使得基于光流的方法在實際應用中常常不穩定。

多視角目標檢測跟蹤技術，通過多個航跡之間的關聯融合，解決單一視角存在的一些問題。本文根據國內外的研究現狀，分析其優缺點，以單視角運動目標檢測、單視角目標跟蹤和多視角運動目標融合為研究內容，建立一種新的基于多視角探測的運動目標檢測跟蹤系統。通過對該項目的研究，可以有效的提高多視角目標檢測跟蹤系統的檢測率和跟蹤精度，使其具有更廣泛的應用。

2 目標檢測

早期的運動目標檢測大多采用幀差法。這種方法檢測速度快，計算量小，但是會造成檢測結果不完整，不能完整提取運動目標的信息，給后續的處理帶來了很大的麻煩。因此，我們選擇了混合高斯模型進行運動目標檢測。

背景像素值在一段時間內分布為多峰，利用單個高斯模型的集合來描述像素值在一段時間的變化狀態，就是混合高斯。對每一個像素點，定義K個高斯分布來表示其狀態，K值體現了像素值多峰分布的峰的個數，K值一般取在3-5之間，檢測過程中只要像素點符合K個高斯分布的一個，就認為該像素點為具有背景特征的像素點，反之，該像素點被判為目標。

將一副圖像分成RGB三個通道，各個通道將各色的灰度值作為每個像素點的值，構成相應的三個灰度矩陣。

然后從第n+1幀開始，逐幀進行背景匹配和背景、高斯分布更新。更新過程如下：對于每一幀，取一個像素點當前的灰度值與已有的5個高斯分布函數進行比較：如果存在匹配，則返回該高斯分布的序號k（1，2，3，4，5）；如果不匹配，則繼續評判后續函數是否匹配，如果均不匹配，則對已有高斯函數進行替換，將原有的高斯函數中權重最小的高斯函數替換為新的高斯函數，將新的高斯函數的權重w設為被替換高斯函數的現有權值，初始化新的高斯分布均值mean=該像素點灰度值，并且設定方差為3。對于存在匹配的高斯分布k，我們對其均值、方差、權重進行修正，總體而言，對于存在匹配的高斯分布k加大其權重，對于不匹配的高斯分布k減小其權重。更新后的權重w=（1-a）×w+a，其中a為學習因子，在這里設定學習因子a=0.5。更新后的均值mean=（1+a）×mean+a×image_source，其中image_source為當前像素的灰度值。更新后方差為std2=（1-a）×std2+a×（image_source-mean）2。

最后，在一幀圖像處理完后，對各高斯分布進行歸一化，找出權重最大的高斯分布并以此函數對應位置的值作為當前幀各像素點的背景值，從而提取出當前幀的背景。

3 目標跟蹤

為了實現快速計算以實現實時處理，同時考慮到通過多視角航跡融合可以在一定程度上消除目標相互遮擋帶來的缺陷，這里采用卡爾曼濾波實現目標跟蹤。

卡爾曼濾波器的基本思想是：如果滿足以下三個假設：

（1）被建模的系統是線性的，即k時刻的系統狀態可以用某個矩陣與k-1個時刻的系統狀態的乘積表示；（2）影響測量的噪聲屬于白噪聲；（3）噪聲本質上是高斯分布的。

且給出了該系統的歷史測量值，那么可以建出一個將這些早期觀測值的后驗概率最大化的系統狀態模型。假設的后兩條說明噪聲與時間無關，同時通過均值和協方差就可以準確地建立起幅值模型。將前期測量值的后驗概率最大化是指每次獲得測量值之后的模型都是在考慮早期的模型和新測量值之間的不確定性基礎上建立的，并且具有最高的正確概率。

其中，R為測量噪聲協方差。

所以，后驗誤差協方差為

卡爾曼濾波器用反饋控制的方法估計過程狀態：濾波器估計k時刻的狀態，然后用含有噪聲的測量變量獲得反饋。工作過程可分為兩步，第一步為預測，用已獲得的信息修正模型，然后用修正以后的模型計算目標下一時刻最有可能出現的位置；第二步為校正，在獲得了k+1時刻的測量值后，將測量值與k時刻模型的預測值進行調整。

4 航跡融合

協方差矩陣算法計算簡便，精確度高，因此非常適合應用在這種場合，下面對這種方法進行詳細的論述。

首先對于三臺相機，各取5個對應點，進行坐標變換。設三個視場內坐標分別為（x1，y1），（x2，y2）和（x3，y3）。建立一個矩陣H。然后將坐標歸一化，即

各組數據歸一化之后計算協方差conv（x1，y1）、conv（x1，x1）、conv（y1，y1）；conv（x2，y2）、conv（x2，x2）、conv（y2，y2）；conv（x3，y3）、conv（x3，x3）、conv（y3，y3），建立協方差矩陣

于是，建立坐標轉換矩陣P

接下來，就可以根據三個視場內的坐標將目標投影到融合坐標系中

5 結束語

該項目基本實現了當初的預期目標。首先對于目標檢測和目標跟蹤，該項目都成功的實現并且對于非高速目標都可以實現檢測和跟蹤。而且，引入了航跡關聯之后，對于目標檢測和跟蹤的效果都有明顯提升，而單一視角下目標易被遮擋的問題也得到了一定程度上的解決。

程序運行后，如圖1所示，對于運動目標，在每個視角內都用黑色框框出，同時根據當前狀態預測下一時刻運動狀態。

在圖2中，目標發生遮擋，在每個單一視角中，可以發現兩個目標被判定為一個，但是在融合坐標系中，還是可以觀察到單獨的目標（車）在移動。

參考文獻

[1]高凱亮，覃團發，王逸之，等.一種基于幀差法與背景減法的運動目標檢測新方法[J].電訊技術，2011（10）：86-91.DOI：10.3969/j.issn.1001-893x.2011.10.018.

[2]王曉衛，寧固.一種改進的基于光流的運動目標的檢測算法[J].武漢大學學報：信息科學版，2003（3）：351-353.

[3]華媛蕾，劉萬軍.改進混合高斯模型的運動目標檢測算法[J].計算機應用，2014，34（2）：580-584.

[4]毛燕芬，施鵬飛.一種用于運動目標檢測的多模態非參數背景模型[J].上海交通大學學報，2005.

[5]奚慧婷.剛性運動目標的跟蹤算法研究[D].華東師范大學，2008.DOI：10.7666/d.y1371587.

[6]黃超群.基于混合高斯模型和Kalman濾波器的運動目標檢測與跟蹤[D].云南大學，2010.

[7]裴巧娜.基于光流法的運動目標檢測與跟蹤技術[D].北方工業大學，2009.