基于全景視覺和常規視覺融合的目標跟蹤技術

錢澤東等

摘 要：全景視覺和常規視覺協同利用進行運動目標檢測與跟蹤是圖像處理中的一個重要課題，具有廣泛的應用前景。文章基于全景視覺與常規視覺融合的目標跟蹤技術，采用全景視覺和常規視覺協同方式，由全景發現目標后報警，將目標在空間中的水平和垂直角度信息傳遞給常規視覺系統，實現目標的跟蹤。

關鍵詞：全景視覺；數字圖像處理；目標檢測；目標跟蹤

傳統視覺一般采用常規攝像頭，一般視野較小，對周圍環境信息的獲取不全面，容易形成視覺盲區，不能及時地處理某些突發事件。全景視覺能滿足人們大視場需求，能在同一時間獲取周圍水平方向360°，垂直方向超過180°的視野信息，但是對周圍環境存在畸變映射，不是實際景物的真實反映，對距離全景攝像機較遠的目標無法精確觀測和識別。因此，為滿足實際中的各種需要，合理運用全景和常規視覺系統，由全景視覺系統發現目標，然后通過位置解算對目標方位信息進行解算，基于解算得到的方位信息，通過常規視覺系統進行精確觀察，不失為一種良好的目標跟蹤系統。

1 全景視覺和常規視覺融合系統組成

全景和常規視覺系統的結構布置可以有兩種，一種是全景視覺系統和常規視覺系統水平方向放置，一種是垂直方向放置。兩種結構布置方式都可以實現周圍環境的監測，但是水平放置時，常規視覺系統中的云臺攝像機會遮擋住一部分全景信息，雖然也能同時通過云臺進行觀察，但是造成了資源的浪費，相對于垂直方向的放置方法，不能完全發揮全景的優勢。而且兩者的坐標軸有一段距離，當全景找到目標確定位置信息后，調動云臺轉動到相應的預置位，而相應的云臺控制系統的預置位又因為全景設備的遮擋，云臺相機的視野受限。綜上所述，本系統采用垂直布置結構，全景和云臺的垂直結構又可以有兩種情況，一種是全景設備在上，一種是云臺設備在上。在這兩種情況下，全景攝像機的優勢都能被充分地利用，區別就在于云臺相機上。選取的云臺攝像機垂直方向上能夠從水平位置向下轉動90°，如果放置在系統的上方，視野也會因為全景設備遮擋而受限，目標出現在同一區域時兩者的角度很難完整對應，設置較為復雜，經過試驗對比，云臺攝像機放置在系統下端，可以把全景計算得到的目標的水平垂直角度直接發送給云臺作為目標的位置信息，兩者的對應關系較為簡單，所以最終選取上全景下與下云臺的垂直結構。可以這樣說，在進行協調控制的時候，根據幾何關系得到全景坐標系下的目標的水平垂直角度，就能控制云臺轉動的預置位，再微調下角度，就能得到很好的視野。如圖1所示。

2 基于幀間差分目標識別

基于全景視覺和常規視覺融合跟蹤技術是在目標識別基礎上完成的，利用全景裝置和云臺之間的關系，通過坐標關系變換得到目標的位置信息，使云臺能夠轉動到目標出現區域進行細致觀察和追蹤，因此，首先必須進行目標識別。

幀間差分法是一種基于相鄰幀圖像序列之間具有高度相似性，相減看變化確定目標的簡單計算方法。將圖像中大部分相同的東西忽略掉，直接計算灰度變化較大的區域，在閾值化處理之后就凸顯了運動的目標，效果類似高通濾波。

對于圖像序列中的運動目標，由于目標在移動中，目標在當前幀的位置和上一幀的位置是不同的，當運動目標的顏色特征與背景顏色特征不完全一致時，那么體現在圖像中的變化就為運動目標所在位置的像素值在兩幅圖像中發生了明顯的改變，這種改變可以采用差分并閾值處理的形式凸顯出來。

假設當前幀為f（x，y，z，n），上一幀為f（x，y，z，n-1），其中x，y表示圖像像素所在位置；z表示位深（當為彩色圖像時表示通道個數z=3，當為灰度圖或單顏色通道時z=1）；n表示圖像序列的序號（n>1）。

4 試驗結果

全景視覺系統與云臺裝置安裝完成之后，兩者之間的協調工作關系進行確定。全景完成檢測工作之后，還要定位目標，將位置信息出傳達給云臺，就完成了全部設計功能。云臺僅需設置手動控制按鈕，進行鏡頭的微調和目標跟蹤功能。基于以上設計原理，在VC++平臺上編程實現，證明整體的可行性和優越性。全景軟件實現的基本功能是實現全景圖像開始預覽和圖像錄制。對采集到的每幀圖片進行處理，按幀間差分法處理可疑目標，并且將目標的位置信息給到云臺。

云臺軟件能夠完成的基本要求是抓拍目標圖像、開始和停止錄像，實現云臺全方位的調節，云臺可以由全景軟件直接打開，也可以通過全景內目標發現后打開，在給出目標的水平和垂直方向的角度后，確定云臺設置的預置位。云臺轉動到相應的預置位，這時候就能觀察到符合人視覺的正常目標圖像，并進行跟蹤。

參考文獻

[1]張帆.基于全方位視覺的超分辨率重建方法研究[D].哈爾濱工程大學，2008.

[2]古真杰.RoboCup中型組機器人全景視覺硬件研究及設計[D].重慶大學，2008.

[3]唐超.基于雙目全景視覺的運動目標特征檢測技術[D].哈爾濱工程大學，2012.

[4]Stefano Cagnoni，Monica Mordonini.A Hybrid Dual Camera Vision system[J].

[5]Yoshio Onoe，Roberto Naokazu Yokoya，et al.Visual Surveillance and Monitoring System Using an Omnidi-rectional Video Camera[C].14th International Conference on Pattern Recognition.Brisbane，Australia：IEEE，1998：588-592.

作者簡介：錢澤東（1986-），男，山東日照人，東海標準計量中心。