智能全景視覺傳感網絡目標跟蹤方法設計

田維飛，夏志麗

(中北大學，山西太原030051)

1 引言

計算機視覺為智能視頻的監控領域重要研究方向，其中大范圍的場景中視景信息使用越來越廣泛，現階段計算機視覺的主要途徑分為：全方位、多目、雙目以及單目視覺[1]。其中，傳統單目視覺的攝像頭其視野較為有限，得到的大尺度和全局信息比較困難。

通過一定物質、材料或者技術的手法，完成的供人欣賞的藝術作品，包括雕塑、繪畫以及攝影等，在攝影過程中幾乎都是單目攝影，通過找尋一定位置、角度，拍攝出藝術作品，而一旦因為所需要拍攝的物體、風景等較大或較長，使用單目攝影便沒有最佳拍攝位置，這時可以使用全景攝像的方式，將整體全部拍攝下來，形成一幅全景的藝術圖像[2]。同樣在采用單景視覺對目標進行跟蹤時，因為視角的限制，導致無法對目標進行跟蹤，或者存在遮擋物、物體顏色與背景相同等情況，都會令跟蹤受到影響，導致跟蹤目標丟失，或者無法進行跟蹤，所以需要利用全景視覺對目標進行跟蹤，而全景視覺系統在跟蹤目標時，其最基本問題即為目標物體特征的檢測，因為起始圖像先要通過反射鏡進行反射，接著再利用透視鏡折射，最后成像[3]。基于此本文提出一種智能全景視覺傳感網絡目標跟蹤方法，能夠有效對目標跟蹤，且能夠避免單景視覺目標跟蹤失誤的缺點。

2 智能全景視覺傳感網絡下目標跟蹤實現

2.1 全景視覺的傳感成像模型

一個拋物面的發射鏡與一個CCD(Charge Coupled Device)的攝像機就能夠組成一個整體反射全景的成像系統[4]。在世界坐標系上存在一個目標X通過拋物鏡面發射之后，將其透射至CCD攝像機內，這樣即可在圖像平面上構成一個像點u。而點F表示拋物鏡面焦點，鏡面坐標系與世界坐標系之間能夠采用旋轉矩陣tw和平移向量Rw完成轉換。圖像平面坐標系與鏡面坐標系之間平移向量和旋轉矩陣利用Rc、tc表示。

具體點x與u需要滿足公式為

x=λ[Rw，-Rwtw]X，λ∈R，λ≠0

(1)

(2)

式中：K代表相機標定得到的內參矩陣，λ，a代表坐標間所變換比例因子。

如果已知圖像上的點u，那么可知拋物鏡面反射點x，b代表拋物線鏡面的參數，具體公式為

(3)

其中

(4)

2.2 全景視覺傳感的對極幾何約束分析

因為全景圖像主要是利用曲面鏡所反射投影至CCD相機上獲得的，其中對極線為曲線，并不是直線。此曲線形狀和鏡面種類相關。相對于拋物鏡面，具體對極曲線為圓形，X為目標點。x、x′代表兩個相機內像點，l、l′分別代表x′與x在相應另外一個相機視野內對極線。O、O′代表相機光心。e、e′代表極點[5]。

fd、fe代表兩個拋物鏡面焦點，所有的拋物鏡面全有兩個極點，它們分別為Cd1、Cd2與點Ce1、Ce2。x1、x2代表目標點X在拋物鏡面上的反射點。兩個鏡面和極平面相交，從而構成兩條對極曲線ld、le。

相對于二次曲面，具體要滿足公式為

XTQX=0

(5)

式中：Q代表一個4×4矩陣，它取決于此二次曲面形狀，相對于本文所采用的拋物鏡面，具體公式為

(6)

式中：b代表拋物鏡面的參數。

R與t分別代表兩個鏡面坐標系間實現坐標變換時的旋轉矩陣以及平移向量[6]。若目標點X在兩個拋物鏡面內投影點分別是x1、x2，所有的拋物面全有兩個極點，它們分別為Cd1、Cd2與點Ce1、Ce2。若目標點X和兩個拋物鏡面焦點F1與F2形成一個極平面，兩個鏡面和極平面相交從而構成兩條對極曲線ld、le。而目標在圖像的平面內像點分別標準成u1、u2。

若t=[tx，ty，tz]T，那么鏡面坐標系F2公式為

(7)

式中：×代表向量乘積，在引入反對稱矩陣S，具體公式為

(8)

即以上式(7)能夠變換公式為

(9)

式中：E代表本征矩陣，能夠獲得公式為

E=RS

(10)

兩個拋物面的全景成像系統，得到兩張全景的圖像它們間的對極幾何約束，具體公式為

(11)

式中：A2(E，u1)代表E、u1與全景攝像頭所標定的參數非線性函數。

具體二線曲線方程公式為

(12)

式中：Ax2=[x，y，1]T，x2=[x，y，z]T。

相對于拋物鏡面F1，向量x1與t重新定義了極平面π，處于坐標系F1內，其極平面π法向量n1公式為

n1=t×x1

(13)

坐標系F2內，極平面π法向量公式為

n2=Rn1=R(t×x1)=RSx1=Ex1

(14)

式中：使n2=[p，q，s]T，那么極平面π處于坐標系F2內公式

(15)

即

(16)

式中：p代表右側的拋物鏡面q參數。

通過以上分析，只要兩個成像系統拍攝的全景圖像內相應匹配點集和已知的全景成像鏡面參數，就能夠通過計算獲得兩幅圖像彼此之間對極的幾何關系[7]。相對于一幅全景圖像內隨意的一個像素點，會在另外一幅相應的全景圖像內尋找出一條對極曲線，且該像素點相應的匹配點，總會經過該條對極曲線[8]。

2.3 基于光流法檢測目標

如果運動能夠利用一系列的映射參數進行描述，相應的是三維運動與同樣表面流量矢量，會存在映射參數的集合。利用存在相同映射的參數流量矢量分配成相同方法，實現光流分割[9]。

光流計算有兩種假設分別為：圖像平面紅鄰近點都是以相似方式所移動的；任何物體點觀察到的亮度，都不會隨著時間變化而變化。

設f(x，y，t)代表處于時間t與圖像平面內(x，y)點上圖像的灰度，把動態圖像表示成關于時間以及位置函數，且允許代表一個泰勒的序列。具體公式為：

f(x+dx，y+dy，t+dt)=

f(x，y，t)+fxdx+fydy+ftdt+O(?2)

(17)

式中：fx代表x方向偏導數，fy代表y方向偏導數，ft代表t方向偏導數。

具體dx、dy、dt公式為：

f(x+dx，y+dy，t+dt)=f(x，y，t)

(18)

若dx、dy、dt較小，那么公式為：

(19)

(20)

(21)

(22)

(23)

(24)

光流計算法主要基于Gauss-Seidel迭代算法，對于圖像序列的光流方法，分別表示為：相對于全部點(i，j)，那么估計光流起始值為c(i，j)；使m代表目前圖像的處理序列號，相對于大幅圖像全部的像素。

利用光流法對目標進行檢測，進行檢測前需要采用效果較好的濾波對部分光流噪聲進行清除，然后采用二值化分割目標，接著適當合并目標，主要是由于目標分割之后臨近的目標塊很有可能是相同目標。而具體步驟為：先對這些塊形心進行計算，再對各塊間距離進行計算，若各塊之間距離要小于某值，那么需要對其進行合并，完成目標檢測[11]。

2.4 目標的跟蹤算法

跟蹤一個目標的過程內，在某一幀目標周圍查詢下一幀位置，就是尋找物體時所傾向與物體小移動，以此便模擬了目標運動平穩性。

(25)

(26)

式中：X和Y為隨機變量，都服從普拉斯的分布。此兩個隨機變量敘述了目標中心位置相對于目標大小變化。

而拉普拉斯的分布為一個連續概率的分布，能夠看成是兩個指數的分布情況背靠背拼接在一起。一共存在兩個參數，分別是位置參數μ和尺度參數b。對于服從拉普拉斯隨機的變量Z概率密度函數公式為

Z～Laplace(μ，b)

(27)

(28)

通過研究，隨機變量X和Y都服從位置參數是，而尺度參數是0.2拉普拉斯分布的函數公式為

(29)

在除了目標的中心位置產生變化外，兩幀間目標大小的變化也能夠利用拉普拉斯進行建模，具體公式為

wt+1=wtP

(30)

ht+1=htQ

(31)

式中：P和Q代表寬度和長度尺度的變化因子，都服從位置的參數是1，參數的大小是1/15拉普拉斯分布，具體公式為

(32)

通過觀察上述一系列的公式能夠看出，邊界框的中心位置移動，確保了目標較傾向起始位置周圍較小的移動，而尺度變化則需要令邊界框盡可能保持起始位置的附近[12]。

3 實驗證明

3.1 實驗環境

為了驗證本文方法的有效性，實驗平臺使用移動機器人作為測試工具，機器人包括全景視覺系統、PC104控制器、傳感器以及輪式行走機構等，計算機平臺包含：CPU是Inter Core2 Dou E7400 2.80GHz，內存4GB，硬盤500GB，操作系統的Windows XP。以此對實驗目標進行檢測跟蹤。

實驗數據為上述全景鏡頭所采集到的戶外場景，算法使用的C++語言以及OpenCV2.0的庫函數編寫，獲得圖像分辨率。

4.2 實驗結果分析

目標的跟蹤，主要是假定在初始化的檢驗上，此目標完全處于獨立的狀態，且沒有人或者其它的物體對其進行遮擋，不過需要說明的是，在目標圖像最開始跟蹤時，必須準確的檢測到目標存在，具體跟蹤結果如圖1所示。

圖1 本文跟蹤方法獲得跟蹤示意圖

通過觀察圖1能夠看出，其中為了便于觀察目標，選擇最前方較為明顯的實驗人員進行跟蹤，通過對比圖1(a)與(b)，在圖1(b)中，很明顯能夠看到實驗人員身上出現明顯的矩形框，說明本文能夠有效的跟蹤目標。

為了進一步驗證智能全景視覺傳感網絡目標跟蹤方法的效果及可行性，選取兩組參考方法作為對比方法，將智能全景視覺傳感網絡目標跟蹤方法設定為評價指標，具體實驗對比結果如圖2所示。

圖2 不同方法的傳感網絡目標跟蹤效率對比結果

由圖2可知，對三種方法的傳感網絡目標跟蹤效率進行了對比分析，由于本文方法在實際應用的過程中對全景視覺傳感的對極進行幾何約束分析，有效避免故障的發生，全面提升建設數據中心基礎設施管理效率，使本文方法的測試指標在三種方法中為最高，且呈現上升趨勢，而參考方法1和參考方法2在測試中網絡目標跟蹤效率比呈現下降趨勢。綜上所述，本文能全景視覺傳感網絡目標跟蹤方法具有較好的效果。

4 結束語

多目與雙目視覺系統則使用的是多個或者兩個攝像機配合，使視野范圍擴大，不過在不同的坐標系內，目標匹配以及數據融合等方法復雜難度比較高，并且實時性較差。而全景視覺則是指將90度到360度場景全部展現在一個二維平面上，其中，全景一般表示人雙眼正常的有效視角(約為水平90度和垂直70度)或者是雙眼的余光視角(約為水平180度和垂直90度)以上，甚至是360度完整場景范圍拍攝照片。而它的分類包含全景圖片以及全景視頻，主要是按照交互性又可以分成有交互信息全景與無交互信息全景信息，現階段可以看到的全景還停留在圖片的無交互信息全景階段，主要在虛擬現實、遠程控制以及移動機器人等領域獲得廣泛應用。本文提出的智能全景視覺傳感網絡目標跟蹤方法，不但能夠有效的對目標進行跟蹤，同時不會因為其它外界干擾因素影響跟蹤目標的效果。不過因為計算機視覺的使用越來越廣泛，使用的場景也越來越多，所以本文還需要進一步對其進行研究，爭取適用于各行各業，避免出現目標跟蹤效果差的情況。