多攝像機視野分界線恢復算法

薛翠紅，于 洋，梁 艷，于 明

(河北工業大學計算機科學與軟件學院，天津 300401)

0 引言

由于單攝像機存在著視野范圍有限和遮擋等一些難以解決的問題，多攝像機的出現緩解了這些問題，因此多攝像機的研究越來越成為一種趨勢。然而，一方面多攝像機研究也帶來一些問題，多攝像機提供了廣闊的視野范圍和完整的場景;但同時必須建立多個攝像機視野范圍的相互聯系。就單攝像機和多攝像機環境下目標跟蹤問題而言，單攝像機的目標跟蹤重點是解決由于時間的變化每一幀之間的相互聯系。而多攝像機的目標跟蹤則是要同時解決不同攝像機觀測到的目標運動之間的關系。簡言之，就是多攝像機的目標交接問題。

多攝像機目標交接技術的關鍵和前提是攝像機視野分界線的劃分，視野分界線是一個攝像機在另一個攝像機視野內的視野范圍。劃分好每個攝像機的視野有利于目標的一致性標號，為多攝像機的目標交接提供了堅實的基礎。

1 Harris角點檢測與匹配算法

目前，Harris角點檢測是很流行的特征提取算法，因為它具有強壯的旋轉和尺度不變性能，可以抑制光照、噪聲的影響。Harris角點檢測算法是由Harris C G和Stephen M J于1988年提出來的。該算子是在Moravec算子基礎上改進的，Moravec算法的基本思想是:計算像素興趣點，然后在圖像局部選擇最大興趣值點(灰度變化明顯的點)作為特征點，所謂像素興趣點是以像素4個主要方向。最小灰度方差表示該像素與鄰近像素的灰度變化情況。而Harris角點檢測算法的改進在于用一階偏導來描述亮度變化，并給出與自相關函數相聯系的矩陣M。矩陣M的2個特征值是自相關的一階曲率，如果這2個曲率值都很高，則認為該點是特征點。

Harris檢測算子是采用圖像灰度的微分表示圖像灰度的變化。其算法表達式為:

假設αβ為矩陣M的2個特征值，則根據角點量的公式:

可以得到圖像中的特征角點。其中Det(M)為行列式M的值，Trace(M)為行列式M的跡，k是參數，通常取值k=0.04～0.06。由于各向同性，因此M保持了旋轉不變性。通過對矩陣M的2個特征值分析，可以得出以下3種情況:

①如果2個特征值都很小，意味著窗口所處區域灰度變化很小，近似為常量。任意方向的移動，函數V都發生很小的改變。

②如果一個特征值很大，而另一個特征值很小，意味著窗口所處區域灰度值呈現為屋脊狀，例如邊緣。此時，沿著邊緣方向移動V的變化很小，而垂直邊緣移動V的變化較大。

③如果2個特征值均很大，表明窗口所處區域灰度值呈現為尖峰狀，例如角點。此時，沿著任意方向移動V的變化都急劇增大。

根據以上分析可以求解出Harris角點。采用歸一化互相關算法(Normalised Cross-Correlation NCC)進行角點的匹配，設圖像I1中窗口w和圖像I2中對應區域T(w)，基于NCC的2幅圖像的相似測度如下:

式中:w(x，y)是定義在窗口W上的權值函數，典型w(x，y)為 1 或是高斯函數;分別為圖像 I1，I2所考慮的窗口區域的均值。對于圖像I1中的每一個角點p以該點為中心選擇一個尺度大小為(2n+1)×(2m+1)的相關窗口，再在圖像I2中以與圖像I1中的角點p具有相同坐標的像素點為中心選取一個尺寸大小為(2du+1)(adv+1)的矩形搜索區域，然后對圖像I1中的角點p與圖像I2中搜索窗口區域內的每個角點q之間的給定窗口計算相關系數。

2 單應矩陣的生成

首先，從射影幾何知道，如果空間點位于同一平面上且該平面不通過二攝像機的任一光心，那么此時2幅圖像的對應點之間存在一一對應關系，且這種一一對應關系可以用一個成為單應矩陣的變換矩陣來表示。求解單應矩陣的算法有點對應算法、利用2幅圖像之間的單應關系進行約束的算法以及直線對應算法。基于以上匹配點的計算，采取點對應算法。根據Harris算法獲得N(＞=4)對應點，就可以確定2幅圖像I1，I2之間的單應矩陣H。

令 (xi，yi)∈ I1，()∈I2為一對對應點，i=1，2，…N。根據場景間圖像對應點的單應關系，得到2個線性方程:

式中，h 是矩陣 H 的向量形式，h=(h0，h1，h2，h3，h4，h5，h6，h7，h8)T，于是可以得到 2N 個關于參數 h的方程。要求N≥4的道理也是在于此。寫成矩陣形式:

當N＞4時，用奇異值分解(SVD)法求最小二乘解h，由此可以求得單應矩陣H。

3 攝像機FOV分界線的生成

生成視野分界線是通過以下各個步驟的計算，首先圖像獲取，即圖1中有重疊區域的2副圖像，然后采用Harris算法進行角點檢測提取特征角點，接著對圖像進行角點匹配找到一一對應點。由于接下來求單應矩陣需要至少4個匹配點，所以要至少找到2幅圖像的4個正確匹配的點，得到各個點的坐標并按照上述的方法求得單應矩陣，最后找到原始圖像中的邊界點并根據得到的單應矩陣找到圖像的重疊區域，即攝像機的FOV分界線。黑色的線條所包圍的矩形區域的底邊即為求得的視野分界線。底邊下面的灰色框區域為攝像機地面的視野分界線，由于視野監控的過程中人走過的只是地面的部分，所以對墻壁的部分可以不生成視野分界線。這樣也可以避免黑線的地方由于和地平面不共面，不符合射影變換理論而造成的誤差。

4 實驗結果及分析

該文使用352*288的圖片進行實驗，首先使用文獻［6］中的方法和該文的方法分別計算一條攝像機FOV分界線(由2個邊界點得到射影變換后的2點，由2點確定1條直線，即為1條分界線)，并對結果進行對比，數據比較結果如表1所示。

表1 算法取點比較結果

人工取點的方法計算結果有明顯的偏差，而該方法計算的結果更符合實際。因為人走過需要一個過程，走過這個基準不是準確的，所以存在誤差。

由射影幾何理論以及該文進行的大量實驗可知:選擇2幅圖像中分布范圍盡可能大、盡可能多的匹配點計算的射影矩陣更加準確，從而計算的FOV分界線也更準確。如圖1所示，其中圖1(d)是圖1(a)的視野分界線，圖1(d)中的黑色矩形區域即為攝像機的視野區域，黑色矩形底邊以下的灰色矩形區域即為攝像機的地面區域。該算法對于取到的匹配點的位置也是具有一定的敏感程度，會因為此對結果造成一定的誤差，因為實驗中能夠取到4對較準確的點，所以視野分界線是很精確的。

圖1 視野分界線結果圖

5 結束語

該文通過利用Harris算法和單應變換來恢復視野分界線，對不同的場景做反復實驗，并用多個匹配點進行比較驗證視野分界線的準確度，證實了該方法能夠正確的實現視野分界線的恢復，并且具有一定的魯棒性與可靠性。

［1］WANG Jian-hua，LIU Yun-cai.Characteristic Line of Planar Homography Matrix and Its Applications in Camera Calibration［C］∥Proceedings of the 18th International Conference on Pattern Recognition，2006:147-150.

［2］BLACK J，ELLIS T.Multi Camera Image Tracking［J］.Image and Vision Computing，2006，24(11):1256-1267.

［3］HARTLEY R，ZISSERMAN A.Multiple View Geometry in Computer Vision(2nd)［M］.London:Cambridge University Press，2004.

［4］李冬梅，王延杰.基于角點匹配的圖像拼接技術［J］.電子器件，2008，31(5):919-922.

［5］陳白帆，蔡自興.基于尺度空間理論的Harris角點檢測［J］.中南大學學報，2005，36(5):751-754.

［6］CALDERARA S， PRATIAROBERTOV， etal.Consistent Labeling for Multi-camera Object Tracking［J］.Image Analysis and Processing-ICIAP，2005，3617:1206-1214.