多光電跟蹤儀視頻拼接算法設計與實現

河南中光學集團有限公司 秦建峰 侯米娜 劉 洋

多光電跟蹤儀視頻拼接算法設計與實現

河南中光學集團有限公司 秦建峰 侯米娜 劉 洋

視頻圖像拼接是一種低成本獲取寬視角場景的方法，在軍事和民用領域都具有很強的應用價值。以要地防御監控為背景，設計和實現了一種基于圖像特征的多光電跟蹤儀視頻拼接算法。該算法對同步獲取的多路視頻圖像用SIFT算法提取特征點，并采用RANSAC算法進行特征點匹配；然后計算仿射變換矩陣進行圖像融合；最后由并行處理得到的多幅融合圖像再次融合得到拼接結果。實驗結果表明，視頻拼接速率可達20fps,具有一定的實時性和魯棒性。

視頻拼接；SIFT特征；RANSAC；圖像融合

1.引言

視頻圖像拼接是一種低成本獲取寬視角場景的方法，是視頻圖像處理領域的研究熱點之一，在軍事和民用領域都具有很強的應用價值。

目前視頻拼接是基于圖像拼接實現的，圖像拼接包括圖像配準和圖像融合兩個部分：

（1）圖像配準：常用的圖像配準算法有基于特征的圖像配準算法和基于灰度的圖像配準算法。基于特征的配準算法包括Harris算法、SIFT算法和SURF算法[1]等。該類算法具有計算量小，對圖像的灰度和噪聲的影響不敏感，魯棒性和穩健性高的特點。基于灰度的圖像算法有歸一化互相關法、相位相關法、以及互信息法[2]等，該類算法計算量大、復雜度高，對目標場景要求高；

（2）圖像融合：常用的圖像融合算法有加權平均法和中值濾波法[3]。加權平均算法簡單易實現，中值濾波法計算量大。

本文設計和實現了一種多光電跟蹤儀視頻圖像拼接的方法。該方法采用SIFT算法和RANSAC算法進行特征提取和匹配，完成圖像配準過程；用加權平均法完成圖像融合過程，進而實現視頻拼接。為加快拼接速度，本文采用一次配準（特征提取、特征匹配和仿射變換矩陣計算等配準過程只計算一次）、多次圖像融合的方法，達到了較好的加速效果。

2.拼接原理與關鍵算法

要地防御系統中目標多樣且位置不定，如何在全局場景中包含人、車、物是目前的一個研究熱點和難點。全景拼接無疑是一種很好的實現路徑，本文探討了一種全景拼接的方法，在保障實時性的前提下，實現快速的全景拼接，并取得較好的拼接效果。

多光電跟蹤儀視頻拼接基本步驟：1）獲取多光電跟蹤儀的視頻圖像，并進行特征點提取及匹配，根據匹配的特征點計算仿射變換矩陣；2）利用上一步計算的矩陣進行圖像拼接處理，實時顯示拼接圖像。本文假定四個光電跟蹤儀C1～ C4依次排開，同步獲取四幀圖像I1～I4。為保證圖像拼接的實時性，實現圖像快速拼接，本文將多臺光電跟蹤儀分成若干小組，先進行組內拼接再進行組間拼接，并結合多線程技術加快處理速度，圖1給出了多光電跟蹤儀視頻圖像拼接方案。其中對兩幅圖像進行兩幅圖像拼接流程如圖2所示，包括特征提取、特征匹配和仿射變換矩陣計算、圖像融合等步驟。

圖1 多光電跟蹤儀圖像拼接方案

圖2 兩幅圖像拼接流程

2.1 特征提取

特征提取是進行圖像拼接的前提和基礎。如何提取到合適的特征點以保證圖像能夠拼接且拼接正確，是本步驟需要解決的問題。本文對四個光電跟蹤儀同步采集的圖像I1～ I4采用SIFT算法提取特征點集P1～P4。SIFT算法是由David G.Lowe于1999年提出[4]，由于該算法在特征提取時，在特征點細節上進行了特殊處理，使得的提出來的特征點具有魯棒性高，穩定性強的特性。SIFT算法的主要步驟包括：

1）尺度空間極值檢測；

2）特征點定位；

3）特征點方向確定；

4）特征點描述。最終生成的特征點包含特征的坐標、尺度和方向信息[5]。

2.2 特征匹配

對需要拼接的兩幅圖像I1和I2，對其SIFT特征點集P1和P2進行匹配的過程如下：

1）粗匹配：對P1中的的每個特征點a，在P2中查找a對應的最近鄰特征點b1以及次近鄰特征點b2，如果dist(a,b1)/dist(a,b2)

2）精匹配：經粗匹配得到的特征點對集合S1中包含虛假匹配，為解決該問題使用RANSAC方法[7]。根據對極幾何約束關系，任意匹配點對(a,b)滿足aTFb=0，其中F為基本矩陣，F是一個3×3的秩2奇異方陣，具有7個自由度。求解基礎矩陣可采用的是改進的8點法[8]。本文采用RANSAC方法來精確估計兩幅圖像之間的基本矩陣F[9]，同時剔除S1中的虛假匹配得到兩幅圖像的匹配點對S。

2.3 仿射變換

由RANSAC算法得到兩幅圖像I1和I2的匹配點對集合S后，通過S可以計算圖像I1和I2的仿射變換[10]，公式如下：

其矩陣表示為：

其中a，b，c，d表示旋轉、縮放系數。e，f表示平移系數。(x,y)和(x′,y′)表示S中的一對匹配點。仿射變換矩陣M包含了6個參數，因此至少需要不共線的3對匹配點才能確定一個仿射變換M，因此|S|≥3（|S|表示S中點對的數目）。當|S|>3時，可以用最小二乘法來求仿射變換M。

圖3 圖像融合示意圖

2.4 圖像融合

得到兩幅圖像之間的仿射變換后，本文采用加權平均法進行圖像融合[11]。其公式如下：

其中：I1(x,y)、I2(x,y)分別表示經過上步驟仿射變換的第I1幅圖像和第I2幅圖像；I(x,y)表示融合后的圖像；R3=I1∩I2，R1=I1-R2，R2=I2-R3。是加權系數，為重疊區域寬度的倒數。圖像融合示意圖如3所示。

3.實驗結果與分析

為了驗證本文提出的算法的有效性，使用Visual Studio開發平臺，結合Opencv開源庫，用C++語言實現。在白天自然光照下，使用四臺光電跟蹤儀同步錄制視頻流捕獲四幀圖像I1～I4。如圖4所示。

圖4 光電跟蹤儀同步獲取的4幅視頻幀圖像

圖5 特征提取和特征匹配結果

圖6 多光電跟蹤儀視頻拼接結果

圖5給出了經SIFT算法提取的特征點和RANSAC方法匹配結果，其中圖(a)表示圖像I1和I2的特征點提取及匹配，圖(b)表示圖像I2和I3的特征點及匹配結果，圖(c)表示圖像I3和I4的特征點提取及匹配。圖像I1～I4拼接結果如圖6所示。

4.結束語

本文以要地防御監控系統場景全景拼接為背景，設計并實現了多光電跟蹤儀的視頻拼接算法。該算法包括特征提取、特征匹配、仿射變換、圖像融合等部分。特征點提取使用SIFT方法，特征匹配采用RANSAC參數估計方法，圖像融合采用加權平均法。實驗結果表明，視頻拼接速率可達20fps。為了進一步提高拼接的實時性，可以通過NIVIDA公司提供的GPU加速技術來進行算法優化。

[1]邱建國,張建國,李凱.基于Harris與Sift算法的圖像匹配方法[J].測試技術學報,2009,23(03):271-274.

[2]魏曉敏.圖像配準算法研究與系統設計實現[D].南京航空航天大學,2010.

[3]牛凌宇.多源遙感圖像數據融合技術綜述[J].空間電子技術,2005,(01):1-5+10.

[4]P.Schwind,S.Suri,P.R.A.Siebert.Applicability of the SIFT operator to geometric SAR image registration[J].International Journal of Remote Sensing,2010,31(8):1959-1980.

[5]D.G.Lowe.Distinctive image feature from scaleinvariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[6]劉相濱,鄒北驥,孫家廣.基于邊界跟蹤的快速歐氏距離變換算法[J].計算機學報,2006,(02):317-323.

[7]苗學健.全景圖像拼接技術關鍵技術研究[J].通訊世界,2016,(21):227-228.

[8]Richard I.Hartley.In defense of the8-point Algorithm. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997,19(6):580-593.

[9]崔久林.視頻圖像目標提取技術的研究[D].長春:長春理工大學,2006.

[10]R.Lin,H.B.Huang,R.C.Sun,L.N.Sun.An invariant interest point detector under image affine transformation[J].Journal of Central South University,2015,22(03):914-921.

[11]Y.Q.Zhao,Q.Pan,H.C.Zhang.Adaptive polarization image fusion based on regional energy dynamic weighted average[J].Optoelectronics Letters,2005,03:70-73.

秦建峰（1980－），男，大學本科，現供職于河南中光學集團有限公司，研究領域為視頻監控、圖像處理、安防系統集成。