基于SURF和改進RANSAC的視頻拼接算法

摘 要： 在傳統的視頻拼接算法中，配準的誤差和運動的物體都會使拼接結果產生鬼影，而復雜的融合算法又難以滿足實時性要求。針對上述問題，以平行光軸且光心位于同一水平基線位置的雙目相機采集的視頻圖像為研究對象，提出一種基于限定區域和SURF算法的視頻拼接方法。針對采集到的具有20%～30%重疊感興趣區域（ROI）的視頻圖像，每24幀設置一個關鍵幀，僅對關鍵幀的ROI區域采用SURF算法尋找特征匹配點對。然后采用改進的RANSAC算法篩選單應性變換矩陣H，對非關鍵幀直接采用此單應性變換矩陣H進行圖像融合。實驗結果表明，采用關鍵幀計算特征點的方式得到的視頻拼接效果能夠很好地消除鬼影，同時也能夠保證視頻融合的實時性。

關鍵詞： 視頻拼接； ROI； 關鍵幀； RANSAC

中圖分類號： TN911.72?34 文獻標識碼： A 文章編號： 1004?373X（2016）10?0044?05

Video stitching algorithm based on SURF and improved RANSAC

CHEN Xuetao， MU Chunyang， MA Xing

（Institute of Information and Communication Technology， Beifang University of Nationalities， Yinchuan 750021， China）

Abstract： In the traditional video stitching， the calibration error and the motion of an object may cause the ghost shadows in stitching results. In addition， the complex fusion algorithm can’t meet the real?time requirement. In order to solve the above problems， the video images acquired by binocular camera that has a parallel optical axis and its optic center is at the same horizontal baseline are studied， and a new method of real?time video stitching based on limited region and SURF algorithm is put forward in this paper. A key frame is set per 24 frames for the video images with 20%～30% overlap area in ROI area. the SURF algorithm is used to look for the feature matching point pairs in the ROI overlap area of key frame only. The homography transformation matrix H is selected with the improved RANSAC algorithm， and then the image fusion is executed for non?key frames by using the transformation matrix H directly. The experiment results show that the video stitching algorithm proposed in this paper can eliminate the ghost shadows well， also can ensure the real?time performance of video.

Keywords： video stitching； ROI； key?frame； RANSAC

0 引 言

人們獲取信息的方式多種多樣，例如通過觸覺、視覺、嗅覺和聽力等，其中視覺是最直接也是最廣泛的獲取信息的方式之一。在現代社會中，人們通過視覺獲取大量有用信息。由于人的視角或者機器的視角范圍有限，因此，對多個視頻進行拼接并形成大視角范圍的圖[1]，這有著非常重大的研究意義。視頻拼接技術在許多方面有著重要的應用，例如環境監測[2]、監控系統[3]和生物工程[4]等。

當前視頻拼接的方法多種多樣，文獻[5]采用一種改進的快速檢測Harris算子，結合捆綁調整進行全局調整方法，能夠得到很好的拼接效果。文獻[6]提出了基于圖像分塊和鄰近角點剔除策略的自適應Harris角點檢測算法，該算法能很好地適應圖像拼接。文獻[7]對圖像進行SIFT 特征提取并進行粗匹配，再用RANSAC方法剔除誤匹配點獲得變換單應陣，最后用查表法投影圖像，最終實現融合拼接。文獻[8]在SIFT提取不變特征向量過程中加入Harris算子，運用KLT跟蹤算法，精確特征點的位置，提高了圖像拼接的穩健性和快速性。文獻[9]提出基于SURF和動態ROI方法的視頻圖像快速拼接方法，獲得較清晰的寬敞景視頻。基于以上所有視頻拼接方法，有的算法比較復雜，運算量巨大，會消耗大量時間，不利于實時視頻拼接；有的算法拼接效果不是很理想，會產生明顯的鬼影，影響了拼接效果。針對上述2個問題，在SURF算法的基礎上，提出了改進的拼接算法，最終效果比較理想。

1 視頻拼接算法分析

在這里，首先設定平行光軸且光心位于同一水平基線位置的雙目相機采集到圖像的重疊部分在20%～30%之間。由于人眼的視覺暫留現象這里引入關鍵幀，既每24幀視頻設置一個關鍵幀，關鍵幀和非關鍵幀采取不同的算法步驟。整個算法流程可分為A、B、C和D四個部分，如圖1所示。

圖1中：A部分主要是獲取視頻文件并且設置一些參數；B部分是對關鍵幀在重疊區域的ROI中用SURF算法生成特征描述算子，從而生成匹配點對；C部分是用改進的RANSAC算法篩選匹配點對并生成最終的變換矩陣H；D部分是圖像幀的融合形成拼接圖像。

當獲取雙目相機采集到的視頻數據之后，對于第一幀視頻，在前面限定的ROI區域內，利用SURF算法找出兩幀的特征匹配點對，再利用改進的RANSAC算法篩選出單應性變換矩陣H，之后在變換矩陣H基礎上利用融合算法拼接兩幀圖像形成拼接圖，而對于非關鍵幀，在此直接采用前面利用SURF算法對關鍵幀處理后生成的變換矩陣H來融合。

1.1 SURF算法分析

SURF算法由Herbert Bay等提出的具有尺度和旋轉不變性的算法[10] ，其具體步驟如下：

式中，[α]為權系數，這里根據計算取[α]=0.9，可以根據此特征值的符號將所有點分類。

（2） 利用Hessian矩陣公式計算兩幀圖像中的限定區域ROI中所有點的特征值。在不同尺度空間下的高斯濾波圖像中，將像素點[I（x，y）]的特征值與三維空間下該點周圍及上下兩層共26個點的特征值進行比較，把其中最大值或者最小值保留下來，作為一個特征點。

（3） 根據特征點的Harr小波特性，統計出每一個特征點的主方向。以特征點[I（x，y）]為中心，以6s（s為特征點所在的尺度）為半徑，統計出圓中60°扇形區域的所有特征點的Harr小波特征總和，然后以一定角度旋轉，遍歷整個圓形區域，把最后得到的Harr小波特征總和最大值的扇形區域的方向作為特征點[I（x，y）]的主方向。

（4） 在前述基礎上構建特征描述算子。以特征點[I（x，y）]為中心，以上一步求出的主方向為方向，構建一個邊長為20s（s為特征點所在的尺度）的正方形區域，并把該正方形均分成16個小區域，并統計每一個小區域中25個像素點的Harr小波特征，分別求出水平方向、垂直方向、水平方向絕對值、垂直方向絕對值之和，由此可以生成一個64維的特征向量描述子。

（5） 最后，生成了每幀圖像ROI區域的所有特征點描述算子的兩個集合，A和B，可以尋找出特征匹配對。這里采用歐式距離法，即選取集合A中的一個特征向量，采用遍歷法，利用式（3）計算其與集合B中距離最近的兩個點，如果次近距離除以最近距離小于一定閾值，則判定為匹配點對：