結合RANSAC的SIFT算法在交通視頻檢測中的穩像技術研究

吳承隆

（1.同濟大學 電子與信息工程學院，上海 201804；2.寧波市杭州灣大橋發展有限公司 浙江 寧波 315327）

利用視頻事件檢測設備對公路突發事件進行檢測的應用目前已極為普遍，多數高速公路的隧道、橋梁、岔路口等區域均基本安裝了視頻交通事件檢測器，其有著24小時不間斷實時檢測的優勢，對及時發現交通異常事件、降低事故發生有著重要作用。此外，其作為智能交通領域發展的一項重要內容，近年來也始終被作為領域內研究的熱點[1]。

但由于視頻檢測設備需依靠監控視頻作為分析基礎，因此視頻源的穩定與成像質量是保證檢測準確率的重要條件，對于一些氣候環境較為惡劣的區域，如跨海長橋、山區、沿海公路等，大風、雨、霧天氣眾多，由于攝像機安裝位置普遍較高，受風后易抖動，從而造成采集的視頻圖像不穩定，給視頻分析造成干擾，因此，需對視頻作進一步的穩像處理，以便得到穩定的視頻來提高目標匹配的準確性。

電子穩像技術是一種新型的圖像穩定技術，與傳統的機械和光學穩像系統相比具有易操作、穩像精度高、靈活性強、高智能化等優點，且在圖像拼接、圖像增強、信息融合、目標識別、目標更正方面能較好地得以運用。目前，視頻圖像穩定的方法眾多，在特制提取匹配中有塊匹配法、光流法、角點檢測法、像素遞歸法等[2-4]。

現有交通事件的智能檢測普遍是基于監控視頻，但對于一些氣候環境較為惡劣的區域，如大風、雨、霧天氣，給視頻的動態檢測帶來了困難，尤其是在大風天氣，攝像機自身的抖動導致圖像的不穩定，且對視頻分析造成干擾的特征明顯。

針對大風惡劣環境下，攝像機存在抖動、偏移使圖像序列存在復雜抖動噪聲的問題，本文提出了一種結合RANSAC[5]和SIFT[6]算法的視頻穩像技術：首先用SIFT算法找到相鄰兩幀的匹配點，然后用RANSAC算法去除一些無效點，并最終利用最小二乘法估計兩幀之間的旋轉角θ和位移Δx、Δy。

1 SIFT算法

1999年David G.LoweSIFT在總結基于不變量技術的特征提取方法上，提出了一種對圖像旋轉、縮放或仿射變換保持不變性的、基于尺度空間的圖像局部描述特征算子，并在2004年對其進行了進一步的發展與完善。SIFT算子具有旋轉、平移、尺度的不變性，且對仿射變換、3維投影變換和光照變化具有一定的魯棒性。Mikolajczyk對10種包括SIFT算子在內的局部描述特征做了不變性對比實驗，證實SIFT與其擴展算法在同類描述特征中具有最強魯棒性。

其的特下如點：1）唯一性。SIFT算法對于每個特征點均有相應的特征描述子，適于在大量特征數據庫中準確、快速地進行匹配。2）多量性。即使少數幾個物體也可產生大量SIFT特征向量組，完全可反映出圖像中的信息。3）適應性。對于縮放、旋轉及光照等情景的視頻，SIFT算法具有良好的適應性，且經過優化可滿足一定的實時性要求。4）可擴展性。能方便地與其他類型的特征點和特征向量相結合，具有良好的相容性。SIFT應用范圍廣泛，其中包括目標識別、機器人視覺、圖像檢索、3D建模、圖像拼接、動態匹配、視頻跟蹤和手勢識別。

SIFT算法實現步驟實現如下：

1）檢測得到極值點尺度空間。

圖1 DoG尺度空間局部極值點檢測Fig.1 DoG scale space local extreme point detection

圖1 所示3個相鄰的DoG空間尺度。在尺度空間極值檢測時，標記點有必要和穿過周圍同等規模附近的89×2像素與相鄰像素周圍的刻度對應位置的鄰域在整個26個像素相比較，以確保在尺度空間和二維圖像空間中均可檢測到局部最小值。

2）通過擬合的二次函數來準確判定關鍵點的三維位置及尺度，同時除去關鍵點與不穩定點的低對比度邊緣 （因DoG算子會產生強烈的邊緣響應）響應，以增強匹配的穩定性，從而提高抗噪聲能力。

3）梯度方向使用關鍵點的鄰近像素分布特征為在指定方向參數，每一關鍵點，使算子有旋轉不變性

式（1）為（x，y）的梯度方向和模量。 其中，L 的尺度是用于每個關鍵點所在的尺度。在實際計算中，利用以關鍵點為中心的窗口采樣，鄰近像素的梯度方向用直方圖統計。0°～360°為梯度直方圖的范圍。其中，每列隔10°，總共36列。直方圖的峰代表關鍵點的梯度主方向，其可作為關鍵點的方向。圖2為利用梯度確定主方向的示例。

圖2 由梯度方向直方圖的主梯度方向確定Fig.2 Main gradient direction is determined by the gradient direction histogram

梯度方向直方圖中，當存在另外80%對應于該峰的主峰能量時，則該方向是輔助關鍵點的方向。一鍵可與多個方向（一個主方向，一個以上的輔助方向），增強匹配的魯棒性來指定。在這一點上，圖像的關鍵點已完成檢測，每個關鍵點有3條信息：位置、方向和尺度。其可決定一個SIFT的特征區域。

4）SIFT特征向量生成。首先，對關鍵點的方向旋轉軸線，以確保旋轉的不變性。

圖3 由關鍵點鄰域梯度信息生成特征向量Fig.3 Feature vectors generated by the critical point neighborhood gradient information

在該窗口中心的下一個關鍵點取8×8中部的黑點，在圖3中為當前關鍵點的左側部分，代表各小鄰域內的關鍵點像素網格的位置。其中尺度空間中，箭頭表示其像素值的梯度方向漸變模式的長度，藍色圖形高斯彩色圓圈代表加權范圍（像素梯度方向接近的信息貢獻的關鍵點更大）。隨后直方圖計算8個方向中繪制每個梯度的累積值方向上每4×4塊的梯度方向，并可將種子點右側部，如圖3中的一個關鍵點來形成圖中的4個2×2種子之和，每個種子點的矢量信息有8個方向。鄰域的共同方向信息的概念提高了抗噪算法的能力，其包括定位誤差匹配功能，且還提供了一個更好的容錯能力。

在實際的計算過程中，為了增強匹配的魯棒性，Lowe建議使用4×4得16的每個關鍵點來描述種子點。因此，對于一個關鍵點數據，可產生128個數據，該最終維的SIFT特征向量。此時，SIFT特征向量已被移除幾何畸變因子尺度變化，旋轉效果，然后繼續該特征矢量歸一化的長度，則可進一步去除光照變化所帶來的影響。

當兩個圖像SIFT特征向量生成，文中使用歐幾里德距離的關鍵特征矢量下一個步驟，以確定兩個圖像測量一個關鍵點的相似性。關鍵點取一個的圖像，并發現這兩個關鍵點的歐幾里德距離與圖像中的兩個最近的前兩個關鍵點中，若最近的距離除以小于該比率閾值，則由時間接近的距離驗收這對匹配點。由此，降低了該閾值比率，雖SIFT匹配點的數量減少，但卻更加穩定。

2 RANSAC算法

基本假設RANSAC算法是將樣品中包含正確的數據（inliers可由數據模型來描述）和異常數據（Outliers從正常范圍偏離較遠，無法適應數據的數學模型），該數據集包含的噪聲。這些異?？赡苁怯捎阱e誤的數據測量和錯誤的假設在誤差的計算中產生。同時，RANSAC還假定，給定一組正確的數據，有一種方法來計算模型參數與這些數據相一致。

RANSAC基本思想如下所述：1）慮n最小可能的模型樣本組 （n為初始化模型參數所需的最小采樣數）和P的樣本集，樣本的數量設定在P＃（P）＞N，在P中所含的隨機NP樣本初始化模式子集SM；2）在錯誤的模型M設定SC=P/S小于一組閾值t與樣本集S構成S*。S*認為是點的集合，其構成了一個集合 S（Consensus Set）一致；3）如 ＃（S*）≥N，認為要得到正確的模型參數，并利用集合S*（內點inliers）采用最小二乘法重新計算新模型M*，再隨機選擇新的S，重復上述過程。由此確定最大一致性組的內部和外部點；4）完成一定數目的樣本后，若該算法找到一致集失敗，反之被抽選時，算法結束。

綜上所述，有兩種可能的算法優化策略。 1）若可嘗試到一些具體方案的選擇使用已知的特性或具有約束選擇的S隨機選擇的子集，以取代完全隨機選擇的原件；2）當一致集為S*M*計算模型后，可成為模型誤差的所有PM*小于樣本 t加入S*，再重新計算 M*。

RANSAC算法包括3個輸入參數：1）確定樣品是否滿足誤差容忍度t。t可被看作是噪聲方差的一個內部點被假定為不同的輸入數據，需通過預先設定閾值的方式進行人工干預，且參數對RANSAC性能有較大影響；2）隨機選取的樣本集合S倍。該參數直接影響所涉及的SC模型參數，進而也會影響該算法的效率；3）鑒定，一致集大小S*N。為了保證獲得數據集P模式的正確表征，與設置足夠大的總體要求相一致。此外，樣本一致較多，使重新估計模型參數更為精確。RANSAC算法通常用于在計算機視覺。例如，在立體視覺攝像機的視場，同時解決的匹配點問題的計算和基本矩陣。

3 最小二乘法

3.1 線性模型

在等權、獨立、無系統誤差的n個測量條件下，通?？蓪懗扇缦戮€性模型

式中 l（n×1）是決定于直接測量值的已知向量，A（n×t）是決定于測量方案和程序的已知設計矩陣，測量值l1，…，ln的方差σ2和參數x（t×1）待求，若在最小方差意義下求得的x估計值為x^，則 E（l）=Ax，也可寫為 v=l－Ax^。 此處，v（n×1）為殘差向量，求解時約定 n≥t，rkA=t。

3.2 最小方差意義下線性無偏估計及其協差陣

由前知方差與殘差平方和成正比，欲使解得的量具有最小方差，則可使v′v=min，即最小二乘法，現令

注意到式（2）、（3）則有

所以

上式通常稱為法方程或正規方程，因 rk（A′A）=t，故 A′A的逆存在，可得到唯一解

3.3 偽逆矩陣

1）右偽逆矩陣。定義 1設A是m×n階矩陣，規定ARM=A′（AA′）－1叫右偽逆矩陣。由此，定義的右偽逆矩陣確實具有逆矩陣的性質

2）左偽逆矩陣。定義2設A是m×n階矩陣 ，規定ALM=（AA′）－1A′叫左偽逆矩陣。由此，定義的左偽逆矩陣確實具有逆矩陣的性質

則式（6）可寫為

4 穩像技術步驟及實驗結果

1）利用SIFT算法計算前后兩幀的關鍵點，并找出兩幀之間的匹配點對；

2）采用RANSAC算法去除無效的匹配點對；

3）利用最小二乘法估算兩幀之間的旋轉角θ和位移Δx、Δy參數。

4）根據計算得到的旋轉角和位移參數[7]旋轉并平移后一幀。

實驗將相鄰的三幀合成RGB圖，其結果如圖4、圖5所示。

圖4 穩像前的三幀RGB合成圖Fig.4 Three frames RGB composite image stabilization before

圖5 穩像后的三幀RGB合成圖Fig.5 Three frames RGB composite image after image stabilization

由上圖可知，穩像前的圖片較為模糊且有重影，因相機存在抖動，而穩像后的圖片則較清晰。

5 結束語

本文提出了一種結合RANSAC和SIFT算法的視頻穩像技術，并將其應用于實際的項目中。實踐結果表明，在大風惡劣的實際情況下，導致攝像機抖動、偏移，并使圖像序列存在復雜抖動噪聲等問題，均可通過該方法得到了有效解決。

[1]趙菲.視頻穩像技術研究[D].長沙:國防科學技術大學，2007.

[2]張國棟.基于電子穩像技術的視頻穩像技術研究 [D].太原:中北大學，2010.

[3]張翠，吳誠，鄭晟，等.基于TMS320C642電子穩像算法的實現[J].電子科技，2011，24（4）:57-58.ZHANG Cui，WU Cheng，ZHENG Sheng，et al.Based on TMS320C642 electronic image stabilization algorithm implementation[J].Electronic Technology，2011，24（4）:57-58.

[4]劉玉紅，涂丹.數字圖像穩像算法研究 [J].計算機仿真，2008，25（27）:200-204.LIU Yu-hong，TU Dan.Digital image stabilization algorithm research as[J].Computer Simulation，2008，25（27）:200-204.

[5]曾雪蓮.一種新的快速智能電子穩像算法[J].兵工學報，2008，29（11）:1384-1388.ZENG Xue-lian.A new fast algorithm for intelligent electronic imagestabilization[J].Ordnance，2008，29 （11）:1384-1388.

[6]劉明，趙躍進，周渝斌.電子穩像中的運動補償矢量處理方法的研究[J].光學技術，2005，31（3）:457-462.LIU Ming，ZHAO Yue-jin，ZHOU Yu-bin.Research on electronic image stabilization motion compensation vector processing method[J].Optical Technology，2005，31（3）:457-462.

[7]何志勇，宋少偉，鄧長華，等.瞬態時域數據合成沖擊響應譜算法研究[J].火箭推進，2013（5）：55-59.HE Zhi-yong，SONG Shao-wei，DENG Chang-hua，et al.Research on transient time-domain data synthesis of shock response spectrum[J].Journal of Rocket Propulsion，2013（5）：55-59.