交通監控視頻快速全景拼接算法的研究與實現

陳忠輝，唐曉穎，魏宏安

（福州大學物理與信息工程學院，福州 350108）

0 引言

近年來，隨著各地“智慧交通”建設項目的不斷推進，交通監控需要獲得更多信息。在當前的交通監控系統［1-3］中，多采用單目攝像機對道路交通情況進行監控，常見的交通監控中心如圖1所示。可以看到在監控中心里，電視墻中排滿了顯示屏，上面密密麻麻的格子內是每個監控路口的畫面。但單個攝像頭存在監控范圍小、多視角顯示凌亂等問題，同時關注多個監控畫面會引起管理人員的視覺疲勞，不利于應急處理。使用多攝像機的視頻拼接技術來合成廣角視頻可以有效解決上述問題，能更好展現場景信息，提升視野范圍，具有重要的研究和應用價值。

圖1 交通監控中心

本文主要針對熱點交通區域具有多路監控視頻的現狀，通過研究視頻拼接算法并結合實際交通監控的特性，提出基于交通監控視頻的快速拼接算法，最終實現全景交通視頻監控系統。

1 系統框架

本文將全景視頻引入交通監控中，提出了一種快速視頻拼接算法。主要分為模板幀的初始化計算和后續視頻幀拼接兩部分（圖2）。由于攝像機位置固定，后續視頻幀不再逐幀計算變換矩陣參數模型，而是直接使用根據模板幀計算出的參數模板進行處理，僅對后續幀序列進行融合。本文基于單應性矩陣和縫合線模板的快速視頻拼接算法流程如下：①計算視頻模板幀拼接參數；②特征提取及匹配；③基于重疊區域縫合線計算；④圖像融合；⑤后續視頻幀快速拼接。

圖2 視頻拼接系統算法程序流程

2 視頻拼接關鍵算法

視頻拼接中的配準算法與圖像拼接配準算法相似，其中關鍵步驟有圖像配準與圖像融合兩個方面。本文也將從這兩個方面展開介紹。

2.1 圖像配準

2.1.1 圖像特征點提取

本文對常用的特征提取算法有SIFT算法、ORB算法以及加速穩健特征SURF算法3種并對各算法性能進行對比，如圖3所示。

圖3 同一場景各特征提取算法

如圖3所示，SIFT、SURF特征點分布相對均勻，ORB則沒有均勻分布，并且大部分特征點密集分布在特定區域中。而SURF的提取速度比SIFT快了將近10倍。基于此，本文選用SURF來對特征點進行提取。

SURF算法［4］是基于SIFT算法［5］而做的改進，它的一般步驟類似于SIFT算法。通過采用一些更快、更有效的算法來近似SIFT算法中的某些步驟，能在兼顧魯棒性和檢測特征點特性的同時，運算速度更是達到SIFT算法的10倍，讓實時檢測變為可能。主要過程分為構建尺度空間、檢測特征點、特征點方向的定位以及特征點描述符的構造4個部分。

2.1.2 特征點匹配

RANSAC算法［6］能夠用于計算變換模型，并將錯誤匹配點去除，得到更為準確的匹配點對，有較高是魯棒性與容錯性，還能實現較好的匹配。

把得到的待拼接圖像間的正確匹配點，根據式（1）進行計算，可以得到所需的單應性矩陣H，然后把待拼接的圖像與H相乘之后，最后把計算出的結果和參考圖像線性相加即可。

式中，(x,y)和(x',y)是待拼接圖像和參考圖像的匹配點對。

2.1.3 實驗結果

為了驗證配準的有效性，在學校內拍攝幾組圖像進行實驗。拍攝設備為DKVISION AURA 20目10K 3D一體化攝影機，該相機為廣角相機，拍攝后獲取到的圖片存在畸變，因此需要對圖像進行校正處理。具體如圖4所示，其中（a）—（d）代表4幅分辨率均為1500×2000 pixel的圖像。

圖4 4幅原始圖像

圖5 4幅校正圖像

從圖6可以看出，將提取特征點范圍限制在重疊區域中進行配準，能有效過濾掉較多的無用特征點，從圖7和圖8可知，經過RANSAC算法能夠實現更為準確的匹配。

圖6 相似區域提取特征點結果

圖7 圖像初始匹配結果

圖8 RANSAC篩選的特征精確匹配

2.2 基于最佳縫合線的多波段融合算法

本文通過采用動態規劃法來得到最佳縫合線，而縫合線法僅用來對縫合線進行估計［7］，仍需要對重疊區域繼續優化，否則在重疊區域會出現偽影。因此，進一步采用多波段融合能夠有效地解決光照差異的問題，消除接縫使視覺效果更加自然。

2.2.1 基于動態規劃的最佳縫合線的尋找

在最佳縫合線的選取上，主要采用梯度作為標準且需要具備兩個特點：一是縫合線兩側相鄰區域的色差要是最小的；二是縫合線鄰域內像素點相似性要是最高。搜索準則為：

其中，Ecolor、Egeamery為顏色和結構的差異強度值。Egeamery的計算如式（3）所示。

2.2.2 多波段融合

多波段融合［8］使得圖像信息得到了很好地利用，可以顯著地提高融合的效果。主要分為3步進行算法構建：分解高斯金字塔、構建Laplacian金字塔、融合圖像的重建。

（1）高斯金字塔的分解。高斯金字塔圖像的獲得主要是通過對多波段融合所需要的圖像進行逐步下采樣，可表示為：

在上式中，Gk為經過分解后獲得的第k層圖像，金字塔的層數用N來表示，Ck、Rk為第k層圖像中的列數、行數，低通過濾函數w(m,n)的窗口規格為5×5，模板如下：

（2）Laplacian金字塔的構建。高斯金字塔主要是通過下采樣建立的，而Laplacian金字塔是經過上采樣以及卷積等操作來恢復出圖像的。

其中，U P函數是將原圖像所有維度放大2倍，用0來填充新增的偶數行列，g是高斯核，運算過程如圖9所示。

圖9 Laplacian金字塔的建立

（3）對融合圖像進行重構。現定義圖像A、B分別為融合前的兩張圖像，C為融合后的圖像，將以A圖像為基礎對其建立的金字塔命名為LA，同樣的，以圖像B為基礎建立的金字塔為LB。如式：

經過Laplacian金字塔融合重構的結果如圖10所示。

圖10 多頻帶融合過程

2.2.3 實驗結果分析

圖11 2組參考圖像與待融合圖像

圖12 第1組具有重疊區域圖像各融合算法的結果

圖13 第2組具有重疊區域圖像各融合算法的結果

從圖來看經過漸入漸出的融合算法在有前景物體時會產生偽影以及拼接痕跡；當輸入圖像間存在光照差異時，只采用最佳縫合線對圖像處理時依然會存在拼接縫；因此本文基于相似區域進行最佳縫合線+多波段相結合進行融合，能將以上提出的兩個問題進行有效解決。

3 快速視頻拼接系統的實現

3.1 初始化模板幀的計算

本算法的思想是通過對獲取的視頻幀進行拼接，并將首幀圖像作為視頻拼接的初始模板幀。因此，首先要對視頻的首幀進行初始化模板幀的計算，如圖14所示。

圖14 拼接模板的初始化流程

3.2 后續視頻幀實時拼接

在上一節研究了對模板幀的拼接，接下來將利用模板幀拼接過程中計算出的信息來實現后續視頻幀的快速拼接。由于在本文中相機的擺放位置是不變的，當計算好了變換矩陣參數，后續視頻幀無需執行耗時的一些步驟，如特征點的提取、匹配、選擇和相機參的數計算等。使用初始化模板幀得到的信息對于后續視頻幀拼接來說，省略了很多步驟，大大減少了視頻拼接的時間。當計算出模板幀參數后，后續視頻就能夠做到實時拼接。

3.3 實驗結果分析

本節是通過拍攝具體的場景來對上節所提出的快速視頻拼接算法進行測試。圖15以及圖16是某一時刻被選取的視頻幀圖像。

圖15 車輛較多動態視頻快速拼接

圖16 人車較多動態視頻快速拼接

4 結語

本文首先針對視頻拼接算法中的圖像配準和融合算法進行介紹，提出基于相似區域進行配準以及采用最佳縫合線的多波段融合處理方法，有效緩解了拼接縫和偽影，使圖像過渡更加自然。其次，針對視頻拼接存在的實時性等問題，提出了一種快速視頻拼接算法，將其分為初始化模板幀計算拼接參數及后續視頻幀拼接兩個部分。最后，給出了相應實驗證明本文算法的有效性和可行性。