一種全景圖像拼接系統的設計方案

陶 清 凌朝東

[關鍵字] 圖像配準；圖像融合；工控機

1 引言

全景視頻拼接系統是將擁有重疊區域的多個相機采集的視頻圖像進行特征點檢測和圖像變換，完成圖像配準和邊緣融合，從而實現一幅超大分辨率的全景圖[1]。其廣泛應用于城市廣場、軍用全景作戰平臺、綜合交通樞紐、X射線醫療影像等領域。

在基于灰度模板、特征點和變換域這三類圖像配準算法中，基于灰度的方法易受非線性光照、拍攝位置等影響，基于傅立葉變換在旋轉、縮放和平移過程中會引入大量誤差，而采用基于特征的圖像配準方法[2]、SIFT特征檢測法[3]在抗干擾、尺度大小和光照等方面魯棒性好。

本文提出一種全景視頻圖像拼接系統的方案，通過上位機進行圖像拼接控制，將多個攝像頭采集的視頻圖像，進行圖像配準和圖像融合。通過網絡將生成的變換參數傳送給工控機，工控機嵌入IPC視頻拼接處理器作為輸入，多路IPC視頻拼接處理器完成圖像的旋轉、平移、縮放和切割處理，并進行全景顯示。

2 圖像配準

2.1 特征提取

SIFT（Scale Invariant Feature Transform）尺度不變特征變換[4]，SIFT特征檢測算法包括尺度空間構建、空間極值檢測、特征方向提取、描述關鍵點[5]。由圖像與高斯核卷積得到圖像的尺度空間：

L(x,y,σ)=G(x,y,σ)*I(x,y) (1)

以DOG（Difference of Gaussian）差分高斯極值作為判斷依據，將濾波后的兩幅圖像相減得到DOG圖，通過高斯金字塔相鄰尺度圖像層之間作差構造DOG金字塔，在DOG圖像中，若像素點是本層圖像和相鄰層圖像的周圍26個像素DOG局部的極值，則判為候選特征點。

2.2 特征向量生成

根據上述方法得到SIFT候選特征點集合X0，為了后面進行精確的特征點匹配，需要剔除不穩定的關鍵點，主要是對比度較低和靠近圖像邊緣的點。剔除后，對特征點進行描述，通過特征點鄰域像素的梯度分布確定，對平滑圖像上每一個點L(x,y)的梯度求模m(x,y)與方向角θ(x,y)，由表達式（2）得到

對于每一個特征點，利用直方圖方式統計鄰域像素梯度分布，尋找峰值最大的角度作為該特征點方向。在構造特征點描述符時，將特征點鄰域劃分成4鄰域，通過直方圖按8個方向統計得到周圍4鄰域分別8個方向的向量信息，共4×8維作為該特征點描述符向量。當劃分為16鄰域則可得到128維SIFT描述符。

2.3 特征點匹配

保存好128維特征描述符后，采用K-D樹對向量加快匹配過程，利用最鄰近查詢算法在K-D樹中快速查找。為了提高匹配的準確度，通過距離比值法初步篩選匹配對，隨機抽樣一致性算法深入剔除誤匹配對。

距離比值法：計算出特征點與最鄰近距離N1和次鄰近距離N2，若兩者比值小于一個THR常數（這里設為0.8）則認為是特征點，否則剔除。

隨機抽樣一致性算法：通過采樣和驗證，將一組待驗證數據輸入參數化模型，反復迭代修改驗證模型，得出最優參數化數學模型，即3*3的單應矩陣H，通過如下公式完成幾何變換。

3 圖像融合

配準后的圖像融合采用多分辨率融合法實現，它是以金字塔的結構來描述圖像，在不同分辨率的圖像中，存在不同的融合帶，分別建立待融合圖像的拉普拉斯金子塔LA,LB，構建權重W和高斯金字塔圖像GW，然后通過下式得到各層（k）拉普拉斯金字塔圖像，最后由各層拉普拉斯金字塔得到融合圖像。

4 系統設計

全景拼接系統是一套軟硬件相結合的復雜系統。如圖1所示：

圖1 全景圖像拼接方案框圖

網絡交換機將多個攝像頭、工控機和IPC視頻拼接處理器連接在同一局域網內，工控機得到視頻碼流，經VLC解碼后獲取攝像頭采集的圖像，圖像配準和圖像融合的相關參數計算由PC端編寫控制程序實現，保存到SD卡里，并通過網絡通信將生成的變換參數下發給工控機，IPC處理器將視頻圖像進行圖像處理和顯示。采用軟硬件相協調，發揮各自資源優勢，最終實現全景視頻實時拼接。

工控機采用C/S架構，優勢互補，加速算法運算速率，減小通信開銷[6]。客戶端基于配準融合算法完成圖像的參數調整，將變換參數保存在SD卡，并傳遞給服務器端進行視頻圖像平移、旋轉、縮放和裁剪，嵌入IPC視頻拼接處理器作為其輸入源。圖2為工控機軟件操作流程，表1是實驗設備。

圖2 軟件操作流程

表1 實驗設備

5 測試結果和分析

實驗測試環境是VS2010搭載OpenCv2.4.4。對全景系統進行圖像配準算法和融合算法的功能驗證。工控機經過VLC視頻解碼[7]后，采集到5個攝像頭的圖像如圖3所示。

圖3 各攝像頭采集的圖像組

這里以圖3（2）、（3）為例，圖 4(1)、(2)分別為圖3(2)、(3)的SIFT特征檢測結果圖。

圖4 SIFT特征檢測結果圖

圖5 (1)是關鍵點經過距離比值法挑選后的結果圖，圖5(2)是經過RANSAC算法剔除后的結果圖。表2距離比值法和RANSAC算法篩選匹配對比較。

圖5 篩選后的結果圖

通過隨機抽樣一致性（RANSAC）算法對兩幅圖像的特征匹配點對進行誤匹配剔除，簡化后結果如下：

圖像配準需要將第二張圖片按照第一張基準圖片的尺寸、角度等形態信息基于單應矩陣進行透視變換匹配，把多幅圖像轉換至同一水平線上，圖6為圖像融合后的全景拼接圖。完成5路攝像頭的視頻圖像采集和圖像預處理需要0.06916秒，大約14幀左右，少于25幀每秒。實時性提升是進一步努力的方向。

表2 距離比值法和RANSAC算法篩選匹配對比較

6 結論

圍繞著全景拼接方案，本文介紹了基于SIFT配準算法和多分辨率融合法的基本理論。然后提出了以工控機為核心的視頻圖像拼接方案，并通過Visual Studio 2010+OpenCv[8]平臺實現和驗證。實驗結果表明：基于SIFT的檢測和多分辨率融合法的可行性高，能得到較佳的全景拼接圖，并對比出RANSAC算法篩選匹配對優于距離比值法。

圖6 全景圖