基于初匹配的視頻圖像拼接技術

劉志剛+王立松

【摘要】 對視頻全景圖像拼接技術進行了研究，給出了一套視頻全景圖像拼接方案。該方案通過多尺度角點描述特征對拼接圖像進行初匹配，從而避免了通常全景拼接中需要進行的ROI的選取過程；然后，運用局部特征匹配方法，對圖像特征進行匹配；在此基礎上，采用平面投影方法，進行圖像配準，漸入漸出方法進行圖像的融合。文中實驗，說明本文方法能較好地適用于大面積靜態場景觀測以及高分辨率圖像獲取的應用。

【關鍵詞】 圖像匹配 多尺度Harris特征 全景圖拼接

視頻圖像拼接技術是一種利用了視頻序列中相鄰各幀圖像間存在較大重疊的特點，通過圖像處理方法去除視頻幀間冗余，將一部或多部攝像機拍攝的視頻信息通過圖像幾何變換進行重采樣轉化為一幅包含該序列所有信息的大面積全景圖像的技術。本文采用圖像匹配特征集初匹配方法，對待匹配特征解集進行限定，在此基礎上再運用上述圖像特征匹配方法對精確的匹配解集進行求解，并考慮運用平面投影法對圖像進行拼接，基本算法流程如下。

一、基于多尺度角點描述特征的初匹配算法

由于Harris角點檢測方法只能得到特征點的位置，只根據空間坐標進行匹配則使特征匹配問題成為一個典型的NP問題。通過多尺度方法對Harris角點進行檢測，不但可以得到角點的位置信息，而且可以獲得角點的尺度信息。本文使用的角點描述方法：首先對圖像中多尺度Harris角點進行提取，并借鑒了SIFT特征描述方法獲得角點的在圖像尺度空間的不變特征描述。這種特征描述方法最大的優點是在旋轉、尺度等因素變化下仍能保持對特征較穩定的不變描述，這使得圖像對中運用該方法進行描述的特征具有很高的相似性，為此，可直接利用這一特性對圖像進行初匹配，從而限定特征匹配解集。對待拼接圖像L，任意多尺度角點ai特征描述向量為ui，圖像R，任意多尺度角點bj特征向量為vj，根據特征描述向量可以定義它們的正匹配。

由于實際圖像噪聲、角度、光照等因素，同一特征的特征描述向量可能會出現一定甚至較大變化，通過上述方法進行匹配很難得到精確的匹配結果，且γτ的設置對于匹配結果具有較大的影響，較大的γτ會出現較多的錯誤匹配，較小的γτ則會出現較多的漏匹配，最主要的是該方法不能完全保證匹配的正確性。但該方法可較好地用于圖像拼接中的匹配解集限定，這樣則可省去ROI區域標定步驟。

此外，鑒于γτ在不同匹配圖像對中選擇是不固定的，為解決該問題我們給出一種迭代閾值選擇與初匹配的方法。閾值γτ選擇主要根據匹配特征對數目來決定。假設圖像中提取的特征數分別為m，n，所給方法如下.

二、平面投影法的全景圖像拼接

本節采取平面投影法形成拼接的全景圖。

1）投影矩陣計算

由上可知，選取第一幀圖像為參考幀，就可得到每幀圖像與全景圖的投影關系。

2）全景圖大小估計

確定各幀與全景圖坐標系之間的投影關系后，按照計算機對圖片存儲格式的要求，計算出全景圖的大小。

三、漸入漸出圖像融合算法

由于圖像噪聲、模型誤差、相機晃動等因素，圖像重疊區域內分別處于相鄰兩幅圖像的兩個對應點并不一定能很好地重合在真實的場景點，所以圖像融合算法的好壞直接關系到合成圖像的清晰度。本文采用較為常用的融合算法，漸入漸出融合算法，即在圖像重疊區域內使用兩幅圖像共同的貢獻值作為混合圖像的灰度值，使用線性加權過渡函數以實現在靠近重疊區邊界的地方做平滑過渡處理。對于彩色圖像，我們需要分為 R、G、B 三個通道分別進行插值融合。漸入漸出的融合算法簡單易實施，多數情況下都具有良好的效果。

小結：本文主要對視頻圖像拼接技術進行了研究，給出了一套視頻全景圖像拼接方案。該方案通過多尺度角點描述特征對拼接圖像進行初匹配，從而避免了通常全景拼接中需要進行的ROI的選取過程；然后，運用第四章中局部特征匹配方法，對圖像特征進行匹配；在此基礎上，采用平面投影方法，進行圖像配準，漸入漸出方法進行圖像的融合。文中實驗，說明本文方法能較好地適用于大面積靜態場景觀測以及高分辨率圖像獲取的應用。