魚眼全景拼接系統研究與實現

劉金亮 卜凡亮

摘 要：視覺領域中全景圖像受到廣泛關注。魚眼圖像全景拼接步驟繁多，工作量大且耗時較長，影響實時性。針對該問題設計了一種MFC+OpenCV相結合的魚眼全景拼接系統。該系統用C++語言編譯，在VS2012的操作平臺上搭建MFC框架并安裝配置OpenCV開源視覺處理庫，進行輸入輸出、圖像顯示和圖像拼接處理等操作。魚眼全景拼接系統界面整潔，操作便捷，對全景視頻監控開發具有重要現實意義。

關鍵詞：魚眼圖像;全景拼接;MFC;OpenCV

DOI：10.11907/rjdk.182466

中圖分類號：TP319文獻標識碼：A文章編號：1672-7800（2019）001-0112-04

Abstract：In the field of vision， panoramic images have received widespread attention and recognition. The fisheye image panorama stitching has many steps， it is of heavy workload and time-consuming， which affects the real-time performance. A fisheye panoramic stitching system based on MFC+OpenCV is designed. The fisheye panoramic splicing system is compiled in C++ language. On the VS2012 operating platform， the MFC framework is built and the OpenCV open source visual processing library is installed and configured. The fisheye image and the fisheye camera are used for input and output， image display and image splicing processing.? The fisheye panoramic splicing system has a neat interface， convenient operation and simple start-up， which has very important practical significance for the development of panoramic video surveillance.

0 引言

計算機視覺作為一個重要研究領域引起許多學者關注[1]。圖像拼接作為該領域的一個分支，其應用也越來越廣泛[2]。圖像拼接是指將兩幅相鄰的圖像數據集合起來拼接成一幅尺度更大、視角更廣的圖像或全景圖。全景圖像獲取方式主要有兩種：①使用普通相機[3-4]，通過拍攝多張具有重疊區域的小視角圖像，經過拼接處理組合成一幅大視角圖像，通常情況下形成全景圖像的照片數量不低于8張;②直接使用廣角鏡頭拍攝圖像[5-6]。廣角鏡頭是一種焦距短于標準鏡頭、視角大于標準鏡頭的攝影鏡頭，在較短的拍攝距離范圍內能拍攝較大面積的景物，而魚眼鏡頭是一種特殊的廣角鏡頭[7]，其水平和垂直視角都能達到180°。理論上兩張魚眼圖片就能形成一幅360°×360°的全景圖。但由于周邊畫面畸變嚴重，通常情況下采用3-4張魚眼圖片即可拼接成全景圖像[8]。

沈柯[9]設計的全景視圖圖像拼接系統，只需將三腳架固定好，用普通相機從多角度拍攝多張圖片系統就可輸出全景拼接結果。但大量相同圖片數據多次利用造成冗余計算，計算量巨大，耗時較長。宋寶森[10]設計的全景圖像拼接系統，需要提前輸入相機鏡頭多個參數，手動計算圖像匹配的變換矩陣值并進行全局調整，隨后輸出全景圖。雖然最終輸出的全景圖效果較好，但在系統操作過程中需要涉及相關參數設置，且步驟繁多，應用場景有限。廖訓佚[11]在魚眼全景拼接系統中，首先將各個模塊進行明確的功能劃分，然后在系統中將各模塊耦合起來，操作步驟簡單易學，但功能單一且拼接過程較慢，不適合實時拼接。

針對上述拼接系統設計的不足，本文使用C++程序、MFC（Microsoft Foundation Classes）界面開發庫和OpenCV（Open Source Computer Vision Library）圖像處理開源庫，開發了一套基于魚眼的圖像和視頻雙拼接系統[12]。通過對魚眼圖像的處理，實現魚眼圖像的校正和拼接操作，各個模塊獨立運行，分工明確，最后生成全景拼接圖。同時添加視頻拼接功能模塊，實時全景拼接。

1 全景拼接關鍵技術

魚眼全景拼接關鍵技術有魚眼校正技術[13]、圖像匹配技術[14-15]等。

1.1 魚眼校正技術

魚眼校正技術是魚眼全景拼接的基礎，校正效果決定后面拼接的質量。常見的魚眼校正技術有球面坐標定位法和經緯度映射法。魚眼圖像是圓形的，有圓心和半徑，在魚眼圖像的圓形區域內按比例畫出經線，然后將同一經線上的點校正后為同一橫坐標，縱坐標不變，這就是球面坐標定位法原理。球面坐標定位法思路簡單，校正效率高但校正質量不好，存在明顯的拱形失真，不能應用于后續的拼接操作。而經緯度映射法在球面坐標定位法基礎上添加了緯度線，即在魚眼圖像區域內按比例畫出經緯線，同一經度上的點像素校正后具有相同的橫坐標，同一緯度上的點像素校正后具有相同的縱坐標。同球面坐標定位法相比，經緯度映射法校正效果有了明顯提高，本系統即采用該方法用于魚眼圖像校正。

1.2 圖像匹配技術

圖像匹配技術是圖像拼接的關鍵技術。圖像匹配技術分為基于區域的匹配、基于頻域的匹配和基于特征點的匹配，本系統采用基于特征點的匹配。特征點匹配即對兩幅待匹配的圖像提取它們圖像上明顯的特征信息進行匹配，確定它們之間的空間關系。由于魚眼圖像校正后仍存在畸變現象，用特征點方法提取的特征信息能很好地進行匹配。本系統采用SURF特征點提取算法，該算法具有旋轉、平移、仿射不變性等特性。

2 系統結構與流程設計

傳統的全景圖像是將待拼接的圖像一步步拼接起來，過程瑣碎，工作量大且耗時較長。魚眼全景拼接系統省去一系列復雜的指向性操作，簡化全景拼接圖像的合成步驟，在已有算法基礎上搭建魚眼全景拼接系統。

2.1 系統功能

（1）圖像讀取。拼接系統軟件設計核心在于圖像處理，所以首先要讀取圖像，針對不同存儲格式的圖像都能進行載入操作。

（2）圖像顯示。圖像要能顯示在計算機屏幕上，并可統一將顯示的圖片以同一圖片格式保存在計算機中。

（3）圖像處理。此功能步驟：魚眼圖像校正、圖像特征點檢測和匹配、圖像重映射及融合。魚眼圖像存在畸變，本系統通過經緯度映射法對魚眼圖像進行校正;對具有重疊區域的圖像進行SURF特征點檢測并進行匹配;利用匹配的特征點計算圖像間的變換模型，將這些圖像轉換到同一坐標系上，并對拼接后的圖像進行融合處理，減少圖像間的重影現象，提高圖像辨識度。這部分算法在OpenCV中實現。

（4）視頻輸入輸出。通過接入實時的魚眼攝像頭，在計算機上實時觀看拍攝的畫面，并經過處理呈現出校正拼接后的全景圖像。對視頻的拼接本質就是通過捕獲攝像頭的幀對其進行圖像拼接。

系統功能模塊如圖1所示。

2.2 系統流程

魚眼全景拼接系統有兩個獨立的小系統，分別是魚眼圖像全景拼接系統和魚眼攝像機實時拼接系統[16-17]。前者主要對圖片進行處理，后者則是對攝像頭導入的實時畫面進行處理[18]。

魚眼全景圖像拼接流程如圖2所示，操作步驟包括對魚眼圖像讀取、顯示，同時對于待拼接圖像選擇性添加或刪除甚至清空。然后對待拼接圖像進行拼接處理，包括魚眼圖像校正、圖像特征點提取及匹配、圖像重映射及融合等。對于拼接的圖像有兩種可能，一種是輸入圖像不符合匹配要求，因為選擇的魚眼圖像不一定擁有共同區域，或由于圖像拼接過程存在不可控因素導致拼接失敗，此時系統會給出錯誤提示其找原因;一種是拼接成功，這時系統呈現拼接成功反饋的全景圖，在此基礎上可按系統格式要求保留全景圖像或直接選擇退出。

魚眼攝像機實時拼接流程如圖3所示。首先將攝像機鏡頭按一定位置擺好（本實驗中按3個魚眼攝像頭兩兩成120°放好，并根據3個攝像頭拍下的圖像計算好它們之間的數據和拼接算法）。同時打開3個魚眼攝像頭，導入實時畫面并顯示實時拼接全景圖。此種視頻拼接屬于拼接圖像的合成方式，將每一部分視頻幀按照一定的規則進行處理，然后各段圖像以一定的拼接方式拼接成全景圖像，實現視頻拼接效果。

3 系統實現

3.1 系統軟件開發環境

系統開發環境：VS2010+OpenCV+MFC。

MFC是微軟基礎類庫的總稱，是一個封裝了大部分Windows API函數的C++類庫，還是一個基礎框架，作為應用程序的交互界面使用，對于編譯框架能夠很好地完成初期Windows界面設定[19]。

OpenCV是一個基于開源發行的跨平臺計算機視覺庫，用C++語言編寫，主要接口也是C++語言[20-21]，能實現圖像處理和計算機視覺方面的很多通用算法，在本系統中主要用來實現圖像拼接模塊（圖像的特征點檢測和匹配、圖像的重映射及融合）功能。

每個模塊的接口分別表示如下：

3.2 關鍵代碼

在本文設計的案件場景重建系統平臺中，OpenCV負責魚眼圖像校正和圖像拼接功能。捕獲攝像頭幀的關鍵代碼如下：

3.3 系統試驗

系統試驗從兩部分描述。

（1）魚眼圖像全景拼接。從文件夾中添加3張魚眼圖像，添加了圖像在界面左邊顯示。點擊全景拼接，系統自動將魚眼圖像先校正再匹配進行拼接，界面右邊顯示拼接結果。點擊保存結果按鈕就會按指定格式保存全景圖像。魚眼圖像全景拼接如圖5所示。

（2）魚眼攝像機實時拼接。打開3個魚眼鏡頭（兩兩呈120°），在界面左邊實時顯示攝像機拍攝的畫面。點擊視頻拼接按鈕，在界面右邊就會顯示出實時全景拼接圖。點擊保存結果按鈕可保存當前拼接的圖片。魚眼攝像機實時拼接如圖6所示。

4 結語

本文基于MFC+OpenCV設計了魚眼全景拼接系統，大大提升了全景圖片的生成效率，同時引入了實時視頻拼接功能。該系統畫面簡潔、操作方便、運行流暢、兼容性較強，有一定的參考和應用價值。但受限于硬件配置條件，系統拼接展示的實時畫面有卡頓現象，且拼接出來的圖像分辨率較低，拼接圖像的中間仍有明顯的分割線存在，這是后續算法改進的方向。

參考文獻：

[1] 倪晨旭. 計算機視覺研究綜述[J]. 電子世界，2018（1）：91-93.

[2] 薛佳樂.? 圖像拼接算法的研究[D]. 天津：天津理工大學，2018.

[3] 李佳，盛業華，張卡，等. 基于未標定普通相機的全景圖像拼接方法[J]. 系統仿真學報，2013，25（9）：2070-2074.

[4] 林華琦，蘭誠棟. 基于多相機系統標定的全景拼接算法研究[J]. 信息通信，2018（3）：37-40.

[5] 楊浩新.? 角度不一樣? 效果大不同[N].? 中國攝影報，2018-02-27（007）.

[6] 朱佳巍，王旗，范俊輝，等. 一款小型化紅外廣角鏡頭的設計[J]. 激光與光電子學進展，2018，55（7）：139-144.

[7] 侯國柱，呂麗軍. 一款可見光魚眼鏡頭系統設計[J]. 光學與光電技術，2018，16（3）：90-95.

[8] 周小康，饒鵬，朱秋煜，等. 魚眼圖像畸變校正技術研究[J]. 工業控制計算機，2017，30（10）：95-96，99.

[9] 沈柯.? 基于全景視圖管理的3D圖像拼接方法研究與實現[D]. 西安：西安電子科技大學，2014.

[10] 宋寶森.? 全景圖像拼接方法研究與實現[D]. 哈爾濱：哈爾濱工程大學，2012.

[11] 廖訓佚.? 魚眼圖像全景拼接系統[D]. 重慶：重慶大學，2009.

[12] 李佳，段平，張馳. 圖像分塊匹配下視頻全景拼接方法[J]. 應用基礎與工程科學學報，2018（4）：697-708.

[13] 邢立新.? 魚眼鏡頭視頻圖像實時校正技術研究[D]. 哈爾濱：黑龍江大學，2014.

[14] 李倩.? 基于特征描述的圖像匹配技術研究[D]. 桂林：桂林電子科技大學，2017.

[15] 張曉聞.? 融合優化算法的圖像匹配技術研究[D]. 太原：中北大學，2017.

[16] 何源.? 魚眼圖像無縫全景拼接技術研究[D]. 太原：山西農業大學，2015.

[17] 汪丹.? 魚眼圖像全景拼接技術的研究與實現[D]. 長沙：湖南師范大學，2017.

[18] 呂世良，王曉茜，劉金國. 數字視頻監控系統設計與實現[J]. 測控技術，2014，33（2）：80-82，86.

[19] 車忠志，孫雪雁. MFC應用程序基本框架分析[J]. 農業網絡信息，2010（9）：145-147.

[20] 毛星云，冷雪飛.? OpenCV編程入門[M]. 北京：電子工業出版社，2015.

[21] 汪洵瀟.? 基于OpenCV的視頻監控數據管理系統的設計與實現[D]. 北京：北京交通大學，2011.

（責任編輯：杜能鋼）