基于單目幾何的三維全景圖研究與構建

蘇澤清 劉忠艷 陳子韻 喬付

摘要：三維全景圖廣泛應用于房地產裝潢、旅游景點、數字展館等領域，提供了一種在虛擬場景中交互瀏覽的感覺，使用戶有更強的身臨其境的瀏覽體驗，從不同方向角度來了解環境。本文從圖像特征點提取、特征點匹配及圖像融合等關鍵步驟進行闡述。最后，利用VS2012+Opencv開發工具，對實驗室場景環繞360。采集5幅圖像，完成全景圖構建，效果良好。

關鍵詞：特征點提取;特征點匹配;圖像融合;RANSAC算法

中圖分類號：TP391? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）14-0174-02

Abstract： Three dimensional panorama is widely used in real estate decoration， tourist attractions， digital exhibition halls and other fields， it provides a feeling of interactive browsing in the virtual scene， which enables users to have a more immersive browsing experience and understand the environment from different directions. This paper describes from the key steps of image feature point extraction， feature point matching and image fusion. Finally， using vs2012 + Opencv development tool， five images of the laboratory scene were collected around 360 degrees to complete the panorama construction， and the effect was good.

Key words： feature point extraction ;feature point matching; image fusion; RANSAC algorithm

三維全景圖比傳統的二維全景圖提供了更直觀和更加逼真的全景場景感覺，因此，廣泛應用于房地產裝潢、旅游景點、數字展館等領域[1-5]。即可以彌補二維效果圖信息量少、角度單一、立體感差的缺憾，又比通過矢量建模的三維虛擬全景技術經濟實用。三維全景技術是通過把照相機在場景中環繞360°方向拍攝有重疊部分的一組場景照片，然后進行圖像拼接形成一幅全景圖像，可在移動終端或PC端用一個專用的播放軟件瀏覽，讓使用者能通過鼠標控制環視的方向，可左可右、可近可遠觀看物體或場景。三維全景技術可以為不在現場的用戶提供身臨其境的瀏覽感受，是真實場景的三維展現。另外，有一定的交互性，用戶可以通過鼠標選擇自己的視角，在任意位置點放大和縮小場景，移動及旋轉場景等，如親臨現場般的環視、俯瞰和仰視的視覺感受。因此，研究三維全景圖的構建具有重要意義。

1 全景圖構建步驟

三維全景圖的獲取步驟如下。

（1）圖像采集

通過攝像頭連續采集多幅場景圖像，相鄰兩幅圖像要有一定的場景重疊，并把多幅圖像按順序傳送給計算機。

（2）圖像預處理

對獲得的圖像去除噪聲、灰度化、平滑及濾波等處理，以確保后續操作的順利進行。其中，噪聲嚴重影響圖像的視覺效果及圖像的應用處理，因此，去除噪聲是圖像處理中必不可少的步驟，去除噪聲的方法很多，中值濾波法是一種非線性的濾波技術，可以在一定條件下，克服線性濾波使圖像細節變得模糊的情況，所以，本文在對采集的場景圖像去除噪聲處理時采用的是中值濾波法。中值濾波法[3]是一種非線性濾波技術，其原理是將數字圖像中的每一個像素點的像素值用該點某個大小鄰域窗口內所有像素點的中間的值來代替，使周圍點的像素值更接近真實值，由此便可以達到抑制噪聲的目的。

（3）特征點提取及配準

為了構建三維全景圖，需要實現重疊圖像的配準。其中基于特征點的配準應用較為廣泛，進行特征點配準的兩個主流算法為：SURF（Speeded Up Robust Features）和SIFT（Scale Invariant Feature Transform），由于SURF是一個積分圖在Hessian矩陣上的使用以及采用降維的特征描述子，所以執行效率高于SIFT算法，因此，本文特征點提取采用的是SUFR算法完成的。首先對有重疊部分的相鄰兩幅圖像利用SURF算法提取圖像中灰度變化比較明顯的點，以便形成特征點集，然后在得到的對應的特征點集中利用BBF（Best-Bin-First）查詢算法，該查詢算法能確保查詢結果優先包含最近鄰的空間，將存在對應關系的特征點對選擇出來，根據RANSAC（Random Sample Consensus）算法剔除誤匹配[6-8]。

SURF算法根據Hessian矩陣的行列式作為判別式來尋找局部極大值的方法來判別特征點，經過構建多尺度的圖像金字塔，在不同尺度上尋找特征點。對提取的圖像特征點，通過相似性度量找到相鄰圖像匹配的特征點對，特征點匹配的方法就是構建數據索引，實際數據一般都會呈現簇狀的聚類形態，因此，實現特征點的快速匹配就是通過索引樹完成。索引樹是一種樹結構的索引方法，其中K-D樹是典型的索引樹，對數據點在K維搜索空間中進行劃分。特征點集中所有的特征點都存在最近鄰的點，但是只有處于左右兩幅圖像中相互重疊的部分的特征點的匹配點對才有可能是正確的。所以按照最近鄰查找結束后，左右兩幅圖像中找到大量的錯誤的匹配點對，這些錯誤的匹配點對會對后期的圖像拼接及融合產生嚴重影響，因此必須去除這些錯誤的配點對。本文采用RANSAC法對匹配點對進行去除誤匹配。

（4）圖像拼接融合

利用照相機360°方向拍攝場景圖像的過程中，不可避免地受光照、拍攝場景等因素的影響，使圖像會有亮度及顏色的差異。如果對圖像不進行預處理就直接把圖像拼接在一起，這樣得到的拼接圖像肯定會在存在明顯的拼接縫隙，嚴重會導致重疊區域的模糊以及失真等情況。所以，必須選擇相應的圖像融合算法來處理圖像，要求在實現無縫拼接的同時盡量不要損失原始圖像信息。因此，圖像融合是構建三維全景圖中至關重要的一步。

目前，圖像融合算法有很多，大致分兩大類：空間域圖像融合算法和變換域圖像融合算法。其中基于變換域圖像融合算法中的小波變換法，由于其具有良好的時頻局部化分析特性以及多分辨率特性，是目前進行圖像融合的主流方法。本文采用基于小波變換的圖像融合算法來進行重疊圖像的融合處理。首先將圖像分解為低頻一系列的低頻背景輪廓信息和高頻的圖像細節信息，并且每一次分解都使圖像的分辨率降為原來的一半，接著應用不同融合準則在不同的特征域中進行融合，進而利用小波變換的逆變換算法構造所有頻率上的圖像拼合成原分辨率下的全景圖像，融合效果良好而且具有很高的應用價值。

2 實驗

實驗采用VS2012+OpenCV作為開發工具，基于單攝像頭的三維全景圖構建系統主界面如圖1所示。打開攝像頭，連續采集多幅具有一定重疊區域的場景照片，圖片進行去噪、截取等預處理，然后提取特征點、完成特征點的匹配，最后通過融合，獲得場景的三維全景圖。連續采集實驗室場景的5幅圖像如圖2所示。由5幅圖像拼接、融合后的三維全景圖如圖3所示。

3 結論

本文主要介紹了基于單目的三維全景圖系統的構建原理，通過實驗驗證了采用本文方法獲得的三維全景圖效果較好，可以滿足人們的視覺感受的需求。

參考文獻：

[1] 劉忠艷，房俊龍，田淑梅.廣義Morse小波在物體三維輪廓測量中的應用[J].計算機工程與應用，2017，53（23）：190-196，229.

[2] 韓松衛.運用特征點匹配的圖像快速拼接算法研究[D].天津：河北工業大學，2011.

[3] 何昌鴻.基于FPGA的GigE高速圖像采集及處理系統的研究與應用[D].撫州：東華理工大學，2019.

[4] 鄧敬宏，張粉層.720°全景技術在土地房產交易平臺的應用[J].地理空間信息，2020，18（8）：110-113，8.

[5] 劉衍，張沫巖，陳睿昕，等.基于全景圖的城市街區太陽日總輻射計算方法對比[J].建筑節能，2020，48（7）：53-57.

[6] 王殿偉，韓鵬飛，劉穎，等.低照度全景圖像增強處理研究進展[J].西安郵電大學學報，2018，23（5）：48-53.

[7] 黃春鳳，劉守山，別治峰，等.改進的SURF算法在圖像匹配中的應用[J].現代電子技術，2020，43（10）：111-115.

[8] 丁輝，李麗宏，原鋼.融合GMS與VCS+GC-RANSAC的圖像配準算法[J].計算機應用，2020，40（4）：1138-1143.

【通聯編輯：唐一東】