不同場景下虛擬現實視頻畸變校正算法

摘要：不同場景下虛擬現實重構視頻受到運動目標以及載體方位不穩定等因素的影響導致視頻畸變，提出基于運動補償及特征圖像配準的虛擬現實視頻畸變校正算法.基于興趣特征點檢測的方法建立不同場景下虛擬現實視頻圖像檢測模型，通過圖像配準和角點稀疏性檢測，實現對虛擬現實視頻進行畸變成分檢測、動態描述和特征匹配，將不同場景下虛擬現實視頻的圖像幀投影到一個公用坐標系，并從相鄰幀的背景層中分離出視頻的畸變成分，采用運動補償及特征圖像配準的方法實現視頻畸變動態校正.仿真結果表明，采用該方法進行不同場景下虛擬現實視頻畸變校正的動態配準能力較好，適合不同復雜場景下的視頻圖像虛擬現實重構和檢測.

關鍵詞：不同場景；虛擬現實；視頻；畸變校正；幀投影

中圖分類號：TP391 文獻標志碼：A

文章編號：2095-6991（2023）01-0040-05

Abstract：In different scenes， the reconstructed video of virtual reality is distorted by the images of moving objects and the unstable orientation of the carrier. This paper proposes a distortion correction algorithm of virtual reality video based on motion compensation and feature image registration. Based on the method of interest feature point detection， the image detection model of virtual reality video in different scenes is established. Through image registration and corner sparsity detection， the distortion component detection， dynamic description and feature matching of virtual reality video are realized. The image frames of virtual reality video in different scenes are projected to a common coordinate system， and the distortion components of video are separated from the background layers of adjacent frames. Motion compensation and feature image registration are used to realize the dynamic correction of video distortion. The simulation results show that the dynamic registration ability of virtual reality video distortion correction in different scenes is good， and it is suitable for video image virtual reality reconstruction and detection in different complex scenes.

Key words：different scene; virtual reality; video; distortion correction; frame projection

隨著虛擬現實技術的發展，建立不同場景下的視頻重構和識別模型在軍事目標識別以及不同監控場景下的視頻重構和識別中都具有重要意義.在進行虛擬現實的視頻重構中，由于受到不同場景下成像因素的干擾，導致不同場景下虛擬現實視頻成像存在畸變，因此需要建立不同場景下虛擬現實視頻畸變校正模型，通過畸變校正和動態修正，實現對視頻的虛擬現實重構和仿真，提高視頻仿真重構的精準度[1].

對不同場景下虛擬現實視頻畸變校正是通過視頻圖像目標識別和跟蹤實現的.首先對時空信息的聯合特征參數進行識別，初始化視頻先驗信息；然后通過時空聯合信息分布式檢測，進行視頻畸變修正.當前，對不同場景下虛擬現實視頻畸變校正的方法主要有基于Harris角點檢測的視頻畸變校正方法、基于感知場景的空間重構視頻跟蹤校正方法以及SIFT畸變校正方法等[2-3].結合圖像拼接和運動目標檢測，進行視頻的虛擬現實重構.美國DARPA（Defense Advanced Research Projects Agency，DARPA）研發的虛擬視頻監控系統COCOA系統采用多種類型的運動目標自動檢測和視頻校正方法，該方法在視頻的動態檢索模糊度較大，Aryo Wiman Nur Tbrahim提出了MODAT（Moving Objects Detection andTracking，MODAT）系統，通過SIFT角點旋轉不變矩分析，實現虛擬視頻校正，但該方法在虛擬視頻動態校正和重構的效能不好[4].針對上述問題，本文提出基于運動補償及特征圖像配準的虛擬現實視頻畸變校正算法，首先建立不同場景下的虛擬現實視頻采集和成像模型；然后將不同場景下虛擬現實視頻的圖像幀投影到一個公用的坐標系，并從相鄰幀的背景層中分離出視頻的畸變成分，采用運動補償及特征圖像配準的方法實現視頻畸變動態校正，最后對改進算法進行仿真測試分析，證明本文方法在提高視頻畸變校正能力方面的優越性.

4 結語

建立不同場景下虛擬現實視頻畸變校正模型，通過畸變校正和動態修正，實現對視頻的虛擬現實重構和仿真.本文提出基于運動補償及特征圖像配準的虛擬現實視頻畸變校正算法，采用顯著度融合的方法，建立時間顯著性和空間顯著性區域分布模型，采用子空間融合降噪和增強學習，提高虛擬現實視頻圖像的檢測和識別能力.經過測試，本文方法對虛擬現實視頻畸變校正的精度較高，特征聚類性較好，校正后的輸出誤差較低，提高了視頻畸變動態校正能力.

參考文獻：

[1] EVERINGHAM M，ESLAMI S M A，VAN GOOL L，et al.The PASCAL visual object classes challenge：a retrospective[J].International Journal of Computer Vision，2015，111（1）：98-136.

[2] LENG J，LIU Y.An enhanced SSD with feature fusion and visual reasoning for object detection[J].Neural Computing and Applications，2019，31（10）：6549-6558.

[3] 張永宏，嚴斌，田偉，等.基于PPMU-net的多特征高分辨率遙感道路提取[J].計算機工程與應用，2021，57（1）：200-206.

[4] 許長青，陳振杰，侯仁福.融合不精準先驗知識的Landsat 8 OLI影像深度學習分類方法[J].計算機應用，2020，40（12）：3550-3557.

[5] SULLA-MENASHE D，GRAY J M，ABERCROMBIE S P，et al.Hierarchical mapping of annual global land cover 2001 to present：the MODIS Collection 6 Land Cover product[J].Remote Sensing of Environment，2019，222：183-194.

[6] 劉巧元，王玉茹，張金玲，等.基于相關濾波器的視頻跟蹤方法研究進展[J].自動化學報，2019，45（2）：265-275.

[7] 李墨羽，焦瑞莉，朱云龍，等.GNSS-R SAR地面目標建模與成像[J].計算機工程與應用，2019，55（23）：265-270.

[8] 王嫣然，陳清亮，吳俊君.面向復雜環境的圖像語義分割方法綜述[J].計算機科學，2019，46（9）：36-46.

[9] 蘇健民，楊嵐心，景維鵬.基于U-Net的高分辨率遙感圖像語義分割方法[J].計算機工程與應用，2019，55（7）：207-213.

[10] 余瑪俐，張海.基于低秩矩陣填充與全變分約束的HDR成像[J].計算機工程，2019，45（4）：262-266，274.

[11] 劉佶鑫，魏嫚.可見光-近紅外HSV圖像融合的場景類字典稀疏識別方法[J].計算機應用，2018，38（12）：3355-3359，3366.

[12] 孫佳美，吳成茂.正則化圖形模糊聚類及魯棒分割算法[J].計算機工程與應用，2019，55（11）：179-186.

[13] 鄭樂樂，韓慧妍，韓燮.基于顯著性與弱凸性的三維點云模型分割[J].計算機工程，2018，44（4）：299-304.

[14] 余娜，劉彥，魏雄炬，等.基于注意力機制和金字塔融合的RGB-D室內場景語義分割[J].計算機應用，2022，42（3）：844-853.

[15] 鄧天民，冒國韜，周臻浩，等.基于密集連接卷積神經網絡的道路車輛檢測與識別算法[J].計算機應用，2022，42（3）：883-889.

［責任編輯：李 嵐］

基金項目：福建省中青年教師教育科研項目（JAT210719）

作者簡介：王敏（1976-），女，重慶人，副教授，研究方向：計算機技術.E-mail：gaoyiliuban126@163.com.